CN116958332B - 基于图像识别的纸张绘图实时映射3d模型的方法及系统 - Google Patents
基于图像识别的纸张绘图实时映射3d模型的方法及系统 Download PDFInfo
- Publication number
- CN116958332B CN116958332B CN202311215629.3A CN202311215629A CN116958332B CN 116958332 B CN116958332 B CN 116958332B CN 202311215629 A CN202311215629 A CN 202311215629A CN 116958332 B CN116958332 B CN 116958332B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- camera
- real time
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 18
- 239000000463 material Substances 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 239000012634 fragment Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 241000086550 Dinosauria Species 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了基于图像识别的纸张绘图实时映射3D模型的方法及系统，该方法包括以下步骤：将拍摄得到的图像进行图像识别，得到第一幅图；对绘制内容的3D模型进行特殊处理，得到第二幅图；将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；对单位化处理后的第一幅图和第二幅图进行完全匹配；通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。本发明可以使绘制人员在纸张绘制过程中实时观察自己绘制的内容在真实世界的3D形象，对自己绘制内容有直观感受，并实时调整绘制内容，实时改变绘制内容在3D真实世界的形象，使得操作更具有直观性和互动性。
Description
技术领域
本发明涉及教育培训技术领域，具体来说，涉及基于图像识别的纸张绘图实时映射3D模型的方法及系统。
背景技术
绘本上的图像，都是2D的形式，无法给绘制人员产生真实的立体感受。另外一些3D的模型展现也只能观看，无法与绘制人员进行实时互动。绘本的内页采用手绘的形式，超有亲和力，图画方便孩子阅读，文字让父母讲解更省力。利用扫描成像，书本的内容跃然纸上，再加上生动形象的讲解，简单明了的让小朋友了解书本内容。画风有趣又写实，AR动画可转动观察，容易阅读的同时还能准确刻画事物的特征，完全符合小朋友的胃口。
AR技术概念简单，但真正实现起来却有优劣之分。优秀的AR技术，能够实现AR系统生成的图像与摄像头拍到的图像无缝连接，并随着摄像头的拍摄角度和拍摄环境的改变自动调整生成图像的形式和位置。质量较差的AR技术则只是蹭了AR技术的热点。例如有的项目自称运用了AR技术，而事实只是用摄像头扫描某个识别图，然后在屏幕上显示一个三维立体的图像，但这个图像并不能与真实的环境有机结合，而是孤立的，它的效果跟直接在网站上打开一个三维立体图像是一样的。
现有的技术中，绘制人员在纸张绘制过程中无法直观感受根据绘本所描绘的内容在3D立体世界中的样子。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出基于图像识别的纸张绘图实时映射3D模型的方法及系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
根据本发明的一个方面，提供了基于图像识别的纸张绘图实时映射3D模型的方法，该方法包括以下步骤：
S1、将拍摄得到的图像进行图像识别，得到第一幅图；
S2、对绘制内容的3D模型进行特殊处理，得到第二幅图；
S3、将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
S4、对单位化处理后的第一幅图和第二幅图进行完全匹配；
S5、通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。
进一步的，使用摄像头将拍摄得到的图像进行图像识别，得到第一幅图包括以下步骤：
S11、使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
S12、将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
S13、根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
其中，通过相机的空间转换矩阵把识别点世界坐标位置转成在相机空间坐标位置，识别点在世界坐标的位置已知，并求得相机位置信息；
S14、根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
进一步的，所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括以下步骤：
S21、把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
S22、获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图。
进一步的，所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括以下步骤：
S41、将第一幅图映射到Shader上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
S42、将匹配完成的第一幅图像，映射到3D模型的材质上。
进一步的，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括以下步骤：
S51、通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
根据本发明的另一方面，还提供了基于图像识别的纸张绘图实时映射3D模型的系统，该系统包括图像识别模块、3D模型处理模块、数据规范化模块、图像匹配模块及实时图像映射模块；
其中，所述图像识别模块，用于将拍摄得到的图像进行图像识别，得到第一幅图；
所述3D模型处理模块，用于对绘制内容的3D模型进行特殊处理，得到第二幅图；
所述数据规范化模块，用于将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
所述图像匹配模块，用于对单位化处理后的第一幅图和第二幅图进行完全匹配；
所述实时图像映射模块，用于通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。
进一步的，使用摄像头将拍摄得到的图像进行图像识别，得到第一幅图包括：
使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
进一步的，所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括：
把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图。
进一步的，所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括：
将第一幅图映射到Shader上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
将匹配完成的第一幅图像，映射到3D模型的材质上。
进一步的，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括：
通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
本发明的有益效果为：
1、本发明可以使绘制人员在纸张绘制过程中实时观察自己绘制的内容在真实世界的3D形象，对自己绘制内容有直观感受，并实时调整绘制内容，实时改变绘制内容在3D真实世界的形象，使得操作更具有直观性和互动性。
2、本发明可以用于帮助学生理解那些需要形象思维来解读的知识，如恐龙、机械、太空等复杂的主题，使得学习过程更具趣味性和效率。
3、本发明可以将孩子们的绘画作品变为立体的3D动画，丰富他们的表达方式，提高他们的创造力和想象力，同时带给孩子们更多的成功感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于图像识别的纸张绘图实时映射3D模型的方法的流程图。
实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了基于图像识别的纸张绘图实时映射3D模型的方法及系统。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于图像识别的纸张绘图实时映射3D模型的方法及系统，该方法包括以下步骤：
S1、将拍摄得到的图像进行图像识别，得到第一幅图；
S2、对绘制内容的3D模型进行特殊处理，得到第二幅图；
具体的，3D模型和第二幅图之间的关系是纹理映射；
具体的，3D模型是一个由顶点和多边形组成的网格结构，而第二幅图则是一个平面图像。通过将第二幅图的像素与3D模型上的对应点进行映射，可以将图像的颜色、纹理和细节应用到3D模型的表面上，使其看起来更加真实和生动。
S3、将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
具体的，单位化处理是把图像数据缩放到相同的范围和分布。处理的过程为把第一幅图和第二幅图的数据缩放到UV集的0-1空间内，保证映射到模型的第一套UV上。
S4、对单位化处理后的第一幅图和第二幅图进行完全匹配；
S5、通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。
在一个实施例中，使用摄像头将拍摄得到的图像进行图像识别，得到第一幅图包括以下步骤：
S11、使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
S12、将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
S13、根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
其中，通过相机的空间转换矩阵把识别点世界坐标位置转成在相机空间坐标位置，识别点在世界坐标的位置已知，并求得相机位置信息；
S14、根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
在一个实施例中，所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括以下步骤：
S21、把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
具体的，在三维中，UV是指二维纹理坐标。它是用来映射纹理图像到三维模型表面的一种方式。UV坐标系统是由两个坐标轴组成的，分别是U轴和V轴。这两个轴与三维模型表面的X、Y、Z轴相互垂直，形成一个二维平面。通过在模型的每个顶点上定义UV坐标，可以确定纹理图像在模型表面上的映射方式，从而实现纹理贴图。
S22、获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图。
在一个实施例中，所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括以下步骤：
S41、将第一幅图映射到Shader上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
具体的，在三维图形渲染中，Shader（着色器）是一种用于控制图形渲染过程的程序。它主要用于定义光照、材质、纹理等图形效果，以及计算每个像素的颜色值。Shader可以分为顶点着色器（Vertex Shader）和片元着色器（Fragment Shader）两种。
具体的，顶点着色器是在渲染管线的顶点处理阶段执行的程序。它可以对每个顶点的位置、法线、颜色等进行计算和变换，从而决定顶点的最终位置和属性。
具体的，片元着色器是在渲染管线的片元处理阶段执行的程序。它对每个像素进行处理，根据顶点着色器计算出的顶点属性和纹理坐标等信息，以及光照模型、材质属性等，计算出像素的最终颜色值。
具体的，通过编写自定义的Shader程序，可以实现各种复杂的图形效果，如光照模型、阴影效果、透明效果、变形效果等。Shader在现代的图形渲染中扮演着非常重要的角色，能够提供更高质量和更逼真的图形效果。
S42、将匹配完成的第一幅图像，映射到3D模型的材质上。
在一个实施例中，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括以下步骤：
S51、通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
具体的，因为3D模型的世界坐标与纸张上图案的世界坐标是不一样的，所以通过线性代数知道，可以通过矩阵来进行坐标转换，要进行坐标转换，只需要获取到纸张上图案的世界坐标即可。因为3D模型的直接坐标在3D软件里已知。故而借助于图像识别技术，先找到图像上的特殊点，然后通过反计算的手段，获取图像的世界位置。
根据本发明的另一个实施例，还提供了基于图像识别的纸张绘图实时映射3D模型的系统，该系统包括图像识别模块、3D模型处理模块、数据规范化模块、图像匹配模块及实时图像映射模块；
其中，所述图像识别模块，用于将拍摄得到的图像进行图像识别，得到第一幅图；
所述3D模型处理模块，用于对绘制内容的3D模型进行特殊处理，得到第二幅图；
所述数据规范化模块，用于将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
所述图像匹配模块，用于对单位化处理后的第一幅图和第二幅图进行完全匹配；
所述实时图像映射模块，用于通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。
在一个实施例中，使用摄像头将拍摄得到的图像进行图像识别，得到第一幅图包括：
使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
在一个实施例中，所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括：
把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图。
在一个实施例中，所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括：
将第一幅图映射到Shader上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
将匹配完成的第一幅图像，映射到3D模型的材质上。
在一个实施例中，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括：
通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
综上所述，借助于本发明的上述技术方案，本发明可以用于帮助学生理解那些需要形象思维来解读的知识，如恐龙、机械、太空等复杂的主题，使得学习过程更具趣味性和效率。本发明可以将孩子们的绘画作品变为立体的3D动画，丰富他们的表达方式，提高他们的创造力和想象力，同时带给孩子们更多的成功感。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于图像识别的纸张绘图实时映射3D模型的方法，其特征在于，该方法包括以下步骤：
S1、将拍摄得到的图像进行图像识别，得到第一幅图；
S2、对绘制内容的3D模型进行特殊处理，得到第二幅图；
其中，3D模型和第二幅图之间的关系是纹理映射；
S3、将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
S4、对单位化处理后的第一幅图和第二幅图进行完全匹配；
S5、通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致；
所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括以下步骤：
S21、把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
S22、获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图；
所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括以下步骤：
S41、将第一幅图映射到Shader上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
S42、将匹配完成的第一幅图像，映射到3D模型的材质上。
2.根据权利要求1所述的基于图像识别的纸张绘图实时映射3D模型的方法，其特征在于，所述将拍摄得到的图像进行图像识别，得到第一幅图包括以下步骤：
S11、使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
S12、将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
S13、根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
其中，通过相机的空间转换矩阵把识别点世界坐标位置转成在相机空间坐标位置，识别点在世界坐标的位置已知，并求得相机位置信息；
S14、根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
3.根据权利要求1所述的基于图像识别的纸张绘图实时映射3D模型的方法，其特征在于，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括以下步骤：
S51、通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
4.基于图像识别的纸张绘图实时映射3D模型的系统，用于实现权利要求1-3中任一项所述的基于图像识别的纸张绘图实时映射3D模型的方法，其特征在于，该系统包括图像识别模块、3D模型处理模块、数据规范化模块、图像匹配模块及实时图像映射模块；
其中，所述图像识别模块，用于将拍摄得到的图像进行图像识别，得到第一幅图；
所述3D模型处理模块，用于对绘制内容的3D模型进行特殊处理，得到第二幅图；
所述数据规范化模块，用于将第一幅图和第二幅图进行单位化处理，并处理成1：1的形式；
所述图像匹配模块，用于对单位化处理后的第一幅图和第二幅图进行完全匹配；
所述实时图像映射模块，用于通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致。
5.根据权利要求4所述的基于图像识别的纸张绘图实时映射3D模型的系统，其特征在于，所述将拍摄得到的图像进行图像识别，得到第一幅图包括：
使用摄像头实时拍摄绘图人员在纸张上进行的绘制过程；
将摄像头拍摄的图像信息进行识别，找到对应的识别点信息；
根据识别点中的位置信息，通过计算来获取相机的坐标位置与旋转角信息；
根据获得的相机坐标位置与旋转角信息，把图像拉伸平面正交顶视图，获得第一幅图。
6.根据权利要求5所述的基于图像识别的纸张绘图实时映射3D模型的系统，其特征在于，所述对绘制内容的3D模型进行特殊处理，得到第二幅图包括：
把3D模型的UV，按照第一幅图像角度进行投射，展开成和第一幅图像角度相同的平面正交顶视图；
获取摄像头的长宽比，根据摄像头的长宽比，将展开的UV按照新的比例进行调整，使其符合摄像头的长宽比，得到第二幅图。
7.根据权利要求6所述的基于图像识别的纸张绘图实时映射3D模型的系统，其特征在于，所述对单位化处理后的第一幅图和第二幅图进行完全匹配包括：
将第一幅图映射到Shade上，并根据硬件陀螺仪传感器信息，获取图像的旋转信息，对第一幅图进行旋转，使得与第二幅图的信息完全匹配；
将匹配完成的第一幅图像，映射到3D模型的材质上。
8.根据权利要求7所述的基于图像识别的纸张绘图实时映射3D模型的系统，其特征在于，所述通过第一幅图和第二幅图完全匹配后，使其与绘图人员实时绘制在纸张上的内容一致包括：
通过第一幅图和第二幅图完全匹配后，将第一幅图的影像代替第二幅图的影像，并实时更新和表现出3D模型，使其与绘图人员实时绘制在纸张上的内容一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311215629.3A CN116958332B (zh) | 2023-09-20 | 2023-09-20 | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311215629.3A CN116958332B (zh) | 2023-09-20 | 2023-09-20 | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958332A CN116958332A (zh) | 2023-10-27 |
| CN116958332B true CN116958332B (zh) | 2023-12-22 |
Family
ID=88455053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311215629.3A Active CN116958332B (zh) | 2023-09-20 | 2023-09-20 | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958332B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102306395A (zh) * | 2010-09-20 | 2012-01-04 | 董福田 | 一种三维模型数据分布式绘图方法及装置 |
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| JP2014142974A (ja) * | 2014-05-14 | 2014-08-07 | Archaio Llc | ３次元および２次元デジタル画像を使用するシステムおよび方法 |
| CN104637080A (zh) * | 2013-11-07 | 2015-05-20 | 深圳先进技术研究院 | 一种基于人机交互的三维绘图系统及方法 |
| CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
| WO2016182167A1 (ko) * | 2015-05-12 | 2016-11-17 | 주식회사 아이아라 | 평면 도안 입체화 구현 장치 |
| CN106204746A (zh) * | 2016-06-23 | 2016-12-07 | 广州增强信息科技有限公司 | 一种可实现3d模型实时上色的增强现实系统 |
| CN107562226A (zh) * | 2017-09-15 | 2018-01-09 | 广东虹勤通讯技术有限公司 | 一种3d绘图系统及方法 |
| CN107833266A (zh) * | 2017-11-02 | 2018-03-23 | 青岛擎鹰信息科技有限责任公司 | 一种基于色块匹配和仿射校正的全息图像获取方法 |
| CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及系统 |
| CN110211192A (zh) * | 2019-05-13 | 2019-09-06 | 南京邮电大学 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
| CN110335292A (zh) * | 2019-07-09 | 2019-10-15 | 北京猫眼视觉科技有限公司 | 一种基于图片跟踪实现模拟场景跟踪的方法及系统 |
| CN112426720A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种三维游戏场景内角色绘制与互动系统及其实现方法 |
| CN114418992A (zh) * | 2022-01-19 | 2022-04-29 | 安徽大学 | 一种交互式2d与3d医学图像配准参数自动生成方法 |
| CN114842171A (zh) * | 2022-03-31 | 2022-08-02 | 温州职业技术学院 | 一种基于人机交互的三维绘图系统及方法 |
| CN116206320A (zh) * | 2023-02-27 | 2023-06-02 | 上海交大智邦科技有限公司 | 图纸特征与数字匹配的方法、系统、设备及介质 |
-
2023
- 2023-09-20 CN CN202311215629.3A patent/CN116958332B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102306395A (zh) * | 2010-09-20 | 2012-01-04 | 董福田 | 一种三维模型数据分布式绘图方法及装置 |
| WO2012037862A1 (zh) * | 2010-09-20 | 2012-03-29 | Dong futian | 一种三维模型数据分布式绘图方法及装置 |
| CN102568026A (zh) * | 2011-12-12 | 2012-07-11 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN104637080A (zh) * | 2013-11-07 | 2015-05-20 | 深圳先进技术研究院 | 一种基于人机交互的三维绘图系统及方法 |
| JP2014142974A (ja) * | 2014-05-14 | 2014-08-07 | Archaio Llc | ３次元および２次元デジタル画像を使用するシステムおよび方法 |
| WO2016182167A1 (ko) * | 2015-05-12 | 2016-11-17 | 주식회사 아이아라 | 평면 도안 입체화 구현 장치 |
| CN106204746A (zh) * | 2016-06-23 | 2016-12-07 | 广州增强信息科技有限公司 | 一种可实现3d模型实时上色的增强现实系统 |
| CN106127859A (zh) * | 2016-06-28 | 2016-11-16 | 华中师范大学 | 一种移动增强现实型涂鸦绘本的真实感生成方法 |
| CN107562226A (zh) * | 2017-09-15 | 2018-01-09 | 广东虹勤通讯技术有限公司 | 一种3d绘图系统及方法 |
| CN107833266A (zh) * | 2017-11-02 | 2018-03-23 | 青岛擎鹰信息科技有限责任公司 | 一种基于色块匹配和仿射校正的全息图像获取方法 |
| CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及系统 |
| CN110211192A (zh) * | 2019-05-13 | 2019-09-06 | 南京邮电大学 | 一种基于深度学习的三维模型到二维图像的渲染方法 |
| CN110335292A (zh) * | 2019-07-09 | 2019-10-15 | 北京猫眼视觉科技有限公司 | 一种基于图片跟踪实现模拟场景跟踪的方法及系统 |
| CN112426720A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种三维游戏场景内角色绘制与互动系统及其实现方法 |
| CN114418992A (zh) * | 2022-01-19 | 2022-04-29 | 安徽大学 | 一种交互式2d与3d医学图像配准参数自动生成方法 |
| CN114842171A (zh) * | 2022-03-31 | 2022-08-02 | 温州职业技术学院 | 一种基于人机交互的三维绘图系统及方法 |
| CN116206320A (zh) * | 2023-02-27 | 2023-06-02 | 上海交大智邦科技有限公司 | 图纸特征与数字匹配的方法、系统、设备及介质 |
Non-Patent Citations (5)
| Title |
|---|
| 3D model visualization enhancements in real-time game engines;A. Merlo 等;International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences;181-188 * |
| Adaptive unwrapping for interactive texture painting;Takeo Igarashi 等;I3D‘01：Proceedings of the symposium on Interactive 3Dgraphics;209-216 * |
| PTZ摄像机视频与三维模型的配准技术研究;赵刚;计算机工程与设计;第34卷(第10期);3545-3550 * |
| 基于单幅图像成像一致性的组合式建筑交互建模;缪永伟 等;计算机辅助设计与图形学学报;第30卷(第11期);2001-2010 * |
| 真实感三维模型的纹理映射技术研究与实现;中国优秀硕士学位论文全文数据库 信息科技辑(第5期);I138-3008 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958332A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106127859B (zh) | 一种移动增强现实型涂鸦绘本的真实感生成方法 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| US8218903B2 (en) | 3D object scanning using video camera and TV monitor | |
| CN111047506B (zh) | 环境图生成和孔填充 | |
| WO1998038591A9 (en) | Method for rendering shadows on a graphical display | |
| US11276150B2 (en) | Environment map generation and hole filling | |
| CN112954292A (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
| CN107330964A (zh) | 一种复杂三维物体的显示方法及系统 | |
| CN104537705A (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| Manovich | The automation of sight: from photography to computer vision | |
| CN104517313B (zh) | 基于屏幕空间的环境光遮蔽的方法 | |
| CN112700528A (zh) | 一种用于头戴增强现实设备的虚拟物体阴影渲染方法 | |
| CN111275731A (zh) | 面向中学实验的投影式实物交互桌面系统和方法 | |
| CN112598768B (zh) | 常用字体汉字笔画拆解方法、系统、装置 | |
| CN116958332B (zh) | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 | |
| CN112734628B (zh) | 一种经三维转换后的跟踪点的投影位置计算方法及系统 | |
| CN115908755A (zh) | 一种ar投影方法、系统及ar投影仪 | |
| KR101643569B1 (ko) | 체험자가 채색한 색상이 적용된 입체 오브젝트의 동영상 출력 방법을 이용한 체험 방법 | |
| CN113012298B (zh) | 一种基于区域检测的弯曲mark三维注册增强现实方法 | |
| Zheng et al. | Pixel-wise closed-loop registration in video-based augmented reality | |
| Whitrow | OpenGL graphics through applications | |
| CN112836467A (zh) | 一种图像处理方法及装置 | |
| CN114186299B (zh) | 一种三维服装缝份效果的生成和渲染方法 | |
| Bezerra et al. | An image-based shading pipeline for 2d animation | |
| JP4436101B2 (ja) | ロボット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |