CN106204746B - 一种可实现3d模型实时上色的增强现实系统 - Google Patents
一种可实现3d模型实时上色的增强现实系统 Download PDFInfo
- Publication number
- CN106204746B CN106204746B CN201610481363.0A CN201610481363A CN106204746B CN 106204746 B CN106204746 B CN 106204746B CN 201610481363 A CN201610481363 A CN 201610481363A CN 106204746 B CN106204746 B CN 106204746B
- Authority
- CN
- China
- Prior art keywords
- module
- color
- models
- graph data
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明公开了一种可实现3D模型实时上色的增强现实系统，包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块。本发明可以实现在真实图像上进行染色时，增强现实所呈现的3D模型动画也同时进行相应部位的上色，从而实现增强现实中人和动画的互动，不再局限于动画展示。另外，本发明还解决了现有技术中2D图形处理引擎无法很好地与移动终端操作系统的相机显示控件兼容的问题。
Description
技术领域
本发明涉及一种增强现实系统，具体涉及一种可实现3D模型实时上色的增强现实系统。
背景内容
增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
然而，在基于Vuforia的AR传统应用领域，几乎都是基于Unity3D图形处理引擎来研发产品，而在基于其他图形处理引擎的产品领域，并没有使用增强现实系统的应用案例。通常在软件中打开相机，都是直接调用系统提供的相机显示控件接口，而2D图形处理引擎生成的显示图层，是经过跨平台底层图形程序接口OpenGL的二次封装的，因此使用2D图形处理引擎渲染显示增强现实动画的图层，并不能很好地与系统的相机显示控件兼容。这个问题让那些尝试基于2D图形处理引擎，研发增强现实产品的开发者增加了障碍。
另外，随着智能手机的快速发展，虽然AR技术已经渐渐在手机端发展开来，但是目前国内外运用该技术大多用于营销展示上(例如哈根达斯扫盖子出美女提琴手)，然而这些应用单纯的展示并没有完全实现与用户之间的交互，除了新奇，用户并没有从这个展示中获得任何信息。
发明内容
针对现有技术的不足，本发明旨在提供一种可实现3D模型实时上色的增强现实系统，解决现有技术中2D图形处理引擎无法很好地与移动终端操作系统的相机显示控件兼容，且增强现实技术在移动终端上的应用仅仅局限于动画的展示而缺乏交互性的问题。
为了实现上述目的，本发明采用如下技术方案：
一种可实现3D模型实时上色的增强现实系统，包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块；
摄像头模块：用于对真实图像进行图形数据采集；
数据库模块：用于存储预设图形数据；
图形识别模块：用于将摄像头模块所获得的图形数据与数据库模块中的预设图形数据进行对比，确定数据库模块中是否有与摄像头模块所获得的图形数据相匹配的预设图形数据；
3D模型绘制模块：用于当数据库模块中存有与摄像头模块所获得的图形数据相匹配的预设图形数据时，绘制与预设图形数据对应的3D模型并与摄像头模块所获得的图形数据融合在一起显示在显示模块上；
对比模块：用于从摄像头模块摄得的图形数据上检测真实图像上是否具有局部或全部的颜色变化，并确定发生颜色变化的部位；
3D模型颜色渲染模块：用于在3D模型上与真实图像发生颜色改变的部位对应的位置进行实时颜色渲染，并显示在显示模块上。
作为一种优选方案，还包括颜色识别模块，用于当对比模块检测到真实图像上的颜色发生变化时，识别得出真实图像上变化后的颜色，所述3D模型颜色渲染模块进行颜色渲染时采用颜色识别模块所识别出的颜色。
作为一种优选方案，所述3D模型颜色渲染模块采用UV贴图的方式实时进行。
作为一种优选方案，还包括2D图形处理引擎模块；摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示；所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
进一步地，作为一种优选方案，所有的模块集成为一移动终端。
上述系统的工作方法，包括以下步骤：
S1采用摄像头模块采集真实图像的图形数据；
S2图形识别模块对摄像头模块采集得到的每一帧图形数据进行识别，确定数据库模块中是否存储有与摄像头模块所采集的图形数据相匹配的预设图形数据；
S3当步骤S2中图形识别模块识别得到数据库模块中存储有与摄像头模块所采集的图形数据相匹配的预设图形数据，则3D模型绘制模块绘制出与该预设图形数据对应的3D模型；
S4当在真实图像上进行上色，对比模块通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比，检测得到真实图像颜色的变化和变化的部位；
S5 3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，从而实现3D模型实时上色。
需要说明的是，步骤S4之后、步骤S5之前，颜色识别模块会对真实图像上变化后的颜色进行识别，步骤S5中，3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，所渲染的颜色即为颜色识别模块识别得到的颜色。
需要说明的是，步骤S1中，摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示；步骤S3中，所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
本发明的有益效果在于：
1、能够实现增强现实中的人和动画之间的交互，不再局限于动画的展示；
2、解决了现有技术中2D图形处理引擎无法很好地与移动终端操作系统的相机显示控件兼容的问题。
附图说明
图1为本发明的实施流程图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
一种可实现3D模型实时上色的增强现实系统，包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块；
摄像头模块：用于对真实图像进行图形数据采集；
数据库模块：用于存储预设图形数据；
图形识别模块：用于将摄像头模块所获得的图形数据与数据库模块中的预设图形数据进行对比，确定数据库模块中是否有与摄像头模块所获得的图形数据相匹配的预设图形数据；
3D模型绘制模块：用于当数据库模块中存有与摄像头模块所获得的图形数据相匹配的预设图形数据时，绘制与预设图形数据对应的3D模型并与摄像头模块所获得的图形数据融合在一起显示在显示模块上；
对比模块：用于从摄像头模块摄得的图形数据上检测真实图像上是否具有局部或全部的颜色变化，并确定发生颜色变化的部位；
3D模型颜色渲染模块：用于在3D模型上与真实图像发生颜色改变的部位对应的位置进行实时颜色渲染，并显示在显示模块上。
作为一种优选方案，还包括颜色识别模块，用于当对比模块检测到真实图像上的颜色发生变化时，识别得出真实图像上变化后的颜色，所述3D模型颜色渲染模块进行颜色渲染时采用颜色识别模块所识别出的颜色。
作为一种优选方案，所述3D模型颜色渲染模块采用UV贴图的方式实时进行。
作为一种优选方案，还包括2D图形处理引擎模块；摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示；所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
进一步地，作为一种优选方案，所有的模块集成为一移动终端。
上述系统的工作方法，包括以下步骤：
S1采用摄像头模块采集真实图像的图形数据；
S2图形识别模块对摄像头模块采集得到的每一帧图形数据进行识别，确定数据库模块中是否存储有与摄像头模块所采集的图形数据相匹配的预设图形数据；
S3当步骤S2中图形识别模块识别得到数据库模块中存储有与摄像头模块所采集的图形数据相匹配的预设图形数据，则3D模型绘制模块绘制出与该预设图形数据对应的3D模型；
S4当在真实图像上进行上色，对比模块通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比，检测得到真实图像颜色的变化和变化的部位；
S5 3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，从而实现3D模型实时上色。
需要说明的是，步骤S4之后、步骤S5之前，颜色识别模块会对真实图像上变化后的颜色进行识别，步骤S5中，3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，所渲染的颜色即为颜色识别模块识别得到的颜色。
需要说明的是，步骤S1中，摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示；步骤S3中，所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
实施例一
真实图像为画在纸上的鱼图像，当摄像头模块对准纸上的鱼图像，显示模块上立刻呈现出对应的鱼的3D动画影像，然后使用者在纸上的鱼图像上的某个部位染色，则显示模块上所呈现的鱼的动画影像上相应部位也变成了相同的颜色。
实施例二
真实图像为画在纸上的鱼图像，当摄像头模块对准纸上的鱼图像时，显示模块首先所呈现出的是纸上的鱼图像的原图像，然后呈现出鱼从纸上跃起并活动的3D动画影像，然后使用者在纸上的鱼图像上的某个部位染色，则显示模块上所呈现的鱼的动画影像上相应部位也变成了相同的颜色。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。
Claims (6)
1.一种可实现3D模型实时上色的增强现实系统，其特征在于，包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块；
摄像头模块：用于对真实图像进行图形数据采集；
数据库模块：用于存储预设图形数据；
图形识别模块：用于将摄像头模块所获得的图形数据与数据库模块中的预设图形数据进行对比，确定数据库模块中是否有与摄像头模块所获得的图形数据相匹配的预设图形数据；
3D模型绘制模块：用于当数据库模块中存有与摄像头模块所获得的图形数据相匹配的预设图形数据时，绘制与预设图形数据对应的3D模型并与摄像头模块所获得的图形数据融合在一起显示在显示模块上；
对比模块：用于通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比，检测得到真实图像颜色的变化和变化的部位；
3D模型颜色渲染模块：用于在3D模型上与真实图像发生颜色改变的部位对应的位置进行实时颜色渲染，并显示在显示模块上；
颜色识别模块，用于当对比模块检测到真实图像上的颜色发生变化时，识别得出真实图像上变化后的颜色，所述3D模型颜色渲染模块进行颜色渲染时采用颜色识别模块所识别出的颜色。
2.根据权利要求1所述的可实现3D模型实时上色的增强现实系统，其特征在于，所述3D模型颜色渲染模块采用UV贴图的方式实时进行。
3.根据权利要求1所述的可实现3D模型实时上色的增强现实系统，其特征在于，还包括2D图形处理引擎模块；摄像头模块所采集的每一帧图形数据在所述2D图形处理引擎模块中进行展示；所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
4.根据权利要求1－3任一所述的可实现3D模型实时上色的增强现实系统，其特征在于，所有的模块集成为一移动终端。
5.上述任一权利要求所述的可实现3D模型实时上色的增强现实的系统的工作方法，其特征在于：
S1、采用摄像头模块采集真实图像的图形数据；
S2、图形识别模块对摄像头模块采集得到的每一帧图形数据进行识别，确定数据库模块中是否存储有与摄像头模块所采集的图形数据相匹配的预设图形数据；
S3、当步骤S2中图形识别模块识别得到数据库模块中存储有与摄像头模块所采集的图形数据相匹配的预设图形数据，则3D模型绘制模块绘制出与该预设图形数据对应的3D模型；
S4、当在真实图像上进行上色，对比模块通过对摄像头模块采集得到的前后不同时刻的图形数据进行对比，检测得到真实图像颜色的变化和变化的部位；
S5、3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，从而实现3D模型实时上色；
步骤S4之后、步骤S5之前，颜色识别模块会对真实图像上变化后的颜色进行识别，步骤S5中，3D模型颜色渲染模块在3D模型上与真实图像发生颜色变化的部位相对应的位置上进行颜色渲染，所渲染的颜色即为颜色识别模块识别得到的颜色。
6.根据权利要求5所述的工作方法，其特征在于，步骤S1中，摄像头模块所采集的每一帧图形数据在2D图形处理引擎模块中进行展示；步骤S3中，所述3D模型绘制模块则在当前所展示的图形数据对应的画面上，通过所述2D图形处理引擎模块绘制与所述预设图形数据相对应的3D模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610481363.0A CN106204746B (zh) | 2016-06-23 | 2016-06-23 | 一种可实现3d模型实时上色的增强现实系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610481363.0A CN106204746B (zh) | 2016-06-23 | 2016-06-23 | 一种可实现3d模型实时上色的增强现实系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106204746A CN106204746A (zh) | 2016-12-07 |
| CN106204746B true CN106204746B (zh) | 2018-06-19 |
Family
ID=57462170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610481363.0A Active CN106204746B (zh) | 2016-06-23 | 2016-06-23 | 一种可实现3d模型实时上色的增强现实系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106204746B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025674B (zh) * | 2017-03-08 | 2020-08-18 | 武汉秀宝软件有限公司 | 一种基于增强现实的涂色识别图的显示方法及系统 |
| CN107693117B (zh) * | 2017-09-29 | 2020-06-12 | 苏州蓝软智能医疗科技有限公司 | 辅助手术系统及3d模型与手术患者自动重合匹配的方法 |
| CN108579082A (zh) * | 2018-04-27 | 2018-09-28 | 网易（杭州）网络有限公司 | 游戏中显示光影的方法、装置和终端 |
| CN108765530A (zh) * | 2018-05-24 | 2018-11-06 | 北京声影动漫科技有限公司 | 一种制作漫画和/或二维动画的方法 |
| CN111145358B (zh) * | 2018-11-02 | 2024-02-23 | 北京微播视界科技有限公司 | 图像处理方法、装置、硬件装置 |
| CN113192211B (zh) * | 2021-03-23 | 2023-04-07 | 北京师范大学 | 一种基于3d模型的唐三彩虚拟上色系统及方法 |
| CN116958332B (zh) * | 2023-09-20 | 2023-12-22 | 南京竹影数字科技有限公司 | 基于图像识别的纸张绘图实时映射3d模型的方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574914A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市沃优文化有限公司 | 3d动态场景的制作装置及其制作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9767602B2 (en) * | 2014-06-30 | 2017-09-19 | Intel Corporation | Techniques for reduced pixel shading |
-
2016
- 2016-06-23 CN CN201610481363.0A patent/CN106204746B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574914A (zh) * | 2015-12-18 | 2016-05-11 | 深圳市沃优文化有限公司 | 3d动态场景的制作装置及其制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106204746A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106204746B (zh) | 一种可实现3d模型实时上色的增强现实系统 | |
| CN106355153B (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
| US8933928B2 (en) | Multiview face content creation | |
| US20160143423A1 (en) | Makeup application assistance device, makeup application assistance method, and makeup application assistance program | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| CN107018336A (zh) | 图像处理的方法和装置及视频处理的方法和装置 | |
| US20100315424A1 (en) | Computer graphic generation and display method and system | |
| CN106797458A (zh) | 真实对象的虚拟改变 | |
| CN101477701B (zh) | 面向AutoCAD和3DS MAX软件的植入式真三维立体渲染方法 | |
| EP3533218B1 (en) | Simulating depth of field | |
| CN104103090A (zh) | 图像处理方法、个性化人体显示方法及其图像处理系统 | |
| CN109325990A (zh) | 图像处理方法及图像处理装置、存储介质 | |
| CN105913496B (zh) | 一种将真实服饰快速转换为三维虚拟服饰的方法及系统 | |
| CN108572772A (zh) | 图片内容呈现方法及装置 | |
| Ebner et al. | Multi‐view reconstruction of dynamic real‐world objects and their integration in augmented and virtual reality applications | |
| CN109308734A (zh) | 3d文字的生成方法及其装置、设备、存储介质 | |
| KR20060131145A (ko) | 이차원 영상을 이용한 삼차원 물체의 렌더링 방법 | |
| CN113421328A (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN110298917B (zh) | 一种人脸重建方法及系统 | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| CN113989434A (zh) | 一种人体三维重建方法及设备 | |
| CN107066605A (zh) | 基于图像识别的设备信息自动调阅展示方法 | |
| CN108230430A (zh) | 云层遮罩图的处理方法及装置 | |
| CN106504063B (zh) | 一种虚拟头发试戴视频展示系统 | |
| Arpa et al. | Perceptual 3D rendering based on principles of analytical cubism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |