CN109685907A - 基于增强现实的图像结合方法及系统 - Google Patents
基于增强现实的图像结合方法及系统 Download PDFInfo
- Publication number
- CN109685907A CN109685907A CN201710978360.2A CN201710978360A CN109685907A CN 109685907 A CN109685907 A CN 109685907A CN 201710978360 A CN201710978360 A CN 201710978360A CN 109685907 A CN109685907 A CN 109685907A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- virtual
- target area
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006854 communication Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于增强现实的图像结合方法及系统，该方法包括：通过摄像机设备拍摄获取目标图像；对目标图像进行标识识别，确定出目标区域；基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；基于目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；根据三维坐标对虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。本发明通过拍摄目标图像，并进行标识识别，确定出目标区域，匹配出对应的虚拟三维图像，对目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标，根据三维坐标对虚拟三维图像进行缩放以及投影结合，使得虚拟三维图像可以合理的与现实空间进行结合，提升了图像结合的准确率。
Description
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的图像结合方法及系统。
背景技术
随着科技的发展，人机接口技术成为智能设备发展的重要方向，基于增强现实(Augmented Reality，AR)的人机接口技术也应运而生。所述增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
目前的增强现实方法将虚拟三维画面与真实世界进行结合时，对应的位置融合点总是存在一定的误差，导致结合的效果总是差强人意，因此，如何通过合适的方式来加强虚拟三维画面与真实世界的融合准确率，还有待解决。
发明内容
本发明实施例提供一种基于增强现实的图像结合方法及系统，可以提升虚拟三维图像与真实世界的图像结合准确率。
本发明实施例提供以下技术方案：
一种基于增强现实的图像结合方法，包括：
通过摄像机设备拍摄获取目标图像；
对所述目标图像进行标识识别，确定出目标区域，所述目标区域中包含有预设标识；
基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；
基于所述目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；
根据所述三维坐标对所述虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
为解决上述技术问题，本发明实施例还提供以下技术方案：
一种基于增强现实的图像结合系统，包括：
拍摄模块，用于通过摄像机设备拍摄获取目标图像；
识别模块，用于对所述目标图像进行标识识别，确定出目标区域，所述目标区域中包含有预设标识；
匹配模块，用于基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；
三维注册模块，用于基于所述目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；
结合模块，用于根据所述三维坐标对所述虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
本实施例提供的一种基于增强现实的图像结合方法及系统，通过拍摄目标图像，并进行标识识别，确定出目标区域，匹配出对应的虚拟三维图像，对目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标，根据三维坐标对虚拟三维图像进行缩放以及投影结合，使得虚拟三维图像可以合理的与现实空间进行结合，提升了图像结合的准确率。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的基于增强现实的图像结合方法的场景示意图。
图2为本发明实施例提供的基于增强现实的图像结合方法的流程示意图。
图3为本发明实施例提供的基于增强现实的图像结合方法的另一流程示意图。
图4为本发明实施例提供的基于增强现实的图像结合系统的模块示意图。
图5为本发明实施例提供的基于增强现实的图像结合系统的另一模块示意图。
图6为本发明实施例提供的增强现实服务器的结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。
请参阅图1，图1为本发明实施例所提供的基于增强现实的图像结合方法的场景示意图。该场景包括增强现实服务器11、虚拟显示设备13、目标图像14、以及至少一个摄像模块15。
该增强现实服务器11用于存储虚拟三维图像12以及标识样本。该增强现实服务器11与虚拟显示设备13、以及至少一个摄像模块16之间可以通过无线网络、蓝牙或者红外线连接通信。
该虚拟显示设备13包括但不限于：智能数据头盔、以及计算机终端。
其中，通过摄像机模块15拍摄获取目标图像14。对该目标图像14进行标识识别，确定出目标区域，该目标区域中包含有预设标识(五角星)。基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维汽车图像12。基于该目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标。根据该三维坐标对该虚拟三维汽车图像12进行比例缩放，并将缩放后的虚拟三维图像12与目标区域14进行结合。
以下进行具体分析说明。
请参阅图2，图2是本发明实施例提供的基于增强现实的图像结合方法的流程示意图。
具体而言，该方法包括：
在步骤S101中，通过摄像机设备拍摄获取目标图像。
其中，通过该摄像机设备对目标现实空间进行拍摄，获取该目标现实空间对应的目标图像。
在一实施方式中，该摄像机设备可以为多个，可以将多个摄像机设备拍摄的多张图像进行优化合成，以得到目标图像。
在步骤S102中，对该目标图像进行标识识别，确定出目标区域，该目标区域中包含有预设标识。
其中，可以通过对该目标图像进行纹理图像分割，将目标图像分割为多个子图像，对该多个子图像进行标识识别，该标识为人工标识，为预设标识，该预设标志的作用为像虚拟物体提供绘制信息，采用该预设标识的有点事操作者可以通过它与虚拟物体间进行实时交互。
在步骤S103中，基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像。
其中，可以在虚拟数据库中预存标识样本，其中每一标识样本对应关联一对应的虚拟三维图像，该虚拟三维图像为是基于用户选择的物品对应的增强现实场景图像。该增强现实场景图像可以根据游戏引擎搭建而成，如Unity 3D搭建形成，不但可以发布Windows系统，还可以发布到IOS、Linux等操作系统环境中。
在步骤S104中，基于该目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标。
需要说明的是，由于需要将该虚拟三维图像进行投影结合，所以需要将目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标。
在一实施方式中，可以通过对二维顶点坐标采用直接求取运动参数法或者共线方程法运算，计算得出对应的三维坐标。
在步骤S105中，根据该三维坐标对该虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
其中，该得出的三维坐标为虚拟物品结合的位置点，可以通过先对虚拟三维图像进行比例缩放，使该虚拟三维图像适配该三维坐标，再将该调整后的虚拟三维图像按照三维坐标进行投影，与目标区域进行结合，当用户通过佩戴头戴式显示设备对目标区域进行查看时，会看到显示精确的虚拟三维图像。以使用户产生虚拟的沉浸感。
由上述可知，本实施例提供的一种基于增强现实的图像结合方法，通过拍摄目标图像，并进行标识识别，确定出目标区域，匹配出对应的虚拟三维图像，对目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标，根据三维坐标对虚拟三维图像进行缩放以及投影结合，使得虚拟三维图像可以合理的与现实空间进行结合，提升了图像结合的准确率。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图3，图3是本发明实施例提供的基于增强现实的图像结合方法的另一流程示意图。
具体而言，该方法包括：
在步骤S201中，通过摄像机设备拍摄获取目标图像。
其中，通过该摄像机设备对目标现实空间进行拍摄，获取该目标现实空间对应的目标图像。
在步骤S202中，对目标图像进行纹理图像分割，得到多个子图像。
其中，基于目标图像进行纹理分析，基于Gabor滤波的纹理特征提取，将目标图像分割为多个子图像，该每一子图像中都包含有一的纹理特征。
在步骤S203中，对多个子图像进行标识识别，将包含预设标识的子图像确定为目标区域。
其中，对每个子图像中的纹理特征进行标识识别，将子图像中的标识包含有预设标识的子图像确定为目标区域，该预设标识为人工标识，该预设标志的作用为像虚拟物体提供绘制信息，采用该预设标识的有点事操作者可以通过它与虚拟物体间进行实时交互。比如，该预设标识可以为五角形或者正方形等。
在步骤S204中，基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像。
在一实施方式中，该基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像，可以包括：
(1)将该预设标识与虚拟数据库中的标识样本进行相似度匹配。
其中，当预设标识与虚拟数据库中的标识样本的相似度高于预设阈值时，判定为该预设标识为标识样本，执行步骤(2)。当预设标识与虚拟数据库中的标识样本的相似度不高于预设阈值时，判定为该预设标识不为标识样本，可以提示匹配失败。
(2)获取该标识样本关联的虚拟三维图像。
需要说明的是，该每一标识样本对应关联一对应的虚拟三维图像，如正方形标识样本对应为虚拟三维汽车图像，五角星形标识样本对应为虚拟地球仪图像。
进一步的，当匹配成功时，获取该标识样本对应关联的虚拟三维图像。
在步骤S205中，对目标区域进行图像二值化处理，以将目标区域的边缘提取出来。
其中，该图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。基于灰度后的图像，将目标区域的边缘进行提取。
在步骤S206中，对目标区域进行霍夫变换，得到目标区域的边所在的直线。
其中，对目标区域进行霍夫变换计算，该霍夫变换为从图像中识别集合形状的基本方法之一，用来从图像中分离出具有某种相同特征的几何形状(如，直线，圆等)。最基本的霍夫变换是从黑白图像中检测直线。根据计算结果得到目标区域的边所在的直线。
在步骤S207中，计算边所在的直线的交点坐标，得到二维顶点坐标。
其中，该目标区域的边所在的直线的交点即为目标区域的顶点，由此得到目标区域所有顶点对应的二维顶点坐标。
在步骤S208中，基于二维顶点坐标进行三维注册，获得对应的三维坐标。
需要说明的是，将虚拟三维图像进行投影映射，仅依靠二维顶点坐标是不够的。
进一步的，采用三维注册方法对二维顶点坐标进行计算，以得到该二维顶点坐标对应的三维坐标。该三维注册方法包括直接求取运动参数法以及共线方程法等。
在步骤S209中，根据三维坐标进行空间计算，得出对应的目标图像尺寸。
其中，该所有的三维坐标构成一个空间大小值，将该空间大小值确定为目标图像尺寸。
在步骤S210中，对虚拟三维图像进行比例调整，使虚拟三维图像的图像尺寸等于目标图像尺寸。
其中，根据该目标图像尺寸对该虚拟三维图像进行比例缩放调整，使得该虚拟三维图像的图像尺寸等于目标图像尺寸。
在步骤S211中，将调整后的虚拟三维图像按照三维坐标进行投影，以使得虚拟三维图像与目标区域结合。
其中，将调整后的虚拟三维图像按照三维坐标进行投影显示，可以精确将虚拟三维图像按照正常的比例大小显示在目标区域上。当用户通过佩戴头戴式显示设备对目标区域进行查看时，会看到显示精确的虚拟三维图像。以使用户产生虚拟的沉浸感。
由上述可知，本实施例提供的一种基于增强现实的图像结合方法，通过拍摄目标图像，对目标图像进行纹理图像分割，对分割后的子图像进行标识识别，将包含预设标识的子图像确定为目标区域，根据预设标识匹配出对应的虚拟三维图像，对目标区域进行图像二值化处理，将目标区域边缘提取出来，再进行霍夫变化，得到目标区域的边所在的直线，根据直线之间的交点，确定二维顶点坐标后，进行三维注册，得到三维坐标。根据三维坐标对虚拟三维图像进行缩放以及投影结合，使得虚拟三维图像可以合理的与现实空间进行结合，提升了图像结合的准确率。
为便于更好的实施本发明实施例提供的基于增强现实的图像结合方法，本发明实施例还提供一种基于上述基于增强现实的图像结合方法的系统。其中名词的含义与上述基于增强现实的图像结合方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图4，图4为本发明实施例提供的基于增强现实的图像结合系统的模块示意图。
具体而言，该基于增强现实的图像结合系统300，包括：拍摄模块31、识别模块32、匹配模块33、三维注册模块34以及结合模块35。
该拍摄模块31，用于通过摄像机设备拍摄获取目标图像。
其中，该拍摄模块31通过该摄像机设备对目标现实空间进行拍摄，获取该目标现实空间对应的目标图像。
该识别模块32，用于对该目标图像进行标识识别，确定出目标区域，该目标区域中包含有预设标识。
其中，该识别模块32可以通过对该目标图像进行纹理图像分割，将目标图像分割为多个子图像，对该多个子图像进行标识识别，该标识为人工标识，为预设标识，该预设标志的作用为像虚拟物体提供绘制信息，采用该预设标识的有点事操作者可以通过它与虚拟物体间进行实时交互。
该匹配模块33，用于基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像。
其中，该匹配模块33可以在虚拟数据库中预存标识样本，其中每一标识样本对应关联一对应的虚拟三维图像，该虚拟三维图像为是基于用户选择的物品对应的增强现实场景图像。该增强现实场景图像可以根据游戏引擎搭建而成，如Unity 3D搭建形成，不但可以发布Windows系统，还可以发布到IOS、Linux等操作系统环境中。
该三维注册模块34，用于基于该目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标。
其中，该三维注册模块34可以通过对二维顶点坐标采用直接求取运动参数法或者共线方程法运算，计算得出对应的三维坐标。
该结合模块35，用于根据该三维坐标对该虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
其中，该结合模块35得出的该三维坐标为虚拟物品结合的位置点，可以通过先对虚拟三维图像进行比例缩放，使该虚拟三维图像适配该三维坐标，再将该调整后的虚拟三维图像按照三维坐标进行投影，与目标区域进行结合，当用户通过佩戴头戴式显示设备对目标区域进行查看时，会看到显示精确的虚拟三维图像。以使用户产生虚拟的沉浸感。
可一并参考图5，图5为本发明实施例提供的基于增强现实的图像结合系统的另一模块示意图，该基于增强现实的图像结合系统300还可以包括：
其中，该识别模块32还可以包括纹理分割子模块321、以及识别子模块322。
具体而言，该纹理分割子模块321，用于对该目标图像进行纹理图像分割，得到多个子图像。该识别子模块322，用于对多个子图像进行标识识别，将包含预设标识的子图像确定为目标区域。
其中，该匹配模块33还可以包括匹配子模块331、以及获取子模块332。
具体而言，该匹配子模块331，用于将该预设标识与虚拟数据库中的标识样本进行相似度匹配。该获取子模块332，用于当该相似度超过预设阈值时，获取该标识样本关联的虚拟三维图像。
其中，该三维注册模块34还可以包括提取子模块341、霍夫变换子模块342、计算子模块343以及三维注册子模块344。
具体而言，该提取子模块341，用于对该目标区域进行图像二值化处理，以将目标区域的边缘提取出来。霍夫变换子模块342，用于对该目标区域进行霍夫变换，得到目标区域的边所在的直线。计算子模块343，用于计算该边所在的直线的交点坐标，得到二维顶点坐标。三维注册子模块344，用于基于该二维顶点坐标进行三维注册，获得对应的三维坐标。
由上述可知，本实施例提供的一种基于增强现实的图像结合系统，通过拍摄目标图像，对目标图像进行纹理图像分割，对分割后的子图像进行标识识别，将包含预设标识的子图像确定为目标区域，根据预设标识匹配出对应的虚拟三维图像，对目标区域进行图像二值化处理，将目标区域边缘提取出来，再进行霍夫变化，得到目标区域的边所在的直线，根据直线之间的交点，确定二维顶点坐标后，进行三维注册，得到三维坐标。根据三维坐标对虚拟三维图像进行缩放以及投影结合，使得虚拟三维图像可以合理的与现实空间进行结合，提升了图像结合的准确率。
相应的，本发明实施例还提供一种增强现实服务器，如图6所示，该增强现实服务器可以包括射频(RF，Radio Frequency)电路401、包括有一个或一个以上计算机可读存储介质的存储器402、输入单元403、显示单元404、传感器405、音频电路406、无线保真(WiFi，Wireless Fidelity)模块407、包括有一个或者一个以上处理核心的处理器408、以及电源409等部件。本领域技术人员可以理解，图6中示出的增强现实服务器结构并不构成对增强现实服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路401可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器408处理；另外，将涉及上行的数据发送给基站。通常，RF电路401包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路401还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器402可用于存储软件程序以及模块，处理器408通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如产品的虚拟图像等)等；存储数据区可存储根据增强现实服务器的使用所创建的数据(比如部件信息、维修信息等)等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器408和输入单元403对存储器402的访问。
输入单元403可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的麦克风、触摸屏、体感输入设备、键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元403可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器408，并能接收处理器408发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元403还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元404可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元404可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器408以确定触摸事件的类型，随后处理器408根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
增强现实服务器还可包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在虚拟增强现实产品维修移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。但是可以理解的是，其并不属于增强现实服务器的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
音频电路406、扬声器，传声器可提供用户与终端之间的音频接口。音频电路406可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路406接收后转换为音频数据，再将音频数据输出处理器408处理后，经RF电路401以发送给比如另一终端，或者将音频数据输出至存储器402以便进一步处理。音频电路406还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块407可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块407，但是可以理解的是，其并不属于增强现实服务器的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器408是终端的控制中心，利用各种接口和线路连接整个增强现实服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行增强现实服务器的各种功能和处理数据，从而对增强现实服务器进行整体监控。可选的，处理器408可包括一个或多个处理核心；优选的，处理器408可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器408中。
增强现实服务器还包括给各个部件供电的电源409(比如电池)，优选的，电源可以通过电源管理系统与处理器408逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，增强现实服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，增强现实服务器中的处理器408会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器408来运行存储在存储器402中的应用程序，从而实现各种功能：
通过摄像机设备拍摄获取目标图像；
对该目标图像进行标识识别，确定出目标区域，该目标区域中包含有预设标识；
基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；
基于该目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；
根据该三维坐标对该虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对基于增强现实的图像结合方法的详细描述，此处不再赘述。
本发明实施例提供的基于增强现实的图像结合方法及系统，该基于增强现实的图像结合系统及基于增强现实的图像结合方法属于同一构思，在该基于增强现实的图像结合系统上可以运行该基于增强现实的图像结合方法实施例中提供的任一方法，其具体实现过程详见该基于增强现实的图像结合方法实施例，此处不再赘述。
需要说明的是，对本发明该基于增强现实的图像结合方法而言，本领域普通测试人员可以理解实现本发明实施例基于增强现实的图像结合方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在终端的存储器中，并被该终端内的至少一个处理器执行，在执行过程中可包括如该基于增强现实的图像结合方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。
对本发明实施例的该基于增强现实的图像结合系统而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。
以上对本发明实施例所提供的一种基于增强现实的图像结合方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上该，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于增强现实的图像结合方法，其特征在于，包括：
通过摄像机设备拍摄获取目标图像；
对所述目标图像进行标识识别，确定出目标区域，所述目标区域中包含有预设标识；
基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；
基于所述目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；
根据所述三维坐标对所述虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
2.如权利要求1所述的基于增强现实的图像结合方法，其特征在于，所述对所述目标图像进行标识识别，确定出目标区域，包括：
对所述目标图像进行纹理图像分割，得到多个子图像；
对多个子图像进行标识识别，将包含预设标识的子图像确定为目标区域。
3.如权利要求2所述的基于增强现实的图像结合方法，其特征在于，所述基于所述目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标，包括：
对所述目标区域进行图像二值化处理，以将目标区域的边缘提取出来；
对所述目标区域进行霍夫变换，得到目标区域的边所在的直线；
计算所述边所在的直线的交点坐标，得到二维顶点坐标；
基于所述二维顶点坐标进行三维注册，获得对应的三维坐标。
4.如权利要求3所述的基于增强现实的图像结合方法，其特征在于，所述基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像，包括：
将所述预设标识与虚拟数据库中的标识样本进行相似度匹配；
当所述相似度超过预设阈值时，获取所述标识样本关联的虚拟三维图像。
5.如权利要求1至4任一项所述的基于增强现实的图像结合方法，其特征在于，所述根据所述三维坐标对所述虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合，包括：
根据所述三维坐标进行空间计算，得出对应的目标图像尺寸；
对所述虚拟三维图像进行比例调整，使所述虚拟三维图像的图像尺寸等于所述目标图像尺寸；
将所述调整后的虚拟三维图像按照三维坐标进行投影，以使得所述虚拟三维图像与目标区域结合。
6.一种基于增强现实的图像结合系统，其特征在于，包括：
拍摄模块，用于通过摄像机设备拍摄获取目标图像；
识别模块，用于对所述目标图像进行标识识别，确定出目标区域，所述目标区域中包含有预设标识；
匹配模块，用于基于预设标识匹配虚拟数据库，匹配出对应的虚拟三维图像；
三维注册模块，用于基于所述目标区域的二维顶点坐标进行三维注册，确定出对应的三维坐标；
结合模块，用于根据所述三维坐标对所述虚拟三维图像进行比例缩放，并将缩放后的虚拟三维图像与目标区域进行结合。
7.如权利要求6所述的基于增强现实的图像结合系统，其特征在于，所述识别模块，包括：
纹理分割子模块，用于对所述目标图像进行纹理图像分割，得到多个子图像；
识别子模块，用于对多个子图像进行标识识别，将包含预设标识的子图像确定为目标区域。
8.如权利要求7所述的基于增强现实的图像结合系统，其特征在于，所述三维注册模块，包括：
提取子模块，用于对所述目标区域进行图像二值化处理，以将目标区域的边缘提取出来；
霍夫变换子模块，用于对所述目标区域进行霍夫变换，得到目标区域的边所在的直线；
计算子模块，用于计算所述边所在的直线的交点坐标，得到二维顶点坐标；
三维注册子模块，用于基于所述二维顶点坐标进行三维注册，获得对应的三维坐标。
9.如权利要求8所述的基于增强现实的图像结合系统，其特征在于，所述匹配模块，包括：
匹配子模块，用于将所述预设标识与虚拟数据库中的标识样本进行相似度匹配；
获取子模块，用于当所述相似度超过预设阈值时，获取所述标识样本关联的虚拟三维图像。
10.如权利要求6至9任一项所述的基于增强现实的图像结合系统，其特征在于，所述结合模块，包括：
计算子模块，根据所述三维坐标进行空间计算，得出对应的目标图像尺寸；
调整子模块，用于对所述虚拟三维图像进行比例调整，使所述虚拟三维图像的图像尺寸等于所述目标图像尺寸；
结合子模块，用于将所述调整后的虚拟三维图像按照三维坐标进行投影，以使得所述虚拟三维图像与目标区域结合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710978360.2A CN109685907A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的图像结合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710978360.2A CN109685907A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的图像结合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109685907A true CN109685907A (zh) | 2019-04-26 |
Family
ID=66183544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710978360.2A Pending CN109685907A (zh) | 2017-10-18 | 2017-10-18 | 基于增强现实的图像结合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685907A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110794959A (zh) * | 2019-09-25 | 2020-02-14 | 苏州联游信息技术有限公司 | 一种基于图像识别的手势交互ar投影方法及装置 |
| CN111141217A (zh) * | 2020-04-03 | 2020-05-12 | 广东博智林机器人有限公司 | 物体测量方法、装置、终端设备及计算机存储介质 |
| CN113763566A (zh) * | 2020-06-05 | 2021-12-07 | 光宝电子(广州)有限公司 | 图像生成系统及图像生成方法 |
| WO2022142908A1 (zh) * | 2020-12-28 | 2022-07-07 | 中兴通讯股份有限公司 | 三维模型生成方法、xr设备及存储介质 |
| CN114785909A (zh) * | 2022-04-25 | 2022-07-22 | 歌尔股份有限公司 | 拍摄校准方法、装置、设备及存储介质 |
| CN115661419A (zh) * | 2022-12-26 | 2023-01-31 | 广东新禾道信息科技有限公司 | 实景三维增强现实可视化方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
| CN103854283A (zh) * | 2014-02-21 | 2014-06-11 | 北京理工大学 | 一种基于在线学习的移动增强现实跟踪注册方法 |
| CN106780508A (zh) * | 2016-09-23 | 2017-05-31 | 北京联合大学 | 一种基于Gabor变换的GrabCut纹理图像分割方法 |
| CN106910249A (zh) * | 2015-12-23 | 2017-06-30 | 财团法人工业技术研究院 | 增强现实方法及系统 |
-
2017
- 2017-10-18 CN CN201710978360.2A patent/CN109685907A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103489214A (zh) * | 2013-09-10 | 2014-01-01 | 北京邮电大学 | 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法 |
| CN103854283A (zh) * | 2014-02-21 | 2014-06-11 | 北京理工大学 | 一种基于在线学习的移动增强现实跟踪注册方法 |
| CN106910249A (zh) * | 2015-12-23 | 2017-06-30 | 财团法人工业技术研究院 | 增强现实方法及系统 |
| CN106780508A (zh) * | 2016-09-23 | 2017-05-31 | 北京联合大学 | 一种基于Gabor变换的GrabCut纹理图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘嘉敏等: "增强现实中基于三角标识的三维注册方法", 《沈阳工业大学学报》 * |
| 杨章静等: "基于Gabor变换的GrabCut纹理图像分割", 《控制与决策》 * |
| 查骏元等: "基于人工标志的增强现实技术研究", 《计算机工程与设计》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110794959A (zh) * | 2019-09-25 | 2020-02-14 | 苏州联游信息技术有限公司 | 一种基于图像识别的手势交互ar投影方法及装置 |
| CN111141217A (zh) * | 2020-04-03 | 2020-05-12 | 广东博智林机器人有限公司 | 物体测量方法、装置、终端设备及计算机存储介质 |
| CN113763566A (zh) * | 2020-06-05 | 2021-12-07 | 光宝电子(广州)有限公司 | 图像生成系统及图像生成方法 |
| WO2022142908A1 (zh) * | 2020-12-28 | 2022-07-07 | 中兴通讯股份有限公司 | 三维模型生成方法、xr设备及存储介质 |
| CN114785909A (zh) * | 2022-04-25 | 2022-07-22 | 歌尔股份有限公司 | 拍摄校准方法、装置、设备及存储介质 |
| CN115661419A (zh) * | 2022-12-26 | 2023-01-31 | 广东新禾道信息科技有限公司 | 实景三维增强现实可视化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109213728A (zh) | 基于增强现实的文物展示方法及系统 | |
| CN109685907A (zh) | 基于增强现实的图像结合方法及系统 | |
| CN104134230B (zh) | 一种图像处理方法、装置及计算机设备 | |
| CN109426783A (zh) | 基于增强现实的手势识别方法及系统 | |
| CN108229332A (zh) | 骨骼姿态确定方法、装置及计算机可读存储介质 | |
| CN109213885A (zh) | 基于增强现实的汽车展示方法及系统 | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| CN109905754A (zh) | 虚拟礼物收取方法、装置及存储设备 | |
| CN106296617B (zh) | 人脸图像的处理方法及装置 | |
| CN107944380A (zh) | 身份识别方法、装置及存储设备 | |
| CN108519817A (zh) | 基于增强现实的交互方法、装置、存储介质及电子设备 | |
| CN104679509B (zh) | 一种渲染图形的方法和装置 | |
| CN106951868B (zh) | 一种基于身形特征的步态识别方法及装置 | |
| CN107818288A (zh) | 标志牌信息获取方法及装置 | |
| CN108255304A (zh) | 基于增强现实的视频数据处理方法、装置和存储介质 | |
| CN107977674A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN106204423B (zh) | 一种基于增强现实的图片调整方法、装置及终端 | |
| CN108304758A (zh) | 人脸特征点跟踪方法及装置 | |
| CN108346175B (zh) | 一种人脸图像修复方法、装置及存储介质 | |
| WO2015131767A1 (en) | Video processing method and apparatus | |
| CN109165606A (zh) | 一种车辆信息的获取方法、装置以及存储介质 | |
| CN109426343A (zh) | 基于虚拟现实的协作训练方法及系统 | |
| CN107105093A (zh) | 基于手部轨迹的拍照控制方法、装置及终端 | |
| CN107864336B (zh) | 一种图像处理方法、移动终端 | |
| CN109686161A (zh) | 基于虚拟现实的地震训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |