CN109840949A - 基于光学定位的增强现实图像处理方法和装置 - Google Patents
基于光学定位的增强现实图像处理方法和装置 Download PDFInfo
- Publication number
- CN109840949A CN109840949A CN201711229764.8A CN201711229764A CN109840949A CN 109840949 A CN109840949 A CN 109840949A CN 201711229764 A CN201711229764 A CN 201711229764A CN 109840949 A CN109840949 A CN 109840949A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- real scene
- video camera
- reality image
- optical alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 60
- 230000003287 optical effect Effects 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种基于光学定位的增强现实图像处理方法和装置。该基于光学定位的增强现实图像处理方法，通过摄像机获取真实场景图像；获取摄像机在真实场景中的方位信息；根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；按照仿射变换矩阵在透视平面上绘制目标虚拟物体；将虚拟物体与真实场景图像合成，以输出增强现实图像。该方案采用光学定位的方式获取摄像机的方位信息，以此确定虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
Description
技术领域
本申请涉及增强现实技术领域，尤其涉及一种基于光学定位的增强现实图像处理方法和装置。
背景技术
AR(Augmented Reality，增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息充、叠加。
相关技术中，在将真实场景与虚拟物体结合形成增强现实图像时，无法很好定位虚拟物体在真实场景中的位置，导致增强现实的显示效果较差。
发明内容
本申请实施例提供一种基于光学定位的增强现实图像处理方法和装置，可提升所输出增强现实图像的显示效果。
本申请实施例提供了一种基于光学定位的增强现实图像处理方法，包括：
通过摄像机获取真实场景图像；
在所述真实场景图像中设定多个特征标识；
对所述真实场景图像中的多个特征标识进行识别和跟踪；
根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
相应地，本申请实施例还提供一种基于光学定位的增强现实图像处理装置，包括：
图像获取模块，用于通过摄像机获取真实场景图像；
标识设定模块，用于在所述真实场景图像中设定多个特征标识；
跟踪模块，用于对所述真实场景图像中的多个特征标识进行识别和跟踪；
计算模块，用于根据所述摄像机的方位参数和多个特征标识之间的位置信息，计算所述摄像机的运动变化参数；
图像处理模块，用于根据所述摄像机的运动变化参数实时调整所述虚拟对象在真实场景中的显示位置，以合成输出增强现实图像。
本申请实施例提供的基于光学定位的增强现实图像处理方法和装置，通过摄像机获取真实场景图像；获取摄像机在真实场景中的方位信息；根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；按照仿射变换矩阵在透视平面上绘制目标虚拟物体；将虚拟物体与真实场景图像合成，以输出增强现实图像。该方案采用光学定位的方式获取摄像机的方位信息，以此确定虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于光学定位的增强现实图像处理方法的一种流程示意图。
图2是本申请实施例提供的基于光学定位的增强现实图像处理方法的一种应用场景示意图。
图3是本申请实施例提供的基于光学定位的增强现实图像处理系统的架构示意图。
图4为本申请实施例提供的光学定位追踪器的结构示意图。
图5是本申请实施例提供的基于光学定位的增强现实图像处理装置的一种结构示意图。
图6是本申请实施例提供的基于光学定位的增强现实图像处理装置的另一种结构示意图。
图7是本申请实施例提供的基于光学定位的增强现实图像处理装置的又一种结构示意图。
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种基于光学定位的增强现实图像处理方法和装置。以下将分别进行详细说明。
在一优选实施例中，提供一种基于光学定位的增强现实图像处理方法，如图1所示，流程可以如下：
101、通过摄像机获取真实场景图像。
具体地，可在室内设置摄像机对真实场景进行拍摄，以获取真实场景图像。其中，该摄像相机具有高分辨率。真实场景图像：可以是由于摄像机拍摄的单幅图像、或数字图片、或视频记录的数字化图像序列。
在一些实施例中，该摄像机可以是RGB摄像机、立体声或阵列摄像机和/或深度摄像机(例如飞行时间和/或结构化光深度摄像机)。由深度摄像机捕获的深度图像可指示由每个像素成像的表面的深度，以便提供关于场景的一个或多个特征的信息。该摄像机可以沿现实场景中任意轨迹移动。
在一些施例中，该摄像机可集成在移动设备(如智能手机、平板电脑等)中，且在现实场景中内是可移动的。
102、获取摄像机在真实场景中的方位信息。
在一些实施例中，为获取摄像机在真实场景中的移动轨迹、状态等信息，可在室内设置定位标识点，并在每一定位标识点设置可发射探测信号和接收探测信号的定位传感器，形成定位模块。
在具体实施时，可在摄像机的机体上的特征位置设置多个反射标识点，该若干个特征点可为可识别的形体(如图像中的棱角、凹陷处等等)。该反射标识点处设有可反射探测信号的反射材料。也即，步骤“获取摄像机在真实场景中的方位信息”可以包括以下流程：
获取定位模块所发射的探测信号经反射标识点反射后形成的反射信号；
根据细节跟踪算法和所获取到的反射信号确定摄像机的方位信息。
实际应用中，该定位模块可包括信号发射器和信号接收器，所发射的探测信号可以为红外线。具体的，定位模块的信号发射器发射的红外线，经摄像机机体上的反射标识点反射后，形成反射光线，反射光线可被定位模块上的信号接收器接收，从而测得摄像机上该反射标识点在三维空间中的位置。
在一些实施例中，若以上若干个反射标识点完全是可识别的形体，则可基于细节跟踪算法对多个反射标识点进行识别和跟踪。
在一些实施例中，若以上若干个反射标识点由彩色编码标记，则可通过图像序列自动地识别和跟踪其在真实场景中的位置。
103、根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，透视平面为多个定位标识点相对摄像机的平面。
在一些实施例中，该方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距。则步骤“根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换矩阵”具体可以包括：
根据坐标信息、摄像机的旋转角、摇移、仰俯角、摄像头焦距，以及真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换矩阵。
具体地，参考图2，将真实场景图像中所设定的特征点的二维坐标定义为：(ξ,η)x4。为了产生真实世界和虚拟世界三维空间图像之间的连接，在记录图像期间，需确定真实场景设定的特征标识的信息。要连接真实世界和虚拟世界坐标系统，只需计算这些特征标识之间的相对距离。如，继续参考图2，可用4个标识点P表示真实世界三维信息，坐标为(X,Y,Z)x 4。
此外，需进行摄像机运动变化参数的初步估算，再通过迭代法计算最终的摄像机运动变化参数。在本实施例中，将摄像机运动参数定义为：(X0,Y0,Z0,ω,ψ,κ,c)。其中，(X0,Y0,Z0)为定义虚拟场景中摄像机对应标记的相关点坐标；ω,ψ,κ为摄像机旋转、摇移、仰俯角；c为镜头焦距，具体可参考图2。
摄像机变化参数通常分为内部和外部参数。在大部分应用中，只计算和修正摄像机的外部参数(位置和朝向)，而内部参数(如焦距、镜头中旬投影坐标、像素长度和宽度)是预先校准的，在使用期间保持不变。而在具体的增强现实演播室中，为提升灵活性，摄像机焦距的轻微变化也是允许的。
继续参考图2，根据透视投影模型，若点P(X,Y,Z)中心投影在一平面上，且离中心点的距离为c，那么，该点P的图像为P′(ξ,η)，通过相关算法计算出c、X0、Y0、Z0的值。比如，可利用矩阵变换、牛顿-拉富声方法以及LU分解方法计算求得c、X0、Y0、Z0的值，得到虚拟物体坐标到透视平面上的仿射变换矩阵。
104、按照仿射变换矩阵在透视平面上绘制目标虚拟物体。
在一些实施例中，步骤“按照仿射变换矩阵在透视平面上绘制目标虚拟物体”的可以包括以下流程：
从预设数据库中选取目标虚拟物体；
根据仿射变换矩阵确定目标虚拟物体在在透视平面上的位置信息；
根据位置信息在所述透视平面上绘制目标虚拟物体。
本申请实施例中，需预先构建数据库。具体地，可基于3D建模的方式对真实场景中的真实物体进行三维建模，得到多个虚拟物体，以构建预设数据库。然后，根据所下发的需求指令，从数据库中选取对应的目标虚拟物体。
105、将虚拟物体与真实场景图像合成，以输出增强现实图像。
具体地，当摄像机运动时，将摄像机的方位参数传输至计算机进行处理，计算机通过调整虚拟对象的大小和显示角度，控制虚拟对象与摄像机所拍摄的真实场景图像保持同步，保证真实场景中对象和虚拟物体在真实空间中的位置关系不变，以正确再现前景与背景的空间透视关系。
在一些实施例中，步骤“将虚拟物体与真实场景图像合成，以输出增强现实图像”可以包括以下流程：
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于该显示位置，以合成输出增强现实图像。
具体实施时，可采用3DS MAX程序的渲染与Video Post模块实现虚拟图像与现实图像的合成。借助3DS MAX程序可完成建模、纹理、灯光处理等操作。当计算摄像机参数并定位虚拟对象的显示位置之后，可调用3DS MAX的MaxScript脚本程序渲染图像，程序将自动生成必要的阿尔法遮罩将虚拟对象图像合成在真实场景图像上。
由上可知，本申请实施例提供了一种基于光学定位的增强现实图像处理方法，通过摄像机获取真实场景图像；获取摄像机在真实场景中的方位信息；根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；按照仿射变换矩阵在透视平面上绘制目标虚拟物体；将虚拟物体与真实场景图像合成，以输出增强现实图像。该方案采用光学定位的方式获取摄像机的方位信息，以此确定虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
参考图3，图3为本申请实施例提供的基于光学定位的增强现实图像处理系统的架构示意图。如图3所示，该系统包括摄像机1、摄像机2、光学定位跟踪器、存储器、延时器、计算机、色键器及显示设备等。实际应用中，该系统所包括的各设备之间可通过wifi、蓝牙等无线连接的方式进行通信连接。
在一些实施例中，摄像机1和摄像机2用于获取真实场景图像存储与存储器上，光学定位跟踪器实时跟踪获取摄像机1和摄像机2的方位信息。光学定位跟踪器将得到的摄像方位参数输送至计算机，计算机对获得的方位参数进行处理，计算出虚拟物体对应在透视平面上显示的位置信息，并给予该位置信息发出控制指令，以控制实时调整虚拟对象在真实场景中的显示位置，通过色键器抠图，将虚拟对象图像合成在真实场景图像上，并输出于显示设备进行显示。
其中，光学定位跟踪器可以为LED(Light-Emitting Diode，发光二极管)定位板。该光学定位追踪器通过点状和线状定位标识点的组合来构成边框和内部的编码点，该定位标识点可以由LED组成。具体可参考图4，如图4所示该边框矩形的四个顶点分别放置一个点状定位标识点，矩形的四边分别设置一条线状定位标识点，将边框矩形内按照九宫格形式划分为9个子区域。由于九宫格具有旋转对称特性，为了避免混淆标识点，必须使定位标识点的编码方式具有方向性，以保证在各种旋转角度下均能唯一识别出当前的主表示点的编码。
如图4所示，光学定位跟踪器中点状标识点的位置满足约束规则：选择九宫格中处于中旬对称位置的第0、2、6、8号子区域，只允许其中一个子区域放置一个点状标识点以标识当前子区域。另外，还可在1、3、4、5、7子区域中选择一个子区域放置另一个点状标识点。综合，可得到相应的编码，如将一个标识点放置0号子区域，另一标识点放置于4号子区域，则编码为：100010000；又如，将一个标识点放置2号子区域，另一标识点放置于5号子区域，则编码为：001001000。
在本申请又一实施例中，还提供一种基于光学定位的增强现实图像处理装置。如图5所示，该基于光学定位的增强现实图像处理装置400可以包括图像获取模块41、信息获取模块42、计算模块43、绘制模块44、以及合成模块45，其中：
图像获取模块41，用于通过摄像机获取真实场景图像；
信息获取模块42，用于获取摄像机在真实场景中的方位信息；
计算模块43，用于根据该摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，该透视平面为多个定位标识点相对摄像机的平面；
绘制模块44，用于按照该仿射变换矩阵在透视平面上绘制目标虚拟物体；
合成模块45，用于将该虚拟物体与真实场景图像合成，以输出增强现实图像。
在一些实施例中，参考图6，该摄像机的机体上设有反射标识点；该信息获取模块43包括：
获取子模块431，用于获取定位模块所发射的探测信号经该反射标识点反射后形成的反射信号；
第一确定子模块432，用于根据细节跟踪算法和所获取到的反射信号确定该摄像机的方位信息。
在一些实施例中，该方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
该计算模块433用于：
根据该坐标信息、摄像机的旋转角、摇移、仰俯角、摄像头焦距，以及真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换。
在一些实施例中，参考图7，该绘制图像包括：
选取子模块441，用于从预设数据库中选取目标虚拟物体；
第二确定子模块442，用于根据该仿射变换矩阵确定该目标虚拟物体在透视平面上的位置信息；
绘制子模块443，用于根据该位置信息在该透视平面上绘制该目标虚拟物体。
在一些实施例中，该合成模块45用于：
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟物体显示于该显示位置，以合成输出增强现实图像。
由上可知，本申请实施例提供了一种基于光学定位的增强现实图像处理装置，通过摄像机获取真实场景图像；获取摄像机在真实场景中的方位信息；根据摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；按照仿射变换矩阵在透视平面上绘制目标虚拟物体；将虚拟物体与真实场景图像合成，以输出增强现实图像。该方案采用光学定位的方式获取摄像机的方位信息，以此确定虚拟对象在真实场景中的显示位置，提升了所输出增强现实图像的显示效果。
相应地，本申请实施例还提供一种电子设备500，该电子设备500具体可以是智能手机、平板电脑等终端设备。如图8所示，该电子设备500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该电子设备500的控制中心，利用各种接口和线路连接整个电子设备500的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备500的各种功能和处理数据，从而对电子设备500进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中，信号的接收和发送，特别地，通讯单元503接收终端发送的信号，并将该数据获取请求交由一个或者一个以上处理器501处理。同时，通讯单元503将处理器501发出的反馈信号发送给服务器。
电子设备500还包括给各个部件供电的电源504(比如电池)。优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备500还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备500还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及电子设备500的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中)，应该将这些术语解释为既涵盖单数又涵盖复数。此外，除非本文中另有说明，否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值，而每个独立的值都并入本说明书中，就像这些值在本文中单独进行了陈述一样。另外，除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张，否则使用本文中所提供的任何以及所有实例或示例性语言(例如，“例如”)都仅仅为了更好地说明本申请的概念，而并非对本申请的概念的范围加以限制。
以上对本申请实施例所提供的一种基于光学定位的增强现实图像处理方法和装置进行了详细介绍。应理解，本文所述的示例性实施方式应仅被认为是描述性的，用于帮助理解本申请的方法及其核心思想，而并不用于限制本申请。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本申请，但可建议所属领域的技术人员进行各种变化和更改。本申请意图涵盖所附权利要求书的范围内的这些变化和更改。
Claims (10)
1.一种基于光学定位的增强现实图像处理方法，其特征在于，包括：
通过摄像机获取真实场景图像；
获取摄像机在真实场景中的方位信息；
根据所述摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；
按照所述仿射变换矩阵在透视平面上绘制目标虚拟物体；
将所述虚拟物体与真实场景图像合成，以输出增强现实图像。
2.如权利要求1所述的基于光学定位的增强现实图像处理方法，其特征在于，所述摄像机的机体上设有反射标识点；获取摄像机在真实场景中的方位信息的步骤，包括：
获取定位模块所发射的探测信号经所述反射标识点反射后形成的反射信号；
根据细节跟踪算法和所获取到的反射信号确定所述摄像机的方位信息。
3.如权利要求1所述的基于光学定位的增强现实图像处理方法，其特征在于，所述方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
根据所述摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换矩阵的步骤，包括：
根据所述坐标信息、摄像机的旋转角、摇移、仰俯角、摄像头焦距，以及真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换矩阵。
4.如权利要求1所述的基于光学定位的增强现实图像处理方法，其特征在于，按照所述仿射变换矩阵在透视平面上绘制目标虚拟物体的步骤，包括：
从预设数据库中选取目标虚拟物体；
根据所述仿射变换矩阵确定所述目标虚拟物体在在透视平面上的位置信息；
根据所述位置信息在所述透视平面上绘制所述目标虚拟物体。
5.如权利要求1-4任一项所述的基于光学定位的增强现实图像处理方法，其特征在于，将所述虚拟物体与真实场景图像合成，以输出增强现实图像的步骤，包括：
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟对象显示于所述显示位置，以合成输出增强现实图像。
6.一种基于光学定位的增强现实图像处理装置，其特征在于，包括：
图像获取模块，用于通过摄像机获取真实场景图像；
信息获取模块，用于获取摄像机在真实场景中的方位信息；
计算模块，用于根据所述摄像机的方位信息和真实场景中的多个定位标识点，计算虚拟物体坐标到透视平面上的仿射变换矩阵，所述透视平面为多个定位标识点相对摄像机的平面；
绘制模块，用于按照所述仿射变换矩阵在透视平面上绘制目标虚拟物体；
合成模块，用于将所述虚拟物体与真实场景图像合成，以输出增强现实图像。
7.如权利要求6所述的基于光学定位的增强现实图像处理装置，其特征在于，所述摄像机的机体上设有反射标识点；所述信息获取模块包括：
获取子模块，用于获取定位模块所发射的探测信号经所述反射标识点反射后形成的反射信号；
第一确定子模块，用于根据细节跟踪算法和所获取到的反射信号确定所述摄像机的方位信息。
8.如权利要求6所述的基于光学定位的增强现实图像处理装置，其特征在于，所述方位信息包括：坐标信息、摄像机的旋转角、摇移、仰俯角、以及摄像头焦距；
所述计算模块用于：
根据所述坐标信息、摄像机的旋转角、摇移、仰俯角、摄像头焦距，以及真实场景中的多个定位标识点，计算虚拟物体到相机视平面的仿射变换。
9.如权利要求6所述的基于光学定位的增强现实图像处理装置，其特征在于，所述绘制图像包括：
选取子模块，用于从预设数据库中选取目标虚拟物体；
第二确定子模块，用于根据所述仿射变换矩阵确定所述目标虚拟物体在透视平面上的位置信息；
绘制子模块，用于根据所述位置信息在所述透视平面上绘制所述目标虚拟物体。
10.如权利要求6-9任一项所述的基于光学定位的增强现实图像处理装置，其特征在于，所述合成模块用于：
基于阿尔法贴图或使用真实场景图像的一个颜色产生的色度抠像，将虚拟物体显示于所述显示位置，以合成输出增强现实图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711229764.8A CN109840949A (zh) | 2017-11-29 | 2017-11-29 | 基于光学定位的增强现实图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711229764.8A CN109840949A (zh) | 2017-11-29 | 2017-11-29 | 基于光学定位的增强现实图像处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109840949A true CN109840949A (zh) | 2019-06-04 |
Family
ID=66882610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711229764.8A Pending CN109840949A (zh) | 2017-11-29 | 2017-11-29 | 基于光学定位的增强现实图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109840949A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110187774A (zh) * | 2019-06-06 | 2019-08-30 | 北京悉见科技有限公司 | 光学透视式的ar设备及其实体标注方法 |
| CN110706553A (zh) * | 2019-11-13 | 2020-01-17 | 北京音悦荚科技有限责任公司 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
| CN111142825A (zh) * | 2019-12-27 | 2020-05-12 | 杭州拓叭吧科技有限公司 | 多屏视野的显示方法、系统及电子设备 |
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111311665A (zh) * | 2020-03-12 | 2020-06-19 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及电子设备 |
| CN111654688A (zh) * | 2020-05-29 | 2020-09-11 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN112561953A (zh) * | 2019-09-26 | 2021-03-26 | 北京外号信息技术有限公司 | 用于现实场景中的目标识别与跟踪的方法和系统 |
| CN112837375A (zh) * | 2021-03-17 | 2021-05-25 | 北京七维视觉传媒科技有限公司 | 用于真实空间内部的相机定位的方法和系统 |
| CN113409468A (zh) * | 2021-05-10 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113680059A (zh) * | 2021-08-31 | 2021-11-23 | 中科锐新(北京)科技有限公司 | 一种户外场景ar游戏定位装置和方法 |
| CN113763566A (zh) * | 2020-06-05 | 2021-12-07 | 光宝电子(广州)有限公司 | 图像生成系统及图像生成方法 |
| CN114422696A (zh) * | 2022-01-19 | 2022-04-29 | 浙江博采传媒有限公司 | 一种虚拟拍摄方法、装置及存储介质 |
| CN114549801A (zh) * | 2022-04-25 | 2022-05-27 | 深圳市同立方科技有限公司 | 一种ar增强现实给排水工程可视化方法、装置及系统 |
| CN114650406A (zh) * | 2022-03-23 | 2022-06-21 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
| CN115951806A (zh) * | 2022-11-01 | 2023-04-11 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
| US20170206712A1 (en) * | 2014-11-16 | 2017-07-20 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
-
2017
- 2017-11-29 CN CN201711229764.8A patent/CN109840949A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170206712A1 (en) * | 2014-11-16 | 2017-07-20 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
| CN106249881A (zh) * | 2016-07-21 | 2016-12-21 | 江苏奥格视特信息科技有限公司 | 增强现实视场空间和虚拟三维目标动态配准方法 |
| CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵明友: "增强现实演播室技术与实现", 《电视技术》 * |
| 郑铁男等, 知识产权出版社 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110187774A (zh) * | 2019-06-06 | 2019-08-30 | 北京悉见科技有限公司 | 光学透视式的ar设备及其实体标注方法 |
| CN112561953A (zh) * | 2019-09-26 | 2021-03-26 | 北京外号信息技术有限公司 | 用于现实场景中的目标识别与跟踪的方法和系统 |
| CN110706553A (zh) * | 2019-11-13 | 2020-01-17 | 北京音悦荚科技有限责任公司 | 一种基于ar增强现实的乐器辅助学习系统及方法和装置 |
| CN111142825A (zh) * | 2019-12-27 | 2020-05-12 | 杭州拓叭吧科技有限公司 | 多屏视野的显示方法、系统及电子设备 |
| CN111142825B (zh) * | 2019-12-27 | 2024-04-16 | 杭州拓叭吧科技有限公司 | 多屏视野的显示方法、系统及电子设备 |
| CN111311665A (zh) * | 2020-03-12 | 2020-06-19 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及电子设备 |
| CN111162840A (zh) * | 2020-04-02 | 2020-05-15 | 北京外号信息技术有限公司 | 用于设置光通信装置周围的虚拟对象的方法和系统 |
| CN111654688A (zh) * | 2020-05-29 | 2020-09-11 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN111654688B (zh) * | 2020-05-29 | 2022-03-29 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN113763566A (zh) * | 2020-06-05 | 2021-12-07 | 光宝电子(广州)有限公司 | 图像生成系统及图像生成方法 |
| CN112837375A (zh) * | 2021-03-17 | 2021-05-25 | 北京七维视觉传媒科技有限公司 | 用于真实空间内部的相机定位的方法和系统 |
| CN112837375B (zh) * | 2021-03-17 | 2024-04-30 | 北京七维视觉传媒科技有限公司 | 用于真实空间内部的相机定位的方法和系统 |
| CN113409468A (zh) * | 2021-05-10 | 2021-09-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN113680059A (zh) * | 2021-08-31 | 2021-11-23 | 中科锐新(北京)科技有限公司 | 一种户外场景ar游戏定位装置和方法 |
| CN113680059B (zh) * | 2021-08-31 | 2024-05-14 | 中科锐新(北京)科技有限公司 | 一种户外场景ar游戏定位装置和方法 |
| CN114422696A (zh) * | 2022-01-19 | 2022-04-29 | 浙江博采传媒有限公司 | 一种虚拟拍摄方法、装置及存储介质 |
| CN114650406A (zh) * | 2022-03-23 | 2022-06-21 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
| CN114650406B (zh) * | 2022-03-23 | 2022-12-30 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
| CN114549801A (zh) * | 2022-04-25 | 2022-05-27 | 深圳市同立方科技有限公司 | 一种ar增强现实给排水工程可视化方法、装置及系统 |
| CN115951806A (zh) * | 2022-11-01 | 2023-04-11 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
| CN115951806B (zh) * | 2022-11-01 | 2024-06-07 | 金华八达集团有限公司监理分公司 | 一种基于ar技术的施工场景识别方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840949A (zh) | 基于光学定位的增强现实图像处理方法和装置 | |
| CN105825544B (zh) | 一种图像处理方法及移动终端 | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| CN109688343A (zh) | 增强现实演播室的实现方法和装置 | |
| CN108509848A (zh) | 三维物体的实时检测方法及系统 | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| US20080024523A1 (en) | Generating images combining real and virtual images | |
| CN106256124B (zh) | 结构化立体 | |
| US8803880B2 (en) | Image-based lighting simulation for objects | |
| CN111932664A (zh) | 图像渲染方法、装置、电子设备及存储介质 | |
| CN110138831A (zh) | 一种进行远程协助的方法与设备 | |
| CN109791704A (zh) | 用于自由运行fvv应用的基于多层uv映射的纹理渲染 | |
| CN112766027A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN116057577A (zh) | 用于增强现实的地图 | |
| CN114782646A (zh) | 房屋模型的建模方法、装置、电子设备和可读存储介质 | |
| CN113724309B (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN113256724B (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
| US11758100B2 (en) | Portable projection mapping device and projection mapping system | |
| CN111161350B (zh) | 位置信息及位置关系确定方法、位置信息获取装置 | |
| CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
| CN107787507A (zh) | 获得表示图像的锐度级别的配准误差图的装置和方法 | |
| CN108346183A (zh) | 一种用于ar基准定位的方法及系统 | |
| Zhou et al. | Analysis and practical minimization of registration error in a spherical fish tank virtual reality system | |
| CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
| WO2021166751A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |