CN110675348B - 增强现实图像显示方法、装置及图像处理设备 - Google Patents
增强现实图像显示方法、装置及图像处理设备 Download PDFInfo
- Publication number
- CN110675348B CN110675348B CN201910942914.2A CN201910942914A CN110675348B CN 110675348 B CN110675348 B CN 110675348B CN 201910942914 A CN201910942914 A CN 201910942914A CN 110675348 B CN110675348 B CN 110675348B
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- virtual
- corresponding relation
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000012545 processing Methods 0.000 title claims description 26
- 230000003190 augmentative effect Effects 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 22
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 206010052143 Ocular discomfort Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种增强现实图像显示方法、装置及图像处理设备，在本申请提供的方案中，首先获取真实摄像机的畸变参数对应关系以及真实摄像机拍摄图像时的实际拍摄位置和镜头变焦参数。然后，获取虚拟场景中虚拟元素的图像。最后，根据真实摄像机的镜头变焦参数及畸变参数对应关系对真实摄像机拍摄的真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整后，将虚拟元素的图像融合显示至所述真实图像上。本申请提供的方案考虑到了因真实图像的畸变导致图案融合时空间透视效果同步的问题，通过调整真实图像或虚拟元素的图像，使真实图像和虚拟图像畸变效果保持一致，从而减少了因真实图像和虚拟图像的空间透视效果差异带来的视觉违和感。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种增强现实图像显示方法、装置及图像处理设备。
背景技术
增强现实(Augmented Reality，AR)是一种根据真实摄像机的拍摄位置及拍摄角度，将虚拟图像融合显示到真实图像上的技术。随着图像处理技术的日趋精进及用户对观感体验要求的提高，AR图像融合技术也在向着高精细度的方向发展。在一些大型场景的增强现实图像融合处理中，除了需要考虑真实摄像机的拍摄位置移动，还需要考虑真实摄像机镜头变焦缩放(zoom)的动作。如何提高这种场景中虚拟图像和真实图像融合的精细度是本领域亟待解决的问题。
发明内容
第一方面，本申请提供一种增强现实图像显示方法，应用于图像处理设备，所述方法包括：
获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系；
获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数；
根据所述实际拍摄位置和镜头变焦参数，获取虚拟场景中虚拟元素的图像；
根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整后，将所述虚拟元素的图像融合显示至所述真实图像上。
可选地，在上述方法中，所述获取所述真实摄像机的畸变参数对应关系，包括：
获取所述真实摄像机拍摄的测试图像，所述测试图像中包括预设参照物；
获取根据所述预设参照物的轮廓对该测试图像进行手动畸变矫正后得到的畸变矫正参数；
记录拍摄该测试图像时的镜头变焦参数与该测试图像的畸变矫正参数的对应关系；
根据在多个不同焦距下拍摄的所述测试图像的畸变矫正参数与镜头变焦参数的对应关系，拟合获得所述畸变参数对应关系。
可选地，在上述方法中，所述真实摄像机设置于可活动的摄像机承载装置上，所述真实摄像机及所述摄像机承载装置与一数据采集设备通信连接；所述获取所述真实摄像机的在拍摄过程中的实际拍摄位置和镜头变焦参数的步骤，包括：
接收所述数据采集设备发送的报文，从所述报文中解析获得由所述摄像机承载装置提供的所述实际拍摄位置及由所述真实摄像机提供的所述镜头变焦参数，其中，所述实际拍摄位置包括所述真实摄像机的空间位置坐标、俯仰角、航向角或翻滚角中的至少一个。
可选地，在上述方法中，所述方法还包括：
获取真实摄像机的视场角对应关系，所述视场角对应关系为该真实摄像机的不同的镜头变焦参数与不同的视场角参数的对应关系；
所述根据所述实际拍摄位置和镜头变焦参数，所述获取虚拟场景中虚拟元素的图像，包括：
根据所述实际拍摄位置、镜头变焦参数及所述视场角对应关系，确定一虚拟摄像机在虚拟场景中的虚拟拍摄位置及虚拟视场角参数；
根据所述虚拟拍摄位置及虚拟视场角参数，获取所述虚拟场景中虚拟元素的图像。
可选地，在上述方法中，述根据所述实际拍摄位置、镜头变焦参数及所述视场角对应关系，确定一虚拟摄像机在虚拟场景中的虚拟拍摄位置及虚拟视场角参数的步骤，包括：
将所述实际拍摄位置的坐标数据转换至所述虚拟场景的坐标系中，获得所述虚拟拍摄位置；
根据所述镜头变焦参数，在所述视场角对应关系中查询获得对应的视场角参数作为所述虚拟视场角参数。
可选地，在上述方法中，所述获取真实摄像机的视场角对应关系包括：
获取所述真实摄像机镜头电荷耦合元件CCD尺寸；
获取所述真实摄像机在不同测试焦距下输出的样本镜头变焦参数；
针对每个测试焦距，根据该测试焦距与所述CCD尺寸，计算该测试焦距对应的样本视场角参数，并记录该测试焦距下的样本镜头变焦参数与样本视场角参数的对应关系；
根据每个所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系。
可选地，在上述方法中，述根据多组所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系的步骤，包括：
根据多组镜头变焦参数与视场角参数的对应关系进行拟合，获得所述视场角参数与随所述镜头变焦参数变化的拟合函数；
根据所述拟合函数，获得所述真实摄像机可以输出的每个镜头变焦参数对应的视场角参数并记录至一文本文件作为所述视场角对应关系。
可选地，在上述方法中，所述根据多组所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系的步骤，包括：
根据多组镜头变焦参数与视场角参数的对应关系进行拟合，获得所述视场角参数与随所述镜头变焦参数变化的拟合函数作为所述视场角对应关系。
第二方面，本申请提供一种增强现实图像显示装置，所述装置包括：
畸变关系获取模块，用于获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系；
真实数据获取模块，用于获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数；
虚拟图像获取模块，用于根据所述实际拍摄位置和镜头变焦参数，获取虚拟场景中虚拟元素的图像；
畸变调整模块，用于根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整。
图像融合模块，用于将所述虚拟元素的图像融合显示至所述真实图像上。
第三方面，本申请提供一种图像处理设备，包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，所述图像处理设备实现增强现实图像显示方法。
相对于现有技术而言，本申请至少具有以下有益效果：
本申请提供的增强现实图像显示方法、装置及图像处理设备，考虑到真实摄像机拍摄的真实图像与虚拟摄像机获取虚拟元素图像之间存在图像畸变带来的空间效果差异，通过调整真实图像或虚拟元素的图像，使真实图像和虚拟图像畸变效果保持一致，从而减少了因真实图像和虚拟图像的空间透视效果差异带来的视觉违和感。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像处理设备的示意图；
图2为本申请实施例提供的增强现实图像显示方法的步骤流程示意图；
图3为图2所示步骤S110的子步骤流程示意图；
图4为真实图像畸变的示意图；
图5为真实图像畸变矫正后的示意图；
图6为本申请实施例提供的增强显示图像显示装置的功能模块示意图。
图标：100-图像处理设备；110-增强现实图像显示装置；111-畸变关系获取模块；112-真实数据获取模块；113-虚拟图像获取模块；114-畸变调整模块；115-图像融合模块；120-机器可读存储介质；130-处理器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
AR图像融合的目的是将虚拟元素的图像融合显示在真实摄像机拍摄的图像上，使用户感觉虚拟元素就是真实场景的一部分。其中，一个关键的工作是在真实摄像机移动或变焦时，同步调整虚拟元素的空间立体视觉效果。
经发明人研究发现，由于虚拟元素的图像是根据虚拟元素的模型及虚拟摄像机的位置和视场角数据，采用数字化技术方式合成获得的理想图像，因此虚拟元素的图像通常是不会存在畸变的。
但真实摄像机是通过光学镜头进行图像采集，由于镜头制成工艺的限制，真实摄像机拍摄的图像不可能是完全理想的，因此在真实摄像机不同焦距下拍摄的图像会存在不同程度的畸变。一旦拍摄的图像产生畸变，在将理想的虚拟元素图像融合显示到不理想的真实图像上时，可能导致两个图像的空间透视效果同步性受到影响，融合后的图像产生空间违和感。
有鉴于此，本实施例提供一种可弥补真实图像畸变的影响，从而提高AR融合精细度的增强现实图像显示方案，下面对该方案进行详细说明。需要说明的是，上述问题是在发明人付出创造性的思考和大量实验的前提下发现的，因此，上述问题的发现及解决上述问题的方法都应视作对本申请创造性的贡献。
请参照图1，图1是本实施例提供的一种图像处理设备100的方框示意图。所述图像处理设备100包括增强现实图像显示装置110、机器可读存储介质120及处理器130。
所述机器可读存储介质120及处理器130之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述增强现实图像显示装置110包括至少一个可以软件或固件(firmware)的形式存储于所述机器可读存储介质120中或固化在所述图像处理设备100的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器130用于执行所述机器可读存储介质120中存储的可执行模块，例如所述增强现实图像显示装置110所包括的软件功能模块及计算机程序等。
其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
在本实施例中，所述图像处理设备100可以为任何具有图像处理能力的电子设备，如个人电脑、服务器或其他智能设备。
请参照图2，图2为应用于图1所示的图像处理设备100的一种增强现实图像显示方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。
步骤S110，获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系。
在本实施例中，在拍摄真实图像前或进行AR图像融合前，可以预先获取用于拍摄真实图像的真实摄像机的畸变参数对应关系。
可选地，由于镜头制成工艺的问题，每个真实摄像机镜头带来的畸变效果可能不同的，因此，在本实施例中，可以通过预先测试的方式确定真实摄像机的畸变参数对应关系。
具体地，请参照图3，在本实施例中，步骤S110可以包括步骤S111到步骤S114。
步骤S111，获取所述真实摄像机拍摄的测试图像，所述测试图像中包括预设参照物。
由于镜头原因造成的图像畸变通常是使图像上产生“扭曲”的效果，即将原本笔直的物体拍摄出弯曲的效果，如图4所示。因此，在本实施例中，可以选用在真实空间中具有笔直轮廓或者笔直可视线条纹理的物体作为所述预设参照物。
在拍摄测试图像的同时，还可以获取拍摄该测试图像时摄像机的镜头变焦参数。
步骤S112，获取根据所述预设参照物的轮廓对该测试图像进行手动畸变矫正后得到的畸变矫正参数，并记录拍摄该测试图像时的镜头变焦参数与该测试图像的畸变矫正参数的对应关系。
在本实施例中，可以采用例如Ventuz等图像处理软件对所述测试图像进行手动畸变矫正。矫正过程中，可以通过调整畸变矫正参数使图像处理软件根据畸变矫正参数对测试图像进行畸变矫正，直至调整后的畸变图像中，所述预设参照物的轮廓或可视线条纹理变为笔直，如图5所示。
以Ventuz软件为例，可以预先在Background节点前添加Effect fx节点，设置Render Options->Effect FX，然后在“FX1”项中添加K1/K2 Lens Distortion镜头扭曲节点，设置Effect-K1/K2 Lens Distortion，其中，K1/K2用于控制镜头的畸变弯曲率。
在步骤S112中，可以先对真实摄像机在视场角参数最大且航向角正向最大时(如在Ventuz软件中的“pan”角参数为30度时)拍摄的测试图像进行处理，调整K1/K2 LensDistortion属性中的K值，并且通过移动参考线的位置直至在视觉上感知不到图像畸变，然后记录下当前K值作为该测试图像的畸变矫正系数。
然后调整航向角检测当前的焦距下，在其他航向角对应角度上拍摄的图像的畸变矫正效果。若畸变矫正效果不理想，则重新调整所述畸变矫正系数。若畸变矫正效果理想，则记录拍摄该测试图像时的镜头变焦参数与该测试图像的畸变矫正参数的对应关系。
同理，可以在视场角参数最大到视场角参数最小的范围内获得多个焦距下的畸变矫正参数和镜头变焦参数的对应关系。
步骤S113，根据在多个不同焦距下拍摄的所述测试图像的畸变矫正参数与镜头变焦参数的对应关系，拟合获得所述畸变参数对应关系。
在获得多个不同焦距的畸变矫正参数与镜头变焦参数的对应关系后，可以拟合出镜头畸变矫正参数随镜头变焦参数变化的拟合函数。然后可以再获取不同焦距下采集的验证图像，根据该拟合函数获得畸变矫正参数对验证图像进行畸变矫正。若在多个焦距下的矫正效果均理想，则将该拟合函数或由该拟合函数得出的离散点集作为所述畸变参数对应关系。
步骤S120，获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数。
在本实施例中，真实摄像机通常可以设置于一可活动的摄像机承载装置上，例如，设置在真实摄像机云台或摇臂上。所述图像处理设备100可以与真实摄像机通信获取所述真实摄像机拍摄的真实图像。
所述真实摄像机及所述摄像机承载装置还与一数据采集设备通信连接。该数据采集设备可以获取所述真实摄像机的变焦编码器输出的镜头变焦参数及所述摄像机承载装置输出的摄像机的实际拍摄位置，然后将获取到的信息通过串行通信报文的方式发送给所述图像处理设备100。
在步骤S120中，所述图像处理设备100可以接收所述数据采集设备发送的报文，从所述报文中解析获得由所述摄像机承载装置提供的所述实际拍摄位置及由所述真实摄像机提供的所述镜头变焦参数。其中，所述实际拍摄位置包括所述真实摄像机的空间位置坐标、俯仰角、航向角或翻滚角中的至少一个。以Ventuz软件为例，所述俯仰角、航向角及翻滚角可以分别对应Ventuz软件中的tilt参数、pan参数和roll参数。
步骤S130，根据所述实际拍摄位置和镜头变焦参数，获取虚拟场景中虚拟元素的图像。
在本实施例步骤S130中，所述图像处理设备100可以根据所述实际拍摄位置和镜头变焦参数确定一虚拟场景中虚拟摄像机的虚拟拍摄位置及虚拟视场角，并根据所述虚拟拍摄位置及虚拟视场角确定所述虚拟场景中虚拟元素的空间透视关系，进而获取该虚拟元素的图像。
步骤S140，根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系确定畸变矫正参数，根据所述畸变矫正参数对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整。
在本实施例步骤S140的一个例子中，可以根据真实摄像机拍摄所示真实图像时的镜头变焦参数，在所述畸变参数对应关系中查询对应的畸变矫正参数，然后根据确定出的畸变矫正参数对所述真实图像进行畸变矫正。
在本实施例步骤S140的另一个例子中，也可以根据真实摄像机拍摄所示真实图像时的镜头变焦参数，在所述畸变参数对应关系中查询对应的畸变矫正参数，然后根据确定出的畸变矫正参数对所述虚拟元素的图像进行畸变调整，使所述虚拟元素的图像具有与所述真实图像基本一致的畸变效果。
步骤S150，将所述虚拟元素的图像融合显示至矫正后的真实图像上。
在本实施例步骤S150中，将通过步骤S140调整后所述虚拟元素的图像与所述真实图像进行融合，从而消除了虚拟元素图像和真实图像之间因畸变带来的空间透视差异，提高了AR图像融合的精细度。
可选地，由于真实摄像机在变焦的同时会带来视场角的改变，就可能导致真实摄像机变焦后，虚拟摄像机的视场角与真实摄像机的视场角不同步，使得虚拟元素图像和真实图像融合时空间透视关系不同步造成视觉上的违和感。
因此，在本实施例的步骤S130中，所述图像处理设备100可以预先获取真实摄像机的视场角对应关系，所述视场角对应关系为该真实摄像机的不同的镜头变焦参数与不同的视场角参数的对应关系。
然后确定虚拟摄像机的虚拟拍摄位置时，根据所述实际拍摄位置、镜头变焦参数及所述视场角对应关系，确定所述虚拟摄像机在虚拟场景中的虚拟拍摄位置及虚拟视场角参数。再根据所述虚拟拍摄位置及虚拟视场角参数，获取所述虚拟场景中虚拟元素的图像。
具体地，可以将所述实际拍摄位置的坐标数据转换至所述虚拟场景的坐标系中，获得所述虚拟拍摄位置。并根据所述镜头变焦参数，在所述视场角对应关系中查询获得对应的视场角参数作为所述虚拟视场角参数。
如此，可以保证虚拟摄像机的虚拟视场角变化与真实摄像机的视场角变化保持同步，提高AR图像融合的精细度。
可选地，由于不同的真实摄像机的变焦过程中输出的变焦参数不同，故在本实施例中，可以通过预先测试的方式获得用于拍摄真实图像的真实摄像机的视场角对应关系。
具体地，在测试获取所述视场角对应关系时，可以先获取所述真实摄像机镜头电荷耦合元件(Charge-coupled Device，CCD)尺寸。CCD尺寸通常可以从真实摄像机读取到或从真实摄像机的说明文件中查询到。
接着可以获取所述真实摄像机在不同测试焦距下输出的样本镜头变焦参数，测试焦距可以为从摄像机镜头变焦环上读取到的焦距。并针对每个测试焦距，根据该测试焦距与所述CCD尺寸，计算该测试焦距对应的样本视场角参数，并记录该测试焦距下的样本镜头变焦参数与样本视场角参数的对应关系。
例如，可以将真实摄像机调制某个特定焦距，然后从所述数据采集设备发送的报文中解析获得该真实摄像机当前的镜头变焦参数作为样本镜头变焦参数，根据该特定焦距和真实摄像机的CCD尺寸可以计算出该特定焦距下的视场角参数作为样本视场角参数，然后记录该特定焦距下的样本镜头变焦参数与样本视场角参数的对应关系。并在不同焦距下重复上述步骤，以获得多个不同焦距的样本镜头变焦参数与样本视场角参数的对应关系。
然后可以根据每个所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系。
在一个例子中，可以根据每个所述样本镜头变焦参数与样本视场角参数的对应关系进行拟合，获得所述视场角参数与随所述镜头变焦参数变化的拟合函数。然后根据所述拟合函数，获得所述真实摄像机可以输出的每个镜头变焦参数对应的视场角参数并记录至一文本文件作为所述视场角对应关系。
例如，可以在Maya软件上使用贝塞尔曲线将每个所述样本镜头变焦参数与所述样本视场角参数对应的离散点拟合连接为平滑的函数曲线。然后针对真实摄像机可以输出的每个镜头变焦参数，再从该函数曲线上获得相应的视场角参数。并将每个镜头变焦参数与视场角参数的对应关系记录至一TXT文本文件中作为所述视场角对应关系。
以Ventuz软件为例，Ventuz软件可以预先读取该文本文件，将该文本文件的内容存至一数组中，其中该数组的数组元素下标为镜头变焦参数，数组元素的值为对应的视场角参数。在需要确定虚拟视场角时，可以根据真实摄像机拍摄图像时输出的镜头变焦参数从该文本文件查询获得对应的视场角参数作为所述虚拟视场角参数。
在另一个例子中，可以根据每个所述样本镜头变焦参数与样本视场角参数的对应关系进行拟合，获得所述视场角参数与随所述镜头变焦参数变化的拟合函数，并直接将该拟合函数为所述视场角对应关系。
图像处理软件在需要确定虚拟视场角时，可以根据真实摄像机拍摄图像时输出的镜头变焦参数作为变量带入该拟合函数，从而获得对应的虚拟视场角参数。
进一步地，在步骤S130中需要将所述实际拍摄位置的坐标数据转换至所述虚拟场景的坐标系中，但真实摄像机焦距的改变还可能带来实际坐标系原点和虚拟坐标系原点之间的相对偏移。因此，在本实施例中，还可以预先通过测试的方式获得真实摄像机的原点偏移关系，所述原点偏移关系为不同镜头变焦参数与原点偏移量的对应关系。
然后在步骤S130中，确定所述虚拟摄像机位置时，可以结合所述原点偏移关系、所述真实摄像机的实际拍摄位置及镜头变焦参数一起确定所述虚拟摄像机的虚拟拍摄位置，从而保证虚拟摄像机与真实摄像机的拍摄位置同步。
请参照图6，本实施例还提供一种应用于图1所示图像处理设备100的增强现实图像显示装置110，从功能上划分，该增强现实图像显示装置110可以包括畸变关系获取模块111、真实数据获取模块112、虚拟图像获取模块113、畸变调整模块114及图像融合模块115。
畸变关系获取模块111，用于获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系。
本实施例中，所述畸变关系获取模块111可用于执行图2所示的步骤S110，关于所述畸变关系获取模块111的具体描述可参对所述步骤S110的描述。
所述真实数据获取模块112，用于获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数。
本实施例中，所述真实数据获取模块112可用于执行图2所示的步骤S120，关于所述真实数据获取模块112的具体描述可参对所述步骤S120的描述。
所述虚拟图像获取模块113，用于根据所述实际拍摄位置和镜头变焦参数，获取所述虚拟场景中虚拟元素的图像。
本实施例中，所述虚拟图像获取模块113可用于执行图2所示的步骤S130，关于所述虚拟图像获取模块113的具体描述可参对所述步骤S130的描述。
所述畸变调整模块114，用于根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整。
本实施例中，所述畸变调整模块114可用于执行图2所示的步骤S140，关于所述畸变调整模块114的具体描述可参对所述步骤S140的描述。
所述图像融合模块115，用于将所述虚拟元素的图像融合显示至所述真实图像上。
本实施例中，所述图像融合模块115可用于执行图2所示的步骤S150，关于所述图像融合模块115的具体描述可参对所述步骤S150的描述。
综上所述，本申请提供的增强现实图像显示方法、装置及图像处理设备，考虑到了真实摄像机镜头变焦动作带来的图像畸变、虚拟摄像机的视场角变化及虚拟场景坐标原点偏移等问题带来的真实图像和虚拟元素图像空间透视关系差异，通过调整真实图像或虚拟元素的图像，使真实图像和虚拟图像畸变效果保持一致，从而减少了因真实图像和虚拟图像的空间透视效果差异带来的视觉违和感。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种增强现实图像显示方法，其特征在于，应用于图像处理设备，所述方法包括：
获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系；
获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数；
根据所述实际拍摄位置和镜头变焦参数，获取虚拟场景中虚拟元素的图像；
根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整后，将所述虚拟元素的图像融合显示至所述真实图像上。
2.根据权利要求1所述的方法，其特征在于，所述获取真实摄像机的畸变参数对应关系的步骤，包括：
获取所述真实摄像机拍摄的测试图像，所述测试图像中包括预设参照物；
获取根据所述预设参照物的轮廓或可视线条纹理对该测试图像进行手动畸变矫正后得到的畸变矫正参数；
记录拍摄该测试图像时的镜头变焦参数与该测试图像的畸变矫正参数的对应关系；
根据在多个不同焦距下拍摄的所述测试图像的畸变矫正参数与镜头变焦参数的对应关系，拟合获得所述畸变参数对应关系。
3.根据权利要求1所述的方法，其特征在于，所述真实摄像机设置于可活动的摄像机承载装置上，所述真实摄像机及所述摄像机承载装置与一数据采集设备通信连接；所述获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数的步骤，包括：
接收所述数据采集设备发送的报文，从所述报文中解析获得由所述摄像机承载装置提供的所述实际拍摄位置及由所述真实摄像机提供的所述镜头变焦参数，其中，所述实际拍摄位置包括所述真实摄像机的空间位置坐标、俯仰角、航向角或翻滚角中的至少一个。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取真实摄像机的视场角对应关系，所述视场角对应关系为该真实摄像机的不同的镜头变焦参数与不同的视场角参数的对应关系；
所述根据所述实际拍摄位置和镜头变焦参数，所述获取虚拟场景中虚拟元素的图像的步骤，包括：
根据所述实际拍摄位置、镜头变焦参数及所述视场角对应关系，确定一虚拟摄像机在虚拟场景中的虚拟拍摄位置及虚拟视场角参数；
根据所述虚拟拍摄位置及虚拟视场角参数，获取所述虚拟场景中虚拟元素的图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述实际拍摄位置、镜头变焦参数及所述视场角对应关系，确定一虚拟摄像机在虚拟场景中的虚拟拍摄位置及虚拟视场角参数的步骤，包括：
将所述实际拍摄位置的坐标数据转换至所述虚拟场景的坐标系中，获得所述虚拟拍摄位置；
根据所述镜头变焦参数，在所述视场角对应关系中查询获得对应的视场角参数作为所述虚拟视场角参数。
6.根据权利要求4所述的方法，其特征在于，所述获取真实摄像机的视场角对应关系包括：
获取所述真实摄像机的电荷耦合元件CCD尺寸；
获取所述真实摄像机在不同测试焦距下输出的样本镜头变焦参数；
针对每个测试焦距，根据该测试焦距与所述CCD尺寸，计算该测试焦距对应的样本视场角参数，并记录该测试焦距下的样本镜头变焦参数与样本视场角参数的对应关系；
根据每个所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系。
7.根据权利要求6所述的方法，其特征在于，所述根据每个所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系的步骤，包括：
根据每个所述样本镜头变焦参数与样本视场角参数的对应关系进行拟合，获得视场角参数与随镜头变焦参数变化的拟合函数；
根据所述拟合函数，获得所述真实摄像机能够输出的每个镜头变焦参数对应的视场角参数并记录至一文本文件作为所述视场角对应关系。
8.根据权利要求6所述的方法，其特征在于，所述根据每个所述样本镜头变焦参数与所述样本视场角参数的对应关系获得该真实摄像机的视场角对应关系的步骤，包括：
根据每个所述样本镜头变焦参数与样本视场角参数的对应关系进行拟合，获得视场角参数与随镜头变焦参数变化的拟合函数作为所述视场角对应关系。
9.一种增强现实图像显示装置，其特征在于，应用于图像处理设备，所述装置包括：
畸变关系获取模块，用于获取真实摄像机的畸变参数对应关系，所述畸变参数对应关系为该真实摄像机不同的镜头变焦参数与不同的畸变矫正参数的对应关系；
真实数据获取模块，用于获取所述真实摄像机拍摄的真实图像，并获取所述真实摄像机在拍摄过程中的实际拍摄位置和镜头变焦参数；
虚拟图像获取模块，用于根据所述实际拍摄位置和镜头变焦参数，获取虚拟场景中虚拟元素的图像；
畸变调整模块，用于根据所述真实摄像机的镜头变焦参数及所述畸变参数对应关系对所述真实图像进行畸变矫正或对所述虚拟元素的图像进行畸变调整；
图像融合模块，用于将所述虚拟元素的图像融合显示至所述真实图像上。
10.一种图像处理设备，其特征在于，包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，所述图像处理设备实现权利要求1-8任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942914.2A CN110675348B (zh) | 2019-09-30 | 2019-09-30 | 增强现实图像显示方法、装置及图像处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910942914.2A CN110675348B (zh) | 2019-09-30 | 2019-09-30 | 增强现实图像显示方法、装置及图像处理设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675348A CN110675348A (zh) | 2020-01-10 |
| CN110675348B true CN110675348B (zh) | 2022-06-21 |
Family
ID=69080487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910942914.2A Active CN110675348B (zh) | 2019-09-30 | 2019-09-30 | 增强现实图像显示方法、装置及图像处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675348B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274927A (zh) * | 2020-01-17 | 2020-06-12 | 北京三快在线科技有限公司 | 一种训练数据的生成方法、装置、电子设备和存储介质 |
| CN111722722A (zh) * | 2020-06-28 | 2020-09-29 | 天津联想协同科技有限公司 | 一种支持ar的文件预览方法、电子设备及存储介质 |
| CN112019747B (zh) * | 2020-09-01 | 2022-06-17 | 北京德火科技有限责任公司 | 基于云台传感器的前景跟踪方法 |
| CN112215883B (zh) * | 2020-09-07 | 2023-03-31 | 上海市第一人民医院 | 眼底oct图像虚拟测量设备、方法及计算机可读存储介质 |
| CN112132909B (zh) * | 2020-09-23 | 2023-12-22 | 字节跳动有限公司 | 参数获取方法及装置、媒体数据处理方法和存储介质 |
| CN112312041B (zh) * | 2020-10-22 | 2023-07-25 | 北京虚拟动点科技有限公司 | 基于拍摄的图像校正方法、装置、电子设备及存储介质 |
| CN112837375B (zh) * | 2021-03-17 | 2024-04-30 | 北京七维视觉传媒科技有限公司 | 用于真实空间内部的相机定位的方法和系统 |
| EP4068198B1 (de) * | 2021-04-01 | 2023-12-27 | Carl Zeiss AG | Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens |
| CN114040090A (zh) * | 2021-08-25 | 2022-02-11 | 先壤影视制作(上海)有限公司 | 同步虚实的方法、装置、设备、存储介质、采集件及系统 |
| CN113810612A (zh) * | 2021-09-17 | 2021-12-17 | 上海傲驰广告文化集团有限公司 | 一种模拟化实景拍摄方法及系统 |
| CN113905145A (zh) * | 2021-10-11 | 2022-01-07 | 浙江博采传媒有限公司 | 一种led环幕虚实相机焦点匹配方法及系统 |
| CN114286075B (zh) * | 2021-12-01 | 2024-06-14 | 图腾视界(广州)数字科技有限公司 | 校正参数调整方法、装置、电子设备及可读介质 |
| CN114785909A (zh) * | 2022-04-25 | 2022-07-22 | 歌尔股份有限公司 | 拍摄校准方法、装置、设备及存储介质 |
| CN116546304A (zh) * | 2022-05-13 | 2023-08-04 | 腾讯数码（深圳）有限公司 | 一种参数配置方法、装置、设备、存储介质及产品 |
| CN116233392B (zh) * | 2022-12-29 | 2024-03-29 | 北京元客视界科技有限公司 | 虚拟拍摄系统的校准方法、装置、电子设备及存储介质 |
| CN117527992B (zh) * | 2023-11-06 | 2024-06-21 | 中影电影数字制作基地有限公司 | 一种空间模拟拍摄的摄影机校正方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105721767A (zh) * | 2014-12-19 | 2016-06-29 | 安讯士有限公司 | 处理视频流的方法 |
| CN108254924A (zh) * | 2017-12-31 | 2018-07-06 | 深圳市虚拟现实科技有限公司 | 具增强现实功能的虚拟现实显示装置及其方法 |
| CN108873345A (zh) * | 2018-07-09 | 2018-11-23 | 杭州光粒科技有限公司 | 大视场角、多显示深度的可穿戴式光场增强现实眼镜 |
| CN109688343A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 增强现实演播室的实现方法和装置 |
-
2019
- 2019-09-30 CN CN201910942914.2A patent/CN110675348B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105721767A (zh) * | 2014-12-19 | 2016-06-29 | 安讯士有限公司 | 处理视频流的方法 |
| CN109688343A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 增强现实演播室的实现方法和装置 |
| CN108254924A (zh) * | 2017-12-31 | 2018-07-06 | 深圳市虚拟现实科技有限公司 | 具增强现实功能的虚拟现实显示装置及其方法 |
| CN108873345A (zh) * | 2018-07-09 | 2018-11-23 | 杭州光粒科技有限公司 | 大视场角、多显示深度的可穿戴式光场增强现实眼镜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675348A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675348B (zh) | 增强现实图像显示方法、装置及图像处理设备 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| EP3447730B1 (en) | Three-dimensional reconstruction method | |
| US9501828B2 (en) | Image capturing device, image capturing device control method, and program | |
| JP2019149809A (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| KR100770019B1 (ko) | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 | |
| CN105530431A (zh) | 一种反射式全景成像系统及方法 | |
| CN105376471A (zh) | 一种基于移动平台的全景拍摄系统及方法 | |
| KR102225617B1 (ko) | 영상 정합 알고리즘을 설정하는 방법 | |
| WO2012146127A1 (en) | Obtaining distance between different points on an imaged object | |
| EP2779091A1 (en) | Automatic stereoscopic camera calibration | |
| JP7086552B2 (ja) | 情報処理装置、撮像装置、情報処理方法及びプログラム | |
| CN107209949B (zh) | 用于产生放大3d图像的方法和系统 | |
| CN111694158A (zh) | 近眼显示装置的校准方法、校准设备及校准系统 | |
| CN107734266B (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| US20160127617A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| KR101841750B1 (ko) | 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법 | |
| CN107454326B (zh) | 利用鱼眼镜头进行全景摄像的方法、摄像机以及全景摄像系统 | |
| WO2019183759A1 (zh) | 图像融合方法、拍摄设备和可移动平台系统 | |
| CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
| FR3052565B1 (fr) | Dispositif individuel d'immersion visuelle pour personne en mouvement | |
| WO2018235256A1 (ja) | ステレオ計測装置及びシステム | |
| KR102268337B1 (ko) | Ar 기반 퍼포먼스 영상 관람 시스템 및 이를 이용한 퍼포먼스 영상 제공 방법 | |
| JP2011244184A (ja) | 画像入力装置、画像入力方法及び画像入力プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 312, Building 7, No. 6 Beichen Road, Yangsong Town, Huairou District, Beijing 101400 Patentee after: Beijing Qijin Culture Technology Co.,Ltd. Address before: 310005 Room 201, East unit, building 66, Cangji new village, Hushu street, Gongshu District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou Qijin Technology Co.,Ltd. |