CN104980727A - 基于虚拟现实技术的图像合成方法和头戴式显示设备 - Google Patents

基于虚拟现实技术的图像合成方法和头戴式显示设备 Download PDF

Info

Publication number
CN104980727A
CN104980727A CN201510358200.9A CN201510358200A CN104980727A CN 104980727 A CN104980727 A CN 104980727A CN 201510358200 A CN201510358200 A CN 201510358200A CN 104980727 A CN104980727 A CN 104980727A
Authority
CN
China
Prior art keywords
image
colour
moving target
gray level
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510358200.9A
Other languages
English (en)
Other versions
CN104980727B (zh
Inventor
王洁
党少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Virtual Reality Technology Co Ltd
Original Assignee
Shenzhen Virtual Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Virtual Reality Technology Co Ltd filed Critical Shenzhen Virtual Reality Technology Co Ltd
Priority to CN201510358200.9A priority Critical patent/CN104980727B/zh
Publication of CN104980727A publication Critical patent/CN104980727A/zh
Application granted granted Critical
Publication of CN104980727B publication Critical patent/CN104980727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于虚拟现实技术的图像合成方法,通过利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;对所述彩色虚拟前景模型和所述彩色背景进行图像合成。本发明还公开了一种头戴式显示设备。本发明通过将获取的灰度图像转换为真彩色图像,图形处理速度快、图像显示清晰度高。

Description

基于虚拟现实技术的图像合成方法和头戴式显示设备
技术领域
本发明涉及虚拟现实技术领域,尤其涉及基于虚拟现实技术的图像合成方法和头戴式显示设备。
背景技术
目前红外热成像技术已在许多领域得到重要的应用,特别是在晚上,在不暴露自己的基础之上,红外热成像运用光电技术检测物体热辐射的红外线特定波段信号,将该信号转换成可供人类视觉分辨的红外图像,还可以进一步计算出温度值。红外图像反映了目标与背景不可见红外辐射的空间分布,其辐射亮度分布主要由被测景物的温度和发射率决定,因此红外图像近似反映了景物温度差或辐射差。红外热成像技术让人们超越了视觉障碍,及时发现目标,但是红外成像系统的成像效果仍然不理想。主要表现为红外热图像表征景物的温度分布,是灰度图像,没有彩色或阴影(立体感觉),故对人而言,分辨率低、分辨潜力差;夜视距离近,图像背景与之被监测目标之间对比度模糊,被监测目标细节难以辨认,图像特征信息不明确。因此,如何提高红外热成像显示的清晰度,是一个亟待解决的问题。
发明内容
本发明的主要目的在于提出一种基于虚拟现实技术的图像合成方法和头戴式显示设备,旨在提高红外热成像显示的清晰度。
为实现上述目的,本发明提供的一种基于虚拟现实技术的图像合成方法,所述基于虚拟现实技术的图像合成方法包括步骤:
利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;
根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;
对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
优选地,所述红外热成像仪为双红外3D(3Dimensions,三维)热成像仪,所述灰度图像为立体灰度图像对,所述利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像的步骤包括:
通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
优选地,所述彩色背景为立体彩色背景对,所述根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景的步骤包括:
根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
优选地,所述根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对的步骤包括:
通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;
建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;
根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
优选地,所述对所述彩色虚拟前景模型和所述彩色背景进行图像合成的步骤之后还包括:
通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示。
此外,为实现上述目的,本发明还提出一种头戴式显示设备,所述头戴式显示设备包括:
侦测模块,用于利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;
获取模块,用于根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;
合成模块,用于对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
优选地,所述侦测模块还用于通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
优选地,所述获取模块还用于根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
优选地,所述获取模块包括:
采集单元,用于通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;
建立单元,用于建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;
获取单元,用于根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
优选地,所述头戴式显示设备还包括:
显示模块,用于通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示。
本发明提出的基于虚拟现实技术的图像合成方法和头戴式显示设备,通过利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;对所述彩色虚拟前景模型和所述彩色背景进行图像合成。本发明通过将获取的灰度图像转换为真彩色图像,图形处理速度快、图像显示清晰度高。
附图说明
图1为本发明基于虚拟现实技术的图像合成方法第一实施例的流程示意图;
图2为本发明基于虚拟现实技术的图像合成方法第二实施例的流程示意图;
图3为本发明基于虚拟现实技术的图像合成方法第三实施例的流程示意图;
图4为图3中所述根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对的步骤的细化流程示意图;
图5为本发明基于虚拟现实技术的图像合成方法第四实施例的流程示意图;
图6为本发明头戴式显示设备第一实施例的功能模块示意图;
图7为图6中所述获取模块的功能模块示意图;
图8为本发明头戴式显示设备第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明第一实施例提出基于虚拟现实技术的图像合成方法,包括:
步骤S100、利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像。
头戴式显示设备内置红外热成像仪,所述红外热成像仪包括红外探测器和光学成像物镜,红外热成像仪在不同的视角下侦测运动目标,所述视角包括位置、高度和朝向。利用红外探测器和光学成像物镜,将接受的所述运动目标的红外辐射能量分布图形反映到所述红外探测器的光敏元件上,从而获得所述运动目标的红外热像图,所述红外热图像为灰度图像。
步骤S200、根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型。
头戴式显示设备根据获得的所述灰度图像的视角,在预设的视频图像映射库中搜索到与所述灰度图像的视角相一致的彩色背景;并根据所述灰度图像,提取所述运动目标,建立与所述运动目标相对应的彩色虚拟前景模型。例如,根据获取的所述红外热像图,首先获取能自动更新的背景图像,采用背景减法提取所述运动目标的轮廓,然后运用其轮廓的边界不变矩特征和形态学特征,构建一个轮廓特征向量的模型,再分析比较所述运动目标轮廓特征向量与每类标准样本之间的欧氏距离,实现对所述运动目标的识别分类。再后,根据识别的所述运动目标,构建与所述运动目标交互的彩色虚拟前景模型,若识别到所述运动目标为人时,则构建与所述人对应的彩色虚拟人。所述前景是指在主题前面或靠近镜头位置的人物或景物,主要作用有:烘托主体或直接帮助表达影视作品的主题;增加画面的层次,表现空间深度;均衡美化画面,使构图增加变化;“框”起主体,具有装饰趣味,有利于影调和色彩的对比。所述背景是指画面中主体背后的景物,主要作用有:能表现人物和事件所处的时空环境;使人感受到主体所处的空间的大小;能烘托主体,使主体的形状及轮廓显著;能造成各种视频画面气氛、情调,帮助解释内容。
步骤S300、对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
头戴式显示设备根据构建的所述彩色虚拟前景模型以及搜索到的所述彩色背景,对所述彩色虚拟前景模型和所述彩色背景进行图像合成,并将合成的视频流同时发送给显示屏幕进行左右分屏显示。
本实施例提出的基于虚拟现实技术的图像合成方法,利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;对所述彩色虚拟前景模型和所述彩色背景进行图像合成,从而将获取的灰度图像转换为真彩色图像,图形处理速度快、图像显示清晰度高。
如图2所示,图2为本发明基于虚拟现实技术的图像合成方法第二实施例的流程示意图,在第一实施例的基础上,所述步骤S100包括:
步骤S100A、通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
头戴式显示设备通过间距相对固定的双红外3D热成像仪在不同的视角下侦测所述运动目标,并通过运动目标跟踪算法锁定所述运动目标,从而获取所述运动目标的立体灰度图像对,以实现图像的三维显示。
本实施例提出的基于虚拟现实技术的图像合成方法,通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对,以实现图像的三维显示,提高图像清晰度和显示效果。
如图3所示,图3为本发明基于虚拟现实技术的图像合成方法第三实施例的流程示意图,在第二实施例的基础上,所述步骤S200包括:
步骤S200A、根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
头戴式显示设备根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对,所述视频图像映射库是根据瞳距相一致的双彩色摄像机所采集的立体彩色背景对而建立的,并在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系,只要根据所述视角映射关系,就可以获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
本实施例提出的基于虚拟现实技术的图像合成方法,根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对,从而将获取的灰度图像转换为彩色图像,提高图像清晰度和显示效果。
如图4所示,图4为图3中所述步骤S200A的细化流程示意图,包括:
步骤S210、通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对。
头戴式显示设备通过与人眼的瞳距相一致的双彩色摄像机在不同的视角下采集现实场景中的立体彩色背景对。所述立体彩色背景对为构建的不包含所述运动目标的立体背景图像对。
步骤S220、建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系。
头戴式显示设备建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系。其中,所述视角的参数可以根据定位系统进行获取,例如通过GPS(Global Positioning System,全球定位系统)定位系统或是RFID(Radio Frequency Identification,射频识别)定位系统获取所述视角的获取所述视角的位置、高度和朝向等参数。
步骤S230、根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
头戴式显示设备根据获取的所述灰度图像,在预设的所述视角映射关系中搜索与所述立体灰度图像对的视角相一致的所述立体彩色背景对,从而获取相对应的所述立体彩色背景对。
本实施例提出的基于虚拟现实技术的图像合成方法,通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对,以实现图像的三维彩色动态显示,提高图像清晰度和显示效果。
如图5所示,图5为本发明基于虚拟现实技术的图像合成方法第四实施例的流程示意图,在第一实施例的基础上,所述步骤S300之后包括:
步骤S400、通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示。
头戴式显示设备通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示,其中,所述合成的图像为立体图像对,包括左右分屏的立体图像,所述立体图像的景深获取方式为:由彩色摄像机的红外灯通过将自身发出的红外光线发射给所述目标物体,并经由所述目标物体对所述红外光线进行反射后返回给所述彩色摄像机,通过计算相应的时间和距离获取。显示屏幕根据获取的所述景深,将左右分屏显示的所述视频图像分别投射到左右眼的视网膜上,在左右眼的视网膜上清晰成像,并在人眼的前方生成三维立体图像。
本实施例提出的基于虚拟现实技术的图像合成方法,通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示,在人眼的前方生成三维立体图像,提高图像清晰度和显示效果。
如图6所示,本发明进一步提出一种头戴式显示设备,在本实施例中,所述头戴式显示设备包括:
侦测模块10,用于利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;
获取模块20,用于根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;
合成模块30,用于对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
头戴式显示设备的侦测模块10内置红外热成像仪,所述红外热成像仪包括红外探测器和光学成像物镜,红外热成像仪在不同的视角下侦测运动目标,所述视角包括位置、高度和朝向。利用红外探测器和光学成像物镜,将接受的所述运动目标的红外辐射能量分布图形反映到所述红外探测器的光敏元件上,从而获得所述运动目标的红外热像图,所述红外热图像为灰度图像。
头戴式显示设备的获取模块20根据获得的所述灰度图像的视角,在预设的视频图像映射库中搜索到与所述灰度图像的视角相一致的彩色背景;并根据所述灰度图像,提取所述运动目标,建立与所述运动目标相对应的彩色虚拟前景模型。例如,根据获取的所述红外热像图,首先获取能自动更新的背景图像,采用背景减法提取所述运动目标的轮廓,然后运用其轮廓的边界不变矩特征和形态学特征,构建一个轮廓特征向量的模型,再分析比较所述运动目标轮廓特征向量与每类标准样本之间的欧氏距离,实现对所述运动目标的识别分类。再后,根据识别的所述运动目标,构建与所述运动目标交互的彩色虚拟前景模型,若识别到所述运动目标为人时,则构建与所述人对应的彩色虚拟人。所述前景是指在主题前面或靠近镜头位置的人物或景物,主要作用有:烘托主体或直接帮助表达影视作品的主题;增加画面的层次,表现空间深度;均衡美化画面,使构图增加变化;“框”起主体,具有装饰趣味,有利于影调和色彩的对比。所述背景是指画面中主体背后的景物,主要作用有:能表现人物和事件所处的时空环境;使人感受到主体所处的空间的大小;能烘托主体,使主体的形状及轮廓显著;能造成各种视频画面气氛、情调,帮助解释内容。
头戴式显示设备的合成模块30根据构建的所述彩色虚拟前景模型以及搜索到的所述彩色背景,对所述彩色虚拟前景模型和所述彩色背景进行图像合成,并将合成的视频流同时发送给显示屏幕进行左右分屏显示。
本实施例提出的头戴式显示设备,利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;对所述彩色虚拟前景模型和所述彩色背景进行图像合成,从而将获取的灰度图像转换为真彩色图像,图形处理速度快、图像显示清晰度高。
进一步参见图6,所述侦测模块10还用于通过双红外3D摄相机在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
头戴式显示设备的侦测模块10通过间距相对固定的双红外3D热成像仪在不同的视角下侦测所述运动目标,并通过运动目标跟踪算法锁定所述运动目标,从而获取所述运动目标的立体灰度图像对,以实现图像的三维显示。
本实施例提出的头戴式显示设备,通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对,以实现图像的三维显示,提高图像清晰度和显示效果。
进一步参见图6,所述获取模块20还用于根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
头戴式显示设备的获取模块20根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对,所述视频图像映射库是根据瞳距相一致的双彩色摄像机所采集的立体彩色背景对而建立的,并在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系,只要根据所述视角映射关系,就可以获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
本实施例提出的头戴式显示设备,根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对,从而将获取的灰度图像转换为彩色图像,提高图像清晰度和显示效果。
如图7所述,图7为图6中所述获取模块的功能模块示意图,所述获取模块20包括:
采集单元21,用于通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;
建立单元22,用于建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;
获取单元23,用于根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
头戴式显示设备的采集单元21通过与人眼的瞳距相一致的双彩色摄像机在不同的视角下采集现实场景中的立体彩色背景对。所述立体彩色背景对为构建的不包含所述运动目标的立体背景图像对。
头戴式显示设备的建立单元22建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系。其中,所述视角的参数可以根据定位系统进行获取,例如通过GPS定位系统或是RFID定位系统获取所述视角的位置、高度和朝向等参数。
头戴式显示设备的获取单元23根据获取的所述灰度图像,在预设的所述视角映射关系中搜索与所述立体灰度图像对的视角相一致的所述立体彩色背景对,从而获取相对应的所述立体彩色背景对。
本实施例提出的头戴式显示设备,通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对,以实现图像的三维彩色动态显示,提高图像清晰度和显示效果。
如图8所述,图8为本发明头戴式显示设备第二实施例的功能模块示意图,在第一实施例的基础上,所述头戴式显示设备还包括:
显示模块40,用于对所述合成的图像经由头戴式显示设备的左右屏幕进行分屏显示。
头戴式显示设备的显示模块40通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示,其中,所述合成的图像为立体图像对,包括左右分屏的立体图像,所述立体图像的景深获取方式为:由彩色摄像机的红外灯通过将自身发出的红外光线发射给所述目标物体,并经由所述目标物体对所述红外光线进行反射后返回给所述彩色摄像机,通过计算相应的时间和距离获取。显示屏幕根据获取的所述景深,将左右分屏显示的所述视频图像分别投射到左右眼的视网膜上,在左右眼的视网膜上清晰成像,并在人眼的前方生成三维立体图像。
本实施例提出的头戴式显示设备,通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示,在人眼的前方生成三维立体图像,提高图像清晰度和显示效果。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于虚拟现实技术的图像合成方法,其特征在于,所述基于虚拟现实技术的图像合成方法包括步骤:
利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;
根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;
对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
2.如权利要求1所述的基于虚拟现实技术的图像合成方法,其特征在于,所述红外热成像仪为双红外3D热成像仪,所述灰度图像为立体灰度图像对,所述利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像的步骤包括:
通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
3.如权利要求2所述的基于虚拟现实技术的图像合成方法,其特征在于,所述彩色背景为立体彩色背景对,所述根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景的步骤包括:
根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
4.如权利要求3所述的基于虚拟现实技术的图像合成方法,其特征在于,所述根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对的步骤包括:
通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;
建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;
根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
5.如权利要求2至4任一项所述的基于虚拟现实技术的图像合成方法,其特征在于,所述对所述彩色虚拟前景模型和所述彩色背景进行图像合成的步骤之后还包括:
通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示。
6.一种头戴式显示设备,其特征在于,所述头戴式显示设备包括:
侦测模块,用于利用红外热成像仪在不同的视角下侦测运动目标以获取所述运动目标的灰度图像;
获取模块,用于根据所述灰度图像,获取与所述灰度图像的视角相一致的彩色背景以及重构与所述运动目标相对应的彩色虚拟前景模型;
合成模块,用于对所述彩色虚拟前景模型和所述彩色背景进行图像合成。
7.如权利要求6所述的头戴式显示设备,其特征在于,所述侦测模块还用于通过双红外3D热成像仪在不同的视角下侦测所述运动目标以获取所述运动目标的立体灰度图像对。
8.如权利要求7所述的头戴式显示设备,其特征在于,所述获取模块还用于根据所述灰度图像,在预先建立的视频图像映射库中获取与所述立体灰度图像对的视角相一致的立体彩色背景对。
9.如权利要求8所述的头戴式显示设备,其特征在于,所述获取模块包括:
采集单元,用于通过与瞳距相一致的双彩色摄像机在不同的视角下采集所述立体彩色背景对;
建立单元,用于建立视频图像映射库,在所述视频图像映射库中建立所述立体彩色背景对的视角映射关系;
获取单元,用于根据所述灰度图像,在所述视角映射关系中获取与所述立体灰度图像对的视角相一致的所述立体彩色背景对。
10.如权利要求6至9任一项所述的头戴式显示设备,其特征在于,所述头戴式显示设备还包括:
显示模块,用于通过彩色摄像机的红外灯获取景深,根据获取的所述景深对所述合成的图像进行左右分屏显示。
CN201510358200.9A 2015-06-26 2015-06-26 基于虚拟现实技术的图像合成方法和头戴式显示设备 Active CN104980727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510358200.9A CN104980727B (zh) 2015-06-26 2015-06-26 基于虚拟现实技术的图像合成方法和头戴式显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510358200.9A CN104980727B (zh) 2015-06-26 2015-06-26 基于虚拟现实技术的图像合成方法和头戴式显示设备

Publications (2)

Publication Number Publication Date
CN104980727A true CN104980727A (zh) 2015-10-14
CN104980727B CN104980727B (zh) 2018-08-17

Family

ID=54276763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510358200.9A Active CN104980727B (zh) 2015-06-26 2015-06-26 基于虚拟现实技术的图像合成方法和头戴式显示设备

Country Status (1)

Country Link
CN (1) CN104980727B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107979754A (zh) * 2016-10-25 2018-05-01 百度在线网络技术(北京)有限公司 一种基于摄像头应用的测试方法和装置
CN108040296A (zh) * 2017-12-25 2018-05-15 北京奇虎科技有限公司 基于自适应跟踪框分割的直播服饰装扮方法及装置
CN108139808A (zh) * 2016-01-15 2018-06-08 谷歌有限责任公司 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
CN113240700A (zh) * 2021-05-27 2021-08-10 广州博冠信息科技有限公司 图像处理方法及装置、计算机可读存储介质、电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335841A (zh) * 2007-06-28 2008-12-31 索尼株式会社 摄像装置
CN101917636A (zh) * 2010-04-13 2010-12-15 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
CN103093471A (zh) * 2013-01-24 2013-05-08 青岛智目科技有限公司 一种复杂背景下前景提取方法
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
US20140346359A1 (en) * 2013-03-15 2014-11-27 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with three dimensional overlaying
CN104506827A (zh) * 2015-01-13 2015-04-08 苏州创捷传媒展览股份有限公司 具有人体跟踪功能的互动视觉拍摄装置
CN204305184U (zh) * 2014-12-02 2015-04-29 苏州创捷传媒展览股份有限公司 虚拟拍照装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335841A (zh) * 2007-06-28 2008-12-31 索尼株式会社 摄像装置
CN101917636A (zh) * 2010-04-13 2010-12-15 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
CN103093471A (zh) * 2013-01-24 2013-05-08 青岛智目科技有限公司 一种复杂背景下前景提取方法
US20140346359A1 (en) * 2013-03-15 2014-11-27 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with three dimensional overlaying
CN103595916A (zh) * 2013-11-11 2014-02-19 南京邮电大学 一种双摄像头目标跟踪系统及其实现方法
CN204305184U (zh) * 2014-12-02 2015-04-29 苏州创捷传媒展览股份有限公司 虚拟拍照装置
CN104506827A (zh) * 2015-01-13 2015-04-08 苏州创捷传媒展览股份有限公司 具有人体跟踪功能的互动视觉拍摄装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139808A (zh) * 2016-01-15 2018-06-08 谷歌有限责任公司 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
CN108139808B (zh) * 2016-01-15 2021-04-02 谷歌有限责任公司 具有减少数量的相机的虚拟现实头戴式设备及其操作方法
US10990186B2 (en) 2016-01-15 2021-04-27 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
CN107979754A (zh) * 2016-10-25 2018-05-01 百度在线网络技术(北京)有限公司 一种基于摄像头应用的测试方法和装置
CN108040296A (zh) * 2017-12-25 2018-05-15 北京奇虎科技有限公司 基于自适应跟踪框分割的直播服饰装扮方法及装置
CN108040296B (zh) * 2017-12-25 2020-08-28 北京奇虎科技有限公司 基于自适应跟踪框分割的直播服饰装扮方法及装置
CN113240700A (zh) * 2021-05-27 2021-08-10 广州博冠信息科技有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN113240700B (zh) * 2021-05-27 2024-01-23 广州博冠信息科技有限公司 图像处理方法及装置、计算机可读存储介质、电子设备

Also Published As

Publication number Publication date
CN104980727B (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
US9846927B2 (en) Systems and methods for haziness detection
CN104052938B (zh) 用于利用三维叠加的多光谱成像的设备和方法
KR101609486B1 (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
WO2018140107A1 (en) System for 3d image filtering
US20120237114A1 (en) Method and apparatus for feature-based stereo matching
CN105447838A (zh) 一种红外与微光/可见光融合成像的方法及系统
CN106896925A (zh) 一种虚拟现实与真实场景融合的装置
TW202014990A (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
CN103971408A (zh) 三维人脸模型生成系统及方法
CN103796001A (zh) 一种同步获取深度及色彩信息的方法及装置
CN104980727A (zh) 基于虚拟现实技术的图像合成方法和头戴式显示设备
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
Ellmauthaler et al. A visible-light and infrared video database for performance evaluation of video/image fusion methods
US20150256764A1 (en) Active-tracking based systems and methods for generating mirror image
CN107862718B (zh) 4d全息视频捕捉方法
US9558406B2 (en) Image processing apparatus including an object setting section, image processing method, and program using the same
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN108564654B (zh) 三维大场景的画面进入方式
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN104795017B (zh) 显示控制方法和头戴式显示设备
CN110572576A (zh) 一种拍摄可见光和热成像重叠图的方法、系统及电子设备
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
CN110389390B (zh) 一种大视场红外微光自然感彩色融合系统
US20230010947A1 (en) Electronic apparatus, and method for displaying image on display device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant