CN104795017B - 显示控制方法和头戴式显示设备 - Google Patents

Abstract

本发明公开了一种显示控制方法，通过获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。本发明还公开了一种头戴式显示设备。本发明提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

Description

显示控制方法和头戴式显示设备

技术领域

本发明涉及图像显示领域，尤其涉及显示控制方法和头戴式显示设备。

背景技术

目前红外热成像技术已在许多领域得到重要的应用，特别是在晚上，在不暴露自己的基础之上，红外热成像运用光电技术检测物体热辐射的红外线特定波段信号，将该信号转换成可供人类视觉分辨的红外图像，还可以进一步计算出温度值。红外热成像技术让人们超越了视觉障碍，及时发现目标。但是红外图像与可见光图像相比，红外图像普遍存在目标和背景的对比度低，图像边缘模糊、图像损失大等特点，因此，如何提高红外热成像显示的清晰度，是一个亟待解决的问题。

发明内容

本发明的主要目的在于提出一种显示控制方法和头戴式显示设备，旨在解决红外热成像显示的清晰度问题。

为实现上述目的，本发明提供的一种显示控制方法，所述显示控制方法包括步骤：

获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；

基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；

提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；

将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

优选地，所述获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景的步骤之前包括：

通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。

优选地，所述获取头戴显示设备当前所在位置的步骤包括：

若识别到所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别到所述头戴显示设备当前所在位置在室内时，则通过RFID对所述头戴显示设备定位。

优选地，所述基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像的步骤之后还包括：

将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

优选地，所述提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景的步骤包括：

提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；

根据识别的所述目标，配置与所述目标相适配的虚拟目标。

此外，为实现上述目的，本发明还提出一种头戴式显示设备，所述头戴式显示设备包括：

背景获取模块，用于获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；

红外图像获取模块，用于基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；

提取配置模块，用于提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；

合成显示模块，用于将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

优选地，所述头戴式显示设备还包括：

预置模块，用于通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。

优选地，所述背景获取模块还用于若识别到所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别到所述头戴显示设备当前所在位置在室内时，则通过RFID对所述头戴显示设备定位。

优选地，所述头戴式显示设备还包括：

对照增强模块，用于将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

优选地，所述提取配置模块包括：

提取单元，用于提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；

配置单元，用于根据识别的所述目标，配置与所述目标相适配的虚拟目标。

本发明提出的显示控制方法和头戴式显示设备，通过获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。本发明提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

附图说明

图1为本发明显示控制方法的第一实施例的流程示意图；

图2为本发明显示控制方法的第二实施例的流程示意图；

图3为本发明显示控制方法的第三实施例的流程示意图；

图4为图1中所述提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景的步骤的细化流程示意图；

图5为本发明头戴式显示设备第一实施例的功能模块示意图；

图6为本发明头戴式显示设备第二实施例的功能模块示意图；

图7为本发明头戴式显示设备第二实施例的功能模块示意图；

图8为图5中所述提取配置模块的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明第一实施例提出一种显示控制方法，所述显示控制方法包括：

步骤S100、获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景。

头戴式显示设备通过定位功能获取所述头戴式显示设备当前所在位置、并通过角度传感器获取所述头戴式显示设备当前所穿戴的角度。其中，位置可以包括经纬度坐标，角度可以包括姿态角等。具体地，若识别到所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别所述头戴显示设备当前所在位置在室内时，则通过RFID(Radio Frequency Identification，射频识别)对所述头戴显示设备定位，从而弥补了地理定位系统在高度方面定位不精确的缺陷。其中，地理定位系统是利用卫星星座、地面控制部分和信号接收机对监控对你进行动态定位和跟踪的系统。地理定位系统包括美国的GPS(Global Positioning System，全球定位系统)、中国的BDS(BeiDouNavigation Satellite System，北斗卫星导航系统)、俄罗斯的GLONASS(格洛纳斯卫星导航系统)、欧盟的GALILEO(伽利略卫星导航系统)等。同时通过姿态传感器获取所述头戴显示设备的姿态角。所述姿态角包括俯仰角、偏航角和滚转角。所述俯仰角定义为所述头戴式显示设备纵轴与水平面的夹角，即所述头戴式显示设备相对过坐标原点的水平面“俯仰”的角度。当所述头戴式显示设备Y轴的正半轴位于过坐标原点的水平面之上时，俯仰角为正，反之为负。所述偏航角定义为所述头戴式显示设备纵轴在水平面上的投影与地面坐标系纵轴(在水平面上，指向目标为正)之间的夹角，即所述述头戴式显示设备偏离目标方向(地面坐标系纵轴)的角度。当所述头戴式显示设备右偏为正，反之为负。所述滚转角定义为所述头戴式显示设备纵轴与地面坐标系纵轴(在水平面上，指向目标为正)之间的夹角，即所述头戴式显示设备沿纵轴转过的角度，当所述头戴式显示设备向右滚动为正，反之为负。头戴式显示设备根据获取的所述位置和角度，搜索背景数据库，找出预先存储在背景数据库中对应位置和角度的背景。所述背景是指画面中主体背后的景物，能表现人物和事件所处的时空环境。

步骤S200、基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像。

头戴式显示设备基于所述头戴式显示设备当前所在位置和穿戴的角度，通过红外热成像摄像机的红外探测器、光学成像物镜接收被测目标的红外辐射信号，经过红外光学系统红外探测器的光敏源上的电子扫描电路对被测物的红外热像进行扫描转换成电信号，经放大处理、转换成红外图像。在本实施例中，红外热成像摄像机通过探测被测目标微小的温度差别，将温度差异转换成实时的红外图像。

步骤S300、提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景。

头戴式显示设备通过前景分割或前景抠图提取所述红外图像的前景，并根据所述红外图像的前景，配置相适配的虚拟前景，例如，若通过红外摄像头采集到的所述红外图像中的前景为动物时，则在虚拟现实交互环境中配置相适配的虚拟动物，其大小、形态和轮廓与红外探测到的前景相一致。其中，所述前景是指在主题前面或靠近镜头位置的人物或景物。

步骤S400、将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

头戴式显示设备将获取的所述背景和配置的所述虚拟前景进行图像合成，生成合成图像，并对生成的合成图像进行实时显示。

本实施例提供的显示控制方法，通过获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图2所示，图2为本发明显示控制方法的第二实施例的流程示意图，在第一实施例的基础上，所述步骤S100之前还包括：

步骤S100A、通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。

头戴式显示设备通过可见光摄像机预先在设定区域内的各个位置和各个穿戴的角度采集背景。其中，所述背景是指画面中主体背后的景物，能表现人物和事件所处的时空环境。例如，头戴式显示设备可预先通过全景摄像头在设定区域内的每一个位置、每一个高度360度采集背景，并对采集到的所述背景作好配套标识后存储在所述背景数据库中。

本实施例提供的显示控制方法，通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图3所示，图3为本发明显示控制方法的第三实施例的流程示意图，在第一实施例的基础上，所述步骤S200之后还包括：

步骤S200A、将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

头戴式显示设备通过红外热成像摄相机在设定区域内的各个位置和各个角度预先采集红外背景图像，并存储在背景数据库中。背景数据库中的数据按预定的周期进行实时更新，所述更新的周期可以是一天、也可以是一周、甚至是一个月。头戴式显示设备将当前获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

本实施例提供的显示控制方法，通过将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图4所示，图4为图1中所述步骤S300细化流程示意图，在本实施例中，所述步骤S300包括：

步骤S310、提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标。

头戴式显示设备提取所述红外图像的前景特征，根据前景中的目标所发出的热量分布，通过红外目标识别特征(例如，颜色、灰度、纹理和边缘特征等)，识别所述前景中的各类目标。

步骤S320、根据识别的所述目标，配置与所述目标相适配的虚拟目标。

头戴式显示设备根据识别的所述前景中的各类目标，利用虚拟现实技术，对应在虚拟现实交互环境中配置与所述红外图像的前景中的目标相适配的虚拟目标。例如，若识别到所述红外图像中的前景的目标为动物时，则在虚拟现实交互环境中配置相适配的虚拟动物，其虚拟动物的大小、形态和轮廓与红外探测到的前景的动物的大小、形态和轮廓均一致。

本实施例提供的显示控制方法，通过提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；根据识别的所述目标，配置与所述目标相适配的虚拟目标。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

本发明进一步提供一种头戴式显示设备，参照图5，图5为本发明头戴式显示设备第一实施例的功能模块示意图，在第一实施例中，所述头戴式显示设备包括：

背景获取模块10，用于获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；

红外图像获取模块20，用于基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；

提取配置模块30，用于提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；

合成显示模块40，用于将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

头戴式显示设备的背景获取模块10通过定位功能获取所述头戴式显示设备当前所在位置、并通过角度传感器获取所述头戴式显示设备当前所穿戴的角度。其中，位置可以包括经纬度坐标，角度可以包括姿态角等。具体地，若识别到所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别所述头戴显示设备当前所在位置在室内时，则通过RFID对所述头戴显示设备定位，从而弥补了地理定位系统在高度方面定位不精确的缺陷。其中，地理定位系统是利用卫星星座、地面控制部分和信号接收机对监控对你进行动态定位和跟踪的系统。地理定位系统包括美国的GPS、中国的BDS、俄罗斯的GLONASS、欧盟的GALILEO(伽利略卫星导航系统)等。同时通过姿态传感器获取所述头戴显示设备的姿态角。所述姿态角包括俯仰角、偏航角和滚转角。所述俯仰角定义为所述头戴式显示设备纵轴与水平面的夹角，即所述头戴式显示设备相对过坐标原点的水平面“俯仰”的角度。当所述头戴式显示设备Y轴的正半轴位于过坐标原点的水平面之上时，俯仰角为正，反之为负。所述偏航角定义为所述头戴式显示设备纵轴在水平面上的投影与地面坐标系纵轴(在水平面上，指向目标为正)之间的夹角，即所述述头戴式显示设备偏离目标方向(地面坐标系纵轴)的角度。当所述头戴式显示设备右偏为正，反之为负。所述滚转角定义为所述头戴式显示设备纵轴与地面坐标系纵轴(在水平面上，指向目标为正)之间的夹角，即所述头戴式显示设备沿纵轴转过的角度，当所述头戴式显示设备向右滚动为正，反之为负。头戴式显示设备根据获取的所述位置和角度，搜索背景数据库，找出预先存储在背景数据库中对应位置和角度的背景。所述背景是指画面中主体背后的景物，能表现人物和事件所处的时空环境。

头戴式显示设备的红外图像获取模块20基于所述头戴式显示设备当前所在位置和穿戴的角度，通过红外热成像摄像机的红外探测器、光学成像物镜接收被测目标的红外辐射信号，经过红外光学系统红外探测器的光敏源上的电子扫描电路对被测物的红外热像进行扫描转换成电信号，经放大处理、转换成红外图像。在本实施例中，红外热成像摄像机通过探测被测目标微小的温度差别，将温度差异转换成实时的红外图像。

头戴式显示设备的提取配置模块30通过前景分割或前景抠图提取所述红外图像的前景，并根据所述红外图像的前景，配置相适配的虚拟前景，例如，若通过红外摄像头采集到的所述红外图像中的前景为动物时，则在虚拟现实交互环境中配置相适配的虚拟动物，其大小、形态和轮廓与红外探测到的前景相一致。其中，所述前景是指在主题前面或靠近镜头位置的人物或景物。

头戴式显示设备的合成显示模块40将获取的所述背景和配置的所述虚拟前景进行图像合成，生成合成图像，并对生成的合成图像进行实时显示。

本实施例提供的头戴式显示设备，通过获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图6所示，图6为本发明头戴式显示设备第二实施例的功能模块示意图，在第一实施例的基础上，所述头戴式显示设备还包括：

预置模块50，用于通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。

头戴式显示设备的预置模块50通过可见光摄像机预先在设定区域内的各个位置和各个穿戴的角度采集背景。其中，所述背景是指画面中主体背后的景物，能表现人物和事件所处的时空环境。例如，头戴式显示设备可预先通过全景摄像头在设定区域内的每一个位置、每一个高度360度采集背景，并对采集到的所述背景作好配套标识后存储在所述背景数据库中。

本实施例提供的头戴式显示设备，通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图7所示，图7为本发明头戴式显示设备第三实施例的功能模块示意图，在第一实施例的基础上，所述头戴式显示设备还包括：

对照增强模块60，用于将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

头戴式显示设备的对照增强模块60通过红外热成像摄相机在设定区域内的各个位置和各个角度预先采集红外背景图像，并存储在背景数据库中。背景数据库中的数据按预定的周期进行实时更新，所述更新的周期可以是一天、也可以是一周、甚至是一个月。头戴式显示设备将当前获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

本实施例提供的头戴式显示设备，通过将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

如图8所示，图8为图5中所述提取配置模块的功能模块示意图，在本实施例中，所述提取配置模块30包括：

提取单元31，用于提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；

配置单元32，用于根据识别的所述目标，配置与所述目标相适配的虚拟目标。

头戴式显示设备的提取单元31提取所述红外图像的前景特征，根据前景中的目标所发出的热量分布，通过红外目标识别特征(例如，颜色、灰度、纹理和边缘特征等)，识别所述前景中的各类目标。

头戴式显示设备的配置单元32根据识别的所述前景中的各类目标，利用虚拟现实技术，对应在虚拟现实交互环境中配置与所述红外图像的前景中的目标相适配的虚拟目标。例如，若识别到所述红外图像中的前景的目标为动物时，则在虚拟现实交互环境中配置相适配的虚拟动物，其虚拟动物的大小、形态和轮廓与红外探测到的前景的动物的大小、形态和轮廓均一致。

本实施例提供的头戴式显示设备，通过提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；根据识别的所述目标，配置与所述目标相适配的虚拟目标。从而提高红外热成像显示的清晰度、让用户获得沉浸感极强的视觉效果。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种显示控制方法，其特征在于，所述显示控制方法包括步骤：

通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，此通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景的数据即为背景数据，存储所述背景数据的数据库即为背景数据库，并对所述背景作好配套标识后存储在所述背景数据库中；

获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；

基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；

将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示；

提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；

将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

2.如权利要求1所述的显示控制方法，其特征在于，所述获取头戴显示设备当前所在位置的步骤包括：

若识别所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别所述头戴显示设备当前所在位置在室内时，则通过射频识别RFID对所述头戴显示设备定位。

3.如权利要求1至2任一项所述的显示控制方法，其特征在于，所述提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景的步骤包括：

提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；

根据识别的所述目标，配置与所述目标相适配的虚拟目标。

4.一种头戴式显示设备，其特征在于，所述头戴式显示设备包括：

背景获取模块，用于获取头戴式显示设备当前所在位置和角度，并根据所述位置和角度对应获取预先存储在背景数据库中的背景；

红外图像获取模块，用于基于所述头戴式显示设备当前所在位置和角度，通过红外热成像摄像机获取红外图像；

提取配置模块，用于提取所述红外图像的前景，并配置与所述红外图像的前景相适配的虚拟前景；

合成显示模块，用于将所述背景和虚拟前景进行图像合成，并将合成的所述图像通过头戴显示设备进行显示。

5.如权利要求4所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

预置模块，用于通过可见光摄像机预先采集设定区域内各个位置和角度相对应的背景，并对所述背景作好配套标识后存储在所述背景数据库中。

6.如权利要求5所述的头戴式显示设备，其特征在于，所述背景获取模块还用于若识别到所述头戴显示设备当前所在位置在室外时，则通过地理定位系统对所述头戴显示设备定位；若识别到所述头戴显示设备当前所在位置在室内时，则通过RFID对所述头戴显示设备定位。

7.如权利要求6所述的头戴式显示设备，其特征在于，所述头戴式显示设备还包括：

对照增强模块，用于将获取的所述红外图像和预先存储在背景数据库中的红外背景图像相对照，找出不同点，并将所述不同点作为前景进行增强显示。

8.如权利要求4至7任一项所述的头戴式显示设备，其特征在于，所述提取配置模块包括：

提取单元，用于提取所述红外图像的前景特征，根据所述前景特征，识别所述前景中的目标；

配置单元，用于根据识别的所述目标，配置与所述目标相适配的虚拟目标。