CN108008813A - 一种基于投影融合和图像识别的交互系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于投影融合和图像识别的交互系统及控制方法，系统包括设备主体、操控单元、感知模型和三维显示屏；设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机。采用实时自然的交互方式，采用“所见即所得”的形式反映实际工作态势，把视频或者音频中听到的信息变为看得到的实际物理模型和虚拟保障态势，可以更直观的了解全局的工作态势，便于使用人员掌握全局信息，做出决策。

Description

一种基于投影融合和图像识别的交互系统及控制方法

技术领域

本发明涉及计算机人机交互技术领域，尤其涉及一种基于投影融合和图像识别的交互系统及控制方法。

背景技术

近年来，随着计算机、光学、图形学、计算机视觉、虚拟现实和增强现实等技术的发展，各种各样的人机交互技术和人机交互式设备出现，基于超短焦投影融合和图像识别跟踪技术的通用交互设备是结合激光超短焦投影技术、图象识别跟踪技术、虚拟现实技术以及增强现实技术的一种保障设备技术方案。

原有的同类型交互式设备主要采用物理同比缩放模型，用于辅助相关人员，采用语音、视频、目视等传统手段对装备或设备位置、工作情况等信息进行维护，仍采用人工的使用方式，在交互设备上建立整体的工作态势信息，但不具备各缩放模型的自动识别能力,缺少智能自动化手段，不同的工作场景需要构建不同的物理模型，单设备不能通用化，并且交互设备一般单独使用，不能将工作态势信息进行发布。

发明内容

鉴于上述的分析，本发明旨在提供一种基于投影融合和图像识别的交互系统及控制方法，用以克服现有技术中无法提供一种通用、可配置场景的方案，无法自动、实时、直观地呈现全局工作态势，无法符合人机工学特点提供一种新的人机交互方式等诸多问题。

本发明的目的主要是通过以下技术方案实现的：

在基于本发明实施例的一个方面，提供了一种基于投影融合和图像识别的交互系统，包括设备主体、操控单元、感知模型和三维显示屏；所述设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机；操控单元与高性能计算机连接，用于参数配置和状态信息交互；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述交互系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和高速识别摄像机用于场景显示、模型信息采集以及融合处理显示。

在基于本发明系统的另一个实施例中，还包括状态信息监视器，所述状态信息监视器通过以太网与设备主体连接，用于远程显示三维模型场景实时状态信息。

在基于本发明系统的另一个实施例中，还包括状态信息发布单元，所述状态信息发布单元通过以太网与设备主体连接，用于发布采集到的观测现场及待观测设备的全局信息。

在基于本发明系统的另一个实施例中，还包括用于安装各组成设备的操控台体，为设备提供主体安装框架。

在基于本发明系统的另一个实施例中，交互系统用于场景显示时，由所述高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过超短焦投影设备将图象投影到投影成像及信息采集屏进行成像显示；

所述交互系统用于模型信息采集时，两台以上高速识别摄像机同时采集放置在投影成像及信息采集屏上的感知模型信息，并将采集到的信息传输至高性能计算机，由计算机进行融合处理，并进行图像识别和跟踪，实时计算感知模型的位置；

所述交互系统用于融合处理显示时，高性能计算机根据采集到的信息构建感知模型的虚拟三维模型，与三维模拟场景进行融合，并由高性能计算机将其输出至三维显示屏进行三维场景显示。

在基于本发明系统的另一个实施例中，还包括光线调节模组，光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

在基于本发明系统的另一个实施例中，感知模型为用于标记某一装备或设备的模型，具有特殊标识；工作时，感知模型摆放在投影成像及信息采集屏上，拖动感知模型来控制三维模拟场景下待观测设备对应的三维模型的同步显示。

在基于本发明系统的另一个实施例中，操控单元通过通过数据线与所述高性能计算机连接。

在基于本发明实施例的另一个方面，提供了一种交互控制方法，包括：

步骤S1：系统启动，高性能计算机向超短焦投影设备提供视频显示信息，在投影成像及信息采集屏上生成全局工作状态二维场景；

步骤S2：在二维场景中摆放感知模型，高性能计算机根据感知模型唯一标识获取待观测设备的实体类型及状态信息、进行状态信息动态维护；

步骤S3：高性能计算机建立三维模拟场景，根据采集到的感知模型信息建立待观测设备对应的三维模型并与三位模拟场景融合；

步骤S4：操作人员通过三维模拟场景下待观测设备的实时状态根据工作需要进行操作。

在基于本发明方法的另一个实施例中，步骤S4具体包括：

步骤S41：保障推演及教学，利用记录的历史数据信息，重现全局工作态势，并对流程进行复现和回放；

步骤S42：场景漫游，通过控制感知模型，把该感知模型放在感知桌面的交互区域，在3D视角下，进行场景漫游，全面了解工作情况。

本发明有益效果：

一、能够把全局的工作态势信息集中在一起，采用交互台方式以一个简洁的方式显示出来，减少了人员之间的交互成本，提高了整体的作业效率，降低了出错的可能性；

二、采用实时自然的交互方式，采用“所见即所得”的形式反映实际工作态势，把视频或者音频中听到的信息变为看得到的实际物理模型和虚拟保障态势，可以更直观的了解全局的工作态势，便于使用人员掌握全局信息，做出决策；

三、交互设备通用化，可根据不同的应用需求，通过配置交互设备进行显示场景和底图的更换，一个设备通过部署不同的场景适应不同的应用；

四、可以进行相关流程推演和重现，可用于辅助使用人员快速对相关预案进行推演，便于发现问题，也可快速辅助使用人员熟悉运行流程；

五、简单便捷，无复杂操作，上手容易，符合人体操作及交互习惯。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为一种基于投影融合和图像识别的交互系统的结构示意图；

图2为本发明一个实施例的光电设备光路正视图；

图3为本发明一个实施例的光电设备光路侧视图；

图4为感知模型的操作示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

根据本发明的一个具体实施例，公开了一种基于投影融合和图像识别的交互系统，如图1所示，包括设备主体、操控单元、感知模型和三维显示屏；所述设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机；操控单元与高性能计算机连接，用于参数配置和状态信息交互；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述交互系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和高速识别摄像机用于场景显示、模型信息采集以及融合处理显示。

还包括状态信息监视器和状态信息发布单元，状态信息监视器通过以太网与设备主体连接，用于远程显示三维模型场景实时状态信息，待观测设备的所有状态信息变化情况均可在状态信息监视器的显示屏上显示，便于远程监视全局状态，以及及时掌握待观测设备的实时状态并防止人为操作事故的发生；状态信息发布单元通过以太网与设备主体连接，自动采集观测现场及待观测设备的全局信息，比如设备的故障状态、开光状态和观测现场的灯光状态等信息，并自动将采集到的状态信息发布给设备主体用于模拟全局场景。自动接收和发送状态信息，自动维护相关设备的状态，减少人员操作的工作量，提高效率和准确性。

还包括用于安装各组成设备的操控台体，为设备提供主体安装框架；在本发明的一个具体实施例中，操控台体的台体机箱材料可采用高强度钣金或铝合金，配件材料采用不锈钢、优质钢材或高强度铝合金材料，台体外壁喷塑处理，导电胶条密封，内部进行滤波设计。操控台体的尺寸为长×宽×高为2000mm×1000mm×1000mm，交互区域尺寸为不小于1780mm×540mm。通过采用超短焦投影和视频融合技术，将投影显示限制在一个2000mm×1000mm×1000mm大小的类操控台体的交互空间之内，使设备小型化，提升了设备可应用性；

还包括光线调节模组，通过光线调节模组调节光线使得操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

本发明交互设备主要功能为场景显示功能、模型信息采集功能以及融合处理显示功能，核心控制设备为高性能计算机。

场景显示功能主要由高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过投影设备将图象投影到投影成像及信息采集屏进行成像显示，高性能计算机为超短焦投影设备提供视频信息，利用高速识别摄像机及超短焦投影设备、投影成像及信息采集屏实现虚拟现实的交互区域，该交互区域显示二维俯视图；

模型信息采集功能主要是在投影成像及信息采集屏上放置带有专属标识的感知模型，两台以上高速识别摄像机采集视频图像信息同时采集感知模型上的标识信息，并将采集到的信息传输至视频融合器进行视频融合，后传输至高性能计算机；高性能计算机对采集到的信息进行数据分析和处理，计算感知模型在二维场景下的状态信息，该状态信息包括感知模型的位置和方向；

融合处理显示功能为将在二维场景下采集到的感知模型状态信息转化为三维信息在三维模拟场景下重构感知模型的虚拟三维模型，其中每个感知模型具有一个专属标识，与该专属标识绑定实际代表待观测设备的相关参数，如机型、旋翼折叠状态等，与唯一的待观测设备的虚拟三维模型建立一对一映射，实现二维模型到三维模型的重建，并与三维模拟场景进行融合，实现虚实结合的显示效果和良好的交互，最终将三维模拟场景及感知模型三维状态信息发布在三维显示屏上；在原理实现过程中，为有效提高感知模型的识别率，在设备内部通过光线调节模组对设备内部光路进行补充，保证感知模型标识的高效识别和跟踪。

在本发明的一个具体实施例中，高性能计算机采用高性能处理器，能够进行视频图象实时处理和计算，内存不小于16GB，配置独立显存容量不小于8GB，分辨率支持大长宽比，分辨率不小于2560×1600，并支持自定义分辨率，向下兼容；配置以太网接口、高速USB接口用于外设连接。

投影成像及信息采集屏用于显示投影影像，同时用于感知模型的信息采集；在本发明的一个具体实施例中，采用厚度5mm的镀膜钢化玻璃作为基材，后部贴专用投影膜，实现投影影像的显示，玻璃整体ITO镀膜处理。

视频融合器，当超短焦投影设备为两台以上时，用于将高性能计算机输出的图形信号经视频融合器处理后输出至超短焦投影设备进行拼接显示；当高速识别摄像机为两台以上时，对高速识别摄像机分区采集的图像进行图像融合和图像目标识别。在本发明的一个具体实施例中，视频输入分辨率支持2560×1600。

超短焦投影设备设置两台以上，用于将计算机输出的高清图像进行超短焦投影并拼接显示；在本发明的一个具体实施例中，采用投射比0.248超短焦镜头，采用激光投影机保证投影图象均匀性，亮度不小于3000流明，对比度不小于10000:1。

高速识别摄像机用于图像的采集；光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

在本发明的一个具体实施例中，图2-3为基于投影融合和图像识别的交互设备内部投影设备及光电设备光路示意图。其中超短焦投影设备和高速识别摄像机因受到投影光路及摄像采集光路的限制，分别采用超短焦投影设备2台和高速识别摄像机3台，实线表示投影区域，虚线标识光电摄像区域，投影区域重叠通过视频融合器对投影图象进行融合显示，视频重叠区域通过视频融合算法对3路光电图象进行融合，并基于融合后的图象对感知模型标识进行识别和跟踪计算。另外，结构设计时应考虑各部件的调节机构设计，供生产过程中的微动调节使用。

感知模型，用于标记某一装备或设备的模型，具有特殊标识，便于光电设备识别和跟踪，并可将感知模型进行引用，以感知交互第一人称视角，在相关三维画面显示设备上以三维形式还原操控台二维显示态势信息；工作时，感知模型摆放在投影成像及信息采集屏上，拖动感知模型来控制所述三维关联模型的同步显示，感知模型的操作方式包括放置、自由拖拽、旋转、水平移动和垂直移动；另外可以通过操控单元对感知模型的状态进行调整，模拟真实场景，也可以通过与真实场景中的被观测对象进行数据交互，将被观测对象的真实状态信息设置为感知模型所标记装备或模型的状态信息。

图4为感知模型的操作示意图，基于超短焦投影融合和图像识别跟踪技术的通用交互设备的操作主要在投影成像及信息采集屏区域及操控单元作为操作输入设备，投影成像及信息采集屏区域运用自然交互语言将感知模型模型化、各个功能信息具象化。用户可以直接拖动摆放在感知区域上的感知模型，控制虚拟二维/三维场景中所展示的内容，并对虚拟场景中的虚拟景物、物件甚至虚拟人进行任意的摆放、控制，包括场景中的灯光效果、日照以及配色方案，也可以实时控制。在虚拟场景中还可以进行应急训练、实时监视指挥等功能。对场景中相应设备状态的控制，可通过点击感知模型在投影成像及信息采集屏上对应生成的感知模型标签更改相关状态信息或者通过操控单元输入状态信息来实现。控制的选择可通过点击感知区域上的感知模型标签或者在操控单元上选择对应实体进行状态设置。

操控单元，用于参数配置和状态信息交互。所述操控单元通过数据线所述高性能计算机连接。为了便于操作人员操作，操控单元可以为例如ipad等移动终端，通过无线网络与高性能计算机连接，实现远距离操控，方便快捷。同时通过操控单元上设置的开关，可切换三维场景的状态，如场景白天、夜间状态显示；灯光开关显示；日光光照显示等，用于模拟真实环境。

基于上述基于超短焦投影融合和图像识别跟踪技术的通用交互设备的控制方法，包括以下步骤：

步骤S1：系统启动，高性能计算机向超短焦投影设备提供视频显示信息，在投影成像及信息采集屏上生成全局工作状态二维场景；

具体为，高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过投影设备将图象投影到投影成像及信息采集屏进行成像显示，高性能计算机为超短焦投影设备提供视频信息，利用高速识别摄像机及超短焦投影设备、投影成像及信息采集屏实现虚拟现实的交互区域，该交互区域显示二维俯视图；

步骤S2：在二维场景中摆放感知模型，高性能计算机根据感知模型唯一标识获取待观测设备的实体类型及状态信息、进行状态信息动态维护；

具体为操作人员在投影成像及信息采集屏上放置带有唯一标识的感知模型，设置在操控台内部的高速识别摄像机对感知模型底部的标识进行信息采集；高速识别相机将采集到的信息传输给高性能计算机进行数据分析和处理，计算得到感知模型所对应的待观测设备的实体类型以及状态信息，状态信息主要包括感知模型的位置和方向；

操作人员通过点击感知模型标签或者通过操控单元设置感知模型对应待观测设备的实体类型以及状态信息，并进行状态信息动态维护。使用人员可根据监视的实际情况，根据所获得的变化信息通过摆放标记物进行位置计算，通过感知区域相关交互操作进行状态维护。

在本发明的另一个具体实施例中，待观测设备的实体类型和状态信息通过状态信息发布单元获取，状态信息发布单元通过以太网与设备主体连接，采集观测现场及待观测设备的全局信息，比如设备的故障状态、开光状态和观测现场的灯光状态等信息，并将采集到的状态信息发布给设备主体用于模拟全局场景。

步骤S3：高性能计算机建立三维模拟场景，根据采集到的感知模型信息建立待观测设备对应的三维模型并与三维模拟场景融合；

具体为，高性能计算机将在二维场景下采集到的感知模型状态信息转化为三维信息在三维模拟场景下采用三维建模技术重构感知模型的虚拟三维模型，其中每个感知模型具有一个唯一标识，与该唯一标识绑定实际代表待观测设备的相关参数，如机型、旋翼折叠状态等，并与唯一的待观测设备的虚拟三维模型建立一对一映射，实现二维模型到三维模型的重建，并与三维模拟场景进行融合，实现虚实结合的显示效果和良好的交互，最终将三维模拟场景及感知模型三维状态信息发布在三维显示屏上；在原理实现过程中，为有效提高感知模型的识别率，在设备内部通过光线调节模组对设备内部光路进行补充，保证感知模型标识的高效识别和跟踪。

步骤S4：操作人员通过三维模拟场景下待观测设备的实时状态根据工作需要进行操作；

操作内容可以根据工作需要进行，具体可以包括：

步骤S41：保障推演及教学。利用记录的历史数据信息，重现全局工作态势，并对流程进行复现和回放。

步骤S42：场景漫游，通过控制某一第一人称感知模型，把该感知模型放在感知桌面的交互区域，即可在3D视角下，获取当前位置的视角情况，可以通过挪动该感知模型进行场景漫游，全面了解工作情况。

有益效果：

一、能够把全局的工作态势信息集中在一起，采用交互台方式以一个简洁的方式显示出来，减少了人员之间的交互成本，提高了整体的作业效率，降低了出错的可能性；

二、采用实时自然的交互方式，采用“所见即所得”的形式反映实际工作态势，把视频或者音频中听到的信息变为看得到的实际物理模型和虚拟保障态势，可以更直观的了解全局的工作态势，便于使用人员掌握全局信息，做出决策；

三、交互设备通用化，可根据不同的应用需求，通过配置交互设备进行显示场景和底图的更换，一个设备通过部署不同的场景适应不同的应用；

四、可以进行相关流程推演和重现，可用于辅助使用人员快速对相关预案进行推演，便于发现问题，也可快速辅助使用人员熟悉运行流程；

五、简单便捷，无复杂操作，上手容易，符合人体操作及交互习惯。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于投影融合和图像识别的交互系统，其特征在于，包括设备主体、操控单元、感知模型和三维显示屏；所述设备主体包括高性能计算机、投影成像及信息采集屏、视频融合器、超短焦投影设备和高速识别摄像机；操控单元与高性能计算机连接，用于参数配置和状态信息交互；感知模型在设备使用时置于投影成像及信息采集屏上，用于标记待观测设备；三维显示屏与高性能计算机连接，用于显示观测现场及待观测设备的三维模拟场景；所述交互系统采用高性能计算机、超短焦投影设备、投影成像及信息采集屏、视频融合器和高速识别摄像机用于场景显示、模型信息采集以及融合处理显示。

2.如权利要求1所述的系统，其特征在于，操控单元与高性能计算机的连接方式为通过以太网无线连接，便于远程操作。

3.如权利要求2所述的系统，其特征在于，还包括用于安装各组成设备的操控台体，为设备提供主体安装框架。

4.如权利要求3所述的系统，其特征在于，所述交互系统用于场景显示时，由所述高性能计算机将场景图象输出到视频融合器，由视频融合器根据所需的分辨率进行视频分路显示，通过超短焦投影设备将图象投影到投影成像及信息采集屏进行成像显示；

所述交互系统用于模型信息采集时，两台以上高速识别摄像机同时采集放置在投影成像及信息采集屏上的感知模型信息，并将采集到的信息传输至高性能计算机，由计算机进行融合处理，并进行图像识别和跟踪，实时计算感知模型的位置；

所述交互系统用于融合处理显示时，高性能计算机根据采集到的信息构建感知模型的虚拟三维模型，与三维模拟场景进行融合，并由高性能计算机将其输出至三维显示屏进行三维场景显示。

5.如权利要求4所述的系统，其特征在于，还包括光线调节模组，光线调节模组用于操控台内部光路均匀，保证内部摄像机对图像信息采集及识别的正确率。

6.如权利要求5所述的系统，其特征在于，所述感知模型为用于标记某一装备或设备的模型，具有特殊标识；工作时，感知模型摆放在投影成像及信息采集屏上，拖动感知模型来控制三维模拟场景下待观测设备对应的三维模型的同步显示。

7.一种基于权利要求1-6之一所述系统的交互控制方法，其特征在于，包括：

步骤S1：系统启动，高性能计算机向超短焦投影设备提供视频显示信息，在投影成像及信息采集屏上生成全局工作状态二维场景；

步骤S2：在二维场景中摆放感知模型，高性能计算机根据感知模型唯一标识获取待观测设备的实体类型及状态信息、进行状态信息动态维护；

步骤S3：高性能计算机建立三维模拟场景，根据采集到的感知模型信息建立待观测设备对应的三维模型并与三维模拟场景融合；

步骤S4：操作人员通过三维模拟场景下待观测设备的实时状态根据工作需要进行操作。

8.如权利要求7所述的方法，其特征在于，步骤S4具体包括：

步骤S41：保障推演及教学，利用记录的历史数据信息，重现全局工作态势，并对流程进行复现和回放；

步骤S42：场景漫游，通过控制感知模型，把该感知模型放在感知桌面的交互区域，在3D视角下，进行场景漫游，全面了解工作情况。