CN113038114A - 基于人眼视觉特性的ar仿真系统及方法 - Google Patents

Abstract

本发明公开了一种基于人眼视觉特性的AR仿真系统及方法，其包括设置在消光暗室中的操作控制台、AR眼镜、红外线识别图、可见光源、红外光源以及虚拟仿真系统；通过控制消光暗室内部环境各不同空间的照明光源性质和照明范围，利用可见光源对操作控制台进行照明使AR眼镜穿戴者在消光暗室内部仅能看见操作控制台，并利用红外光源对操作控制台以外的环境进行照明，结合红外线识别图实现AR眼镜的空间定位；最后，利用AR眼镜屏幕发光元器件在显示黑色时近乎不发光的原理，通过虚拟场景对操作控制台进行纯黑建模，即可透过AR眼镜直接看到真实场景中的操作控制台实现虚实融合交互，从而有效解决盲操作问题，并极大的提高了仿真系统的使用体验。

Description

基于人眼视觉特性的AR仿真系统及方法

技术领域

本发明涉及AR技术领域，尤其是涉及一种基于人眼视觉特性的AR仿真系统及方法。

背景技术

AR仿真系统，是指AR装置穿戴者利用操作控制台和增强现实技术，在普通环境中模拟生产、操纵场景和流程，对AR装置穿戴者的相关技能进行培训，例如车辆、轮船、飞行器的驾驶，工业特种设备的操作等。

目前，除AR方案外，主流的仿真系统采用的方案大致分为将现实操控界面虚拟化和洞穴状自动虚拟系统(CAVE)两种。将现实操控界面虚拟化方案，如公开号CN110189578A的一种基于增强现实进行飞行员训练的方法和装置，其特征在于对组成实务操作台的现实操控元件与虚拟场景一起进行三维建模，并将建模后的虚拟操控元件进行AR显示，同时利用数据手套或三维相机等手段采集用户的三维交互动作，在场景中对应用户手的位置显示虚拟手，并将交互结果AR显示。这种方案虽然沉浸感较高，但受制于目前的技术瓶颈，在戴上AR/AR头显后，由于AR装置穿戴者无法观察手部位置，因此交互功能高度依赖手柄或数据手套等配件，而仿真通常涉及到较为复杂的操作控制台，与其交互存在“盲操作”的不便和困难，对于较精细的交互动作如操作触摸屏等交互效果不佳。CAVE方案是采用大尺寸、高分辨率的显示屏幕或投影屏幕环绕AR装置穿戴者布置，以取代头显，如专利号CN101430837A的基于CAVE的沉浸式摩托艇驾驶仿真系统，这种方案相比于AR能够便捷的与复杂操作控制台交互，但沉浸感较差，成本较高。

另外，目前的AR应用多以增强显示为主，较少涉及到与手柄和手势识别以外的、布局和逻辑相对复杂的实体操作面板交互的应用场景；同时又因为受制于目前AR眼镜屏幕发光元器件的最高亮度限制，在环境光照亮度偏高的情况下，虚拟场景的亮度不足以遮蔽真实场景，易产生“鬼影”或眩光效应。这些不利因素都严重影响了AR仿真系统的虚实融合沉浸性，难以带来身临其境的仿真体验。

发明内容

本发明的目的在于克服上述技术不足，提出一种基于人眼视觉特性的AR仿真系统及方法，解决现有AR方案中AR装置穿戴者与操作控制台的“盲操作”以及易产生“鬼影”或眩光效应问题。

为达到上述技术目的，本发明的技术方案第一方面提供一种基于人眼视觉特性的AR仿真系统，其包括

操作控制台；

AR眼镜，所述AR眼镜和操作控制台之间通信连接，且AR眼镜的摄像头镜头上设置有红外滤光片；

消光暗室，所述操作控制台和AR眼镜均设置在消光暗室中；

红外线识别图，所述消光暗室内所有区域均匀分布设置多个红外线识别图，每一张识别图的图案都不一样；

可见光源，所述可见光源设置在所述消光暗室中，并仅为操作控制台提供可见光光线照射；

红外光源，所述红外光源设置在所述消光暗室中，并为消光暗室中的整体区域提供可见光光线照射；

虚拟仿真系统，所述虚拟仿真系统加载在所述操作控制台中，且所述虚拟仿真系统的虚拟场景中设有一与实场景中操作控制台形状大小及位置均匹配的纯黑区域，操作控制台的真实画面与虚拟场景中的纯黑区域重叠，且边界对准。

优选的，所述消光暗室的六面墙壁上均覆盖有消光材料。

优选的，所述可见光光源设置在一个遮光罩中，所述遮光罩设有一个开口，所述开口的形状大小及位置根据投影距离按缩放比例与操作控制台对应设置，使可见光的光线仅照射在操作控制台上。

优选的，相邻两张红外线识别图之间的间距小于AR眼镜摄像头的最大视角在消光暗室墙面的投影宽度。

优选的，根据AR眼镜摄像头的最大视角以及AR眼镜穿戴者距离各内壁的距离计算确定相邻识别图之间间距。

优选的，所述红外线识别图包括表面光整的平板和红外滤光片，所述平板上具有互不相同的图案，所述红外滤光片完全覆盖在图案表面。

优选的，所述操作控制台采用非高光材料或镜面反射材料制造。

优选的，所述消光暗室内所有区域包括所述消光暗室的六面墙面以及操作控制台台面。

优选的，所述操作控制台包括交互面板和控制台，其中，所述交互面板采用模块化设计，和控制台之间形成卡笋方式的通信连接。

本发明的技术方案第二方面提供一种基于人眼视觉特性的AR仿真方法，其包括如下步骤：

将操作控制台和AR眼镜均设置在一消光暗室中，并在AR眼镜的摄像头镜头上设置有红外滤光片；

在消光暗室内所有区域均匀分布设置多个红外线识别图，每一张识别图的图案都不一样；

在消光暗室中设置可见光源和红外光源，控制可见光的光线仅照射在操作控制台上，红外光源照射消光暗室中的整体区域；

按照真实场景中操作控制台的形状大小及坐标位置，在虚拟场景中设置一与操作控制台形状大小及位置均匹配的纯黑区域；

AR眼镜在消光暗室中投射画面，操作控制台的真实画面与虚拟场景中的纯黑区域重叠，且边界对准。

与现有技术相比，本发明所述基于人眼视觉特性的AR仿真系统及方法，其通过布置消光暗室隔绝外部环境的光照污染，使得虚拟场景可以实现对真实场景的完全遮盖，真实场景中的物体不会浮现在虚拟场景画面之后形成“鬼影”现象；同时通过控制消光暗室内部环境各不同空间的照明光源性质和照明范围，利用可见光源对操作控制台进行照明使AR眼镜穿戴者在消光暗室内部仅能看见操作控制台，并利用肉眼不可见的红外光源对操作控制台以外的环境进行照明，既能避免环境中出现强烈的光反射产生眩光，又可以结合红外线识别图简便、精确地实现AR眼镜的空间定位而不破坏AR眼镜穿戴者的虚实融合沉浸体验；最后，利用AR眼镜屏幕发光元器件在显示黑色时近乎不发光的原理，通过虚拟场景对操作控制台进行纯黑建模，即可透过AR眼镜直接看到真实场景中的操作控制台实现虚实融合交互，从而有效解决了目前AR方案中AR装置穿戴者与操作控制台的“盲操作”问题，极大的提高了仿真系统的使用体验。

附图说明

图1是本发明实施例所述基于人眼视觉特性的AR仿真系统的结构示意图；

图2是本发明实施例所述基于人眼视觉特性的AR仿真系统的俯视结构示意图；

图3是本发明实施例所述基于人眼视觉特性的AR仿真方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的实施例提供了一种基于人眼视觉特性的AR仿真系统，其包括操作控制台10、AR眼镜20、消光暗室30、红外线识别图40、可见光源50、红外光源60以及虚拟仿真系统。

其中，所述操作控制台10用于提供仿真所需的人机交互、显示、反馈组件，如图1所示，其包括交互面板11和控制柜12，所述交互面板11上集成有仿真所需的各种操控面板与部件，如开关、按钮、旋钮、操纵杆、踏板、方向盘等，集成仿真所需的各种指示面板与部件，如指示灯、仪表等；并通过通信线缆与控制柜12主机通信连接；例如在模拟驾驶仿真中，交互面板11相当于车辆的中控台，上面具有方向盘、开关、仪表盘等各式部件。

所述控制柜12内部集成有电脑主机13，所述电脑主机13用于运行虚拟仿真系统，所述虚拟仿真系统实时渲染需要显示的虚拟场景，并通过有线或无线的方式将数据发送至AR眼镜20中；同时，AR眼镜20获取的识别图信息，以及交互面板11产生的动作逻辑，也需要通过有线或无线的方式发送至电脑主机13，经过软件系统分析处理后，产生相应的反馈。

优选的，所述交互面板11采用模块化的设计，与控制柜12之间采用快装卡笋等形式连接，当仿真场景发生更换时，例如从车辆驾驶仿真转移到飞行器驾驶仿真时，可通过更换交互面板11实现通用化的功能迁移，而不需要对整个实物操作控制台10进行整体更换。

所述操作控制台10整体采用非高光材料或镜面反射材料制造，能够大幅减少照明打光时产生的镜面反射或高光反射。

如图1和图2所示，所述操作控制台10和AR眼镜20均设置在消光暗室30中，所述消光暗室30是一个全封闭的空间环境，可以有效阻断外部环境光源及其产生的反射光线。所述消光暗室30既可以直接利用建筑物内的封闭房间，也可以利用如挡板等形式的工件在指定位置环绕搭建。消光暗室30的内壁覆盖有消光材料31，如消光绒，其对光线的吸收率高，材料表面的微凸起结构能够增加光线散射，减少镜面反射的产生；且除消光暗室30的四周墙壁外，消光暗室30的顶部、地板也应敷设消光材料31。优选地，消光材料31应采用黑色材料或漆黑，以最大程度地降低对虚拟场景显示的干扰。

如图1所示，所述消光暗室30顶部设有可见光源50和红外光源60，所述可见光源50设置在一个遮光罩51中，所述遮光罩51相对操作控制台10设有一个开口，所述开口的形状大小及位置根据投影距离按缩放比例与操作控制台10对应设置，使可见光的光线仅照射在操作控制台10上；所述遮光罩51开口的具体缩放比例取决于遮光罩51的实际安装高度与交互面板11之间的距离。所述红外光源60环绕布置在遮光罩51的外部，对消光暗室30内部的环境进行整体照明；优选地，红外光源60的波长选用800-1000nm。

由于红外光源60对人的肉眼不可见，因此，在消光暗室30和遮光罩51封闭性良好的情形下，在未投射虚拟场景时，AR眼镜20穿戴者透过AR眼镜，在消光暗室30内部仅能看见操作控制台10。

同时，所述消光暗室30内所有区域均匀分布设置多个红外线识别图40，即在所述消光暗室30的六面墙面以及操作控制台10台面上分布设置多个红外线识别图40，所述红外线识别图40包括表面光整的平板和红外滤光片，所述平板上具有互不相同且相对复杂的图案，所述红外滤光片的大小、形状与平板一致，并完全覆盖在图案表面，使得该图案仅对红外光源60可见，人的肉眼观察为黑色。由于每一张红外线识别图40的图案都是互不相同的图案，且每一张识别图的位置是已知的，因此，当AR眼镜20的摄像头拍摄到红外线识别图40之后，利用特征提取算法识别出摄像头所拍摄到的识别图图案，通过识别图图案可以确定AR眼镜20摄像头的方位角度，另外，将摄像头拍摄到的识别图图案尺寸与识别图图案的实际尺寸之间的差异进行换算，即可得到摄像头和识别图的空间距离，联合多个相邻的识别图得到测定摄像头的位姿定位，即AR眼镜20穿戴者头部在真实空间中的姿态，以确定虚拟场景中当前所见的视野范围，从而将AR眼镜20穿戴者实际观察的视野和虚拟场景中应当显示的视野予以匹配，当AR装置穿戴者转动头部时，虚拟场景的看到的视野将同步发生变化。

因此，为准确定位摄像头的位姿定位，需要使摄像头的可视范围内存在至少两张红外线识别图40，由于摄像头可视角度有限，本发明设置相邻两张红外线识别图40之间的间距小于AR眼镜20摄像头的最大视角在消光暗室30墙面的投影宽度，具体是根据AR眼镜20摄像头的最大视角以及AR眼镜20穿戴者距离各内壁的距离计算确定相邻识别图之间间距。例如可以采用以下算法计算相邻识别图之间的水平间距x和垂直间距y：

设摄像头的水平视角锥角为θ，摄像头离墙壁的距离为r，根据余弦定理，则相邻两个识别图在水平方向的最大间距x＝[2r2(1-cosθ)]1/2，为保证水平方向上视角内始终有至少两张识别图，张贴识别图的水平间距应小于x；垂直间距y的计算方法与水平间距x的计算方法一致。

所述AR眼镜20的摄像头镜头上设置有红外滤光片，因此，AR眼镜20上的摄像头在经过红外光源60的补光和镜头前红外滤光片的滤光后，仍可以获得当前视野内整个消光暗室30内部环境及红外线识别图40的图案，并进行后续的识别定位工作而不对AR眼镜20穿戴者的视野产生影响。同时，通过在操作控制台10上布置红外线识别图40，经过AR眼镜20上的摄像头侦测后即可确定操作控制台10在消光暗室30中的空间位置。

所述消光暗室30通过采用肉眼不可见的红外光源60对操作控制台10以外的环境进行照明，从而避免环境中出现强烈的光反射产生眩光，同时结合红外线识别图40简便、精确地实现AR眼镜20的空间定位以及确定操作控制台10的空间位置。

利用AR眼镜20屏幕发光元器件采用OLED屏幕的自发光特性，在显示纯黑颜色时，黑色部位的像素点不发光，由于没有屏幕光线传入AR眼镜中，因此在黑色部分，AR眼镜20穿戴者相当于透过AR眼镜直接观察实际场景。为实现虚拟仿真系统的虚拟场景与实物操作面板的虚实融合仿真交互，所述虚拟仿真系统的虚拟场景中设有一与实场景中操作控制台10形状大小及位置均匹配的纯黑区域，从而使AR眼镜投射的虚拟场景在所述纯黑区域近乎完全无光，因此AR眼镜20穿戴者可以透过AR眼镜看到真实场景中的操作控制台10，且仅能看见操作控制台10。

由于真实场景中操作控制台10的位置已通过红外线识别图40标定，根据包括但不限于角点识别等特征提取算法识别出操作控制台10的特征点，再根据空间四元数变换矩阵计算出操作控制台10与虚拟场景中纯黑区域的空间位置关系，最后通过坐标转换即可将纯黑区域与真实场景中操作控制台10的区域重叠，且边界对准，从而实现虚拟场景与操作控制台10的虚实融合仿真交互，从AR眼镜20穿戴者看来相当于操作控制台10无缝“融入”了虚拟场景中。

本发明所述基于人眼视觉特性的AR仿真系统，其通过布置消光暗室30隔绝外部环境的光照污染，使得虚拟场景可以实现对真实场景的完全遮盖，真实场景中的物体不会浮现在虚拟场景画面之后形成“鬼影”现象；同时通过控制消光暗室30内部环境各不同空间的照明光源性质和照明范围，利用可见光源50对操作控制台10进行照明使AR眼镜20穿戴者在消光暗室30内部仅能看见操作控制台10，并利用肉眼不可见的红外光源60对操作控制台10以外的环境进行照明，既能避免环境中出现强烈的光反射产生眩光，又可以结合红外线识别图40简便、精确地实现AR眼镜20的空间定位而不破坏AR眼镜20穿戴者的虚实融合沉浸体验；最后，利用AR眼镜20屏幕发光元器件在显示黑色时近乎不发光的原理，通过虚拟场景对操作控制台10进行纯黑建模，即可透过AR眼镜直接看到真实场景中的操作控制台10实现虚实融合交互，从而有效解决了目前AR方案中AR装置穿戴者与操作控制台10的“盲操作”问题，极大的提高了仿真系统的使用体验。

基于上述基于人眼视觉特性的AR仿真系统，本发明还提供一种基于人眼视觉特性的AR仿真方法，如图3所示，其包括如下步骤：

S1、将操作控制台10和AR眼镜20均设置在一消光暗室30中，并在AR眼镜20的摄像头镜头上设置有红外滤光片；

优选的，消光暗室30的内壁覆盖有消光材料31。

S2、在消光暗室30内所有区域均匀分布设置多个红外线识别图40，每一张识别图的图案都不一样；

具体的，所述消光暗室30的六面墙面以及操作控制台10台面上分布设置多个红外线识别图40，每一张红外线识别图40的图案都是互不相同的图案，当AR眼镜20的摄像头拍摄到红外线识别图40之后，通过识别图图案和尺寸可以确定AR眼镜20摄像头位姿定位，从而确定虚拟场景中当前所见的视野范围，将AR眼镜20穿戴者实际观察的视野和虚拟场景中应当显示的视野予以匹配。

S3、在消光暗室30中设置可见光源50和红外光源60，控制可见光的光线仅照射在操作控制台10上，红外光源60照射消光暗室30中的整体区域；

所述可见光源50设置在一个遮光罩51中，所述遮光罩51相对操作控制台10设有一个开口，所述开口的形状大小及位置根据投影距离按缩放比例与操作控制台10对应设置，使可见光的光线仅照射在操作控制台10上；所述红外光源60环绕布置在遮光罩51的外部，对消光暗室30内部的环境进行整体照明。

S4、按照真实场景中操作控制台10的形状大小及坐标位置，在虚拟场景中设置一与操作控制台10形状大小及位置均匹配的纯黑区域；

利用AR眼镜20屏幕发光元器件在显示黑色时近乎不发光的原理，在所述虚拟仿真系统的虚拟场景中设置一与实场景中操作控制台10形状大小及位置均匹配的纯黑区域，使AR眼镜投射的虚拟场景在所述纯黑区域近乎完全无光，AR眼镜20穿戴者可以透过AR眼镜看到真实场景中的操作控制台10，且仅能看见操作控制台10。

S5、AR眼镜20在消光暗室30中投射画面，操作控制台10的真实画面与虚拟场景中的纯黑区域重叠，且边界对准；

由于真实场景中操作控制台10的位置已通过红外线识别图40标定，根据包括但不限于角点识别等特征提取算法识别出操作控制台10的特征点，再根据空间四元数变换矩阵计算出操作控制台10与虚拟场景中纯黑区域的空间位置关系，最后通过坐标转换即可将纯黑区域与真实场景中操作控制台10的区域重叠，且边界对准，从而实现虚拟场景与操作控制台10的虚实融合仿真交互，从AR眼镜20穿戴者看来相当于操作控制台10无缝“融入”了虚拟场景中。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人眼视觉特性的AR仿真系统，其特征在于，包括：

操作控制台；

AR眼镜，所述AR眼镜和操作控制台之间通信连接，且AR眼镜的摄像头镜头上设置有红外滤光片；

消光暗室，所述操作控制台和AR眼镜均设置在消光暗室中；

红外线识别图，所述消光暗室内所有区域均匀分布设置多个红外线识别图，每一张识别图的图案都不一样；

可见光源，所述可见光源设置在所述消光暗室中，并仅为操作控制台提供可见光光线照射；

红外光源，所述红外光源设置在所述消光暗室中，并为消光暗室中的整体区域提供可见光光线照射；

虚拟仿真系统，所述虚拟仿真系统加载在所述操作控制台中，且所述虚拟仿真系统的虚拟场景中设有一与实场景中操作控制台形状大小及位置均匹配的纯黑区域，操作控制台的真实画面与虚拟场景中的纯黑区域重叠，且边界对准。

2.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述消光暗室的六面墙壁上均覆盖有消光材料。

3.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述可见光光源设置在一个遮光罩中，所述遮光罩设有一个开口，所述开口的形状大小及位置根据投影距离按缩放比例与操作控制台对应设置，使可见光的光线仅照射在操作控制台上。

4.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，相邻两张红外线识别图之间的间距小于AR眼镜摄像头的最大视角在消光暗室墙面的投影宽度。

5.根据权利要求4所述基于人眼视觉特性的AR仿真系统，其特征在于，根据AR眼镜摄像头的最大视角以及AR眼镜穿戴者距离各内壁的距离计算确定相邻识别图之间间距。

6.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述红外线识别图包括表面光整的平板和红外滤光片，所述平板上具有互不相同的图案，所述红外滤光片完全覆盖在图案表面。

7.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述操作控制台采用非高光材料或镜面反射材料制造。

8.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述消光暗室内所有区域包括所述消光暗室的六面墙面以及操作控制台台面。

9.根据权利要求1所述基于人眼视觉特性的AR仿真系统，其特征在于，所述操作控制台包括交互面板和控制台，其中，所述交互面板采用模块化设计，和控制台之间形成卡笋方式的通信连接。

10.一种基于人眼视觉特性的AR仿真方法，其特征在于，包括如下步骤：

将操作控制台和AR眼镜均设置在一消光暗室中，并在AR眼镜的摄像头镜头上设置有红外滤光片；

在消光暗室内所有区域均匀分布设置多个红外线识别图，每一张识别图的图案都不一样；

在消光暗室中设置可见光源和红外光源，控制可见光的光线仅照射在操作控制台上，红外光源照射消光暗室中的整体区域；

按照真实场景中操作控制台的形状大小及坐标位置，在虚拟场景中设置一与操作控制台形状大小及位置均匹配的纯黑区域；

AR眼镜在消光暗室中投射画面，操作控制台的真实画面与虚拟场景中的纯黑区域重叠，且边界对准。

Images