CN117376543A - 一种基于mr眼镜的目标定位显示方法、系统及设备 - Google Patents

Abstract

本发明公开了一种基于MR眼镜的目标定位显示方法、系统及设备，方法包括：通过双目摄像头采集MR眼镜视野范围内的图像；对采集的图像进行矫正处理，得到双目矫正图像；基于双目矫正图像进行目标识别，并获取视野中心点距离；根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。本发明对摄像头采集的图像进行识别处理后，只将处理结果的虚拟信息投射到MR眼镜的镜片上，使其和人眼透过眼镜看到的真实场景相叠加，而不需要在镜片上显示拍摄场景的虚拟画面，不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。

Description

一种基于MR眼镜的目标定位显示方法、系统及设备

技术领域

本发明涉及图像处理技术领域，尤指一种基于MR眼镜的目标定位显示方法、系统及设备。

背景技术

混合现实(MR)指的是通过合并现实场景和虚拟环境而产生新的可视化环境。目前MR的应用技术主要有两种：一种是通过MR眼镜上携带的摄像头采集图像后，将采集的图像画面直接投射于镜片上，并将对采集的图像进行识别处理后的结果作为虚拟信息叠加到镜片上进行显示，这种做法实际上是将镜片作为显示屏，将虚拟信息叠加在摄像头拍摄到的影像中投影到镜片上，没有结合用户透过镜片看到的真实视野，脱离了真实环境，严格意义上并不能称之为MR技术，而是更倾向于VR技术的延伸；另一种是通过MR眼镜上携带的摄像头采集到图像后，只对采集的图像进行识别处理，将处理结果作为虚拟信息简单地叠加在用户透过眼镜看到的镜片后面的真实场景中，但由于摄像头视野与眼镜视野存在偏差，会造成虚拟信息与现实场景匹配不准确的问题，影响目标定位的准确性和叠加显示的视觉效果。

发明内容

为了解决上述技术问题，本发明提供一种基于MR眼镜的目标定位显示方法，将目标识别处理结果进行视野矫正后投射到镜片上进行显示，叠加在用户透过镜片看到的真实场景上，实现精确的目标定位、标记及显示。

具体的，本发明的技术方案如下：

按照本发明的一个方面，提供一种基于MR眼镜的目标定位显示方法，包括以下步骤：

S100：通过双目摄像头采集MR眼镜视野范围内的图像；

S200：对采集的图像进行矫正处理，得到双目矫正图像；

S300：基于双目矫正图像进行目标识别，并获取视野中心点距离；

S400：根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；

S500：将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

进一步的，S200所述对采集的图像进行矫正处理，得到双目矫正图像具体包括：

S201：根据双目摄像头的内参矩阵和畸变系数对采集的图像进行去畸矫正；

S202：根据双目摄像头的外参矩阵对去畸矫正后的图像进行双目匹配对齐。

进一步的，所述双目摄像头的内参矩阵、外参矩阵和畸变系数通过对双目摄像头采用张正友标定法进行标定来确定。

进一步的，S400所述根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正具体包括：

S401：通过测试量化摄像头视野与眼镜视野之间的误差；

S402：建立视野误差与距目标距离之间的线性关系；

S403：结合视野中心点距离，将基于摄像头视野获得的目标识别框矫正到眼镜视野中。

按照本发明的另一个方面，提供一种基于MR眼镜的目标定位显示系统，包括MR眼镜和边缘计算装置，所述MR眼镜通过自组网与所述边缘计算装置通讯连接，

所述MR眼镜上搭载有双目摄像头，所述双目摄像头用于采集MR眼镜视野范围内的图像；

所述边缘计算装置包括图像处理模块、目标识别模块、测距模块、视野矫正模块、显示控制模块，

所述图像处理模块，用于对采集的图像进行矫正处理，得到双目矫正图像；

所述目标识别模块，用于对双目矫正图像进行目标识别；

所述测距模块，用于根据双目矫正图像获取视野中心点距离；

所述视野矫正模块，用于根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；

所述显示控制模块，用于将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

进一步的，所述边缘计算装置还包括：

定位角模块，用于标绘方位角并投射到MR眼镜的镜片上进行显示。

进一步的，所述边缘计算装置还包括：

目标点标记模块，用于接收侦查设备传输的目标经纬度信息，通过坐标转换得到摄像头坐标系下的目标点，将目标点进行视野矫正后，投射到MR眼镜的镜片上进行标记显示。

进一步的，所述边缘计算装置还包括：

鹰眼模块，用于绘制鹰眼地图并投射到MR眼镜的镜片上进行显示。

按照本发明的第三个方面，提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的基于MR眼镜的目标定位显示方法。

按照本发明的第四个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于MR眼镜的目标定位显示方法。

与现有技术相比，本发明至少具有以下一项有益效果：

1、本发明对双目摄像头采集的图像进行识别处理后，只将目标识别框、视野中心距离等处理结果的虚拟信息投射到眼镜镜片上，使其和用户透过眼镜看到的真实目标场景相叠加，而不需要在镜片上显示拍摄目标场景的虚拟画面，使得用户可裸眼感受镜片上显示的虚拟信息与透过镜片看到的真实目标场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。

2、本发明通过测试量化眼镜视野与摄像头视野之间的误差，以及建立视野误差与距离之间的关系，对基于摄像头视野获得的目标识别框和目标标记点进行了视野矫正，将虚拟信息准确地叠加到真实场景图像中，使得投射到镜片上的虚拟信息可以和用户透过眼镜看到的真实场景目标位置精准匹配。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明实施例一种基于MR眼镜的目标定位显示方法的流程图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

针对现有MR应用技术存在的问题，本发明将基于摄像头采集图像处理的结果传回到镜片显示，叠加在人眼透过镜片看到的真实视野上，实现目标定位和综合态势显示。本发明采用的MR眼镜搭载有双目摄像头，运用双目摄像头采集MR眼镜视野范围内的图像；对双目摄像头采集的图像进行去畸矫正和双目匹配对齐；从双目匹配对齐的结果中获取深度图，在镜片投影上显示视野中心点距摄像头的距离；从双目匹配对齐的结果中运用识别算法，获得目标识别框并进行矫正后将目标识别框投影回镜片；获取到摄像头姿态后，为智能MR眼镜实现实时方位角和鹰眼功能；根据标定获得的摄像头内外参数矩阵和实时获取的摄像头姿态，将从无人机等侦查设备通过自组网传输过来的目标经纬度转换为镜片上的标记点，在MR眼镜上实现跨障碍物投射标记目标点的功能。

在一个实施例中，参考说明书附图1，本发明提供的一种基于MR眼镜的目标定位显示方法，包括以下步骤：

S100：通过双目摄像头采集MR眼镜视野范围内的图像。

首先采用张正友标定法对MR眼镜上搭载的双目鱼眼摄像头进行标定操作，确定双目鱼眼摄像头的内参矩阵、外参矩阵和畸变系数。具体的，使用双目鱼眼摄像头拍摄不同角度的标定板图片，通过提取角点坐标和求解最小二乘问题，得到双目鱼眼摄像头的内参矩阵、外参矩阵和畸变系数。

然后通过双目鱼眼摄像头采集MR眼镜视野范围内的图像。应当理解的是，采集MR眼镜视野范围内的图像指的是：直接采集用户透过MR眼镜的镜片能够观测到的视野范围内的图像。

S200：对采集的图像进行矫正处理，得到双目矫正图像。

首先，根据双目鱼眼摄像头的内参矩阵和畸变系数对采集的图像进行去畸矫正，即对采集到的原始图像做映射变换，将鱼眼畸变下的图像转换为正常图像。

然后，根据双目鱼眼摄像头的外参矩阵对去畸矫正后的图像进行双目匹配对齐。双目匹配对齐是根据外参矩阵得到两个摄像头间的相对位置关系，根据极线约束寻找真实空间中的同名点，后续再对这个空间上的点进行深度估计。具体的，对于双目摄像头，我们通过立体校正把两个不共面的摄像头调整成共面行对准，即将两个摄像头的成像平面调整到同一个平面上，保证两辅助像的每一行是相对应的。这样就会把二维搜索问题变成一维搜索问题，所以在寻找匹配关系时，只需要在两幅图像的同一行进行搜索就可以，同时也可把求解深度的问题转化成求解视差的问题。

S300：基于双目矫正图像进行目标识别，并获取视野中心点距离。

本实施例采用yolo-v5识别算法对双目矫正图像进行目标识别，得到目标识别框。

通过双目匹配对齐将求解深度的问题转化成了求解视差的问题，通过求解同一个点在两幅图像上横坐标的差值，即可确定这个点在真实空间的深度。因此根据双目矫正图像进行视差计算后，可在此基础上生成深度图，由深度图即可获取图中任意点所代表的目标到摄像头的距离，实现目标测距功能。根据透过镜片看到的真实视野中心点反取深度图中对应点的距离信息，即为视野中心点距离。

S400：根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正。

经过去畸矫正和双目匹配对齐后得到的双目矫正图像是基于双目鱼眼摄像头的视野，因此S300中通过目标识别得到的目标识别框是基于摄像头视野的，而眼镜视野(即透过镜片看到的真实视野)与摄像头视野之间存在误差，所以为了使后续投射到镜片上的处理结果可以和透过镜片看到的真实视野的目标位置相匹配，需要将基于摄像头视野获得的目标识别框矫正到眼镜视野中。

首先需要通过定量测试来找出摄像头视野和眼镜视野的关系，采用双目鱼眼摄像头拍摄标定板图片，矫正处理后得到双目矫正图像，和眼镜视野的图像做对比，将在同一时间节点取得的双目矫正图像和眼镜视野图像通过标定板进行误差量化，并多取几组面对标定板不同距离的数据，记录视野误差和距标定板距离的对应关系，再运用最小二乘法进行函数拟合，最终得到视野误差与距目标距离之间的线性关系。

根据视野误差与距目标距离之间的线性关系，再结合视野中心点距离，我们便可以最终算出，需要对基于双目鱼眼摄像头视野识别到的目标识别框进行怎样的矫正，才能使投射到镜片上的目标识别框与透过镜片看到的真实视野的目标位置相匹配。

S500：将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

将目标识别框从摄像头视野矫正到透过镜片看到的真实视野后投射到镜片上，和现实场景中的目标进行叠加显示，目标识别框与实景目标相重合。另外，还可将视野中心点距离信息投射到镜片上进行显示，具体的，镜片中心会显示十字形状，代表视野中心，视野中心点距离信息则投射到十字旁边，实现视野中心测距功能。视野中心点距离是真实视野中心点距摄像头的距离，反映了目标距MR眼镜佩戴者的距离。

本发明中用户通过MR眼镜可裸眼感受镜片上显示的虚拟信息与透过镜片看到的现实场景的补充叠加，而不会出现目标场景的虚拟画面和现实画面的混叠，视觉效果好。

在一个实施例中，本发明提供的一种基于MR眼镜的目标定位显示系统，包括MR眼镜和边缘计算装置，所述MR眼镜通过自组网与所述边缘计算装置通讯连接。

所述MR眼镜上搭载有双目鱼眼摄像头和陀螺仪，所述双目鱼眼摄像头用于采集MR眼镜视野范围内的图像，所述陀螺仪用于实时获取MR眼镜的姿态和方位角。需要说明的是，本实施例的MR眼镜可以为任意型号和任意类型的MR眼镜，本实施例对此不加以限制。

所述边缘计算装置包括图像处理模块、目标识别模块、测距模块、视野矫正模块、显示控制模块，本实施例中采用的边缘计算装置为NVIDIA Jetson；

所述图像处理模块，用于对采集的图像进行矫正处理，得到双目矫正图像；

所述目标识别模块，用于对双目矫正图像进行目标识别；

所述测距模块，用于根据双目矫正图像获取视野中心点距离；

所述视野矫正模块，用于根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；

所述显示控制模块，用于将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

边缘计算装置还包括定位角模块，用于标绘方位角并投射到MR眼镜的镜片上进行显示。MR眼镜携带的陀螺仪可实时获取方位角信息并回传，定位角模块根据方位角信息制作方位角UI投射到镜片视野顶端进行显示，使MR眼镜佩戴者直观了解到其目前所朝向的具体方位角。

边缘计算装置还通过自组网与无人机等侦查设备通讯连接，因此边缘计算装置还包括目标点标记模块，用于接收无人机等侦查设备传输的目标经纬度信息，通过坐标转换得到摄像头坐标系下的目标点，将目标点进行视野矫正后，投射到MR眼镜的镜片上进行标记显示。具体的：

目标点标记模块通过自组网接收到从无人机等侦查设备传输过来的目标经纬度信息，先将目标经纬度信息转换成目标点世界坐标；再结合双目鱼眼摄像头的内外参数矩阵、MR眼镜姿态信息(由MR眼镜携带的陀螺仪实时获取并回传)和通过定位系统(本实施例采用北斗定位系统)得到的摄像头自身经纬度坐标，将目标点由世界坐标系下转换到摄像头坐标系下，得到摄像头坐标系下的目标点；最后运用与上述目标识别框视野矫正类似的视野矫正方法，将摄像头坐标系下的目标点矫正到透过镜片看到的真实视野后投射到镜片上，在镜片上显示目标点标记信息，实现跨障碍物MR标记给定目标点功能。对目标点进行视野矫正主要是为了保证当镜片显示的标记信息与人眼透过镜片观看的实景画面叠加在一起时，目标点标记信息与人眼透过镜片直观看到的真实目标位置能够重合。

边缘计算装置还包括鹰眼模块，用于绘制鹰眼地图并投射到MR眼镜的镜片上进行显示。鹰眼地图根据摄像头姿态、目标点世界坐标和摄像头自身经纬度坐标绘制而成，其中，摄像头姿态通过MR眼镜携带的陀螺仪实时获取；目标点世界坐标由目标点标记模块根据无人机等侦查设备传输过来的目标经纬度信息进行坐标转换得到；摄像头自身经纬度坐标通过定位系统(本实施例采用北斗定位系统)获取。在镜片右上方显示整个场景的二维地图，即为鹰眼地图。所述鹰眼地图包含摄像头位置、摄像头视锥和目标点位置，其中，摄像头视锥代表视野范围，当鹰眼地图中的摄像头视锥扫到目标点位置，则眼镜视野中就会出现目标标记点。

在一个实施例中，本发明提供的一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上所述的基于MR眼镜的目标定位显示方法，所述处理器可以是CPU、控制器、微控制器、微处理器、或其他数据处理芯片。

在一个实施例中，本发明提供的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的基于MR眼镜的目标定位显示方法。本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，编程计算器或者网络设备等)执行本发明各个方法实施例所述方法的全部或部分步骤。所述计算机可读存储介质包括U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)等各种能够携带计算机程序代码的介质。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

在本发明中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

应当说明的是，上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于MR眼镜的目标定位显示方法，其特征在于，包括以下步骤：

S100：通过双目摄像头采集MR眼镜视野范围内的图像；

S200：对采集的图像进行矫正处理，得到双目矫正图像；

S300：基于双目矫正图像进行目标识别，并获取视野中心点距离；

S400：根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；

S500：将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

2.根据权利要求1所述的基于MR眼镜的目标定位显示方法，其特征在于，S200所述对采集的图像进行矫正处理，得到双目矫正图像具体包括：

S201：根据双目摄像头的内参矩阵和畸变系数对采集的图像进行去畸矫正；

S202：根据双目摄像头的外参矩阵对去畸矫正后的图像进行双目匹配对齐。

3.根据权利要求2所述的基于MR眼镜的目标定位显示方法，其特征在于，所述双目摄像头的内参矩阵、外参矩阵和畸变系数通过对双目摄像头采用张正友标定法进行标定来确定。

4.根据权利要求1所述的基于MR眼镜的目标定位显示方法，其特征在于，S400所述根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正具体包括：

S401：通过测试量化摄像头视野与眼镜视野之间的误差；

S402：建立视野误差与距目标距离之间的线性关系；

S403：结合视野中心点距离，将基于摄像头视野获得的目标识别框矫正到眼镜视野中。

5.一种基于MR眼镜的目标定位显示系统，其特征在于，包括MR眼镜和边缘计算装置，所述MR眼镜通过自组网与所述边缘计算装置通讯连接，

所述MR眼镜上搭载有双目摄像头，所述双目摄像头用于采集MR眼镜视野范围内的图像；

所述边缘计算装置包括图像处理模块、目标识别模块、测距模块、视野矫正模块、显示控制模块，

所述图像处理模块，用于对采集的图像进行矫正处理，得到双目矫正图像；

所述目标识别模块，用于对双目矫正图像进行目标识别；

所述测距模块，用于根据双目矫正图像获取视野中心点距离；

所述视野矫正模块，用于根据视野误差与距离之间的关系，结合视野中心点距离，对目标识别框进行视野矫正；

所述显示控制模块，用于将矫正后的目标识别框和视野中心点距离投射到MR眼镜的镜片上进行显示。

6.根据权利要求5所述的基于MR眼镜的目标定位显示系统，其特征在于，所述边缘计算装置还包括：

定位角模块，用于标绘方位角并投射到MR眼镜的镜片上进行显示。

7.根据权利要求5所述的基于MR眼镜的目标定位显示系统，其特征在于，所述边缘计算装置还包括：

目标点标记模块，用于接收侦查设备传输的目标经纬度信息，通过坐标转换得到摄像头坐标系下的目标点，将目标点进行视野矫正后，投射到MR眼镜的镜片上进行标记显示。

8.根据权利要求7所述的基于MR眼镜的目标定位显示系统，其特征在于，所述边缘计算装置还包括：

鹰眼模块，用于绘制鹰眼地图并投射到MR眼镜的镜片上进行显示。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现权利要求1-4任一项所述的基于MR眼镜的目标定位显示方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1-4任一项所述的基于MR眼镜的目标定位显示方法。