CN115047624B - 智能眼镜操控系统 - Google Patents

Abstract

本发明提供了智能眼镜操控系统，其控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

Description

智能眼镜操控系统

技术领域

本发明涉及MR显示的技术领域，特别涉及智能眼镜操控系统。

背景技术

MR(Mixed Reality)眼镜是用于向佩戴者显示虚拟现实影像的头戴式显示设备。现有的MR眼镜都是将虚拟影像与现实影像进行叠加后，再呈现给佩戴者，其中虚拟影像是预先设定好的影像，其在显示过程中根据MR眼镜所处的现实环境进行适应性的调整变化，这导致MR眼镜无法根据现实环境的变化进行匹配的显示调整以及无法实现对现实影像的渲染，从而降低MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

发明内容

针对现有技术存在的缺陷，本发明提供智能眼镜操控系统，其控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，能够同时观看到经过渲染加工的现实影像，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

本发明提供智能眼镜操控系统，所述智能眼镜操控系统与MR眼镜连接，所述智能眼镜操控系统包括：

摄像控制模块，其用于控制MR眼镜的第一摄像头对外界环境进行拍摄，得到外界环境图像；

图像预处理模块，其用于对所述外界环境图像进行图像画面预处理；

图像识别模块，其用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；

影像加工模块，其用于根据所述关联信息，对目标对象的识别结果、或者用户定义的文字或图形元素叠加到MR眼镜的待显示影像；

显示控制模块，其用于将所述影像加工模块生成的待显示影像的数据流传输到MR眼镜。

进一步，所述摄像控制模块向MR眼镜的第一摄像头发送第一摄像控制指令，指示第一摄像头对MR眼镜所处的外界环境进行扫描拍摄，得到关于外界环境的1080P图像数据流；

以及，

所述图像预处理模块对所述外界环境图像进行图像画面预处理之前还包括：

按照预设时间间隔，从所述1080P图像数据流中依次提取若干图像帧。

进一步，所述图像预处理模块对所述外界环境图像进行图像画面预处理包括：

所述图像预处理模块对提取得到的每一图像帧进行图像画面对比度调整预处理和/或图像画面分辨率调整预处理，从而使预处理后的图像画面满足预设对比度值范围和/或预设分辨率值范围条件。

进一步，所述图像识别模块用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息具体包括：

所述图像识别模块根据预处理的图像帧的图像画面轮廓特征，确定图像帧的图像画面上存在的目标对象及其所处位置信息；

所述图像识别模块还对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息；

所述图像识别模块还将所述位置信息、所述缺陷信息和所述动作状态信息作为目标对象的关联信息，上传到所述影像加工模块。

进一步，所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息具体包括：

所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理，得到目标对象的表面缺陷信息和/或结构缺陷信息；其中，所述表面缺陷信息包括表面划痕缺陷、表面裂纹缺陷或表面涂层脱落缺陷；所述结构缺陷信息包括目标对象包含的零部件的脱落缺陷或变形缺陷；

所述图像识别模块对图像帧的图像画面存在的每个目标对象进行状态识别处理，从而得到目标对象包含的部件的动作状态信息；其中，所述动作状态信息包括部件的开关状态信息或部件的动作姿势状态信息。

进一步，所述影像加工模块根据对所述关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像具体包括：

所述影像加工模块根据所述位置信息，将每个目标对象对应的缺陷信息和/或动作状态信息叠加到MR眼镜的待显示影像中相同目标对象的附近画面区域；

所述显示控制模块将所述影像加工模块生成的待显示影像的数据流进行数据制式的调整后，再传输到MR眼镜的显示器。

进一步，所述智能眼镜操控系统还包括位姿传感器控制模块和姿态数据处理模块；

所述位姿传感器控制模块用于控制安装于MR眼镜所处室内空间的九轴传感器采集室内空间的姿态数据；

所述姿态数据处理模块用于对所述姿态数据进行处理，得到所述室内空间的姿态朝向信息；

所述摄像控制模块还用于控制MR眼镜的第二摄像头对MR眼镜所处室内空间存在的人员对象进行拍摄，得到人员对象图像；

所述图像识别模块还用于对所述人员对象图像进行识别处理，确定人员对象在所述室内空间的存在位置信息；

所述影像加工模块还将所述姿态朝向信息和人员对象在所述室内空间的存在位置信息叠加到MR眼镜的待显示影像。

进一步，所述摄像控制模块还用于控制MR眼镜的第三摄像头对MR眼镜的佩戴者的手部图像；

所述图像识别模块还用于对所述手部图像进行识别，确定佩戴者的手势信息；

所述智能眼镜操控系统还包括显示状态调整模块，所述显示状态调整模块根据所述手势信息，向MR眼镜发送显示状态调整指令，从而使MR眼镜调整自身的显示状态。

进一步，所述智能眼镜操控系统还包括用于拍摄MR眼镜的佩戴者的眼部图像的第四摄像头；

所述摄像控制模块还用于控制所述第四摄像头；

所述MR眼镜上设置有物理按键，当所述物理按键被按下时，所述MR眼镜会进入自动识别矫正提醒状态，所述摄像控制模块会控制所述第四摄像头采集佩戴者的眼部图像；所述图像识别模块还用于对所述眼部图像进行识别，确定佩戴者的眼睛瞳孔中心位置；

所述MR眼镜上还设置有左右镜框振动模块，所述智能眼镜操控系统根据所述眼睛瞳孔中心位置，控制所述左右镜框振动模块进行振动，从而向佩戴者发出振动动作以提醒所述MR眼镜佩戴正确与否；

所述左右镜框振动模块包括设置在所述MR眼镜的左右镜框的左右上下边框中心点位置的致动器，每个致动器能够独立进行振动，其具体过程为：

步骤S1，以所述眼部图像以左下角顶点为原点，下边缘向右为X轴，左边缘向上为Y轴建立平面直角坐标系，利用下面公式(1)，根据所述图像识别模块识别到的佩戴者的两个眼部瞳孔中心位置坐标判断佩戴者是否正确佩戴所述MR眼镜，

在上述公式(1)中，E(t)表示当前时刻所述佩戴者是否正确佩戴所述MR眼镜的判定值，即当前时刻所述左右镜框振动模块的启停控制值；t表示当前时刻；[x_l(t),y_l(t)]表示当前时刻所述图像识别模块识别到的佩戴者的左眼瞳孔中心位置坐标；[x_r(t),y_r(t)]表示当前时刻所述图像识别模块识别到的佩戴者的右眼瞳孔中心位置坐标；x_max表示所述眼部图像最右侧边缘的横坐标值；y_max表示所述眼部图像最上侧边缘的横坐标值；||表示求取绝对值；

若E(t)＝0，则表示当前时刻所述佩戴者已正确佩戴所述MR眼镜，并控制所述左右镜框振动模块停止工作；

若E(t)≠0，则表示当前时刻所述佩戴者未正确佩戴所述MR眼镜，并控制所述左右镜框振动模块开启，并按照下面步骤进行振动动作；

步骤S2，当E(t)≠0，则利用下面公式(2)，根据所述图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制设置在MR眼镜左右边框的上下中心点位置的致动器的振动频率，

在上述公式(2)中，f_{l_a}(t)表示当前时刻控制MR眼镜左镜框的上中心位置的致动器的振动频率；f_{l_b}(t)表示当前时刻控制MR眼镜左镜框的下中心位置的致动器的振动频率；f_{r_a}(t)表示当前时刻控制MR眼镜右镜框的上中心位置的致动器的振动频率；f_{r_b}(t)表示当前时刻控制MR眼镜右镜框的下中心位置的致动器的振动频率；f_M表示致动器的最大振动动频率；u[]表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

步骤S3，当佩戴者根据上述步骤S2中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行上下调整后，直到设置在MR眼镜左右边框的上下边框中心点位置的致动器停止振动，再利用下面公式(3)，根据所述图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制MR眼镜左右镜框上的左右中心点位置的致动器的振动频率，

在上述公式(3)中，f_{l_R}(t)表示当前时刻控制MR眼镜左镜框的右中心位置的致动器的振动频率；f_{l_L}(t)表示当前时刻控制MR眼镜左镜框的左中心位置的致动器的振动频率；f_{r_R}(t)表示当前时刻控制MR眼镜右镜框的右中心位置的致动器的振动频率；f_{r_L}(t)表示当前时刻控制MR眼镜右镜框的左中心位置的致动器的振动频率；u{}表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

佩戴者根据上述步骤S3中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行左右调整，直到设置在MR眼镜左右边框的左右边框中心点位置的致动器停止振动为止。

相比于现有技术，该智能眼镜操控系统控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，能够同时观看到经过渲染加工的现实影像，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的智能眼镜操控系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的智能眼镜操控系统的结构示意图。该智能眼镜操控系统与MR眼镜连接。该智能眼镜操控系统包括：

摄像控制模块，其用于控制MR眼镜的第一摄像头对外界环境进行拍摄，得到外界环境图像；

图像预处理模块，其用于对该外界环境图像进行图像画面预处理；

图像识别模块，其用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；

影像加工模块，其用于根据该关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像；

显示控制模块，其用于将该影像加工模块生成的待显示影像的数据流传输到MR眼镜。

上述技术方案的有益效果为：该智能眼镜操控系统控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，能够同时观看到经过渲染加工的现实影像，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

优选地，该摄像控制模块向MR眼镜的第一摄像头发送第一摄像控制指令，指示第一摄像头对MR眼镜所处的外界环境进行扫描拍摄，得到关于外界环境的1080P图像数据流；

以及，

该图像预处理模块对该外界环境图像进行图像画面预处理之前还包括：

按照预设时间间隔，从该1080P图像数据流中依次提取若干图像帧。

上述技术方案的有益效果为：在实际应用中，该智能眼镜操控系统对应的终端设备可通过Type-C连接线直接与MR眼镜连接，从而提高智能眼镜操控系统与MR眼镜之间的数据交互效率。该MR眼镜的第一摄像头可为但不限于是鱼眼摄像头，该摄像控制模块会向第一摄像头发送第一摄像控制指令，使得第一摄像头对MR眼镜所处的外界真实环境进行广角扫描动态拍摄，得到相应的1080P图像数据流，提高对外界真实环境的拍摄实时性和准确性。此外，当该图像预处理模块接收到第一摄像头反馈的1080P图像数据流时，先对该1080P图像数据流进行图像帧的提取处理，这样可以减少后续对图像进行预处理的计算量。

优选地，该图像预处理模块对该外界环境图像进行图像画面预处理包括：

该图像预处理模块对提取得到的每一图像帧进行图像画面对比度调整预处理和/或图像画面分辨率调整预处理，从而使预处理后的图像画面满足预设对比度值范围和/或预设分辨率值范围条件。

上述技术方案的有益效果为：该图像预处理模块对每一图像帧进行增大图像画面对比度和/或采用插值法增大图像画面分辨率，使得预处理后的图像画面能够在预设对比度值范围和/或预设分辨率值范围内，提高图像画面的质量，便于后续在图像画面上准确识别得到目标对象。

优选地，该图像识别模块用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息具体包括：

该图像识别模块根据预处理的图像帧的图像画面轮廓特征，确定图像帧的图像画面上存在的目标对象及其所处位置信息；

该图像识别模块还对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息；

该图像识别模块还将该位置信息、该缺陷信息和该动作状态信息作为目标对象的关联信息，上传到该影像加工模块。

上述技术方案的有益效果为：不同类型的目标对象在图像帧的图像画面的像素轮廓特征并不相同，通过提取图像帧的图像画面轮廓特征，能够快速识别区分图像画面上存在的所有目标对象及其各自所处位置信息。此外，该图像识别模块还对图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，这样能够确定每个目标对象存在缺陷信息和当前的动作状态，便于对目标对象进行标识。

优选地，该图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息具体包括：

该图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理，得到目标对象的表面缺陷信息和/或结构缺陷信息；其中，该表面缺陷信息包括表面划痕缺陷、表面裂纹缺陷或表面涂层脱落缺陷；该结构缺陷信息包括目标对象包含的零部件的脱落缺陷或变形缺陷；

该图像识别模块对图像帧的图像画面存在的每个目标对象进行状态识别处理，从而得到目标对象包含的部件的动作状态信息；其中，该动作状态信息包括部件的开关状态信息或部件的动作姿势状态信息。

上述技术方案的有益效果为：在实际工作中，该图像识别模块了利用深度神经网络DNN对图像帧进行识别，得到目标对象的表面缺陷信息和/或结构缺陷信息，以及目标对象包含的部件的动作状态信息。其中该表面缺陷信息和该结构缺陷信息能够表征目标对象在表面和内部的缺陷状态；该动作状态信息能够表征目标对象内部的不同部件(比如机械开关)的开关状态或动作姿态状态。通过上述方式，能够精确地确定目标对象的状态是否存在异常情况。

优选地，该影像加工模块根据对该关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像具体包括：

该影像加工模块根据该位置信息，将每个目标对象对应的缺陷信息和/或动作状态信息叠加到MR眼镜的待显示影像中相同目标对象的附近画面区域；

该显示控制模块将该影像加工模块生成的待显示影像的数据流进行数据制式的调整后，再传输到MR眼镜的显示器。

上述技术方案的有益效果为：该影像加工模块以每个目标对象的位置信息为基准，在待显示影像的画面中确定目标对象所处的画面区域，再在待显示影像中相应目标对象的附近画面区域叠加目标对象的缺陷信息和/或动作状态信息，这样在待显示影像的影像画面中能够同时观看目标对象及其关联的缺陷信息和/或动作状态信息，实现对目标对象的专门标注显示。随后，该显示控制模块将该影像加工模块生成的待显示影像的数据流进行影像数据制式的转换，再传输到MR眼镜的显示器，使得显示器能够投影显示相应的影像。

优选地，该智能眼镜操控系统还包括位姿传感器控制模块和姿态数据处理模块；

该位姿传感器控制模块用于控制安装于MR眼镜所处室内空间的九轴传感器采集室内空间的姿态数据；

该姿态数据处理模块用于对该姿态数据进行处理，得到该室内空间的姿态朝向信息；

该摄像控制模块还用于控制MR眼镜的第二摄像头对MR眼镜所处室内空间存在的人员对象进行拍摄，得到人员对象图像；

该图像识别模块还用于对该人员对象图像进行识别处理，确定人员对象在该室内空间的存在位置信息；

该影像加工模块还将该姿态朝向信息和人员对象在该室内空间的存在位置信息叠加到MR眼镜的待显示影像。

上述技术方案的有益效果为：该位姿传感器控制模块指示九轴传感器采集室内空间的姿态数据，该姿态数据处理模块用于对采集得到的姿态数据进行分析处理，得到室内空间的姿态朝向信息，实现对室内空间的定位。在实际应用中，该第二摄像头可为但不限于是TOF摄像头，该摄像控制模块能够指示第二摄像头对室内空间存在的人员对象进行拍摄，再通过该图像识别模块对人员对象图像进行分析识别，确定室内空间存在的人员对象所在的位置信息。随后该影像加工模块将该姿态朝向信息和人员对象在该室内空间的存在位置信息叠加到MR眼镜的待显示影像，这样佩戴者通过观看MR眼镜提供的影像即可获取室内空间中存在的所有人员对象的状态信息，便于对人员对象进行标定定位。

优选地，该摄像控制模块还用于控制MR眼镜的第三摄像头对MR眼镜的佩戴者的手部图像；

该图像识别模块还用于对该手部图像进行识别，确定佩戴者的手势信息；

该智能眼镜操控系统还包括显示状态调整模块，该显示状态调整模块根据该手势信息，向MR眼镜发送显示状态调整指令，从而使MR眼镜调整自身的显示状态。

上述技术方案的有益效果为：在实际应用中，该第三摄像头可为但不限于是双目摄像头。当该第三摄像头完成对MR眼镜的佩戴者的手部拍摄后，该图像识别模块进一步对手部图像进行分析识别，得到佩戴者的手势动作信息；接着，该显示状态调整模块将识别得到的手势动作信息与预设手势动作-指令集合进行比对，确定当前手势动作信息对应的显示状态调整指令，并将该显示状态调整指令发送到MR眼镜，从而使MR眼镜调整自身的显示开关状态或显示亮度高低状态。

优选地，该智能眼镜操控系统还包括用于拍摄MR眼镜的佩戴者的眼部图像的第四摄像头；

该摄像控制模块还用于控制该第四摄像头；

该MR眼镜上设置有物理按键，当该物理按键被按下时，该MR眼镜会进入自动识别矫正提醒状态，该摄像控制模块会控制该第四摄像头采集佩戴者的眼部图像；该图像识别模块还用于对该眼部图像进行识别，确定佩戴者的眼睛瞳孔中心位置；

该MR眼镜上还设置有左右镜框振动模块，该智能眼镜操控系统根据该眼睛瞳孔中心位置，控制该左右镜框振动模块进行振动，从而向佩戴者发出振动动作以提醒该MR眼镜佩戴正确与否；

该左右镜框振动模块包括设置在该MR眼镜的左右镜框的左右上下边框中心点位置的致动器，每个致动器能够独立进行振动，其具体过程为：

步骤S1，以该眼部图像以左下角顶点为原点，下边缘向右为X轴，左边缘向上为Y轴建立平面直角坐标系，利用下面公式(1)，根据该图像识别模块识别到的佩戴者的两个眼部瞳孔中心位置坐标判断佩戴者是否正确佩戴该MR眼镜，

在上述公式(1)中，E(t)表示当前时刻该佩戴者是否正确佩戴该MR眼镜的判定值，即当前时刻该左右镜框振动模块的启停控制值；t表示当前时刻；[x_l(t)，y_l(t)]表示当前时刻该图像识别模块识别到的佩戴者的左眼瞳孔中心位置坐标；[x_r(t),y_r(t)]表示当前时刻该图像识别模块识别到的佩戴者的右眼瞳孔中心位置坐标；x_max表示该眼部图像最右侧边缘的横坐标值；y_max表示该眼部图像最上侧边缘的横坐标值；||表示求取绝对值；

若E(t)＝0，则表示当前时刻该佩戴者已正确佩戴该MR眼镜，并控制该左右镜框振动模块停止工作；

若E(t)≠0，则表示当前时刻该佩戴者未正确佩戴该MR眼镜，并控制该左右镜框振动模块开启，并按照下面步骤进行振动动作；

步骤S2，当E(t)≠0，则利用下面公式(2)，根据该图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制设置在MR眼镜左右边框的上下中心点位置的致动器的振动频率，

在上述公式(2)中，f_{l_a}(t)表示当前时刻控制MR眼镜左镜框的上中心位置的致动器的振动频率；f_{l_b}(t)表示当前时刻控制MR眼镜左镜框的下中心位置的致动器的振动频率；f_{r_a}(t)表示当前时刻控制MR眼镜右镜框的上中心位置的致动器的振动频率；f_{r_b}(t)表示当前时刻控制MR眼镜右镜框的下中心位置的致动器的振动频率；f_M表示致动器的最大振动动频率；u[]表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

步骤S3，当佩戴者根据上述步骤S2中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行上下调整后，直到设置在MR眼镜左右边框的上下边框中心点位置的致动器停止振动，再利用下面公式(3)，根据该图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制MR眼镜左右镜框上的左右中心点位置的致动器的振动频率，

在上述公式(3)中，f_{l_R}(t)表示当前时刻控制MR眼镜左镜框的右中心位置的致动器的振动频率；f_{l_L}(t)表示当前时刻控制MR眼镜左镜框的左中心位置的致动器的振动频率；f_{r_R}(t)表示当前时刻控制MR眼镜右镜框的右中心位置的致动器的振动频率；f_{r_L}(t)表示当前时刻控制MR眼镜右镜框的左中心位置的致动器的振动频率；u{}表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

佩戴者根据上述步骤S3中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行左右调整，直到设置在MR眼镜左右边框的左右边框中心点位置的致动器停止振动为止。

上述技术方案的有益效果为：利用上述公式(1)根据图像识别模块识别到的佩戴者的两个眼睛瞳孔中心位置坐标判断当前佩戴者是否正确佩戴MR眼镜，进而提前识别佩戴者是否佩戴正确，若佩戴正确则不启动左右镜框振动模块达到提高效率节省能源的目的；然后利用上述公式(2)根据图像识别模块实时采集识别到的佩戴者的两个眼睛瞳孔中心位置坐标控制设置在MR眼镜左右镜框上的上下中心点位置的致动器的振动频率，从而根据镜框的上下中心点的震动指示佩戴者在上下方向上调整正确，并且佩戴者还可以根据震动的大小知晓当前佩戴的上下偏离程度，便于佩戴者的调整，使得更加的人性化；最后利用上述公式(3)根据图像识别模块实时采集识别到的佩戴者的两个眼镜瞳孔中心位置坐标控制设置在MR眼镜左右镜框上的左右中心点位置的致动器的振动频率，从而根据镜框的左右中心点的振动指示佩戴者在左右方向上调整正确，并且佩戴者还可以根据震动的大小知晓当前佩戴的左右偏离程度，便于佩戴者的调整，使得更加的人性化。

从上述实施例的内容可知，该智能眼镜操控系统控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，能够同时观看到经过渲染加工的现实影像，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.智能眼镜操控系统，所述智能眼镜操控系统与MR眼镜连接，其特征在于，所述智能眼镜操控系统包括：

摄像控制模块，其用于控制MR眼镜的第一摄像头对外界环境进行拍摄，得到外界环境图像；

图像预处理模块，其用于对所述外界环境图像进行图像画面预处理；图像识别模块，其用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；

影像加工模块，其用于根据所述关联信息，对目标对象的识别结果、或者用户定义的文字或图形元素叠加到MR眼镜的待显示影像；

显示控制模块，其用于将所述影像加工模块生成的待显示影像的数据流传输到MR眼镜；

其中，所述智能眼镜操控系统还包括用于拍摄MR眼镜的佩戴者的眼部图像的第四摄像头；

所述摄像控制模块还用于控制所述第四摄像头；

所述MR眼镜上设置有物理按键，当所述物理按键被按下时，所述MR眼镜会进入自动识别矫正提醒状态，所述摄像控制模块会控制所述第四摄像头采集佩戴者的眼部图像；所述图像识别模块还用于对所述眼部图像进行识别，确定佩戴者的眼睛瞳孔中心位置；

所述MR眼镜上还设置有左右镜框振动模块，所述智能眼镜操控系统根据所述眼睛瞳孔中心位置，控制所述左右镜框振动模块进行振动，从而向佩戴者发出振动动作以提醒所述MR眼镜佩戴正确与否；

所述左右镜框振动模块包括设置在所述MR眼镜的左右镜框的左右上下边框中心点位置的致动器，每个致动器能够独立进行振动，其具体过程为：

步骤S1，以所述眼部图像以左下角顶点为原点，下边缘向右为X轴，左边缘向上为Y轴建立平面直角坐标系，利用下面公式(1)，根据所述图像识别模块识别到的佩戴者的两个眼部瞳孔中心位置坐标判断佩戴者是否正确佩戴所述MR眼镜，

在上述公式(1)中，E(t)表示当前时刻所述佩戴者是否正确佩戴所述MR眼镜的判定值，即当前时刻所述左右镜框振动模块的启停控制值；t表示当前时刻；[x_l(t),y_l(t)]表示当前时刻所述图像识别模块识别到的佩戴者的左眼瞳孔中心位置坐标；[x_r(t),y_r(t)]表示当前时刻所述图像识别模块识别到的佩戴者的右眼瞳孔中心位置坐标；x_max表示所述眼部图像最右侧边缘的横坐标值；y_max表示所述眼部图像最上侧边缘的横坐标值；| |表示求取绝对值；

若E(t)＝0，则表示当前时刻所述佩戴者已正确佩戴所述MR眼镜，并控制所述左右镜框振动模块停止工作；

若E(t)≠0，则表示当前时刻所述佩戴者未正确佩戴所述MR眼镜，并控制所述左右镜框振动模块开启，并按照下面步骤进行振动动作；

步骤S2，当E(t)≠0，则利用下面公式(2)，根据所述图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制设置在MR眼镜左右边框的上下中心点位置的致动器的振动频率，

在上述公式(2)中，f_{l_a}(t)表示当前时刻控制MR眼镜左镜框的上中心位置的致动器的振动频率；f_{l_b}(t)表示当前时刻控制MR眼镜左镜框的下中心位置的致动器的振动频率；f_{r_a}(t)表示当前时刻控制MR眼镜右镜框的上中心位置的致动器的振动频率；f_{r_b}(t)表示当前时刻控制MR眼镜右镜框的下中心位置的致动器的振动频率；f_M表示致动器的最大振动动频率；u[]表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

步骤S3，当佩戴者根据上述步骤S2中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行上下调整后，直到设置在MR眼镜左右边框的上下边框中心点位置的致动器停止振动，再利用下面公式(3)，根据所述图像识别模块识别到的佩戴者的左右眼睛瞳孔中心位置坐标，控制MR眼镜左右镜框上的左右中心点位置的致动器的振动频率，

在上述公式(3)中，f_{l_R}(t)表示当前时刻控制MR眼镜左镜框的右中心位置的致动器的振动频率；f_{l_L}(t)表示当前时刻控制MR眼镜左镜框的左中心位置的致动器的振动频率；f_{r_R}(t)表示当前时刻控制MR眼镜右镜框的右中心位置的致动器的振动频率；f_{r_L}(t)表示当前时刻控制MR眼镜右镜框的左中心位置的致动器的振动频率；u{}表示非负检验保持函数，若括号内的数值大于或等于0，则非负检验保持函数的函数值为括号内的数值，若括号内的数值小于0，则非负检验保持函数的函数值为0；

佩戴者根据上述步骤S3中致动器的振动频率和振动方向，完成对MR眼镜的佩戴位置进行左右调整，直到设置在MR眼镜左右边框的左右边框中心点位置的致动器停止振动为止。

2.如权利要求1所述的智能眼镜操控系统，其特征在于：

所述摄像控制模块向MR眼镜的第一摄像头发送第一摄像控制指令，指示第一摄像头对MR眼镜所处的外界环境进行扫描拍摄，得到关于外界环境的1080P图像数据流；

以及，

所述图像预处理模块对所述外界环境图像进行图像画面预处理之前还包括：

按照预设时间间隔，从所述1080P图像数据流中依次提取若干图像帧。

3.如权利要求2所述的智能眼镜操控系统，其特征在于：

所述图像预处理模块对所述外界环境图像进行图像画面预处理包括：所述图像预处理模块对提取得到的每一图像帧进行图像画面对比度调整预处理和/或图像画面分辨率调整预处理，从而使预处理后的图像画面满足预设对比度值范围和/或预设分辨率值范围条件。

4.如权利要求3所述的智能眼镜操控系统，其特征在于：

所述图像识别模块用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息具体包括：

所述图像识别模块根据预处理的图像帧的图像画面轮廓特征，确定图像帧的图像画面上存在的目标对象及其所处位置信息；

所述图像识别模块还对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息；

所述图像识别模块还将所述位置信息、所述缺陷信息和所述动作状态信息作为目标对象的关联信息，上传到所述影像加工模块。

5.如权利要求4所述的智能眼镜操控系统，其特征在于：

所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息具体包括：

所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理，得到目标对象的表面缺陷信息和/或结构缺陷信息；其中，所述表面缺陷信息包括表面划痕缺陷、表面裂纹缺陷或表面涂层脱落缺陷；

所述结构缺陷信息包括目标对象包含的零部件的脱落缺陷或变形缺陷；所述图像识别模块对图像帧的图像画面存在的每个目标对象进行状态识别处理，从而得到目标对象包含的部件的动作状态信息；其中，所述动作状态信息包括部件的开关状态信息或部件的动作姿势状态信息。

6.如权利要求4所述的智能眼镜操控系统，其特征在于：

所述影像加工模块根据对所述关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像具体包括：

所述影像加工模块根据所述位置信息，将每个目标对象对应的缺陷信息和/或动作状态信息叠加到MR眼镜的待显示影像中相同目标对象的附近画面区域；

所述显示控制模块将所述影像加工模块生成的待显示影像的数据流进行数据制式的调整后，再传输到MR眼镜的显示器。

7.如权利要求1所述的智能眼镜操控系统，其特征在于：

所述智能眼镜操控系统还包括位姿传感器控制模块和姿态数据处理模块；

所述位姿传感器控制模块用于控制安装于MR眼镜所处室内空间的九轴传感器采集室内空间的姿态数据；

所述姿态数据处理模块用于对所述姿态数据进行处理，得到所述室内空间的姿态朝向信息；

所述摄像控制模块还用于控制MR眼镜的第二摄像头对MR眼镜所处室内空间存在的人员对象进行拍摄，得到人员对象图像；

所述图像识别模块还用于对所述人员对象图像进行识别处理，确定人员对象在所述室内空间的存在位置信息；

所述影像加工模块还将所述姿态朝向信息和人员对象在所述室内空间的存在位置信息叠加到MR眼镜的待显示影像。

8.如权利要求1所述的智能眼镜操控系统，其特征在于：

所述摄像控制模块还用于控制MR眼镜的第三摄像头对MR眼镜的佩戴者的手部图像；

所述图像识别模块还用于对所述手部图像进行识别，确定佩戴者的手势信息；

所述智能眼镜操控系统还包括显示状态调整模块，所述显示状态调整模块根据所述手势信息，向MR眼镜发送显示状态调整指令，从而使MR眼镜调整自身的显示状态。

Images