CN114972692B - 基于ai识别和混合现实的目标定位方法 - Google Patents

Abstract

本发明提供了基于AI识别和混合现实的目标定位方法，其对用户当前所处周围环境的周围环境图像进行AI识别分析，得到目标对象的存在状态信息，并确定目标对象在周围环境图像中的存在位置；并根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否，以此生成虚拟显示信息；最后根据目标对象的存在位置，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像，其通过对周围环境图像存在的目标对象进行识别分析，并以目标对象为基准，将虚拟显示信息准确地叠加到周围环境图像中，这样能够根据现实场景的变化有针对性调整虚拟信息的显示状态，提高混合现实显示的视觉感官友善性。

Description

基于AI识别和混合现实的目标定位方法

技术领域

本发明涉及虚拟现实显示的技术领域，特别涉及基于AI识别和混合现实的目标定位方法。

背景技术

混合现实技术是将虚拟环境引入到现实场景中，在虚拟世界、现实世界和用户之间搭建交互反馈的信息回路，以增强用户的体验真实感。为了实现在虚拟与现实结合的场景中，进行真正的交互，需要对虚拟世界和现实世界中目标对象所处的位置进行标定，以此作为虚拟环境与现实场景之间的叠加参考基准。但是，现有技术都是将虚拟信息简单地叠加在现实场景中，这使得叠加形成的图像存在一定的视觉违和性，并且无法为用户提供稳定和真实感强的图像显示场景，降低混合现实显示的用户感官友善性。

发明内容

针对现有技术存在的缺陷，本发明提供基于AI识别和混合现实的目标定位方法，其对用户当前所处周围环境的周围环境图像进行AI识别分析，得到目标对象的存在状态信息，并确定目标对象在周围环境图像中的存在位置；并根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否，以此生成虚拟显示信息；最后根据目标对象的存在位置，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像，其通过对周围环境图像存在的目标对象进行识别分析，并以目标对象为基准，将虚拟显示信息准确地叠加到周围环境图像中，这样能够根据现实场景的变化有针对性调整虚拟信息的显示状态，提高混合现实显示的视觉感官友善性。

本发明提供基于AI识别和混合现实的目标定位方法，其包括如下步骤：

步骤S1，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像；对所述周围环境图像进行AI识别分析处理，得到所述周围环境图像中目标对象的存在状态信息；

步骤S2，根据所述目标对象的存在状态信息，确定所述目标对象在所述周围环境图像中的存在位置；再对所述目标对象进行类型识别处理，确定所述目标对象的对象类型；

步骤S3，根据所述存在状态信息和所述目标对象的对象类型，判断所述目标对象当前在周围环境的状态正常与否；并根据上述判断结果，生成虚拟显示信息；

步骤S4，将所述虚拟显示信息叠加在所述周围环境图像中，形成混合现实图像；并指示头戴式设备向用户显示所述混合现实图像。

进一步，在所述步骤S1中，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像具体包括：

指示头戴式设备的双目摄像头对用户当前所处周围环境进行双目拍摄，得到周围环境双目图像；根据所述周围环境双目图像的双目图像视差，得到周围环境三维图像。

进一步，在所述步骤S1中，对所述周围环境图像进行AI识别分析处理，得到所述周围环境图像中目标对象的存在状态信息具体包括：

对所述周围环境三维图像进行AI识别分析处理，得到所述周围环境三维图像中所有人和物体各自的三维轮廓特征信息，以此作为目标对象的存在状态信息。

进一步，在所述步骤S2中，根据所述目标对象的存在状态信息，确定所述目标对象在所述周围环境图像中的存在位置具体包括：

从所述人或物体的三维轮廓特征信息提取得到人或物体的三维外周边缘轮廓边界，根据所述三维外周边缘轮廓边界，确定人或物体在所述周围环境三维图像中的几何中心点；再确定所述几何中心点在所述周围环境三维图像中的位置坐标。

进一步，在所述步骤S2中，对所述目标对象进行类型识别处理，确定所述目标对象的对象类型具体包括：

对所述周围环境三维图像的所有人或物体各自的三维轮廓特征信息进行识别处理，确定每个人的身份信息或每个物体对应所属的物体种类。

进一步，在所述步骤S3中，根据所述存在状态信息和所述目标对象的对象类型，判断所述目标对象当前在周围环境的状态正常与否具体包括：

根据所述周围环境三维图像中所述人或物体各自的三维轮廓特征信息，确定每个人或物体的动作姿态信息；

根据每个人或物体的动作姿态信息，和每个人的身份信息或每个物体对应所属的物体种类，判断每个人或物体当前在周围环境的状态正常与否。

进一步，在所述步骤S3中，据上述判断结果，生成虚拟显示信息具体包括：

当判断人或物体当前在周围环境的状态正常时，生成第一虚拟显示信息；其中，所述第一虚拟显示信息包括人或物体的身份信息或每个物体对应所属的物体种类信息；

当判断人或物体当前在周围环境的状态不正常时，生成第二虚拟显示信息；其中，所述第二虚拟显示信息包括人或物体在所述周围环境三维图像中的位置坐标和动作姿态信息。

进一步，在所述步骤S4中，将所述虚拟显示信息叠加在所述周围环境图像中，形成混合现实图像；并指示头戴式设备向用户显示所述混合现实图像具体包括：

根据每个人或物体在所述周围环境三维图像中的位置坐标，将第一虚拟显示信息或第二虚拟显示信息叠加在所述周围环境三维图像对应的人或物体附近，从而形成混合现实图像；

指示头戴式设备的图像投影器向用户投影显示所述混合现实图像。

进一步，在所述步骤S4中，指示头戴式设备的图像投影器向用户投影显示所述混合现实图像包括：

当用户在头戴式设备的图像投影中正对观看周围环境三维图像中的人或物体时，控制第一虚拟显示信息或第二虚拟显示信息根据当前的叠加显示位置进行调整，使得第一虚拟显示信息或第二虚拟显示信息能够正对用户，其具体过程为：

步骤S401，由于所述头戴式设备的用户观看所述投影后将所述投影看成二维画面，所以所述头戴式设备的用户在所述周围环境三维图像中的状态为平面状态，随着用户的仰头低头左右摆头，所述用户会在所述周围环境三维图像中观看到变化的二维画面，并且随着用户的头部移动在所述用户平面上选取三个在平面上固定且不共线的坐标点，用于定位当前用户平面以及所述用户平面的中心点，从而定位所述用户观看中心点的位置，再利用下面公式(1)，根据所述用户平面上选取的三个坐标点和所述用户平面的中心点以及人或物体在所述周围环境三维图像中的几何中心点的位置坐标判断当前用户是否正对观看所述周围环境三维图像中的人或物体，

在上述公式(1)中，D(i_t)表示当前时刻所述用户是否正对观看所述周围环境三维图像中的第i个人或物体的判断值；

表示所述用户平面的中心点坐标与所述周围环境三维图像中的第i个人或物体的中心点坐标连线的向量；[x₀(t),y₀(t),z₀(t)]表示当前时刻所述用户平面的中心点坐标；[X(i),Y(i),Z(i)]表示所述周围环境三维图像中的第i个人或物体的中心点坐标；[x₁(t),y₁(t),z₁(t)]表示当前时刻所述用户平面上选取的第一个坐标点；[x₂(t),y₂(t),z₂(t)]表示当前时刻所述用户平面上选取的第二个坐标点；[x₃(t),y₃(t),z₃(t)]表示当前时刻所述用户平面上选取的第三个坐标点；

表示当前时刻所述用户平面上选取的第一个坐标点与所述用户平面上选取的第二个坐标点的连线向量；

表示当前时刻所述用户平面上选取的第二个坐标点与所述用户平面上选取的第三个坐标点的连线向量；·表示数量积；t表示当前时刻；

若D(i_t)＝1，则表示当前时刻所述用户正在正对观看所述周围环境三维图像中的第i个人或物体，并将正对观看的第i个人或物体中的i记作I；

若D(i_t)＝0，则表示当前时刻所述用户并未正对观看所述周围环境三维图像中的第i个人或物体；

步骤S402，若当前用户正在正对观看所述周围环境三维图像中的人或物体时，利用下面公式(2)，根据所述用户平面上选取的三个坐标点得到当前用户平面的法向量，

在上述公式(2)中，

表示当前时刻所述用户平面的法向量；[X(I),Y(I),Z(I)]表示当前时刻所述用户正在正对观看的人或物体的中心点坐标；

步骤S403，利用公式下面(3)，根据正对观看所述周围环境三维图像中的人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量得到第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值，

在上述公式(3)中，θ(I_t)表示当前时刻所述用户正在正对观看的所述周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的旋转角度值；

表示当前时刻所述用户正在正对观看的所述周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量；

表示求取向量

的模长；

最后，根据第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值控制第一虚拟显示信息或第二虚拟显示信息的平面使其对应平面的法向量向着当前用户平面的法向量方向进行旋转θ(i_t)角度值，从而使得所述用户在正对观看所述周围环境三维图像中的人或物体时所述人或物体所对应的第一虚拟显示信息或第二虚拟显示信息能够正对用户观看方向进行显示。

相比于现有技术，该基于AI识别和混合现实的目标定位方法对用户当前所处周围环境的周围环境图像进行AI识别分析，得到目标对象的存在状态信息，并确定目标对象在周围环境图像中的存在位置；并根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否，以此生成虚拟显示信息；最后根据目标对象的存在位置，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像，其通过对周围环境图像存在的目标对象进行识别分析，并以目标对象为基准，将虚拟显示信息准确地叠加到周围环境图像中，这样能够根据现实场景的变化有针对性调整虚拟信息的显示状态，提高混合现实显示的视觉感官友善性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于AI识别和混合现实的目标定位方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明实施例提供的基于AI识别和混合现实的目标定位方法的流程示意图。该基于AI识别和混合现实的目标定位方法包括如下步骤：

步骤S1，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像；对周围环境图像进行AI识别分析处理，得到周围环境图像中目标对象的存在状态信息；

步骤S2，根据目标对象的存在状态信息，确定目标对象在周围环境图像中的存在位置；再对目标对象进行类型识别处理，确定目标对象的对象类型；

步骤S3，根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否；并根据上述判断结果，生成虚拟显示信息；

步骤S4，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像；并指示头戴式设备向用户显示混合现实图像。

上述技术方案的有益效果为：该基于AI识别和混合现实的目标定位方法对用户当前所处周围环境的周围环境图像进行AI识别分析，得到目标对象的存在状态信息，并确定目标对象在周围环境图像中的存在位置；并根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否，以此生成虚拟显示信息；最后根据目标对象的存在位置，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像，其通过对周围环境图像存在的目标对象进行识别分析，并以目标对象为基准，将虚拟显示信息准确地叠加到周围环境图像中，这样能够根据现实场景的变化有针对性调整虚拟信息的显示状态，提高混合现实显示的视觉感官友善性。

优选地，在步骤S1中，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像具体包括：

指示头戴式设备的双目摄像头对用户当前所处周围环境进行双目拍摄，得到周围环境双目图像；根据周围环境双目图像的双目图像视差，得到周围环境三维图像。

上述技术方案的有益效果为：利用头戴式设备的双目摄像头对用户当前所处周围环境进行双目拍摄，这样能够实时生成与周围环境相匹配的周围环境三维图像，这样能够在后续为用户提供真实的现实场景图像。

优选地，在步骤S1中，对周围环境图像进行AI识别分析处理，得到周围环境图像中目标对象的存在状态信息具体包括：

对周围环境三维图像进行AI识别分析处理，得到周围环境三维图像中所有人和物体各自的三维轮廓特征信息，以此作为目标对象的存在状态信息。

上述技术方案的有益效果为：对周围环境三维环境进行AI识别分析处理，从中提取得到周围环境三维图像中所有人和物体各自的三维轮廓特征信息，这样三维轮廓特征信息能够对周围环境三维图像中每个人和物体的存在区域范围进行准确确定，提高对人和物体的存在状态信息标定准确性。

优选地，在步骤S2中，根据目标对象的存在状态信息，确定目标对象在周围环境图像中的存在位置具体包括：

从人或物体的三维轮廓特征信息提取得到人或物体的三维外周边缘轮廓边界，根据三维外周边缘轮廓边界，确定人或物体在周围环境三维图像中的几何中心点；再确定几何中心点在周围环境三维图像中的位置坐标。

上述技术方案的有益效果为：从三维轮廓特征信息中提取得到三维外周边缘轮廓边界，再以三维外周边缘轮廓边界围成的区域的几何中心点作为人或物体在周围环境三维图像中的位置坐标，从而便于准确地将虚拟显示信息进行叠加。

优选地，在步骤S2中，对目标对象进行类型识别处理，确定目标对象的对象类型具体包括：

对周围环境三维图像的所有人或物体各自的三维轮廓特征信息进行识别处理，确定每个人的身份信息或每个物体对应所属的物体种类。

上述技术方案的有益效果为：每个人或物体都具有独特的三维轮廓特征信息，以三维轮廓特征信息为基础，能够准确地确定每个人的身份信息或每个物体对应所属的物体种类，以便于后续准确地判断人或物体状态正常与否。

优选地，在步骤S3中，根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否具体包括：

根据周围环境三维图像中人或物体各自的三维轮廓特征信息，确定每个人或物体的动作姿态信息；

根据每个人或物体的动作姿态信息，和每个人的身份信息或每个物体对应所属的物体种类，判断每个人或物体当前在周围环境的状态正常与否。

上述技术方案的有益效果为：根据人或物体各自的三维轮廓特征信息，确定每个人或物体的动作姿态信息，其中动作姿态信息可包括但不限于人的肢体动作姿态或者物体的整体朝向姿态等。当人的肢体动作姿态或者物体的整体朝向姿态属于预设肢体动作姿态或朝向姿态，则确定人或物体的状态正常，否则，确定人或物体的状态正常。

优选地，在步骤S3中，据上述判断结果，生成虚拟显示信息具体包括：

当判断人或物体当前在周围环境的状态正常时，生成第一虚拟显示信息；其中，第一虚拟显示信息包括人或物体的身份信息或每个物体对应所属的物体种类信息；

当判断人或物体当前在周围环境的状态不正常时，生成第二虚拟显示信息；其中，第二虚拟显示信息包括人或物体在周围环境三维图像中的位置坐标和动作姿态信息。

上述技术方案的有益效果为：在人或物体当前在周围环境的状态正常或不正常时，分别生成不同的虚拟显示信息，用于对人或物体进行有针对性的虚拟信息指示，这样能够提高混合现实显示的可控性。

优选地，在步骤S4中，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像；并指示头戴式设备向用户显示混合现实图像具体包括：

根据每个人或物体在周围环境三维图像中的位置坐标，将第一虚拟显示信息或第二虚拟显示信息叠加在周围环境三维图像对应的人或物体附近，从而形成混合现实图像；

指示头戴式设备的图像投影器向用户投影显示混合现实图像。

上述技术方案的有益效果为：以每个人或物体在周围环境三维图像中的位置坐标作为基准，将第一虚拟显示信息或第二虚拟显示信息叠加在周围环境三维图像对应的人或物体附近，这样当人或物体在周围环境中的位置发生变化时，能够同步调整虚拟显示信息的叠加位置，确保最后生成的混合现实图像能够适应现实场景的实际变化。

优选地，在该步骤S4中，指示头戴式设备的图像投影器向用户投影显示该混合现实图像包括：

当用户在头戴式设备的图像投影中正对观看周围环境三维图像中的人或物体时，控制第一虚拟显示信息或第二虚拟显示信息根据当前的叠加显示位置进行调整，使得第一虚拟显示信息或第二虚拟显示信息能够正对用户，其具体过程为：

步骤S401，由于该头戴式设备的用户观看该投影后将该投影看成二维画面，所以该头戴式设备的用户在该周围环境三维图像中的状态为平面状态，随着用户的仰头低头左右摆头，该用户会在该周围环境三维图像中观看到变化的二维画面，并且随着用户的头部移动在该用户平面上选取三个在平面上固定且不共线的坐标点，用于定位当前用户平面以及该用户平面的中心点，从而定位该用户观看中心点的位置，再利用下面公式(1)，根据该用户平面上选取的三个坐标点和该用户平面的中心点以及人或物体在该周围环境三维图像中的几何中心点的位置坐标判断当前用户是否正对观看该周围环境三维图像中的人或物体，

在上述公式(1)中，D(i_t)表示当前时刻该用户是否正对观看该周围环境三维图像中的第i个人或物体的判断值；

表示该用户平面的中心点坐标与该周围环境三维图像中的第i个人或物体的中心点坐标连线的向量；[x₀(t),y₀(t),z₀(t)]表示当前时刻该用户平面的中心点坐标；[X(i),Y(i),Z(i)]表示该周围环境三维图像中的第i个人或物体的中心点坐标；[x₁(t),y₁(t),z₁(t)]表示当前时刻该用户平面上选取的第一个坐标点；[x₂(t),y₂(t),z₂(t)]表示当前时刻该用户平面上选取的第二个坐标点；[x₃(t),y₃(t),z₃(t)]表示当前时刻该用户平面上选取的第三个坐标点；

表示当前时刻该用户平面上选取的第一个坐标点与该用户平面上选取的第二个坐标点的连线向量；

表示当前时刻该用户平面上选取的第二个坐标点与该用户平面上选取的第三个坐标点的连线向量；·表示数量积；t表示当前时刻；

若D(i_t)＝1，则表示当前时刻该用户正在正对观看该周围环境三维图像中的第i个人或物体，并将正对观看的第i个人或物体中的i记作I；

若D(i_t)＝0，则表示当前时刻该用户并未正对观看该周围环境三维图像中的第i个人或物体；

步骤S402，若当前用户正在正对观看该周围环境三维图像中的人或物体时，利用下面公式(2)，根据该用户平面上选取的三个坐标点得到当前用户平面的法向量，

在上述公式(2)中，

表示当前时刻该用户平面的法向量；[X(I),Y(I),Z(I)]表示当前时刻该用户正在正对观看的人或物体的中心点坐标；

步骤S403，利用公式下面(3)，根据正对观看该周围环境三维图像中的人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量得到第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值，

在上述公式(3)中，θ(I_t)表示当前时刻该用户正在正对观看的该周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的旋转角度值；

表示当前时刻该用户正在正对观看的该周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量；

表示求取向量

的模长；

最后，根据第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值控制第一虚拟显示信息或第二虚拟显示信息的平面使其对应平面的法向量向着当前用户平面的法向量方向进行旋转θ(i_t)角度值，从而使得该用户在正对观看该周围环境三维图像中的人或物体时该人或物体所对应的第一虚拟显示信息或第二虚拟显示信息能够正对用户观看方向进行显示。

上述技术方案的有益效果为：利用上述公式(1)根据用户平面上选取的三个坐标点和所述平面的中心点以及人或物体在周围环境三维图像中的几何中心点的位置坐标，判断当前用户是否正对观看所述周围环境三维图像中的人或物体，从而智能化的判断出用户当前正对观看的内容并有针对性的进行后续控制，体现了系统的自动化和智能化；然后利用上述公式(2)根据所述用户平面上选取的三个坐标点得到当前用户平面的法向量，从而知晓当前用户平面的正对方向，便于后续对显示信息的转动控制；最后利用上述公式(3)根据正对观看周围环境三维图像中的人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量得到第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值，从而使得用户在正对观看周围环境三维图像中的人或物体时人或物体所对应的第一虚拟显示信息或第二虚拟显示信息可以正对用户观看方向进行显示，提高观看的舒适度以及智能化。

从上述实施例的内容可知，该基于AI识别和混合现实的目标定位方法对用户当前所处周围环境的周围环境图像进行AI识别分析，得到目标对象的存在状态信息，并确定目标对象在周围环境图像中的存在位置；并根据存在状态信息和目标对象的对象类型，判断目标对象当前在周围环境的状态正常与否，以此生成虚拟显示信息；最后根据目标对象的存在位置，将虚拟显示信息叠加在周围环境图像中，形成混合现实图像，其通过对周围环境图像存在的目标对象进行识别分析，并以目标对象为基准，将虚拟显示信息准确地叠加到周围环境图像中，这样能够根据现实场景的变化有针对性调整虚拟信息的显示状态，提高混合现实显示的视觉感官友善性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.基于AI识别和混合现实的目标定位方法，其特征在于，其包括如下步骤：

步骤S1，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像；对所述周围环境图像进行AI识别分析处理，得到所述周围环境图像中目标对象的存在状态信息；

步骤S2，根据所述目标对象的存在状态信息，确定所述目标对象在所述周围环境图像中的存在位置；再对所述目标对象进行类型识别处理，确定所述目标对象的对象类型；

步骤S3，根据所述存在状态信息和所述目标对象的对象类型，判断所述目标对象当前在周围环境的状态正常与否；并根据上述判断结果，生成虚拟显示信息，其包括：

根据所述周围环境三维图像中人或物体各自的三维轮廓特征信息，确定每个人或物体的动作姿态信息；

根据每个人或物体的动作姿态信息，和每个人的身份信息或每个物体对应所属的物体种类，判断每个人或物体当前在周围环境的状态正常与否；

当判断人或物体当前在周围环境的状态正常时，生成第一虚拟显示信息；其中，所述第一虚拟显示信息包括人或物体的身份信息或每个物体对应所属的物体种类信息；

当判断人或物体当前在周围环境的状态不正常时，生成第二虚拟显示信息；其中，所述第二虚拟显示信息包括人或物体在所述周围环境三维图像中的位置坐标和动作姿态信息；

步骤S4，将所述虚拟显示信息叠加在所述周围环境图像中，形成混合现实图像；并指示头戴式设备向用户显示所述混合现实图像，其包括：

根据每个人或物体在所述周围环境三维图像中的位置坐标，将第一虚拟显示信息或第二虚拟显示信息叠加在所述周围环境三维图像对应的人或物体附近，从而形成混合现实图像；

指示头戴式设备的图像投影器向用户投影显示所述混合现实图像；

当用户在头戴式设备的图像投影中正对观看周围环境三维图像中的人或物体时，控制第一虚拟显示信息或第二虚拟显示信息根据当前的叠加显示位置进行调整，使得第一虚拟显示信息或第二虚拟显示信息能够正对用户，其具体过程为：

步骤S401，由于所述头戴式设备的用户观看所述投影后将所述投影看成二维画面，所以所述头戴式设备的用户在所述周围环境三维图像中的状态为平面状态，随着用户的仰头低头左右摆头，所述用户会在所述周围环境三维图像中观看到变化的二维画面，并且随着用户的头部移动在所述用户平面上选取三个在平面上固定且不共线的坐标点，用于定位当前用户平面以及所述用户平面的中心点，从而定位所述用户观看中心点的位置，再利用下面公式(1)，根据所述用户平面上选取的三个坐标点和所述用户平面的中心点以及人或物体在所述周围环境三维图像中的几何中心点的位置坐标判断当前用户是否正对观看所述周围环境三维图像中的人或物体，

在上述公式(1)中，D(i_t)表示当前时刻所述用户是否正对观看所述周围环境三维图像中的第i个人或物体的判断值；表示所述用户平面的中心点坐标与所述周围环境三维图像中的第i个人或物体的中心点坐标连线的向量；[x₀(t)，y₀(t)，z₀(t)]表示当前时刻所述用户平面的中心点坐标；[X(i)，Y(i)，Z(i)]表示所述周围环境三维图像中的第i个人或物体的中心点坐标；[x₁(t)，y₁(t)，z₁(t)]表示当前时刻所述用户平面上选取的第一个坐标点；[x₂(t)，y₂(t)，z₂(t)]表示当前时刻所述用户平面上选取的第二个坐标点；[x₃(t)，y₃(t)，z₃(t)]表示当前时刻所述用户平面上选取的第三个坐标点；表示当前时刻所述用户平面上选取的第一个坐标点与所述用户平面上选取的第二个坐标点的连线向量；表示当前时刻所述用户平面上选取的第二个坐标点与所述用户平面上选取的第三个坐标点的连线向量；·表示数量积；t表示当前时刻；

若D(i_t)＝1，则表示当前时刻所述用户正在正对观看所述周围环境三维图像中的第i个人或物体，并将正对观看的第i个人或物体中的i记作I；

若D(i_t)＝0，则表示当前时刻所述用户并未正对观看所述周围环境三维图像中的第i个人或物体；

步骤S402，若当前用户正在正对观看所述周围环境三维图像中的人或物体时，利用下面公式(2)，根据所述用户平面上选取的三个坐标点得到当前用户平面的法向量，

在上述公式(2)中，表示当前时刻所述用户平面的法向量；[X(I)，Y(I)，Z(I)]表示当前时刻所述用户正在正对观看的人或物体的中心点坐标；

步骤S403，利用公式下面(3)，根据正对观看所述周围环境三维图像中的人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量得到第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值，

在上述公式(3)中，θ(I_t)表示当前时刻所述用户正在正对观看的所述周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的旋转角度值；表示当前时刻所述用户正在正对观看的所述周围环境三维图像中的第I个人或物体所对应的第一虚拟显示信息或第二虚拟显示信息的平面法向量；表示求取向量的模长；

最后，根据第一虚拟显示信息或第二虚拟显示信息需要旋转的角度值控制第一虚拟显示信息或第二虚拟显示信息的平面使其对应平面的法向量向着当前用户平面的法向量方向进行旋转θ(i_t)角度值，从而使得所述用户在正对观看所述周围环境三维图像中的人或物体时所述人或物体所对应的第一虚拟显示信息或第二虚拟显示信息能够正对用户观看方向进行显示。

2.如权利要求1所述的基于AI识别和混合现实的目标定位方法，其特征在于：

在所述步骤S1中，指示头戴式设备对用户当前所处周围环境进行拍摄，得到周围环境图像具体包括：

指示头戴式设备的双目摄像头对用户当前所处周围环境进行双目拍摄，得到周围环境双目图像；根据所述周围环境双目图像的双目图像视差，得到周围环境三维图像。

3.如权利要求2所述的基于AI识别和混合现实的目标定位方法，其特征在于：

在所述步骤S1中，对所述周围环境图像进行AI识别分析处理，得到所述周围环境图像中目标对象的存在状态信息具体包括：

对所述周围环境三维图像进行AI识别分析处理，得到所述周围环境三维图像中所有人和物体各自的三维轮廓特征信息，以此作为目标对象的存在状态信息。

4.如权利要求3所述的基于AI识别和混合现实的目标定位方法，其特征在于：

在所述步骤S2中，根据所述目标对象的存在状态信息，确定所述目标对象在所述周围环境图像中的存在位置具体包括：

从所述人或物体的三维轮廓特征信息提取得到人或物体的三维外周边缘轮廓边界，根据所述三维外周边缘轮廓边界，确定人或物体在所述周围环境三维图像中的几何中心点；再确定所述几何中心点在所述周围环境三维图像中的位置坐标。

5.如权利要求4所述的基于AI识别和混合现实的目标定位方法，其特征在于：

在所述步骤S2中，对所述目标对象进行类型识别处理，确定所述目标对象的对象类型具体包括：

对所述周围环境三维图像的所有人或物体各自的三维轮廓特征信息进行识别处理，确定每个人的身份信息或每个物体对应所属的物体种类。

Images