CN117710445A - 一种应用于ar设备的目标定位方法、装置及电子设备 - Google Patents

一种应用于ar设备的目标定位方法、装置及电子设备 Download PDF

Info

Publication number
CN117710445A
CN117710445A CN202311701892.3A CN202311701892A CN117710445A CN 117710445 A CN117710445 A CN 117710445A CN 202311701892 A CN202311701892 A CN 202311701892A CN 117710445 A CN117710445 A CN 117710445A
Authority
CN
China
Prior art keywords
target
direction vector
image
position data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311701892.3A
Other languages
English (en)
Inventor
崔海涛
李星
邝敏红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goolton Technology Co ltd
Original Assignee
Goolton Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goolton Technology Co ltd filed Critical Goolton Technology Co ltd
Priority to CN202311701892.3A priority Critical patent/CN117710445A/zh
Publication of CN117710445A publication Critical patent/CN117710445A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种应用于AR设备的目标定位方法、装置及电子设备，涉及虚拟现实的技术领域，方法应用于第一AR设备，第一AR设备通信连接有第二AR设备，方法包括：获取第一图像和第二图像；确定第一图像中的预设目标的第一像素坐标，以及第二图像中的预设目标的第二像素坐标；基于第一像素坐标，确定拍摄预设目标的第一视线方向向量，以及基于第二像素坐标，确定拍摄预设目标的第二视线方向向量；获取第一位置数据，并获取第二AR设备发送的第二位置数据；根据第一视线方向向量、第二视线方向向量、第一位置数据以及第二位置数据，确定预设目标的目标位置数据。本申请能够提高AR设备的目标物体距离计算的精准度。

Description

一种应用于AR设备的目标定位方法、装置及电子设备
技术领域
本申请涉及虚拟现实的技术领域，具体涉及一种应用于AR设备的目标定位方法、装置及电子设备。
背景技术
增强现实（AR）设备是一种创新的可穿戴技术，这种设备融合了虚拟场景与真实世界。通常一个AR设备包括一个内置显示屏、摄像头和多种传感器，这些元件共同工作，使用户能够在他们的现实视野中看到虚拟元素。这些虚拟元素似乎与周围环境互动，就像它们存在于真实世界中一样。
用户佩戴这种眼镜后，可以在自己的视野中看到虚拟物体、图像、信息和交互元素。这些虚拟元素伴随用户的视线移动，与真实世界相互交织，营造出引人入胜的增强现实体验。这项技术有广泛的应用，例如AR设备在军事领域被开发出越来越多的应用功能，这些功能可以提高单兵的战斗能力、战场感知和决策制定。士兵还可以通过AR设备获得实时情报，包括敌人的位置、友军动向和其他重要信息，帮助他们更好地理解战场局势。
士兵在执行任务时，可能会遭到隐藏的目标阻击任务，因此需要及时发现目标，并快速处理目标。但有时候会需要其他友军辅助解决目标，因此需要先向友军提供目标的信息，以使友军找出目标。有相关技术可以通过AR设备进行跨设备目标共享，不同的AR设备在拍摄到同一目标后，在显示屏上进行标记，便于不同的士兵快速发现并确定目标。但是在确定目标时，需要获取该目标的位置信息。目前，有通过比较来自AR设备摄像头的两个图像之间的视差来计算目标位置的方法。在AR设备上配备双摄像头，通过检测相同物体在两个图像中的位置差异，使用立体视觉来计算物体与AR设备之间的距离。可以估算出深度信息。最后根据AR设备的位置以及物体与AR设备之间的距离，计算出目标的位置。
但是通过上述立体视觉法计算目标位置的方法在不同深度上的距离估计精度可能会不均匀。通常，距离摄像头更近的物体距离估计更准确，而远离摄像头的物体可能会有较大的距离误差，导致这一方法计算出的目标位置精确度较低。因此，需要一种方法提高AR设备的目标物体距离计算的精准度。
发明内容
本申请提供一种应用于AR设备的目标定位方法、装置及电子设备，能够提高AR设备的目标物体距离计算的精准度。
在本申请的第一方面提供了一种应用于AR设备的目标定位方法，所述方法应用于第一AR设备，所述第一AR设备通信连接有第二AR设备，所述方法包括：
获取第一图像和第二图像，所述第一图像为第一AR设备拍摄的图像，所述第二图像为第二AR设备拍摄的图像；
确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；
基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；
获取第一位置数据，并获取所述第二AR设备发送的第二位置数据，所述第一位置数据为所述第一AR设备的位置数据，所述第二位置数据为所述第二AR设备的位置数据；
根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。
通过采用上述技术方案，相对于立体视觉法通过单个AR设备的两个摄像头采集图像，然后计算目标到AR设备的距离，以确定目标的位置。本申请考虑了两个不同视角下的预设目标的位置信息，通过获取第一图像和第二图像，并确定目标在两个图像中的像素坐标，然后结合两个AR设备的位置数据，计算出预设目标的目标位置数据。本申请利用多个AR设备之间的信息共享和协作来提高计算精度，将第一AR设备和第二AR设备的视线方向向量以及各自的位置数据结合起来，可以更准确地确定目标物体在空间中的位置，不会存在不同深度上的距离估计精度不均匀的问题。
可选的，所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据，具体包括：
对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量；
计算所述预设目标的坐标，具体计算公式如下：
；
其中，P为所述预设目标的坐标，dA’为所述第一方向向量，dB’为所述第二视线方向向量，所述第一位置数据为（xA，xB，xC），所述第二位置数据为（xB，yB，zB）；
将所述预设目标的坐标设置为所述目标位置数据。
通过采用上述技术方案，计算第一方向向量与第二方向向量的叉积。叉积是一种向量运算，结果是一个新的向量，垂直于原始两个向量的平面。这个叉积向量的方向指向了两个原始向量所确定的平面内。第一方向向量与第二方向向量的叉积方向将指向目标所在的三维空间点。计算向量叉积的结果与(xA-xB)、(yA-yB)以及(zA-zB)的叉积，其中(xA-xB)、(yA-yB)以及(zA-zB)是第一AR设备与第二AR设备的的位置向量之差。这个差向量表示了从第一AR设备指向第二AR设备的方向。最后，将叉积结果除以叉积向量的模的平方，得到预设目标的坐标。这是通过向量加法和标量乘法来实现的，确保P位于两个方向向量所确定的平面上。最后，将预设目标的坐标设置为目标位置数据。
可选的，所述基于所述第一像素坐标，确定第一AR设备拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定第二AR设备拍摄所述预设目标的第二视线方向向量，具体包括：
通过如下公式计算所述第一视线方向向量：
；
其中，dA为所述第一视线方向向量，所述第一像素坐标为(uA，vA）；
通过如下公式计算所述第二视线方向向量：
；
其中，dB为所述第二视线方向向量，所述第一像素坐标为(uB，vB）。
通过采用上述技术方案，基于摄像机成像原理以及摄像机投影模型，可以将像素坐标映射到摄像机坐标系中的三维点，进而确定视线方向向量。而视线方向向量描述了从AR设备的摄像头到预设目标的方向，这些方向向量将用于后续目标位置数据的计算。
可选的，所述确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标，具体包括：
获取第一用户输入的第一目标，所述第一用户佩戴所述第一AR设备，所述第一目标为所述预设目标在所述第一图像中的显像；
确定所述第一目标在预设影像坐标系下的第一像素坐标，所述预设摄像坐标系为采集所述第一图像和所述第二图像时，基于AR设备的硬件参数设置的坐标系；
发送所述第一目标的特征至所述第二AR设备；
在所述第二AR设备基于所述第一目标的特征识别出第二目标后，获取所述第二AR设备发送的所述第二像素坐标，所述第二目标为所述预设目标在所述第二图像中的显像。
通过采用上述技术方案，获取第一用户输入的第一目标，并确定第一目标在预设影像坐标系下的第一像素坐标，然后将第一目标的特征发送到第二AR设备。在第二AR设备基于第一目标的特征识别出第二目标后，获取第二目标在预设影像坐标系下的第二像素坐标。可以准确地确定第一目标和第二目标在预设影像坐标系下的像素坐标，从而可以更准确地确定目标物体在空间中的位置。
可选的，所述获取第一用户输入的第一目标，具体包括：
获取所述第一用户的瞳孔变化；
根据所述瞳孔变化，确定所述第一用户的观察视线；
确定所述观察视线与所述第一图像的交点；
对所述第一图像进行轮廓检测，识别得到多个第一待定目标；
确定多个所述第一待定目标中的第二待定目标，所述第二待定目标包含所述交点；
确定所述交点位于所述第二待定目标的聚焦时长；
判断所述聚焦时长是否大于或等于预设时长，若所述聚焦时长大于或等于所述预设时长，则确定所述第二待定目标为所述第一目标。
通过采用上述技术方案，通过结合第一用户的视线方向和关注时长来确定预设目标，可以更准确地识别出第一用户想要共享的预设目标。同时不需要第一用户手动选择或标记预设目标，减少了第一用户的操作步骤。通过自动识别和确定目标，可以加快目标共享的速度，进而提高目标共享效率。
可选的，对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量，具体包括：
将预设影像坐标系下的所述第一视线方向向量转换到世界坐标系下的所述第一方向向量，具体通过如下公式转换：
；
其中，dA’为所述第一方向向量，RA是所述第一视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TA是所述第一视线方向向量进行坐标系转换的平移矩阵，dA为所述第一视线方向向量；
将所述预设影像坐标系下的所述第二视线方向向量转换到所述世界坐标系下的所述第二方向向量，具体通过如下公式转换：
；
其中，dB’为所述第二方向向量，RB是所述第二视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TB是所述第二视线方向向量进行坐标系转换的平移矩阵，dB为所述第二视线方向向量。
通过采用上述技术方案，将预设影像坐标系下的视线方向向量转化为世界坐标系下的方向向量，能够确保不同摄像机之间的坐标参考系一致，以便在一个统一的坐标系中进行目标位置的三维重建。这是因为摄像机通常以其自身坐标系拍摄图像，而目标的三维坐标通常是相对于某个参考坐标系定义的。
可选的，在所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据之后，所述方法还包括：
发送所述第一图像至所述第二AR设备；
发送所述第一位置数据至所述第二AR设备；
在所述第二AR设备根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的验证位置数据后，接收所述第二AR设备发送的所述验证位置数据；
比对所述目标位置数据与所述验证位置数据是否一致，若所述目标位置数据与所述验证位置数据一致，则向第一用户和第二用户展示所述目标位置数据，所述第一用户佩戴所述第一AR设备，所述第二用户佩戴所述第二AR设备。
通过采用上述技术方案，通过将第一图像和第一位置数据发送到第二AR设备，使得第二AR设备可以根据第一视线方向向量、第二视线方向向量、第一位置数据和第二位置数据来确定预设目标的位置。然后，第二AR设备将验证位置数据发送回第一AR设备进行比对。如果目标位置数据与验证位置数据一致，则向第一用户和第二用户展示目标位置数据。进而可以检测出可能存在的错误或异常情况，并及时进行修正或处理。
在本申请的第二方面提供了一种应用于AR设备的目标定位装置，所述装置为第一AR设备，包括获取模块、识别模块以及计算模块，其中：
所述获取模块，用于获取第一图像和第二图像，所述第一图像为第一AR设备拍摄的图像，所述第二图像为第二AR设备拍摄的图像；
所述识别模块，用于确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；
所述计算模块，用于基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；
所述获取模块，用于获取第一位置数据，并获取所述第二AR设备发送的第二位置数据，所述第一位置数据为所述第一AR设备的位置数据，所述第二位置数据为所述第二AR设备的位置数据；
所述计算模块，用于根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。
可选的，所述计算模块，用于对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量。
所述计算模块，用于计算所述预设目标的坐标，具体计算公式如下：
；
其中，P为所述预设目标的坐标，dA’为所述第一方向向量，dB’为所述第二视线方向向量，所述第一位置数据为（xA，xB，xC），所述第二位置数据为（xB，yB，zB）。
所述计算模块，用于将所述预设目标的坐标设置为所述目标位置数据。
可选的，所述计算模块，用于通过如下公式计算所述第一视线方向向量：
；
其中，dA为所述第一视线方向向量，所述第一像素坐标为(uA，vA）。
所述计算模块，用于通过如下公式计算所述第二视线方向向量：
；
其中，dB为所述第二视线方向向量，所述第一像素坐标为(uB，vB）。
可选的，所述获取模块，用于获取第一用户输入的第一目标，所述第一用户佩戴所述第一AR设备，所述第一目标为所述预设目标在所述第一图像中的显像。
所述识别模块，用于确定所述第一目标在预设影像坐标系下的第一像素坐标，所述预设摄像坐标系为采集所述第一图像和所述第二图像时，基于AR设备的硬件参数设置的坐标系。
所述获取模块，用于发送所述第一目标的特征至所述第二AR设备。
所述获取模块，用于在所述第二AR设备基于所述第一目标的特征识别出第二目标后，获取所述第二AR设备发送的所述第二像素坐标，所述第二目标为所述预设目标在所述第二图像中的显像。
可选的，所述获取模块，用于获取所述第一用户的瞳孔变化。
所述识别模块，用于根据所述瞳孔变化，确定所述第一用户的观察视线。
所述识别模块，用于确定所述观察视线与所述第一图像的交点。
所述识别模块，用于对所述第一图像进行轮廓检测，识别得到多个第一待定目标。
所述识别模块，用于确定多个所述第一待定目标中的第二待定目标，所述第二待定目标包含所述交点。
所述计算模块，用于确定所述交点位于所述第二待定目标的聚焦时长。
所述识别模块，用于判断所述聚焦时长是否大于或等于预设时长，若所述聚焦时长大于或等于所述预设时长，则确定所述第二待定目标为所述第一目标。
可选的，所述计算模块，用于将预设影像坐标系下的所述第一视线方向向量转换到世界坐标系下的所述第一方向向量，具体通过如下公式转换：
；
其中，dA’为所述第一方向向量，RA是所述第一视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TA是所述第一视线方向向量进行坐标系转换的平移矩阵，dA为所述第一视线方向向量。
所述计算模块，用于将所述预设影像坐标系下的所述第二视线方向向量转换到所述世界坐标系下的所述第二方向向量，具体通过如下公式转换：
；
其中，dB’为所述第二方向向量，RB是所述第二视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TB是所述第二视线方向向量进行坐标系转换的平移矩阵，dB为所述第二视线方向向量。
可选的，所述获取模块，用于发送所述第一图像至所述第二AR设备。
所述获取模块，用于发送所述第一位置数据至所述第二AR设备。
所述计算模块，用于在所述第二AR设备根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的验证位置数据后，接收所述第二AR设备发送的所述验证位置数据。
所述识别模块，用于比对所述目标位置数据与所述验证位置数据是否一致，若所述目标位置数据与所述验证位置数据一致，则向第一用户和第二用户展示所述目标位置数据，所述第一用户佩戴所述第一AR设备，所述第二用户佩戴所述第二AR设备。
在本申请的第三方面提供了一种电子设备，包括处理器、存储器、用户接口以及网络接口，所述存储器用于存储指令，所述用户接口和所述网络接口均用于与其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上述任意一项所述的方法。
在本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上述任意一项所述的方法。
综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
相对于立体视觉法通过单个AR设备的两个摄像头采集图像，然后计算目标到AR设备的距离，以确定目标的位置。本申请考虑了两个不同视角下的预设目标的位置信息，通过获取第一图像和第二图像，并确定目标在两个图像中的像素坐标，然后结合两个AR设备的位置数据，计算出预设目标的目标位置数据。本申请利用多个AR设备之间的信息共享和协作来提高计算精度，将第一AR设备和第二AR设备的视线方向向量以及各自的位置数据结合起来，可以更准确地确定目标物体在空间中的位置，不会存在不同深度上的距离估计精度不均匀的问题。
附图说明
图1是本申请实施例公开的一种应用于AR设备的目标定位方法的流程示意图；
图2是本申请实施例公开的一种应用于AR设备的目标定位装置的结构示意图；
图3是本申请实施例公开的一种电子设备的结构示意图。
附图标记说明：201、获取模块；202、识别模块；203、计算模块；301、处理器；302、通信总线；303、用户接口；304、网络接口；305、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
增强现实（AR）设备是一种创新的可穿戴技术，这种设备融合了虚拟场景与真实世界。通常一个AR设备包括一个内置显示屏、摄像头和多种传感器，这些元件共同工作，使用户能够在他们的现实视野中看到虚拟元素。这些虚拟元素似乎与周围环境互动，就像它们存在于真实世界中一样。
用户佩戴这种眼镜后，可以在自己的视野中看到虚拟物体、图像、信息和交互元素。这些虚拟元素伴随用户的视线移动，与真实世界相互交织，营造出引人入胜的增强现实体验。这项技术有广泛的应用，例如AR设备在军事领域被开发出越来越多的应用功能，这些功能可以提高单兵的战斗能力、战场感知和决策制定。士兵还可以通过AR设备获得实时情报，包括敌人的位置、友军动向和其他重要信息，帮助他们更好地理解战场局势。
士兵在执行任务时，可能会遭到隐藏的目标阻击任务，因此需要及时发现目标，并快速处理目标。但有时候会需要其他友军辅助解决目标，因此需要先向友军提供目标的信息，以使友军找出目标。有相关技术可以通过AR设备进行跨设备目标共享，不同的AR设备在拍摄到同一目标后，在显示屏上进行标记，便于不同的士兵快速发现并确定目标。但是在确定目标时，需要获取该目标的位置信息。目前，有通过比较来自AR设备摄像头的两个图像之间的视差来计算目标位置的方法。在AR设备上配备双摄像头，通过检测相同物体在两个图像中的位置差异，使用立体视觉来计算物体与AR设备之间的距离。可以估算出深度信息。最后根据AR设备的位置以及物体与AR设备之间的距离，计算出目标的位置。
但是通过上述立体视觉法计算目标位置的方法在不同深度上的距离估计精度可能会不均匀。通常，距离摄像头更近的物体距离估计更准确，而远离摄像头的物体可能会有较大的距离误差，导致这一方法计算出的目标位置精确度较低。因此，需要一种方法提高AR设备的目标物体距离计算的精准度。
本实施例公开了一种应用于AR设备的目标定位方法，参照图1，包括如下步骤S110-S160：
S110，获取第一图像和第二图像。
本申请实施例公开的一种应用于AR设备的目标定位方法应用于第一AR设备，第一AR设备通信连接有第二AR设备，第一AR设备为一组通信连接的多个AR设备中的任意一个AR设备，第二AR设备为一组通信连接的多个AR设备中的任意一个AR设备。
第一AR设备和第二AR设备均设置有摄像头，用于实时拍摄佩戴AR设备的用户正前方的影像，第一AR设备的摄像头拍摄得到的图像为第一图像，第二AR设备的摄像头拍摄得到的图像为第二图像。
当第一AR设备的佩戴者第一用户需要对预设目标间定位时，首先需要先向第一AR设备输入预设目标，以使第一AR设备获取预设目标。预设目标可以现实中的任意物体，例如石头、人物或者动物等等。第一AR设备通过连接内置传感器监测第一用户的瞳孔变化。这些变化可能是用户的眼球在不断移动，以适应不同的观察目标，或者可能是瞳孔的收缩或扩张。基于眼动追踪技术，能够通过第一用户的瞳孔变化，判断出第一用户的观察视线。上述通过眼动追踪技术确定用户的观察视线仅为相关技术领域的技术人员所采用的常规技术手段，在此不再做进一步赘述。
观察视线确定后，第一AR设备需要计算出观察视线与第一图像的交点。这通常是通过将视线方向向量或者坐标与第一图像的坐标系进行对齐，然后找出两个坐标系之间的交点来实现的。这个步骤可以利用几何算法或者计算机视觉技术来实现。交点通常被表示为一个坐标，例如二维平面上的(x，y)坐标。
第一AR设备对第一AR设备进行轮廓检测。首先对第一AR设备进行预处理（例如滤波、去噪等），然后使用图像分割或者边缘检测算法来找出第一AR设备中不同待定目标的轮廓。通过轮廓检测，第一AR设备将识别出多个待定目标，得到多个第一待定目标。每个待定目标可以理解为图像中包含轮廓或者边界的形状。在识别出的多个第一待定目标中，第一AR设备将确定一个第二待定目标。第二待定目标通常包含交点，也就是说，这个目标被第一用户所注视。在前面步骤中，第一AR设备得到了交点的坐标，进一步根据每个第一待定目标的坐标数据以及形状数据，判断交点是否落入第一待定目标内。若根据坐标判断出交点落入某个第一待定目标内，则确定该第一待定目标为第二待定目标。
进一步地，从交点落入第二待定目标内开始计时，记录交点位于第二待定目标内的聚焦时长，即第一用户关注第二待定目标的时长。如果第一AR设备确定用户关注第二待定目标的聚焦时长大于或等于预设时长，则确定第二待定目标为预设目标，预设目标即第一用户需要共享的目标。其中，不同实施例中预设时长的具体数值可根据实际情况设定，本实施例不做具体限定。
通过结合第一用户的视线方向和关注时长来确定预设目标，可以更准确地识别出第一用户想要共享的预设目标。同时不需要第一用户手动选择或标记预设目标，减少了第一用户的操作步骤。通过自动识别和确定目标，可以加快目标共享的速度，进而提高目标共享效率。
S120，确定第一图像中的预设目标的第一像素坐标，以及第二图像中的预设目标的第二像素坐标。
像素坐标通常是由图像采集设备（AR设备的摄像头）直接提供的，它们是图像中每个点的坐标，通常以(u，v)表示，其中u表示水平方向的坐标，v表示垂直方向的坐标。这些坐标是离散的，通常以像素为单位。
在第一图像以及第二图像中，像素坐标的原点通常位于图像的左上角，水平方向u的坐标值从左到右递增，垂直方向v的坐标值从上到下递增。例如，左上角的像素坐标通常是(0，0)，右下角的像素坐标则取决于图像的分辨率。
第一AR设备的摄像头采集第一图像时，或者第二AR设备的摄像头采集第二图像时，每个物体点都会在图像传感器上产生一个像素坐标，这是通过光线从物体点射到图像传感器上相应的位置而得到的。通常，AR设备会自动为每个点计算像素坐标，这是由摄像机的成像过程完成的，涉及到镜头、传感器和其他摄像机参数。
用户向第一AR设备输入第一目标的信息后，第一AR设备确定第一目标的轮廓，然后将轮廓的中心点的像素的坐标，作为第一目标的坐标，得到第一像素坐标(uA，vA)。然后第一AR设备将第一目标的轮廓特征发送至第二AR设备，第二AR设备对第二图像进行轮廓检测，得了多个目标的待定轮廓，然后将多个待定轮廓与第一目标的轮廓进行一比对。将多个待定轮廓中与第一目标轮廓最接近的待定轮廓对应的目标设定为第二目标，第二目标即预设目标在第二图像中的显像。最后同样将第二目标的轮廓的中心点的像素坐标，作为第二目标的坐标，得到第二像素坐标(uB，vB)。
获取第一用户输入的第一目标，并确定第一目标在预设影像坐标系下的第一像素坐标，然后将第一目标的特征发送到第二AR设备。在第二AR设备基于第一目标的特征识别出第二目标后，获取第二目标在预设影像坐标系下的第二像素坐标。可以准确地确定第一目标和第二目标在预设影像坐标系下的像素坐标，从而可以更准确地确定目标物体在空间中的位置。
S130，基于第一像素坐标，确定拍摄预设目标的第一视线方向向量，以及基于第二像素坐标，确定拍摄预设目标的第二视线方向向量。
基于摄像机（第一AR设备的摄像头以及第二AR设备的摄像头）成像原理以及摄像机投影模型，可以将像素坐标映射到摄像机坐标系中的三维点，进而确定视线方向向量。摄像机成像原理即摄像机捕捉的图像是由光线经过摄像机镜头聚焦在成像平面（通常是图像传感器）上形成的。在这个过程中，光线会投影到成像平面上的像素。这个成像过程可以使用摄像机投影模型来描述。摄像机投影模型是一种数学模型，用于将三维世界中的点映射到二维图像平面上的像素坐标。这个模型通常包括焦距、主点坐标、畸变校正参数等内部参数，以及摄像机的位置和方向（旋转和平移矩阵）外部参数。根据摄像机投影模型，可以将三维点P(x，y，z)投影到摄像机坐标系中的点(X，Y，Z)。这个投影可以用以下公式表示：
；
其中，(X，Y，Z)是在摄像机坐标系中的三维点，(x，y，z)是在世界坐标系中的三维点，(fx，fy)是摄像机焦距，(cx，cy)是主点坐标。主点坐标是摄像机投影模型中的一个参数，它表示成像平面上的光轴与成像平面中心的交点坐标。
然后，通过将摄像机坐标系中的点(X，Y，Z)投影到成像平面上，得到像素坐标(u，v)。这个投影可以用以下公式表示：
；
最终，通过像素坐标(u，v)可以计算出视线方向向量。视线方向向量是从摄像机位置指向目标点的方向向量，视线方向向量描述了从AR设备的摄像头到预设目标的方向，这些方向向量将用于后续目标位置数据的计算。可以用以下公式表示第一视线方向向量：
；
其中，dA为第一视线方向向量，第一像素坐标为(uA，vA）；
通过如下公式表示第二视线方向向量：
；
其中，dB为第二视线方向向量，第一像素坐标为(uB，vB）。
S140，获取第一位置数据，并获取第二AR设备发送的第二位置数据。
首先，确保第一AR设备和第二AR设备都能够获取它们自己的位置数据。通常需要AR设备具备位置跟踪的功能，如GPS、惯性测量单元（IMU）、摄像头视觉定位等，AR设备可以通过这些传感器获取它们自己的位置信息。第二AR设备也需要获取自己的位置数据。它可以使用与第一AR设备相似的方式获取位置数据，并将其传输给第一AR设备。
S150，根据第一视线方向向量、第二视线方向向量、第一位置数据以及第二位置数据，确定预设目标的目标位置数据。
由于第一视线方向向量和第二视线方向向量均是预设影像坐标下的数据，而第一位置数据和第二位置数据均是世界坐标系之下的数据，因此需要进行坐标系转换，统一坐标系。将预设影像坐标系下的第一视线方向向量转换到世界坐标系下的第一方向向量，具体通过如下公式转换：
；
其中，dA’为第一方向向量，RA是第一视线方向向量从预设影像坐标到世界坐标系的旋转矩阵，TA是第一视线方向向量进行坐标系转换的平移矩阵，dA为第一视线方向向量。
将预设影像坐标系下的第二视线方向向量转换到世界坐标系下的第二方向向量，具体通过如下公式转换：
；
其中，dB’为第二方向向量，RB是第二视线方向向量从预设影像坐标到世界坐标系的旋转矩阵，TB是第二视线方向向量进行坐标系转换的平移矩阵，dB为第二视线方向向量。
旋转矩阵和平移矩阵是用来描述摄像机的外部参数，它们确定了摄像机的位置和方向，以便将视线方向向量从摄像机坐标系转化为世界坐标系。这些参数通常是通过摄像机标定和摄像机运动估计来确定的。
旋转矩阵用来表示摄像机的方向，即摄像机坐标系如何与世界坐标系相对旋转。通常，这是一个3x3的矩阵，常见的表示方式包括欧拉角、旋转向量、四元数等。旋转矩阵可以通过标定摄像机或使用摄像机的姿态传感器（如陀螺仪）来估计。平移矩阵用来表示摄像机相对于世界坐标系的平移。它通常是一个3x1的向量，描述了摄像机位置相对于世界坐标系原点的偏移。平移矩阵可以通过标定摄像机或使用其他传感器（如GPS）来估计。
在标定摄像机时，通常需要使用已知的标定目标或标定板，以不同的姿态（旋转和平移）拍摄图像。通过分析这些图像和已知的标定目标的位置，可以估计出摄像机的旋转矩阵和平移矩阵。这个过程通常称为摄像机标定，它可以使用各种标定方法和工具来完成，如张正友标定法。
将预设影像坐标系下的视线方向向量转化为世界坐标系下的方向向量，能够确保不同摄像机之间的坐标参考系一致，以便在一个统一的坐标系中进行目标位置的三维重建。这是因为摄像机通常以其自身坐标系拍摄图像，而目标的三维坐标通常是相对于某个参考坐标系定义的。
再通过如下计算公式计算预设目标的坐标：
；
其中，P为预设目标的坐标，dA’为第一方向向量，dB’为第二方向向量，第一位置数据为（xA，xB，xC），第二位置数据为（xB，yB，zB）。
计算第一方向向量与第二方向向量的叉积。叉积是一种向量运算，结果是一个新的向量，垂直于原始两个向量的平面。这个叉积向量的方向指向了两个原始向量所确定的平面内。在这个上下文中，第一方向向量与第二方向向量的叉积方向将指向目标所在的三维空间点。计算向量叉积的结果与(xA-xB)、(yA-yB)以及(zA-zB)的叉积，其中(xA-xB)、(yA-yB)以及(zA-zB)是第一AR设备与第二AR设备的的位置向量之差。这个差向量表示了从第一AR设备指向第二AR设备的方向。最后，将叉积结果除以叉积向量的模的平方，得到预设目标的坐标。这是通过向量加法和标量乘法来实现的，确保P位于两个方向向量所确定的平面上。最后，将预设目标的坐标设置为目标位置数据。
通过采用上述技术方案，相对于立体视觉法通过单个AR设备的两个摄像头采集图像，然后计算目标到AR设备的距离，以确定目标的位置。本申请考虑了两个不同视角下的预设目标的位置信息，通过获取第一图像和第二图像，并确定目标在两个图像中的像素坐标，然后结合两个AR设备的位置数据，计算出预设目标的目标位置数据。本申请利用多个AR设备之间的信息共享和协作来提高计算精度，将第一AR设备和第二AR设备的视线方向向量以及各自的位置数据结合起来，可以更准确地确定目标物体在空间中的位置，不会存在不同深度上的距离估计精度不均匀的问题。
进一步地，为了验证目标位置数据的计算结果是否准确，第一AR设备需要获取第二AR设备针对预设目标的位置数据计算结果，从而与目标位置数据比对，判断计算结果是否准确。第一AR设备只需要依次发送第一图像和第一位置数据至第二AR设备。然后第二AR设备参照第一AR设备计算目标位置数据的步骤，向计算出第一图像中预设目标的第一像素坐标，以及第二图像中的所述预设目标的第二像素坐标，这里的第二图像优选为除发送至第一AR设备的图像外的其他图像。然后基于第一像素坐标，计算拍摄预设目标的第一视线方向向量，以及基于第二像素坐标，计算拍摄预设目标的第二视线方向向量。最后，根据第一视线方向向量、第二视线方向向量、第一位置数据以及第二位置数据，计算预设目标的验证位置数据，并发送验证位置数据至第一AR设备。
第一AR设备接收验证位置数据后，将验证位置数据与目标位置数据进行比对，判断二者是否一致，若二者不一致，表明在确定预设目标的位置过程中出现错误。可能是两个AR设备观察的目标不一致造成，也有可能是其他原因造成，则需要重新确定目标并计算位置。如果目标位置数据与验证位置数据一致，表明第一AR设备与第二AR设备观测到的为同一目标，则第一AR设备向第一用户展示目标位置数据，第二AR设备向第二用户展示目标位置数据。
通过将第一图像和第一位置数据发送到第二AR设备，使得第二AR设备可以根据第一视线方向向量、第二视线方向向量、第一位置数据和第二位置数据来确定预设目标的位置。然后，第二AR设备将验证位置数据发送回第一AR设备进行比对。如果目标位置数据与验证位置数据一致，则向第一用户和第二用户展示目标位置数据。进而可以检测出可能存在的错误或异常情况，并及时进行修正或处理。
本实施例还公开了一种应用于AR设备的目标定位装置，装置为第一AR设备，参照图2，包括获取模块201、识别模块202以及计算模块203，其中：
获取模块201，用于获取第一图像和第二图像，第一图像为第一AR设备拍摄的图像，第二图像为第二AR设备拍摄的图像；
识别模块202，用于确定第一图像中的预设目标的第一像素坐标，以及第二图像中的预设目标的第二像素坐标；
计算模块203，用于基于第一像素坐标，确定拍摄预设目标的第一视线方向向量，以及基于第二像素坐标，确定拍摄预设目标的第二视线方向向量；
获取模块201，用于获取第一位置数据，并获取第二AR设备发送的第二位置数据，第一位置数据为第一AR设备的位置数据，第二位置数据为第二AR设备的位置数据；
计算模块203，用于根据第一视线方向向量、第二视线方向向量、第一位置数据以及第二位置数据，确定预设目标的目标位置数据。
在一种可能的实施方式中，计算模块203，用于对第一视线方向向量进行坐标系转换得到第一方向向量，对第二视线方向向量进行坐标系转换得到第二方向向量。
计算模块203，用于计算预设目标的坐标，具体计算公式如下：
；
其中，P为预设目标的坐标，dA’为第一方向向量，dB’为第二视线方向向量，第一位置数据为（xA，xB，xC），第二位置数据为（xB，yB，zB）。
计算模块203，用于将预设目标的坐标设置为目标位置数据。
在一种可能的实施方式中，计算模块203，用于通过如下公式计算第一视线方向向量：
；
其中，dA为第一视线方向向量，第一像素坐标为(uA，vA）。
计算模块203，用于通过如下公式计算第二视线方向向量：
；
其中，dB为第二视线方向向量，第一像素坐标为(uB，vB）。
在一种可能的实施方式中，获取模块201，用于获取第一用户输入的第一目标，第一用户佩戴第一AR设备，第一目标为预设目标在第一图像中的显像。
识别模块202，用于确定第一目标在预设影像坐标系下的第一像素坐标，预设摄像坐标系为采集第一图像和第二图像时，基于AR设备的硬件参数设置的坐标系。
获取模块201，用于发送第一目标的特征至第二AR设备。
获取模块201，用于在第二AR设备基于第一目标的特征识别出第二目标后，获取第二AR设备发送的第二像素坐标，第二目标为预设目标在第二图像中的显像。
在一种可能的实施方式中，获取模块201，用于获取第一用户的瞳孔变化。
识别模块202，用于根据瞳孔变化，确定第一用户的观察视线。
识别模块202，用于确定观察视线与第一图像的交点。
识别模块202，用于对第一图像进行轮廓检测，识别得到多个第一待定目标。
识别模块202，用于确定多个第一待定目标中的第二待定目标，第二待定目标包含交点。
计算模块203，用于确定交点位于第二待定目标的聚焦时长。
识别模块202，用于判断聚焦时长是否大于或等于预设时长，若聚焦时长大于或等于预设时长，则确定第二待定目标为第一目标。
在一种可能的实施方式中，计算模块203，用于将预设影像坐标系下的第一视线方向向量转换到世界坐标系下的第一方向向量，具体通过如下公式转换：
；
其中，dA’为第一方向向量，RA是第一视线方向向量从预设影像坐标到世界坐标系的旋转矩阵，TA是第一视线方向向量进行坐标系转换的平移矩阵，dA为第一视线方向向量。
计算模块203，用于将预设影像坐标系下的第二视线方向向量转换到世界坐标系下的第二方向向量，具体通过如下公式转换：
；
其中，dB’为第二方向向量，RB是第二视线方向向量从预设影像坐标到世界坐标系的旋转矩阵，TB是第二视线方向向量进行坐标系转换的平移矩阵，dB为第二视线方向向量。
在一种可能的实施方式中，获取模块201，用于发送第一图像至第二AR设备。
获取模块201，用于发送第一位置数据至第二AR设备。
计算模块203，用于在第二AR设备根据第一视线方向向量、第二视线方向向量、第一位置数据以及第二位置数据，确定预设目标的验证位置数据后，接收第二AR设备发送的验证位置数据。
识别模块202，用于比对目标位置数据与验证位置数据是否一致，若目标位置数据与验证位置数据一致，则向第一用户和第二用户展示目标位置数据，第一用户佩戴第一AR设备，第二用户佩戴第二AR设备。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本实施例还公开了一种电子设备，参照图3，电子设备可以包括：至少一个处理器301，至少一个通信总线302，用户接口303，网络接口304，至少一个存储器305。
其中，通信总线302用于实现这些组件之间的连接通信。
其中，用户接口303可以包括显示屏（Display）、摄像头（Camera），可选用户接口303还可以包括标准的有线接口、无线接口。
其中，网络接口304可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。
其中，处理器301可以包括一个或者多个处理核心。处理器301利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器305内的指令、程序、代码集或指令集，以及调用存储在存储器305内的数据，执行服务器的各种功能和处理数据。可选的，处理器301可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA）中的至少一种硬件形式来实现。处理器301可集成中央处理器301（CentralProcessing Unit，CPU）、图像处理器301（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器301中，单独通过一块芯片进行实现。
其中，存储器305可以包括随机存储器305（Random Access Memory，RAM），也可以包括只读存储器305（Read-Only Memory）。可选的，该存储器305包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器305可选的还可以是至少一个位于远离前述处理器301的存储装置。如图所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口303模块以及一种应用于AR设备的目标定位方法的应用程序。
在图3所示的电子设备中，用户接口303主要用于为用户提供输入的接口，获取用户输入的数据；而处理器301可以用于调用存储器305中存储一种应用于AR设备的目标定位方法的应用程序，当由一个或多个处理器301执行时，使得电子设备执行如上述实施例中一个或多个的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器305中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器305中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储器305包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种应用于AR设备的目标定位方法，其特征在于，所述方法应用于第一AR设备，所述第一AR设备通信连接有第二AR设备，所述方法包括：
获取第一图像和第二图像，所述第一图像为第一AR设备拍摄的图像，所述第二图像为第二AR设备拍摄的图像；
确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；
基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；
获取第一位置数据，并获取所述第二AR设备发送的第二位置数据，所述第一位置数据为所述第一AR设备的位置数据，所述第二位置数据为所述第二AR设备的位置数据；
根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。
2.根据权利要求1所述的一种应用于AR设备的目标定位方法，其特征在于，所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据，具体包括：
对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量；
计算所述预设目标的坐标，具体计算公式如下：
；
其中，P为所述预设目标的坐标，dA’为所述第一方向向量，dB’为所述第二视线方向向量，所述第一位置数据为（xA，xB，xC），所述第二位置数据为（xB，yB，zB）；
将所述预设目标的坐标设置为所述目标位置数据。
3.根据权利要求2所述的一种应用于AR设备的目标定位方法，其特征在于，所述基于所述第一像素坐标，确定第一AR设备拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定第二AR设备拍摄所述预设目标的第二视线方向向量，具体包括：
通过如下公式计算所述第一视线方向向量：
；
其中，dA为所述第一视线方向向量，所述第一像素坐标为(uA，vA）；
通过如下公式计算所述第二视线方向向量：
；
其中，dB为所述第二视线方向向量，所述第一像素坐标为(uB，vB）。
4.根据权利要求1所述的一种应用于AR设备的目标定位方法，其特征在于，所述确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标，具体包括：
获取第一用户输入的第一目标，所述第一用户佩戴所述第一AR设备，所述第一目标为所述预设目标在所述第一图像中的显像；
确定所述第一目标在预设影像坐标系下的第一像素坐标，所述预设摄像坐标系为采集所述第一图像和所述第二图像时，基于AR设备的硬件参数设置的坐标系；
发送所述第一目标的特征至所述第二AR设备；
在所述第二AR设备基于所述第一目标的特征识别出第二目标后，获取所述第二AR设备发送的所述第二像素坐标，所述第二目标为所述预设目标在所述第二图像中的显像。
5.根据权利要求3所述的一种应用于AR设备的目标定位方法，其特征在于，所述获取第一用户输入的第一目标，具体包括：
获取所述第一用户的瞳孔变化；
根据所述瞳孔变化，确定所述第一用户的观察视线；
确定所述观察视线与所述第一图像的交点；
对所述第一图像进行轮廓检测，识别得到多个第一待定目标；
确定多个所述第一待定目标中的第二待定目标，所述第二待定目标包含所述交点；
确定所述交点位于所述第二待定目标的聚焦时长；
判断所述聚焦时长是否大于或等于预设时长，若所述聚焦时长大于或等于所述预设时长，则确定所述第二待定目标为所述第一目标。
6.根据权利要求3所述的一种应用于AR设备的目标定位方法，其特征在于，对所述第一视线方向向量进行坐标系转换得到第一方向向量，对所述第二视线方向向量进行坐标系转换得到第二方向向量，具体包括：
将预设影像坐标系下的所述第一视线方向向量转换到世界坐标系下的所述第一方向向量，具体通过如下公式转换：
；
其中，dA’为所述第一方向向量，RA是所述第一视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TA是所述第一视线方向向量进行坐标系转换的平移矩阵，dA为所述第一视线方向向量；
将所述预设影像坐标系下的所述第二视线方向向量转换到所述世界坐标系下的所述第二方向向量，具体通过如下公式转换：
；
其中，dB’为所述第二方向向量，RB是所述第二视线方向向量从所述预设影像坐标到所述世界坐标系的旋转矩阵，TB是所述第二视线方向向量进行坐标系转换的平移矩阵，dB为所述第二视线方向向量。
7.根据权利要求1所述的一种应用于AR设备的目标定位方法，其特征在于，在所述根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据之后，所述方法还包括：
发送所述第一图像至所述第二AR设备；
发送所述第一位置数据至所述第二AR设备；
在所述第二AR设备根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的验证位置数据后，接收所述第二AR设备发送的所述验证位置数据；
比对所述目标位置数据与所述验证位置数据是否一致，若所述目标位置数据与所述验证位置数据一致，则向第一用户和第二用户展示所述目标位置数据，所述第一用户佩戴所述第一AR设备，所述第二用户佩戴所述第二AR设备。
8.一种应用于AR设备的目标定位装置，其特征在于，所述装置为第一AR设备，包括获取模块(201)、识别模块(202)以及计算模块(203)，其中：
所述获取模块(201)，用于获取第一图像和第二图像，所述第一图像为第一AR设备拍摄的图像，所述第二图像为第二AR设备拍摄的图像；
所述识别模块(202)，用于确定所述第一图像中的预设目标的第一像素坐标，以及所述第二图像中的所述预设目标的第二像素坐标；
所述计算模块(203)，用于基于所述第一像素坐标，确定拍摄所述预设目标的第一视线方向向量，以及基于所述第二像素坐标，确定拍摄所述预设目标的第二视线方向向量；
所述获取模块(201)，用于获取第一位置数据，并获取所述第二AR设备发送的第二位置数据，所述第一位置数据为所述第一AR设备的位置数据，所述第二位置数据为所述第二AR设备的位置数据；
所述计算模块(203)，用于根据所述第一视线方向向量、所述第二视线方向向量、所述第一位置数据以及所述第二位置数据，确定所述预设目标的目标位置数据。
9.一种电子设备，其特征在于，包括处理器(301)、存储器(305)、用户接口(303)以及网络接口(304)，所述存储器(305)用于存储指令，所述用户接口(303)和所述网络接口(304)均用于与其他设备通信，所述处理器(301)用于执行所述存储器(305)中存储的指令，以使所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-7任意一项所述的方法。
CN202311701892.3A 2023-12-12 2023-12-12 一种应用于ar设备的目标定位方法、装置及电子设备 Pending CN117710445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311701892.3A CN117710445A (zh) 2023-12-12 2023-12-12 一种应用于ar设备的目标定位方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311701892.3A CN117710445A (zh) 2023-12-12 2023-12-12 一种应用于ar设备的目标定位方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN117710445A true CN117710445A (zh) 2024-03-15

Family

ID=90150861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311701892.3A Pending CN117710445A (zh) 2023-12-12 2023-12-12 一种应用于ar设备的目标定位方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117710445A (zh)

Similar Documents

Publication Publication Date Title
US11741624B2 (en) Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US11386572B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
EP3665506B1 (en) Apparatus and method for generating a representation of a scene
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
CN107368192B (zh) Vr眼镜的实景观测方法及vr眼镜
KR20160094190A (ko) 시선 추적 장치 및 방법
JP6768933B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
US20190156511A1 (en) Region of interest image generating device
EP3706070A1 (en) Processing of depth maps for images
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
RU2020126876A (ru) Устройство и способ формирования изображений вида
KR20210150881A (ko) 전자 장치 및 그 동작 방법
CN112819970B (zh) 一种控制方法、装置及电子设备
CN117710445A (zh) 一种应用于ar设备的目标定位方法、装置及电子设备
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
CN112166594A (zh) 视频的处理方法和装置
US11972549B2 (en) Frame selection for image matching in rapid target acquisition
TWI460683B (zh) The way to track the immediate movement of the head
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
JP6930011B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
CN117676306A (zh) 一种ar眼镜的跨设备目标显示方法、装置及电子设备
CN117173252A (zh) Ar-hud驾驶员眼盒标定方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination