CN113008135A - 用于确定空间中目标点位置的方法、设备、电子装置及介质 - Google Patents

用于确定空间中目标点位置的方法、设备、电子装置及介质 Download PDF

Info

Publication number
CN113008135A
CN113008135A CN201911322608.5A CN201911322608A CN113008135A CN 113008135 A CN113008135 A CN 113008135A CN 201911322608 A CN201911322608 A CN 201911322608A CN 113008135 A CN113008135 A CN 113008135A
Authority
CN
China
Prior art keywords
target point
ray
determining
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911322608.5A
Other languages
English (en)
Other versions
CN113008135B (zh
Inventor
李江亮
周硙
方俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yimu Technology Co ltd
Original Assignee
Beijing Whyhow Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whyhow Information Technology Co Ltd filed Critical Beijing Whyhow Information Technology Co Ltd
Priority to CN201911322608.5A priority Critical patent/CN113008135B/zh
Publication of CN113008135A publication Critical patent/CN113008135A/zh
Application granted granted Critical
Publication of CN113008135B publication Critical patent/CN113008135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的实施例提供了用于确定空间中目标点位置的方法、设备、电子装置及存储介质，包括根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；以及根据所述第一射线和第二射线确定所述目标点的位置。本发明的方案可以简单、快速、准确地确定空间中任意点的位置。

Description

用于确定空间中目标点位置的方法、设备、电子装置及介质
技术领域
本发明属于增强现实和虚拟现实技术领域，尤其涉及一种用于确定空间中目标点位置的方法、设备、电子装置及存储介质。
背景技术
近年来，增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术取得了长足的进展，并获得了越来越广泛的应用。增强现实技术通过计算机技术将虚拟对象应用到现实场景，使得现实场景和虚拟对象实时地呈现到同一个画面或空间中，从而增强用户对现实世界的感知。虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的虚拟场景，其实体行为的仿真系统能够使用户沉浸到该虚拟场景中。然而，无论是AR中将虚拟对像叠加到现实场景中目标上，还是VR中根据现实场景建模以构建虚拟场景，都涉及到空间中目标的测量和定位。
通常，由多目相机组成的立体视觉系统或者基于激光或雷达的专业测绘工具可以实现对三维空间中目标的精确定位和测量，但成本较高且操作繁琐耗时。而基于计算机视觉的目标识别是从采集的图像中识别出相应目标及其在图像中的位置，但对于目标在三维空间中的实际位置难以做到精确定位。
发明内容
本发明的方案提供了一种用于确定空间中目标点位置的方法、设备、电子装置及存储介质，能方便快速地确定空间中任意点的位置。
上述目的是通过以下技术方案实现的：
根据本发明实施例的第一方面，提供了一种用于确定空间中目标点位置的方法，包括：根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；以及根据所述第一射线和第二射线确定所述目标点的位置。
在本发明的一些实施例中，所述根据所述第一射线和第二射线确定所述目标点的位置可以包括：根据所述第一射线和第二射线的交点确定所述目标点的位置；或者根据所述第一射线和第二射线的最接近的位置或者区域确定所述目标点的位置。
在本发明的一些实施例中，目标点在该设备的图像采集器件视野中的成像位置可以是响应于用户在该设备的图像显示媒介上选择的位置而确定的。
在本发明的一些实施例中，目标点在该设备的图像采集器件视野中的成像位置可以是在该设备的图像显示媒介上的指定位置。该方法还可包括在设备处于第一位置时和设备处于第二位置时，将该设备的图像显示媒介上的指定位置对准待定位的目标点，并确定设备处于第一位置时的位姿信息和设备处于第二位置时的位姿信息。
在本发明的一些实施例中，该方法还可包括通过设备的图像采集器件对预先设定的视觉标志进行图像采集，并基于所采集的视觉标志的图像来确定该设备初始的位姿信息；通过设备内置的传感器跟踪其自身位置和姿态的变化，并结合初始的位姿信息来确定设备处于第一位置和第二位置时的位姿信息。
在本发明的一些实施例中，该方法还可包括响应于检测到处于第一位置和/或第二位置的设备的图像采集器件的视野中具有预先设定的视觉标志，基于所采集的包含视觉标志的图像来确定该设备当前的位姿信息。
在本发明的一些实施例中，其中所述视觉标志可以为能够通过不同方式发光来传输不同的信息的光通信装置。
在本发明的一些实施例中，该方法还可包括在该设备的图像显示媒介上呈现所述第一射线；以及设备处于第二位置时根据所呈现的第一射线在该设备的图像显示媒介上选择所述目标点。
在本发明的一些实施例中，该方法还可包括在设备中记录通过该设备的图像采集器件采集到的一个或多个图像以及与每个图像相关联的采集该图像时设备的位姿信息；在确定第一射线后，在该设备的图像显示媒介上呈现之前记录的一个或多个图像供用户选择待定位的目标点；以及响应于用户对所述目标点在所呈现的图像中位置的选择，将该位置作为设备处于第二位置时所述目标点在该设备的图像采集器件视野中当前的成像位置，并将与所呈现的图像关联的采集该图像时设备的位姿信息作为设备处于第二位置时的位姿信息。
在本发明的一些实施例中，该方法还可包括基于所确定的目标点的位置，确定要在空间中放置的虚拟对象的位置、大小或方向。
在本发明的一些实施例中，该方法还可包括：选择位于空间中物体表面的多个点作为目标点；以及基于所确定的目标点的位置来测量对物体的面积和/或体积。
在本发明的一些实施例中，其中处于第一位置的设备与处于第二位置的设备可以是相同或者不同的设备。
根据本发明实施例的第二方面，提供了一种用于确定空间中目标点位置的设备，包括图像采集器件、图像显示媒介和控制器，其中控制器被配置为：根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；以及根据所述第一射线和第二射线确定所述目标点的位置。
根据本发明实施例的第三方面，还提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现根据本发明实施例的第一方面所述的方法。
根据本发明实施例的第四方面，还提供了一种电子装置，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现根据本发明实施例的第一方面所述的方法。
通过采用本申请的实施例的方案，可以方便、精确地确定空间中的目标点的位置，而且，该目标点不仅可以是空间中的实际物体或者其上的一些点(可称为实际点)，也可以是与实际物体无关的点(可称为虚拟点)，例如空中的任意一点。因此，本申请的实施例的方案并不要求目标点是实际物体上的点，也不需要检测到实际物体的存在，因此具有极强的适用性。
附图说明
以下参照附图对本发明实施例作进一步说明，其中：
图1为示例性的图像采集器件成像过程示意图；
图2示出了根据本发明一个实施例的用于确定空间中目标点位置的方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为方便描述，首先结合图1对与本发明相关的技术进行简单说明，以帮助理解本发明的实施例，但应指出这些技术说明并不一定构成现有技术。
诸如摄像头、相机之类的成像设备(也可以称为图像采集器件)的成像模型反映的是从空间实体对象到其图像的映射关系。物点P的空间位置通常可以通过其在参考坐标系中的坐标来标识。参考坐标系可以是物理世界坐标系(简称为物坐标系)，或者场所坐标系(例如，针对某个房间、建筑物、园区等建立的坐标系)，或者以某个已知位置的空间参照物为原点而建立的坐标系。以成像设备所在的位置Fc为原点建立的坐标系称为像坐标系，例如相机坐标系。以成像设备所采集的图像左上角的点为坐标原点，在成像平面内建立的二维坐标系称为像平面坐标系，或图像坐标系。相机坐标系的原点为相机的光心，其Z轴沿相机光轴与像平面垂直，相机光轴(即Z轴)与该像平面的交点为主点。
如图1所示，假设物点P在参考坐标系中的坐标为(X,Y,Z)，所对应的像点为q，其在相机坐标系中的坐标为(x，y，z)，在图像坐标系中的坐标为(u，v)，主点在图像坐标系中的坐标为(cx，cy)。物点P的在参考坐标系中的坐标(X，Y，Z)和相机坐标系中的坐标(x，y，z)之间的关系可以表示为：
Figure BDA0002327565290000041
定义变量：x′＝x/z，y′＝y/z；
那么，物点P在像平面坐标系中的坐标：
u＝fx*x′+cx且v＝fy*y′+cy(2)；
其中，fx和fy分别为成像设备在x轴和y轴方向的焦距，cx，cy为主点在像平面坐标系中的坐标，fx、fy、cx、cy都为成像设备内部参数，可以提前测知。旋转矩阵R和位移矢量t分别表示相机坐标系与参考坐标系间的相对位置和姿态关系，称为成像设备的外部参数。在三维空间中，旋转可以分解为绕各自坐标轴的二维旋转，如果依次绕x,y,z轴旋转角度ψ，
Figure BDA0002327565290000057
和θ，那么总的旋转矩阵R是三个矩阵Rx(ψ)，
Figure BDA0002327565290000058
Rz(θ)的乘积，即：
Figure BDA0002327565290000059
Figure BDA00023275652900000510
其中，
Figure BDA0002327565290000051
Figure BDA0002327565290000052
Figure BDA0002327565290000053
为了简单起见，并因为是本领域公知的，在此不再展开计算，仅简单地将旋转矩阵写成如下形式：
Figure BDA0002327565290000054
而位移矢量t可以简单地写成如下形式，即
Figure BDA0002327565290000055
于是得到如下关系式：
Figure BDA0002327565290000056
其中，s为物像转换因子，等于像平面的大小与成像设备分辨率的比值，也是已知的。实际上，成像设备的外部参数旋转矩阵R和位移矢量t也可以用来描述或确定成像设备的相机坐标系原点相对于参考坐标系的位置和姿态。
成像设备内部参数可以由设备自身提前测知，而成像设备的外部参数R和t的确定，可以通过成像设备的标定过程来完成。通常，通过利用成像设备对于诸如平面棋盘格标定板的标定物或其他已知其在参考坐标系下位置的标识物进行图像采集就可以确定出成像设备的外部参数，从而确定了该成像设备的相机坐标系与参考坐标系之间的变换或映射关系。
在本发明的实施例中提供了一种用于确定空间中目标点位置的方法，利用具有图像采集器件(例如摄像头)的设备(例如手机)在至少两个不同位置对目标点进行图像采集，根据在不同位置处的设备位姿信息(也即，位置和姿态信息)及目标点在图像采集器件中的成像位置来确定目标点的位置，从而可以通过带有图像采集器件的设备来简单方便快速地确定空间中任意点的位置。图2给出了根据本发明一个实施例的用于确定空间中目标点位置的方法的流程示意图。概况而言，该方法包括步骤201，根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；步骤202，根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；步骤203，根据第一射线和第二射线确定所述目标点的位置。
更具体地，在步骤201，利用具有图像采集器件的设备对待定位的目标点进行图像采集，确定采集图像时该设备当前的位置和姿态信息(简称位姿信息)和该目标点在该设备的图像采集器件视野中的成像位置。其中，目标点在设备的图像采集器件视野中的成像位置可以理解为该目标点在二维成像平面内的位置。参考图1可以看出，在以进行图像采集的设备为原点的相机坐标系中，从原点出发并经目标点在成像平面中的位置可以唯一地确定一条以设备为起点的向远处延伸的射线，该射线还会经过空间中的该目标点。该射线上的任何点具有相对于该设备的相同方向，并且该目标点的实际空间位置也会位于该射线上。因此，基于该设备当前的位姿信息和目标点在该设备的图像采集器件视野中的成像位置可以确定空间中以该设备当前位置为起点且经过该目标点的一条射线(为方便描述，简称为第一射线)。
在一些实施例中，空间中待定位的目标点可以是空间中任意目标物体或物体的某些特征点，例如空间中的光源、角点(例如，桌子的角、墙壁的角)等。目标点的位置可以是目标物体的中心点位置或其特征点的位置。在又一些实施例中，待定位的目标点并不是实际物体或者实际物体的一部分，而可以是空间中的任意一个点，例如位于空中的任意一个点。这样的目标点可以称为“虚拟点”，尽管其并不会作为实际物体呈现在设备的图像显示媒介上，但通过设备的图像显示媒介上仍可以确定与该“虚拟点”对应的成像位置。目标点在设备的图像采集器件视野中的位置可以响应于用户的输入来确定。设备将通过图像采集器件采集的图像呈现在图像显示媒介上(例如显示屏)，使得用户可以通过图像显示媒介来选择或确定待定位的目标点。在一个实施例中，用户可以选择(例如，单击、双击等)图像显示媒介上的某个位置，该所选择的位置即为目标点在设备的图像采集器件视野中的位置，同时设备记录相对应的此时设备的位姿信息。在又一个实施例中，可以在设备的图像显示媒介上的特定位置处呈现一个选择标志(例如，十字、圆点等)，当设备处于某个位置时，用户使得该选择标志对准某个目标点，之后按下按键记录设备此时的位姿信息。在该实施例中，该选择标志的位置就是该目标点在该设备的图像采集器件视野中的成像位置，该选择标志对准目标点时记录的设备的位姿信息即为相对应的设备当前的位姿信息。
在利用设备对目标点进行图像采集时，可以通过多种方式来确定该设备当前的位置和姿态信息。在一个实施例中，设备当前的位置和姿态可以利用设备内置的多个传感器，例如GPS传感器、加速度传感器、磁力传感器、方向传感器、重力传感器、陀螺仪、摄像头等通过本领域已知的方法来确定。在又一个实施例中，设备可以通过采集包括视觉标志的图像来确定其初始的位置和姿态信息，随后通过内置的传感器跟踪其自身位置和姿态的变化，并基于初始位姿来确定当前的位姿信息。在又一个实施例中，设备可以在每个位置处通过采集包含视觉标志的图像来确定当前的位姿信息。
其中设备可以利用反向定位法通过对预先设置的视觉标志进行图像采集来确定该设备相对于视觉标志的位置和姿态信息。视觉标志可以采用便于具有图像采集器件的设备确定其位姿信息的任何形式。例如，视觉标志是预先标定好物理尺寸的标志物，当设备对该视觉标志进行图像采集时，可以根据该视觉标志的物理尺寸、所采集的图像中视觉标志的成像大小、采集图像时的焦距参数等，获得该设备相对于视觉标志的位置和姿态信息。又例如，视觉标志物可以是预先标定好位置的多个点或其上设置有位置已知的多个点的标志物，例如四个点A、B、C和D，对这些点采集后的图像中对应的像点为A’、B’、C’和D’。在设备采集到这些点的图像后，参考上文结合图1的描述，将该四个点的位置坐标信息(XA，YA，ZA)、(XB，YB，ZB)、(XC，YC，ZC)和(XD，YD，ZD)和其对应的四个像点A’、B’、C’和D’在成像平面上的坐标(uA’，vA’)、(uB’，vB’)、(uC’，vC’)和(uD’，vD’)，代入上述关系式(3)，求解得到旋转矩阵R和位移矢量t，就可以得到设备相对于该视觉标志的位置和姿态信息。当视觉标志在参考坐标系中位姿信息已知时，通过R和t可以得到设备在参考坐标系中的位姿信息。如上文提到的，参考坐标系可以是物理世界坐标系(简称为物坐标系)，或者场所坐标系(例如，针对某个房间、建筑物、园区等建立的坐标系)，甚至也可以是以视觉标志为参照物而建立的坐标系。
所确定的设备的位姿信息可以是设备相对于视觉标志的位姿信息，也即设备在视觉标志坐标系下的位姿信息；也可以是设备在其他物理坐标系下的位姿信息，该物理坐标系可以是场所坐标系(例如，针对某个房间、建筑物、园区等建立的坐标系)或者世界坐标系。在这种情况下，视觉标志在该物理坐标系下的位姿信息被提前标定并存储。通过设备相对于视觉标志的位姿信息以及视觉标志本身在某个物理坐标系下的位姿信息，可以确定设备在该物理坐标系下的位姿信息。为方便描述，在本文的实施例中，如果没有明确指定所针对或相对的参照物的情况下，无论是设备的位置和姿态，还是目标点的位置都默认为参考坐标系中的位置和姿态。
在优选的实施例中，视觉标志可以是能够通过发出不同的光来传输不同的信息的光通信装置(也可以称为光标签)，例如在中国专利公开CN104168060A、CN105740936A、专利申请CN201711374915.9、CN201711374042.1、CN201711375274.9等中所描述的光通信装置。可以使用带有图像采集器件的设备对光标签进行图像采集来获得该光标签传递的标识信息，并基于该标识信息来访问相应的服务器来获取与该光标签相关的信息，例如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。设备基于所获取的光标签相关信息与所采集的光标签图像来确定该设备相对于光标签的位姿信息，并进一步基于光标签在参考坐标系中位姿信息，得到设备在参考坐标系中的位姿信息。
继续参考图2，在步骤201基于该设备当前的位姿信息和目标点在该设备的图像采集器件视野中的成像位置确定第一射线后，设备移动到不同位置继续对该目标点进行图像采集。
当设备处于不同位置对目标点进行图像采集时，其图像采集器件的视野中可能具有视觉标志，也可能不具有视觉标志。当设备的图像采集器件的视野中具有视觉标志时，可以通过所采集的包含视觉标志的图像来确定该设备当前的位姿信息。
为方便描述，将步骤201中设备所处的位置记为第一位置，将后续的步骤202中设备所处的位置记为第二位置。在步骤202，采用如上文结合步骤201介绍的方法，利用具有图像采集器件的设备对待定位的目标点进行图像采集，确定在该设备当前位置(即与第一位置不同的第二位置)采集图像时该设备的位姿信息和该目标点在该设备的图像采集器件视野中当前的成像位置，从而可以确定空间中以该设备第二位置为起点且经过该目标点的一条射线(简称为第二射线)。该射线上的任何点具有相对于该设备的相同方向，并且该目标点的实际空间位置也会位于该第二射线上。在上文介绍步骤201时已经提到该目标点的实际空间位置也会位于第一射线上。由此，在步骤203，根据第一射线和第二射线确定该目标点的位置。通常，第一射线和第二射线的交点就是待定位的目标点在空间中的位置。但有时候由于在确定设备位姿信息和目标点成像位置时可能存在误差，导致两条射线在空间中互相错开，为保证该方法的鲁棒性，在本发明的一个实施例中，可以根据第一射线和第二射线的最接近的位置或者区域确定目标点的位置。事实上，当两条射线相交时，其交点也正好处于这两条射线距离最近的空间位置。
在上文的实施例中使用设备在两个不同位置处确定了两条射线，但可以理解，可以使用设备在多于两个位置处确定多于两条射线，并根据这些射线来确定目标点在空间中的位置。通过这种方式，可以提高精度，减小误差。
在一个实施例中，可以使用一个设备在不同位置处实现上述方法。在另一个实施例中，也可以使用处于不同位置的两个或更多个设备来实现上述方法。因此，步骤201所涉及的设备与步骤202所涉及的设备可以是相同或者不同的设备。
在用户通过设备的图像显示媒介来选择待定位的目标点的一些实施例中，该方法还可以包括在设备中记录或保存通过该设备的图像采集器件采集到的一个或多个图像以及与每个图像相关联的采集该图像时设备的位姿信息。这样，在步骤201根据该设备处于第一位置时的位姿信息和目标点在该设备的图像采集器件视野中的成像位置确定第一射线后，可以不需要将设备移动到不同位置继续对该目标点进行图像采集，而是在该设备的图像显示媒介上呈现之前记录或保存的一个或多个图像供用户选择，用户可以从所呈现的图像中选择待定位的目标点，从而得到待定位目标点的成像位置，同时提取与所呈现的图像关联的采集该图像时设备的位姿信息作为设备处于第二位置时对应的位姿信息，从而可以确定第二射线。如此，使得用户仅需在一个位置处对目标点进行一次图像采集就能确定目标点位置，不需要另外移动到其他位置继续对目标点进行第二次图像采集，提高了目标点的定位效率，也改善了用户体验。
在用户通过设备的图像显示媒介来选择待定位的目标点的又一些实施例中，该方法还可以包括在步骤201建立第一射线后，在该设备的图像显示媒介上呈现第一射线，这样，当设备处于第二位置时，用户可以根据所呈现的第一射线在该设备的图像显示媒介上更准确地选择目标点的成像位置，减少了定位误差。
在一些实施例中，用户通过设备的图像显示媒介所选择的待定位的目标点可以是空间中的任意一个点。在通过上述步骤201、202和203确定用户所选择的目标点的位置后，还可以基于目标点的位置，确定要在空间中放置的虚拟对象的位置、大小或方向。例如，可以将某个目标点确定为虚拟对象(例如虚拟球体)的中心点，从而确定该虚拟对象的位置。可以选择多个目标点，其中将第一个目标点的位置确定为虚拟球体的圆心，将第二个目标点确定为球体表面上的一个点(也即，将第一目标点和第二目标点的距离确定为球体半径)，从而可以确定整个虚拟球体在空间中的位置和大小。又例如，还可以根据几个目标点来确定一个虚拟立方体的各个顶点，从而确定该虚拟立方体的位置、大小和方向。如上文提到的，本申请的实施例的方案不仅可以确定空间中的实际物体或者其上的一些点(可称为实际点)的位置，还可以确定与实际物体无关的点(可称为虚拟点)的位置，因此，本申请的方案对于在空间中的某个目标点(例如，空中的一个点)处放置虚拟对象是非常有利的。
在一些实施例中，该方法还可以包括在利用所选择的一个或多个目标点来针对空间中的一个或多个实际物体进行测量。例如，可以将空间中待测量的物体表面上的多个点选择作为目标点，通过上述步骤201、202和203确定该多个点的位置之后，可以计算与该多个点相关的相对距离、相对方向、所围起的面积、所围起的体积等。
在本发明的一个实施例中，还提供了一种用于确定空间中目标点位置的设备，包括图像采集器件和控制器，其中控制器被配置为执行上文结合步骤201、202和203所介绍的方法。在一些实施例中，该设备上还可以安装有图像显示媒介(例如显示屏)。该设备可以多种硬件形式实现，例如便于用户携带或控制的手机、平板电脑、智能眼镜、AR眼镜、VR眼镜、智能头盔、智能手表、等等，但是可以理解，该设备也可以是能够自主移动的机器，例如，无人机、无人驾驶汽车、机器人等。
在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
在本发明的另一个实施例中，可以以电子装置的形式来实现本发明。该电子装置包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (16)

1.一种用于确定空间中目标点位置的方法，包括：
根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；
根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；
根据所述第一射线和第二射线确定所述目标点的位置。
2.根据权利要求1所述的方法，其中，所述根据所述第一射线和第二射线确定所述目标点的位置包括：
根据所述第一射线和第二射线的交点确定所述目标点的位置；或者
根据所述第一射线和第二射线的最接近的位置或者区域确定所述目标点的位置。
3.根据权利要求1所述的方法，其中目标点在设备的图像采集器件视野中的成像位置是响应于用户在该设备的图像显示媒介上选择的位置而确定的。
4.根据权利要求1所述的方法，其中目标点在设备的图像采集器件视野中的成像位置是在该设备的图像显示媒介上的指定位置。
5.根据权利要求4所述的方法，还包括在设备处于第一位置或第二位置时，将设备的图像显示媒介上的指定位置对准待定位的目标点，并确定设备此时的位姿信息。
6.根据权利要求1所述的方法，还包括：
通过设备的图像采集器件对预先设定的视觉标志进行图像采集，并基于所采集的视觉标志的图像来确定该设备初始的位姿信息；
通过设备内置的传感器跟踪其自身位置和姿态的变化，并结合初始的位姿信息来确定设备处于第一位置和第二位置时的位姿信息。
7.根据权利要求1所述的方法，还包括：
响应于检测到处于第一位置和/或第二位置的设备的图像采集器件的视野中具有预先设定的视觉标志，基于所采集的包含视觉标志的图像来确定该设备当前的位姿信息。
8.根据权利要求6或7所述的方法，其中所述视觉标志为能够通过不同方式发光来传输不同的信息的光通信装置。
9.根据权利要求3所述的方法，还包括：
在该设备的图像显示媒介上呈现所述第一射线；
设备处于第二位置时根据所呈现的第一射线在该设备的图像显示媒介上选择所述目标点。
10.根据权利要求3所述的方法，还包括：
在设备中记录通过该设备的图像采集器件采集到的一个或多个图像以及与每个图像相关联的采集该图像时设备的位姿信息；
在确定第一射线后，在该设备的图像显示媒介上呈现之前记录的一个或多个图像供用户选择待定位的目标点；
响应于用户对所述目标点在所呈现的图像中位置的选择，将该位置作为设备处于第二位置时所述目标点在该设备的图像采集器件视野中当前的成像位置，并将与所呈现的图像关联的采集该图像时设备的位姿信息作为设备处于第二位置时的位姿信息。
11.根据权利要求1所述的方法，还包括基于所确定的目标点的位置，确定要在空间中放置的虚拟对象的位置、大小或方向。
12.根据权利要求1所述的方法，还包括：
选择位于空间中物体表面的多个点作为目标点；以及
基于所确定的目标点的位置来测量对物体的面积和/或体积。
13.根据权利要求1所述的方法，其中，处于第一位置的设备与处于第二位置的设备是相同的设备或者不同的设备。
14.一种用于确定空间中目标点位置的设备，包括图像采集器件、图像显示媒介和控制器，其中控制器被配置为：
根据设备处于第一位置时的位姿信息与目标点在该设备的图像采集器件视野中当前的成像位置，确定以第一位置为起点的第一射线；
根据设备处于第二位置时的位姿信息与所述目标点在该设备的图像采集器件视野中当前的成像位置，确定以第二位置为起点的第二射线；
根据所述第一射线和第二射线确定所述目标点的位置。
15.一种电子装置，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-13中任一项所述的方法。
16.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-13中任一项所述的方法。
CN201911322608.5A 2019-12-20 2019-12-20 用于确定空间中目标点位置的方法、设备、电子装置及介质 Active CN113008135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911322608.5A CN113008135B (zh) 2019-12-20 2019-12-20 用于确定空间中目标点位置的方法、设备、电子装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911322608.5A CN113008135B (zh) 2019-12-20 2019-12-20 用于确定空间中目标点位置的方法、设备、电子装置及介质

Publications (2)

Publication Number Publication Date
CN113008135A true CN113008135A (zh) 2021-06-22
CN113008135B CN113008135B (zh) 2023-09-05

Family

ID=76382117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911322608.5A Active CN113008135B (zh) 2019-12-20 2019-12-20 用于确定空间中目标点位置的方法、设备、电子装置及介质

Country Status (1)

Country Link
CN (1) CN113008135B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116558504A (zh) * 2023-07-11 2023-08-08 之江实验室 一种单目视觉的定位方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913417A (zh) * 2016-04-05 2016-08-31 天津大学 基于透视投影直线的几何约束位姿方法
US20170214899A1 (en) * 2014-07-23 2017-07-27 Metaio Gmbh Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
CN107049488A (zh) * 2017-05-27 2017-08-18 北京航空航天大学 一种单平面手术定位方法及模型
CN107167116A (zh) * 2017-03-13 2017-09-15 湖北汽车工业学院 一种空间圆弧位姿的视觉检测方法
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN109936712A (zh) * 2017-12-19 2019-06-25 陕西外号信息技术有限公司 基于光标签的定位方法及系统
CN110298878A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种目标物体三维位姿的确定方法、装置及电子设备
CN110381111A (zh) * 2019-06-03 2019-10-25 华为技术有限公司 一种显示方法、位置确定方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214899A1 (en) * 2014-07-23 2017-07-27 Metaio Gmbh Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
CN105913417A (zh) * 2016-04-05 2016-08-31 天津大学 基于透视投影直线的几何约束位姿方法
CN107167116A (zh) * 2017-03-13 2017-09-15 湖北汽车工业学院 一种空间圆弧位姿的视觉检测方法
CN107049488A (zh) * 2017-05-27 2017-08-18 北京航空航天大学 一种单平面手术定位方法及模型
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN109936712A (zh) * 2017-12-19 2019-06-25 陕西外号信息技术有限公司 基于光标签的定位方法及系统
CN110298878A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种目标物体三维位姿的确定方法、装置及电子设备
CN110381111A (zh) * 2019-06-03 2019-10-25 华为技术有限公司 一种显示方法、位置确定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱兴龙: "基于立体视觉和激光标记的空间物体位姿的快速定位算法", 《机械工程学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116558504A (zh) * 2023-07-11 2023-08-08 之江实验室 一种单目视觉的定位方法及装置
CN116558504B (zh) * 2023-07-11 2023-09-29 之江实验室 一种单目视觉的定位方法及装置

Also Published As

Publication number Publication date
CN113008135B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
US20150116691A1 (en) Indoor surveying apparatus and method
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
CN104424630A (zh) 三维重建方法及装置、移动终端
CN113345028B (zh) 一种确定目标坐标变换信息的方法与设备
WO2006082825A1 (ja) 指標配置計測方法、位置姿勢推定方法、指標配置計測装置、位置姿勢推定装置
EP1242966A1 (en) Any aspect passive volumetric image processing method
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
CN105894511A (zh) 标定靶设置方法、装置及停车辅助系统
CN112254670A (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
Resch et al. On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry
CN110807431A (zh) 对象定位方法、装置、电子设备及存储介质
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
KR20190130407A (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
CN113240754B (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113008135B (zh) 用于确定空间中目标点位置的方法、设备、电子装置及介质
JPH11514434A (ja) イメージデータを用いてカメラの位置及び配向を決定する方法と装置
CN111161350B (zh) 位置信息及位置关系确定方法、位置信息获取装置
JP2003296708A (ja) データ処理方法、データ処理プログラムおよび記録媒体
CN107787507A (zh) 获得表示图像的锐度级别的配准误差图的装置和方法
CN115100257A (zh) 套管对准方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230802

Address after: B708, Tiandao United Building, Building 1, No. 35 Jinghai Fourth Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100023

Applicant after: Beijing Yimu Technology Co.,Ltd.

Address before: 100176 room 801, 8 / F, block B, AVIC Plaza, 15 ronghua South Road, Yizhuang Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: BEIJING WHYHOW INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant