CN108986161A - 一种三维空间坐标估计方法、装置、终端和存储介质 - Google Patents

一种三维空间坐标估计方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN108986161A
CN108986161A CN201810628314.4A CN201810628314A CN108986161A CN 108986161 A CN108986161 A CN 108986161A CN 201810628314 A CN201810628314 A CN 201810628314A CN 108986161 A CN108986161 A CN 108986161A
Authority
CN
China
Prior art keywords
point
dimensional
camera
target
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810628314.4A
Other languages
English (en)
Other versions
CN108986161B (zh
Inventor
李佩易
周响南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201810628314.4A priority Critical patent/CN108986161B/zh
Publication of CN108986161A publication Critical patent/CN108986161A/zh
Application granted granted Critical
Publication of CN108986161B publication Critical patent/CN108986161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明实施例公开了一种三维空间坐标估计方法、装置、终端和存储介质。该方法包括：获取二维视频的标记图像帧中的标记点对应的二维像素坐标；根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线；根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点；根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标。本发明实施例的技术方案，可以提高三维空间坐标的估计准确度，并降低硬件成本。

Description

一种三维空间坐标估计方法、装置、终端和存储介质
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种三维空间坐标估计方法、装置、终端和存储介质。
背景技术
在计算机视觉研究领域中，通常需要估计二维视频中某张二维图像帧上的某个标记点对应的三维空间坐标。例如，在基于增强现实的远程指导中，需要确定远程端的指导人员在某张二维图像帧上的标记点对应的三维空间坐标，以使现场端的操作人员可以看到三维立体的标记点，便于操作准确。
通常，利用两种估计方法来确定标记点对应的三维空间坐标。第一种估计方法是：在根据SLAM(Simultaneous Localization And Mapping)算法创建三维点云后，利用重建的三维点云拟合出一个世界坐标系下的平面，然后通过坐标系的映射关系，将标记点的像素坐标映射到拟合出的世界坐标系下的平面上，确定与该标记点对应的映射点，最后根据该平面在世界坐标系下的表达式，反推出该映射点在世界坐标系下的三维坐标。第二种估计方法是：利用RGB(Red Green Blue)摄像头和深度摄像头分别采集二维图像和深度图像，计算标记点的像素坐标对应的在深度图像中的深度像素坐标，然后从该深度像素坐标获取深度信息，从而可以推算出在世界坐标系下该标记点对应的三维空间坐标。
然而，对于第一种估计方法，无论二维视频中的标记点是否在平面上，该标记点的三维空间坐标均会落到强行拟合出来的平面上，从而在计算画面中非平面上的标记点对应的三维空间坐标时，会出现很大的偏差，估计准确度较差。例如，在应用场景是在一个桌面上的话，由于桌面不是绝对平面的，桌面上可能有各种摆设、办公用具等，这些物体都是具有深度信息，使得拟合出来的平面经常会漂浮在空中，从而导致二维视频中标记点对应的三维空间坐标的估计出现很大偏差。
对于第二种估计方法，由于需要在RGB摄像头外增加一个深度摄像头，从而大大增加了硬件的成本。同时，在已有的硬件上，若没有深度摄像头，则无法使用该种方法，使得该种方法的实用限制较大。
可见，目前急需一种只利用一个普通RGB摄像头来更加准确的确定标记点对应的三维空间坐标的技术方案。
发明内容
本发明实施例提供了一种三维空间坐标估计方法、装置、终端和存储介质，以提高估计准确度，并降低硬件成本。
第一方面，本发明实施例提供了一种三维空间坐标估计方法，包括：
获取二维视频的标记图像帧中的标记点对应的二维像素坐标；
根据像素坐标系与相机坐标系之间的第一转换关系，确定于所述相机坐标系下所述二维像素坐标对应的第一映射直线；
根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，其中所述三维世界点云和所述第二转换关系根据所述二维视频和预设重建算法确定；
根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标。
第二方面，本发明实施例还提供了一种三维空间坐标估计装置，包括：
二维像素坐标获取模块，用于获取二维视频的标记图像帧中的标记点对应的二维像素坐标；
第一映射直线确定模块，用于根据像素坐标系与相机坐标系之间的第一转换关系，确定于所述相机坐标系下所述二维像素坐标对应的第一映射直线；
目标相机点确定模块，用于根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，其中所述三维世界点云和所述第二转换关系根据所述二维视频和预设重建算法确定；
相机三维空间坐标确定模块，用于根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标。
第三方面，本发明实施例还提供了一种终端，所述终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的三维空间坐标估计方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的三维空间坐标估计方法。
本发明实施例通过获取二维视频的标记图像帧中的标记点对应的二维像素坐标，根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线；并根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点；根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下所述标记点对应的相机三维空间坐标。本实施例可以只利用一个普通RGB摄像头拍摄二维视频，无需增加深度摄像头获取深度图像，从而降低了硬件成本。并且本实施例无需限制二维视频的标记图像帧中标记点的位置，无论该标记点在平面上，还是处于悬空状态，均可以准确的估计该标记点对应的三维空间坐标，从而大大提高了三维空间坐标估计的准确度。
附图说明
图1是本发明实施例一提供的一种三维空间坐标估计方法的流程图；
图2是本发明实施例一提供的基于ORB特征点的即时定位与地图构建SLAM算法的流程图；
图3是本发明实施例二提供的一种三维空间坐标估计方法的流程图；
图4是本发明实施例三提供的一种三维空间坐标估计方法的流程图；
图5是本发明实施例四提供的一种三维空间坐标估计装置的结构示意图；
图6是本发明实施例五提供的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种三维空间坐标估计方法的流程图，本实施例可适用于估计二维图像帧中的标记点对应的三维空间坐标的情况，尤其是可以用于增强现实的远程指导的场景中，同时也可以用于其他需要估计三维空间坐标的应用场景。该方法可以由三维空间坐标估计装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于智能终端中，比如智能手机、平板电脑、智能眼镜等。该方法具体包括以下步骤：
S110、获取二维视频的标记图像帧中的标记点对应的二维像素坐标。
其中，本实施例可以利用一个普通的RGB摄像头来拍摄二维视频。二维视频中的每张图像帧不带有物体的深度信息。本实施例中的二维视频可以是指利用运动的摄像头拍摄的静态环境下的视频。标记图像帧是指带有标记点的图像帧，其可以是二维视频中的任意一张图像帧。本实施例可以将标记图像帧中的任意位置确定为标记点，该标记点可以在平面上，也可以处于悬空状态。示例性的，若标记图像帧的图像内容为包括水杯的一个桌面，则该标记点可以是桌面这个平面上的一点，也可以是放置在桌面上的水杯的杯柄尖端。标记图像帧中的标记点的数量可以是一个，也可以是多个。当存在多个标记点时，可以利用本实施例提供的三维空间坐标估计方法逐个计算每个标记点对应的三维空间坐标。在图像平面上，可以将图像平面的左上角顶点确定为像素坐标系的原点，以水平线和铅直线分别确定为u轴和v轴，从而建立像素坐标系o-uv。标记点对应的二维像素坐标是指于像素坐标系下该标记点对应的像素坐标。
S120、根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线。
其中，在空间中，可以将相机光心确定为相机坐标系的原点，建立相机坐标系OC-XCYCZC。本实施例中的像素坐标系与相机坐标系之间的第一转换关系可以包括从像素坐标系转换到相机坐标系的第一转换矩阵以及从相机坐标系转换到像素坐标系的第二转换矩阵，其中第二转换矩阵可以为第一转换矩阵的逆矩阵。第一转换关系可以根据相机的内参矩阵确定，相机的内参数可以根据相机的型号和类型预先确定。当将像素坐标系下的二维像素坐标转换至相机坐标系中的三维坐标时，即从低维度向高维度映射时，根据维度映射原理以及像素坐标系与相机坐标系之间的第一转换关系，可以确定在相机坐标系下二维像素坐标对应的第一映射直线，即在相机坐标系下标记点对应的第一映射直线。
S130、根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点，其中三维世界点云和第二转换关系根据二维视频和预设重建算法确定。
其中，世界坐标系Ow-XwYwZw可以用于描述真实场景中相机和物体的空间位置。本实施例中的第二转换关系是指在拍摄标记图像帧时，世界坐标系与相机坐标系之间的转换关系。世界坐标系与相机坐标系之间的第二转换关系可以利用旋转矩阵和平移向量来表示，其中旋转矩阵可以表示相机在世界坐标系下的指向，平移向量可以表示相机在世界坐标系下的位置。世界坐标系与相机坐标系之间的第二转换关系可以包括从世界坐标系转换至相机坐标系下的转换关系以及从相机坐标系转换至世界坐标系下的转换关系。本实施例中的三维世界点云是指于世界坐标系下的三维点云。目标相机点是指在相机坐标系下的三维目标点。预设筛选规则可以是指从点云中确定目标相机点的规则。目标相机点的数量可以为一个，也可以为多个，其可以根据预设筛选规则确定。预设重建算法是指可以创建三维世界点云以及可以确定第二转换关系的算法。预设重建算法可以包括但不限于三维重建算法以及即时定位与地图构建SLAM(Simultaneous Localization And Mapping)算法，其中三维重建算法通常用于创建稠密的三维点云，SLAM算法通常用于创建稀疏的三维点云。示例性的，SLAM算法用于机器人领域时，让机器人在未知场景中从未知地点开始运动，通过运动时的传感器(一般指摄像头)采集到的数据，对整个环境进行地图构建，并推导出机器人自身在该场景中的空间定位、姿态。三维重建算法可以包括但不限于SFM(Structure FromMotion，运动恢复结构)算法。SLAM算法可以包括但不限于ORB(Oriented FAST andRotated BRIEF)SLAM算法、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features，加速稳健特征)SLAM算法、VINS-SLAM算法以及其它带有IMU(Inertial measurement unit，惯性测量单元)优化的SLAM算法。
可选的，预设重建算法包括：基于ORB特征点的即时定位与地图构建SLAM算法；
相应的，三维世界点云根据二维视频和预设重建算法确定，包括：提取二维视频中的当前图像帧的ORB特征点与上一图像帧的ORB特征点；将当前图像帧的ORB特征点与上一图像帧的ORB特征点进行匹配，并根据视差原理，创建ORB特征点的三维世界点云。
其中，ORB是一种快速稳定的局部特征提取器，其可以用于计算机视觉领域中的物体识别、三维重建等。本实施例中的当前图像帧可以是指二维视频中当前时刻拍摄的图像帧，上一图像帧可以是指在二维视频的图像帧序列中，当前图像帧的前一图像帧。图2给出了基于ORB特征点的即时定位与地图构建SLAM算法的流程图。如图2所示，当前图像帧拍摄的图像内容为一个圆形、一个三角形和一个矩形，通过提取当前图像帧中的ORB特征点(如图2中的×标记)，将当前图像帧中的ORB特征点与上一图像帧中的ORB特征点进行特征点的匹配。视差原理是指当摄像头在空间中发生移动时，由于距离摄像头不同深度的点在摄像头拍摄的二维图像帧中的移动距离是不同的，从而可以计算出这些点与摄像头的距离关系。如图2所示，将下一时刻拍摄的图像帧作为当前图像帧循环进行特征点匹配，从而可以根据视差原理创建在世界坐标系下的三维世界点云。
可选的，第二转换关系根据二维视频和预设重建算法确定，包括：根据标记图像帧的ORB特征点和标记图像帧的前一图像帧的ORB特征点，确定标记图像帧对应的相机位姿，并将相机位姿确定为第二转换关系。
其中，如图2所示，在基于ORB特征点的即时定位与地图构建SLAM算法创建三维世界点云时，也可以实时计算出二维视频中每张图像帧对应的相机位置姿态。每张图像帧对应的相机位置姿态可以随着摄像头的移动而实时变化。本实施例可以通过标记图像帧的ORB特征点和标记图像帧的前一图像帧的ORB特征点，来确定标记图像帧对应的相机位姿。相机位姿可以包括摄像头在世界坐标系下的空间坐标以及空间中朝向哪个方位。根据标记图像帧对应的相机位姿可以直接获取在拍摄标记图像帧时，相机坐标系与世界坐标系之间的第二转换关系，即可以直接将标记图像帧对应的相机位姿确定为第二转换关系。
可选的，S130包括：
将二维像素坐标映射至于世界坐标系下的三维世界点云中，确定于世界坐标系下二维像素坐标对应的第二映射直线；根据预设筛选规则和第二映射直线确定三维世界点云中的目标世界点；根据世界坐标系与相机坐标系之间的第二转换关系以及目标世界点，确定于相机坐标系下的目标相机点。
其中，本实施例在将二维像素坐标映射至世界坐标系下的三维世界点云中，即从低维度向高维度映射时，可以根据像素坐标系与相机坐标系之间的第一转换关系以及世界坐标系与相机坐标系之间的第二转换关系，确定在世界坐标系下二维像素坐标对应的第二映射直线。目标世界点是指在世界坐标系下的三维目标点。预设筛选规则具体可以是指从三维世界点云中确定目标世界点的规则。目标世界点可以是一个，也可以为多个，由预设筛选规则确定。示例性的，预设筛选规则可以为但不限于根据三维世界点云中的各点与第二映射直线之间的垂直距离进行筛选。根据世界坐标系与相机坐标系之间的第二转换关系，将确定的每个目标世界点转换至相机坐标系下，从而可以获取相机坐标下的目标相机点。本实施例通过将二维像素坐标映射至世界坐标系下，在世界坐标系下确定三维世界点云中的目标世界点，进而再将目标世界点映射至相机坐标系下，从而得到目标相机点。
S140、根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标。
其中，预设估计规则可以是指对标记点的深度信息进行估计的规则。预设估计规则与确定目标相机点的预设筛选规则相对应。示例性的，若预设筛选规则确定的目标相机点只有一个，则与该预设筛选规则对应的预设估计规则可以为根据该目标相机点如何确定目标深度信息的规则。若预设筛选规则确定的目标相机点为多个，则与该预设筛选规则对应的预设估计规则可以为根据多个目标相机点如何确定目标深度信息的规则。本实施例中的相机三维空间坐标可以是指在相机坐标系下该标记点对应的三维空间坐标。通过基于预设估计规则，根据在相机坐标系下的第一映射直线和目标相机点来确定标记点对应的相机三维空间坐标，无需将标记点的三维空间坐标落到强行拟合的平面上，从而大大提高了三维空间坐标估计的准确度。
可选的，S140包括：
根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值；于第一映射直线上确定目标深度值对应的目标估计点，并将目标估计点对应的三维空间坐标确定为于相机坐标系下标记点对应的相机三维空间坐标。
其中，目标深度值是指标记点的深度信息，从而本实施例无需利用深度摄像头来获取标记点的深度信息。本实施例中的第一映射直线是指在相机坐标系系下标记点对应的映射直线，从而表明该标记点对应的相机三维空间坐标即为第一映射直线上某一点的三维空间坐标。本实施例通过根据目标深度值，将第一映射直线上的ZC值为目标深度值的点确定为该目标深度值对应的目标估计点，并将目标估计点在相机坐标系下对应的三维空间坐标直接确定为该标记点对应的相机三维空间坐标。由于在相机坐标系下，每个目标相机点对应的三维空间坐标中的ZC值可以准确表示该目标相机点的深度值，从而根据预设估计规则和目标相机点可以准确的确定该标记点对应的目标深度值，使得标记点对应的相机三维空间坐标的估计也更加准确。
可选的，根据预设筛选规则和第二映射直线确定三维世界点云中的目标世界点，包括：计算三维世界点云中的各点与第二映射直线之间的第一垂直距离，将第一垂直距离最小的点确定为三维世界点云中的目标世界点；
相应的，根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值，包括：获取目标相机点的深度值，并将目标相机点的深度值确定为目标深度值。
其中，预设筛选规则可以为将距离第二映射直线最近的点确定为三维世界点云中的目标世界点，此时确定的目标世界点只有一个。具体地，在三维世界点云中，根据每个三维世界点的三维空间坐标，计算每个点与第二映射直线之间的第一垂直距离，将第一垂直距离最小的点确定为目标世界点。相应的，当根据预设筛选规则确定的目标世界点只有一个时，表明目标相机点只有一个，即根据世界坐标系与相机坐标系之间的第二转换关系，确定该目标世界点对应的目标相机点。通过获取目标相机点对应的三维空间坐标中的ZC值，并直接将目标相机点的ZC值确定为目标深度值。通过将确定的目标相机点对应的深度值直接确定为目标深度值，使得计算简便，提高了估计效率。
可选的，根据预设筛选规则和第二映射直线确定三维世界点云中的目标世界点，包括：计算三维世界点云中的各点与第二映射直线之间的第一垂直距离，将第一垂直距离小于第一预设距离的多个点确定为三维世界点云中的目标世界点；
相应的，根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值，包括：根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，并将平均深度值确定为目标深度值。
其中，预设筛选规则可以为将与第二映射直线的第一垂直距离小于第一预设距离的点均确定为目标世界点，此时确定的目标世界点为多个。第一预设距离可以根据实际情况预先确定，用于筛选三维世界点云中的目标世界点。相应的，当根据预设筛选规则确定的目标世界点为多个时，表明目标相机点有多个，即根据世界坐标系与相机坐标系之间的第二转换关系，确定每个目标世界点对应的目标相机点。目标相机点的深度值是指目标相机点对应的三维空间坐标中的ZC值。通过累加每个目标相机点的深度值，并将累加结果除以目标相机点的数量得到的结果确定为平均深度值，将平均深度值确定为目标深度值。通过将多个目标相机点的平均深度值确定为目标深度值，可以提高深度值估计的准确度。
可选的，在根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值之前，还包括：计算各个目标相机点与二维像素坐标对应的第一映射直线之间的第三垂直距离，并根据各第三垂直距离确定各目标相机点对应的权重值；将目标相机点的深度值与对应的权重值的乘积确定为目标相机点的最终深度值；
相应的，根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，包括：根据各个目标相机点的最终深度值和目标相机点的数量，确定平均深度值。
其中，当根据预设筛选规则确定的目标相机点为多个时，可以在确定平均深度值之前，可以根据每个目标相机点对应的三维空间坐标，计算每个目标相机点与第一映射直线之间的第三垂直距离，并可以根据第三垂直距离确定每个目标相机点对应的权重值。本实施例中的某个目标相机点对应的第三垂直距离越小，则该目标相机点的权重值越大，并且每个目标相机点对应的权重值之和等于1。在本实施例中，某个点和某条直线均映射至不同坐标系时，在同一坐标系下，该点与该直线之间的垂直距离是固定不变的，从而目标相机点与第一映射直线之间的第三垂直距离等于目标世界点与第二映射直线之间的第一垂直距离。可选的，本实施例还可以直接根据某个目标世界点与第二映射直线之间的第一垂直距离确定该目标世界点对应的目标相机点的权重值，并且第一垂直距离越小，该目标相机点的权重值越大。将每个目标相机点的深度值和与其对应的权重值进行相乘得到的结果确定为该目标相机点的最终深度值。相应的，将每个目标相机点的最终深度值进行相加，并将相加结果除以目标相机点的数量，从而得到平均深度值，进而再将该平均深度值确定为目标深度值。通过加权平均的方式确定目标深度值，可以进一步提高深度值估计的准确度。
可选的，在S140之后，还包括：
根据第二转换关系以及相机三维空间坐标，确定于世界坐标系下标记点对应的世界三维空间坐标。
其中，由于相机位姿可以随着摄像头的运行而发生变化，即相机坐标系与世界坐标系之间的第二转换关系也会发生变化，使得相机三维空间坐标也会随着摄像头的移动而改变，但标记点在世界坐标系下的世界三维空间坐标不会随摄像头的移动而改变，从而需要根据在拍摄标记图像帧时的相机坐标系与世界坐标系之间的第二转换关系，将该相机三维空间坐标映射至世界坐标系下，确定在世界坐标系下该标记点对应的世界三维空间坐标。可选的，当相机位姿发生变化时，即相机坐标系与世界坐标系之间的第二转换关系发生变化时，可以根据变化后的相机坐标系与世界坐标系之间的第二转换关系，将世界三维空间坐标重新映射至相机坐标系下，从而可以确定相机位姿变化后的三维相机空间坐标，进而可以实时更新标记点对应的相机三维空间坐标，使得相机三维空间坐标的估计更加准确。
本实施例的技术方案，通过获取二维视频的标记图像帧中的标记点对应的二维像素坐标，根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线；并根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点；根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标。本实施例可以只利用一个普通RGB摄像头拍摄二维视频，无需增加深度摄像头获取深度图像，从而降低了硬件成本。并且本实施例无需限制二维视频的标记图像帧中标记点的位置，无论该标记点在平面上，还是处于悬空状态，均可以准确的估计该标记点对应的三维空间坐标，从而大大提高了三维空间坐标估计的准确度。
实施例二
图3为本发明实施例二提供的一种三维空间坐标估计方法的流程图，本实施例在上述实施例的基础上进行优化：在确定目标相机点时，根据于世界坐标系下的三维世界点云，以及世界坐标系与相机坐标系之间的第二转换关系，确定于相机坐标系下的三维相机点云；根据三维相机点云以及像素坐标系与相机坐标系之间的第一转换关系，确定于像素坐标系下的二维像素点云，并记录三维相机点与二维像素点之间的对应关系；根据预设筛选规则、二维像素点云和二维像素坐标，确定二维像素点云中的目标像素点；根据对应关系以及目标像素点，确定于相机坐标系下的目标相机点。
优化后的三维空间坐标估计方法包括以下步骤：
S210、获取二维视频的标记图像帧中的标记点对应的二维像素坐标。
S220、根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线。
S230、根据于世界坐标系下的三维世界点云，以及世界坐标系与相机坐标系之间的第二转换关系，确定于相机坐标系下的三维相机点云。
其中，三维相机点云是指在相机坐标系下的三维点云。根据世界坐标系与相机坐标系之间的第二转换关系，将于世界坐标系下的三维世界点云中的各点映射至相机坐标系下，从而可以确定在相机坐标系下的三维相机点云。
S240、根据三维相机点云以及像素坐标系与相机坐标系之间的第一转换关系，确定于像素坐标系下的二维像素点云，并记录三维相机点与二维像素点之间的对应关系。
其中，二维像素点云是指在像素坐标系下的二维点云。根据像素坐标系与相机坐标系之间的第一转换关系，将在相机坐标系下的三维相机点云降维投影至像素坐标系下，从而可以确定在像素坐标系下的二维像素点云。本实施例在降维投影过程中，记录三维相机点云中的每个三维相机点与投影后的二维像素点之间的对应关系。对应关系可以为每个三维相机点的三维空间坐标与二维像素点的像素坐标之间的对应关系，也可以为每个三维相机点的三维空间坐标中的ZC值与二维像素点的像素坐标之间的对应关系。
S250、根据预设筛选规则、二维像素点云和二维像素坐标，确定二维像素点云中的目标像素点。
其中，预设筛选规则具体可以是指从二维像素点云中确定目标像素点的规则。目标像素点可以是一个，也可以为多个，由预设筛选规则确定。示例性的，预设筛选规则可以为但不限于根据二维像素点云中的各点与二维像素坐标之间的距离进行筛选。
S260、根据对应关系以及目标像素点，确定于相机坐标系下的目标相机点。
其中，根据目标像素点的像素坐标在对应关系中进行匹配，将与目标像素点的像素坐标对应的三维相机点确定为目标相机点。
S270、根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值。
其中，预设估计规则可以是指对标记点的深度信息进行估计的规则。预设估计规则与确定目标相机点的预设筛选规则相对应。目标深度值是指标记点的深度信息，从而本实施例无需利用深度摄像头来获取标记点的深度信息。
可选的，S250包括：计算二维像素点云中的各点与二维像素坐标之间的坐标距离，将坐标距离最小的点确定为二维像素点云中的目标像素点；
相应的，S270包括：获取目标相机点的深度值，并将目标相机点的深度值确定为目标深度值。
其中，预设筛选规则可以为将距离二维像素坐标最近的点确定为二维像素点云中的目标像素点，此时目标像素点只有一个。具体的，在二维像素点云中，根据每个二维像素点的像素坐标，计算每个点与二维像素坐标之间的坐标距离，将坐标距离最小的点确定为目标像素点。相应的，当根据预设筛选规则确定的目标像素点只有一个时，表明目标相机点只有一个，即根据三维相机点与二维像素点之间的对应关系，确定该目标像素点对应的目标相机点，并根据对应关系获取该目标相机点对应的三维空间坐标中的ZC值，将该目标相机点的ZC值确定为目标深度值。通过将目标相机点对应的深度值直接确定为目标深度值，使得计算简便，提高了估计效率。
可选的，S250包括：计算二维像素点云中的各点与二维像素坐标之间的坐标距离，将坐标距离小于预设坐标距离的多个点确定为二维像素点云中的目标像素点；
相应的，S270包括：根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，并将平均深度值确定为目标深度值。
其中，预设筛选规则可以为将与二维像素坐标的坐标距离小于预设坐标距离的点均确定为目标像素点，此时确定的目标像素点为多个。预设坐标距离可以根据实际情况预先确定，用于筛选出二维像素点云中的目标像素点。相应的，当根据预设筛选规则确定的目标像素点为多个时，表明目标相机点有多个，即根据三维相机点与二维像素点之间的对应关系，确定每个目标像素点对应的目标相机点以及目标相机点对应的三维空间坐标中的ZC值。通过累加每个目标相机点的深度值，并将累加结果除以目标相机点的数量得到的结果确定为平均深度值，将平均深度值确定为目标深度值。通过将多个目标相机点的平均深度值确定为目标深度值，可以提高深度值估计的准确度。
可选的，在根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值之前，还包括：计算各个目标相机点与二维像素坐标对应的第一映射直线之间的第三垂直距离，并根据各第三垂直距离确定各目标相机点对应的权重值；将目标相机点的深度值与对应的权重值的乘积确定为目标相机点的最终深度值；
相应的，根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，包括：根据各个目标相机点的最终深度值和目标相机点的数量，确定平均深度值。
其中，当根据预设筛选规则确定的目标相机点为多个时，可以在确定平均深度值之前，可以根据每个目标相机点对应的三维空间坐标，计算每个目标相机点与第一映射直线之间的第三垂直距离，并可以根据第三垂直距离确定每个目标相机点对应的权重值。本实施例中的某个目标相机点对应的第三垂直距离越小，则该目标相机点的权重值越大，并且每个目标相机点对应的权重值之和等于1。将每个目标相机点的深度值和与其对应的权重值进行相乘得到的结果确定为该目标相机点的最终深度值。相应的，将每个目标相机点的最终深度值进行相加，并将相加结果除以目标相机点的数量，从而得到平均深度值，进而再将该平均深度值确定为目标深度值。通过加权平均的方式确定目标深度值，可以进一步提高深度值估计的准确度。
可选的，在根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值之前，还包括：根据各个目标像素点与二维像素坐标之间的坐标距离确定各个目标像素点对应的目标相机点对应的权重值；将目标相机点的深度值与对应的权重值的乘积确定为目标相机点的最终深度值；
相应的，根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，包括：根据各个目标相机点的最终深度值和目标相机点的数量，确定平均深度值。
其中，当根据预设筛选规则确定的目标相机点为多个时，可以在确定平均深度值之前，本实施例也可以直接根据每个目标像素点与二维像素坐标之间的坐标距离确定该目标像素点对应的目标相机点对应的权重值，并且坐标距离越小，则该目标像素点对应的目标相机点对应的权重值越大。将每个目标相机点的深度值和与其对应的权重值进行相乘得到的结果确定为该目标相机点的最终深度值。相应的，将每个目标相机点的最终深度值进行相加，并将相加结果除以目标相机点的数量，从而得到平均深度值，进而再将该平均深度值确定为目标深度值。通过加权平均的方式确定目标深度值，可以进一步提高深度值估计的准确度。
S280、于第一映射直线上确定目标深度值对应的目标估计点，并将目标估计点对应的三维空间坐标确定为于相机坐标系下标记点对应的相机三维空间坐标。
其中，本实施例中的第一映射直线是指在相机坐标系下标记点对应的映射直线，从而表明该标记点对应的相机三维空间坐标即为第一映射直线上某一点的三维空间坐标。本实施例通过根据目标深度值，将第一映射直线上的ZC值为目标深度值的点确定为该目标深度值对应的目标估计点，并将目标估计点在相机坐标系下对应的三维空间坐标确定为该标记点对应的相机三维空间坐标。由于在相机坐标系下，每个目标相机点对应的三维空间坐标中的ZC值可以准确表示该目标相机点的深度值，从而根据预设估计规则和目标相机点可以准确的确定该标记点对应的目标深度值，使得标记点对应的相机三维空间坐标的估计也更加准确。
本实施例的技术方案，通过根据世界坐标系与相机坐标系之间的第二转换关系以及像素坐标系与相机坐标系之间的第一转换关系，将于世界坐标系下的三维世界点云映射至像素坐标系下，从而确定像素坐标系下的二维像素点云，并记录三维相机点与二维像素点之间的对应关系，在像素坐标系下确定二维像素点云中的目标像素点，进而根据对应关系确定目标像素点对应的目标相机点。本实施例在确定目标相机点的过程中，无需涉及从低维度向高维度的映射过程，即无需涉及将二维像素坐标映射至世界坐标系下的第二映射直线，从而可以提高目标相机点的确定效率，进而提升了三维空间坐标的估计效率。
实施例三
图4为本发明实施例三提供的一种三维空间坐标估计方法的流程图，本实施例在上述实施例的基础上进行优化：在确定目标相机点时，根据世界坐标系与相机坐标系之间的第二转换关系，以及于世界坐标系下的三维世界点云，确定于相机坐标系下的三维相机点云；根据预设筛选规则、三维相机点云以及二维像素坐标对应的第一映射直线，确定于相机坐标系下的目标相机点。
优化后的三维空间坐标估计方法包括以下步骤：
S310、获取二维视频的标记图像帧中的标记点对应的二维像素坐标。
S320、根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线。
S330、根据世界坐标系与相机坐标系之间的第二转换关系，以及于世界坐标系下的三维世界点云，确定于相机坐标系下的三维相机点云。
其中，三维相机点云是指在相机坐标系下的三维点云。本实施例可以根据世界坐标系与相机坐标系之间的第二转换关系，将世界坐标系下的三维世界点云映射至相机坐标系下，从而获取相机坐标系下的三维相机点云。
S340、根据预设筛选规则、三维相机点云以及二维像素坐标对应的第一映射直线，确定于相机坐标系下的目标相机点。
其中，预设筛选规则具体可以是指从三维相机点云中确定目标相机点的规则。第一映射直线是在相机坐标系下二维像素坐标对应的映射直线。目标相机点可以是一个，也可以为多个，由预设筛选规则确定。示例性的，预设筛选规则可以为但不限于根据三维相机点云中的各点与第一映射直线之间的垂直距离进行筛选。
S350、根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值。
其中，预设估计规则可以是指对标记点的深度信息进行估计的规则。预设估计规则与确定目标相机点的预设筛选规则相对应。目标深度值是指标记点的深度信息，从而本实施例无需利用深度摄像头来获取标记点的深度信息。
可选的，S340包括：计算三维相机点云中的各点与二维像素坐标对应的第一映射直线之间的第二垂直距离，将第二垂直距离最小的点确定为于相机坐标系下的目标相机点；
相应的，S350包括：获取目标相机点的深度值，并将目标相机点的深度值确定为目标深度值。
其中，预设筛选规则可以为将距离第一映射直线最近的点确定为三维相机点云中的目标相机点，此时目标相机点只有一个。具体的，在三维相机点云中，根据每个三维相机点的三维空间坐标，计算每个三维相机点与第一映射直线之间的第二垂直距离，将第二垂直距离最小的点确定为目标相机点。可以直接将该目标相机点对应的三维空间坐标中的ZC值确定为目标深度值。通过将目标相机点对应的深度值直接确定为目标深度值，使得计算简便，提高了估计效率。
可选的，S340包括：计算三维相机点云中的各点与二维像素坐标对应的第一映射直线之间的第二垂直距离，将第二垂直距离小于第二预设距离的多个点确定为于相机坐标系下的目标相机点；
相应的，S350包括：根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，并将平均深度值确定为目标深度值。
其中，预设筛选规则可以为将与第一映射直线的第二垂直距离小于第二预设距离的点均确定为目标相机点，此时确定的目标相机点为多个。第二预设距离可以根据实际情况预先确定，用于筛选出三维相机点云中的目标相机点。通过累加每个目标相机点对应的三维空间坐标中的ZC值，并将累加结果除以目标相机点的数量得到的结果确定为平均深度值，并将平均深度值确定为目标深度值。通过将多个目标相机点的平均深度值确定为目标深度值，从而可以提高深度值估计的准确度。
可选的，在根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值之前，还包括：计算各个目标相机点与二维像素坐标对应的第一映射直线之间的第三垂直距离，并根据各第三垂直距离确定各目标相机点对应的权重值；将目标相机点的深度值与对应的权重值的乘积确定为目标相机点的最终深度值；
相应的，根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，包括：根据各个目标相机点的最终深度值和目标相机点的数量，确定平均深度值。
其中，当根据预设筛选规则确定的目标相机点为多个时，可以在确定平均深度值之前，可以根据每个目标相机点对应的三维空间坐标，计算每个目标相机点与第一映射直线之间的第三垂直距离，并可以根据第三垂直距离确定每个目标相机点对应的权重值。本实施例中的某个目标相机点对应的第三垂直距离越小，则该目标相机点的权重值越大，并且每个目标相机点对应的权重值之和等于1。将每个目标相机点的深度值和与其对应的权重值进行相乘得到的结果确定为该目标相机点的最终深度值。相应的，将每个目标相机点的最终深度值进行相加，并将相加结果除以目标相机点的数量，从而得到平均深度值，进而再将该平均深度值确定为目标深度值。通过加权平均的方式确定目标深度值，可以进一步提高深度值估计的准确度。
S360、于第一映射直线上确定目标深度值对应的目标估计点，并将目标估计点对应的三维空间坐标确定为于相机坐标系下标记点对应的相机三维空间坐标。
其中，本实施例中的第一映射直线是指在相机坐标系系下标记点对应的映射直线，从而表明该标记点对应的相机三维空间坐标即为第一映射直线上某一点的三维空间坐标。本实施例通过根据目标深度值，将第一映射直线上的ZC值为目标深度值的点确定为该目标深度值对应的目标估计点，并将目标估计点在相机坐标系下对应的三维空间坐标确定为该标记点对应的相机三维空间坐标。由于在相机坐标系下，每个目标相机点对应的三维空间坐标中的ZC值可以准确表示该目标相机点的深度值，从而根据预设估计规则和目标相机点可以准确的确定该标记点对应的目标深度值，使得标记点对应的相机三维空间坐标的估计也更加准确。
本实施例的技术方案，通过根据世界坐标系与相机坐标系之间的第二转换关系，将于世界坐标系下的三维世界点云映射至相机坐标系下，得到三维相机点云，从而可以直接在相机坐标系下，确定三维相机点云中的目标相机点。本实施例在确定目标相机点的过程中，无需涉及从低维度向高维度的映射过程以及从高维度向低维度降维的投影过程，从而可以进一步提高目标相机点的确定效率，进而大大提升了三维空间坐标的估计效率。
实施例四
图5为本发明实施例四提供的一种三维空间坐标估计装置的结构示意图，本实施例可适用于估计二维图像帧中的标记点对应的三维空间坐标的情况，该装置具体包括：二维像素坐标获取模块410、第一映射直线确定模块420、目标相机点确定模块430和相机三维空间坐标确定模块440。
其中，二维像素坐标获取模块410，用于获取二维视频的标记图像帧中的标记点对应的二维像素坐标；第一映射直线确定模块420，用于根据像素坐标系与相机坐标系之间的第一转换关系，确定于相机坐标系下二维像素坐标对应的第一映射直线；目标相机点确定模块430，用于根据世界坐标系与相机坐标系之间的第二转换关系、预设筛选规则、以及于世界坐标系下的三维世界点云，确定于相机坐标系下的目标相机点，其中三维世界点云和第二转换关系根据二维视频和预设重建算法确定；相机三维空间坐标确定模块440，用于根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标。
可选的，相机三维空间坐标确定模块440，包括：
目标深度值确定单元，用于根据与预设筛选规则相对应的预设估计规则和目标相机点确定目标深度值；
相机三维空间坐标确定单元，用于第一映射直线上确定目标深度值对应的目标估计点，并将目标估计点对应的三维空间坐标确定为于相机坐标系下标记点对应的相机三维空间坐标。
可选的，目标相机点确定模块430，包括：
第二映射直线确定单元，用于将二维像素坐标映射至于世界坐标系下的三维世界点云中，确定于世界坐标系下二维像素坐标对应的第二映射直线；
目标世界点确定单元，用于根据预设筛选规则和第二映射直线确定三维世界点云中的目标世界点；
第一目标相机点确定单元，用于根据世界坐标系与相机坐标系之间的第二转换关系以及目标世界点，确定于相机坐标系下的目标相机点。
可选的，目标相机点确定模块430，包括：
三维相机点云确定单元，用于根据于世界坐标系下的三维世界点云，以及世界坐标系与相机坐标系之间的第二转换关系，确定于相机坐标系下的三维相机点云；
二维像素点云确定单元，用于根据三维相机点云以及像素坐标系与相机坐标系之间的第一转换关系，确定于像素坐标系下的二维像素点云，并记录三维相机点与二维像素点之间的对应关系；
目标像素点确定单元，用于根据预设筛选规则、二维像素点云和二维像素坐标，确定二维像素点云中的目标像素点；
第二目标相机点确定单元，用于根据对应关系以及目标像素点，确定于相机坐标系下的目标相机点。
可选的，目标相机点确定模块430，包括：
三维相机点云确定单元，用于根据世界坐标系与相机坐标系之间的第二转换关系，以及于世界坐标系下的三维世界点云，确定于相机坐标系下的三维相机点云；
第三目标相机点确定单元，用于根据预设筛选规则、三维相机点云以及二维像素坐标对应的第一映射直线，确定于相机坐标系下的目标相机点。
可选的，目标世界点确定单元，用于：计算三维世界点云中的各点与第二映射直线之间的第一垂直距离，将第一垂直距离最小的点确定为三维世界点云中的目标世界点。
可选的，目标像素点确定单元，用于：计算二维像素点云中的各点与二维像素坐标之间的坐标距离，将坐标距离最小的点确定为二维像素点云中的目标像素点。
可选的，第三目标相机点确定单元，用于：计算三维相机点云中的各点与二维像素坐标对应的第一映射直线之间的第二垂直距离，将第二垂直距离最小的点确定为于相机坐标系下的目标相机点。
可选的，目标深度值确定单元，用于：获取目标相机点的深度值，并将目标相机点的深度值确定为目标深度值。
可选的，目标世界点确定单元，还用于：计算三维世界点云中的各点与第二映射直线之间的第一垂直距离，将第一垂直距离小于第一预设距离的多个点确定为三维世界点云中的目标世界点。
可选的，目标像素点确定单元，还用于：计算二维像素点云中的各点与二维像素坐标之间的坐标距离，将坐标距离小于预设坐标距离的多个点确定为二维像素点云中的目标像素点。
可选的，第三目标相机点确定单元，还用于：计算三维相机点云中的各点与二维像素坐标对应的第一映射直线之间的第二垂直距离，将第二垂直距离小于第二预设距离的多个点确定为于相机坐标系下的目标相机点。
可选的，目标深度值确定单元，还用于：根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值，并将平均深度值确定为目标深度值。
可选的，该装置还包括：
权重值确定模块，用于在根据各个目标相机点的深度值和目标相机点的数量，确定平均深度值之前，计算各个目标相机点与二维像素坐标对应的第一映射直线之间的第三垂直距离，并根据各第三垂直距离确定各目标相机点对应的权重值；
最终深度值确定模块，用于将目标相机点的深度值与对应的权重值的乘积确定为目标相机点的最终深度值；
相应的，目标深度值确定单元，还用于：根据各个目标相机点的最终深度值和目标相机点的数量，确定平均深度值。
可选的，该装置还包括：
三维世界点云确定模块，用于根据二维视频和预设重建算法确定三维世界点云；
第二转换关系确定模块，用于根据二维视频和预设重建算法确定第二转换关系。
可选的，预设重建算法包括：基于ORB特征点的即时定位与地图构建SLAM算法；
相应的，三维世界点云确定模块，具体用于：提取二维视频中的当前图像帧的ORB特征点与上一图像帧的ORB特征点；将当前图像帧的ORB特征点与上一图像帧的ORB特征点进行匹配，并根据视差原理，创建ORB特征点的三维世界点云。
可选的，第二转换关系确定模块，具体用于：根据标记图像帧的ORB特征点和标记图像帧的前一图像帧的ORB特征点，确定标记图像帧对应的相机位姿，并将相机位姿确定为第二转换关系。
可选的，该装置还包括：
世界三维空间坐标确定模块，用于在根据与预设筛选规则相对应的预设估计规则、第一映射直线以及目标相机点，确定于相机坐标系下标记点对应的相机三维空间坐标之后，根据第二转换关系以及相机三维空间坐标，确定于世界坐标系下标记点对应的世界三维空间坐标。
上述三维空间坐标估计装置可执行本发明任意实施例所提供的三维空间坐标估计方法，具备执行三维空间坐标估计方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种终端的结构示意图。参见图6，该终端包括：
一个或多个处理器510；
存储器520，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器510执行，使得一个或多个处理器510实现如上述实施例中任意实施例提出的三维空间坐标估计方法。
图6中以一个处理器510为例；终端中的处理器510和存储器520可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维空间坐标估计方法对应的程序指令/模块(例如，三维空间坐标估计装置中的二维像素坐标获取模块410、第一映射直线确定模块420、目标相机点确定模块430和相机三维空间坐标确定模块440)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行终端的各种功能应用以及数据处理，即实现上述的三维空间坐标估计方法。
存储器520主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例提出的终端与上述实施例提出的三维空间坐标估计方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例具备执行三维空间坐标估计方法相同的有益效果。
实施例六
本实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的三维空间坐标估计方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (20)

1.一种三维空间坐标估计方法，其特征在于，包括：
获取二维视频的标记图像帧中的标记点对应的二维像素坐标；
根据像素坐标系与相机坐标系之间的第一转换关系，确定于所述相机坐标系下所述二维像素坐标对应的第一映射直线；
根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，其中所述三维世界点云和所述第二转换关系根据所述二维视频和预设重建算法确定；
根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标。
2.根据权利要求1所述的方法，其特征在于，根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标，包括：
根据与所述预设筛选规则相对应的预设估计规则和所述目标相机点确定目标深度值；
于所述第一映射直线上确定所述目标深度值对应的目标估计点，并将所述目标估计点对应的三维空间坐标确定为于所述相机坐标系下所述标记点对应的相机三维空间坐标。
3.根据权利要求2所述的方法，其特征在于，根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，包括：
将所述二维像素坐标映射至于世界坐标系下的三维世界点云中，确定于所述世界坐标系下所述二维像素坐标对应的第二映射直线；
根据预设筛选规则和所述第二映射直线确定所述三维世界点云中的目标世界点；
根据所述世界坐标系与相机坐标系之间的第二转换关系以及所述目标世界点，确定于所述相机坐标系下的目标相机点。
4.根据权利要求2所述的方法，其特征在于，根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，包括：
根据于世界坐标系下的三维世界点云，以及所述世界坐标系与所述相机坐标系之间的第二转换关系，确定于相机坐标系下的三维相机点云；
根据所述三维相机点云以及所述像素坐标系与相机坐标系之间的第一转换关系，确定于所述像素坐标系下的二维像素点云，并记录三维相机点与二维像素点之间的对应关系；
根据所述预设筛选规则、所述二维像素点云和所述二维像素坐标，确定所述二维像素点云中的目标像素点；
根据所述对应关系以及所述目标像素点，确定于所述相机坐标系下的目标相机点。
5.根据权利要求2所述的方法，其特征在于，根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，包括：
根据世界坐标系与所述相机坐标系之间的第二转换关系，以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的三维相机点云；
根据预设筛选规则、所述三维相机点云以及所述二维像素坐标对应的第一映射直线，确定于所述相机坐标系下的目标相机点。
6.根据权利要求3所述的方法，其特征在于，根据预设筛选规则和所述第二映射直线确定所述三维世界点云中的目标世界点，包括：
计算所述三维世界点云中的各点与所述第二映射直线之间的第一垂直距离，将所述第一垂直距离最小的点确定为三维世界点云中的目标世界点。
7.根据权利要求4所述的方法，其特征在于，根据所述预设筛选规则、所述二维像素点云和所述二维像素坐标，确定所述二维像素点云中的目标像素点，包括：
计算所述二维像素点云中的各点与所述二维像素坐标之间的坐标距离，将所述坐标距离最小的点确定为所述二维像素点云中的目标像素点。
8.根据权利要求5所述的方法，其特征在于，根据预设筛选规则、所述三维相机点云以及所述二维像素坐标对应的第一映射直线，确定于所述相机坐标系下的目标相机点，包括：
计算所述三维相机点云中的各点与所述二维像素坐标对应的第一映射直线之间的第二垂直距离，将所述第二垂直距离最小的点确定为于所述相机坐标系下的目标相机点。
9.根据权利要求6-8任一所述的方法，其特征在于，根据与所述预设筛选规则相对应的预设估计规则和所述目标相机点确定目标深度值，包括：
获取所述目标相机点的深度值，并将所述目标相机点的深度值确定为目标深度值。
10.根据权利要求3所述的方法，其特征在于，根据预设筛选规则和所述第二映射直线确定所述三维世界点云中的目标世界点，包括：
计算所述三维世界点云中的各点与所述第二映射直线之间的第一垂直距离，将所述第一垂直距离小于第一预设距离的多个点确定为所述三维世界点云中的目标世界点。
11.根据权利要求4所述的方法，其特征在于，根据所述预设筛选规则、所述二维像素点云和所述二维像素坐标，确定所述二维像素点云中的目标像素点，包括：
计算所述二维像素点云中的各点与所述二维像素坐标之间的坐标距离，将所述坐标距离小于预设坐标距离的多个点确定为所述二维像素点云中的目标像素点。
12.根据权利要求5所述的方法，其特征在于，根据预设筛选规则、所述三维相机点云以及所述二维像素坐标对应的第一映射直线，确定于所述相机坐标系下的目标相机点，包括：
计算所述三维相机点云中的各点与所述二维像素坐标对应的第一映射直线之间的第二垂直距离，将所述第二垂直距离小于第二预设距离的多个点确定为于所述相机坐标系下的目标相机点。
13.根据权利要求10-12任一所述的方法，其特征在于，根据与所述预设筛选规则相对应的预设估计规则和所述目标相机点确定目标深度值，包括：
根据各个所述目标相机点的深度值和所述目标相机点的数量，确定平均深度值，并将所述平均深度值确定为目标深度值。
14.根据权利要求13所述的方法，其特征在于，在根据各个所述目标相机点的深度值和所述目标相机点的数量，确定平均深度值之前，还包括：
计算各个所述目标相机点与所述二维像素坐标对应的第一映射直线之间的第三垂直距离，并根据各所述第三垂直距离确定各所述目标相机点对应的权重值；
将所述目标相机点的深度值与对应的权重值的乘积确定为所述目标相机点的最终深度值；
相应的，根据各个所述目标相机点的深度值和所述目标相机点的数量，确定平均深度值，包括：
根据各个所述目标相机点的最终深度值和所述目标相机点的数量，确定平均深度值。
15.根据权利要求1所述的方法，其特征在于，预设重建算法包括：基于ORB特征点的即时定位与地图构建SLAM算法；
相应的，所述三维世界点云根据所述二维视频和预设重建算法确定，包括：
提取所述二维视频中的当前图像帧的ORB特征点与上一图像帧的ORB特征点；
将所述当前图像帧的ORB特征点与所述上一图像帧的ORB特征点进行匹配，并根据视差原理，创建ORB特征点的三维世界点云。
16.根据权利要求15所述的方法，其特征在于，所述第二转换关系根据所述二维视频和预设重建算法确定，包括：
根据所述标记图像帧的ORB特征点和所述标记图像帧的前一图像帧的ORB特征点，确定所述标记图像帧对应的相机位姿，并将所述相机位姿确定为所述第二转换关系。
17.根据权利要求1所述的方法，其特征在于，在根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标之后，还包括：
根据所述第二转换关系以及所述相机三维空间坐标，确定于所述世界坐标系下所述标记点对应的世界三维空间坐标。
18.一种三维空间坐标估计装置，其特征在于，包括：
二维像素坐标获取模块，用于获取二维视频的标记图像帧中的标记点对应的二维像素坐标；
第一映射直线确定模块，用于根据像素坐标系与相机坐标系之间的第一转换关系，确定于所述相机坐标系下所述二维像素坐标对应的第一映射直线；
目标相机点确定模块，用于根据世界坐标系与所述相机坐标系之间的第二转换关系、预设筛选规则、以及于所述世界坐标系下的三维世界点云，确定于所述相机坐标系下的目标相机点，其中所述三维世界点云和所述第二转换关系根据所述二维视频和预设重建算法确定；
相机三维空间坐标确定模块，用于根据与所述预设筛选规则相对应的预设估计规则、所述第一映射直线以及所述目标相机点，确定于所述相机坐标系下所述标记点对应的相机三维空间坐标。
19.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-17中任一所述的三维空间坐标估计方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-17中任一所述的三维空间坐标估计方法。
CN201810628314.4A 2018-06-19 2018-06-19 一种三维空间坐标估计方法、装置、终端和存储介质 Active CN108986161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810628314.4A CN108986161B (zh) 2018-06-19 2018-06-19 一种三维空间坐标估计方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810628314.4A CN108986161B (zh) 2018-06-19 2018-06-19 一种三维空间坐标估计方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN108986161A true CN108986161A (zh) 2018-12-11
CN108986161B CN108986161B (zh) 2020-11-10

Family

ID=64540594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810628314.4A Active CN108986161B (zh) 2018-06-19 2018-06-19 一种三维空间坐标估计方法、装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN108986161B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729273A (zh) * 2019-01-21 2019-05-07 上海体育学院 图像采集方法、系统、装置、计算机设备和存储介质
CN109764858A (zh) * 2018-12-24 2019-05-17 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
CN109859274A (zh) * 2018-12-24 2019-06-07 深圳市银星智能科技股份有限公司 机器人、其物体标定方法及视教交互方法
CN109884868A (zh) * 2019-01-18 2019-06-14 中国人民解放军陆军装甲兵学院 一种全视差全息立体图的打印方法及系统
CN109948689A (zh) * 2019-03-13 2019-06-28 北京达佳互联信息技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN109978953A (zh) * 2019-01-22 2019-07-05 四川大学 用于目标三维定位的方法及系统
CN110111388A (zh) * 2019-05-10 2019-08-09 北京航空航天大学 三维物体位姿参数估计方法及视觉设备
CN110148173A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 目标定位的方法和装置、电子设备、计算机可读介质
CN110580703A (zh) * 2019-09-10 2019-12-17 广东电网有限责任公司 一种配电线路的检测方法、装置、设备及存储介质
CN110717994A (zh) * 2019-10-21 2020-01-21 联想(北京)有限公司 远程视频交互的实现方法及相关设备
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110766985A (zh) * 2019-10-09 2020-02-07 天津大学 一种穿戴式运动传感互动教学系统及其运动传感方法
CN111127559A (zh) * 2019-12-26 2020-05-08 深圳市瑞立视多媒体科技有限公司 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN111354070A (zh) * 2018-12-24 2020-06-30 上海仁静信息技术有限公司 一种立体图形生成方法、装置、电子设备及存储介质
CN111369622A (zh) * 2018-12-25 2020-07-03 中国电子科技集团公司第十五研究所 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
CN111382613A (zh) * 2018-12-28 2020-07-07 中国移动通信集团辽宁有限公司 图像处理方法、装置、设备和介质
CN111563924A (zh) * 2020-04-28 2020-08-21 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111583302A (zh) * 2020-05-06 2020-08-25 北京大学 一种基于三维激光点云的割煤顶板线提取方法
CN111708366A (zh) * 2020-06-29 2020-09-25 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN111721281A (zh) * 2020-05-27 2020-09-29 北京百度网讯科技有限公司 位置识别方法、装置和电子设备
CN111723716A (zh) * 2020-06-11 2020-09-29 深圳地平线机器人科技有限公司 确定目标对象朝向的方法、装置、系统、介质及电子设备
CN111915494A (zh) * 2020-07-21 2020-11-10 沈阳先进医疗设备技术孵化中心有限公司 校准方法、装置及系统
CN112037316A (zh) * 2020-09-22 2020-12-04 北京百度网讯科技有限公司 映射的生成方法、装置和路侧设备
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112215884A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种平面标志物的位姿确定方法和装置
CN112560959A (zh) * 2020-12-17 2021-03-26 咪咕文化科技有限公司 骨骼动画的姿态匹配方法、装置、电子设备及存储介质
CN112815979A (zh) * 2020-12-30 2021-05-18 联想未来通信科技(重庆)有限公司 一种传感器的标定方法及装置
CN113223091A (zh) * 2021-04-29 2021-08-06 达闼机器人有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN113592865A (zh) * 2021-09-29 2021-11-02 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN113674345A (zh) * 2021-10-25 2021-11-19 成都新西旺自动化科技有限公司 一种二维像素级三维定位系统及定位方法
CN113674356A (zh) * 2021-07-20 2021-11-19 浙江大华技术股份有限公司 相机筛选方法及相关装置
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN115289974A (zh) * 2022-10-09 2022-11-04 思看科技(杭州)股份有限公司 孔位测量方法、装置、计算机设备和存储介质
CN115775309A (zh) * 2023-01-31 2023-03-10 中国电子科技集团公司第二十八研究所 面向三维空间的火力范围标记方法、装置
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237541A (ja) * 1995-02-22 1996-09-13 Fanuc Ltd カメラぶれ補正機能付き画像処理装置
JP2004173973A (ja) * 2002-11-27 2004-06-24 Azemoto Shiyougo 斜視内視鏡用投影モデルのパラメータ推定方法
CN105913488A (zh) * 2016-04-15 2016-08-31 长安大学 一种基于三维映射表的三维点云快速重建方法
CN105913417A (zh) * 2016-04-05 2016-08-31 天津大学 基于透视投影直线的几何约束位姿方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08237541A (ja) * 1995-02-22 1996-09-13 Fanuc Ltd カメラぶれ補正機能付き画像処理装置
JP2004173973A (ja) * 2002-11-27 2004-06-24 Azemoto Shiyougo 斜視内視鏡用投影モデルのパラメータ推定方法
CN105913417A (zh) * 2016-04-05 2016-08-31 天津大学 基于透视投影直线的几何约束位姿方法
CN105913488A (zh) * 2016-04-15 2016-08-31 长安大学 一种基于三维映射表的三维点云快速重建方法
CN107240129A (zh) * 2017-05-10 2017-10-10 同济大学 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO SHUANG ET AL.: "Camera distortion calibration method based on nonspecific planar target", 《2016 IEEE INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING》 *
李海丰等: "PLP-SLAM:基于点、线、面特征融合的视觉SLAM方法", 《机器人》 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109764858A (zh) * 2018-12-24 2019-05-17 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
CN109859274A (zh) * 2018-12-24 2019-06-07 深圳市银星智能科技股份有限公司 机器人、其物体标定方法及视教交互方法
CN109764858B (zh) * 2018-12-24 2021-08-06 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
CN111354070B (zh) * 2018-12-24 2023-06-27 上海仁静信息技术有限公司 一种立体图形生成方法、装置、电子设备及存储介质
CN111354070A (zh) * 2018-12-24 2020-06-30 上海仁静信息技术有限公司 一种立体图形生成方法、装置、电子设备及存储介质
CN111369622B (zh) * 2018-12-25 2023-12-08 中国电子科技集团公司第十五研究所 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
CN111369622A (zh) * 2018-12-25 2020-07-03 中国电子科技集团公司第十五研究所 虚实叠加应用的相机世界坐标位置获取方法、装置和系统
CN111382613A (zh) * 2018-12-28 2020-07-07 中国移动通信集团辽宁有限公司 图像处理方法、装置、设备和介质
CN109884868A (zh) * 2019-01-18 2019-06-14 中国人民解放军陆军装甲兵学院 一种全视差全息立体图的打印方法及系统
CN109884868B (zh) * 2019-01-18 2020-12-25 中国人民解放军陆军装甲兵学院 一种全视差全息立体图的打印方法及系统
CN109729273A (zh) * 2019-01-21 2019-05-07 上海体育学院 图像采集方法、系统、装置、计算机设备和存储介质
CN109978953A (zh) * 2019-01-22 2019-07-05 四川大学 用于目标三维定位的方法及系统
CN109948689B (zh) * 2019-03-13 2022-06-03 北京达佳互联信息技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN109948689A (zh) * 2019-03-13 2019-06-28 北京达佳互联信息技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN111723830A (zh) * 2019-03-20 2020-09-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN111723830B (zh) * 2019-03-20 2023-08-29 杭州海康威视数字技术股份有限公司 一种图像映射方法、装置及设备、存储介质
CN110111388B (zh) * 2019-05-10 2021-03-23 北京航空航天大学 三维物体位姿参数估计方法及视觉设备
CN110111388A (zh) * 2019-05-10 2019-08-09 北京航空航天大学 三维物体位姿参数估计方法及视觉设备
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
CN110148173A (zh) * 2019-05-21 2019-08-20 北京百度网讯科技有限公司 目标定位的方法和装置、电子设备、计算机可读介质
CN112215884A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种平面标志物的位姿确定方法和装置
CN110580703A (zh) * 2019-09-10 2019-12-17 广东电网有限责任公司 一种配电线路的检测方法、装置、设备及存储介质
CN110580703B (zh) * 2019-09-10 2024-01-23 广东电网有限责任公司 一种配电线路的检测方法、装置、设备及存储介质
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110728717A (zh) * 2019-09-27 2020-01-24 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110766985A (zh) * 2019-10-09 2020-02-07 天津大学 一种穿戴式运动传感互动教学系统及其运动传感方法
CN110717994A (zh) * 2019-10-21 2020-01-21 联想(北京)有限公司 远程视频交互的实现方法及相关设备
CN111127559A (zh) * 2019-12-26 2020-05-08 深圳市瑞立视多媒体科技有限公司 光学动捕系统中标定杆检测方法、装置、设备和存储介质
CN111563924B (zh) * 2020-04-28 2023-11-10 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111563924A (zh) * 2020-04-28 2020-08-21 上海肇观电子科技有限公司 图像深度确定方法及活体识别方法、电路、设备和介质
CN111583302A (zh) * 2020-05-06 2020-08-25 北京大学 一种基于三维激光点云的割煤顶板线提取方法
CN111583302B (zh) * 2020-05-06 2021-07-16 北京大学 一种基于三维激光点云的割煤顶板线提取方法
CN111721281B (zh) * 2020-05-27 2022-07-15 阿波罗智联(北京)科技有限公司 位置识别方法、装置和电子设备
CN111721281A (zh) * 2020-05-27 2020-09-29 北京百度网讯科技有限公司 位置识别方法、装置和电子设备
CN111723716A (zh) * 2020-06-11 2020-09-29 深圳地平线机器人科技有限公司 确定目标对象朝向的方法、装置、系统、介质及电子设备
CN111723716B (zh) * 2020-06-11 2024-03-08 深圳地平线机器人科技有限公司 确定目标对象朝向的方法、装置、系统、介质及电子设备
CN111708366A (zh) * 2020-06-29 2020-09-25 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111915494A (zh) * 2020-07-21 2020-11-10 沈阳先进医疗设备技术孵化中心有限公司 校准方法、装置及系统
CN114078326A (zh) * 2020-08-19 2022-02-22 北京万集科技股份有限公司 碰撞检测方法、装置、视觉传感器和存储介质
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备
CN112037316A (zh) * 2020-09-22 2020-12-04 北京百度网讯科技有限公司 映射的生成方法、装置和路侧设备
CN112560959A (zh) * 2020-12-17 2021-03-26 咪咕文化科技有限公司 骨骼动画的姿态匹配方法、装置、电子设备及存储介质
CN112815979A (zh) * 2020-12-30 2021-05-18 联想未来通信科技(重庆)有限公司 一种传感器的标定方法及装置
CN112815979B (zh) * 2020-12-30 2023-11-21 联想未来通信科技(重庆)有限公司 一种传感器的标定方法及装置
CN113223091A (zh) * 2021-04-29 2021-08-06 达闼机器人有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN113674356A (zh) * 2021-07-20 2021-11-19 浙江大华技术股份有限公司 相机筛选方法及相关装置
CN113592865A (zh) * 2021-09-29 2021-11-02 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN113592865B (zh) * 2021-09-29 2022-01-25 湖北亿咖通科技有限公司 三维地图的质检方法、设备及存储介质
CN113674345B (zh) * 2021-10-25 2022-04-15 成都新西旺自动化科技有限公司 一种二维像素级三维定位系统及定位方法
CN113674345A (zh) * 2021-10-25 2021-11-19 成都新西旺自动化科技有限公司 一种二维像素级三维定位系统及定位方法
CN115289974A (zh) * 2022-10-09 2022-11-04 思看科技(杭州)股份有限公司 孔位测量方法、装置、计算机设备和存储介质
CN115775309B (zh) * 2023-01-31 2023-04-04 中国电子科技集团公司第二十八研究所 面向三维空间的火力范围标记方法、装置
CN115775309A (zh) * 2023-01-31 2023-03-10 中国电子科技集团公司第二十八研究所 面向三维空间的火力范围标记方法、装置
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备

Also Published As

Publication number Publication date
CN108986161B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN108986161A (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
Kendall et al. Posenet: A convolutional network for real-time 6-dof camera relocalization
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
JP5778237B2 (ja) ポイントクラウド内の埋め戻しポイント
CN110176032B (zh) 一种三维重建方法及装置
WO2018068678A1 (zh) 一种立体摄像机外部参数的确定方法及装置
US20150009214A1 (en) Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
JP2019057248A (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
CN107843251B (zh) 移动机器人的位姿估计方法
CN108010123B (zh) 一种保留拓扑信息的三维点云获取方法
US20110069888A1 (en) Image processing apparatus and method
WO2018228436A1 (zh) 双视角图像校准及图像处理方法、装置、存储介质和电子设备
KR102141319B1 (ko) 다시점 360도 영상의 초해상화 방법 및 영상처리장치
WO2023015409A1 (zh) 物体姿态的检测方法、装置、计算机设备和存储介质
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
Murrugarra-Llerena et al. Pose estimation for two-view panoramas based on keypoint matching: A comparative study and critical analysis
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
Li et al. Stereo neural vernier caliper
JP2017054450A (ja) 認識装置、認識方法及び認識用プログラム
JP2023056466A (ja) グローバル測位装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A 3D spatial coordinate estimation method, device, terminal and storage medium

Effective date of registration: 20221008

Granted publication date: 20201110

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230906

Granted publication date: 20201110

Pledgee: Industrial Bank Co.,Ltd. Shanghai Xuhui sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000277

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method, device, terminal, and storage medium for estimating three-dimensional spatial coordinates

Effective date of registration: 20231107

Granted publication date: 20201110

Pledgee: Industrial Bank Co.,Ltd. Shanghai Caohejing sub branch

Pledgor: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000719

PE01 Entry into force of the registration of the contract for pledge of patent right