CN116704125B - 一种基于三维点云的映射方法、装置、芯片及模组设备 - Google Patents

一种基于三维点云的映射方法、装置、芯片及模组设备 Download PDF

Info

Publication number
CN116704125B
CN116704125B CN202310650700.4A CN202310650700A CN116704125B CN 116704125 B CN116704125 B CN 116704125B CN 202310650700 A CN202310650700 A CN 202310650700A CN 116704125 B CN116704125 B CN 116704125B
Authority
CN
China
Prior art keywords
point cloud
dimensional
dimensional point
line segment
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310650700.4A
Other languages
English (en)
Other versions
CN116704125A (zh
Inventor
郦轲
王念欧
万进
安云霖
董明志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Accompany Technology Co Ltd
Original Assignee
Shenzhen Accompany Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Accompany Technology Co Ltd filed Critical Shenzhen Accompany Technology Co Ltd
Priority to CN202310650700.4A priority Critical patent/CN116704125B/zh
Publication of CN116704125A publication Critical patent/CN116704125A/zh
Priority to JP2023216450A priority patent/JP7432793B1/ja
Application granted granted Critical
Publication of CN116704125B publication Critical patent/CN116704125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于三维点云的映射方法、装置、芯片及模组设备，该方法包括：获取二维图像中目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点；从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云；基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云；从该第二三维点云中确定该目标线段对应的三维点云。基于本申请所描述的方法，能够降低计算量，提高数据处理速度，提升用户体验。

Description

一种基于三维点云的映射方法、装置、芯片及模组设备
技术领域
本发明涉及计算机领域，尤其涉及一种基于三维点云的映射方法、装置、芯片及模组设备。
背景技术
在三维成像技术中，通常需要对选定的三维点云进行处理以实现三维测量与分析。所谓的三维点云可以理解为三维点的集合，是指在相同参考坐标系下表示目标物体表面特征及空间分布的点的集合。三维点云可以包含空间坐标、颜色、强度等丰富的属性信息。
针对三维点云的交互选取过程，通常需要在显示的二维RGB图像中选取像素点，然后根据选取的像素点映射出对应的三维点云。在传统的方法中，可以利用三维向二维的投影矩阵，对选取的像素点进行反向投影，从而投射出选取的像素点对应的三维点云；或者，可以对所有的三维点云进行二维投影，然后通过最近邻搜索，查找选取的像素点对应的三维点云。但是这样的传统方式计算量大，数据处理速度慢，严重影响客户体验。
发明内容
本申请提供一种基于三维点云的映射方法、装置、芯片及模组设备，能够降低计算量，提高数据处理速度，提升用户体验。
第一方面，本申请提供一种基于三维点云的映射方法，该方法包括：获取二维图像中目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点；从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云；基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云；从该第二三维点云中确定该目标线段对应的三维点云。
基于第一方面所描述的方法，获取二维图像中目标线段对应的边缘像素点集合，并确定该边缘像素点集合对应的空间点集合，从而确定出目标线段对应的三维点云的边界，利用求取到的边界缩小第一三维点云的范围，即得到第二三维点云，能够在更小范围的第二三维点云中搜索目标线段对应的三维点云，有利于降低计算量，提高数据处理速度，提升用户体验。
在一种可能的实现方式中，该目标线段为直线段，该外接矩形的角点包括该目标线段的端点。基于该方式，有利于提高确定出的目标线段对应的三维点云的边界的精确性。
在一种可能的实现方式中，该目标线段为曲线段，该外接矩形为该目标线段的最小外接矩形。基于该方式，有利于提高确定出的目标线段对应的三维点云的边界的精确性。
在一种可能的实现方式中，从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，包括：基于相机内参确定该边缘像素点集合对应的图像点集合；基于该图像点集合从第一三维点云中确定该边缘像素点集合对应的第一空间点集合。基于该方式，有利于提高第一空间点集合的准确性。
在一种可能的实现方式中，基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云，包括：基于该第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值；该第一最大阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最小值；该第二最大阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最小值；基于该第一最大阈值、该第一最小阈值、该第二最大阈值和该第二最小阈值，对该第一三维点云进行滤波处理，得到第二三维点云。基于该方式，有利于剔除第一三维点云中存在异常点，同时提高缩小第一三维点云的范围的准确性。
在一种可能的实现方式中，该第二三维点云中的第二空间点在第一方向上的坐标数值大于或等于该第一最小阈值，且小于或等于该第一最大阈值；该第二三维点云中的空间点在第二方向上的坐标数值大于或等于该第二最小阈值，且小于或等于该第二最大阈值。
在一种可能的实现方式中，该外接矩形的相邻两边分别平行与该二维图像的行方向和列方向。基于该方式，能够保证外接矩形的方向与二维图像的方向是一致的，从而能够使得确定的边界区域更准确，更有利于提高缩减第一三维点云的准确性。
第二方面，本申请提供一种基于三维点云的映射装置，该装置包括：获取单元，用于获取二维图像中目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点；确定单元，用于从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云；处理单元，用于基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云；该确定单元，还用于从该第二三维点云中确定该目标线段对应的三维点云。
第三方面，本申请提供了一种芯片，该芯片包括处理器和通信接口，处理器被配置用于使芯片执行上述第一方面或其任一种可能的实现方式中的方法。
第四方面，本申请提供了一种模组设备，该模组设备包括通信模组、电源模组、存储模组以及芯片，其中：该电源模组用于为该模组设备提供电能；该存储模组用于存储数据和指令；该通信模组用于进行模组设备内部通信，或者用于该模组设备与外部设备进行通信；该芯片用于执行上述第一方面或其任一种可能的实现方式中的方法。
第五方面，本发明实施例公开了一种基于三维点云的映射装置，该基于三维点云的映射装置包括存储器和处理器，该存储器用于存储计算机程序，该计算机程序包括程序指令，该处理器被配置用于调用该程序指令，执行上述第一方面或其任一种可能的实现方式中的方法。
第六方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机可读指令，当该计算机可读指令在基于三维点云的映射装置上运行时，使得该基于三维点云的映射装置执行上述第一方面或其任一种可能的实现方式中的方法。
第七方面，本申请提供一种计算机程序或计算机程序产品，包括代码或指令，当代码或指令在计算机上运行时，使得计算机执行如第一方面或其任一种可能的实现方式中的方法。
附图说明
图1是本申请实施例提供的一种世界坐标系、相机坐标系、图像坐标系和像素坐标系的示意图；
图2是本申请实施例提供的一种基于三维点云的映射方法的流程示意图；
图3是本申请实施例提供的一种二维图像、目标线段和第一像素点集合的示意图；
图4是本申请实施例提供的一种目标线段对应的边缘像素点集合的示意图；
图5A是本申请实施例提供的一种目标线段对应的外接矩形的示意图；
图5B是本申请实施例提供的另一种目标线段对应的外接矩形的示意图；
图5C是本申请实施例提供的另一种目标线段对应的外接矩形的示意图；
图5D是本申请实施例提供的另一种目标线段对应的外接矩形的示意图；
图5E是本申请实施例提供的另一种目标线段对应的外接矩形的示意图；
图6是本申请实施例提供的一种基于三维点云的映射装置的结构示意图；
图7是本申请实施例提供的另一种基于三维点云的映射装置的结构示意图；
图8是本申请实施例提供的一种模组设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
需要说明的是，本申请的说明书和权利要求书中及上述附图中的属于“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在三维成像技术中，通常需要对选定的三维点云进行处理以实现三维测量与分析。针对三维点云的交互选取过程，为了能够降低计算量，提高数据处理速度，提升用户体验，本申请提供了一种基于三维点云的映射方法。在具体实现中，上述所提及的基于三维点云的映射方法可以由终端设备执行。下面对终端设备进行介绍：
终端设备包括向用户提供语音和/或数据连通性的设备，例如终端设备是一种具有无线收发功能的设备，可以部署在陆地上，包括室内或室外、手持、穿戴或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。所述终端可以是手机(mobile phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(VR)终端设备、增强现实(AR)终端设备、工业控制(industrial control)中的无线终端、车载终端设备、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、可穿戴终端设备等等。本申请的实施例对应用场景不做限定。终端有时也可以称为终端设备、用户设备(userequipment，UE)、接入终端设备、车载终端、工业控制终端、UE单元、UE站、移动站、移动台、远方站、远程终端设备、移动设备、UE终端设备、终端设备、无线通信设备、UE代理或UE装置等。终端也可以是固定的或者移动的。在本申请实施例中，该终端设备还可以包括二维相机、三维传感器等部件。另外，用于实现终端设备的功能的装置可以是终端设备，也可以是能够支持终端设备实现该功能的装置，例如芯片系统或可实现终端设备功能的组合器件、部件，该装置可以被安装在终端设备中。
为了便于理解本申请实施例提供的方案，下面对本申请实施例涉及的相关概念进行介绍：
1、三维点云
三维成像技术是指将客观世界的三维图像通过某种技术把它记录下来然后处理、压缩再传输出去，显示出来，最终在人的大脑中再现客观世界的图像，这个过程就是三维成像技术的全过程。在三维成像技术中，通常需要对三维点云进行处理。所谓的三维点云则可以理解为三维点(即空间点)的集合，是指在相同参考坐标系下表示目标物体表面特征及空间分布的点的集合。三维点云可以包含空间坐标、颜色、强度等丰富的属性信息。三维点云不是通过普通的相机拍摄得到的，一般是通过三维传感器获得，比如双目相机、三维扫描仪等。三维点云可通过扫描的RGB图像，以及扫描相机的内在参数创建三维点云，方法是通过相机校准，使用相机内在参数计算真实世界的点。因此，RGB图像是网格对齐的图像，而三维点云则是更稀疏的结构。
在本申请实施例中，以三维点云中的空间点由(xc,yc,zc)描述为例进行说明，该三维点云可以由m×3矩阵进行描述，其中m为空间点的个数。
2、像素点
像素是数字图像的最小单位，通常用于描述数字图像的分辨率。一个像素可以包含颜色、亮度和透明度等信息。像素点是像素的基本元素，是数字图像中一个单独的点或一个单独的像素。像素点在图像中的位置可以由行与列两个方向进行确定。
3、世界坐标系、相机坐标系、图像坐标系和像素坐标系
如图1所示，图像处理中涉及到以下四个坐标系：
(1)Ow-XwYwZw：世界坐标系，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。P(Xw,Yw,Zw)为世界坐标系上的某个点。
(2)Oc-XcYcZc：相机坐标系，坐标原点为相机的光心位置，Xc轴和Yc轴分别平行于图像坐标系的x轴(行方向)和y轴(列方向)，Zc轴为相机的光轴。
(3)o-xy：图像坐标系，坐标原点为图像平面的中心，X轴和Y轴分别平行于图像平面的两条垂直边。p(x,y)为图像坐标系上的某个点。
(4)uv：像素坐标系，坐标原点为图像平面的左上角顶点，u轴和v轴分别平行于图像坐标系的x轴和y轴。像素坐标系就是以像素为单位的图像坐标系。
4、相机内参和相机外参
相机内参是指相机的内在参数，是与相机配置相关的参数组成的矩阵。相机坐标系中的三维点云可以通过相机内参的映射，得到像素点位置。
相机外参是指相机的外在参数，用于描述世界坐标系与相机坐标系之间旋转平移关系。处于世界坐标系中的三维点云，可以通过相机外参描述的旋转平移变换，得到相机坐标系中的三维点云。
下面进一步对本申请提供的基于三维点云的映射方法进行详细描述。请参见图2，图2是本申请实施例提供的一种基于三维点云的映射方法的流程示意图。如图2所示，该基于三维点云的映射方法包括如下步骤S201～S204，图2所示的方法执行主体包括终端设备(如上述提及的终端设备)。或者，图2所示的方法执行主体包括终端设备中的芯片、芯片系统、或处理器。或者，图2所示的方法执行主体还可以是能实现终端设备的全部或部分功能的逻辑模块或软件。本申请实施例对该基于三维点云的映射方法的执行主体不做限定。图2以终端设备为执行主体为例进行说明。其中：
S201、终端设备获取二维图像中目标线段对应的边缘像素点集合。
S202、终端设备从第一三维点云中确定该边缘像素点集合对应的第一空间点集合。
在本申请实施例中，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云。也就是说，二维图像和第一三维点云是对同一个目标对象采集的信息。其中，该目标对象可以是指物品、人物、动物等，在此不做限定。利用二维相机可以采集到目标对象的二维图像，利用三维传感器可以采集到目标对象的三维点云。具体地，三维传感器可以采集到处于世界坐标系中的三维点云，通过相机外参描述的旋转平移变换，得到相机坐标系中的三维点云；二维相机可以将相机坐标系中的三维点云通过相机内参的映射，得到像素点位置。
需要说明的是，二维相机可以是一个独立的设备，与三维传感器搭配使用；也可以是三维传感器中的一个部件，三维传感器在生成三维点云的同时得到相应的二维图像；当然，二维相机和/或三维传感器也可以是终端设备的一个部件，在此不做限定。
终端设备获取到二维图像和第一三维点云后，可以选择该二维图像中的目标线段。该目标线段可以是二维图像中选择的任意一条线段，可以是直线段，也可以是曲线段，在此不做限定。可选地，终端设备可以将该目标线段上经过的所有像素点作为该目标线段对应的第一像素点集合。如图3所示，二维图像1中选择了一条线段a，该线段a即为目标线段，该线段a上经过的所有像素点即为线段a对应的第一像素点集合1。
进一步，终端设备可以确定该目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点。也就是说，该外接矩形可以认为是包含该目标线段的区域的边缘，该外接矩形的四个角的像素点即可认为是该目标线段对应的边缘像素点集合。如图4所示，二维图像1中选择了一条线段a，该线段a即为目标线段，线段a对应的边缘像素点集合1即为该线段a对应的外接矩形a1的四个角的像素点(即像素点A、像素点B、像素点C、像素点D)。
在一种可能的实现方式中，该目标线段可以是直线段或曲线段，下面对这两种情况下的外接矩形进行具体说明。基于该方式，有利于提高确定出的目标线段对应的三维点云的边界的精确性。
(1)该目标线段为直线段，该外接矩形的角点包括该目标线段的端点。
如图5A所示，该目标线段为线段1，该线段1为直线段，以线段1作为外接矩形的对角线，外接矩形的相邻两边分别平行与二维图像的行方向和列方向(如外接矩形的第一边和第二边平行与二维图像的行方向，外接矩形的第三边和第四边平行与二维图像的列方向)，从而确定出线段1对应的外接矩形1，该外接矩形1的角点包括线段1的端点(即端点1、端点2)。
如图5B所示，该目标线段为线段2，该线段2为直线段，以线段2作为外接矩形的对角线，外接矩形的相邻两边不平行与二维图像的行方向和列方向(如外接矩形的第一边和第二边不平行与二维图像的行方向，外接矩形的第三边和第四边不平行与二维图像的列方向)，从而确定出线段2对应的外接矩形2，该外接矩形2的角点包括线段2的端点(即端点1、端点2)。
如图5C所示，该目标线段为线段3，该线段3为直线段，线段3平行与二维图像的行方向，以线段3的端点(即端点1、端点2)作为外接矩形3的两个角点，该外接矩形3的长为线段3的长度，该外接矩形3的宽为1个像素点的宽度。
如图5D所示，该目标线段为线段4，该线段4为直线段，线段4平行与二维图像的列方向，以线段4的端点(即端点1、端点2)作为外接矩形4的两个角点，该外接矩形4的长为线段4的长度，该外接矩形4的宽为1个像素点的宽度。
(2)该目标线段为曲线段，该外接矩形为该目标线段的最小外接矩形。
如图5E所示，该目标线段为线段5，该线段5为曲线段，以线段5的最外廓范围确定最小外接矩形，线段5的最小外接矩形即为线段5对应的外接矩形5。
在一种可能的实现方式中，终端设备从第一三维点云中确定该边缘像素点集合对应的第一空间点集合的具体实现方式可以包括以下步骤s11和s12。基于该方式，有利于提高第一空间点集合的准确性。
s11、终端设备基于相机内参确定该边缘像素点集合对应的图像点集合。
在具体实现中，相机坐标系中的空间点可以通过相机内参确定出像素坐标系中的像素点。
具体地，可以采用下述公式(1)进行确定。
在公式1中，(u,v)为像素坐标系中的像素点；(x,y,z)为相机坐标系中的空间点；为相机内参矩阵；f为焦距，单位毫米；/>为使用像素来描述x轴方向焦距的长度，/>为使用像素来描述y轴方向焦距的长度；(u0,v0)为主点的实际位置，单位也是像素。
由于相机坐标系的坐标原点为相机的光心位置，Xc轴和Yc轴分别平行于图像坐标系的x轴(行方向)和y轴(列方向)，Zc轴为相机的光轴。另外，相机投影矩阵如下：
因此，终端设备可以进一步确定出该边缘像素点集合中每个像素点对应的图像点，所有图像点组成的集合即为该边缘像素点集合对应的图像点集合。具体地，可以采用下述公式(2)将图像坐标系中的图像点转化为像素坐标系中的像素点。同理。也可以根据公式(2)将像素坐标系中的像素点转化为图像坐标系中的图像点。
例如，假设已知边缘像素点集合中的像素点A(m,n)，根据上述公式(2)可以得到像素点A对应的图像点A′(xp,yp)，图像点A′(xp,yp)的表达式如下：
s12、终端设备基于该图像点集合从第一三维点云中确定该边缘像素点集合对应的第一空间点集合。
在具体实现中，终端设备可以对该图像点集合中的每个图像点分别构建射线方程，然后分别从第一三维点云中确定距离构建的射线最近的第一空间点，所有第一空间点组成的集合即为该边缘像素点集合对应的第一空间点集合。
以边缘像素点集合中的像素点A为例，该像素点A对应的图像点为A′(xp,yp)。终端设备对图像点A′构建射线方程(起点为原点，指向图像平面上的图像点坐标)。该射线会穿过第一三维点云，可以构筑关于z的方程(即射线方程可描述为x、y关于z的一次函数)。也就是说，相机坐标系中的直线可以看作两个平面的交线(即两个平面方程的联立)，这两个平面均过坐标系原点(0,0)。
因此，该射线方程的表达式为：其中，k1、k2由像素点决定。具体地，像素点A为(m,n)，像素点A对应的图像点为A′(xp,yp)，则：
进一步，终端设备从第一三维点云中确定距离该射线最近的空间点，该空间点便是像素点A对应的第一空间点。具体地，可以利用公式(3)度量第一三维点云中每个空间点到射线的相对距离。
在公式(3)中，(xc,yc,zc)为第一三维点云中任意一个空间点，d为第一三维点云中每个空间点到射线的相对距离。以第一三维点云中的像素点A为例，将第一三维点云中的每个空间点代入公式(3)中计算出d的数值，将d为最小值时对应的空间点确定为像素点A对应的第一空间点。
例如，假设利用公式(3)度量出第一三维点云中的每个空间点到射线的相对距离d，其中空间点A1到射线的相对距离为0，即d＝0，表示空间点A1正好位于射线上，即其坐标满足关系式：zc＝k1*xc，zc＝k2*yc；则可以认为空间点A1为最接近射线的空间点，即空间点A1为在第一三维点云中像素点A对应的第一空间点。
又例如，假设利用公式(3)度量出第一三维点云中的每个空间点到射线的相对距离d，第一三维点云中没有存在位于射线上空间点，即没有使得d＝0的空间点，若空间点A1到射线的相对距离为最小值，则可以认为空间点A1为最接近射线的空间点，即空间点A1为在第一三维点云中像素点A对应的第一空间点。
采用同样的方法，分别确定边缘像素点集合中每个像素点(即像素点A、像素点B、像素点C、像素点D)在第一三维点云中对应的第一空间点，得到第一空间点集合(即第一空间点A1、第一空间点B1、第一空间点C1、第一空间点D1)。
S203、终端设备基于该第一空间点集合对第一三维点云进行滤波处理，得到第二三维点云。
在本申请实施例中，终端设备可以利用该第一空间点集合确定阀值参数，以该阀值参数对第一三维点云进行阀值滤波，得到第二三维点云。也就是说，可以对第一三维点云中第一空间点集合组成的空间闭合区域之外的三维点云进行滤除，得到一个更小范围的第二三维点云，第二三维点云可以认为是第一三维点云的子集，后续可以直接在第二三维点云中确定目标线段对应的三维点云，减小了搜索空间，有利于降低计算量，提高数据处理速度，提升用户体验。
在一种可能的实现方式中，终端设备基于该第一空间点集合对第一三维点云进行滤波处理，得到第二三维点云的具体实现方式可以包括以下步骤s21和s22。基于该方式，有利于剔除第一三维点云中存在异常点，同时提高缩小第一三维点云的范围的准确性。
s21、终端设备基于该第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值。
在具体实现中，该第一最大阈值为第一空间点集合中第一空间点在第一方向上的坐标数值的最大值，该第一最小阈值为第一空间点集合中第一空间点在第一方向上的坐标数值的最小值；该第二最大阈值为第一空间点集合中第一空间点在第二方向上的坐标数值的最大值，该第一最小阈值为第一空间点集合中第一空间点在第二方向上的坐标数值的最小值。
可选地，该第一方向平行与二维图像的行方向，该第二方向平行与二维图像的列方向。
例如，假设第一空间点集合包括第一空间点A1、第一空间点B1、第一空间点C1和第一空间点D1。其中，第一空间点A1为(4,5,6)，第一空间点B1为(7,8,3)，第一空间点C1为(4,5,9)，第一空间点D1为(7,3,2)。因此，第一最大阈值为7，第一最小阈值为4，第二最大阈值为8，第二最小阈值为3。
s22、终端设备基于该第一最大阈值、该第一最小阈值、该第二最大阈值和该第二最小阈值，对该第一三维点云进行滤波处理，得到第二三维点云。
可选地，该第二三维点云中的第二空间点在第一方向上的坐标数值大于或等于该第一最小阈值，且小于或等于该第一最大阈值；该第二三维点云中的空间点在第二方向上的坐标数值大于或等于该第二最小阈值，且小于或等于该第二最大阈值。也就是说，第一三维点云中只保留第一空间点集合组成的空间闭合区域之内的三维点云，滤除第一三维点云中第一空间点集合组成的空间闭合区域之外的三维点云，从而缩小三维点云的范围。
例如，第一最大阈值为7，第一最小阈值为4，第二最大阈值为8，第二最小阈值为3。第一三维点云中保留在第一方向上的坐标数值大于或等于4，且小于或等于7；以及在第二方向上的坐标数值大于或等于3，且小于或等于8的三维点云，即得到第二三维点云。该第二三维点云中的每个第二空间点均是在第一方向上的坐标数值大于或等于4，且小于或等于7；在第二方向上的坐标数值大于或等于3，且小于或等于8的空间点。
在一种可能的实现方式中，该外接矩形的相邻两边分别平行与该二维图像的行方向和列方向。以图4为例，图4中外接矩形的第一边和第二边平行与二维图像的行方向，外接矩形的第三边和第四边平行与二维图像的列方向。基于该方式，能够保证外接矩形的方向与二维图像的方向是一致的，从而能够使得确定的边界区域更准确，更有利于提高缩减三维点云的准确性。
S204、终端设备从该第二三维点云中确定该目标线段对应的三维点云。
在本申请实施例中，终端设备对第一三维点云进行缩减后，在更小范围的第二三维点云中确定目标线段对应的三维点云，减小了搜索范围，提高了计算效率。
在一种可能的实现方式中，终端设备从该第二三维点云中确定该目标线段对应的三维点云的具体实现方式可以包括步骤s31～s35。
s31、终端设备在该二维图像上对该第二三维点云进行投影，得到该第二三维点云对应的像素位置集合。
在具体实现中，终端设备利用相机内参在二维图像上对第二三维点云中每个第二空间点进行投影，得到每个第二空间点对应的像素位置，所有第二空间点对应的像素位置组成的集合即为该第二三维点云对应的像素位置集合。像素位置集合中的每个像素位置和第二三维点云中每个第二空间点是一一对应的关系。
s32、终端设备基于该像素位置集合构建二维检索树。
在具体实现中，该二维检索树可以是kd-tree(k-dimensional树的简称)的结构，所谓的kd-tree是一种树形结构数据存储方式，可将二维或三维点进行有序编码，主要应用于多维空间特征向量的快速搜索，比如范围搜索、最近邻搜索等。终端设备可以利用传统构建kd-tree的方式依据该像素位置集合构建二维检索树。
s33、终端设备基于该二维检索树对第一像素点进行最近邻搜索，得到第一索引值。
在具体实现中，该第一像素点为该第一像素点集合中任意一个像素点，该第一像素点集合为该目标线段上经过的所有像素点。以第一像素点为例进行说明，利用传统的kd-tree的最近邻查找方法，终端设备可以通过二维检索树快速查询到距离第一像素点最近的目标空间点，并返回该目标空间点对应的第一索引值。
s34、终端设备基于该第一索引值在该像素位置集合中确定第一像素位置。
在具体实现中，终端设备根据该第一索引值在像素位置集合中找到相应的第一像素位置。例如，该第一索引值为0，该第一索引值对应的第一像素位置为(4,6)。
s35、终端设备基于该第一像素位置从该第二三维点云中确定目标空间点。
在具体实现中，由于像素位置集合中的每个像素位置和第二三维点云中每个第二空间点是一一对应的关系，因此根据第一像素位置便可以从该第二三维点云中确定出目标空间点，该目标空间点为第一像素点在该目标线段对应的三维点云中对应的空间点。
同理，采用确定第一像素点对应的目标空间点的方式，可以确定出第一像素点集合中每个像素点对应的目标空间点，所有目标空间点组成的集合便是该目标线段对应的三维点云。
可见，基于图2所描述的方法，终端设备获取二维图像中目标线段对应的边缘像素点集合，并确定该边缘像素点集合对应的空间点集合，从而确定出目标线段对应的三维点云的边界，利用求取到的边界缩小第一三维点云的范围，即得到第二三维点云，能够在更小范围的第二三维点云中搜索目标线段对应的三维点云，有利于降低计算量，提高数据处理速度，提升用户体验。
请参见图6，图6是本发明实施例提供的一种基于三维点云的映射装置的结构示意图，该基于三维点云的映射装置可以为终端设备或具有终端设备功能的装置(例如芯片)。具体的，如图6所示，基于三维点云的映射装置600，可以包括获取单元601、确定单元602和处理单元603。其中：
获取单元601，用于获取二维图像中目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点；
确定单元602，用于从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云；
处理单元603，用于基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云；
确定单元602，还用于从该第二三维点云中确定该目标线段对应的三维点云。
在一种可能的实现方式中，该目标线段为直线段，该外接矩形的角点包括该目标线段的端点。
在一种可能的实现方式中，该目标线段为曲线段，该外接矩形为该目标线段的最小外接矩形。
在一种可能的实现方式中，确定单元602，在从第一三维点云中确定该边缘像素点集合对应的第一空间点集合时，可具体用于：基于相机内参确定该边缘像素点集合对应的图像点集合；基于该图像点集合从第一三维点云中确定该边缘像素点集合对应的第一空间点集合。
在一种可能的实现方式中，处理单元603，在基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云时，可具体用于：基于该第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值；该第一最大阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最小值；该第二最大阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最小值；基于该第一最大阈值、该第一最小阈值、该第二最大阈值和该第二最小阈值，对该第一三维点云进行滤波处理，得到第二三维点云。
在一种可能的实现方式中，该第二三维点云中的第二空间点在第一方向上的坐标数值大于或等于该第一最小阈值，且小于或等于该第一最大阈值；该第二三维点云中的空间点在第二方向上的坐标数值大于或等于该第二最小阈值，且小于或等于该第二最大阈值。
在一种可能的实现方式中，该外接矩形的相邻两边分别平行与该二维图像的行方向和列方向。
本申请实施例还提供了一种芯片，该芯片可以执行前述方法实施例中终端设备的相关步骤。该芯片，包括处理器和通信接口，该处理器被配置用于使芯片执行如下操作：获取二维图像中目标线段对应的边缘像素点集合，该边缘像素点集合包括该目标线段对应的外接矩形的四个角的像素点；从第一三维点云中确定该边缘像素点集合对应的第一空间点集合，该二维图像为目标对象的图像，该第一三维点云为目标对象的三维点云；基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云；从该第二三维点云中确定该目标线段对应的三维点云。
在一种可能的实现方式中，该目标线段为直线段，该外接矩形的角点包括该目标线段的端点。
在一种可能的实现方式中，该目标线段为曲线段，该外接矩形为该目标线段的最小外接矩形。
在一种可能的实现方式中，该芯片，在从第一三维点云中确定该边缘像素点集合对应的第一空间点集合时，可具体用于：基于相机内参确定该边缘像素点集合对应的图像点集合；基于该图像点集合从第一三维点云中确定该边缘像素点集合对应的第一空间点集合。
在一种可能的实现方式中，该芯片，在基于该第一空间点集合对该第一三维点云进行滤波处理，得到第二三维点云时，可具体用于：基于该第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值；该第一最大阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第一方向上的坐标数值的最小值；该第二最大阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最大值，该第一最小阈值为该第一空间点集合中第一空间点在第二方向上的坐标数值的最小值；基于该第一最大阈值、该第一最小阈值、该第二最大阈值和该第二最小阈值，对该第一三维点云进行滤波处理，得到第二三维点云。
在一种可能的实现方式中，该第二三维点云中的第二空间点在第一方向上的坐标数值大于或等于该第一最小阈值，且小于或等于该第一最大阈值；该第二三维点云中的空间点在第二方向上的坐标数值大于或等于该第二最小阈值，且小于或等于该第二最大阈值。
在一种可能的实现方式中，该外接矩形的相邻两边分别平行与该二维图像的行方向和列方向。
对于应用于或集成于芯片的各个装置、产品，其包含的各个模块可以都采用电路等硬件的方式实现，或者，至少部分模块可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块可以采用电路等硬件方式实现。
请参阅图7，图7是本发明实施例提供的一种基于三维点云的映射装置的结构示意图。该基于三维点云的映射装置700可以包括存储器701、处理器702。可选地，还包括通信接口703。存储器701、处理器702和通信接口703通过一条或多条通信总线连接。其中，通信接口703受处理器702的控制用于收发信息。
存储器701可以包括只读存储器和随机存取存储器，并向处理器702提供指令和数据。存储器701的一部分还可以包括非易失性随机存取存储器。
通信接口703用于接收或发送数据。
处理器702可以是中央处理单元(central processing unit，CPU)，该处理器702还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，可选地，该处理器702也可以是任何常规的处理器等。其中：
存储器701，用于存储程序指令。
处理器702，用于调用存储器701中存储的程序指令。
处理器702调用存储器701中存储的程序指令，使该基于三维点云的映射装置700执行上述方法实施例中终端设备所执行的方法。
如图8所示，图8是本申请实施例提供的一种模组设备的结构示意图。该模组设备800可以执行前述方法实施例中近端设备的相关步骤，该模组设备800包括：通信模组801、电源模组802、存储模组803以及芯片804。
其中，电源模组802用于为模组设备提供电能；存储模组803用于存储数据和指令；通信模组801用于进行模组设备内部通信，或者用于模组设备与外部设备进行通信；芯片804用于执行上述方法实施例中终端设备所执行的方法。
需要说明的是，图6～图8对应的实施例中未提及的内容以及各个步骤的具体实现方式可参见图2所示实施例以及前述内容，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在处理器上运行时，上述方法实施例的方法流程得以实现。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，上述方法实施例的方法流程得以实现。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些操作可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本申请提供的各实施例的描述可以相互参照，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。为描述的方便和简洁，例如关于本申请实施例提供的各装置、设备的功能以及执行的操作可以参照本申请方法实施例的相关描述，各方法实施例之间、各装置实施例之间也可以互相参考、结合或引用。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于三维点云的映射方法，其特征在于，所述方法包括：
获取二维图像中目标线段对应的边缘像素点集合，所述边缘像素点集合包括所述目标线段对应的外接矩形的四个角的像素点；
从第一三维点云中确定所述边缘像素点集合对应的第一空间点集合，所述二维图像为目标对象的图像，所述第一三维点云为所述目标对象的三维点云；
基于所述第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值；所述第一最大阈值为所述第一空间点集合中第一空间点在所述第一方向上的坐标数值的最大值，所述第一最小阈值为所述第一空间点集合中第一空间点在所述第一方向上的坐标数值的最小值；所述第二最大阈值为所述第一空间点集合中第一空间点在所述第二方向上的坐标数值的最大值，所述第一最小阈值为所述第一空间点集合中第一空间点在所述第二方向上的坐标数值的最小值；
基于所述第一最大阈值、所述第一最小阈值、所述第二最大阈值和所述第二最小阈值，对所述第一三维点云进行滤波处理，得到第二三维点云；其中，所述第二三维点云中的第二空间点在所述第一方向上的坐标数值大于或等于所述第一最小阈值，且小于或等于所述第一最大阈值；所述第二三维点云中的空间点在所述第二方向上的坐标数值大于或等于所述第二最小阈值，且小于或等于所述第二最大阈值；
从所述第二三维点云中确定所述目标线段对应的三维点云。
2.根据权利要求1所述的方法，其特征在于，所述目标线段为直线段，所述外接矩形的角点包括所述目标线段的端点。
3.根据权利要求1所述的方法，其特征在于，所述目标线段为曲线段，所述外接矩形为所述目标线段的最小外接矩形。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述从第一三维点云中确定所述边缘像素点集合对应的第一空间点集合，包括：
基于相机内参确定所述边缘像素点集合对应的图像点集合；
基于所述图像点集合从第一三维点云中确定所述边缘像素点集合对应的第一空间点集合。
5.根据权利要求1所述的方法，其特征在于，所述外接矩形的相邻两边分别平行与所述二维图像的行方向和列方向。
6.一种基于三维点云的映射装置，其特征在于，所述装置包括：
获取单元，用于获取二维图像中目标线段对应的边缘像素点集合，所述边缘像素点集合包括所述目标线段对应的外接矩形的四个角的像素点；
确定单元，用于从第一三维点云中确定所述边缘像素点集合对应的第一空间点集合，所述二维图像为目标对象的图像，所述第一三维点云为所述目标对象的三维点云；
处理单元，用于基于所述第一空间点集合确定第一方向上的第一最大阈值和第一最小阈值，以及第二方向上的第二最大阈值和第二最小阈值；所述第一最大阈值为所述第一空间点集合中第一空间点在所述第一方向上的坐标数值的最大值，所述第一最小阈值为所述第一空间点集合中第一空间点在所述第一方向上的坐标数值的最小值；所述第二最大阈值为所述第一空间点集合中第一空间点在所述第二方向上的坐标数值的最大值，所述第一最小阈值为所述第一空间点集合中第一空间点在所述第二方向上的坐标数值的最小值；
所述处理单元，还用于基于所述第一最大阈值、所述第一最小阈值、所述第二最大阈值和所述第二最小阈值，对所述第一三维点云进行滤波处理，得到第二三维点云；其中，所述第二三维点云中的第二空间点在所述第一方向上的坐标数值大于或等于所述第一最小阈值，且小于或等于所述第一最大阈值；所述第二三维点云中的空间点在所述第二方向上的坐标数值大于或等于所述第二最小阈值，且小于或等于所述第二最大阈值；
所述确定单元，还用于从所述第二三维点云中确定所述目标线段对应的三维点云。
7.一种芯片，其特征在于，包括处理器和通信接口，所述处理器被配置用于使所述芯片执行如权利要求1-5中任一项所述的方法。
8.一种模组设备，其特征在于，所述模组设备包括通信模组、电源模组、存储模组以及芯片，其中：
所述电源模组用于为所述模组设备提供电能；
所述存储模组用于存储数据和指令；
所述通信模组用于进行模组设备内部通信，或者用于所述模组设备与外部设备进行通信；
所述芯片用于执行如权利要求1-5中任一项所述的方法。
9.一种基于三维点云的映射装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，使所述基于三维点云的映射装置执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可读指令，当所述计算机可读指令在基于三维点云的映射装置上运行时，使得所述基于三维点云的映射装置执行如权利要求1-5中任一项所述的方法。
CN202310650700.4A 2023-06-02 2023-06-02 一种基于三维点云的映射方法、装置、芯片及模组设备 Active CN116704125B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310650700.4A CN116704125B (zh) 2023-06-02 2023-06-02 一种基于三维点云的映射方法、装置、芯片及模组设备
JP2023216450A JP7432793B1 (ja) 2023-06-02 2023-12-22 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310650700.4A CN116704125B (zh) 2023-06-02 2023-06-02 一种基于三维点云的映射方法、装置、芯片及模组设备

Publications (2)

Publication Number Publication Date
CN116704125A CN116704125A (zh) 2023-09-05
CN116704125B true CN116704125B (zh) 2024-05-17

Family

ID=87828635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310650700.4A Active CN116704125B (zh) 2023-06-02 2023-06-02 一种基于三维点云的映射方法、装置、芯片及模组设备

Country Status (2)

Country Link
JP (1) JP7432793B1 (zh)
CN (1) CN116704125B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392735B (zh) * 2023-12-12 2024-03-22 深圳市宗匠科技有限公司 面部数据处理方法、装置、计算机设备和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201712922D0 (en) * 2017-08-11 2017-09-27 Canon Kk Method and corresponding device for generating a point cloud representing a 3D object
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台（上海）信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN109271861A (zh) * 2018-08-15 2019-01-25 武汉中海庭数据技术有限公司 多尺度融合的点云交通标识牌自动提取方法
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN110476037A (zh) * 2017-04-03 2019-11-19 富士通株式会社 距离信息处理装置、距离信息处理方法以及距离信息处理程序
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN112581621A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七一六研究所 一种三维点云钢板空间尺寸在线提取方法
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质
CN113420735A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 一种轮廓提取方法、装置、设备、程序产品及存储介质
CN113793384A (zh) * 2021-09-15 2021-12-14 上海大学 一种基于图像处理的石油钻杆变径定位方法及系统
CN114677350A (zh) * 2022-03-25 2022-06-28 腾讯科技（深圳）有限公司 连接点提取方法、装置、计算机设备及存储介质
CN115034988A (zh) * 2022-06-06 2022-09-09 中国计量大学 一种基于rgbd相机的两阶段主体点云滤波方法
CN115170767A (zh) * 2022-07-06 2022-10-11 腾讯科技（深圳）有限公司 线框结构的生成方法、装置、电子设备及可读存储介质
CN115273033A (zh) * 2022-08-08 2022-11-01 北京领骏科技有限公司 一种提取道路标线的方法、装置、介质及设备
CN115375699A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 点云分割方法、移动机器人及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110360944B (zh) 2019-06-25 2021-03-26 江苏省特种设备安全监督检验研究院 一种基于三维点云的吊钩形变监测与显示方法
DE112021002696T5 (de) * 2020-05-11 2023-02-23 Cognex Corporation Verfahren und apparate zum extrahieren von profilen aus dreidimensionalen bildern
CN115690338A (zh) 2021-07-30 2023-02-03 北京图森智途科技有限公司 地图构建方法、装置、设备及存储介质
CN116402792A (zh) 2023-04-07 2023-07-07 北华航天工业学院 一种基于三维点云的空间孔位对接方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110476037A (zh) * 2017-04-03 2019-11-19 富士通株式会社 距离信息处理装置、距离信息处理方法以及距离信息处理程序
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
GB201712922D0 (en) * 2017-08-11 2017-09-27 Canon Kk Method and corresponding device for generating a point cloud representing a 3D object
CN108986161A (zh) * 2018-06-19 2018-12-11 亮风台（上海）信息科技有限公司 一种三维空间坐标估计方法、装置、终端和存储介质
CN109271861A (zh) * 2018-08-15 2019-01-25 武汉中海庭数据技术有限公司 多尺度融合的点云交通标识牌自动提取方法
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN112581621A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七一六研究所 一种三维点云钢板空间尺寸在线提取方法
CN112700552A (zh) * 2020-12-31 2021-04-23 华为技术有限公司 三维物体检测方法、装置、电子设备及介质
CN113420735A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 一种轮廓提取方法、装置、设备、程序产品及存储介质
CN113793384A (zh) * 2021-09-15 2021-12-14 上海大学 一种基于图像处理的石油钻杆变径定位方法及系统
CN114677350A (zh) * 2022-03-25 2022-06-28 腾讯科技（深圳）有限公司 连接点提取方法、装置、计算机设备及存储介质
CN115034988A (zh) * 2022-06-06 2022-09-09 中国计量大学 一种基于rgbd相机的两阶段主体点云滤波方法
CN115170767A (zh) * 2022-07-06 2022-10-11 腾讯科技（深圳）有限公司 线框结构的生成方法、装置、电子设备及可读存储介质
CN115273033A (zh) * 2022-08-08 2022-11-01 北京领骏科技有限公司 一种提取道路标线的方法、装置、介质及设备
CN115375699A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 点云分割方法、移动机器人及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于线特征的城区激光点云与影像自动配准;何培培;万幼川;杨威;秦家鑫;;光学学报;20150510(第05期);360-368 *

Also Published As

Publication number Publication date
CN116704125A (zh) 2023-09-05
JP7432793B1 (ja) 2024-02-16

Similar Documents

Publication Publication Date Title
CN111563923B (zh) 获得稠密深度图的方法及相关装置
US20210110599A1 (en) Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium
CN107230225B (zh) 三维重建的方法和装置
US10726580B2 (en) Method and device for calibration
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US10846844B1 (en) Collaborative disparity decomposition
US11204249B2 (en) Positioning method and robot with the same
Mattoccia et al. A passive RGBD sensor for accurate and real-time depth sensing self-contained into an FPGA
JP7009652B2 (ja) オブジェクション検出のためのａｉシステムおよび方法
CN116704125B (zh) 一种基于三维点云的映射方法、装置、芯片及模组设备
CN116721231A (zh) 基于无人机机载定位的可扩展场景三维重建方法及系统
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN115856829A (zh) 一种雷达三维数据转换的图像数据识别方法及系统
CN110807798B (zh) 图像识别方法、系统、相关设备以及计算机可读存储介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN115601275A (zh) 点云增广方法及装置、计算机可读存储介质、终端设备
US11699303B2 (en) System and method of acquiring coordinates of pupil center point
CN113538538B (zh) 双目图像对齐方法、电子设备和计算机可读存储介质
CN112150527B (zh) 测量方法及装置、电子设备及存储介质
CN116129087A (zh) 定位方法、视觉地图的生成方法及其装置
CN114387351A (zh) 一种单目视觉标定方法及计算机可读存储介质
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN113544744A (zh) 一种头部姿态测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant