CN111436216B - 用于彩色点云生成的方法和系统 - Google Patents
用于彩色点云生成的方法和系统 Download PDFInfo
- Publication number
- CN111436216B CN111436216B CN201880002635.1A CN201880002635A CN111436216B CN 111436216 B CN111436216 B CN 111436216B CN 201880002635 A CN201880002635 A CN 201880002635A CN 111436216 B CN111436216 B CN 111436216B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- segment
- images
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004931 aggregating effect Effects 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims 1
- 230000002776 aggregation Effects 0.000 abstract description 18
- 238000004220 aggregation Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Abstract
本申请的实施例提供了用于生成彩色点云的方法和系统。该方法可以包括：当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。该方法可以包括将所述点云分割成至少两个片段，每个片段与所述车辆的轨迹上的起点和终点相关联。该方法还可以包括基于所述起点和所述终点将所述点云的每个片段与所述图像中的一个或以上的图像相关联。该方法还可以包括通过聚合所述点云的每个片段和所述图像的一个或以上图像来生成彩色点云，所述聚合基于所述点云的片段和所述车辆之间的不同距离处的校准参数。
Description
技术领域
本申请涉及用于点云生成的方法和系统，更具体地，涉及使用激光雷达(LiDAR)、相机和导航传感器生成彩色点云的方法和系统。
背景技术
自动驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对于自动驾驶车辆的功能(例如定位、环境识别、决策和控制)是至关重要的。高清晰度地图可以通过聚合在车辆周围行驶时由车辆上的各种传感器和探测器获取的数据来获得。例如，用于高清晰度地图的典型数据采集系统通常是配备有多个集成传感器(例如，LiDAR、全球定位系统(GPS)接收器、惯性测量单元(IMU)传感器和一个或以上相机)的车辆，以捕获车辆行驶的道路和周围物体的特征。捕获的数据可以包括例如车道的中心线或扩展边线坐标、对象(诸如建筑物、另一车辆、地标、行人或交通标志)的坐标和图像。
众所周知，LiDAR用于快速获得周围物体的三维(3-D)信息和来自周围物体的反射信号的强度信息。然而，LiDAR无法捕获周围物体的纹理信息，因此难以单独处理和解释激光点云数据。另一方面，虽然相机可以捕获具有丰富纹理信息的图像，但是它们不能直接用于获得周围物体的3-D信息。因此，一些已知的系统通过聚合相同物体的点云和图像来集成LiDAR和相机以产生彩色点云，其可用于可视化、物体识别和分类、3-D建模等。
在已知系统中，全景相机由于其360度视场(FOV)而被广泛用于制作彩色点云。然而，全景相机是昂贵的，因此对于该任务而言不具有成本效益。相比之下，单目相机成本低，图像易于处理，但与全景相机相比，它们的FOV要小得多。例如，因为LiDAR的FOV非常大，通常是360度，所以由LiDAR捕获的每个激光点云可以对应于单目相机拍摄的多个图像。这种差异会影响产生彩色点云时聚合点云和图像的准确性和效率。
本申请的实施例通过改进的彩色点云生成方法和系统解决了上述问题。
发明内容
本申请实施例提供了一种生成彩色点云的方法。该方法可以包括当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。该方法可以包括由处理器将点云分割成至少两个片段，每个片段与车辆的轨迹中的起点和终点相关联。该方法还可以包括基于所述起点和终点，通过所述处理器，将点云的每个片段与至少两个图像中的一个或以上图像相关联。该方法还可以包括通过所述处理器，通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。
本申请的实施例还提供了一种生成彩色点云的系统。该系统可以包括通信接口，被配置为接收点云，以及当车辆沿着轨迹移动时由装配在所述车辆上的至少两个传感器捕获的关于场景的至少两个图像。该系统还可以包括存储器，被配置为存储所述点云和所述至少两个图像。该系统还可以包括处理器，被配置为将点云分割成至少两个片段，每个片段与车辆的轨迹中的起点和终点相关联。所述处理器还可以被配置为将所述点云的每个片段与基于所述起点和所述终点的所述至少两个图像中的一个或以上图像相关联。所述处理器可以进一步配置为通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。
本申请的实施例还提供了一种非暂时性计算机可读介质，其上存储指令，当由一个或以上处理器执行时，使得一个或以上处理器执行操作。所述操作可以包括：当车辆沿着轨迹移动时，接收由与车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像。所述操作可以包括将所述点云分割成至少两个片段，每个片段与所述车辆的轨迹上的起点和终点相关联。所述操作还可以包括基于所述起点和终点将点云的每个片段与所述图像中的一个或以上图像相关联。所述操作还可以包括通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数而确定。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本申请的实施例所示的具有传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例所示的用于彩色点云生成的示例性控制器的框图。
图3示出了根据本申请的实施例所示的示例性点云片段及其在车辆轨迹上的相关起点和终点。
图4示出了根据本申请的实施例所示的匹配点云片段和图像序列的示例性过程。
图5示出了根据本申请的实施例所示的传感器校准的示例性过程。
图6示出了根据本申请的实施例所示的示例性的生成的彩色点云。
图7示出了根据本申请的实施例所示的用于生成彩色点云的示例性方法的流程图。
图8示出了根据本申请的实施例所示的用于确定校准参数的示例性方法的流程图。
图9示出了根据本申请的实施例所示的用于聚合点云片段和至少两个图像的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在整个附图中将使用相同的附图标记来表示相同或相似的部分。
图1示出了根据本申请的实施例所示的具有至少两个传感器140、150和160的示例性车辆100的示意图。与一些实施例一致，车辆100可以是配置为获取用于构建高清晰度地图或三维(3-D)城市模型的数据的勘测车辆。可预期的是车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，可预期的是车辆100可能会具有更少的可以使车辆100能够四处移动的车轮或等效结构。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作、远程控制和/或自动驾驶。
如图1所示，车辆100可以配备有通过安装结构130安装到车身110的传感器140和160。安装结构130可以是安装到或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机制。车辆100可以另外在车身110内部或外部使用任何合适的安装机制配备传感器150。可以预期的是每个传感器140、150或160可以装配在车辆100上的方式不受图1所示的示例的限制，并且可以根据传感器140-160和/或车辆100的类型进行修改，以实现期望的感测性能。
与一些实施例一致，当车辆100沿轨迹移动时，传感器140-160可以被配置为捕获数据。例如，传感器140可以是LiDAR扫描仪/雷达，其被配置为扫描周围环境并获取点云。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲来测量到目标的距离。然后可以使用激光返回时间和波长的差异来制作目标的数字3-D呈现。用于LiDAR扫描的光可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率映射物理特征，因此LiDAR扫描仪特别适用于高清地图测量。在一些实施例中，LiDAR扫描仪可以捕获点云。当车辆100沿轨迹移动时，传感器140可以连续地捕获数据。在特定时间范围捕获的每组场景数据被称为数据帧。
如图1所示，车辆100可以另外配备有传感器150。传感器150可以包括导航单元中使用的传感器，例如GPS接收器和一个或以上IMU传感器。GPS是一种全球导航卫星系统，为GPS接收器提供地理定位和时间信息。IMU是一种电子设备，使用各种惯性传感器(如加速度计和陀螺仪，有时还有磁力计)测量并提供车辆的特定力、角速率，有时还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器150可以在车辆100行进时提供车辆100的实时姿势信息，包括车辆100在每个时间戳处的位置和方向(例如，欧拉角)。
与本申请一致，车辆100可另外配备有用于捕获数字图像的传感器160，例如一个或以上相机。在一些实施例中，传感器160可以包括具有360度FOV的全景相机或具有小于360度的FOV的单目相机。当车辆100沿轨迹移动时，传感器160可以获取关于场景(例如，包括车辆100周围的物体)的数字图像。每个图像可以包括由像素表示的捕获场景中的对象的文本信息。每个像素点可以是与图像中的颜色信息和坐标相关联的数字图像的最小单个分量。例如，颜色信息可以由RGB颜色模型、CMYK颜色模型、YCbCr颜色模型、YUV颜色模型或任何其他合适的颜色模型表示。每个像素点的坐标可以由图像中像素阵列的行和列表示。在一些实施例中，传感器160可以包括安装在车辆100上的不同位置和/或不同角度的多个单目相机，因此具有变化的视图位置和/或角度。因此果，图像可以包括主视图图像、侧视图图像、俯视图图像和底视图图像。
与本申请一致，车辆100可以包括车辆100的车身110内的本地控制器170或者与远程控制器(图1中未示出)通信，以便以效率和有效的方式基于由传感器140-160收集的各种类型的数据产生彩色点云。在一些实施例中，为了提高处理速度，可以将点云分割为片段，每个片段可以分别(例如并行地)与相应的图像聚合。来自传感器160的图像可以由具有相同场景的各种视图的一个或以上单目相机捕获，并且合并在一起以与由具有360度FOV的传感器140(例如LiDAR扫描仪)捕获的场景的3-D点云匹配。在一些实施例中，为了提高彩色点云的准确度，可以在聚合点云和相应图像时考虑距离和校准参数(例如，旋转矩阵和平移矢量)之间的相关性。可以首先确定对应于点和传感器之间的不同距离的一系列校准参数，并且可以稍后选择合适的校准参数用于对具有相应距离的点进行处理。
在一些实施例中，为了进一步减少聚合等待时间，并非所有图像都需要与对应的点云片段聚合。例如，点云片段可以与每m个匹配图像聚合，其中m可以基于各种因素确定，例如沿着轨迹的车辆100的移动速度、图像采样率等。在另一示例中，场景的主视图可以首先与点云片段聚合，并且如果存在主视图不能覆盖的任何点，则其他视图的图像可以用于聚合。在又一个示例中，因为点与车辆100的距离越远，当该点与图像匹配时，误差可能越大，所以，可以将有效距离预定为一个阈值，以从点云中移除距离车辆100太远的点。
例如，图2示出了根据本申请的实施例所示的用于生成点云的示例性控制器200的框图。与本申请一致，控制器200可以使用各种类型的数据来生成场景的彩色点云。当车辆100沿轨迹移动时，各种类型的数据可以由装配在车辆100上的针对场景的传感器140-160捕获。数据可以包括由传感器140(例如，LiDAR扫描仪)捕获的点云201、由传感器150(例如，GPS接收器和/或一个或以上IMU传感器)获取的车辆100的轨迹信息203以及由传感器160(例如，一个或以上单目相机)捕获的至少两个图像205。在一些实施例中，可以通过基于来自GPS接收器和IMU传感器的实时姿势信息(例如，位置和方向)将来自本地坐标系中的LiDAR扫描仪的原始数据变换为全局坐标系(例如，经度/纬度坐标)来获得点云201。
在一些实施例中，如图2所示，控制器200可以包括通信接口202、处理器204、内存206和存储器208。在一些实施例中，控制器200可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)或具有专用功能的独立设备。在一些实施例中，控制器200的一个或以上组件可以位于车辆100内(例如，图1中的本地控制器170)，或者可替代地在移动设备中、在云端中或另一个远程位置。控制器200的组件可以在集成设备中或者分布在不同位置，但是通过网络(未示出)彼此通信。例如，处理器204可以是车载处理器100、移动设备内的处理器或云处理器或其任意组合。
通信接口202可以通过通信电缆、无线局域网络(WLAN)、广域网(WAN)、诸如无线电波的无线网络、全国性蜂窝网络和/或本地无线网络(例如，BluetoothTM或WiFi)或其他通信方法向诸如传感器140-160的组件发送数据和从其接收数据。在一些实施例中，通信接口202可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信接口202可以是局部区域网络(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以通过通信接口202实现。在这种实现中，通信接口202可以通过网络发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致，通信接口202可以接收由传感器140-160捕获的数据，包括点云201、轨迹信息203和图像205，并且将所接收的数据提供给用于存储的存储器208或者用于处理的处理器204。通信接口202还可以接收由处理器204生成的彩色点云，并通过网络将彩色点云提供给车辆100中的任何本地组件或任何远程设备。
处理器204可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于生成彩色点云的单独处理器模块。或者，处理器204可以被配置为共享处理器模块，用于执行与彩色点云生成无关的其他功能。
如图2所示，处理器204可以包括多个模块，例如点云分割单元210、点云/图像匹配单元212、传感器校准单元214、点云/图像聚合单元216等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的部分)，其被设计用于与其他组件一起使用或执行程序的一部分。程序可以存储在计算机可读介质上，并且当由处理器204执行时，它可以执行一个或多个以上的功能。尽管图2示出了在一个处理器204内的所有单元210-216，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
点云分割单元210可以基于轨迹信息203被配置为将点云201分割成多个点云片段，以便降低计算复杂度并提高处理速度。每个点云片段可以与车辆100的轨迹上的起点和终点相关联。轨迹信息203可以由传感器150(例如GPS接收器和一个或以上IMU传感器)获取，并且，包括当车辆100沿着轨迹移动时的车辆100的实时姿势信息。例如，实时姿势信息可以包括每个时间戳处的车辆100的位置和方向。
在一些实施例中，每个点云片段可以与起点和终点之间的轨迹段相关联。轨迹的每个段可以对应于车辆100的相同的预定移动距离。例如，可以预先确定移动距离d并将其设置在点云分割单元210中。假设车辆100的出发时间是t0，根据车辆100的轨迹，点云分割单元210可以记录车辆100的移动距离，直到它在时间t1达到d。对应于车辆100在时间间隔t0～t1内行进的轨迹段的点云201的区段被设置为与移动距离d相关联。点云分割单元210还可以在轨迹上记录起点(在时间t0)和终点(在时间t1)并且将起点和终点与点云片段相关联。以这种方式，点云分割单元210可以将点云201划分为n段，每个片段与预定的移动距离d相关联。例如，图3示出了根据本申请的实施例所示的示例性点云片段及其在车辆轨迹上的相关起点和终点。如图3所示，点云片段与车辆100的轨迹中的起点302和终点304相关联，并且起点302和终点304之间的移动距离是预定值d。
返回到图2，点云/图像匹配单元212可以被配置为基于与点云片段相关联的起点和终点将每个点云片段与图像205的一个或以上图像相关联。对于每个点云片段，可以存在多于一个的对应图像(即，图像序列)，每个图像覆盖点云片段中的至少一些点。点云/图像匹配单元212可使用与点云片段相关联的起点和终点作为参考点，将每个点云片段与对应的图像序列匹配。由于用于拍摄图像205的单目相机的FOV可能小于用于捕获点云201的LiDAR扫描仪的FOV，匹配的图像序列的位置可以在点云片段的起点和终点之前。
在一些实施例中，点云/图像匹配单元212可以基于与点云片段相关联的起点Ps和第一阈值d1来确定图像205的第一图像images。在在捕获第一图像images的车辆100的轨迹上的起点Ps与第一基点BPs(传感器160捕获第一图像images的位置)之间的第一距离可等于第一阈值d1。点云/图像匹配单元212还可以基于与点云片段相关联的终点Pe和第二阈值d2来确定图像205的第二图像imagee。在捕获第二图像imagee的车辆100的轨迹上的终点Pe与第二基点BPe(传感器160捕获第二图像images的位置)之间的第二距离可以等于第二阈值d2。然后，点云/图像匹配单元212可以将匹配的图像序列{images,…,imagee}确定为第一基点BPs与车辆100的轨迹上的第二基点BPe之间的捕获图像。第一基点BPs可以在轨迹上的起点Ps之前，并且第二基点BPe可以在轨迹上的终点Pe之前。
例如，图4示出了根据本申请的实施例的匹配点云片段和图像序列的示例性过程。第一和第二阈值d1和d2可以基于任何合适的因素预先确定，例如单目相机的FOV、图像的尺寸和分辨率、点云片段的尺寸和分辨率等。在某些实施例中，第一和第二阈值d1和d2可以不同。例如，如图4所示，第一阈值d1可以大于第二阈值d2。匹配的图像序列{images,…,imagee}以第一图像images开始，以第二图像imagee结束。对于第一图像images，第一基点BPs与点云片段的起点Ps之间的距离与第一阈值d1相同。类似地，对于第二图像imagee，第二基点BPe与点云片段的终点Pe之间的距离与第二阈值d2相同。可以预期的是匹配额图像序列不一定包括图像205中的所有图像，其可以覆盖点云区片段中的至少一些点。如图4所示，因为匹配的图像序列{images,…,imagee}已经可以提供足够的纹理信息来生成彩色点云，通过设置第一和第二阈值d1和d2，在第一图像images之前或第二图像imagee之后的一些图像可以不包括在匹配的图像序列中{images,…,imagee}。
返回到图2，传感器校准单元214可以被配置为基于点云片段和车辆100之间的不同距离处的校准参数来确定与每个点云片段相关联的一个或以上校准参数。传感器校准(包括校准集成的LiDAR扫描仪和相机)对于获得点云和图像之间的投影关系是必要的。传感器校准的准确度可以受到目标(例如，捕获的场景中的车辆100周围的物体)与传感器(例如，装配在车辆100上的传感器140-160)之间的距离的影响。距离越小，校准就越准确。因此，传感器校准单元214可以通过基于点云片段(表示场景中的周围物体的3-D信息)与车辆100(其上配备有传感器140-160)之间的距离确定多组校准参数来增加传感器校准精度。传感器校准单元214可以从点云片段中选择特征点，并基于它们的坐标识别匹配图像中的相应像素。传感器校准单元214可以基于特征点的3-D到2-D变换关系来计算点云片段和匹配图像的一个或以上校准参数，例如旋转矩阵和平移向量。为了提高校准精度，传感器校准单元214可基于点云片段与车辆100之间的变化距离提供不同的校准参数。
在一些实施例中，传感器校准单元214可以被配置为基于点与车辆之间的不同距离(在有效距离D内)将云点201划分为组，并基于点云组中的至少三对特征点和如上所述的对应的匹配图像，确定每个点云201组的校准参数。点云可以包括一个或以上点云组。传感器校准单元214可以进一步被配置为将校准参数分配给对应点云组中的每个点云片段。图5示出了根据本申请的实施例所示的传感器校准的示例性过程。基于LiDAR扫描仪相对于车辆的测量范围(有效距离D)，点云201可以被划分为具有不同测量距离的n组。对于n组中的每一个组，可以选择至少三对特征点对用于匹配图像的传感器校准，以获得n组校准参数{param1,…,paramn}。每组校准参数可用于在一定距离处校准相应的一对相机和LiDAR扫描仪。
返回到图2，点云/图像聚合单元216可以被配置为基于点云片段和车辆100之间的相应距离聚合每个点云片段和匹配的图像，以生成彩色点云。点云/图像聚合单元216可基于点云片段所属的点云组识别每个点云片段的合适校准参数。也就是说，取决于它们的测量距离，可以使用不同的校准参数将不同的点云片段与匹配图像进行聚合。当将点云区片段中的点投影到匹配图像时，点与车辆100之间的距离越远，误差可能越大。因此，在一些实施例中，可以预先确定有效距离D，以仅允许D内的点被图像中的相应像素着色。点云/图像聚合单元216可以被配置用于匹配每个点在有效距离D内的图像中的对应像素，例如，基于它们使用校准参数的坐标。点云/图像聚合单元216可以进一步被配置用于将与每个像素点相关联的颜色信息(例如，RGB颜色模型中的RGB值)分配给对应点以使点云着色。
在某些实施例中，为降低计算复杂度，提高处理速度，点云/图像聚合单元216可以被配置用于从匹配图像中选择每m个图像并且将点云片段与所选择的图像聚合，而不是所有匹配图像。用于选择匹配图像的值m可以基于各种因素来确定，例如车辆100的移动速度和/或图像205的采样率。如上所述，对于有效距离D内的每个点，可以基于点云/图像聚合单元216对点云片段特有的校准参数来识别所选图像中的对应像素点。然后，点云/图像聚合单元216可以将所识别的像素的颜色信息分配给每个点(在有效距离D内)以生成彩色点云片段。
在一些实施例中，当匹配图像包括具有不同视图的图像时，例如由多个单目相机捕获的主视图、侧视图、俯视图或底视图，点云/图像聚合单元216可以进一步被配置为首先用主视图聚合点云片段。如果主视图无法覆盖点云片段中的所有点，然后，点云/图像聚合单元216可以使用与其他视图(例如，侧视图、俯视图或底视图图像)的其他匹配图像来对点云区片段中的所有剩余点进行着色。点云/图像聚合单元216可以针对所有点云片段执行与上述相同的聚合处理以生成彩色点云。因此，彩色点云可以包括每个点的3-D信息和纹理信息。例如，图6示出了根据本申请的实施例的示例性生成的彩色点云。图像610示出了包括道路和周围物体(例如植物)的场景的彩色点云。图像620示出了图像610中的彩色点云的扩展部分。可以从图像610和620中捕获的场景的彩色点云获得3-D信息和纹理信息(例如，颜色)。
返回参考图2，内存206和存储器208可以包括任何适当类型的大容量存储器，其被提供以存储处理器204可能需要操作的任何类型的信息。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储一个或以上计算机程序，其可以由处理器204执行以执行本文披露的彩色点云生成功能。例如，内存206和/或存储器208可以被配置为存储程序，其可以由处理器204执行以控制传感器140-160以在车辆100沿轨迹移动时捕获各种类型的数据，并处理捕获的数据以生成彩色点云。
内存206和/或存储器208可以进一步被配置为存储信息和处理器204使用的数据。例如，内存206和/或存储器208可以被配置用于存储由传感器140-160捕获的各种类型的数据和所生成的彩色点云。各种类型的数据可以永久存储、周期性地移除或者在处理每个数据帧之后立即被忽略。
图7示出了根据本申请的实施例所示的用于生成彩色点云的示例性方法700的流程图。例如，方法700可以由车辆100的彩色点云生成系统实现，其包括控制器200和传感器140-160等。然而，方法700不限于该示例性实施例。方法700可以包括如下所述的步骤S702-S710。应当理解，一些步骤可以是可选的，以执行本文提供的本申请。此外，一些步骤可以同时执行，或者以与图7中所示不同的顺序执行。
在步骤S702，当车辆100沿着轨迹移动时，与车辆100相关联的传感器140-160可以捕获关于场景的点云和至少两个图像。例如，配备在车辆100上的LiDAR扫描仪可以捕获表示场景的3-D信息的点云，并且装配在车辆100上的一个或以上单目相机可以捕获表示场景的纹理信息的图像。在一些实施例中，GPS接收器和配备在车辆100上的一个或以上IMU传感器可以获取车辆100的轨迹信息，包括时间、位置和方向。
在步骤S704，点云可以由处理器204基于轨迹信息被分割为至少两个点云片段，使得点云片段与车辆100的轨迹上的起点和终点相关联。每个点云片段可以与对应于起点和终点的轨迹上的车辆100的相同的预定移动距离相关联。
在步骤S706，点云片段可以由处理器204基于车辆100的轨迹上的起点和终点与图像的一个或以上图像相关联。在一些实施例中，可以基于与点云片段相关联的起点和第一阈值来确定第一图像。第一阈值被设置为起始点和第一基点之间的第一距离，其中第一图像由传感器160捕获。可以基于与点云片段相关联的终点和第二阈值来确定第二图像。第二阈值被设置为终点与第二基点之间的第二距离，其中第二图像由传感器160捕获。第一基点可以位于轨迹的起点之前，第二基点可以位于轨迹的终点之前。第一和第二阈值可以基于任何合适的因素预先确定，例如单目相机的FOV、图像的尺寸和分辨率、点云片段的尺寸和分辨率等。图像的一个或以上图像可以包括在车辆100的轨迹上的第一基点和第二基点之间的捕获图像。
在步骤S708，点云片段的一个或以上校准参数可由处理器204基于点云片段与车辆100之间的不同距离的校准参数来确定。校准参数包括例如旋转矩阵和平移向量，用于将点云中的特征点变换为相关图像中的相应像素。例如，图8示出了根据本申请的实施例的用于确定校准参数的示例性方法800的流程图。在步骤S802中，点云可以分为至少两个组。每个点云组可以包括一个或以上点云片段，并且可以与点云组和车辆100之间的距离相关联。在步骤S804，可以基于例如点和像素点的坐标来识别图像中的每个点云组中的点和相应的像素点。在步骤S806，可以基于对应点和像素点确定每个点云组的一个或以上校准参数。在一些实施例中，LiDAR扫描仪的测量距离可以用作将点云分成组的基准，并且每个点云组中的特征点和相关图像中的相应像素可以用于计算特定于点云组的校准参数(例如，旋转矩阵和平移向量)。
返回图7，在步骤S710，处理器204可以基于相应的校准参数将每个点云片片段与相关联的一个或以上图像聚合以生成彩色点云。可以基于点云片段和车辆100之间的距离来确定校准参数，如上面参考图8所述。例如，图9示出了根据本申请的实施例的用于聚合点云片段和至少两个图像的示例性方法900的流程图。在步骤S902，可以选择一些相关图像。在一些实施例中，可以从相关图像中选择m个图像，其中m可以基于车辆100沿轨迹的移动速度和/或图像的采样率来确定。在步骤S904，对于每个所选图像，可以基于校准参数将图像中的像素与点云片片段中的每个点匹配。在一些实施例中，这些点可以在距车辆100的预定有效距离内。在一些实施例中，如果所选图像包括主视图，则主视图可具有比具有其他视图的图像更高的优先级以进行处理。在步骤S906，可以将与每个像素点相关联的颜色信息分配给点云片片段中的相应点，以对点云片段着色。在使用RGB模型的一些实施例中，颜色信息可以包括根据RGB颜色模型的像素点的RGB值。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如本申请的计算机可读介质可以是存储设备或其上存储有计算机指令的存储模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见，本领域普通技术人员可以对本申请的系统和相关方法进行各种修改和变化。考虑到本申请的系统和相关方法的说明书和实践，其他实施例对于本领域普通技术人员是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物限定。
Claims (18)
1.一种生成彩色点云的方法，包括：
当车辆沿着轨迹移动时，接收由与所述车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像；
通过处理器，将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；
基于所述起点和所述终点，通过所述处理器，将所述点云的每个片段与所述至少两个图像中的一个或以上图像相关联；以及
通过所述处理器，通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合包括：
选择所述至少两个图像中的所述一个或以上图像中的一些图像；
对于所选图像中的每一个图像，基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数，将所述图像中的至少两个像素匹配到所述点云的所述片段中的每个点；
将与所述至少两个像素中的每一个像素相关联的颜色信息分配到所述点云的所述片段中的相应点，其中，所述校准参数包括旋转矩阵和平移向量，所述校准参数基于所述点云的所述片段和所述车辆之间的距离确定。
2.根据权利要求1所述的方法，其特征在于，所述点云的每个片段与所述车辆在所述起点和所述终点之间的所述轨迹上的相同移动距离相关联。
3.根据权利要求1所述的方法，其特征在于，分割所述点云是基于所述车辆在所述轨迹上的时间、位置和方向。
4.根据权利要求1所述的方法，其特征在于，
将所述点云的所述片段与所述至少两个图像中的所述一个或以上图像相关联包括：
基于所述起点和第一阈值，确定所述至少两个图像中的第一图像，其中，所述起点和捕获所述第一图像的第一基点之间的第一距离等于所述第一阈值，以及
基于所述终点和第二阈值，确定所述至少两个图像中的第二图像，其中，所述终点与捕获所述第二图像的第二基点之间的第二距离等于所述第二阈值；以及
所述至少两个图像中所述一个或以上图像包括在所述轨迹上的所述第一基点和所述第二基点之间捕获的图像。
5.根据权利要求4所述的方法，其特征在于，所述第一基点位于所述轨迹的所述起点之前以及所述第二基点位于所述轨迹的所述终点之前。
6. 根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
基于所述点云的所述片段与所述车辆之间的所述距离，确定与所述点云的每个片段相关联的至少两组校准参数；以及
基于所述校准参数，聚合所述点云的所述片段和所述至少两个图像中的所述一个或以上图像。
7.根据权利要求6所述的方法，其特征在于，确定与所述点云的所述片段相关联的至少两组校准参数包括：
将所述点云划分为至少两个组，所述点云的每个组与所述点云的各组和所述车辆之间的距离相关联；
基于所述点云的所述组中的点，确定所述点云的每个组的校准参数；以及
为所述点云的所述片段分配所述点云的所述片段所属的所述点云的所述组的所述校准参数。
8.根据权利要求1所述的方法，其特征在于，所述至少两个图像中的所述一个或以上图像包括所述场景的主视图。
9.一种生成彩色点云的系统，包括：
通信接口，被配置为当车辆沿着轨迹移动时，接收由装配在所述车辆上的至少两个传感器捕获的关于场景的点云和至少两个图像；
存储器，被配置为存储所述点云和所述至少两个图像；以及
处理器，被配置为：
将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；
基于所述起点和所述终点，将所述点云的每个段与所述至少两个图像中的一个或以上图像相关联；以及
通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合包括：
选择所述至少两个图像中的所述一个或以上图像中的一些图像；
对于所选图像中的每一个图像，基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数，将所述图像中的至少两个像素匹配到所述点云的所述片段中的每个点；
将与所述至少两个像素中的每一个像素相关联的颜色信息分配到所述点云的所述片段中的相应点，其中，所述校准参数包括旋转矩阵和平移向量，所述校准参数基于所述点云的所述片段和所述车辆之间的距离确定。
10.根据权利要求9所述的系统，其特征在于，所述点云的每个片段与所述车辆在所述起点和所述终点之间的所述轨迹上的相同移动距离相关联。
11.根据权利要求9所述的系统，其特征在于，分割所述点云是基于所述车辆在所述轨迹上的时间、位置和方向。
12.根据权利要求9所述的系统，其特征在于，
将所述点云的所述片段与所述至少两个图像中的所述一个或以上图像相关联，所述处理器被配置为：
基于所述起点和第一阈值，确定所述至少两个图像中的第一图像，其中所述起点
与捕获所述第一图像的第一基点之间的第一距离等于所述第一阈值，以及
基于所述终点和第二阈值，确定所述至少两个图像中的第二图像，其中所述终点与捕获所述第二图像的第二基点之间的第二距离等于所述第二阈值；以及
所述至少两个图像中的一个或以上图像包括在所述轨迹上的所述第一基点和所述第二基点之间的捕获的图像。
13.根据权利要求12所述的系统，其特征在于，所述第一基点位于所述轨迹的所述起点之前以及所述第二基点位于所述轨迹的所述终点之前。
14.根据权利要求9所述的系统，其特征在于，所述处理器进一步被配置为：
根据所述点云的所述片段与所述车辆之间的所述距离，确定与所述点云的每个片段相关联的至少两组校准参数；以及
基于所述校准参数，聚合所述点云的所述片段和所述至少两个图像中所述一个或以上图像。
15.根据权利要求14所述的系统，其特征在于，确定与所述点云的所述片段相关联的至少两组校准参数，所述处理器被配置为：
将所述点云划分为至少两个组，所述点云的每个组与所述点云的各组和所述车辆之间的距离相关联；
基于所述点云的所述组中的点，确定所述点云的每个组的校准参数；以及
为所述点云的所述片段分配所述点云的所述片段所属的所述点云的所述组的所述校准参数。
16.根据权利要求9所述的系统，其特征在于，所述至少两个图像中的所述一个或以上图像包括所述场景的主视图。
17.根据权利要求9所述的系统，其特征在于，所述至少两个传感器包括激光雷达LiDAR激光扫描仪和一个或以上单目相机。
18.一种非暂时性计算机可读介质，其上存储指令，当由一个或以上处理器执行时，使得所述一个或以上处理器执行包括以下操作：
当车辆沿着轨迹移动时，接收由与所述车辆相关联的至少两个传感器捕获的关于场景的点云和至少两个图像；
将所述点云分割成至少两个片段，每个片段与所述车辆的所述轨迹上的起点和终点相关联；
基于所述起点和所述终点，将所述点云的每个片段与所述至少两个图像的一个或以上图像相关联；以及
通过聚合所述点云的每个片段和所述至少两个图像中的所述一个或以上图像，生成彩色点云，所述聚合包括：
选择所述至少两个图像中的所述一个或以上图像中的一些图像；
对于所选图像中的每一个图像，基于所述点云的所述片段和所述车辆之间的不同距离处的校准参数，将所述图像中的至少两个像素匹配到所述点云的所述片段中的每个点；
将与所述至少两个像素中的每一个像素相关联的颜色信息分配到所述点云的所述片段中的相应点，其中，所述校准参数包括旋转矩阵和平移向量，所述校准参数基于所述点云的所述片段和所述车辆之间的距离确定。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/115254 WO2020097796A1 (en) | 2018-11-13 | 2018-11-13 | Methods and systems for color point cloud generation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111436216A CN111436216A (zh) | 2020-07-21 |
| CN111436216B true CN111436216B (zh) | 2023-11-07 |
Family
ID=70551297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880002635.1A Active CN111436216B (zh) | 2018-11-13 | 2018-11-13 | 用于彩色点云生成的方法和系统 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US11474247B2 (zh) |
| EP (1) | EP3735678A4 (zh) |
| JP (1) | JP2021508095A (zh) |
| CN (1) | CN111436216B (zh) |
| AU (1) | AU2018286594A1 (zh) |
| CA (1) | CA3028653C (zh) |
| SG (1) | SG11201811601SA (zh) |
| TW (1) | TWI695181B (zh) |
| WO (1) | WO2020097796A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200069084A (ko) * | 2018-12-06 | 2020-06-16 | 팅크웨어(주) | 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| FR3098929B1 (fr) * | 2019-07-16 | 2021-06-18 | Yellowscan | Procédé de détermination de paramètres d'étalonnage extrinseques d'un système de mesure |
| CN111144211B (zh) * | 2019-08-28 | 2023-09-12 | 华为技术有限公司 | 点云显示方法和装置 |
| JP2021131629A (ja) * | 2020-02-18 | 2021-09-09 | 株式会社リコー | 情報処理装置、プログラム、情報生成方法、情報処理システム |
| CN111784834A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种点云地图生成方法、装置以及电子设备 |
| US11851086B2 (en) * | 2020-06-26 | 2023-12-26 | Waymo Llc | Using simulations to identify differences between behaviors of manually-driven and autonomous vehicles |
| FR3112215B1 (fr) * | 2020-07-01 | 2023-03-24 | Renault Sas | Système et procédé de détection d’un obstacle dans un environnement d’un véhicule |
| CN111860425B (zh) * | 2020-07-30 | 2021-04-09 | 清华大学 | 一种深度多模态跨层交叉融合方法、终端设备及存储介质 |
| US20220043154A1 (en) * | 2020-08-04 | 2022-02-10 | Quantum Spatial, Inc. | Methods and apparatus for geospatial data generation |
| CN112235556B (zh) * | 2020-09-27 | 2022-10-14 | 北京灵境世界科技有限公司 | 一种vr场景构建方法、系统和装置 |
| CN112287860B (zh) * | 2020-11-03 | 2022-01-07 | 北京京东乾石科技有限公司 | 物体识别模型的训练方法及装置、物体识别方法及系统 |
| TWI768548B (zh) * | 2020-11-19 | 2022-06-21 | 財團法人資訊工業策進會 | 定位用基礎資訊產生系統與方法以及自身定位判斷裝置 |
| CN113240813B (zh) * | 2021-05-12 | 2023-05-16 | 北京三快在线科技有限公司 | 三维点云信息确定方法及装置 |
| CN113487746B (zh) * | 2021-05-25 | 2023-02-24 | 武汉海达数云技术有限公司 | 一种车载点云着色中最优关联影像选择方法及系统 |
| CN113191459B (zh) * | 2021-05-27 | 2022-09-09 | 山东高速建设管理集团有限公司 | 一种基于路侧激光雷达的在途目标分类方法 |
| CN114511626B (zh) * | 2022-04-20 | 2022-08-05 | 杭州灵西机器人智能科技有限公司 | 基于rgbd相机系统的图像处理装置、方法、设备及介质 |
| CN114998744B (zh) * | 2022-07-18 | 2022-10-25 | 中国农业大学 | 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794743A (zh) * | 2015-04-27 | 2015-07-22 | 武汉海达数云技术有限公司 | 一种车载激光移动测量系统彩色点云生产方法 |
| CN106087621A (zh) * | 2016-05-31 | 2016-11-09 | 中铁第四勘察设计院集团有限公司 | 一种基于车载激光雷达技术的铁路既有线复测方法 |
| WO2017023210A1 (en) * | 2015-08-06 | 2017-02-09 | Heptagon Micro Optics Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
| CN107992850A (zh) * | 2017-12-20 | 2018-05-04 | 大连理工大学 | 一种室外场景三维彩色点云分类方法 |
| CN108681525A (zh) * | 2018-05-16 | 2018-10-19 | 福州大学 | 一种基于车载激光扫描数据的路面点云强度增强方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8731247B2 (en) | 2012-01-20 | 2014-05-20 | Geodigital International Inc. | Densifying and colorizing point cloud representation of physical surface using image data |
| AU2013312127B2 (en) * | 2012-09-10 | 2017-09-28 | Aemass, Inc. | Multi-dimensional data capture of an environment using plural devices |
| CN103390169B (zh) | 2013-07-19 | 2016-08-31 | 武汉大学 | 一种车载激光扫描点云数据的城市地物分类方法 |
| CN104318616A (zh) * | 2014-11-07 | 2015-01-28 | 钟若飞 | 彩色点云系统及基于该系统的彩色点云生成方法 |
| CN104732557A (zh) * | 2015-04-16 | 2015-06-24 | 武汉海达数云技术有限公司 | 一种地面激光扫描仪彩色点云生成方法 |
| EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
| JP6620563B2 (ja) * | 2016-01-15 | 2019-12-18 | 株式会社Ihi | 計測装置 |
| WO2018140701A1 (en) | 2017-01-27 | 2018-08-02 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
| KR20170115778A (ko) | 2016-04-08 | 2017-10-18 | 팅크웨어(주) | 도로면 생성 방법, 도로면 생성 장치, 포인트 클라우드 데이터 처리 방법, 포인트 클라우드 데이터 처리 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| CN107918753B (zh) * | 2016-10-10 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 点云数据处理方法及装置 |
| CN108629228B (zh) | 2017-03-15 | 2020-12-01 | 阿里巴巴（中国）有限公司 | 一种道路对象识别方法和装置 |
| CN107909645A (zh) * | 2017-11-16 | 2018-04-13 | 青岛市光电工程技术研究院 | 建筑物视图生成方法、装置及系统 |
| JP7448485B2 (ja) | 2018-05-01 | 2024-03-12 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | ポイントクラウドの着色において使用される方法及びシステム |
-
2018
- 2018-11-13 CN CN201880002635.1A patent/CN111436216B/zh active Active
- 2018-11-13 AU AU2018286594A patent/AU2018286594A1/en active Pending
- 2018-11-13 CA CA3028653A patent/CA3028653C/en active Active
- 2018-11-13 EP EP18819303.1A patent/EP3735678A4/en not_active Withdrawn
- 2018-11-13 SG SG11201811601SA patent/SG11201811601SA/en unknown
- 2018-11-13 JP JP2018568214A patent/JP2021508095A/ja active Pending
- 2018-11-13 WO PCT/CN2018/115254 patent/WO2020097796A1/en unknown
- 2018-12-25 US US16/231,984 patent/US11474247B2/en active Active
- 2018-12-28 TW TW107147612A patent/TWI695181B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794743A (zh) * | 2015-04-27 | 2015-07-22 | 武汉海达数云技术有限公司 | 一种车载激光移动测量系统彩色点云生产方法 |
| WO2017023210A1 (en) * | 2015-08-06 | 2017-02-09 | Heptagon Micro Optics Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
| CN106087621A (zh) * | 2016-05-31 | 2016-11-09 | 中铁第四勘察设计院集团有限公司 | 一种基于车载激光雷达技术的铁路既有线复测方法 |
| CN107992850A (zh) * | 2017-12-20 | 2018-05-04 | 大连理工大学 | 一种室外场景三维彩色点云分类方法 |
| CN108681525A (zh) * | 2018-05-16 | 2018-10-19 | 福州大学 | 一种基于车载激光扫描数据的路面点云强度增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11201811601SA (en) | 2020-06-29 |
| US20200150275A1 (en) | 2020-05-14 |
| EP3735678A1 (en) | 2020-11-11 |
| WO2020097796A1 (en) | 2020-05-22 |
| TWI695181B (zh) | 2020-06-01 |
| CN111436216A (zh) | 2020-07-21 |
| EP3735678A4 (en) | 2021-03-24 |
| CA3028653C (en) | 2021-02-16 |
| TW202018328A (zh) | 2020-05-16 |
| AU2018286594A1 (en) | 2020-05-28 |
| JP2021508095A (ja) | 2021-02-25 |
| US11474247B2 (en) | 2022-10-18 |
| CA3028653A1 (en) | 2020-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| CN110832275B (zh) | 基于双目图像更新高分辨率地图的系统和方法 | |
| CN110859044B (zh) | 自然场景中的集成传感器校准 | |
| EP3612854B1 (en) | Vehicle navigation system using pose estimation based on point cloud | |
| CN112005079B (zh) | 用于更新高清地图的系统和方法 | |
| US10996337B2 (en) | Systems and methods for constructing a high-definition map based on landmarks | |
| WO2019208101A1 (ja) | 位置推定装置 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| AU2018102199A4 (en) | Methods and systems for color point cloud generation | |
| WO2020232709A1 (en) | Method and system for evaluating quality of a point cloud map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |