CN110573908A - 点群数据处理装置、方法和程序、车辆控制装置以及车辆 - Google Patents

点群数据处理装置、方法和程序、车辆控制装置以及车辆 Download PDF

Info

Publication number
CN110573908A
CN110573908A CN201880011686.0A CN201880011686A CN110573908A CN 110573908 A CN110573908 A CN 110573908A CN 201880011686 A CN201880011686 A CN 201880011686A CN 110573908 A CN110573908 A CN 110573908A
Authority
CN
China
Prior art keywords
point group
target
region
point
enlarged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011686.0A
Other languages
English (en)
Other versions
CN110573908B (zh
Inventor
丸山史郎
冈野原大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110573908A publication Critical patent/CN110573908A/zh
Application granted granted Critical
Publication of CN110573908B publication Critical patent/CN110573908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

所要解决的问题在于，要以能在短时间内处理的运算量将点群数据按每个对象物准确进行分类，为了解决该问题，点群数据处理装置具备：图像数据取得部，其取得拍摄到的图像；点群数据取得部，其取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；区域设定部，其设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；以及对象点群确定部，其基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。

Description

点群数据处理装置、方法和程序、车辆控制装置以及车辆
技术领域
本发明涉及用于仅提取由距离测定(测量)装置取得的点群(点云)数据中的与对象物关联的点群数据的技术。
背景技术
以往，存在被称为Lidar(Light Detection and Ranging、Laser ImagingDetection and Ranging：“光检测与测距”或“激光图像检测与测距”)的距离测定技术。根据Lidar，开发了如下方法：对于许多测定点，获得取得了到测定点的距离以及测定点的三维坐标的点群数据，基于其点群数据，确定到对象物的距离、对象物的形状等。
专利文献1中公开了使用点群数据来预测移动体与障碍物的接触的图像处理装置以及使用该图像处理装置的驾驶辅助系统。
现有技术文献
专利文献1：日本特开2016-134090号公报
发明内容
发明所要解决的问题
由Lidar等取得的点群数据是对大范围统一探测并进行数据取得而得到的数据，因此为了根据目的来利用取得的点群数据，需要进行所取得的点群数据是否包含于对象物等的分类、即所谓的点群数据的分割(segmentation)。
作为点群数据的分割方法，例如可列举如下方法。
(1)简单的基于欧式距离的分割
是基于点群间的距离将阈值以下的聚类(cluster)视为分段(segment)进行计算的方法。例如多使用如下手法：最初用深度信息进行粗略的分割，在当中应用基于距离的分割，获得细致的分割。
(2)法线差分(DoN：Difference of Normals)
作为下了工夫的方法，已知有DoN。其进行以点群中的一点为中心的所确定的一定范围的法线向量A的计算。进而计算比计算A时大的范围内的法线向量B。此时，如果计算向量A、B之差时的绝对值|B-A|的值大，则能够视为对象点周边的形状变化大，如果所述值小，则能够视为对象点周边的变化小。通过将变化大的点以外的点过滤，能够期待顺利地分离属于各对象的聚类。
(3)基于最小割的分割(Min-Cut Based Segmentation)
是将点群视为图(graph)从而使用作为图论的经典方法的最小割算法来递归地划分点群的方法。
上述(1)的方法由于最佳阈值有时会因想要分割的对象而不同，因此存在无法适当地分类之虞。另外，在物体彼此位于非常近的位置的情况下，在基于距离的方法中，存在无法加以区分这一问题。上述(2)的方法必须对每个点计算法线向量，因此存在若处理能够覆盖大范围的Lidar的点群则会导致计算量变得庞大这一问题。另外，过滤后的处理是进行基于距离的聚类，因此存在难以区分接近(邻近)的物体这一问题。上述(3)的方法与上述(2)同样地，存在会导致计算量变得庞大这一问题，另外，存在必须确定要细分到什么程度的阈值这一处理上的问题。
在自动驾驶等技术中，为了实时地识别在前面行驶的车辆和/或障碍物并进行处理，需要将点群数据按每个对象物准确进行分类，并且，为了实时地进行分类而需要计算量小且以短时间进行，上述(1)～(3)的方法不满足该条件。
本发明是鉴于上述问题点而做出的，目的在于提供能够以能在短时间内处理的运算量将点群数据按每个对象物准确进行分类的点群数据处理装置、点群数据处理方法、点群数据处理程序、车辆控制装置以及车辆。
用于解决问题的技术方案
本发明涉及的点群数据处理装置的特征在于，具备：图像数据取得部，其取得拍摄到的图像；点群数据取得部，其取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；区域设定部，其设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；以及对象点群确定部，其基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
另外，本发明涉及的点群数据处理装置的特征在于，所述对象点群确定部对根据包含于所述对象区域的点群的深度信息所制作的对象区域的直方图、与根据包含于所述放大区域的点群的深度信息所制作的放大区域的直方图进行比较，确定二者一致的范围作为与对象物对应的对象点群。
另外，本发明涉及的点群数据处理装置的特征在于，所述对象点群确定部从对象区域的直方图中的分布的峰(peak)的分组(组、级)起分别向点群的深度深的方向和深度浅的方向，按每个分组对对象区域的直方图值与放大区域的直方图值进行比较，将二者的值的差异在预定值以下、且放大区域的直方图值在预定值以上的最后的分组设定为作为对象点群所确定的直方图的范围内包含的边界的分组。
本发明涉及的点群数据处理方法的特征在于，包括：图像数据取得步骤，取得拍摄到的图像；点群数据取得步骤，取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；区域设定步骤，设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；对象点群确定步骤，基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
本发明涉及的点群数据处理程序的特征在于，其使计算机实现：图像数据取得功能，取得拍摄到的图像；点群数据取得功能，取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；区域设定功能，设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；对象点群确定功能，基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
本发明涉及的车辆控制装置的特征在于，其具备上述点群数据处理装置。
本发明涉及的车辆的特征在于，其具备上述车辆控制装置。
发明效果
根据本发明，只要能基于物体检测算法等对图像数据正确地进行对象区域的设定，就能够正确地区分属于接近的物体的点群。由于二维图像数据中没有深度信息，因而若只是将三维的点群数据投影于二维图像数据，则在点群被投影于多个对象区域重叠的地方时，将无法判别哪个点群数据属于哪个对象区域，但通过本发明涉及的点群数据处理装置10，则能够以小计算量准确地确定与各对象区域对应的点群数据。即，由于能够直接利用通过摄像头(camera)图像的物体识别得到的物体的类/追踪信息，因此具有无需另行准备点群用的分类器/追踪器这一优点。
附图说明
图1是示出本发明涉及的点群数据处理装置10的构成的框图。
图2是示出对摄像头图像数据设定了对象区域的样子的说明图。
图3是示出对摄像头图像数据设定了放大区域的样子的说明图。
图4是显示出图3中的一个放大区域的说明图。
图5是示出点群数据处理装置10中的对象点群确定处理的流程的流程图。
图6是示出直方图的分布的一例的示意图。
具体实施方式
[第1实施方式]
以下，参照附图，对第1实施方式涉及的点群数据处理装置的例子进行说明。图1是示出本发明涉及的点群数据处理装置10的构成的框图。此外，点群数据处理装置10可以是设计为专用机器的装置，但这里设为能够由一般的计算机实现的装置。在该情况下，点群数据处理装置10具备一般的计算机通常所具备的CPU(Central Processing Unit：中央运算处理装置)、存储器、硬盘驱动器等储存器，且如果需要则还具备GPU(Graphics ProcessingUnit：图像处理装置)(图略)。另外，毫无疑问地，为了使上述一般的计算机作为本例的点群数据处理装置10而发挥其功能，会利用程序执行各种处理。
点群数据处理装置10至少具备摄像头图像取得部11、点群数据取得部12、同步处理部13、区域设定部14、直方图制作部15、对象点群确定部16以及存储部17。
摄像头图像取得部11具有取得来自拍摄摄像头的摄像头图像的功能，所述拍摄摄像头是为了拍摄点群数据处理装置10的处理对象的环境而另行设置的摄像头。例如，当在车辆上搭载点群数据处理装置10的情况下，设置拍摄摄像头以使得对车辆前方进行拍摄从而取得摄像头图像，并由摄像头图像取得部11取得来自拍摄摄像头的摄像头图像数据18。
点群数据取得部12具有从距离测定装置取得点群数据的功能，所述距离测定装置是为了对于点群数据处理装置10的处理对象的环境取得由到对象的各点的距离(深度)以及三维坐标信息所形成的点群数据而另行设置的装置。例如，当在车辆上搭载点群数据处理装置10的情况下，设置距离测定装置以使得取得车辆的前方方向的点群数据，并由点群数据取得部12取得来自距离测定装置的点群数据。另外，距离测定装置的设置位置优选为与用于取得摄像头图像数据18的拍摄摄像头相接近，并优选能够以与摄像头的拍摄方向为同一方向且同一角度进行测定。此外，作为距离测定装置，例如可考虑Lidar，但不限定于此，只要能获得到各点的距离(深度)以及三维坐标信息，可以是任意装置。
同步处理部13具有进行对通过摄像头图像取得部11取得的摄像头图像数据18、与通过点群数据取得部12取得的点群数据19的同步处理以及校准(calibration)的功能。例如，当在车辆上搭载点群数据处理装置10的情况下，会同时进行由拍摄摄像头对图像数据18的取得和由距离测定装置对点群数据19的取得，但对于这些数据，需要在点群数据处理装置10中取得同步。另外，拍摄摄像头的摄像头图像数据为二维的平面图像，而相对地，距离测定装置的点群数据为三维坐标信息，为了将点群数据适当地投影于摄像头图像数据，需要在拍摄摄像头与距离测定装置之间进行校准。
区域设定部14具有基于通过摄像头图像取得部11取得的摄像头图像数据18来设定包含摄像头图像中所含的对象物的对象区域以及将该对象区域放大了的放大区域的功能。确定摄像头图像中所含的对象物来设定对象区域的方法可以是任意方法，在此基于已有的物体检测算法来设定对象区域。另外，放大区域是将对象区域以预定倍率进行放大而得到的区域，必定在包含有对象区域的状态下来设定。另外，在摄像头图像中存在多个对象物的情况下，按各对象物来设定对象区域及放大区域，在对象物重叠的情况下，对象区域及放大区域也成为重叠的状态，但按各对象物来设定是不变的。此外，在本例中，设为根据摄像头图像数据18设定对象区域及放大区域来进行说明，但也可以为根据点群数据19设定对象区域及放大区域。
直方图制作部15具有基于点群数据19中的被投影于通过区域设定部14所设定的对象区域及放大区域的点群数据的深度信息来制作直方图的功能。具体而言是，对于图像中存在的多个对象区域的每一个，求取分别被投影于对象区域b及放大区域b’的点群数据的子集p及p’，并根据p及p’的深度信息制作直方图h及h’。在多个对象区域之间，对象区域的一部分重叠的情况下，使得从处理期间的对象区域的直方图中去除跟前(眼前)的对象区域内所含的点群数据。
对象点群确定部16具有对通过直方图制作部15制作出的对象区域的直方图与放大区域的直方图进行比较来确定分布大致一致的范围的点群作为对象物的点群数据的功能。基于如下想法来确定与对象物相应的点群数据，获得对象点群数据：假定映入对象区域的对象外的物体也落到对象区域之外，当在放大区域内扩大直方图的范围的情况下，相应于对象外物体的距离的直方图的分布应该会增加，相反，对于与原本的对象物相应的直方图的分布，即使在放大区域内扩大直方图的范围，直方图的分布也不会产生变化。
存储部17具有存储在点群数据处理装置10中使用的数据以及作为处理结果所得到的数据的功能。具体而言，如图1所示，存储有摄像头图像数据18、点群数据19、区域数据(对象区域及放大区域的数据)20、直方图数据21、对象点群数据22等。
接着，基于附图对本发明涉及的点群数据处理装置10中的处理的概要进行说明。图2是示出对摄像头图像数据设定了对象区域的样子的说明图。该图2表示在车辆上搭载了点群数据处理装置10从而拍摄车辆的前方并取得了摄像头图像数据的情况。通过在区域设定部14中进行基于已有的物体检测算法对图像数据设定对象区域的处理，由此，如该图2所示，检测出在前方行驶的其他车辆作为对象物，设定了包围各个车辆的矩形的对象区域(以下也称为框(box))。在该图2中，可知在眼前第一台车辆的对象区域内没有包含其他对象物，而在第二台车辆的对象区域内包含有存在于车辆背后的电线杆。
图3是示出对摄像头图像数据设定了放大区域的样子的说明图。该图3表示设定了将在图2中设定的对象区域放大了的放大区域的样子。在该图3中，由于眼前第一台车辆的对象区域内没有包含其他对象物，因此尽管在放大区域内扩大范围，也不会增加包含其他对象物的区域，而第二台车辆的对象区域内包含有存在于车辆背后的电线杆，当在放大区域内扩大范围时，则会增加包含电线杆的区域。图4是将图3中的一个放大区域进行了放大的说明图。如该图4所示，在放大区域内扩大范围则会增加包含电线杆的区域，因此，相应于电线杆的距离的直方图的分布将会增加。即，具有如下特征：对于原本的对象物，在对象区域与放大区域之间直方图的分布没有变化，而在其他对象物局部包含于对象区域的情况下，当在放大区域内扩大时直方图的分布会增加。利用此特征，使得由对象点群确定部16仅确定表示对象物的点群数据。
接着，基于附图对本发明涉及的点群数据处理装置10中的对象点群确定处理的流程进行说明。图5是示出点群数据处理装置10中的对象点群确定处理的流程的流程图。该图5中的对象点群确定处理从对时刻t的图像数据设定了对象区域(框)的时间点开始。此外，当在拍摄摄像头中以动态图像的方式取得图像数据的情况下，设想以帧为单位选择图像并对该图像进行处理。在以下的说明中，框B是包含按图像中所含的每个对象物设定的所有框的概念，点群P是包含与图像数据对应的所有点群数据的概念。
在图5中，对象点群确定处理首先通过取得时刻t的框B以及点群P而开始(步骤S01)。对于时刻t的框B，判定B是否为空(步骤S02)。在B为空、即时刻t的框B中不再存在应该处理的对象区域这一情况下，结束对象点群确定处理的流程。在B不为空的情况下，取出最靠眼前的框b，从B中删除b(步骤S03)。
接着，计算将取出的框b放大为e倍(e为1以上的预定值)的与放大区域相应的框b’，求取分别投影于b和b’的点群P的子集p、p’(步骤S04)。然后，对于子集p、p’，分别根据深度信息制作直方图h、h’(步骤S05)。将直方图h的峰的分组设为i(步骤S06)。假设如果对象物准确无误地包含在框b中，则在直方图中最集中的分布的峰的分组部分相应于对象物的距离，包含峰的分组i的部分是对象点群的范围。接着，需要决定在直方图中沿深度深的方向到何处为对象点群的范围、在直方图中沿深度浅的方向到何处为对象点群的范围。
将最初的搜索对象的直方图的分组ir定义为i(ir:＝i)，并将表示对象点群的范围中的深度最深的分组的r定义为0(r:＝0)(步骤S07)。判定h’[ir]是否不为0(h’[ir]≠0)，h’[ir]是放大区域b’的直方图h’中的分组ir的直方图值(步骤S08)。在h’[ir]≠0的情况下，接着判定是否为((h’[ir]-h[ir])/h[ir])>ε(步骤S09)。这是用于判定分组ir处的b、b’的直方图值h[ir]、h’[ir]之间的差是否在预定值以上的算式，在二者的值大致为相同值的情况下，((h’[ir]-h[ir])/h[ir])的值成为接近零的值，因此成为阈值ε以下，而在二者的值产生了一定以上的差距时，则成为超过阈值ε。在为对象点群的范围的情况下，((h’[ir]-h[ir])/h[ir])的值成为接近零的值，因此在步骤S09中成为“否”，移至步骤S10。为了移至接下来的分组的搜索，在设为ir:＝ir+1、r:＝ir之后，返回到步骤S08(步骤S10)。
在此，图6是示出直方图的分布的一例的示意图。在图6中，横轴是从距离测定装置到对象点的深度(距离)，纵轴是点群的频率。另外，白色的柱状图是与对象区域的框b对应的直方图h的分布，画有影线的柱状图是与放大区域的框b’对应的直方图h’的分布，将二者叠加显示，只有在放大区域部分的直方图h’中增加了的部分被显示为画有影线的柱状图。在该图6中，在从峰的分组i开始搜索的情况下，沿深度深的方向(图6中的右(r)方向)移动搜索对象的分组。在h和h’二者一致、或者有差异但很小的情况下，在图5的步骤S09中成为“否”，因此将表示对象点群的范围中的深度最深的分组的r更新成当前搜索了的分组的值(步骤S10)，并将搜索对象变更为下一组(返回至步骤S08)。如图6所示，若反复进行该处理，会到达h’[ir]的值变为零的分组。在该情况下，在步骤S08中将会成为“否”，因此移至步骤S11，设为ir:＝ir+1从而将搜索对象的分组变更为下一组，但不对表示对象点群的范围中的深度最深的分组的r进行变更而移至下一组(步骤S11)。在继续为h’[ir]的值是零的分组的情况下，仍然不变更r，继续移至下一组(S08和S11的循环)。然后，在到达h’[ir]的值不为零的分组时(步骤S08：是)，在该分组，判定是否为((h’[ir]-h[ir])/h[ir])>ε(步骤S09)。在此，在h’[ir]和h[ir]二者的值产生了一定以上的差距时，由于会超过阈值ε，因此移至接下来的步骤S12(步骤S09：是)。为了使表示对象点群的范围中的深度最深的分组的r确定，定义为max:＝r(步骤S12)。
接着，将决定在直方图中沿深度浅的方向到何处为对象点群的范围的处理中的最初的搜索对象的直方图的分组il定义为i(il:＝i)，并将表示对象点群的范围中的深度最浅的分组的l定义为0(l:＝0)(步骤S13)。判定h’[il]是否不为0(h’[il]≠0)，h’[il]是放大区域b’的直方图h’中的分组il的直方图值(步骤S14)。在h’[il]≠0的情况下，接着判定是否为((h’[il]-h[il])/h[il])>ε(步骤S15)。这是用于判定分组il处的b、b’的直方图值h[il]、h’[il]之间的差是否在预定值以上的算式，在二者的值大致为相同值的情况下，((h’[il]-h[il])/h[il])的值成为接近零的值，因此成为阈值ε以下，而在二者的值产生了一定以上的差距时，则成为超过阈值ε。在为对象点群的范围的情况下，((h’[il]-h[il])/h[il])的值成为接近零的值，因此在步骤S15中成为“否”，移至步骤S16。为了移至接下来的分组的搜索，在设为il:＝il+1、l:＝il之后，返回到步骤S14(步骤S16)。
从峰的分组i开始搜索并沿深度浅的方向(图6中的左(l)方向)移动搜索对象的分组。在h和h’二者一致、或者有差异但很小的情况下，在图5的步骤S15中成为“否”，因此将表示对象点群的范围中的深度最浅的分组的l更新为当前搜索了的分组的值(步骤S16)，并将搜索对象变更为下一组(返回至步骤S14)。如图6所示，若反复进行该处理，会到达h’[il]的值变为零的分组。在该情况下，在步骤S14中将会成为“否”，因此移至步骤S17，设为il:＝il+1从而将搜索对象的分组变更为下一组，但不对表示对象点群的范围中的深度最浅的分组的l进行变更而移至下一组(步骤S17)。在继续为h’[il]的值是零的分组的情况下，仍然不变更l，继续移至下一组(S14和S17的循环)。然后，在到达h’[il]的值不为零的分组时(步骤S14：是)，在该分组，判定是否为((h’[il]-h[il])/h[il])>ε(步骤S15)。在此，在h’[il]和h[il]二者的值产生了一定以上的差距时，由于会超过阈值ε，因此移至接下来的步骤S18(步骤S15：是)。而且，为了使表示对象点群的范围中的深度最浅的分组的l确定，定义为min:＝l(步骤S18)。
如此，对于对象点群的直方图范围，确定了深度最深的分组max和深度最浅的分组min，因此确定max～min之间作为b的对象点群数据q并将其输出(步骤S19)。然后，从与图像数据整体对应的点群P删除q，移至步骤S02(步骤S20)。只要图像数据内存在框，就反复进行步骤S02至步骤S20，并在到框B内没有未处理的框时，结束处理。
此外，在步骤S08以及步骤S14中，确认了放大区域的直方图值是否为零，但是将比较对象设为零仅是一例，即使设为对放大区域的直方图值是否在预定值以上进行确认的步骤，本发明也能获得同样的效果。若将预定值极端地设定为大的值则不会起作用，而优选在设计时适当进行调整，在能获得本发明的效果的范围内设定为非零的预定值。
通过进行以上的对象点群确定处理，如图6所示，能够从根据框内的所有点群数据所形成的直方图的分布中，选择对象物的点群数据的范围，因此能够通过仅确定对象物的点群数据，删除不需要的点群数据从而削减处理的数据量。
如上，根据本发明涉及的点群数据处理装置10，只要能基于物体检测算法等对图像数据正确地附加框，就能够正确地区分属于接近的物体的点群。由于二维图像数据中没有深度信息，因而若只是将三维的点群数据投影于二维图像数据，则在点群被投影于多个框重叠的地方时，将无法判别哪个点群数据属于哪个框，但通过本发明涉及的点群数据处理装置10，则能够以小计算量准确地确定与各框对应的点群数据。即，由于能够直接利用通过摄像头图像的物体识别得到的物体的类/追踪信息，因此具有无需另行准备点群用的分类器/追踪器这一优点。
另外，根据本发明涉及的点群数据处理装置10，能够大量制作点群分割的正确结果数据，因而具有能够简单地准备机器学习算法用的训练数据这一效果。能够用这样生成的数据进行自动驾驶软件的性能评价、参数整定。
另外，除了应用于自动驾驶等的驾驶辅助系统的情况以外，由于能够对映现于二维图像的物体赋予根据点群获得的深度信息，因此也能够应用于三维地图信息的制作等三维空间信息自动生成工具。
标号说明
10点群数据处理装置；11摄像头图像取得部；12点群数据取得部；13同步处理部；14区域设定部；15直方图制作部；16对象点群确定部；17存储部；18摄像头图像数据；19点群数据；20区域数据；21直方图数据；22对象点群数据。

Claims (7)

1.一种点群数据处理装置，具备：
图像数据取得部，其取得拍摄到的图像；
点群数据取得部，其取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；
区域设定部，其设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；以及
对象点群确定部，其基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
2.根据权利要求1所述的点群数据处理装置，
所述对象点群确定部对根据包含于所述对象区域的点群的深度信息所制作的对象区域的直方图、与根据包含于所述放大区域的点群的深度信息所制作的放大区域的直方图进行比较，确定二者一致的范围作为与对象物对应的对象点群。
3.根据权利要求2所述的点群数据处理装置，
所述对象点群确定部从对象区域的直方图中的分布的峰的分组起分别向点群的深度深的方向和深度浅的方向，按每个分组对对象区域的直方图值与放大区域的直方图值进行比较，将二者的值的差异在预定值以下、且放大区域的直方图值在预定值以上的最后的分组设定为作为对象点群所确定的直方图的范围内包含的边界的分组。
4.一种点群数据处理方法，包括：
图像数据取得步骤，取得拍摄到的图像；
点群数据取得步骤，取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；
区域设定步骤，设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；
对象点群确定步骤，基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
5.一种点群数据处理程序，其使计算机实现：
图像数据取得功能，取得拍摄到的图像；
点群数据取得功能，取得点群数据，所述点群数据表示与所述图像所包含的多个点对应的点群的位置信息；
区域设定功能，设定对象区域和放大区域，所述对象区域是包围所述图像上的对象物的区域，所述放大区域是将所述对象区域放大了的区域；
对象点群确定功能，基于所述点群数据所包含的、包含于所述对象区域的点群的深度信息和包含于所述放大区域的点群的深度信息，确定与所述对象物对应的对象点群。
6.一种车辆控制装置，其具备权利要求1至权利要求3中任一项所述的点群数据处理装置。
7.一种车辆，其具备权利要求6所述的车辆控制装置。
CN201880011686.0A 2017-02-15 2018-02-15 点群数据处理装置、方法和程序、车辆控制装置以及车辆 Active CN110573908B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017025742 2017-02-15
JP2017-025742 2017-02-15
PCT/JP2018/005251 WO2018151211A1 (ja) 2017-02-15 2018-02-15 点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両

Publications (2)

Publication Number Publication Date
CN110573908A true CN110573908A (zh) 2019-12-13
CN110573908B CN110573908B (zh) 2022-10-28

Family

ID=63170719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011686.0A Active CN110573908B (zh) 2017-02-15 2018-02-15 点群数据处理装置、方法和程序、车辆控制装置以及车辆

Country Status (4)

Country Link
US (1) US11415698B2 (zh)
JP (1) JP6766898B2 (zh)
CN (1) CN110573908B (zh)
WO (1) WO2018151211A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998554B2 (ja) * 2017-09-12 2022-01-18 パナソニックＩｐマネジメント株式会社 画像生成装置及び画像生成方法
JP6999625B2 (ja) * 2019-11-06 2022-02-04 財団法人車輌研究測試中心 環境情報を提供可能なダイナミックマップ情報を生成するための方法およびシステム
JP7302442B2 (ja) * 2019-11-11 2023-07-04 株式会社デンソー 距離測定装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221575A (ja) * 2001-01-26 2002-08-09 Toshiba Corp 複数目標追尾方法及びその装置
JP2007255978A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2010071942A (ja) * 2008-09-22 2010-04-02 Toyota Motor Corp 物体検出装置
JP2010287156A (ja) * 2009-06-15 2010-12-24 Mitsubishi Electric Corp モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
US20150347840A1 (en) * 2014-05-27 2015-12-03 Murata Machinery, Ltd. Autonomous vehicle, and object recognizing method in autonomous vehicle
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09119982A (ja) * 1995-10-26 1997-05-06 Mitsubishi Heavy Ind Ltd 飛しょう体誘導装置
JP2003084064A (ja) 2001-09-12 2003-03-19 Daihatsu Motor Co Ltd 前方車両の認識装置及び認識方法
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
JP3948450B2 (ja) * 2003-10-20 2007-07-25 日産自動車株式会社 物体検出装置及び物体検出方法
JP4052291B2 (ja) * 2004-08-05 2008-02-27 日産自動車株式会社 車両用画像処理装置
JP4857840B2 (ja) * 2006-03-22 2012-01-18 日産自動車株式会社 物体検出方法および物体検出装置
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP5401344B2 (ja) * 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
JP5316471B2 (ja) * 2010-04-27 2013-10-16 株式会社デンソー 物体認識装置、及びプログラム
JP2016134090A (ja) 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221575A (ja) * 2001-01-26 2002-08-09 Toshiba Corp 複数目標追尾方法及びその装置
JP2007255978A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2010071942A (ja) * 2008-09-22 2010-04-02 Toyota Motor Corp 物体検出装置
JP2010287156A (ja) * 2009-06-15 2010-12-24 Mitsubishi Electric Corp モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
JP2012057960A (ja) * 2010-09-06 2012-03-22 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
US20150347840A1 (en) * 2014-05-27 2015-12-03 Murata Machinery, Ltd. Autonomous vehicle, and object recognizing method in autonomous vehicle
JP2016206026A (ja) * 2015-04-23 2016-12-08 株式会社デンソー 物体認識装置

Also Published As

Publication number Publication date
WO2018151211A1 (ja) 2018-08-23
JP6766898B2 (ja) 2020-10-14
JPWO2018151211A1 (ja) 2019-12-12
US11415698B2 (en) 2022-08-16
US20200057905A1 (en) 2020-02-20
CN110573908B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
Teoh et al. Symmetry-based monocular vehicle detection system
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
JP5822255B2 (ja) 対象物識別装置及びプログラム
WO2022099530A1 (zh) 点云数据运动分割方法、装置、计算机设备和存储介质
CN110573908B (zh) 点群数据处理装置、方法和程序、车辆控制装置以及车辆
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
KR102569437B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN108369739B (zh) 物体检测装置和物体检测方法
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
US20220171975A1 (en) Method for Determining a Semantic Free Space
US9064156B2 (en) Pattern discriminating apparatus
US11538260B2 (en) Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program
JP2020173584A (ja) 物体検出装置
EP3410345A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
CN103714528B (zh) 物体分割装置和方法
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
JP2007233469A (ja) 物体検出装置及びその方法
JP2009015515A (ja) ナンバープレート抽出システム、ナンバープレート抽出装置、ナンバープレート抽出方法及びプログラム
KR20140061101A (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR102424664B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant