CN116580375A - 移动体控制装置及方法、学习装置及方法、以及存储介质 - Google Patents

移动体控制装置及方法、学习装置及方法、以及存储介质 Download PDF

Info

Publication number
CN116580375A
CN116580375A CN202310091495.2A CN202310091495A CN116580375A CN 116580375 A CN116580375 A CN 116580375A CN 202310091495 A CN202310091495 A CN 202310091495A CN 116580375 A CN116580375 A CN 116580375A
Authority
CN
China
Prior art keywords
bird
eye view
view image
dimensional object
mobile body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310091495.2A
Other languages
English (en)
Inventor
松永英树
安井裕司
松本隆志
藤元岳洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN116580375A publication Critical patent/CN116580375A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间的移动体控制装置及方法、学习装置及方法、以及存储介质。移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；立体物检测部，其通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。

Description

移动体控制装置及方法、学习装置及方法、以及存储介质
技术领域
本发明涉及移动体控制装置、移动体控制方法、学习装置、学习方法及存储介质。
背景技术
以往，已知使用搭载于移动体的传感器来检测存在于该移动体的周边的障碍物的技术。例如，在日本特开2021-162926号公报中，公开了基于由搭载于移动体的多个测距传感器取得的信息来检测存在于该移动体的周边的障碍物的技术。
专利文献1所述的技术是使用超声波传感器、LIDAR等多个测距传感器来检测存在于移动体的周边的障碍物的技术。然而，在采用使用了多个测距传感器的结构的情况下，用于感测的硬件结构变得复杂，因此存在系统的成本增加的倾向。另一方面，为了抑制系统的成本，也考虑采用仅使用相机的单纯的硬件结构，但在该情况下，为了确保应对各种各样的场景的耐用性，需要用于感测的庞大的学习数据。
发明内容
本发明是考虑这样的情况而完成的，其目的之一在于提供不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间的移动体控制装置、移动体控制方法、学习装置、学习方法及存储介质。
本发明的移动体控制装置、移动体控制方法、学习装置、学习方法及存储介质采用了以下的结构。
(1)：本发明的一方案的移动体控制装置具备：取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；立体物检测部，其通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。
(2)：在上述(1)的方案中，所述学习完毕模型是以当输入鸟瞰图图像时还输出所述移动体是否能够横过所述鸟瞰图图像中的立体物而行驶的方式进行了学习的学习完毕模型。
(3)：在上述(1)或(2)的方案中，所述学习完毕模型是基于第一教示数据进行了学习的学习完毕模型，在该第一教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
(4)：在上述(3)的方案中，所述学习完毕模型是除了所述第一教示数据之外还基于第二教示数据进行了学习的学习完毕模型，在该第二教示数据中，针对鸟瞰图图像中的具有与路面的颜色不同的单色的花纹的区域，对应有表示所述区域为立体物的注释。
(5)：在上述(3)或(4)的方案中，所述学习完毕模型是除了所述第一教示数据之外还基于第三教示数据进行了学习的学习完毕模型，在该第三教示数据中，针对鸟瞰图图像中的路面标示，对应有表示所述路面标示为非立体物的注释。
(6)：在上述(1)至(5)中的任一方案中，所述移动体控制装置还具备参照映射生成部，该参照映射生成部基于由所述相机对所述移动体的周边状况拍摄到的图像，来辨识包含于所述图像的物体，并生成反映了所辨识出的所述物体的位置的参照映射，所述空间检知部通过将检测出的所述对象鸟瞰图图像中的立体物与生成的所述参照映射匹配，来检知所述可行驶空间。
(7)：在上述(1)至(6)中的任一方案中，所述相机包括设置于所述移动体的下方的第一相机、以及设置于所述移动体的上方的第二相机，所述立体物检测部基于第一对象鸟瞰图图像来检测所述立体物，基于第二对象鸟瞰图图像来将所述第二对象鸟瞰图图像中的物体连同位置信息进行检测，并通过将检测出的所述立体物与检测出的具有所述位置信息的所述物体匹配来检测所述立体物的位置，该第一对象鸟瞰图图像通过将由所述第一相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到，该第二对象鸟瞰图图像通过将由所述第二相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到。
(8)：在上述(1)至(7)中的任一方案中，所述立体物检测部在由所述相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换之前，检测映到所述图像中的空心物体，并对所述空心物体赋予识别信息，所述空间检知部还基于所述识别信息，来检知所述可行驶空间。
(9)：在上述(1)至(8)中的任一方案中，所述立体物检测部在按时间序列得到的多个所述对象鸟瞰图图像中的同一区域的以路面为基准的位移量为阈值以上的情况下，将所述同一区域检测为立体物。
(10)：本发明的一方案的移动体控制方法使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；使所述移动体以通过所述可行驶空间的方式行驶。
(11)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；基于检测出的所述立体物，来检知所述移动体的可行驶空间；使所述移动体以通过所述可行驶空间的方式行驶。
(12)：本发明的一方案的学习装置基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
(13)：本发明的一方案的学习方法使计算机进行如下处理：基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
(14)：本发明的一方案的存储介质存储有程序，其中，所述程序使计算机进行如下处理：基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
根据(1)～(14)的方案，不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间。
根据(2)～(5)或(12)～(14)的方案，能够基于较少的学习数据，来检知移动体的可行驶空间。
根据(6)的方案，能够更可靠地检知移动体的可行驶空间。
根据(7)的方案，能够更可靠地检知立体物的存在及其位置。
根据(8)或(9)的方案，能够更可靠地检知妨碍车辆的行驶的立体物。
附图说明
图1是表示具备本发明的实施方式的移动体控制装置的车辆M的结构的一例的图。
图2是表示参照映射生成部基于由相机拍摄到的图像而生成的参照映射的一例的图。
图3是表示由鸟瞰图图像取得部取得的鸟瞰图图像的一例的图。
图4是表示由空间检知部检知到的参照映射上的可行驶空间的一例的图。
图5是表示由移动体控制装置执行的处理的流程的一例的流程图。
图6是表示为了生成学习完毕模型而使用的、鸟瞰图图像中的教示数据的一例的图。
图7是用于说明鸟瞰图图像中的本车辆的接近区域与远方区域之间的差异的图。
图8是用于说明检测鸟瞰图图像中的空心物体的方法的图。
图9是用于说明基于鸟瞰图图像中的时间序列的立体物的位移量来检测立体物的方法的图。
图10是表示由移动体控制装置执行的处理的流程的别的例子的流程图。
图11是表示具备本发明的变形例的移动体控制装置的本车辆的结构的一例的图。
图12是表示基于由相机拍摄到的图像而由鸟瞰图图像取得部取得的鸟瞰图图像的一例的图。
图13是表示由变形例的移动体控制装置执行的处理的流程的别的例子的流程图。
具体实施方式
以下，参照附图，来说明本发明的移动体控制装置、移动体控制方法、学习装置、学习方法及存储介质的实施方式。移动体控制装置是控制移动体的移动动作的装置。所谓移动体，包括三轮或四轮等的车辆、二轮车、微型移动体(micro-mobility)等，可以包括能够在路面上移动的所有移动体。在以下的说明中，设为移动体是四轮车辆，并将搭载有驾驶支援装置的车辆称作本车辆M。
[概要]
图1是表示具备本发明的实施方式的移动体控制装置100的车辆M的结构的一例的图。如图1所示那样，本车辆M具备相机10和移动体控制装置100。相机10和移动体控制装置100通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而互相连接。需要说明的是，图1所示的结构只是一例，也可以还追加别的结构。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。在本实施方式中，相机10例如设置于本车辆M的前保险杠，但相机10设置于能够对本车辆M的前方拍摄的任意部位即可。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体相机。
移动体控制装置100例如具备参照映射生成部110、鸟瞰图图像取得部120、立体物检测部130、空间检知部140、行驶控制部150及存储部160。存储部160例如存储学习完毕模型162。这些构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable GateArray)、GPU(Graphics Processing Unit)等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置来安装。存储部160例如由ROM(Read Only Memory)、闪存器、SD卡、RAM(Random Access Memory)、HDD(Hard DiskDrive)、寄存器等来实现。
参照映射生成部110针对由相机10对本车辆M的周边状况拍摄到的图像，实施基于众所周知的方法(二值化处理、轮廓提取处理、图像增强处理、特征量提取处理、图案匹配处理、或者其他利用了学习完毕模型的处理等)的图像辨识处理，来辨识包含于该图像的物体。在此，所谓物体，例如是其他车辆(例如，存在于距本车辆M规定距离以内的周边车辆)。另外，物体也可以包括行人等交通参加者、自行车、道路构造物等。道路构造物中，例如包括道路标识、交通信号机、缘石、中央隔离带、护栏、围栏、壁、交叉道口等。另外，物体中，也可以包括成为本车辆M的行驶的障碍的障碍物。而且，参照映射生成部110也可以不是辨识包含于图像的全部的物体，而是最初辨识包含于图像的道路划分线，并仅辨识存在于辨识出的道路划分线的内侧的物体。
接着，参照映射生成部110将以相机坐标系为基础的图像向俯瞰坐标系进行坐标变换，并生成反映了所辨识出的物体的位置的参照映射。在此，所谓参照映射，例如是由表示道路的路段和由路段连接的节点来表现道路形状的信息。
图2是表示参照映射生成部110基于由相机10拍摄到的图像而生成的参照映射的一例的图。图2的上部表示由相机10拍摄到的图像，图2的下部表示参照映射生成部110基于该图像而生成的参照映射。如图2的上部所示那样，参照映射生成部110通过对由相机10拍摄到的图像实施图像辨识处理，来辨识包含于该图像的物体，在此是前方的车辆。接着，参照映射生成部110如图2的下部所示那样生成反映了所辨识出的前方的车辆的位置的参照映射。
鸟瞰图图像取得部120通过将由相机10拍摄到的图像向鸟瞰图坐标系变换来取得鸟瞰图图像。图3是表示由鸟瞰图图像取得部120取得的鸟瞰图图像的一例的图。图3的上部表示由相机10拍摄到的图像，图3的下部表示鸟瞰图图像取得部120基于该图像而取得的鸟瞰图图像。在图3的鸟瞰图图像中，附图标记O表示相机10在本车辆M中的设置位置。比较图3的上部所示的图像与图3的下部所示的鸟瞰图图像可知：包含于图3的上部的图像的立体物在图3的下部的鸟瞰图图像中，变换为具有以位置O为中心的放射线状的花纹AR。
立体物检测部130通过将由鸟瞰图图像取得部120取得的鸟瞰图图像输入以当输入鸟瞰图图像时至少输出该鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型162，来检测鸟瞰图图像中的立体物。关于学习完毕模型162的详细的生成方法，见后述。
空间检知部140通过将由立体物检测部130检测到的立体物从鸟瞰图图像中除外，来检知鸟瞰图图像中的本车辆M能够行驶的空间(可行驶空间)。在图3的鸟瞰图图像中，附图标记FS1表示本车辆M的可行驶空间。接着，空间检知部140将鸟瞰图图像中的本车辆M的可行驶空间FS1向俯瞰坐标系进行坐标变换，并与参照映射匹配，由此来检知参照映射上的可行驶空间FS2。
图4是表示由空间检知部140检知到的、参照映射上的可行驶空间FS2的一例的图。在图4中，网眼状的区域表示参照映射上的可行驶空间FS2。行驶控制部150以本车辆M通过可行驶空间FS2的方式生成目标轨道TT，并使本车辆M沿着目标轨道TT行驶。目标轨道TT例如也可以包含速度要素。例如，目标轨道表现为将本车辆M应该到达的地点(轨道点)依次排列而得到的目标轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如数[m]程度)的本车辆M应该到达的地点，有别于此，每隔规定的采样时间(例如零点几[see]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。另外，轨道点也可以是每隔规定的采样时间的、在该采样时刻下本车辆M应该到达的位置。在该情况下，目标速度、目标加速度的信息由轨道点的间隔表现。需要说明的是，在本实施方式中，作为一例，说明了本发明适用于自动驾驶的情况，但本发明不限定于这样的结构，也可以适用于使本车辆M的导航装置显示不存在立体物的可行驶空间FS2、以在可行驶空间FS2行驶的方式辅助转向盘的转向等驾驶支援。
图5是表示由移动体控制装置100执行的处理的流程的一例的流程图。首先，移动体控制装置100取得由相机10对本车辆M的周边状况拍摄到的图像(步骤S100)。接着，参照映射生成部110对所取得的图像实施图像辨识处理，来辨识包含于该图像的物体(步骤S102)。接着，参照映射生成部110将以所取得的相机坐标系为基础的图像向俯瞰坐标系进行坐标变换，并生成反映了所辨识出的物体的位置的参照映射(步骤S104)。
与步骤S102及步骤S104的处理平行地进行如下处理：鸟瞰图图像取得部120通过将由相机10拍摄到的图像向鸟瞰图坐标系变换来取得鸟瞰图图像(步骤S106)。接着，立体物检测部130通过向学习完毕模型162输入由鸟瞰图图像取得部120取得的鸟瞰图图像，来检测鸟瞰图图像中的立体物(步骤S108)。接着，空间检知部140通过将由立体物检测部130检测到的立体物从鸟瞰图图像中除外，来检知鸟瞰图图像中的本车辆M的可行驶空间FS1(步骤S110)。
接着，空间检知部140将可行驶空间FS1向俯瞰坐标系进行坐标变换，并与参照映射匹配，由此来检知参照映射上的可行驶空间FS2(步骤S112)。接着，行驶控制部150以本车辆M通过可行驶空间FS2的方式生成目标轨道TT，并使本车辆M沿着目标轨道TT行驶(步骤S114)。由此，本流程图的处理结束。
[学习完毕模型162的生成]
接着，参照图6，来说明学习完毕模型162的具体的生成方法。图6是表示为了生成学习完毕模型162而使用的、鸟瞰图图像中的教示数据的一例的图。图6的上部表示由相机10拍摄到的图像，图6的下部表示基于该图像而鸟瞰图图像取得部120取得的鸟瞰图图像。
在图6的下部的鸟瞰图图像中，附图标记A1表示与图6的上部的图像的缘石O1对应的区域。区域A1是具有以鸟瞰图图像的下端中央O为中心的放射线状的花纹的区域。这样，针对具有以鸟瞰图图像的下端中央O为中心的放射线状的花纹的区域，对应有表示该区域为立体物的注释而成为教示数据。这是由于：一般情况下，在将相机图像变换为鸟瞰图图像时，相机图像中的立体物通过伴随向鸟瞰图图像的拉长产生的像素的插补，作为噪声而具有放射线状的花纹。
而且，在图6的下部的鸟瞰图图像中，附图标记A2表示与图6的上部的图像的路标塔O2对应的区域。区域A2是鸟瞰图图像中的具有与路面的颜色不同的单色的花纹的区域。这样，针对鸟瞰图图像中的具有与路面的颜色不同的单色的花纹的区域，对应有表示该区域为立体物的注释而作为教示数据。这是由于：一般情况下，在将相机图像变换为鸟瞰图图像时，相机图像中的具有单色的花纹的干净的立体物即便在接受到伴随向鸟瞰图图像的拉长产生的像素的插补的情况下，也有时不具有放射线状的花纹。
而且，在图6的下部的鸟瞰图图像中，附图标记A3表示与图6的上部的图像的路面标示O3对应的区域。区域A3是鸟瞰图图像中的与路面标示相当的区域。这样，针对鸟瞰图图像中的与路面标示相当的区域，对应有表示该区域为非立体物的注释而作为教示数据。这是由于：一般情况下，相当于路面标示的区域大多具有单色，因此有可能通过变换为鸟瞰图图像而将该区域判定为立体物。
移动体控制装置100通过使用例如DNN(deep neural network)等方法来学习以上那样构成的教示数据，来生成以当输入鸟瞰图图像时至少输出该鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型162。移动体控制装置100也可以通过学习还对应有表示本车辆M是否能够横过立体物而行驶的注释的教示数据来生成学习完毕模型162。除了立体物的有无及位置以外学习完毕模型162还输出表示是否能够横过该立体物而行驶的信息，由此能够更适宜地活用于由行驶控制部150进行的目标轨道TT的生成。
图7是用于说明鸟瞰图图像中的本车辆M的接近区域与远方区域之间的差异的图。一般情况下，相机图像根据距相机10的距离而单位距离的像素数变化，即越是距相机10远方的区域则像素数越减少，另一方面，鸟瞰图图像的单位距离的像素数恒定。因此，如图7所示的那样，距搭载相机10的本车辆M的距离越大，则伴随像素的插补而鸟瞰图图像中的立体物的检测越困难。
学习完毕模型162是通过利用DNN来学习本车辆M的接近区域和远方区域中的各个区域的带注释的教示数据而生成的学习完毕模型，因此已经考虑了上述那样的影响。然而，移动体控制装置100也可以进一步针对鸟瞰图图像的区域来设定与距离相应的可靠度。在该情况下，移动体控制装置100也可以关于设定的可靠度小于阈值的区域，不使用由学习完毕模型162输出的与立体物相关的信息而通过对由相机10拍摄到的源图像实施基于众所周知的方法(二值化处理、轮廓提取处理、图像增强处理、特征量提取处理、图案匹配处理、或者其他利用了学习完毕模型的处理等)的图像辨识处理来判定立体物的有无。
[空心物体的检测]
图8是用于说明检测鸟瞰图图像中的空心物体的方法的图。如图6的鸟瞰图图像所示的那样，例如将两个路标塔连接的挡杆这样的空心物体由于图像上的面积小而有可能不能通过学习完毕模型162检测到。其结果是，有可能空间检知部140将两个路标塔之间的区域检知为可行驶区域，行驶控制部150以本车辆M在该可行驶区域行驶的方式生成目标轨道TT。
为了应对上述的问题，立体物检测部130在由相机10拍摄到的图像变换为鸟瞰图图像之前，通过众所周知的方法(二值化处理、轮廓提取处理、图像增强处理、特征量提取处理、图案匹配处理、或者其他利用了学习完毕模型的处理等)来检测映到该图像中的空心物体，并将边界框BB应用于检测出的空心物体。鸟瞰图图像取得部120将包含附上了边界框BB的空心物体在内的相机图像变换为鸟瞰图图像，获得图8的下部所示的鸟瞰图图像。空间检知部140通过将由立体物检测部130检测到的立体物及边界框BB从鸟瞰图图像中除外，来检知鸟瞰图图像中的本车辆M的可行驶空间FS1。由此，能够与基于学习完毕模型162的检知配合而进一步准确地检知可行驶空间。边界框BB是“识别信息”的一例。
[基于时间序列的位移量进行的立体物的检测]
图9是用于说明基于鸟瞰图图像中的时间序列的立体物的位移量来检测立体物的方法的图。在图9中，附图标记A4(t1)表示时间点t1下的路标塔，附图标记A4(t2)表示时间点t2下的路标塔。如图9所示那样，例如，由于本车辆M行驶的路面的形状，从而有可能在鸟瞰图图像中的立体物的区域中在时间序列上发生晃动。另一方面，存在越是接近路面则这样的晃动越小的倾向。因此，立体物检测部130在按时间序列得到的多个鸟瞰图图像中检知到的同一区域的以路面为基准的位移量为阈值以上的情况下，将该同一区域检测为立体物。由此，能够与基于学习完毕模型162的检知配合而进一步准确地检知可行驶空间。
图10是表示由移动体控制装置100执行的处理的流程的别的例子的流程图。关于图5的流程图中的步骤S100、步骤S102、步骤S104、步骤S112及步骤S114的处理，在图10的流程图中也同样执行，因此省略说明。
在执行步骤S100的处理后，立体物检测部130根据相机图像来检测空心物体，并对检测出的空心物体应用边界框BB(步骤S105)。接着，鸟瞰图图像取得部120通过将附上了边界框BB的相机图像向鸟瞰图坐标系变换来取得鸟瞰图图像(步骤S106)。对于此时得到的鸟瞰图图像的空心物体，同样地附上边界框BB并将其已经检测为立体物。
接着，立体物检测部130通过向学习完毕模型162输入由鸟瞰图图像取得部120取得的鸟瞰图图像，来检测立体物(步骤S108)。接着，立体物检测部130测定以上次的鸟瞰图图像为基准的各区域的位移量，并将所测定的位移量为阈值以上的区域检测为立体物(步骤S109)。接着，空间检知部140通过将由立体物检测部130检测到的立体物从鸟瞰图图像中除外，来检知鸟瞰图图像中的本车辆M的可行驶空间FS1(步骤S112)。之后，处理进入步骤S112。需要说明的是，步骤S108的处理与步骤S109的处理的顺序可以相反，步骤S108的处理与步骤S109的处理也可以并列执行，还可以省略其中的任一方。
通过以上的流程图的处理，立体物检测部130通过将边界框BB应用于空心物体而检测为立体物，并通过将鸟瞰图图像向学习完毕模型162输入而检测包含于该鸟瞰图图像的立体物，并且将以上次的鸟瞰图图像为基准的位移量为阈值以上的区域检测为立体物。由此，与仅使用学习完毕模型162来检测立体物的图5的流程图相比，能够更可靠地检测立体物。
根据如以上那样说明的本实施方式，移动体控制装置100将由相机10拍摄到的图像变换为鸟瞰图图像，并将变换出的鸟瞰图图像输入以将具有放射线状的花纹的区域辨识为立体物的方式进行了学习的学习完毕模型162，由此辨识立体物。由此，不会使得用于感测的硬件结构复杂化而能够基于较少的学习数据来检知移动体的可行驶空间。
[变形例]
图1所示的本车辆M作为其结构而具备1台相机10。尤其是，在上述的实施方式中，设为相机10设置于本车辆M的前保险杠即本车辆M的低位置。然而，一般情况下，根据由设置于低位置的相机10拍摄到的图像而变换出的鸟瞰图图像与根据由设置于高位置的相机10拍摄到的图像而变换出的鸟瞰图图像相比，存在噪声变强的倾向。该噪声的强度表现为放射线状的花纹，因此对使用学习完毕模型162进行的立体物的检测而言适宜，但另一方面，立体物的位置的确定更困难。本变形例用于应对这样的问题。
图11是表示具备本发明的变形例的移动体控制装置100的本车辆M的结构的一例的图。如图11所示那样，本车辆M具备相机10A、相机10B及移动体控制装置100。相机10A及相机10B的硬件结构与上述的实施方式的相机10同样。相机10A是“第一相机”的一例，相机10B是“第二相机”的一例。
相机10A例如与上述的相机10同样地设置于本车辆M的前保险杠。相机10B设置于比相机10A高的位置，例如作为车内相机而设置于本车辆M的车室内。
图12是表示由鸟瞰图图像取得部120基于由相机10A及相机10B拍摄到的图像而取得的鸟瞰图图像的一例的图。图12的左部表示由相机10A拍摄到的图像、以及根据该图像而变换出的鸟瞰图图像，图12的右部表示由相机10B拍摄到的图像、以及根据该图像而变换出的鸟瞰图图像。比较图12的左部的鸟瞰图图像和图12的右部的鸟瞰图图像可知：设置于低位置的相机10A所对应的鸟瞰图图像与设置于高位置的相机10B所对应的鸟瞰图图像相比，噪声强(即，放射线状的花纹强烈表现)，立体物的位置的确定变得更加困难。
以上述的情况为背景，立体物检测部130通过向学习完毕模型162输入与相机10A对应的鸟瞰图图像来检测立体物，并且通过众所周知的方法(二值化处理、轮廓提取处理、图像增强处理、特征量提取处理、图案匹配处理、或者其他利用了学习完毕模型的处理等)来检测在与相机10B对应的鸟瞰图图像中确定出位置信息的物体(未必是立体物)。接着，立体物检测部130通过将检测出的立体物与检测出的物体匹配，来确定所检测出的立体物的位置。由此，能够与基于学习完毕模型162进行的检知配合而进一步准确地检知可行驶空间。
图13是表示由变形例的移动体控制装置100执行的处理的流程的别的例子的流程图。首先，移动体控制装置100取得由相机10A对本车辆M的周边状况拍摄到的图像、以及由相机10B拍摄到的表示本车辆M的周边状况的图像(步骤S200)。接着，参照映射生成部110对由相机10B拍摄到的图像实施图像辨识处理，来辨识包含于该图像的物体(步骤S202)。接着，参照映射生成部110将以所取得的相机坐标系为基础的图像向俯瞰坐标系进行坐标变换，并生成反映了所辨识出的物体的位置的参照映射(步骤S204)。相机10B设置于比相机10A高的位置，能够辨识更广域的物体，由此为了生成参照映射而更适宜使用相机10B。
与步骤S202及步骤S204的处理平行地进行如下处理：鸟瞰图图像取得部120通过将由相机10A拍摄到的图像和由相机10B拍摄到的图像向鸟瞰图坐标系变换来取得两个鸟瞰图图像(步骤S206)。接着，立体物检测部130通过向学习完毕模型162输入与相机10A对应的鸟瞰图图像，来检测立体物(步骤S208)。接着，立体物检测部130基于与相机10B对应的鸟瞰图图像，来检测确定出位置信息的物体(步骤S210)。需要说明的是，步骤S208的处理和步骤S210的处理的顺序既可以相反，步骤S208的处理和步骤S210的处理也可以并列执行。
接着，立体物检测部130通过将检测出的立体物与确定出位置信息的物体匹配，来确定立体物的位置(步骤S212)。接着，空间检知部140通过将由立体物检测部130检测出的立体物从鸟瞰图图像中除外，来检知鸟瞰图图像中的本车辆M的可行驶空间FSi(步骤S214)。
接着，空间检知部40将可行驶空间FS1向俯瞰坐标系进行坐标变换，并与参照映射匹配，由此来检知参照映射上的可行驶空间FS2(步骤S216)。接着，行驶控制部150以本车辆M通过可行驶空间FS2的方式生成目标轨道TT，并使本车辆M沿着目标轨道TT行驶(步骤S218)。由此，本流程图的处理结束。
根据如以上那样说明的本变形例，移动体控制装置100基于对由相机10A拍摄到的图像进行了变换而得到的鸟瞰图图像来检测立体物，并且通过参照对由相机10B拍摄到的图像进行了变换而得到的鸟瞰图图像来确定该立体物的位置。由此，能够更准确地确定存在于移动体的周边的立体物的位置，更准确地检知移动体的可行驶空间。
上述说明的实施方式能够如以下这样表现。
一种移动体控制装置，其构成为具备：
存储装置，其存储有程序；以及
硬件处理器，
通过所述硬件处理器执行存储于所述存储装置的程序来进行如下处理：
取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；
通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；
基于检测出的所述立体物，来检知所述移动体的可行驶空间；
使所述移动体以通过所述可行驶空间的方式行驶。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (14)

1.一种移动体控制装置，其中，
所述移动体控制装置具备：
取得部，其取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边拍摄到的图像向鸟瞰图坐标系变换而得到；
立体物检测部，其通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；
空间检知部，其基于检测出的所述立体物，来检知所述移动体的可行驶空间；以及
行驶控制部，其使所述移动体以通过所述可行驶空间的方式行驶。
2.根据权利要求1所述的移动体控制装置，其中，
所述学习完毕模型是以当输入鸟瞰图图像时还输出所述移动体是否能够横过所述鸟瞰图图像中的立体物而行驶的方式进行了学习的学习完毕模型。
3.根据权利要求1或2所述的移动体控制装置，其中，
所述学习完毕模型是基于第一教示数据进行了学习的学习完毕模型，在该第一教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
4.根据权利要求3所述的移动体控制装置，其中，
所述学习完毕模型是除了所述第一教示数据之外还基于第二教示数据进行了学习的学习完毕模型，在该第二教示数据中，针对鸟瞰图图像中的具有与路面的颜色不同的单色的花纹的区域，对应有表示所述区域为立体物的注释。
5.根据权利要求3或4所述的移动体控制装置，其中，
所述学习完毕模型是除了所述第一教示数据之外还基于第三教示数据进行了学习的学习完毕模型，在该第三教示数据中，针对鸟瞰图图像中的路面标示，对应有表示所述路面标示为非立体物的注释。
6.根据权利要求1至5中任一项所述的移动体控制装置，其中，
所述移动体控制装置还具备参照映射生成部，该参照映射生成部基于由所述相机对所述移动体的周边状况拍摄到的图像，来辨识包含于所述图像的物体，并生成反映了所辨识出的所述物体的位置的参照映射，
所述空间检知部通过将检测出的所述对象鸟瞰图图像中的立体物与生成的所述参照映射匹配，来检知所述可行驶空间。
7.根据权利要求1至6中任一项所述的移动体控制装置，其中，
所述相机包括设置于所述移动体的下方的第一相机、以及设置于所述移动体的上方的第二相机，
所述立体物检测部基于第一对象鸟瞰图图像来检测所述立体物，基于第二对象鸟瞰图图像来将所述第二对象鸟瞰图图像中的物体连同位置信息进行检测，并通过将检测出的所述立体物与检测出的具有所述位置信息的所述物体匹配来检测所述立体物的位置，该第一对象鸟瞰图图像通过将由所述第一相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到，该第二对象鸟瞰图图像通过将由所述第二相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到。
8.根据权利要求1至7中任一项所述的移动体控制装置，其中，
所述立体物检测部在由所述相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换之前，检测映到所述图像中的空心物体，并对所述空心物体赋予识别信息，
所述空间检知部还基于所述识别信息，来检知所述可行驶空间。
9.根据权利要求1至8中任一项所述的移动体控制装置，其中，
所述立体物检测部在按时间序列得到的多个所述对象鸟瞰图图像中的同一区域的以路面为基准的位移量为阈值以上的情况下，将所述同一区域检测为立体物。
10.一种移动体控制方法，其中，
所述移动体控制方法使计算机进行如下处理：
取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；
通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；
基于检测出的所述立体物，来检知所述移动体的可行驶空间；
使所述移动体以通过所述可行驶空间的方式行驶。
11.一种存储介质，其存储有程序，其中，
所述程序使计算机进行如下处理：
取得对象鸟瞰图图像，该对象鸟瞰图图像通过将由搭载于移动体的相机对所述移动体的周边状况拍摄到的图像向鸟瞰图坐标系变换而得到；
通过将所述对象鸟瞰图图像输入以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行了学习的学习完毕模型，来检测所述对象鸟瞰图图像中的立体物；
基于检测出的所述立体物，来检知所述移动体的可行驶空间；
使所述移动体以通过所述可行驶空间的方式行驶。
12.一种学习装置，其中，
所述学习装置基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
13.一种学习方法，其中，
所述学习方法使计算机进行如下处理：
基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
14.一种存储介质，其存储有程序，其中，
所述程序使计算机进行如下处理：
基于教示数据，以当输入鸟瞰图图像时至少输出所述鸟瞰图图像中的立体物的方式进行学习，在该教示数据中，针对鸟瞰图图像中的具有以鸟瞰图图像的下端中央为中心的放射线状的花纹的区域，对应有表示所述区域为立体物的注释。
CN202310091495.2A 2022-02-10 2023-02-06 移动体控制装置及方法、学习装置及方法、以及存储介质 Pending CN116580375A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022019789A JP7450654B2 (ja) 2022-02-10 2022-02-10 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム
JP2022-019789 2022-02-10

Publications (1)

Publication Number Publication Date
CN116580375A true CN116580375A (zh) 2023-08-11

Family

ID=87521235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310091495.2A Pending CN116580375A (zh) 2022-02-10 2023-02-06 移动体控制装置及方法、学习装置及方法、以及存储介质

Country Status (3)

Country Link
US (1) US20230252675A1 (zh)
JP (1) JP7450654B2 (zh)
CN (1) CN116580375A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018146997A1 (ja) 2017-02-07 2018-08-16 日本電気株式会社 立体物検出装置
JP7091686B2 (ja) 2018-02-08 2022-06-28 株式会社リコー 立体物認識装置、撮像装置および車両
JP6766844B2 (ja) 2018-06-01 2020-10-14 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US11543534B2 (en) 2019-11-22 2023-01-03 Samsung Electronics Co., Ltd. System and method for three-dimensional object detection
JP7122721B2 (ja) 2020-06-02 2022-08-22 株式会社Zmp 物体検出システム、物体検出方法及び物体検出プログラム
JP7224682B1 (ja) 2021-08-17 2023-02-20 忠北大学校産学協力団 自律走行のための３次元多重客体検出装置及び方法
JP7418481B2 (ja) 2022-02-08 2024-01-19 本田技研工業株式会社 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム
JP2023152109A (ja) 2022-04-01 2023-10-16 トヨタ自動車株式会社 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム

Also Published As

Publication number Publication date
JP7450654B2 (ja) 2024-03-15
US20230252675A1 (en) 2023-08-10
JP2023117203A (ja) 2023-08-23

Similar Documents

Publication Publication Date Title
JP6731819B2 (ja) 移動体軌道予測システム
JP4337929B2 (ja) 移動状態推定装置
JP4557288B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP5407898B2 (ja) 対象物検出装置及びプログラム
US20060233424A1 (en) Vehicle position recognizing device and vehicle position recognizing method
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP5561064B2 (ja) 車両用対象物認識装置
CN111295321A (zh) 障碍物检测装置
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
US10846546B2 (en) Traffic signal recognition device
US10803605B2 (en) Vehicle exterior environment recognition apparatus
JP3945494B2 (ja) 走行レーン認識装置
JP4937844B2 (ja) 歩行者検出装置
WO2021166169A1 (ja) 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
US20200364470A1 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP2007249257A (ja) 移動体検出装置および移動体検出方法
JP2010020476A (ja) 物体検出装置及び物体検出方法
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP5345999B2 (ja) レーンマーク認識装置
US20230252804A1 (en) Learning method, learning device, mobile object control device, mobile object control method, and storage medium
JP7060334B2 (ja) 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
CN116580375A (zh) 移动体控制装置及方法、学习装置及方法、以及存储介质
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
KR102368262B1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination