CN112613335A - 识别装置、识别方法及存储介质 - Google Patents

识别装置、识别方法及存储介质 Download PDF

Info

Publication number
CN112613335A
CN112613335A CN202010950347.8A CN202010950347A CN112613335A CN 112613335 A CN112613335 A CN 112613335A CN 202010950347 A CN202010950347 A CN 202010950347A CN 112613335 A CN112613335 A CN 112613335A
Authority
CN
China
Prior art keywords
region
vehicle
setting unit
dimensional image
object target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010950347.8A
Other languages
English (en)
Inventor
梅田弹
高桥辉树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112613335A publication Critical patent/CN112613335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的方案是提供能够以低负荷识别在三维空间内存在物体目标的区域的识别装置、识别方法及存储介质。识别装置具备：第一区域设定部，其识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在二维图像内设定包含识别到的物体目标在内的第一区域；第二区域设定部，其设定与构成物体目标的面中的基准面一致的第二区域；以及第三区域设定部，其基于第一区域及第二区域，来设定以规定形状对物体目标的区域进行表示的第三区域。

Description

识别装置、识别方法及存储介质
技术领域
本发明涉及识别装置、识别方法及存储介质。
背景技术
以往，公开有与显示控制装置相关的技术，该显示控制装置从车辆前方的拍摄图像提取与提取条件相符的物体图像，算出与所提取的物体图像的三维空间的坐标并使与所提取的物体相关的信息显示(例如，参照国际公开第2017/002209号)。
一般地，为了进行针对存在于三维空间的物体的处理，例如需要利用立体相机等三维地拍摄图像，基于所拍摄的三维的图像来求出物体所存在的位置的处理的负荷高。
发明内容
本发明的方案是基于上述的课题认识而完成的，其目的在于提供能够以低负荷识别在三维空间内存在物体目标的区域的识别装置、识别方法及存储介质。
为了解决上述课题而达到上述目的，本发明采用了以下的方案。
(1)：本发明的一方案的识别装置具备：第一区域设定部，其识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；第二区域设定部，其设定与构成所述物体目标的面中的基准面一致的第二区域；以及第三区域设定部，其基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
(2)：在上述(1)的方案的基础上，也可以是，所述物体目标是在所述车辆的周围存在的其他车辆，所述基准面是所述其他车辆的前表面或后表面。
(3)：在上述(1)或(2)的方案的基础上，也可以是，所述第一区域设定部通过对以当输入所述二维图像时输出所述第一区域的方式进行了学习的第一学习完毕模型输入所述二维图像，来获得并设定所述第一区域，所述第二区域设定部通过对以当输入所述第一区域的图像时输出所述第二区域的方式进行了学习的第二学习完毕模型输入所述第一区域的图像，来获得并设定所述第二区域。
(4)：在上述(1)至(3)中的任一方案的基础上，也可以是，所述第三区域设定部通过在所述第一区域内的与所述第二区域对角的位置设定与所述第二区域相同尺寸或考虑远近法而缩小了的尺寸的第四区域，并将所述第二区域和所述第四区域各自的对应的角部的点以直线连结，来设定表现出立体形状的所述第三区域。
(5)：在上述(4)的方案的基础上，也可以是，所述物体目标是在所述车辆的周围存在的其他车辆，所述识别装置还具备第一推定部，该第一推定部基于所述第三区域中的将所述第二区域和所述第四区域各自的对应的角部的点连结而得到的直线，来推定所述其他车辆的移动方向。
(6)：在上述(4)的方案的基础上，也可以是，所述物体目标是在所述车辆的周围存在的其他车辆，所述识别装置还具备第二推定部，该第二推定部基于所述第三区域中的将所述第二区域和所述第四区域各自的对应的角部的点连结而得到的直线，来推定所述其他车辆的长度方向的长度。
(7)：本发明的一方案的识别方法使计算机进行如下处理：识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；设定与构成所述物体目标的面中的基准面一致的第二区域；以及基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
(8)：本发明的一方案的存储介质，其是存储有程序且能够由计算机读取的非暂时性的存储介质，其中，所述程序使计算机进行如下处理：识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；设定与构成所述物体目标的面中的基准面一致的第二区域；以及基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
根据上述的(1)～(8)的方案，能够以低负荷识别在三维空间内存在物体目标的区域。
附图说明
图1是具备第一实施方式的识别装置的识别系统的简要结构图。
图2是示意性地表示整体区域学习完毕模型的生成方法的一例的图。
图3是示意性地表示基准区域学习完毕模型的生成方法的一例的图。
图4是表示由识别装置执行的处理的流程的一例的流程图。
图5是示意性地表示识别装置中的各个处理的图。
图6是表示使在识别装置中设定的其他车辆的物体目标区域重叠显示的图像的一例的图。
图7是示意性地表示基于在识别装置中设定的其他车辆的物体目标区域而推定了其他车辆的状态的状态的一例的图。
图8是搭载有第二实施方式的识别装置的功能的车辆系统的结构图。
图9是第一控制部及第二控制部的功能结构图。
图10是表示第一实施方式的识别装置的硬件结构的一例的图。
具体实施方式
以下，参照附图，来说明本发明的识别装置、识别方法及存储介质的实施方式。在以下的说明中，说明包含本发明的识别装置的识别系统搭载于车辆的情况的一例。以下说明适用左侧通行的法规的情况，但在适用右侧通行的法规的情况下，左右对调阅读即可。
<第一实施方式>
[识别系统1的整体结构]
图1是具备第一实施方式的识别装置100的识别系统1的简要结构图。搭载识别系统1的车辆例如是四轮的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
识别系统1例如具备相机10(摄像装置)、识别装置100及显示装置20。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于搭载有识别系统1的车辆(以下称作本车辆M)的任意部位。在对前方进行拍摄的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。相机10例如周期性地反复对本车辆M的周围进行拍摄。相机10将对本车辆M的周围进行拍摄而得到的二维的图像(以下称作二维图像)向识别装置100输出。
识别装置100基于由相机10输出的二维图像，来识别在本车辆M的周围存在的其他车辆作为物体目标，并以规定的形状表示识别到的其他车辆的区域。例如，识别装置100将其他车辆的区域用模拟成立体形状的对象包围，由此表示成正在三维空间内识别其他车辆。在以下的说明中，将识别装置100识别到的其他车辆的区域称作“物体目标区域(第三区域)”。识别装置100将在由相机10输出的二维图像上重叠了识别到的其他车辆的物体目标区域而得到的图像向显示装置20输出，使识别到的其他车辆向本车辆M的驾驶员示出。
识别装置100例如具备整体区域设定部110(第一区域设定部)、基准区域设定部130(第二区域设定部)及物体目标区域设定部150(第三区域设定部)。这些构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部：circuitry)等来实现，还可以通过软件与硬件的协同配合来实现。这些构成要素中的一部分或全部还可以通过专用的LSI来实现。程序(软件)可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装于存储装置。程序(软件)也可以从其他计算机装置经由网络预先下载并安装于存储装置。
整体区域设定部110识别映入由相机10输出的二维图像中的物体目标，并在二维图像内设定包含识别到的其他车辆在内的区域。作为整体区域设定部110识别的物体目标，例如除了在本车辆M的周围存在的其他车辆之外，还存在行人、自行车、静止物等。其他车辆包括正在与本车辆M行驶着的行驶车道相同的行驶车道或相邻的行驶车道上行驶的其他车辆、在相向车道上行驶的其他车辆(所谓的相向车辆)、驻车车辆等。静止物包括信号机、标识等。整体区域设定部110设定识别到的物体目标中的其他车辆的区域。整体区域设定部110设定将识别到的其他车辆的区域的整体包围的矩形形状的区域。整体区域设定部110设定的矩形形状的区域也可以局部地包含其他车辆以外的区域。整体区域设定部110使用预先进行了学习的学习完毕模型(以下称作整体区域学习完毕模型)，来设定其他车辆的区域。整体区域设定部110所使用的整体区域学习完毕模型例如是通过现有的机器学习的算法以当输入二维图像时输出包含其他车辆在内的区域的方式预先进行了学习的学习完毕模型。整体区域设定部110通过对整体区域学习完毕模型输入由相机10输出的二维图像，来获得其他车辆的区域，并设定将其他车辆的区域的整体包围的矩形形状的区域。在以下的说明中，将整体区域设定部110设定的其他车辆的区域称作“整体区域(第一区域)”。整体区域设定部110为了设定整体区域而使用的整体区域学习完毕模型例如也可以称作在现有的图像处理的技术中在二维图像内设定将其他车辆的区域的整体包围的边界框(boundingbox)的模型。
整体区域设定部110将由相机10输出的二维图像和与所设定的整体区域相关的信息向基准区域设定部130及物体目标区域设定部150输出。例如，整体区域设定部110将由相机10输出的二维图像和表示所设定的整体区域的范围的二维图像内的坐标的信息向物体目标区域设定部150输出。整体区域设定部110也可以将从二维图像中切出所设定的整体区域的范围的图像(以下称作整体区域图像)向基准区域设定部130输出。
在此，说明整体区域设定部110为了设定整体区域而使用的整体区域学习完毕模型。图2是示意性地表示整体区域学习完毕模型TM1(第一学习完毕模型)的生成方法的一例的图。整体区域学习完毕模型TM1例如是使用CNN(Convolutional Neural Network)、DNN(Deep Neural Network)等技术，以当输入二维图像时输出一个以上的整体区域的方式进行了学习的模型。CNN是将卷积(Convolution)层、池化(Pooling)层等几个层相连而得到的神经网络。DNN是将任意的形态的层多层连结而得到的神经网络。整体区域学习完毕模型TM1例如通过基于未图示的运算装置等的使用了整体区域机器学习模型LM1的机器学习来生成。未图示的运算装置在通过机器学习生成整体区域学习完毕模型TM1时，向整体区域机器学习模型LM1的输入侧输入整体区域学习数据DI1作为输入数据，向整体区域机器学习模型LM1的输出侧输入整体区域正解数据DO1作为教师数据。整体区域机器学习模型LM1例如是具有CNN、DNN等的形态并暂定地设定有参数的模型。整体区域学习数据DI1例如是设想由相机10拍摄的多个二维图像的图像数据。整体区域正解数据DO1是表示在整体区域学习数据DI1中应该被设定的整体区域的位置的数据。未图示的运算装置调整整体区域机器学习模型LM1的参数，以使在将整体区域学习数据DI1输入到整体区域机器学习模型LM1时的整体区域机器学习模型LM1的输出接近由整体区域正解数据DO1示出的整体区域。作为调整参数的方法，例如存在反向传播法(误差反向传播法)等方法。由未图示的运算装置调整了参数的整体区域机器学习模型LM1成为整体区域学习完毕模型TM1。
返回图1，基准区域设定部130识别由整体区域设定部110输出的整体区域图像所包含的其他车辆中的规定的面作为基准面，并设定识别到的基准面的区域。基准区域设定部130识别的基准面在认为其他车辆的形状为长方体的情况下是距本车辆M近的一侧(与本车辆M接近的一侧)的面，例如是其他车辆的前表面(前侧的面)或后表面(后侧的面)。对于其他车辆的前表面，例如通过识别其他车辆的前照灯部，从而即使例如在夜间也能够识别其他车辆的前表面。对于其他车辆的后表面，例如通过识别其他车辆的尾灯部，从而即使例如在夜间也能够识别其他车辆的后表面。基准区域设定部130在整体区域内识别构成其他车辆的面中的基准面(与基准面一致的面)，并设定表示识别到的基准面的矩形形状的区域。表示基准面的矩形形状的区域既可以局部地进入其他车辆的内部，也可以局部地包含除了其他车辆以外的区域。基准区域设定部130使用预先进行了学习的学习完毕模型(以下，称作基准区域学习完毕模型)，来设定表示基准面的区域。基准区域设定部130所使用的基准区域学习完毕模型例如是通过现有的机器学习的算法以当输入整体区域图像时输出基准面的区域的方式预先进行了学习的学习完毕模型。基准区域设定部130通过对基准区域学习完毕模型输入由整体区域设定部110输出的整体区域图像，得到其他车辆的基准面的区域，设定表示其他车辆的基准面的矩形形状的区域。在以下的说明中，将基准区域设定部130设定的其他车辆的基准面的区域称作“基准区域(第二区域)”。基准区域设定部130为了设定基准区域而使用的基准区域学习完毕模型例如也可以称作在现有的图像处理的技术中设定将构成整体区域图像中的其他车辆的面中的基准面包围的边界框的模型。
基准区域设定部130将与所设定的基准区域相关的信息向物体目标区域设定部150输出。例如，基准区域设定部130将表示所设定的基准区域的范围的整体区域图像内的坐标的信息向物体目标区域设定部150输出。基准区域设定部130输出的与基准区域相关的信息也包括表示基准区域是其他车辆的前表面的区域还是后表面的区域的信息。
在此，说明基准区域设定部130为了设定基准区域而使用的基准区域学习完毕模型。图3是示意性地表示基准区域学习完毕模型TM2(第二学习完毕模型)的生成方法的一例的图。基准区域学习完毕模型TM2例如是使用CNN、DNN等技术以当输入整体区域图像时输出一个以上的基准区域的方式进行了学习的模型。基准区域学习完毕模型TM2例如通过基于未图示的运算装置等的使用了基准区域机器学习模型LM2的机器学习来生成。未图示的运算装置在通过机器学习生成基准区域学习完毕模型TM2时，向基准区域机器学习模型LM2的输入侧输入基准区域学习数据DI2作为输入数据，向基准区域机器学习模型LM2的输出侧输入基准区域正解数据DO2作为教师数据。基准区域机器学习模型LM2例如是具有CNN、DNN等的形态并暂定地设定有参数的模型。基准区域学习数据DI2例如是设想从整体区域设定部110输出的多个整体区域图像的图像数据。基准区域正解数据DO2是表示在基准区域学习数据DI2中应该被设定的基准区域的位置的数据。未图示的运算装置调整基准区域机器学习模型LM2的参数，以使在将基准区域学习数据DI2输入到基准区域机器学习模型LM2时的基准区域机器学习模型LM2的输出接近由基准区域正解数据DO2示出的基准区域。作为调整参数的方法，与调整整体区域机器学习模型LM1的参数的方法同样，例如存在反向传播法(误差反向传播法)等方法。通过未图示的运算装置调整了参数的基准区域机器学习模型LM2成为基准区域学习完毕模型TM2。
物体目标区域设定部150基于由整体区域设定部110输出的与整体区域相关的信息、以及由基准区域设定部130输出的与基准区域相关的信息，通过以模拟为立体形状的对象包围映入二维图像的其他车辆的区域，来设定表示为正在三维空间内识别其他车辆的物体目标区域。此时，物体目标区域设定部150在整体区域内将与基准区域相同的大小(尺寸)的区域(以下称作复制区域(第四区域))设定于整体区域内的对角的位置，通过将基准区域和复制区域各自的对应的角部的点以直线(以下称作对角直线)连结，来设定以立体形状表现其他车辆的区域的物体目标区域。换言之，物体目标区域设定部150设定整体区域中的、将未被基准区域、复制区域及对角直线包围的区域除外的物体目标区域。详细而言，使用图4来进行说明。物体目标区域设定部150也可以在整体区域内设定复制区域时，考虑远近法而设定将基准区域的尺寸缩小了的尺寸的复制区域。物体目标区域设定部150设定的物体目标区域也可以称作将基准区域设定部130所设定的边界框(基准区域)与物体目标区域设定部150所设定的边界框(复制区域)以对角直线连结而得到的三维盒子。
物体目标区域设定部150向显示装置20输出将所设定的物体目标区域与由整体区域设定部110输出的二维图像重叠而得到的图像。
物体目标区域设定部150例如具备推定部151。推定部151基于所设定的物体目标区域，来推定其他车辆的状态。所谓其他车辆的状态，包括本车辆M与其他车辆之间的距离、相对于以本车辆M的行进方向为基准的情况而言的其他车辆的移动方向、相对于以本车辆M的行进方向为基准的情况而言的其他车辆的长度方向(从本车辆M离开的进深方向)的长度等。本车辆M与其他车辆之间的距离例如能够基于基准区域的尺寸来推定。其他车辆的移动方向、其他车辆的长度方向的长度能够基于在设定物体目标区域时将基准区域和复制区域各自的对应的角部的点连结而得到的对角直线来推定。推定部151也可以考虑远近法，来修正所推定的其他车辆的移动方向、其他车辆的长度方向的长度。
例如，推定部151在表示本车辆M的行进方向的假想的直线与将基准区域和复制区域连结而得到的对角直线的延长线大致平行的情况下，推定为其他车辆的移动方向为与本车辆M的行进方向相同或相反的方向。大致平行是指表示本车辆M的行进方向的假想的直线与将基准区域和复制区域连结而得到的对角直线的延长线之间的角度落入几度以内的范围内。例如，推定部151在表示本车辆M的行进方向的假想的直线与将基准区域和复制区域连结而得到的对角直线的延长线交叉的情况下，推定为其他车辆的移动方向是与本车辆M的行进方向交叉的方向。交叉是指表示本车辆M的行进方向的假想的直线与将基准区域和复制区域连结而得到的对角直线的延长线在任意的位置相交。例如，推定部151也能够基于基准区域是其他车辆的前表面的区域还是后表面的区域的信息，来进一步详细地推定其他车辆。例如，推定部151能够在推定为其他车辆的移动方向是与本车辆M的行进方向相同或相反的方向时，在基准区域为其他车辆的前表面的情况下，推定为其他车辆例如是相向车辆等这样的与本车辆M交错的车辆，在基准区域为其他车辆的后表面的情况下，推定为其他车辆例如是前行车辆等这样的在本车辆M的前方行驶的车辆。例如，推定部151能够在推定为其他车辆的移动方向是与本车辆M的行进方向交叉的方向时，在基准区域为其他车辆的前表面的情况下，推定为其他车辆例如是在本车辆M的前方的交叉路口通过或转弯过来的车辆等这样的存在在本车辆M的前方横过的可能性的车辆，在基准区域为其他车辆的后表面的情况下，推定为其他车辆例如是存在向本车辆M正在行驶的行驶车道进入过来的可能性的车辆。将这样推定其他车辆的移动方向的推定部151称作第一推定部。
例如，推定部151将连结基准区域与复制区域而得到的对角直线的长度推定为其他车辆的长度方向的长度(例如车长)。在该情况下，推定部151例如也能够在其他车辆为驻车车辆的情况下，基于所推定的本车辆M与其他车辆之间的距离及其他车辆的长度方向的长度，来进一步详细地推定本车辆M到达驻车车辆的位置的时间、通过驻车车辆为止所需要的时间等。将这样推定其他车辆的长度方向的长度的推定部151称作第二推定部。
物体目标区域设定部150也可以向显示装置20输出将推定部151所推定的表示其他车辆的状态的信息与由整体区域设定部110输出的二维图像重叠而得到的图像。物体目标区域设定部150也可以向未图示的其他构成要素输出推定部151所推定的表示其他车辆的状态的信息。作为其他构成要素，例如可考虑本车辆M中的控制自动驾驶的构成要素、本车辆M中的支援驾驶的构成要素。在该情况下，这些构成要素能够基于由物体目标区域设定部150输出的表示其他车辆的状态的信息，来进行自动驾驶、驾驶支援的控制。
显示装置20显示由识别装置100输出的图像。显示装置20例如是液晶显示器(Liquid Crystal Display；LCD)、有机EL(Electroluminescence)显示装置等。显示装置20例如也可以是本车辆M所具备的导航装置的显示装置。显示装置20例如也可以是在本车辆M的前窗玻璃的面内显示图像、信息的显示装置(所谓的平视显示器装置)。驾驶员通过观察显示装置20所显示的图像，能够在视觉上知晓本车辆M正在识别其他车辆的存在。
[识别装置100的处理一例]
图4是表示由识别装置100执行的处理的流程的一例的流程图。图5是示意性地表示识别装置100中的各个处理的图。在图5中示出在图4所示的流程图中对应的步骤编号。在以下说明的识别装置100的处理的流程中，说明图4所示的流程图，并适当参照图5所示的处理。
图4所示的流程图的处理每隔相机10拍摄1帧的二维图像的规定的时间间隔反复执行。识别装置100将映入由相机10输出的二维图像中的各个其他车辆识别为物体目标，并设定识别到的各个其他车辆的物体目标区域。然而，在以下的说明中，为了使说明容易，设为在相机10拍摄到的二维图像中仅映入有1台其他车辆。
当相机10拍摄1帧的二维图像时，整体区域设定部110取得由相机10输出的二维图像(步骤S100)。
接着，整体区域设定部110识别映入所取得的二维图像中的其他车辆，并设定包含识别到的其他车辆在内的整体区域(步骤S102)。在图5中，示出整体区域设定部110相对于映入二维图像中的其他车辆设定了整体区域RA的状态。整体区域设定部110将所取得的二维图像和表示所设定的整体区域RA的范围的信息向物体目标区域设定部150输出。整体区域设定部110将从所取得的二维图像切出所设定的整体区域RA的范围而得到的整体区域图像向基准区域设定部130输出。
接着，基准区域设定部130识别由整体区域设定部110输出的整体区域图像所包含的其他车辆的基准面，在整体区域内设定表示识别到的基准面的基准区域(步骤S104)。在图5中，示出基准区域设定部130相对于映入二维图像中的其他车辆而在所设定的整体区域RA内设定基准区域RB的状态。基准区域设定部130将表示在整体区域图像内所设定的基准区域RB的范围的信息向物体目标区域设定部150输出。
接着，物体目标区域设定部150在整体区域设定部110所设定的整体区域内将与基准区域设定部130所设定的基准区域对应的尺寸(与基准区域相同的尺寸、或者考虑远近法将基准区域的尺寸缩小而得到的尺寸)的复制区域设定在整体区域内的对角的位置(步骤S106)。在图5中，示出物体目标区域设定部150在整体区域RA内将与基准区域RB相同的尺寸的复制区域RC设定在整体区域RA内的对角的位置的状态。
之后，物体目标区域设定部150将基准区域和复制区域各自的对应的角部的点以对角直线连结(步骤S108)。在图5中，示出物体目标区域设定部150将基准区域RB和复制区域RC各自的角部的点彼此分别以对角直线SL1～对角直线SL3连结了的状态。更具体而言，示出将基准区域RB的右下的角部的点与复制区域RC的右下的角部的点以对角直线SL1连结，将基准区域RB的右上的角部的点与复制区域RC的右上的角部的点以对角直线SL2连结，将基准区域RB的左上的角部的点与复制区域RC的左上的角部的点以对角直线SL3连结了的状态。
如图5所示，基准区域RB的左下的角部的点与复制区域RC的左下的角部的点未以对角直线连结。这是因为，之后在设定了物体目标区域时，将基准区域RB的左下的角部的点与复制区域RC的左下的角部的点连结的对角直线是被其他车辆遮挡的直线，对于以后的处理也不存在影响。而且是因为，能够在识别装置100(更具体而言，物体目标区域设定部150)中减轻将基准区域RB的左下的角部的点与复制区域RC的左下的角部的点以对角直线连结的处理的负荷。
之后，物体目标区域设定部150基于基准区域、复制区域及将基准区域与复制区域连结了的对角直线，来设定其他车辆的物体目标区域(步骤S110)。在图5中，示出物体目标区域设定部150设定了其他车辆的物体目标区域RO的状态。
之后，物体目标区域设定部150向显示装置20输出将所设定的物体目标区域与所取得的二维图像重叠而得到的图像(步骤S112)。由此，显示装置20显示由物体目标区域设定部150输出的图像。而且，识别装置100结束对于相机10所拍摄的当前的二维图像的本流程图的处理。
通过这样的结构及处理，识别装置100基于相机10拍摄到的当前的二维图像，来设定表现成正在三维空间内识别在本车辆M的周围存在的其他车辆的物体目标区域。而且，识别装置100通过使显示装置20显示将识别到的物体目标区域与相机10拍摄到的当前的二维图像重叠而得到的图像，在视觉上向驾驶员通知本车辆M正在三维空间内识别其他车辆的存在。由此，在搭载有识别系统1的本车辆M中，驾驶员能够通过观察显示装置20所显示的图像，来视觉上知晓本车辆M正在识别其他车辆的存在。
[物体目标区域的显示例]
图6是表示使在识别装置100中所设定的其他车辆的物体目标区域重叠显示的图像的一例的图。在图6中，示出识别装置100将识别并设定了在本车辆M的前方存在的3台其他车辆的各个物体目标区域RO重叠而得到的图像IM的一例。更具体而言，在图6中，示出识别装置100对正在与本车辆M正在行驶的行驶车道相邻的左侧的行驶车道上行驶的其他车辆(以下称作其他车辆V1)设定出的物体目标区域RO1、对正在相同的行驶车道上在前方行驶的其他车辆(以下称作其他车辆V2)设定出的物体目标区域RO2、对正在相邻的相反侧(右侧)的行驶车道上行驶的其他车辆(以下称作其他车辆V3)设定出的物体目标区域RO3重叠而得到的图像IM的一例。
如上所述，识别装置100通过对映入由相机10输出的二维图像中的各个其他车辆(其他车辆V1～其他车辆V3)进行图4所示的流程图的处理，来设定识别到的各个其他车辆的物体目标区域。
如图6所示，识别装置100(更具体而言，物体目标区域设定部150)对其他车辆V2设定的物体目标区域RO2未成为以立体形状包围其他车辆V2的区域而得到的物体目标区域。这是因为，其他车辆V2为正在与本车辆M相同的行驶车道的前方行驶的其他车辆，由此基准区域设定部130识别为整体区域设定部110所设定的整体区域的全部的区域为基准面而设定了基准区域。即使在该情况下，由于基准区域设定部130将包括表示所设定的基准区域为其他车辆V2的后表面的信息在内的与基准区域相关的信息向物体目标区域设定部150输出，因此例如物体目标区域设定部150所具备推定部151也能够推定本车辆M与其他车辆之间的距离、其他车辆相对于本车辆M的行进方向而言的移动方向等其他车辆V2的状态。换言之，物体目标区域设定部150所具备的推定部151能够推定其他车辆V2的长度方向的长度(例如车长)以外的状态。
[其他车辆的状态的推定例]
图7是示意性地表示基于在识别装置100中所设定的其他车辆的物体目标区域而推定了其他车辆的状态的状态的一例的图。在图7中，示出识别装置100基于识别并设定了在本车辆M的前方存在的4台其他车辆的各个物体目标区域RO而推定了各个其他车辆的状态的状态的一例。在图7中，为了使说明容易，在二维的平面上示出本车辆M及其他车辆的状态、对其他车辆分别设定了的物体目标区域RO。而且，在图7中，省略识别装置100(更具体而言，推定部151)推定的本车辆M与其他车辆之间的距离的图示。
在图7中，示出识别装置100识别正在与本车辆M正在行驶的行驶车道相同的行驶车道上在前方行驶的其他车辆(以下称作其他车辆V4)并设定了物体目标区域RO4的状态的一例。其他车辆V4是正在本车辆M的前方行驶的先行车辆，因此识别装置100设定的物体目标区域RO4与图6所示的其他车辆V2同样，未成为以立体形状包围其他车辆V4的区域而得到的物体目标区域。在该情况下，推定部151推定本车辆M与其他车辆V4之间的距离、以本车辆M的行进方向DM为基准的其他车辆V4的移动方向等。在图7中，示出推定部151所推定的其他车辆V4的移动方向D4的一例。
在图7中，示出识别装置100识别存在为了在与本车辆M正在行驶的行驶车道交叉的其他行驶车道的交叉路口处右转而从相邻的相反侧(右侧)的行驶车道进入过来的可能性的其他车辆(以下称作其他车辆V5)，并设定了物体目标区域RO5的状态的一例。在该情况下，推定部151推定本车辆M与其他车辆V5之间的距离、以本车辆M的行进方向DM为基准的其他车辆V5的移动方向、其他车辆V5的长度方向的长度(车长)等。在图7中，示出推定部151所推定的其他车辆V5的移动方向D5及车长L5的一例。
在图7中，示出识别装置100识别存在从与本车辆M正在行驶的行驶车道交叉的其他行驶车道(左侧)向交叉路口进入过来的可能性的其他车辆(以下称作其他车辆V6)，并设定了物体目标区域RO6的状态的一例。在该情况下，推定部151推定本车辆M与其他车辆V6之间的距离、以本车辆M的行进方向DM为基准的其他车辆V6的移动方向、其他车辆V6的车长等。在图7中，示出推定部151所推定的其他车辆V6的移动方向D6及车长L6的一例。
在图7中，示出识别装置100识别正在与本车辆M正在行驶的行驶车道分离开的相反侧(右侧)的行驶车道上行驶的其他车辆(以下称作其他车辆V7)，并设定了物体目标区域RO7的状态的一例。在该情况下，推定部151推定本车辆M与其他车辆V7之间的距离、以本车辆M的行进方向DM为基准的其他车辆V7的移动方向、其他车辆V7的车长等。在图7中，示出推定部151所推定的其他车辆V7的移动方向D7及车长L7的一例。
如上所述，根据第一实施方式的识别装置100，识别映入相机10拍摄到的二维图像中的其他车辆并设定了整体区域之后，识别整体区域内的其他车辆中的基准面并设定基准区域，并基于整体区域和基准区域来设定物体目标区域。由此，在第一实施方式的识别装置100中，基于相机10拍摄到的二维图像，能够设定表现为正在三维空间内识别在本车辆M的周围存在的其他车辆的物体目标区域。换言之，在第一实施方式的识别装置100中，即使未由相机10拍摄三维的图像，也能够设定表现为正在三维空间内识别其他车辆的物体目标区域。
而且，在第一实施方式的识别装置100中，为了分别设定整体区域和基准区域而使用的学习完毕模型均是用于从二维图像设定各个区域的模型。换言之，为了设定整体区域而使用的整体区域学习完毕模型、以及为了设定基准区域而使用的基准区域学习完毕模型是处理的负荷低(轻)的模型。因此，在第一实施方式的识别装置100中，能够以低负荷识别在三维空间内存在的其他车辆。作为为了分别设定整体区域和基准区域而使用的学习完毕模型的一方或两方，也可以利用现有的学习完毕模型。即使在该情况下，学习完毕模型中的处理的负荷也变低(变轻)，第一实施方式的识别装置100能够以低负荷识别在三维空间内存在的其他车辆。
由此，在第一实施方式的识别装置100中，通过使显示装置20显示将识别到的物体目标区域与相机10拍摄到的二维图像重叠而得到的图像，能够以低负荷的处理在视觉上向驾驶员通知本车辆M正在三维空间内识别其他车辆的存在。而且，在第一实施方式的识别装置100中，也能够基于所设定的物体目标区域，来推定其他车辆的状态，并使显示装置20显示将表示所推定的其他车辆的状态的信息与二维图像重叠而得到的图像。由此，在搭载具备第一实施方式的识别装置100的识别系统1的本车辆M中，驾驶员能够通过观察显示装置20所显示的图像，来视觉上知晓本车辆M正在识别其他车辆的存在(例如，正在识别为风险)。
<第二实施方式>
以下，说明第二实施方式。第二实施方式是将第一实施方式的识别装置100的功能搭载到进行自动驾驶的车辆系统的情况的一例。
[车辆系统的整体结构]
图8是搭载有第二实施方式的识别装置的功能的车辆系统1A的结构图。搭载车辆系统1A的车辆也与搭载具备第一实施方式的识别装置100的识别系统1的车辆同样，例如是二轮、三轮、四轮等的车辆。
车辆系统1A例如具备相机10、雷达装置32、探测器34、物体目标识别装置36、通信装置40、HMI(Human Machine Interface)50、车辆传感器60、导航装置70、MPU(MapPositioning Unit)80、驾驶操作件90、自动驾驶控制装置(automated driving controldevice)200、行驶驱动力输出装置300、制动装置310及转向装置320。图8所示的结构只不过是一例，既可以省略结构的一部分，也可以还追加别的结构。
车辆系统1A具备的构成要素包括与第一实施方式的识别装置100及具备识别装置100的识别系统1同样的构成要素。在以下的说明中，在车辆系统1A具备的构成要素中，对于与第一实施方式的识别装置100及具备识别装置100的识别系统1同样的构成要素赋予同一附图标记，省略与各个构成要素相关的详细的说明。
雷达装置32向本车辆M的周边放射毫米波等的电波，并且检测由物体目标反射的电波(反射波)，来至少检测物体目标的位置(距离及方位)。雷达装置32安装于本车辆M的任意部位。
探测器34是LIDAR(Light Detection and Ranging)。探测器34向本车辆M的周边照射光，并测定散射光。探测器34基于从发光到受光的时间，来检测到对象为止的距离。照射的光例如是脉冲状的激光。探测器34安装于本车辆M的任意部位。
物体目标识别装置36对由相机10、雷达装置32及探测器34中的一部分或全部检测的检测结果进行传感器融合处理，来识别物体目标的位置、种类、速度等。物体目标识别装置36将识别结果向自动驾驶控制装置200输出。物体目标识别装置36可以将相机10、雷达装置32及探测器34的检测结果直接向自动驾驶控制装置200输出。也可以从车辆系统1A省略物体目标识别装置36。
通信装置40例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC(DedicatedShort Range Communication)等，来与在本车辆M的周边存在的其他车辆通信，或者经由无线基站与各种服务器装置通信。
HMI50对本车辆M的乘员提示各种信息，并且接受由乘员进行的输入操作。HMI50包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。HMI50具备的显示装置也可以与具备第一实施方式的识别装置100的识别系统1中的显示装置20共用化。
车辆传感器60包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。
导航装置70例如具备GNSS(Global Navigation Satellite System)接收机71、导航HMI72及路径决定部73。导航装置70在HDD、闪存器等存储装置中保持有第一地图信息74。GNSS接收机71基于从GNSS卫星接收到的信号，来确定本车辆M的位置。导航HMI72包括显示装置、扬声器、触摸面板、按键等。导航HMI72具备的显示装置也可以与具备第一实施方式的识别装置100的识别系统1中的显示装置20共用化。导航HMI72还可以一部分或全部与前述的HMI50共用化。路径决定部73例如参照第一地图信息74来决定从由GNSS接收机71确定的本车辆M的位置(或者输入的任意的位置)到由乘员使用导航HMI72输入的目的地的路径(以下称作地图上路径)。第一地图信息74例如是通过表示道路的线路和由线路连接的节点而表现道路形状的信息。地图上路径向MPU80输出。
MPU80例如包括推荐车道决定部81，在HDD、闪存器等存储装置中保持有第二地图信息82。推荐车道决定部81将从导航装置70提供的地图上路径分割为多个区块(例如，在车辆行进方向上按每100[m]进行分割)，并参照第二地图信息82按每个区块来决定推荐车道。推荐车道决定部81进行在从左数第几车道上行驶这样的决定。
第二地图信息82是比第一地图信息74高精度的地图信息。第二地图信息82例如包括车道的中央的信息或者车道的边界的信息等。第二地图信息82可以包括道路信息、交通限制信息、住所信息(住所·邮政编码)、设施信息、电话号码信息等。
驾驶操作件90例如包括油门踏板、制动踏板、换挡杆、转向盘、异形方向盘、操纵杆及其他操作件。在驾驶操作件90安装有检测操作量或者操作的有无的传感器，其检测结果向自动驾驶控制装置200、或者行驶驱动力输出装置300、制动装置310及转向装置320中的一部分或全部输出。
自动驾驶控制装置200例如具备第一控制部220和第二控制部260。第一控制部220和第二控制部260分别例如通过CPU等硬件处理器执行程序(软件)来实现。这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部：circuitry)来实现，还可以通过软件与硬件的协同配合来实现。这些构成要素中的一部分或全部还可以通过专用的LSI来实现。程序(软件)可以预先保存于自动驾驶控制装置200的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，并通过存储介质装配于驱动装置而安装于自动驾驶控制装置200的HDD、闪存器。在车辆系统1A中，将第一实施方式的识别装置100的功能作为自动驾驶控制装置200的功能来执行。
图9是第一控制部220及第二控制部260的功能结构图。第一控制部220例如具备识别部230和行动计划生成部240。第一控制部220例如将基于AI(Artificial Intelligence；人工智能)的功能和基于预先给出的模型的功能并行来实现。
识别部230基于从相机10、雷达装置32及探测器34经由物体目标识别装置36输入的信息，来识别在本车辆M的周边存在的物体目标的位置、速度、加速度等状态。识别部230例如识别本车辆M正在行驶的车道(行驶车道)。识别部230在识别行驶车道时，识别本车辆M相对于行驶车道的位置、姿态。
在车辆系统1A中，第一实施方式的识别装置100的功能作为识别部230的功能来执行。因此，识别部230具备第一实施方式的识别装置100所具备的整体区域设定部110、基准区域设定部130及物体目标区域设定部150。而且，在识别部230中，通过整体区域设定部110、基准区域设定部130及物体目标区域设定部150来实现前述的识别部230的一部分的功能。更具体而言，通过整体区域设定部110、基准区域设定部130及物体目标区域设定部150，来识别在本车辆M的周边存在的物体目标中的其他车辆。而且，识别部230将包括物体目标区域设定部150所具备的推定部151推定出的其他车辆的位置在内的表示其他车辆的状态的信息作为识别结果向行动计划生成部240输出。
行动计划生成部240以原则上在由推荐车道决定部81决定出的推荐车道上行驶、而且能够应对本车辆M的周边状况的方式生成本车辆M自动(Automatedly)地将来行驶的目标轨道。目标轨道例如包括速度要素。例如，目标轨道表现为将本车辆M应该到达的地点按顺序排列而成的轨道。行动计划生成部240在生成目标轨道时，可以设定自动驾驶的事件。
第二控制部260控制行驶驱动力输出装置300、制动装置310及转向装置320，以使本车辆M按照预定的时刻通过由行动计划生成部240生成的目标轨道。
返回图9，第二控制部260例如具备取得部262、速度控制部264及转向控制部266。取得部262取得由行动计划生成部240生成的目标轨道(轨道点)的信息，并使存储器(未图示)存储该信息。速度控制部264基于存储于存储器的目标轨道附带的速度要素，来控制行驶驱动力输出装置300或制动装置310。转向控制部266根据存储于存储器的目标轨道的弯曲情况，来控制转向装置320。
行驶驱动力输出装置300将用于车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置300例如具备内燃机、电动机及变速器等的组合、以及控制它们的ECU(Electronic Control Unit)。ECU按照从第二控制部260输入的信息、或者从驾驶操作件90输入的信息，来控制上述的结构。
制动装置310例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从第二控制部260输入的信息、或者从驾驶操作件90输入的信息来控制电动马达，使得与制动操作相应的制动转矩向各车轮输出。制动装置310不限于上述说明的结构，也可以是按照从第二控制部260输入的信息来控制致动器，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置320例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部260输入的信息、或者从驾驶操作件90输入的信息，来驱动电动马达，使转向轮的朝向变更。
如上所述，根据搭载了识别装置的功能的第二实施方式的车辆系统1A，识别映入相机10拍摄到的二维图像中的其他车辆并设定物体目标区域。由此，在第二实施方式的车辆系统1A中，基于相机10拍摄到的二维图像，即使不由相机10拍摄三维的图像，也能够以低负荷识别在三维空间内存在的其他车辆，并进行本车辆M中的自动驾驶的控制。而且，在搭载第二实施方式的车辆系统1A的本车辆M中，通过搭载拍摄二维图像的相机10，能够与搭载拍摄三维图像的相机相比以低成本实现自动驾驶的系统。
如上所述，在实施方式的识别装置中，使用设定其他车辆的整体区域的整体区域学习完毕模型、以及在整体区域内设定其他车辆的基准区域的基准区域学习完毕模型，来设定表现为正在三维空间内识别映入二维图像中的其他车辆的区域的物体目标区域。由此，在实施方式的识别装置中，能够通过较低负荷的处理来识别三维空间内的其他车辆。例如，在三维空间内识别其他车辆的以往的处理中，需要其他车辆的车长的计测、使用更复杂的学习完毕模型来识别其他车辆。与此相对，在实施方式的识别装置中，通过如上所述在二维图像内识别并设定整体区域及基准区域这两个区域，能够在三维空间内识别其他车辆。
而且，在实施方式的识别装置中使用的学习完毕模型是设定整体区域或基准区域的学习完毕模型，因此在生成该学习完毕模型时使用的数据(学习数据(图像数据)、正解数据(教师数据))无需是在生成三维识别其他车辆的学习完毕模型时使用的数据那样的复杂的(特殊的)数据。换言之，在实施方式的识别装置中使用的学习完毕模型中的机器学习与三维识别其他车辆的学习完毕模型中的机器学习相比容易，能够将用于进行机器学习的学习成本抑制得低。
由此，在具备实施方式的识别装置的识别系统1、搭载车辆系统1A的本车辆M中，能够以较低负荷、低成本实现在三维空间内存在的其他车辆。
根据以上说明的例如第一实施方式的识别装置100，具备：整体区域设定部110，其识别映入由对本车辆M的周围进行拍摄的相机10拍摄到的二维图像中的其他车辆，并在二维图像内设定包含识别到的其他车辆在内的整体区域；基准区域设定部130，其设定与构成其他车辆的面中的基准面一致的基准区域；以及物体目标区域设定部150，其基于整体区域及基准区域，来设定以规定形状(表示为正在三维空间内识别其他车辆的立体形状)对其他车辆的区域进行表示的物体目标区域，由此能够在视觉上向驾驶员通知正在三维空间内识别在本车辆M的周围存在的其他车辆的存在。
[硬件结构]
图10是表示第一实施方式的识别装置100的硬件结构的一例的图。如图所示，识别装置100成为通信控制器100-1、CPU100-2、作为工作存储器使用的RAM(Random AccessMemory)100-3、保存引导程序等的ROM(Read Only Memory)100-4、闪存器、HDD等存储装置100-5、驱动装置100-6等通过内部总线或者专用通信线相互连接而得到的结构。通信控制器100-1进行与识别装置100以外的构成要素之间的通信。存储装置100-5保存有CPU100-2执行的程序100-5a。该程序通过DMA(Direct Memory Access)控制器(未图示)等向RAM100-3展开，并由CPU100-2执行。由此，实现识别装置100，更具体而言，实现整体区域设定部110、基准区域设定部130、物体目标区域设定部150中的一部分或全部。
第二实施方式的自动驾驶控制装置200的硬件结构与图10所示的第一实施方式的识别装置100的硬件结构同样。因此，省略与第二实施方式的自动驾驶控制装置200的硬件结构相关的详细的说明。
上述说明的实施方式能够如以下这样表现。
一种识别装置，其构成为具备：
硬件处理器；以及
存储有程序的存储装置，
所述硬件处理器通过读出存储于所述存储装置的程序来执行如下处理：
识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；
设定与构成所述物体目标的面中的基准面一致的第二区域；以及
基于所述第一区域及所述第二区域，来设定以规定形状表示出所述物体目标的区域的第三区域。
以上使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (8)

1.一种识别装置，其中，
所述识别装置具备：
第一区域设定部，其识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；
第二区域设定部，其设定与构成所述物体目标的面中的基准面一致的第二区域；以及
第三区域设定部，其基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
2.根据权利要求1所述的识别装置，其中，
所述物体目标是在所述车辆的周围存在的其他车辆，
所述基准面是所述其他车辆的前表面或后表面。
3.根据权利要求1所述的识别装置，其中，
所述第一区域设定部通过对以当输入所述二维图像时输出所述第一区域的方式进行了学习的第一学习完毕模型输入所述二维图像，来获得并设定所述第一区域，
所述第二区域设定部通过对以当输入所述第一区域的图像时输出所述第二区域的方式进行了学习的第二学习完毕模型输入所述第一区域的图像，来获得并设定所述第二区域。
4.根据权利要求1至3中任一项所述的识别装置，其中，
所述第三区域设定部通过在所述第一区域内的与所述第二区域对角的位置设定与所述第二区域相同尺寸或考虑远近法而缩小了的尺寸的第四区域，并将所述第二区域和所述第四区域各自的对应的角部的点以直线连结，来设定表现出立体形状的所述第三区域。
5.根据权利要求4所述的识别装置，其中，
所述物体目标是在所述车辆的周围存在的其他车辆，
所述识别装置还具备第一推定部，该第一推定部基于所述第三区域中的将所述第二区域和所述第四区域各自的对应的角部的点连结而得到的直线，来推定所述其他车辆的移动方向。
6.根据权利要求4所述的识别装置，其中，
所述物体目标是在所述车辆的周围存在的其他车辆，
所述识别装置还具备第二推定部，该第二推定部基于所述第三区域中的将所述第二区域和所述第四区域各自的对应的角部的点连结而得到的直线，来推定所述其他车辆的长度方向的长度。
7.一种识别方法，其中，
所述识别方法使计算机进行如下处理：
识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；
设定与构成所述物体目标的面中的基准面一致的第二区域；以及
基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
8.一种存储介质，其是存储有程序且能够由计算机读取的非暂时性的存储介质，其中，
所述程序使计算机进行如下处理：
识别映入由对车辆的周围进行拍摄的摄像装置拍摄到的二维图像中的物体目标，并在所述二维图像内设定包含所述识别到的所述物体目标在内的第一区域；
设定与构成所述物体目标的面中的基准面一致的第二区域；以及
基于所述第一区域及所述第二区域，来设定以规定形状对所述物体目标的区域进行表示的第三区域。
CN202010950347.8A 2019-10-03 2020-09-10 识别装置、识别方法及存储介质 Pending CN112613335A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-182949 2019-10-03
JP2019182949A JP7139300B2 (ja) 2019-10-03 2019-10-03 認識装置、認識方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN112613335A true CN112613335A (zh) 2021-04-06

Family

ID=75224283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950347.8A Pending CN112613335A (zh) 2019-10-03 2020-09-10 识别装置、识别方法及存储介质

Country Status (3)

Country Link
US (1) US20210103752A1 (zh)
JP (1) JP7139300B2 (zh)
CN (1) CN112613335A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004005A1 (ja) * 2022-06-28 2024-01-04 日立Astemo株式会社 外界認識装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184963A2 (en) * 2017-04-04 2018-10-11 Robert Bosch Gmbh Direct vehicle detection as 3d bounding boxes using neural network image processing
JP2019067402A (ja) * 2017-10-03 2019-04-25 株式会社ストラドビジョン 回帰分析により２ｄバウンディングボックスからスード（ｐｓｅｕｄｏ）−３ｄボックスを獲得する方法及びこれを利用した学習装置及びテスト装置
US20190147600A1 (en) * 2017-11-16 2019-05-16 Zoox, Inc. Pose determination from contact points
CN109791738A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250250A (ja) * 1998-02-27 1999-09-17 Fujitsu Ltd 三次元形状抽出装置及び記録媒体
US10586456B2 (en) * 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
US10937178B1 (en) * 2019-05-09 2021-03-02 Zoox, Inc. Image-based depth data and bounding boxes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791738A (zh) * 2016-10-07 2019-05-21 爱信艾达株式会社 行驶辅助装置以及计算机程序
WO2018184963A2 (en) * 2017-04-04 2018-10-11 Robert Bosch Gmbh Direct vehicle detection as 3d bounding boxes using neural network image processing
JP2019067402A (ja) * 2017-10-03 2019-04-25 株式会社ストラドビジョン 回帰分析により２ｄバウンディングボックスからスード（ｐｓｅｕｄｏ）−３ｄボックスを獲得する方法及びこれを利用した学習装置及びテスト装置
US20190147600A1 (en) * 2017-11-16 2019-05-16 Zoox, Inc. Pose determination from contact points
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム

Also Published As

Publication number Publication date
US20210103752A1 (en) 2021-04-08
JP7139300B2 (ja) 2022-09-20
JP2021060661A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
JP6601696B2 (ja) 予測装置、予測方法、およびプログラム
JP6859239B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US11008002B2 (en) Vehicle control device, vehicle control method, and program for collision avoidance
CN111201170A (zh) 车辆控制装置、车辆控制方法及程序
US20200290624A1 (en) Vehicle control device, vehicle control method, and storage medium
CN112677966A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7406432B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
CN115140086A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7225185B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN112677967B (zh) 车辆控制装置、车辆控制方法及存储介质
CN113525378A (zh) 车辆控制装置、车辆控制方法及存储介质
CN112613335A (zh) 识别装置、识别方法及存储介质
JP7028838B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
JP7141421B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN114506316A (zh) 车辆控制装置、车辆控制方法以及存储介质
CN114954511A (zh) 车辆控制装置、车辆控制方法以及存储介质
JP7166988B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022154840A (ja) 検出装置、車両システム、検出方法、およびプログラム
CN113899307A (zh) 处理装置、处理方法及存储介质
JP2022142863A (ja) 移動体制御装置、移動体制御方法、およびプログラム
CN112550263A (zh) 信息处理装置、车辆系统、信息处理方法及存储介质
JP7250833B2 (ja) 物体認識装置、物体認識方法、およびプログラム
JP7345515B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN111717201B (zh) 车辆系统、车辆系统的控制方法及存储介质
JP2021154886A (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination