CN111656396B - 落下物检测装置、车载系统、车辆及计算机可读取的记录介质 - Google Patents

落下物检测装置、车载系统、车辆及计算机可读取的记录介质 Download PDF

Info

Publication number
CN111656396B
CN111656396B CN201880087797.XA CN201880087797A CN111656396B CN 111656396 B CN111656396 B CN 111656396B CN 201880087797 A CN201880087797 A CN 201880087797A CN 111656396 B CN111656396 B CN 111656396B
Authority
CN
China
Prior art keywords
vehicle
cargo
distance
detection device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087797.XA
Other languages
English (en)
Other versions
CN111656396A (zh
Inventor
长谷川雄史
村山修
虻川雅浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111656396A publication Critical patent/CN111656396A/zh
Application granted granted Critical
Publication of CN111656396B publication Critical patent/CN111656396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供落下物检测装置、车载系统、车辆及计算机可读取的记录介质。搭载于第1车辆而使用的落下物检测装置(11)的取得部(41)取得载置货物并在第1车辆的前方行驶的第2车辆及第2车辆的周边的深度图像。落下物检测装置(11)的判定部(42)使用由取得部(41)取得的深度图像，判定货物是否未进行与第2车辆不同的运动。落下物检测装置(11)的检测部(43)基于判定部(42)的判定的结果，检测货物的落下。

Description

落下物检测装置、车载系统、车辆及计算机可读取的记录介质
技术领域
本发明涉及落下物检测装置、车载系统、车辆及落下物检测程序。
背景技术
在专利文献1中公开了如下的技术：在具备毫米波传感器和照相机的带ACC功能的车辆通过照相机检测到位于该车辆与成为ACC目标的前方车辆之间的货物等静止物的情况下，停止或抑制基于ACC功能的追踪行驶。“ACC”是Adaptive Cruise Control(自适应巡航控制)的简称。
现有技术文献
专利文献
专利文献1：日本特开2016-011061号公报
非专利文献
非专利文献1：Castorena，J.；Kamilov，U.；Boufounos，P.T.，“Autocalibrationof LIDAR and Optical Cameras via Edge Alignment”，Mitsubishi Electric ResearchLaboratories，TR2016-009，March 2016
非专利文献2：实吉敬二，“ステレオカメラによる自動車運転支援システム”，信息处理学会研究报告，Vol.2013-CVIM-185 No.20，2013年1月23日
非专利文献3：Gunnar Farneback，“Two-Frame Motion Estimation Based onPolynomial Expansion”，Computer Vision Laboratory，Linkoping University，2003
发明内容
发明要解决的问题
在现有技术中，只能检测落下后的货物。即，无法即时地检测货物的落下。因此，当到前方车辆为止的车间距离较短时，来不及躲开行驶，带ACC功能的车辆与货物碰撞的可能性较高。
本发明的目的在于，即时地检测货物从前方车辆的落下。
用于解决问题的手段
本发明的一方案的落下物检测装置搭载于第1车辆而使用，其中，所述落下物检测装置具备：取得部，其取得载置货物并在所述第1车辆的前方行驶的第2车辆及所述第2车辆的周边的深度图像；判定部，其使用由所述取得部取得的深度图像，判定所述货物是否未进行与所述第2车辆不同的运动；以及检测部，其基于所述判定部的判定的结果，检测所述货物的落下。
发明的效果
在本发明中，使用前方车辆及前方车辆的周边的深度图像来判定前方车辆的货物是否未进行与前方车辆不同的运动，基于判定的结果，检测货物的落下。因此，能够即时地检测货物从前方车辆的落下。
附图说明
图1是示出具备实施方式1的落下物检测装置的车载系统的结构的框图。
图2是示出实施方式1的落下物检测装置的动作的流程图。
图3是示出实施方式1的深度图像的例子的图。
图4是示出实施方式1的深度传感器与距离传感器的距离计测结果的图。
图5是示出具备实施方式1的变形例的落下物检测装置的车载系统的结构的框图。
图6是示出具备实施方式2的落下物检测装置的车载系统的结构的框图。
图7是示出实施方式2的落下物检测装置的动作的流程图。
图8是示出实施方式2的深度图像的图像区域的例子的图。
图9是示出具备实施方式2的变形例的落下物检测装置的车载系统的结构的框图。
图10是示出具备实施方式3的落下物检测装置的车载系统的结构的框图。
图11是示出实施方式3的落下物检测装置的动作的流程图。
图12是示出实施方式3的照相机图像及移动向量的例子的图。
图13是示出实施方式3的照相机图像及移动向量的例子的图。
图14是示出实施方式3的照相机图像及移动向量的例子的图。
图15是示出实施方式3的照相机图像及移动向量的例子的图。
图16是示出具备实施方式3的变形例的落下物检测装置的车载系统的结构的框图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。各图中，针对相同或相当的部分标注相同的标号。在实施方式的说明中，针对相同或相当的部分适当省略或简化说明。另外，本发明不限于以下说明的实施方式，能够根据需要进行各种变更。例如，也可以将以下说明的实施方式中的2个以上的实施方式组合来实施。或者，也可以部分地实施以下说明的实施方式中的1个实施方式或2个以上的实施方式的组合。
实施方式1.
使用图1至图4对本实施方式进行说明。
＊＊＊结构的说明＊＊＊
参照图1来说明具备本实施方式的落下物检测装置11的车载系统10的结构。
车载系统10具备落下物检测装置11、传感器器件21以及车辆控制单元31。
落下物检测装置11是计算机。在本实施方式中，落下物检测装置11是通常的计算机，但也可以是嵌入式设备，还可以是ECU。“ECU”是Electronic Control Unit(电子控制装置)的简称。
落下物检测装置11具备处理器13，并且具备传感器IO 12、存储器14及ROM 15这样的其他硬件。“IO”是Input/Output的简称。处理器13经由信号线而与其他硬件连接，对这些其他硬件进行控制。
落下物检测装置11具备取得部41、判定部42、检测部43以及计测部44作为功能要素。取得部41、判定部42、检测部43及计测部44的功能通过软件而实现。
处理器13是执行落下物检测程序的装置。落下物检测程序是实现取得部41、判定部42、检测部43及计测部44的功能的程序。在本实施方式中，处理器13是CPU，但也可以是GPU，还可以是CPU与GPU的组合。“CPU”是Central Processing Unit(中央处理器)的简称。“GPU”是Graphics Processing Unit(图形处理器)的简称。
存储器14及ROM 15是存储落下物检测程序的装置。“ROM”是Read Only Memory(只读存储器)的简称。存储器14例如是RAM、闪存或者它们的组合。“RAM”是Random AccessMemory(随机存取存储器)的简称。
落下物检测装置11还可以具备通信器件、输入设备及显示器作为硬件。
通信器件包括接收向落下物检测程序输入的数据的接收器、以及发送从落下物检测程序输出的数据的发送器。通信器件例如是通信芯片或NIC。“NIC”是Network InterfaceCard(网络接口卡)的简称。
输入设备是为了向落下物检测程序输入数据而由用户操作的设备。输入设备例如是触摸面板。
显示器是将从落下物检测程序输出的数据显示于画面的设备。显示器例如是LCD。“LCD”是Liquid Crystal Display(液晶显示器)的简称。
落下物检测程序被从ROM 15加载到存储器14中，从存储器14被读入到处理器13中，通过处理器13来执行。
落下物检测装置11也可以具备代替处理器13的多个处理器。这些多个处理器分担落下物检测程序的执行。各个处理器例如是CPU、GPU、DSP或者它们中的若干、或者全部的组合。
由落下物检测程序利用、处理或输出的数据、信息、信号值及变量值被存储于存储器14、或者处理器13内的寄存器或高速缓冲存储器。
落下物检测程序是将由取得部41、判定部42、检测部43及计测部44进行的处理分别作为取得处理、判定处理、检测处理及计测处理而使计算机执行的程序。落下物检测程序可以记录于计算机可读取的介质来提供，也可以存放于记录介质来提供，还可以作为程序产品来提供。
落下物检测装置11可以由1台计算机构成，也可以由多台计算机构成。在落下物检测装置11由多台计算机构成的情况下，也可以将取得部41、判定部42、检测部43及计测部44的功能分散于各计算机来实现。
作为传感器器件21，至少具备深度传感器22及距离传感器23。深度传感器22例如是立体照相机、或者单眼照相机与LiDAR传感器的组合。“LiDAR”是Light Detection andRanging(光探测和测距)的简称。在本实施方式中，距离传感器23是毫米波传感器，但也可以是其他种类的雷达传感器。作为传感器器件21，还可以具备照相机及声纳这样的其他车载器件。
车辆控制单元31具备车辆控制总线接口32、传感器ECU33以及车辆ECU34。
车辆控制总线接口32是落下物检测装置11与传感器ECU33及车辆ECU34之间的通信用的接口。
传感器ECU33是对从传感器器件21得到的数据进行处理的ECU。
车辆ECU34是控制车辆的ECU。
＊＊＊动作的说明＊＊＊
除了图1之外，还参照图2至图4，对本实施方式的落下物检测装置11的动作进行说明。落下物检测装置11的动作相当于本实施方式的落下物检测方法。
落下物检测装置11搭载于第1车辆51而使用。第1车辆51是自动驾驶车辆。具备落下物检测装置11的车载系统10是搭载于第1车辆51的系统。车载系统10的车辆控制单元31控制第1车辆51的驾驶。
落下物检测装置11经由传感器IO 12而与作为车载传感器的传感器器件21连接。由此，将由传感器器件21计测到的第1车辆51的前方的感测数据向落下物检测装置11输入。
落下物检测装置11根据第1车辆51的深度传感器22的感测数据而计算深度图像61，对深度图像61与其他传感器信息进行比较，将第2车辆52与货物53分离，由此，即时地检测从第2车辆52落下的货物53。第2车辆52是载置货物53并在第1车辆51的前方行驶的车辆，即前方车辆。
落下物检测装置11经由车辆控制总线接口32而与车辆控制单元31连接。由此，将由落下物检测装置11检测到的落下物的位置信息及移动信息向车辆控制单元31输出。
在本实施方式中，落下物检测装置11参照深度图像61的变化和作为毫米波传感器的距离传感器23的距离信息来判别第2车辆52与货物53的分离。由此，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中或可能落下的货物53，使得第1车辆51躲开该落下物。
车辆控制单元31在由落下物检测装置11检测到货物53从在第1车辆51的前方行驶中的第2车辆52落下的情况下，进行第1车辆51的制动控制，躲开与落下的货物53的碰撞。车辆控制单元31不仅可以进行第1车辆51的制动控制，也可以通过进行车道变更来躲开与货物53的碰撞。
对落下物检测装置11的动作详细进行说明。
在图2的步骤S101中，取得部41取得第2车辆52及第2车辆52的周边的深度图像61。
在图2的步骤S102至步骤S106中，判定部42使用由取得部41取得的深度图像61，判定货物53是否未进行与第2车辆52不同的运动。具体而言，在步骤S102及步骤S103中，判定部42参照深度图像61，计算到除了道路之外的最近的物体为止的距离。在步骤S104中，计测部44使用距离传感器23，计测到第2车辆52为止的距离。在本实施方式中，计测部44将毫米波传感器用作距离传感器23，计测到第2车辆52为止的距离。在步骤S105及步骤S106中，判定部42比较计算出的距离与由计测部44计测出的距离，在距离之差超过阈值的情况下，判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
在图2的步骤S107及步骤S108中，检测部43基于判定部42的判定结果，检测货物53的落下。
对落下物检测装置11的动作进一步具体地进行说明。
在步骤S101中，取得部41使用传感器器件21中的深度传感器22，计算第1车辆51的前方的深度图像61。
在深度图像61的计算中使用的深度传感器22为立体照相机的情况下，取得部41对一方的照相机的摄影图像与另一方的照相机的摄影图像进行比较，搜索摄影图像内的具有同一特征的点，通过参照特征点彼此的位置偏移来计算特征点的距离信息，即深度值。取得部41通过对摄影图像的各像素计算深度值而生成深度图像61。
在深度图像61的计算中使用的深度传感器22为单眼照相机与LiDAR传感器的组合的情况下，取得部41将由LiDAR传感器计测出的3D点云信息作为基准，根据单眼照相机与LiDAR传感器的融合结果来计算深度图像61。由于LiDAR传感器的3D点云信息的计测分辨率较低，因此，取得部41参照在单眼照相机的摄影图像内显现的物体的边界区域信息，即边缘信息，对3D点云信息进行插值。取得部41根据通过插值而提高了计测分辨率的3D点云信息来计算深度图像61。作为具体的方法，能够使用非专利文献1中记载的方法。
深度传感器22也可以是计测分辨率高的Flash LiDAR。
在步骤S102中，判定部42参照在步骤S101中计算出的深度图像61，将立体物的图像区域与路面的图像区域分离而检测立体物。
在步骤S103中，判定部42计测到步骤S102中检测到的立体物中的与第1车辆51距离最近的立体物为止的距离。
图3示出深度图像61的例子。在该例中，使深度图像61的各像素的颜色与距离相应地变化而显示。为了方便，以阴影线示出颜色。在深度图像61的下部，计测从第1车辆51到处于近距离的路面为止的距离，因此，像素的颜色成为表示近距离的颜色。伴随着向图像上部移动，从第1车辆51到路面为止的距离变远，因此，像素的颜色也伴随着向上部移动而变化为表示远距离的颜色。在深度图像61中，表示第2车辆52的图像区域内的各像素的距离大致相等，因此，颜色也相同。另外，无法计测距离的像素以黑色显示。
图3的上图示出第2车辆52与货物53的分离前的深度图像61。在分离前，第2车辆52与货物53的距离大致相等，因此，像素的颜色也大致相等。图3的下图示出第2车辆52与货物53的分离后的深度图像61。在分离后，第2车辆52与货物53的距离不同，因此，与货物53的摄影区域对应的像素的颜色不同于第2车辆52的像素的颜色。
在表示第2车辆52的图像区域的检测处理中，根据深度图像61来检测立体物，将立体物与路面的图像区域分离，将立体物的图像区域判断为第2车辆52的图像区域。另外，如果立体物的图像区域尺寸较小且与车辆尺寸不同，则也可以判定为不是第2车辆52。
在本实施方式中，在判定为立体物的图像区域中与第1车辆51最近的像素的距离作为深度图像61的距离被处理。当第2车辆52与货物53分离时，货物53与第1车辆51最近，因此，深度图像61的距离表示到货物53为止的距离。作为根据深度图像61检测的立体物检测方法，能够使用非专利文献2中记载的方法。
在步骤S104中，计测部44使用传感器器件21中的毫米波传感器，计算到处于第1车辆51的前方的第2车辆52为止的距离。
毫米波传感器输出波长较短的电磁波即毫米波，接收碰撞到第2车辆52等物体而反射的电磁波，由此，计测到物体为止的距离。毫米波在包含金属的物体上强烈反射。因此，毫米波传感器检测第2车辆52，但不检测纸壳箱等不包含金属的物体。即便货物53突然从第2车辆52落下，如果货物53是纸壳箱等不包含金属的物体，则毫米波传感器不检测货物53，而计测到处于货物53前方的第2车辆52为止的距离。
在步骤S105中，判定部42开始第2车辆52与货物53的分离判别处理，比较在步骤S103中计测出的深度图像61的距离与在步骤S104中计测出的毫米波传感器的距离。
深度图像61的距离是从第1车辆51到最近的物体为止的距离，与此相对，毫米波传感器的距离是到包含金属的第2车辆52为止的距离。实际上也存在毫米波传感器的追踪处理的影响，当在货物53落下前检测到第2车辆52时，在货物53的落下后也参照之前的检测结果而持续检测第2车辆52的可能性高。由此，如图4所示，当第2车辆52与货物53未分离时，深度图像61的距离与毫米波传感器的距离相等，但当第2车辆52与货物53分离了时，深度图像61的距离与毫米波传感器的距离产生差。
在步骤S106中，如果在步骤S105中比较的2个距离之差为任意的阈值ΔZ以上，则判定部42判定为第2车辆52与货物53分离，进入步骤S107。如果距离差比阈值小，则判定部42判定为第2车辆52与货物53未分离，进入步骤S101。
阈值ΔZ为任意的值，但期望根据传感器的距离计测精度来设定，作为一例，能够设定为0.5m左右。
在步骤S107中，检测部43接受步骤S106的分离判别结果，计算成为落下物的货物53的位置及速度。根据在步骤S101中取得的深度图像61和在步骤S103中计测出的到立体物为止的距离，来计算货物53的位置。根据步骤S103的距离，能够计算Z轴方向的位置，根据步骤S101的深度图像61和距离信息，能够计算X轴方向及Y轴方向的位置。X轴方向相当于车辆横向方向，Y轴方向相当于车辆高度方向，Z轴方向相当于车辆行进方向。根据货物53的位置的时间序列信息和第1车辆51的速度，来计算货物53的速度。
在步骤S108中，检测部43将在步骤S107中计算出的成为落下物的货物53的位置及速度的信息向车辆ECU34发送。
车辆ECU34参照在步骤S108中发送的落下物的位置及速度的信息，对第1车辆51的速度进行减速、或者进行车道变更等基于转向的行进方向的变更，以躲开与该落下物的碰撞。另外，该车辆ECU34的功能也可以作为控制部的功能而通过落下物检测程序来实现。即，落下物检测装置11还可以具备控制部，该控制部根据由检测部43计算出的货物53的位置及速度，对第1车辆51的移动进行控制。
根据以上的动作，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中的货物53，能够躲开与落下物的碰撞。
另外，在步骤S107及步骤S108中，检测部43不仅可以计算货物53的位置及速度，还可以根据深度图像61来计算货物53的尺寸及移动方向，将货物53的位置、尺寸、移动速度及移动方向的信息向车辆ECU34发送。
检测部43也可以在向车辆ECU34发送信息时，判定信息的准确度，与信息一起发送准确度判定的结果。
＊＊＊实施方式的效果的说明＊＊＊
在本实施方式中，使用前方车辆及前方车辆的周边的深度图像61来判定前方车辆的货物53是否未进行与前方车辆不同的运动，基于判定而得到的结果，来检测货物53的落下。因此，能够即时地检测货物53从前方车辆的落下。
在本实施方式中，检测落下中或可能落下的货物53而即时地检测货物的落下，由此，即便在第1车辆51与第2车辆52的车间距离较短的情况下，也能够躲开从第2车辆52落下的货物53而进行行驶。另外，在检测到落下的可能性高的货物53的情况下，也能够通过降低第1车辆51的车速而增大与第2车辆52的车间距离。
在本实施方式中，判定部42使用毫米波传感器的反射强度的特征来判别第2车辆52与货物53的分离。由于毫米波传感器对金属类有强烈反应，因此，即便纸壳箱等非金属的货物53从第2车辆52落下，毫米波传感器也对货物53不作出反应而检测第2车辆52。因此，计测部44输出到第2车辆52为止的距离。另一方面，由于立体照相机等深度传感器22检测从第2车辆52落下的货物53，因此，输出到货物53为止的距离。通过对2种传感器的距离进行比较，能够进行第2车辆52与货物53的分离判别。
在本实施方式中，检测部43通过参照判定部42的分离判别结果，即便在货物53因落下后的冲击而移动的状态下，也能够判定货物53的落下。
根据本实施方式，能够提供如下的自动驾驶车辆：通过即时地检测从前方车辆落下中的货物53或者落下的可能性高的货物53，即便货物53突然从前方车辆落下，也能够躲开与货物53的碰撞。
＊＊＊其他结构＊＊＊
在本实施方式中，取得部41、判定部42、检测部43及计测部44的功能通过软件而实现，但作为变形例，取得部41、判定部42、检测部43及计测部44的功能也可以通过硬件而实现。针对该变形例，主要说明与本实施方式的差异。
参照图5，对具备本实施方式的变形例的落下物检测装置11的车载系统10的结构进行说明。
在该例中，落下物检测装置11具备电子电路16及传感器IO 12这样的硬件。
电子电路16是实现取得部41、判定部42、检测部43及计测部44的功能的专用硬件。电子电路16例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、FPGA、ASIC、或它们中的若干、或者全部的组合。“IC”是Integrated Circuit(集成电路)的简称。“GA”是Gate Array(门阵列)的简称。“FPGA”是Field-Programmable Gate Array(现场可编程门阵列)的简称。“ASIC”是Application Specific Integrated Circuit(专用集成电路)的简称。
落下物检测装置11也可以具备代替电子电路16的多个电子电路。这些多个电子电路整体上实现取得部41、判定部42、检测部43及计测部44的功能。各个电子电路例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、FPGA、ASIC、或它们中的若干、或者全部的组合。
作为另一变形例，取得部41、判定部42、检测部43及计测部44的功能也可以通过软件与硬件的组合来实现。即，也可以是，取得部41、判定部42、检测部43及计测部44的功能的一部分通过专用的硬件来实现，剩余部分通过软件来实现。
处理器13及电子电路16均是处理电路。即，无论落下物检测装置11的结构是在图1和图5中的哪个图中示出的结构，都通过处理电路来进行取得部41、判定部42、检测部43及计测部44的动作。
实施方式2.
针对本实施方式，使用图6至图8，主要说明与实施方式1的差异。
＊＊＊结构的说明＊＊＊
参照图6，对具备本实施方式的落下物检测装置11的车载系统10的结构进行说明。
在本实施方式中，落下物检测装置11具备取得部41、判定部42以及检测部43作为功能要素。判定部42具备计算部45。取得部41、判定部42及检测部43的功能通过软件来实现。
在本实施方式中，落下物检测程序是将由取得部41、判定部42及检测部43进行的处理分别作为取得处理、判定处理及检测处理而使计算机执行的程序。即，落下物检测程序是实现取得部41、判定部42及检测部43的功能的程序。与实施方式1相同，落下物检测程序被从ROM 15加载到存储器14中，从存储器14被读入到处理器13中，通过处理器13来执行。
在本实施方式中，作为传感器器件21，至少具备深度传感器22。
＊＊＊动作的说明＊＊＊
除了图6之外，还参照图7及图8对本实施方式的落下物检测装置11的动作进行说明。落下物检测装置11的动作相当于本实施方式的落下物检测方法。
在本实施方式中，落下物检测装置11参照深度图像61变化的图像区域的大小来判别第2车辆52与货物53的分离。由此，与实施方式1同样，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中或可能落下的货物53，使得第1车辆51躲开该落下物。
对落下物检测装置11的动作详细进行说明。
在图7的步骤S201中，取得部41取得第2车辆52及第2车辆52的周边的深度图像61。
在图7的步骤S202至步骤S206中，判定部42使用由取得部41取得的深度图像61，判定货物53是否未进行与第2车辆52不同的运动。具体而言，在步骤S202至步骤S204中，判定部42计算在由取得部41取得的多个时间点的深度图像61之间深度值发生了变化的图像区域。在步骤S205及步骤S206中，判定部42在计算出的图像区域的大小与相当于第2车辆52的大小不同的情况下，判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
在图7的步骤S207及步骤S208中，检测部43基于判定部42的判定结果，检测货物53的落下。
另外，如果能够判别第2车辆52的图像区域与货物53的图像区域，则在步骤S202至步骤S204中，判定部42也可以比较由取得部41取得的多个时间点的深度图像61中的第2车辆52的图像区域之间的深度值的变化量与货物53的图像区域之间的深度值的变化量。在步骤S205及步骤S206中，判定部42在变化量之差超过阈值的情况下，也可以判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
另外，也可以是，判定部42在变化量之差低于阈值的情况下，也根据变化量之差，判定为货物53未固定。在步骤S207及步骤S208中，检测部43在由判定部42判定为货物53未固定的情况下，也可以进行隔开第1车辆51与第2车辆52之间的距离的控制。
对落下物检测装置11的动作进一步具体地进行说明。
针对步骤S201的处理，与实施方式1中的步骤S101的处理相同，因此，省略具体的说明。
针对步骤S202的处理，与实施方式1中的步骤S102的处理相同，因此，省略具体的说明。
在步骤S203中，判定部42从深度图像61切出在步骤S202中检测到的立体物的图像区域。
在步骤S204中，判定部42具备的计算部45针对在步骤S203中切出的图像区域，计算深度值按照时间序列而变化的图像区域。
在步骤S205中，判定部42开始进行第2车辆52与货物53的分离判别处理，参照在步骤S204中计算出的深度值发生变化的图像区域和深度值的距离信息，计算在图像区域中显现的实际的物体的尺寸。在实际的物体的尺寸计算中，根据距离信息来计算Z轴方向的位置，根据深度图像61和距离信息来计算X轴方向及Y轴方向的位置，根据它们的位置来求出与图像区域对应的实际的物体的尺寸。如前所述，X轴方向相当于车辆横向方向，Y轴方向相当于车辆高度方向，Z轴方向相当于车辆行进方向。
在步骤S206中，如果在步骤S205中计算出的尺寸为相当于车辆尺寸的阈值以下，则判定部42推测为由于货物53落下而引起深度值变化，判定为第2车辆52与货物53分离，进入步骤S207。如果在步骤S205中计算出的尺寸比相当于车辆尺寸的阈值大，则判定部42仅看作是由于第1车辆51与第2车辆52的车间距离变化而引起深度值变化，判定为第2车辆52与货物53未分离，返回步骤S201。
图8示出深度图像61的图像区域的例子。在该例中，与图3同样，使深度图像61的各像素的颜色与距离相应地变化而显示。为了方便，以阴影线示出颜色。
图8的上图示出深度图像61。图8的下图示出从上图的深度图像61切出的立体物的图像区域。如果第1车辆51与第2车辆52的车间距离变化，则第2车辆52的图像区域的深度值变化。如果第1车辆51与货物53的距离变化，则货物53的图像区域的深度值变化。因此，能够参照深度值发生变化的图像区域的尺寸，来判定第2车辆52与货物53的分离。
另外，判定部42代替切出立体物的图像区域之后参照深度值的变化来进行第2车辆52与货物53的分离判别，也可以在不切出立体物的图像区域的情况下参照相对于深度图像61的整体而言的深度值的变化，来进行第2车辆52与货物53的分离判别。
针对步骤S207的处理，与实施方式1中的步骤S107的处理相同，因此，省略具体的说明。
针对步骤S208的处理，与实施方式1中的步骤S108的处理相同，因此，省略具体的说明。
根据以上的动作，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中的货物53，能够躲开与落下物的碰撞。
在本实施方式中，判定部42仅根据深度值变化的图像区域的尺寸来判定第2车辆52与货物53的分离，因此，不需要预先区分第2车辆52与货物53的图像区域。
另外，判定部42也可以参照深度图像61，预先区分第2车辆52与货物53的图像区域。也可以是，如果第2车辆52的图像区域与货物53的图像区域的深度值的变化量等同，则判定部42判定为第2车辆52与货物53未分离，如果深度值的变化量的差为任意的阈值以上，则判定部42判定为第2车辆52与货物53分离。
也可以是，即便深度值的变化量的差小于任意的阈值，如果深度值的变化量不同的状态持续，则判定部42也推测为货物53未固定在第2车辆52上，判定为货物53落下的可能性高。在落下的可能性高的情况下，检测部43也可以经由车辆ECU34来控制第1车辆51，使得隔开与第2车辆52的车间距离。
＊＊＊实施方式的效果的说明＊＊＊
在本实施方式中，与实施方式1同样，使用前方车辆及前方车辆的周边的深度图像61来判定前方车辆的货物53是否未进行与前方车辆不同的运动，基于判定而得到的结果，检测货物53的落下。因此，能够即时地检测货物53从前方车辆的落下。
在本实施方式中，与实施方式1不同，不需要毫米波传感器等距离传感器。
＊＊＊其他结构＊＊＊
在本实施方式中，取得部41、判定部42及检测部43的功能通过软件来实现，但作为变形例，取得部41、判定部42及检测部43的功能也可以通过硬件来实现。针对该变形例，主要说明与本实施方式的差异。
参照图9，对具备本实施方式的变形例的落下物检测装置11的车载系统10的结构进行说明。
在该例中，落下物检测装置11具备电子电路16及传感器IO 12这样的硬件。
电子电路16是实现取得部41、判定部42及检测部43的功能的专用的硬件。电子电路16例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、FPGA、ASIC、或它们中的若干、或者全部的组合。
作为另一变形例，取得部41、判定部42及检测部43的功能也可以通过软件与硬件的组合来实现。即，也可以是，取得部41、判定部42及检测部43的功能的一部分通过专用的硬件来实现，剩余部分通过软件来实现。
处理器13及电子电路16均是处理电路。即，无论落下物检测装置11的结构是在图6和图9中的哪个图示出的结构，都通过处理电路来进行取得部41、判定部42及检测部43的动作。
实施方式3.
针对本实施方式，使用图10至图15，主要说明与实施方式1的差异。
＊＊＊结构的说明＊＊＊
参照图10，对具备本实施方式的落下物检测装置11的车载系统10的结构进行说明。
在本实施方式中，落下物检测装置11具备取得部41、判定部42、检测部43以及计算部46作为功能要素。取得部41、判定部42、检测部43及计算部46的功能通过软件来实现。
在本实施方式中，落下物检测程序是将由取得部41、判定部42、检测部43及计算部46进行的处理分别作为取得处理、判定处理、检测处理及计算处理而使计算机执行的程序。即，落下物检测程序是实现取得部41、判定部42、检测部43及计算部46的功能的程序。与实施方式1相同，落下物检测程序被从ROM 15加载到存储器14，从存储器14被读入到处理器13中，通过处理器13来执行。
在本实施方式中，作为传感器器件21，至少具备深度传感器22及照相机24。
＊＊＊动作的说明＊＊＊
除了图10之外，还参照图11至图15对本实施方式的落下物检测装置11的动作进行说明。落下物检测装置11的动作相当于本实施方式的落下物检测方法。
在本实施方式中，落下物检测装置11参照深度图像61的变化和光流来判别第2车辆52与货物53的分离。由此，与实施方式1同样，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中或可能落下的货物53，使得第1车辆51躲开该落下物。
对落下物检测装置11的动作详细进行说明。
在图11的步骤S301中，取得部41取得第2车辆52及第2车辆52的周边的深度图像61。
在图11的步骤S302至步骤S306中，判定部42使用由取得部41取得的深度图像61，判定货物53是否未进行与第2车辆52不同的运动。具体而言，在步骤S304中，计算部46计算移动向量，该移动向量表示拍摄第2车辆52及第2车辆52的周边而得到的多个时间点的照相机图像之间的物体的运动。在步骤S302、步骤S303、步骤S305及步骤S306中，判定部42参照由取得部41取得的多个时间点的深度图像61，判定到第2车辆52为止的距离是否变长。判定部42在距离变长的情况下，如果由计算部46计算出的移动向量为朝下的向量，则判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
在图11的步骤S307及步骤S308中，检测部43基于判定部42的判定结果，检测货物53的落下。
另外，在步骤S306中，即便在到第2车辆52为止的距离变短的情况下，如果由计算部46计算出的移动向量为朝下的向量且向量的大小超过阈值，则判定部42可以判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
此外，在步骤S306中，即便在到第2车辆52为止的距离变短的情况下，如果由计算部46计算出的移动向量为朝上的向量，则判定部42也可以判定为货物53进行了从第2车辆52分离的运动，作为“与第2车辆52不同的运动”。
对落下物检测装置11的动作进一步具体地进行说明。
针对步骤S301的处理，与实施方式1中的步骤S101的处理相同，因此，省略具体的说明。
针对步骤S302的处理，与实施方式1中的步骤S102的处理相同，因此，省略具体的说明。
在步骤S303中，判定部42从深度图像61切出在步骤S302中检测到的立体物的图像区域。
在步骤S304中，计算部46使用传感器器件21中的照相机24，拍摄第1车辆51的前方的二维图像，根据得到的照相机图像的时间序列数据来计算移动向量。即，计算部46根据由照相机24拍摄到的图像来计算表示图像的时间序列变化的移动向量。移动向量也被称为光流。
作为移动向量的计算方法，可以使用计算稀疏光流的方法，也可以使用计算紧密光流的方法。在计算稀疏光流的方法中，根据照相机图像来检测特征点，计算特征点在时间序列的照相机图像内移动的移动方向和移动量。特征点是指在周围的图像区域具有亮度变化的点。使用角部检测等的方法来检测特征点。作为计算稀疏光流的方法的一例，举出KLT法。“KLT”是Kanade-Lucas-Tomasi的简称。在计算紧密光流的方法中，计算照相机图像的全部像素的移动向量。作为计算紧密光流的方法的一例，举出非专利文献3中记载的方法。
在步骤S305中，判定部42开始进行第2车辆52与货物53的分离判别处理，参照在步骤S304中计算出的移动向量来判定是否产生了朝下的移动向量。在产生了朝下的移动向量的情况下，判定部42参照在步骤S301中计算出的深度图像61来判定车间距离是否变短。
在步骤S306中，判定部42如果在步骤S305中判定为产生了朝下的移动向量但车间距离没有变短，则估计为由于货物53落下而产生了朝下的移动向量，判定为第2车辆52与货物53分离，进入步骤S307。判定部42如果在步骤S305中判定为未产生朝下的移动向量，或者判定为产生了朝下的移动向量且车间距离变短，则判定为第2车辆52与货物53未分离，返回步骤S301。
这样，判定部42参照由取得部41计算出的深度图像61的时间序列变化和由计算部46计算出的移动向量，判别第2车辆52与货物53的分离。如果具有在时间序列的照相机图像内移动的物体，则产生移动向量。在货物53从第2车辆52落下而移动的情况下也产生移动向量，但在第1车辆51与第2车辆52的车间距离变化的情况下也产生移动向量。因此，需要判定移动向量是由于货物53的落下而产生的还是由于车间距离的变化而产生的。
图12至图15示出时间序列的照相机图像及根据照相机图像计算出的移动向量的例子。
当第1车辆51与第2车辆52的车间距离变短时，通常如图12的例子那样，在第2车辆52的图像区域内产生朝下的移动向量。当车间距离变长时，通常如图13的例子那样，在第2车辆52的图像区域内产生朝上的移动向量。也能够根据深度图像61来计算车间距离的变化。因此，判定部42在尽管参照深度图像61而判定为车间距离没有变短、但如图14的例子那样产生了朝下的移动向量的情况下，判定为第2车辆52与货物53分离。判定部42在参照深度图像61而判定为车间距离变短时产生了朝下的移动向量的情况下，估计为朝下的移动向量起因于车间距离的变化，判定为第2车辆52与货物53未分离。
判定部42也可以根据车间距离的变化来计算朝下的移动向量的变化量，在检测到远大于该变化量的朝下的移动向量的情况下，判定为第2车辆52与货物53分离。
对图12至图15的例子详细进行说明。
图12示出在车间距离变短时通常产生的移动向量。图12的左上图示出时刻T1的照相机图像71。图12的右上图示出时刻T1+1的照相机图像72。图12的下图示出根据时刻T1的照相机图像71和时刻T1+1的照相机图像72而计算出的移动向量。当第1车辆51与第2车辆52的车间距离变短时，第2车辆52的图像区域在摄影图像内朝下移动，因此，产生朝下的移动向量。
图13示出在车间距离变长时通常产生的移动向量。图13的左上图示出时刻T2的照相机图像73。图13的右上图示出时刻T2+1的照相机图像74。图13的下图示出根据时刻T2的照相机图像73和时刻T2+1的照相机图像74而计算出的移动向量。当第1车辆51与第2车辆52的车间距离变长时，第2车辆52的图像区域在摄影图像内朝上移动，因此，产生朝上的移动向量。
图14示出与货物53的落下相伴的移动向量。图14的左上图示出时刻T3的照相机图像75。图14的右上图示出时刻T3+1的照相机图像76。图14的下图示出根据时刻T3的照相机图像75和时刻T3+1的照相机图像76而计算出的移动向量。设为第1车辆51与第2车辆52的车间距离没有变化。当货物53从第2车辆52落下时，货物53的图像区域在摄影图像内朝下移动，因此，产生朝下的移动向量。
这样，判定部42能够根据深度图像61来计算车间距离，因此，在车间距离变长或者没有变化时检测到朝下的移动向量的情况下，判定为货物53从第2车辆52落下。
从第2车辆52落下的货物53有时与路面碰撞而弹起。
图15示出与货物53的弹起相伴的移动向量。图15的左上图示出时刻T4的照相机图像77。图15的右上图示出时刻T4+1的照相机图像78。图15的下图示出根据时刻T4的照相机图像77和时刻T4+1的照相机图像78而计算出的移动向量。设为第1车辆51与第2车辆52的车间距离没有变化。当货物53弹起时，货物53的图像区域在摄影图像内朝上移动，因此，产生朝上的移动向量。
这样，判定部42能够根据深度图像61来计算车间距离，因此在车间距离变短或者没有变化时检测到朝上的移动向量的情况下，也可以判定为货物53从第2车辆52落下，之后弹起。即，判定部42在从第2车辆52的图像区域内检测到与车间距离的变化所产生的移动向量不同的方向的移动向量的情况下，也可以判定为货物53与第2车辆52分离。
针对步骤S307的处理，与实施方式1中的步骤S107的处理相同，因此，省略具体的说明。
针对步骤S308的处理，与实施方式1中的步骤S108的处理相同，因此，省略具体的说明。
根据以上的动作，即便在货物53从第2车辆52落下的情况下，也能够即时地检测落下中的货物53，能够躲开与落下物的碰撞。
＊＊＊实施方式的效果的说明＊＊＊
在本实施方式中，与实施方式1同样，使用前方车辆及前方车辆的周边的深度图像61来判定前方车辆的货物53是否未进行与前方车辆不同的运动，基于判定而得到的结果，来检测货物53的落下。因此，能够即时地检测货物53从前方车辆的落下。
在本实施方式中，与实施方式1不同，虽然需要照相机24，但不需要毫米波传感器等距离传感器。另外，代替在深度传感器22之外具备照相机24，也可以以兼作深度传感器22的结构要素的方式具备照相机24。
＊＊＊其他结构＊＊＊
本实施方式中，取得部41、判定部42、检测部43及计算部46的功能通过软件来实现，但作为变形例，取得部41、判定部42、检测部43及计算部46的功能也可以通过硬件来实现。针对该变形例，主要说明与本实施方式的差异。
参照图16，对具备本实施方式的变形例的落下物检测装置11的车载系统10的结构进行说明。
在该例中，落下物检测装置11具备电子电路16及传感器IO 12这样的硬件。
电子电路16是实现取得部41、判定部42、检测部43及计算部46的功能的专用的硬件。电子电路16例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑IC、GA、FPGA、ASIC、或它们中的若干、或者全部的组合。
作为另一变形例，取得部41、判定部42、检测部43及计算部46的功能也可以通过软件与硬件的组合来实现。即，也可以是，取得部41、判定部42、检测部43及计算部46的功能的一部通过专用的硬件来实现，剩余部分通过软件来实现。
处理器13及电子电路16均是处理电路。即，即便落下物检测装置11的结构是在图10及图16中均示出的结构，也通过处理电路来进行取得部41、判定部42、检测部43及计算部46的动作。
在组合实施方式1至实施方式3中的2个以上的实施方式来实施的情况下，也可以根据车间距离而分开使用实施方式。作为一例，在车间距离较远的情况下应用实施方式1的动作，在车间距离较短的情况下应用实施方式2的动作，由此容易抑制误判定的发生。
标号说明
10车载系统，11落下物检测装置，12传感器IO，13处理器，14存储器，15ROM，16电子电路，21传感器器件，22深度传感器，23距离传感器，24照相机，31车辆控制单元，32车辆控制总线接口，33传感器ECU，34车辆ECU，41取得部，42判定部，43检测部，44计测部，45计算部，46计算部，51第1车辆，52第2车辆，53货物，61深度图像，71照相机图像，72照相机图像，73照相机图像，74照相机图像，75照相机图像，76照相机图像，77照相机图像，78照相机图像。

Claims (12)

1.一种落下物检测装置，其搭载于第1车辆而使用，其中，
所述落下物检测装置具备：
取得部，其取得第2车辆及所述第2车辆的周边的深度图像，所述第2车辆载置货物并在所述第1车辆的前方行驶；
判定部，其使用由所述取得部取得的深度图像，根据基于所述深度图像得到的与道路之外的最近的物体的第一距离和距离传感器计测的第二距离，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述第一距离与所述第二距离之差超过第一阈值时，判定所述货物与所述第2车辆存在不同的运动；或者，根据所述深度图像变化的图像区域，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述变化的图像区域的大小与所述第2车辆的大小不同或所述变化的图像区域的深度值的变化量超过第二阈值时，判定所述货物与所述第2车辆存在不同的运动；或者，根据基于所述深度图像得到的到第2车辆的第三距离以及移动向量，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述第三距离变短且所述移动向量为朝上的向量或所述第三距离变长且所述移动向量为朝下的向量或所述第三距离变短且所述移动向量为大小超过第三阈值的朝下的向量时，判定所述货物与所述第2车辆存在不同运动；以及
检测部，其基于所述判定部的判定的结果，检测所述货物的落下。
2.根据权利要求1所述的落下物检测装置，其中，
所述落下物检测装置还具备计测部，该计测部使用距离传感器，计测到所述第2车辆为止的距离，
所述判定部参照所述深度图像，计算到除了道路之外的最近的物体为止的距离，比较计算出的距离与由所述计测部计测出的距离，在距离之差超过阈值的情况下，判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
3.根据权利要求2所述的落下物检测装置，其中，
所述计测部使用毫米波传感器作为所述距离传感器。
4.根据权利要求1所述的落下物检测装置，其中，
所述判定部计算在由所述取得部取得的多个时间点的深度图像之间深度值发生变化的图像区域，在计算出的图像区域的大小与相当于所述第2车辆的大小不同的情况下，判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
5.根据权利要求1所述的落下物检测装置，其中，
所述判定部比较由所述取得部取得的多个时间点的深度图像中的所述第2车辆的图像区域之间的深度值的变化量与所述货物的图像区域之间的深度值的变化量，在变化量之差超过阈值的情况下，判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
6.根据权利要求5所述的落下物检测装置，其中，
所述判定部即便在所述变化量之差低于所述阈值的情况下，也根据所述变化量之差而判定为所述货物未固定，
所述检测部在由所述判定部判定为所述货物未固定的情况下，进行隔开所述第1车辆与所述第2车辆之间的距离的控制。
7.根据权利要求1所述的落下物检测装置，其中，
所述落下物检测装置还具备计算部，该计算部计算移动向量，该移动向量表示拍摄所述第2车辆及所述第2车辆的周边而得到的多个时间点的照相机图像之间的物体的运动，
所述判定部参照由所述取得部取得的所述多个时间点的深度图像，判定到所述第2车辆为止的距离是否变长，在距离变长的情况下，如果由所述计算部计算出的移动向量为朝下的向量，则判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
8.根据权利要求1所述的落下物检测装置，其中，
所述落下物检测装置还具备计算部，该计算部计算移动向量，该移动向量表示拍摄所述第2车辆及所述第2车辆的周边而得到的多个时间点的照相机图像之间的物体的运动，
所述判定部参照由所述取得部取得的所述多个时间点的深度图像，判定到所述第2车辆为止的距离是否变长，在所述距离变短的情况下，如果由所述计算部计算出的移动向量为朝下的向量且向量的大小超过阈值，则判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
9.根据权利要求1所述的落下物检测装置，其中，
所述落下物检测装置还具备计算部，该计算部计算移动向量，该移动向量表示拍摄所述第2车辆及所述第2车辆的周边而得到的多个时间点的照相机图像之间的物体的运动，
所述判定部参照由所述取得部取得的所述多个时间点的深度图像，判定到所述第2车辆为止的距离是否变长，在距离变短的情况下，如果由所述计算部计算出的移动向量为朝上的向量，则判定为所述货物进行了从所述第2车辆分离的运动，作为与所述第2车辆不同的运动。
10.一种车载系统，其中，
所述车载系统具备：
权利要求1至9中的任意一项所述的落下物检测装置；以及
车辆控制单元，其控制所述第1车辆的驾驶。
11.一种车辆，其中，
所述车辆搭载有权利要求1至9中的任意一项所述的落下物检测装置。
12.一种计算机可读取的记录介质，其记录有落下物检测程序，其中，
所述落下物检测程序使搭载于第1车辆而使用的计算机执行如下处理：
取得处理，取得第2车辆及所述第2车辆的周边的深度图像，所述第2车辆载置货物并在所述第1车辆的前方行驶；
判定处理，使用由所述取得处理取得的深度图像，根据基于所述深度图像得到的与道路之外的最近的物体的第一距离和距离传感器计测的第二距离，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述第一距离与所述第二距离之差超过第一阈值时，判定所述货物与所述第2车辆存在不同的运动；或者，根据所述深度图像变化的图像区域，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述变化的图像区域的大小与所述第2车辆的大小不同或所述变化的图像区域的深度值的变化量超过第二阈值时，判定所述货物与所述第2车辆存在不同的运动；或者，根据基于所述深度图像得到的到第2车辆的第三距离以及移动向量，判定所述货物是否未进行与所述第2车辆不同的运动，并且当所述第三距离变短且所述移动向量为朝上的向量或所述第三距离变长且所述移动向量为朝下的向量或所述第三距离变短且所述移动向量为大小超过第三阈值的朝下的向量时，判定所述货物与所述第2车辆存在不同运动；以及
检测处理，基于所述判定处理的判定的结果，检测所述货物的落下。
CN201880087797.XA 2018-02-02 2018-02-02 落下物检测装置、车载系统、车辆及计算机可读取的记录介质 Active CN111656396B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/003598 WO2019150552A1 (ja) 2018-02-02 2018-02-02 落下物検知装置、車載システム、車両および落下物検知プログラム

Publications (2)

Publication Number Publication Date
CN111656396A CN111656396A (zh) 2020-09-11
CN111656396B true CN111656396B (zh) 2024-01-09

Family

ID=67479235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087797.XA Active CN111656396B (zh) 2018-02-02 2018-02-02 落下物检测装置、车载系统、车辆及计算机可读取的记录介质

Country Status (5)

Country Link
US (1) US11256932B2 (zh)
JP (1) JP6685481B2 (zh)
CN (1) CN111656396B (zh)
DE (1) DE112018006738B4 (zh)
WO (1) WO2019150552A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021186655A1 (ja) * 2020-03-19 2021-09-23 株式会社日立製作所 転倒リスク評価システム
US11223928B1 (en) * 2020-10-15 2022-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Unsecured object detection and alert
US11447149B2 (en) * 2021-02-01 2022-09-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for detecting and alerting load separation from a moving vehicle
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract
CN115489541A (zh) * 2021-08-28 2022-12-20 惠州华阳通用智慧车载系统开发有限公司 一种自动驾驶车辆的坠物规避控制方法
JP2023046109A (ja) * 2021-09-22 2023-04-03 株式会社Subaru 車両の運転支援装置
CN115239706A (zh) * 2022-09-20 2022-10-25 图达通智能科技(武汉)有限公司 基于激光雷达的坠物识别方法、装置和可读存储介质
DE102023004810A1 (de) 2022-12-02 2024-06-13 Mercedes-Benz Group AG Verbesserung der Wahrscheinlichkeit der Erkennung eines Objekts in der Fahrspur eines Fahrzeugs

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150062A (zh) * 2008-06-27 2011-08-10 丰田自动车株式会社 物体检测装置
CN103116757A (zh) * 2013-01-30 2013-05-22 北京科技大学 一种三维信息复原提取的道路遗洒物识别方法
CN104115199A (zh) * 2012-02-10 2014-10-22 三菱电机株式会社 驾驶支援装置以及驾驶支援方法
CN104584098A (zh) * 2012-09-03 2015-04-29 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN105718888A (zh) * 2016-01-22 2016-06-29 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
CN106167045A (zh) * 2015-05-21 2016-11-30 Lg电子株式会社 驾驶人员辅助装置及其控制方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293141A (ja) * 1996-04-24 1997-11-11 Hitachi Ltd 移動物体検出装置
JPH10315843A (ja) 1997-05-14 1998-12-02 Yazaki Corp 荷崩れ監視装置
JP4615139B2 (ja) * 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP2004009993A (ja) 2002-06-11 2004-01-15 Toshiba Eng Co Ltd 列車事故回避システム
JP2005018472A (ja) 2003-06-26 2005-01-20 Nec Mobiling Ltd 運送車両の荷崩れ監視システムおよびその方法
CN1914060B (zh) 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持系统
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
FI116755B (fi) * 2004-03-08 2006-02-15 Perlos Oyj Elektroninen laite ja latausliitinjärjestely
JP4561266B2 (ja) 2004-09-14 2010-10-13 富士通株式会社 落下物検知装置
JP2006258507A (ja) * 2005-03-15 2006-09-28 Omron Corp 前方物体認識装置
US20100007500A1 (en) * 2008-07-09 2010-01-14 International Business Machines Corporation Detector system for detecting cargo items falling during transport and method for retrieval thereof
JP2010108371A (ja) * 2008-10-31 2010-05-13 Toyota Motor Corp 車両用落下物検出装置
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP5611725B2 (ja) * 2010-08-27 2014-10-22 本田技研工業株式会社 物体検知装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5516344B2 (ja) * 2010-11-10 2014-06-11 サクサ株式会社 通行車両監視システム及び車両用監視カメラ
JP5910434B2 (ja) 2012-09-25 2016-04-27 トヨタ自動車株式会社 衝突予測装置
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
JP2014232508A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 回避軌道予測装置
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
DE102014210259A1 (de) * 2014-05-28 2015-12-03 Bayerische Motoren Werke Aktiengesellschaft Assistent zur Detektion von herabfallenden Objekten
JP6151670B2 (ja) 2014-06-30 2017-06-21 本田技研工業株式会社 移動支援装置
WO2017130639A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US20190143989A1 (en) * 2016-05-11 2019-05-16 Sony Corporation Image processing device, image processing method, and movable body
US10628960B2 (en) * 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP6834522B2 (ja) * 2017-01-23 2021-02-24 スズキ株式会社 運転支援装置
JP6791099B2 (ja) * 2017-11-01 2020-11-25 株式会社デンソー 車両制御装置
JP2020175795A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
JP2020175804A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
MX2022010293A (es) * 2020-02-21 2023-01-04 Bluespace Ai Inc Metodo para evitar objetos durante la navegacion autonoma.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150062A (zh) * 2008-06-27 2011-08-10 丰田自动车株式会社 物体检测装置
CN104115199A (zh) * 2012-02-10 2014-10-22 三菱电机株式会社 驾驶支援装置以及驾驶支援方法
CN104584098A (zh) * 2012-09-03 2015-04-29 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
CN103116757A (zh) * 2013-01-30 2013-05-22 北京科技大学 一种三维信息复原提取的道路遗洒物识别方法
CN106167045A (zh) * 2015-05-21 2016-11-30 Lg电子株式会社 驾驶人员辅助装置及其控制方法
CN105718888A (zh) * 2016-01-22 2016-06-29 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Sebastian Ramos 等.Detecting unexpected obstacles for self-driving cars: Fusing deep learning and geometric modeling.《2017 IEEE Intelligent Vehicles Symposium (IV)》.2017,全文. *
李烨 等.自动巡航与可变限速协同控制对高速公路基本路段通行效率的改善.《吉林大学学报(工学版)》.2017,第47卷(第47期),全文. *
赵冬斌 等.基于数据的车辆自适应巡航控制综述.《第三十二届中国控制会议论文集（E卷）》.2013,全文. *

Also Published As

Publication number Publication date
JPWO2019150552A1 (ja) 2020-07-02
US11256932B2 (en) 2022-02-22
JP6685481B2 (ja) 2020-04-22
US20210056322A1 (en) 2021-02-25
WO2019150552A1 (ja) 2019-08-08
CN111656396A (zh) 2020-09-11
DE112018006738T5 (de) 2020-09-10
DE112018006738B4 (de) 2022-03-10

Similar Documents

Publication Publication Date Title
CN111656396B (zh) 落下物检测装置、车载系统、车辆及计算机可读取的记录介质
US11148595B2 (en) Image output device, and non-transitory tangible computer-readable medium for outputting image around vehicle to display device
JP6784943B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US9151626B1 (en) Vehicle position estimation system
JP6407626B2 (ja) 物体認識装置及び車両制御システム
JP4510554B2 (ja) 立体物監視装置
GB2368118A (en) Method of and device for detecting, ranging and classifying road users and obstacles
US10049577B2 (en) Object detection apparatus
US11630202B2 (en) Sensing device, moving body system, and sensing method
JP5718726B2 (ja) 車両周辺監視装置
US20230004169A1 (en) Apparatus and Method for Controlling Mobile Body
JP2021135191A (ja) 物体検知装置
JP2008299787A (ja) 車両検知装置
KR101890482B1 (ko) 레이더 스펙트럼을 이용한 정지 및 이동 물체 판별 장치 및 그 방법
US20230341542A1 (en) Use of camera information for radar beamforming
JP2019191637A (ja) 衝突判定装置
KR102325124B1 (ko) 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량
WO2021131260A1 (ja) 遮蔽検出装置および遮蔽検出プログラム
US20240249528A1 (en) External environment recognition device
Thammakaroon et al. Improvement of forward collision warning in real driving environment using machine vision
JP2017207279A (ja) ステレオカメラ装置
JP2021135061A (ja) ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム
CN117341716A (zh) 显示控制装置、存储介质及方法
WO2021232031A2 (en) Detection of hidden object using non-line-of-sight (nlos) imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant