CN106797450A - 车身外部移动物体探测系统 - Google Patents

车身外部移动物体探测系统 Download PDF

Info

Publication number
CN106797450A
CN106797450A CN201580045783.8A CN201580045783A CN106797450A CN 106797450 A CN106797450 A CN 106797450A CN 201580045783 A CN201580045783 A CN 201580045783A CN 106797450 A CN106797450 A CN 106797450A
Authority
CN
China
Prior art keywords
image
mentioned
mobile object
movable part
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580045783.8A
Other languages
English (en)
Other versions
CN106797450B (zh
Inventor
福田善文
小沼知惠子
太田守飞
川股幸博
古渡阳
古渡阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Publication of CN106797450A publication Critical patent/CN106797450A/zh
Application granted granted Critical
Publication of CN106797450B publication Critical patent/CN106797450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种对从周围影像中将本车辆可动构造物的可动区域去除后的区域进行移动物体的探测的车身外部移动物体探测系统。该车身外部移动物体探测系统具备：拍摄本车辆的周围的影像并作为周围影像而发送的周围影像输入部(101)；根据上述周围影像合成并构建含有移动物体探测的结果输出的合成影像的合成影像构建部(102)；以及向使用者提示上述合成影像的输出部(105)，该车身外部移动物体探测系统还具备：设定上述周围影像中的上述本车辆的可动部的形状和配置，且计算上述本车辆的可动部的区域的可动部区域设定部(103)；以及相对于上述可动部区域设定部算出的可动部区域和从上述周围影像输入部输入上述周围影像并从上述周围影像将上述可动部区域去除后的区域，进行移动物体的探测处理，并输出探测的结果的移动物体探测部(104)。

Description

车身外部移动物体探测系统
技术领域
本发明涉及车身外部移动物体探测系统。
背景技术
为了提高车辆的周围的物体的检测精度，具有一种图像处理装置，其使用由设于车辆的多个摄像机对不同的方向进行拍摄所得到的多个图像来检测上述车辆的周围的物体，该图像处理装置含有：根据多个上述图像推断表示上述车辆的行为的行为参数的行为推断单元；基于根据多个上述图像推断出的多个上述行为参数，设定在检测上述车辆的周围的物体中使用的上述行为参数的设定单元；以及使用由上述设定单元所设定的上述行为参数及多个上述图像来检测上述车辆的周围的物体的物体检测单元(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2010－217979号公报
发明内容
发明所要解决的课题
上述的图像处理装置具备：根据车辆的挡位、转向角判断车辆的行进方向的行进方向检测部；基于行进方向检测部的检测结果，从在每个在车辆安装有多个的摄像机所设置的监视部中选择适当的监视部的设定部；基于得到的摄像机影像推断本车辆的行为的监视部内的行为推断部；推断路面的监视部内的路面推断部；以及检测障碍物的监视部内的障碍物检测部。设定部从指示的监视部取得推断信息，且发送至各监视部。监视部内的障碍物检测部基于从设定部收到的推断信息和从各摄像机供给的图像来检测障碍物。其结果，能够提高车辆的周围的物体的检测精度。
然而，相比一般的车辆，矿山用自动倾卸卡车等大型的施工机械具备尺寸大的车身、轮胎等本车辆构造物，并且车身的构造复杂。因此，根据车身的形状、摄像机的安装位置、基于摄像机的拍摄区域等条件，存在路面部和能够动作的本车辆构造物(例如，容器、轮胎等)进入在影像内而映出的情况。
在本车辆正在移动的状况下，就映入影像内的轮胎的动作和路面的表观上的活动而言，其移动方向、移动量不同。因为轮胎安装于本车辆的轴上，所以，在影像内存在于大致相同的位置，但轮胎的表面旋转。另外，在本车辆左右拐时，轮胎向右或左斜。另一方面，路面配合本车辆的移动而在影像内表观上移动。在本车辆正在前进的情况下，路面在由安装于本车辆的左方向的摄像机而得到的影像内从右向左移动。
在上述的图像处理装置中，采用对一帧前的图像和当前的图像进行比较来检测物体的三维的位置的移动立体方式，根据测量结果推断路面。然后，在推断出的路面坐标系上，将占图像内的某位置的物体作为障碍物而检测。当在上述的施工机械中采用该图像处理装置时，因为轮胎被计算为存在于与路面不同的位置，所以存在将轮胎误检测为障碍物而通知操作员的担忧。
本发明基于上述的情况而作成，其目的在于提供一种对从周围影像中将本车辆可动构造物的可动区域去除后的区域进行移动物体的探测的车身外部移动物体探测系统。
用于解决课题的方案
为了解决上述课题，采用例如权利要求书记载的结构。本申请包括多个解决上述课题的方案，若列举其一例，则为一种车身外部移动物体探测系统，其具备：周围影像输入部，其拍摄本车辆的周围的影像，且作为周围影像而发送；合成影像构建部，其根据上述周围影像合成并构建含有移动物体探测的结果输出的合成影像；以及输出部，其向使用者提示上述合成影像，上述车身外部移动物体探测系统的特征在于，具备：可动部区域设定部，其设定上述周围影像中的上述本车辆的可动部的形状和配置，且计算上述本车辆的可动部的区域；以及移动物体探测部，其相对于上述可动部区域设定部算出的可动部区域和从上述周围影像输入部输入上述周围影像并从上述周围影像将上述可动部区域去除后的区域，进行移动物体的探测处理，并输出探测的结果。
发明的效果
根据本发明，对从周围影像中将本车辆可动构造物的可动区域去除后的区域进行移动物体的探测，因此能够防止对本车辆可动构造物的误探测，并且能够防止使用者在操作本车辆的基础上漏看最应该注意的部位即本车辆附近部的探测对象物。由此，使用者能够仅取得作业所需的移动物体探测结果。其结果，能够提高这个作业的运行效率。
附图说明
图1是表示具备本发明的车身外部移动物体探测系统的第一实施方式的自动倾卸卡车的侧视图。
图2是说明本发明的车身外部移动物体探测系统的第一实施方式的构成周围影像输入部的摄像机的配置的概念图。
图3是表示构成本发明的车身外部移动物体探测系统的第一实施方式的摄像机拍摄到的影像的概念图。
图4是表示本发明的车身外部移动物体探测系统的第一实施方式的结构的块图。
图5是表示本发明的车身外部移动物体探测系统的第一实施方式的处理内容的流程图。
图6是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域的设定的一例的概念图。
图7是表示本发明的车身外部移动物体探测系统的第一实施方式的探测对象区域的设定的一例的概念图。
图8A是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示某时刻的影像的概念图。
图8B是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示某时候后的其它时刻的影像的概念图。
图8C是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示探测结果影像的概念图。
图9是表示本发明的车身外部移动物体探测系统的第一实施方式的移动物体探测的结果显示的一例的概念图。
图10是表示本发明的车身外部移动物体探测系统的第一实施方式的移动物体探测的结果显示的其它例的概念图。
图11是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域设定部的结构的块图。
图12是表示本发明的车身外部移动物体探测系统的第一实施方式的在本车辆形状属性保持部保持的文字数据的一例的表图。
图13是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域取得步骤的处理内容的流程图。
图14是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域的计算的一例的概念图。
图15是表示本发明的车身外部移动物体探测系统的第二实施方式的结构的块图。
图16是表示本发明的车身外部移动物体探测系统的第二实施方式的车辆信息输入部的处理内容的流程图。
图17是表示本发明的车身外部移动物体探测系统的第二实施方式的转向角与影像的关系的概念图。
图18是表示本发明的车身外部移动物体探测系统的第二实施方式的转向角与可动部区域的形状的关系的概念图。
图19是表示本发明的车身外部移动物体探测系统的第三实施方式的移动物体探测的结果显示的一例的概念图。
图20是表示本发明的车身外部移动物体探测系统的第四实施方式的移动物体探测的结果显示的一例的概念图。
图21是表示本发明的车身外部移动物体探测系统的第四实施方式的移动物体探测的结果显示的其它例的概念图。
图22是表示本发明的车身外部移动物体探测系统的第五实施方式的结构的块图。
图23是表示本发明的车身外部移动物体探测系统的第五实施方式的移动物体探测的结果显示的一例的概念图。
图24是表示本发明的车身外部移动物体探测系统的第六实施方式的移动物体探测的结果显示的一例的概念图。
具体实施方式
以下，以应用于对在矿山等开采出的碎石、矿物等进行搬运的大型的搬运车辆即自动倾卸卡车的情况为例，使用附图对本发明的实施方式进行说明。此外，本发明的应用不限于自动倾卸卡车。
实施例1
图1是表示具备本发明的车身外部移动物体探测系统的第一实施方式的自动倾卸卡车的侧视图。
图1所示的自动倾卸卡车(本车辆)1主要具备：由坚固的框架构造形成的车身2；能够起伏地搭载于车身2上的容器(载物台)3；以及装配于车身2的左前轮4A(L)及左后轮4B(L)。
在车身2配设有对后轮4B进行驱动的发动机(未图示)。发动机例如具有发动机控制装置(以下称为ECU)，根据来自ECU的指令信号来控制供给的燃料流量，从而控制其转速。
容器3是为了装载碎石等货物而设置的容器，经由销结合部5等而能够起伏地与车身2连结。在容器3的下部，在车辆的宽度方向上隔开预定的间隔而设置有两个起伏缸6。当向起伏缸6供给或排出压力油时，起伏缸6伸长或缩短，从而容器3起伏。另外，在容器3的前侧上部设有檐部7。
檐部7保护在其下侧(即车身2的前部)所设置的驾驶室8远离岩石等飞溅物，并且具有在车辆翻倒时等保护驾驶室8的功能。在驾驶室8的内部设置有：构成车身外部移动物体探测系统的控制装置的车身外部移动物体探测装置100(参照图4)；转向用方向盘(未图示)；以及油门踏板及刹车踏板等(未图示)。
图2是说明本发明的车身外部移动物体探测系统的第一实施方式的构成周围影像输入部的摄像机的配置的概念图，图3是表示构成本发明的车身外部移动物体探测系统的第一实施方式的摄像机拍摄到的影像的概念图。
图2中，在自动倾卸卡车1的车身2的前侧面和后侧面设有对自动倾卸卡车1的前方以广角进行拍摄的前方摄像机301和对自动倾卸卡车1的后方以广角进行拍摄的后方摄像机303。另外，在车身2的左侧面和右侧面设有对自动倾卸卡车1的左方向以广角进行拍摄的左方向摄像机302和对自动倾卸卡车1的右方向以广角进行拍摄的右方向摄像机304。这些摄像机301～304以能够主要对各自的地表面进行拍摄的方式带有俯角地安装于车身2的各面。另外，在自动倾卸卡车1的车身2装配有右前轮4A(R)、右后轮4B(R)、左前轮4A(L)以及左后轮4B(L)。
图3表示这些摄像机301～303拍摄到的周围影像的例。401表示前方摄像机301拍摄到的前方影像的例。402表示左方向摄像机302拍摄到的左方向影像的例。403表示后方摄像机303拍摄到的后方影像的例。404表示右方向摄像机304拍摄到的右方向影像的例。
就周围影像401～404而言，因为分别以广角拍摄，所以在视野中，在远方即各影像的上部所映出的地平线弯曲。另外，在附近即各影像的下部映出车身2的一部分。例如，在前方影像401中映出车身2的前部的一部分，在左方向影像402中映出车身2的左侧部和左前轮4A(L)及左后轮4B(L)。在右方向影像404中映出车身2的右侧部和右前轮4A(R)及右后轮4B(R)，在后方影像403中映出车身2的后部、左后轮4B(L)、右后轮4B(R)以及在影像内的上部映出本车辆1的容器3的一部分。
此外，在该例中，摄像机使用广角镜片，因此在类似于映出容器3的部位，特别是影像的边缘部，歪斜变大。另外，有时同一车轮映入多个摄像机。将前方影像401、左方向影像402、后方影像403、右方向影像404合起来的影像是本实施方式的周围影像。
图4是表示本发明的车身外部移动物体探测系统的第一实施方式的结构的块图。在图4中，车身外部移动物体探测系统的第一实施方式具备车身外部移动物体探测装置100。
车身外部移动物体探测装置100具备周围影像输入部101、合成影像构建部102、可动区域设定部103、移动物体探测部104以及输出部105。
周围影像输入部101具备分别对自动倾卸卡车1的周围的状况进行拍摄的多个摄像机301～304。周围影像输入部101向合成影像构建部102和移动物体探测部104发送拍摄结果即多个周围影像401～404。
合成影像构建部102输入周围影像输入部101所发送的多个周围影像401～404和来自移动物体探测部104的表示移动物体的位置的探测位置坐标信号。合成影像构建部102在从为了生成合成影像所输入的周围影像中取出需要的部分并进行坐标变换后，进行合成，并且基于所输入的探测位置坐标合成移动物体的探测位置探测结果提取影像，并将得到的合成影像向输出部105发送。
可动区域设定部103保持本车辆1的可动部的位置关系的信息，在可动部映入周围影像输入部101的摄像机拍摄到的影像中的情况下，发送该区域，在其它情况下发送表示无可动部的区域的信息。具体而言，保持构成本车辆1的各部分的形状信息和属性信息、与可动部相关的信息以及摄像机的属性信息，在可动部映入影像内的情况下，根据这些信息计算该区域，并向移动物体探测部104输出。在此，可动部区域是指本车辆1的构造物中的活动的部分照入摄像机时，该活动的部分在影像内占的区域。
移动物体探测部104针对从周围影像输入部101发送的周围影像401～404将可动部区域设定部103发送的可动部区域去除后的区域进行移动物体的探测处理，探测在影像中是否存在移动物体。再探测到移动物体的情况下，将表示探测到的位置的探测位置坐标和周围影像一同向合成影像构建部102发送。
输出部105具备显示器等，向使用者输出从合成影像构建部102所输入的合成影像。
接下来，使用图5至图9对本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测和显示的处理内容进行说明。图5是表示本发明的车身外部移动物体探测系统的第一实施方式的处理内容的流程图，图6是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域的设定的一例的概念图，图7是表示本发明的车身外部移动物体探测系统的第一实施方式的探测对象区域的设定的一例的概念图，图8A是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示某时刻的影像的概念图，图8B是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示某时刻后的其它时刻的影像的概念图，图8C是本发明的车身外部移动物体探测系统的第一实施方式的移动物体的探测的一例，是表示探测结果影像的概念图，图9是表示本发明的车身外部移动物体探测系统的第一实施方式的移动物体探测的结果显示的一例的概念图，图10是表示本发明的车身外部移动物体探测系统的第一实施方式的移动物体探测的结果显示的其它例的概念图。在图5至图10中，与图1至图4所示的符号相同的符号的部分为相同部分，因此省略其详细的说明。
在图5中，车身外部移动物体探测装置100进行周围影像输入(步骤S201)。具体而言，输入由周围影像输入部101所拍摄到的周围影像401～404。
车身外部移动物体探测装置100判断在可动部区域设定部103是否设定有可动部区域(步骤S202)。可动部区域是指本车辆1的构造物中的活动的部分照入摄像机时，该活动的部分在影像内占的区域。
使用图6对可动部区域的设定的一例进行说明。图6表示后方影像403的可动区域的设定的一例。在该影像中，左后轮4B(L)及右后轮4B(R)为本车辆1移动时沿着车轴旋转的可动部。例如，在影像内，轮胎的槽等移动。因此，在影像内，将包围这些部分的区域设定为与后轮4B相对的可动部区域501。
返回图5，车身外部移动物体探测装置100在判断为设定有这样的可动部区域的情况下，向(步骤S203)转移，其它情况下，向(步骤S206)转移。
车身外部移动物体探测装置100取得可动部区域(步骤S203)。具体而言，可动区域设定部103取得影像内的可动部区域的形状及配置的信息。在此，根据后方摄像机303的设置位置、设置方向等的可动区域设定部103保持的摄像机的属性信息，计算本车辆1的哪个部分映入后方摄像机303，从而得到类似于图6的本车辆1的后部和后轮4B的一部分映入影像内的下方的结果。另外，使用后轮4B为可动部这一信息，取得影像内的后轮4B映入的区域作为可动部区域501。后面更详细地进行叙述。
车身外部移动物体探测装置100生成探测对象区域(步骤S204)。具体而言，生成影像内的探测是否存在移动物体的区域(探测对象区域)。在此，在图7所示的后方影像403中，作为探测对象，生成除了与后轮4B相对的可动部区域501以外的所有的区域，将该区域作为后方的探测对象区域601。
车身外部移动物体探测装置100判断探测对象区域是否为空集合Φ(步骤S205)。具体而言，在(步骤S204)中生成探测对象区域时，在例如在整个影像存在本车辆1的可动部区域的情况下，判断为探测对象区域为空集合Φ。因此，在图7所示的例中，不是在整个后方影像403，而是仅在后方影像403的一部分存在可动部区域501，因此不被判断为空集合Φ。在判断为探测对象区域为空集合Φ的情况的情况下，向(步骤S207)转移，其它情况下，向(步骤S206)转移。
车身外部移动物体探测装置100通过移动物体探测部104执行移动物体探测处理(步骤S206)。进行该探测处理的影像内的区域为在步骤S204生成的探测对象区域。
使用图8A～C，对探测处理的一例进行说明。图8A～C表示后方影像403的移动物体探测处理，从上开始依次地，图8A表示某时刻t0-1的影像，图8B表示某时刻t0-1后的其它时刻t0的影像，图8C表示探测结果影像。在这些影像内进行探测处理的是探测对象区域601的内部。另外，在这些影像内，存在人作为移动物体。
在此，图8A表示某时刻t0-1的移动物体701拍摄到后方影像403上的状况，图8B表示在此之后，某其它时刻t0的移动物体702拍摄到后方影像403上的状况。这些移动物体为同一物体，随着时间的推移而移动的状况被后方摄像机304所拍摄。
图4所示的移动物体探测部104对从周围影像输入部101输入的这些影像进行比较，计算随着时间的推移而在影像上发生了变化的部位。通过计算而得到的、探测对象区域601内的探测结果703保持后方影像403上的坐标信息。此外，在影像未发生变化的情况下，得不到这样的探测结果。
返回图5，车身外部移动物体探测装置100判断是否存在未处理影像(步骤S207)。具体而言，判断在来自多个摄像机的周围影像中是否残留未应用探测处理的影像。例如，在本实施方式中，一边切换作为对象的影像，一边对前方摄像机301、左方向摄像机302、后方摄像机303、右方向摄像机304拍摄到的影像的每一帧进行探测处理，共计进行四次。车身外部移动物体探测装置100在判断为具有未处理影像的情况下，向(步骤S202)转移，其它情况下，向(步骤S208)转移。
车身外部移动物体探测装置100在合成影像构建部102构建合成影像(步骤S208)。具体而言，将前方影像401、左方向影像402、后方影像403、右方向影像404的每一个的纵向及横向的长度减半来缩小面积，将该四种影像呈平铺状相邻地配置，从而使四个方向的影像显示在一张画面上。
图9表示这样的移动物体探测的结果显示的一例。在此，示出了由合成影像构建部102构建的平铺状合成影像801。使用以移动体探测部104的计算结果为基础的坐标值，在探测到移动物体的部分描绘探测对象区域内的探测结果703。
返回图5，车身外部移动物体探测装置100输入合成影像(步骤S209)。具体而言，向输出部105输出合成影像构建部102所构建的平铺状合成影像801。在该影像内显示探测对象区域内的探测结果703。
车身外部移动物体探测装置100判断探测处理是否结束(步骤S210)。例如，在作业结束、无需进行外部移动体的探测而输入了指示处理结束的信号的情况下，探测处理结束，在其它时候，返回最初的程序(步骤S201)。
此外，虽然对在输出中使用平铺状合成影像801的例进行了说明，但不限于此。合成影像构建部102也能够将前方影像401、左方向影像402、后方影像403、右方向影像404的影像变换后进行合成，构建类似于鸟瞰本车辆1和其周围的影像而向输出部103输出。图10表示这样的移动物体探测的结果显示的其它例。合成鸟瞰合成影像906，其将变换后的前方影像901、变换后的左方向影像902、变换后的后方影像903、变换后的右方向影像904分别配置在上方向、左方向、下方向、右方向，在中央配置本车辆图标905。在该影像内显示探测对象区域内的探测结果703。
根据这些移动物体探测的结果显示，即使在左后轮4B(L)、右后轮4B(R)正在旋转时，也能够不将该部分作为移动物体进行探测，而探测类似于时刻t0的移动物体702的对象。其结果，使用者能够效率良好地了解本来应该注意的类似于时刻t0的移动物体702的对象的存在。
接下来，使用图11至图14，对构成车身外部移动物体探测装置100的可动部区域设定部103的详细的结构及动作进行说明。图11是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域设定部的结构的块图，图12是表示本发明的车身外部移动物体探测系统的第一实施方式的在本车辆形状属性保持部保持的文字数据的一例的表图，图13是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域取得步骤的处理内容的流程图，图14是表示本发明的车身外部移动物体探测系统的第一实施方式的可动部区域的计算的一例的概念图。在图11至图14中，与图1至图10所示的符号相同的符号的部分为相同的部分，因此省略其详细的说明。
如图11所示，可动部区域设定部103具备本车辆形状属性保持部103A、坐标变换部103B、以及可动部区域检测部103C。
本车辆形状属性保持部103A保持构成图2所示的本车辆1的各部分的形状信息和属性信息、与可动部相关的信息以及摄像机的属性信息，并将它们向坐标变换部103B发送。在此，本车辆1的形状信息是用三维空间上的点、线以及面表现本车辆1的空间上的结构，例如，类似与于CAD用的形状数据。
摄像机的属性信息，例如作为前方摄像机信息，为前方摄像机301的空间上的设置位置、方向以及摄像机随带信息，如视角、焦距。同样地构成左方向摄像机302的左方向摄像机信息、后方摄像机303的后方摄像机信息、右向摄像机304的右方向摄像机信息等。
本车辆1的可动部是指根据使用者的操作而进行移动、旋转的属于本车辆1的部分。作为与可动部相关的信息，作为左前轮信息，为根据图2所示的左前轮4A(L)的形状、配置以及转向、行驶这样的本车辆1的操作而影像上的形状、配置怎样变化的信息。构成同样地构成的左后轮4B(L)的左后轮信息、右前轮4A(R)的右前轮信息、右后轮4B(R)的右后轮信息、容器3的容器信息等。
图12是表示在本车辆形状属性保持部103A保持的文字数据的一例的表图。在此，通过各部分的形状信息、属性信息等的集合来表示本车辆1。在图12中示例出与左前轮4A(L)相关的信息即左前轮信息、与前方摄像机301相关的属性信息即前方摄像机信息的记述。
就左前轮信息而言，首先，作为属性信息记述了左前轮4A(L)的属性(Attribute)为可动部。然后，作为形状信息，将左前轮4A(L)的形状(Shape)作为CAD用形状数据而记述。而且，作为与可动部相关的信息，同时记述了可动部即左前轮4A(L)的作为移动、旋转的中心的位置(Pivot)、可动范围(Range)、角度(Angle)等。
前方摄像机信息记述了前方摄像机301的设置位置(PoSition)、中心的方向(Direction)、视角(FOV)等。
这样，通过将构成本车辆1的各部分的信息组合，从而表现本车辆1的形状。此外，在本实施方式中，仅对具有映入各摄像机的可能性的物体进行处理，因此不存在映入的可能性的形状、例如对于本车辆1的车顶等的信息，也可以不在本车辆形状属性保持部103A中保持。
接下来，使用图13，对可动部区域取得步骤的处理内容进行说明。可动部区域取得步骤是更详细地说明图5所示的处理流程图的(步骤S203)的处理内容的内容。
车身外部移动物体探测装置100在图5的(步骤S202)中判断为设定有可动部区域的情况下，为了取得可动部区域而取得图13所示的本车辆形状(步骤S2031)。具体而言，取得本车辆形状属性保持部103A保持的本车辆1的形状的信息。
车身外部移动物体探测装置100取得摄像机信息(步骤S2032)。具体而言，取得与拍摄影像的摄像机相关的信息。例如，在用前方摄像机301拍摄影像的情况下，取得前方摄像机信息。
车身外部移动物体探测装置100执行坐标变换(步骤S2033)。具体而言，图11所示的坐标变换部103B使用在之前的步骤所取得的本车辆1的形状的信息和摄像机的属性信息来进行坐标变换，计算如何在表示由摄像机拍摄出的影像的二维平面内投影三维形状。该结果与图3所示的摄像机拍摄出的影像类似，在二维平面上的区域内存在本车辆1的形状的一部分。
车身外部移动物体探测装置100计算可动部区域(步骤S2034)。具体而言，图11所示的可动部区域检测部103C计算在坐标变换后的二维平面上存在的可动部区域。
使用图14，对可动部区域的计算处理的一例进行说明。图14是使用本车辆1对形状信息和后方摄像机信息进行坐标变换而得到的图。在坐标变换后的二维平面中存在本车辆形状中的表示车身2的后部的一部分、左后轮4B(L)、右后轮4B(R)以及容器3的形状。在其中计算将属性设定了为可动部的部分的形状占有的区域。
图14中，左后轮信息H37、右后轮信息H38以及容器信息H3的属性信息设定了为可动部。但是，在此，为了便于说明，仅对左后轮信息H37和右后轮信息H38的属性进行处理。图11所示的可动部区域检测部103C根据左后轮信息H37和右后轮信息H38计算它们在二维平面上占有的区域、即与后轮4B相对于的可动部区域501。
返回图13，车身外部移动物体探测装置100输出可动部区域(步骤S2035)。具体而言，向图4所示的移动物体探测部104输出可动区域检测部103C算出的可动部区域。在本实施方式中，输出与后轮4B相对的可动部区域501。在执行本处理后，向图5所示的处理流程图的(步骤S204)转移。
根据上述的本发明的车身外部移动物体探测系统的第一实施方式，对从周围影像中将本车辆可动构造物的可动区域去除后的区域进行移动物体的探测，因此能够防止对本车辆可动构造物的误探测，并且防止使用者在操作本车辆的基础上漏看最应该注意的部位即本车辆附近部的探测对象物。由此，使用者能够仅取得作业所需的移动物体探测结果。其结果，能够提高整个作业的运行效率。
实施例2
以下，使用附图，对本发明对车身外部移动物体探测系统的第二实施方式进行说明。图15是表示本发明的车身外部移动物体探测系统的第二实施方式的结构的块图，图16是表示本发明的车身外部移动物体探测系统的第二实施方式的车辆信息输入部的处理内容的流程图，图17是表示本发明的车身外部移动物体探测系统的第二实施方式的转向角与影像的关系的概念图，图18是表示本发明的车身外部移动物体探测系统的第二实施方式的转向角和可动部区域的形状的关系的概念图。在图15至图18中，与图1至图14所示的符号相同的符号的部分为相同部分，因此省略其详细的说明。
本实施方式的车辆周围移动物体探测系统的结构及运行方法与第一实施方式大致相同。与第一实施方式的不同点在于，在第二实施方式中，本车辆1的可动部随着时间推移而移动，即使在影像内的可动部区域增减的情况下，也能够在将这些可动部区域去除后的区域进行移动物体的探测。
具体而言，如图15所示，车身外部移动物体探测装置100A还具备车辆信息输入部1001。
车辆信息输入部1001输入与本车辆1的可动部相关的信息，例如，使用CAN(Control Area Network)等输入本车辆1的转向角度、容器3的动作量等信息。车辆信息输入部1001基于所输入的车辆信息计算可动部的形状，在该形状含在影像内的情况下，向可动部区域设定部103输出该车辆信息等。
使用图17，对作为车辆信息而使用的转向角与影像的关系进行说明。图17的左侧表示初始的转向角为0度时的右方向影像404。图17的右侧表示使用者将方向盘向右方向旋转30度而将转向角设为30度时的右方向影像404。随着方向盘的旋转，右前轮4A(R)在影像内绕顺时针旋转，表观上的形状进行了变化。
在此，在左侧的初始的状态中，从车辆信息输入部1001取得转向角0度，在操舵后的右侧的状态中，从车辆信息输入部1001取得转向角30度。
接下来，使用图16对本实施方式的可动部区域取得步骤的处理内容进行说明。本实施方式的处理流与图5类似，不同点在于在(步骤S203)之前追加处理，因此对该部分进行说明。
车身外部移动物体探测装置100A在图5的(步骤S202)中判断为设定有可动部区域的情况下，取得车辆信息(步骤S1101)。具体而言，利用车辆信息输入部1001输入与车辆相关的信息。例如，输入如上述的转向角的信息。
车身外部移动物体探测装置100A计算车辆形状(步骤S1102)。具体而言，基于所输入的车辆信息计算车辆1的可动部的形状。如上所述，根据转向角的大小，右前轮4A(R)的配置进行了变化。如图17所示，相比转向角为0度的情况，在转向角为30度的情况下，右前轮4A(R)的前方部分成为向相当于车身2的外侧的右侧突出的形状。另外，右前轮4A(R)的后方部分成为进入相当于车身2的内侧的左侧的形状。
返回图16，车身外部移动物体探测装置100判断是否在影像区域外(步骤S1103)。具体而言，判断基于所输入的车辆信息而算出的本车辆1的可动部的形状是否包含在作为对象的影像中。在本车辆1的可动部的形状在影像区域外的情况下，向(步骤S204)转移，在其它情况下，向(步骤S203)转移。
车身外部移动物体探测装置100A的可动部区域设定部103取得可动部区域(步骤S203)。具体而言，取得基于所输入的车辆信息而算出的本车辆1的形状的影像内的形状和配置。
使用图18，对该可动部区域的取得的一例进行说明。图18的左侧是转向角为0度时的右方向影像404，虚线部表示影像内的可动区域1301。图18的右侧是转向角为30度时的右方向影像404，虚线部表示影像内的可动区域1302。
车身外部移动物体探测装置100A使用这些可动部区域，并根据与第一实施方式相同的方法进行移动物体的探测。由此，即使在本车辆1的状态进行了变化的情况下，也能够取得与之匹配的可动部区域，因此能够避免本车辆1的可动部进入探测对象区域。其结果，能够抑制不必要的误探测。而且，能够避免本来应该含在探测对象区域的区域被含在可动部区域中，因此能够实施准确的移动物体探测。特别是能够在对于确保安全性重要的本车辆1的附近，尽可能宽广地确保需要的探测对象区域。
此外，本实施方式以使用CAN作为车辆信息的输入路径的情况为例进行了说明，但不限于此。另外，以使用转向角作为输入的车辆信息的情况为例进行了说明，但不限于此。例如，输入本车辆1的车辆的转速作为车辆信息，能够避免因影像内的车轮的旋转引起的误探测。同样地，输入容器3的动作量作为车辆信息，能够避免因影像内的容器3的移动而引起的误探测。
根据上述的本发明的车身外部移动物体探测系统的第二实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车身外部移动物体探测系统的第二实施方式，即使在本车辆1的撞他进行了变化的情况下，也能够设定与之匹配的可动部区域，因此能够尽可能宽广地确保需要的探测对象区域。
实施例3
以下，使用附图，对本发明的车身外部移动物体探测系统的第三实施方式进行说明。图19是表示本发明的车身外部移动物体探测系统的第三实施方式的移动物体探测的结果显示的一例的概念图。在图19中，与图1至图18所示的符号相同的符号的部分为相同部分，因此省略其详细的说明。
本实施方式的车辆周围移动物体探测系统的结构及运行方法与第一实施方式大致相同。与第一实施方式的不同点在于，在第三实施方式中，不向输出部105输出可动部区域的内部。本实施方式的处理的流程与图5、图16所示的处理相同。但是，(步骤S208)的处理内容不同，因此对该部分进行说明。
当执行合成影像的构建(步骤S208)时，构建类似于图19所示的平铺状合成影像801。在此，图4所示的车身外部移动物体探测装置100的合成影像构建部102进行用固定颜色涂抹与后轮4B相对的可动部区域501的内部的处理。在图19中，用白色同样地进行涂抹。由此，移动物体的不成为探测对象的可动部区域501的内部不显示在输出部105。其结果，能够从使用者的视觉中隐藏不必要的移动物体，能够避免强制使用者浪费精力地注意不必要的移动物体。
根据上述的本发明的车身外部移动物体探测系统的第三实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车身外部移动物体探测系统的第三实施方式，能够从使用者的视觉中隐藏不必要的移动物体，因此能够避免强制使用者浪费精力地注意不必要的移动物体。
实施例4
以下，使用附图对本发明的车身外部移动物体探测系统的第四实施方式进行说明。图20是表示本发明的车身外部移动物体探测系统的第四实施方式的移动物体探测的结果显示的一例的概念图，图21是表示本发明的车身外部移动物体探测系统的第四实施方式的移动物体探测的结果显示的其它例的概念图。在图20及图21中，与图1至图19所示的符号相同的符号的部分为相同的部分，因此省略其详细的说明。
本实施方式的车辆周围移动物体探测系统的结构及运行方法与第一实施方式大致相同。与第一实施方式的不同点在于，在第四实施方式中，将在可动部区域探测到的移动物体以与在其它区域探测到的移动物体的显示方法不同的方法来显示。本实施方式的处理流程与图5、图16所示的处理相同。但是，(步骤S208)的处理内容不同，因此对该部分进行说明。
首先，当执行合成影像的构建(步骤S208)时，构建类似于图20所示的平铺状合成影像801。在此，图15所示的车身外部移动物体探测装置100A的合成影像构建部102以包围转向角为30度的情况下的可动部区域1302的方式，描绘表示在探测对象外的图形1501。在此，描绘椭圆。该椭圆是通过与由探测对象区域内的探测结果703的粗线形成的矩形不同的方法进行描绘。由此，在输出部105以与探测结果703不同的方式显示不成为探测的对象但在表观上移动的物体的影像。
另一方面，作为其它例，对以下情况进行说明，即，执行合成影像的构建(步骤S208)，构建类似于图21所示的鸟瞰合成影像906。在此，图15所示的车身外部移动物体探测装置100A的合成影像构建部102以包围转向角为30度的情况下的右前轮的方式描绘表示在探测对象外的图形1501。在此，描绘椭圆。该椭圆是通过与由探测对象区域内的探测结果703的粗线形成的矩形不同的方法进行描绘。由此，在输出部105以与探测结果703不同的方式显示不成为探测的对象但在表观上移动的物体的影像。
由此，在输出部105以与作为探测结果的移动物体不同的方式显示不成为探测的对象但在表观上移动的物体的影像。其结果，能够表示在显示于输出部105的影像内的移动物体中哪个不是探测对象。其结果，能够避免强制使用者浪费精力注意不必要的移动物体。
根据上述的本发明的车身外部移动物体探测系统的第四实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车身外部移动物体探测系统的第四实施方式，能够表示在显示于输出部105的影像内的移动物体中哪个不是探测对象，因此能够避免强制使用者浪费精力注意不必要的移动物体。
实施例5
以下，使用附图，对本发明的车身外部移动物体探测系统的第五实施方式进行说明。图22是表示本发明的车身外部移动物体探测系统的第五实施方式的结构的块图，图23是表示本发明的车身外部移动物体探测系统的第五实施方式的移动物体探测的结果显示的一例的概念图。在图22及图23中，与图1至图21所示的符号相同的符号的部分是相同的部分，因此省略其详细的说明。
本实施方式的车辆周围移动物体探测系统的结构及运行方法与第一实施方式大致相同。与第一实施方式的不同点在于，在第五实施方式中，能够根据使用者变更影像内的可动部区域的配置。具体而言，如图22所示，车身外部移动物体探测装置100B还具备区域信息输入部1701。
区域信息输入部1701具备鼠标、键盘这样的的输入装置，使用者指定输出部的影像内的坐标，从而能够变更可动部区域的配置，且向可动部区域设定部103输出该坐标信号等。此外，本实施方式的处理流程与图5、图16所示的处理相同。但是，可动部区域的取得(步骤S203)的处理内容不同，因此对该部分进行说明。
使用图23，对本实施方式的(步骤S203)的可动部区域的取得进行说明。在此，示出了平铺状合成影像801的一例。安装于本车辆1的前方摄像机301、左方向摄像机302、后方摄像机303、右方向摄像机304由于安装时的稍微的误差而存在位置、角度不一定如规定地那样的情况。这种情况下，存在可动部区域设定部103设定的可动部区域和可动部在影像内实际占有的区域产生偏差的可能性。
在图23所示的例中，在与后轮4B相对的可动部区域501与在影像内存在的实际的后轮4B的可动部之间存在配置的差。为了消除该差，进行由使用者进行的可动部区域的配置的变更。
使用者从区域信息输入部1701的输入装置输入指定输出部的影像内的坐标。所指定的坐标用输入指针1801指示。然后，使用者按下可动部区域操作按钮1802，使输入指针1801移动，从而指定坐标，以使与后轮4B相对的可动部区域501与实际的后轮4B的可动部重合。
然后，按下设定完成按钮1803，完成与后轮4B相对的可动部区域501的配置。由此，车身外部移动物体探测装置100B使用重新配置好的与后轮4B相对的可动部区域501来进行处理。
这样，在本实施方式中，即使在由于摄像机安装时的误差等而在可动部区域设定部103设定的可动部区域与可动部在影像内实际占有的区域之间产生差的情况下，也能够再次设定正确的可动部区域。其结果，能够更准确地进行移动物体的探测处理。
根据上述的本发明的车身外部移动物体探测系统的第五实施方式，能够得到与上述的第一实施方式相同的效果。
另外，根据上述的本发明的车身外部移动物体探测系统的第五实施方式，即使在设定的可动部区域与可动部在影像内实际占有的区域之间产生差的情况下，也能够再次设定正确的可动部区域，因此能够更准确地进行移动物体的探测处理。
实施例6
以下，使用附图，对本发明的车身外部移动物体探测系统的第六实施方式进行说明。图24是表示本发明的车身外部移动物体探测系统的第六实施方式的移动物体探测的结果显示的一例的概念图。在图24中，与图1至图23所示的符号相同的符号的部分是相同的部分，因此省略其详细的说明。
本实施方式的车辆周围移动物体探测系统的结构及运行方法与第五实施方式大致相同。与第五实施方式的不同点在于，在第六实施方式中，能够通过使用者进行影像内的可动部区域的描绘。
如上所述，在第五实施方式中，在安装于本车辆1的前方摄像机301、左方向摄像机302、后方摄像机303、右方向摄像机304由于安装时的稍微的误差而位置、角度不一定如规定地那样的情况下，存在可动部区域设定部103设定的可动部区域和可动部在影像内实际占有的区域产生偏差的可能性。
而且，设想若该偏差变大，则摄像机的视点的变化变大，影像内的可动部的表观上的形状的变换变大。在图24所示的例中，在与后轮4B相对的可动部区域501和在影像内存在的实际的后轮4B的可动部之间存在形状的差。为了消除该差，进行使用者进行的可动部区域的形状的变更(分配所输入的区域作为可动部区域)。
使用者从区域信息输入部1701的输入装置输入指定输出部的影像内的坐标。所指定的坐标用输入指针1801表示。然后，使用者按下可动部区域操作按钮1901，使输入指针1801移动，从而描绘可动部区域的形状，以使与后轮4B相对的可动部区域501与实际的后轮4B的可动部重合。
然后，按下设定完成按钮1803，完成与后轮4B相对的可动部区域501的形状的变更。由此，车身外部移动物体探测装置100B使用将形状重新变更后的与后轮4B相对的可动部区域501来进行处理。
这样，在本实施方式中，即使在由于摄像机安装时的误差等而在可动部区域设定部103设定的可动部区域与可动部在影像内实际占有的区域之间产生差的情况下，也能够再次设定正确的可动部区域。其结果，能够更准确地进行移动物体的探测处理。
根据上述的本发明的车身外部移动物体探测系统的第六实施方式，能够得到与上述的第一实施方式及第五实施方式相同的效果。
另外，根据上述的本发明的车身外部移动物体探测系统的第六实施方式，即使在设定的可动部区域与可动部在影像内实际占有的区域之间产生差的情况下，也能够再次设定正确的可动部区域，因此能够更准确地进行移动物体的探测处理。
此外，本发明的实施方式以应用于作为施工机械的大型自动倾卸卡车的情况为例进行了说明，但不限于此。也能够应用于施工现场的大型机械、灾害现场的大型的作业机械。
此外，本发明不被限定于上述的实施例，包括各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细地说明的实施例，而不限定于必须具备所说明的所有的结构。另外，上述的各结构、功能、处理部、处理单元等也可以通过例如以集成电路进行设计等而用硬件实现它们的一部分或全部。另外，上述的各结构、功能等也能够通过处理器译码、执行实现各功能的程序而用软件实现。
符号说明
1—自动倾卸卡车(本车辆)，2—车身，3—容器(载物台)，4A—前轮，4B—后轮，8—驾驶室，100—车身外部移动物体探测装置，101—周围影像输入部，102—合成影像构建部，103—可动区域设定部，104—移动物体探测部，105—输出部，301—前方摄像机，302—左方向摄像机，303—后方摄像机，304—右方向摄像机，401—前方影像，402—左方向影像，403—后方影像，404—右方向影像，1001—车辆信息输入部，1701—区域信息输入部，1801—输入指针。

Claims (5)

1.一种车身外部移动物体探测系统，其具备：
周围影像输入部，其拍摄本车辆的周围的影像，且作为周围影像而发送；
合成影像构建部，其根据上述周围影像合成并构建含有移动物体探测的结果输出的合成影像；以及
输出部，其向使用者提示上述合成影像，
上述车身外部移动物体探测系统的特征在于，具备：
可动部区域设定部，其设定上述周围影像中的上述本车辆的可动部的形状和配置，且计算上述本车辆的可动部的区域；以及
移动物体探测部，其相对于上述可动部区域设定部算出的可动部区域和从上述周围影像输入部输入上述周围影像并从上述周围影像将上述可动部区域去除后的区域，进行移动物体的探测处理，并输出探测的结果。
2.根据权利要求1所述的车身外部移动物体探测系统，其特征在于，
还具备取得并发送上述本车辆的信息的车辆信息输入部，
上述可动部区域设定部基于来自上述车辆信息输入部的上述本车辆的信息而计算出上述周围影像内的上述可动部的形状和配置。
3.根据权利要求2所述的车身外部移动物体探测系统，其特征在于，
上述合成影像构建部以与上述移动物体的探测的结果显示不同的描绘方法来进行上述周围影像内的上述可动部区域的显示。
4.根据权利要求1或2所述的车身外部移动物体探测系统，其特征在于，
还具备能够输入在上述输出部所显示的影像内的坐标的坐标输入部，
上述可动部区域设定部使上述可动部区域向上述周围影像内的由上述坐标输入部所输入的坐标的位置移动。
5.根据权利要求1或2所述的车身外部移动物体探测系统，其特征在于，
还具备能够输入在上述输出部所显示的影像内的区域的区域输入部，
上述可动部区域设定部分配上述周围影像内的由上述区域输入部所输入的区域作为上述可动部区域。
CN201580045783.8A 2015-02-04 2015-09-07 车身外部移动物体探测装置 Active CN106797450B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-019925 2015-02-04
JP2015019925A JP6456173B2 (ja) 2015-02-04 2015-02-04 車体外部移動物体検知装置
PCT/JP2015/075361 WO2016125332A1 (ja) 2015-02-04 2015-09-07 車体外部移動物体検知システム

Publications (2)

Publication Number Publication Date
CN106797450A true CN106797450A (zh) 2017-05-31
CN106797450B CN106797450B (zh) 2019-12-20

Family

ID=56563691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580045783.8A Active CN106797450B (zh) 2015-02-04 2015-09-07 车身外部移动物体探测装置

Country Status (4)

Country Link
US (1) US9990543B2 (zh)
JP (1) JP6456173B2 (zh)
CN (1) CN106797450B (zh)
WO (1) WO2016125332A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082388A1 (ja) * 2015-11-11 2017-05-18 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视系统
JP6599835B2 (ja) * 2016-09-23 2019-10-30 日立建機株式会社 鉱山用作業機械、障害物判別装置、及び障害物判別方法
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
CN110268119B (zh) * 2017-02-22 2022-04-15 住友建机株式会社 挖土机
JP6926020B2 (ja) * 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
JP7091896B2 (ja) * 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP7265323B2 (ja) * 2018-07-31 2023-04-26 株式会社小松製作所 作業機械を制御するためのシステム及び方法
JP7374602B2 (ja) 2019-03-29 2023-11-07 日立建機株式会社 作業車両
EP3947088B1 (en) * 2019-04-05 2024-03-13 Volvo Truck Corporation A method and a control unit for determining a parameter indicative of a road capability of a road segment supporting a vehicle
EP3960543A4 (en) * 2019-04-26 2022-07-06 Sumitomo Construction Machinery Co., Ltd. DISPLAY DEVICE, SHOVEL, INFORMATION PROCESSING DEVICE
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
JP7419741B2 (ja) * 2019-10-15 2024-01-23 株式会社アイシン 駐車支援装置
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN111340966B (zh) * 2019-12-12 2022-03-08 山东中创软件工程股份有限公司 一种车辆检测方法、装置及系统
KR102402254B1 (ko) 2020-01-20 2022-05-26 현대두산인프라코어 주식회사 휠 로더의 제어 시스템 및 방법
US20230377047A1 (en) * 2022-05-18 2023-11-23 The Toronto-Dominion Bank Systems and methods for automated data processing using machine learning for vehicle loss detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924514A (zh) * 2005-08-31 2007-03-07 歌乐牌株式会社 车辆用障碍物检测装置
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
JP2012160972A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像処理装置及び画像処理方法
CN103119932A (zh) * 2010-11-15 2013-05-22 三菱电机株式会社 车载用图像处理装置
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272818B2 (ja) 2009-03-13 2013-08-28 オムロン株式会社 画像処理装置および方法、並びに、プログラム
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
DE102015201317A1 (de) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Vermessen einer Abmessung auf einer Oberfläche
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924514A (zh) * 2005-08-31 2007-03-07 歌乐牌株式会社 车辆用障碍物检测装置
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
CN103119932A (zh) * 2010-11-15 2013-05-22 三菱电机株式会社 车载用图像处理装置
JP2012160972A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像処理装置及び画像処理方法
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Also Published As

Publication number Publication date
CN106797450B (zh) 2019-12-20
US9990543B2 (en) 2018-06-05
JP2016144110A (ja) 2016-08-08
JP6456173B2 (ja) 2019-01-23
US20170286763A1 (en) 2017-10-05
WO2016125332A1 (ja) 2016-08-11

Similar Documents

Publication Publication Date Title
CN106797450A (zh) 车身外部移动物体探测系统
KR102186299B1 (ko) 카메라를 이용한 차량 환경 모델링
JP6262068B2 (ja) 車体近傍障害物報知システム
US8055020B2 (en) Method for object tracking
JP7285051B2 (ja) 表示制御装置、および表示制御方法
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
WO2020044852A1 (ja) 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
US11814817B2 (en) System including work machine, computer implemented method, method for producing trained position estimation model, and training data
CN116559903A (zh) 一种挂车夹角的测量方法、装置及车辆
CN108431871B (zh) 在三维模型上显示对象的方法
JP6350082B2 (ja) 画像処理装置
GB2571004A (en) Method for operating a mobile working machine and mobile working machine
CN113030960B (zh) 一种基于单目视觉slam的车辆定位方法
CN112734908B (zh) 一种面向行驶车辆的汽车底盘三维重建系统及其工作方法
JP2008197722A (ja) 顔追跡装置
US11173785B2 (en) Operator assistance vision system
JP6796518B2 (ja) 移動物体検知システム
Mueller et al. Continuous stereo self-calibration on planar roads
JP2004038760A (ja) 車両用走行路認識装置
JP2016156629A (ja) 外界認識装置、方法および車両
WO2023276285A1 (ja) 侵入検出システム
US20230279644A1 (en) Work vehicle having a work implement and sensors for maintaining a view of an area of interest throughout movement of the work implement
WO2022201735A1 (ja) 情報提示装置
JPWO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant