JP2016144110A - 車体外部移動物体検知システム - Google Patents

車体外部移動物体検知システム Download PDF

Info

Publication number
JP2016144110A
JP2016144110A JP2015019925A JP2015019925A JP2016144110A JP 2016144110 A JP2016144110 A JP 2016144110A JP 2015019925 A JP2015019925 A JP 2015019925A JP 2015019925 A JP2015019925 A JP 2015019925A JP 2016144110 A JP2016144110 A JP 2016144110A
Authority
JP
Japan
Prior art keywords
moving object
object detection
region
movable part
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015019925A
Other languages
English (en)
Other versions
JP6456173B2 (ja
Inventor
善文 福田
Yoshifumi Fukuda
善文 福田
小沼　知恵子
Chieko Konuma
小沼　　知恵子
守飛 太田
Moritaka Ota
守飛 太田
川股　幸博
Yukihiro Kawamata
幸博 川股
古渡　陽一
Yoichi Kowatari
陽一 古渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2015019925A priority Critical patent/JP6456173B2/ja
Priority to PCT/JP2015/075361 priority patent/WO2016125332A1/ja
Priority to US15/511,301 priority patent/US9990543B2/en
Priority to CN201580045783.8A priority patent/CN106797450B/zh
Publication of JP2016144110A publication Critical patent/JP2016144110A/ja
Application granted granted Critical
Publication of JP6456173B2 publication Critical patent/JP6456173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】周囲映像の中から自車両可動構造物の可動領域を除いた領域に対して移動物体の検知を行なう車体外部移動物体検知システムを提供する。【解決手段】自車両の周囲の映像を撮影し周囲映像として送出する周囲映像入力部１０１と、移動物体検知の結果出力を含む合成映像を前記周囲映像から合成して構築する合成映像構築部１０２と、前記合成映像を利用者に提示する出力部１０５とを備えた車体外部移動物体検知システムにおいて、前記周囲映像における前記自車両の可動部の形状と配置を設定し、前記自車両の可動部の領域を算出する可動部領域設定部１０３と、前記可動部領域設定部が算出した可動部領域と前記周囲映像入力部から前記周囲映像を入力し、前記周囲映像から前記可動部領域を除いた領域に対して、移動物体の検知処理を行い検知の結果を出力する移動物体検知部１０４とを備えた。【選択図】 図４

Description

本発明は、車体外部移動物体検知システムに関する。
車両の周囲の物体の検出精度を向上させるために、車両に設けられた複数のカメラにより異なる方向を撮影した複数の画像を用いて前記車両の周囲の物体を検出する画像処理装置において、前記車両の挙動を表す挙動パラメータを複数の前記画像ごとに推定する挙動推定手段と、複数の前記画像ごとに推定された複数の前記挙動パラメータに基づいて、前記車両の周囲の物体の検出に用いる前記挙動パラメータを設定する設定手段と、前記設定手段により設定された前記挙動パラメータおよび複数の前記画像を用いて、前記車両の周囲の物体を検出する物体検出手段とを含む画像処理装置がある（例えば、特許文献１参照）。
特開２０１０−２１７９７９号公報
上述した画像処理装置は、車両のギアや操舵角から車両の進行方向を判定する進行方向検出部と、進行方向検出部の検出結果を基に、車両に複数取り付けたカメラごとに設けた監視部の中から適切な監視部を選択する設定部と、取得されたカメラ映像を基に自車両の挙動の推定を行なう監視部内の挙動推定部と、路面の推定を行う監視部内の路面推定部と、障害物の検出を行なう監視部内の障害物検出部とを備えている。設定部は、指令した監視部から推定情報を取得し、各監視部に送信する。監視部内の障害物検出部は、設定部から受信した推定情報と各カメラから供給される画像とを基に障害物の検出を行う。この結果、車両の周囲の物体の検出精度を向上させることができる。
ところで、鉱山向けのダンプトラックなどの大型の建設機械は、一般の車両に比べてサイズの大きな車体やタイヤなどの自車両構造物を備えると共に、車体の構造が複雑である。このため、車体の形状やカメラの取付け位置、カメラによる撮影領域等の条件により、映像内に路面部と動作可能な自車両構造物（例えば、ベッセル、タイヤ等）とが入り組んで映る場合がある。
自車両が移動している状況では、映像内に映り込んだタイヤの動作と路面の見かけ上の動きは、その移動方向や移動量が異なる。タイヤは自車両のシャフトに取付けられているため、映像内では概ね同じ位置に存在するが、タイヤの表面は回転する。また、自車両が右左折する際は、タイヤが右または左に傾く。一方、路面は自車両の移動に合わせて映像内を見かけ上移動する。自車両が前進している場合、自車両の左方向に取付けられたカメラによる映像内を路面は右から左へ移動する。
上述した画像処理装置では、１フレーム前の画像と現在の画像とを比較して物体の３次元の位置を検出する移動ステレオ方式を採用し、計測結果から路面を推定する。そして、推定した路面座標系の上において、画像内のある位置を占める物体を障害物として検出している。この画像処理装置を上述した建設機械に採用すると、タイヤは路面と異なる位置に存在すると算出されるため、タイヤを障害物であると誤検出し、オペレータに報知してしまう虞がある。
本発明は上述の事柄に基づいてなされたものであって、その目的は、周囲映像の中から自車両可動構造物の可動領域を除いた領域に対して移動物体の検知を行なう車体外部移動物体検知システムを提供するものである。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、自車両の周囲の映像を撮影し周囲映像として送出する周囲映像入力部と、移動物体検知の結果出力を含む合成映像を前記周囲映像から合成して構築する合成映像構築部と、前記合成映像を利用者に提示する出力部とを備えた車体外部移動物体検知システムにおいて、前記周囲映像における前記自車両の可動部の形状と配置を設定し、前記自車両の可動部の領域を算出する可動部領域設定部と、前記可動部領域設定部が算出した可動部領域と前記周囲映像入力部から前記周囲映像を入力し、前記周囲映像から前記可動部領域を除いた領域に対して、移動物体の検知処理を行い検知の結果を出力する移動物体検知部とを備えたことを特徴とする。
本発明によれば、周囲映像の中から自車両可動構造物の可動領域を除いた領域に対して移動物体の検知を行なうので、自車両可動構造物に対する誤検知を防止できると共に、利用者が自車両を操作する上で最も注意を払うべき部位である自車両近傍部における検知対象物の見落としを防止できる。これにより、利用者は作業に必要な移動物体検知結果のみを取得できる。この結果、作業全体の運用効率を向上することができる。
本発明の車体外部移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態の構成を示すブロック図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域の設定の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における検知対象領域の設定の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体の検知の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域設定部の構成を示すブロック図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における自車両形状属性保持部に保持される文字データの一例を示す表図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域取得ステップの処理内容を示すフローチャート図である。 本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域の算出の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第２の実施の形態の構成を示すブロック図である。 本発明の車体外部移動物体検知システムの第２の実施の形態における車両情報入力部の処理内容を示すフローチャート図である。 本発明の車体外部移動物体検知システムの第２の実施の形態における操舵角と映像の関係を示す概念図である。 本発明の車体外部移動物体検知システムの第２の実施の形態における操舵角と可動部領域の形状の関係を示す概念図である。 本発明の車体外部移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。 本発明の車体外部移動物体検知システムの第５の実施の形態の構成を示すブロック図である。 本発明の車体外部移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の一例を示す概念図である。 本発明の車体外部移動物体検知システムの第６の実施の形態における移動物体検知の結果表示の一例を示す概念図である。
以下、鉱山等で採掘した砕石や鉱物等を運搬する大型の運搬車両であるダンプトラックに適用した場合を例にとって本発明の実施の形態を図面を用いて説明する。なお、本発明の適用はダンプトラックに限定されるものではない。
図１は本発明の車体外部移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。
図１に示すダンプトラック（自車両）１は、頑丈なフレーム構造で形成された車体２と、車体２上に起伏可能に搭載されたベッセル（荷台）３と、車体２に装着された左前輪４Ａ（L）及び左後輪４Ｂ（L）を主に備えている。
車体２には、後輪４Ｂを駆動するエンジン（図示せず）が配設されている。エンジンは、例えば、エンジン制御装置（以下ＥＣＵという）を有し、ＥＣＵからの指令信号によって、供給される燃料流量が制御されることで、その回転数が制御されている。
ベッセル３は、砕石物等の荷物を積載するために設けられた容器であり、ピン結合部５等を介して車体２に対して起伏可能に連結されている。ベッセル３の下部には、車両の幅方向に所定の間隔を介して２つの起伏シリンダ６が設置されている。起伏シリンダ６に圧油が供給・排出されると、起伏シリンダ６が伸長・縮短してベッセル３が起伏される。また、ベッセル３の前側上部には庇部７が設けられている。
庇部７は、その下側（すなわち車体２の前部）に設置された運転室８を岩石等の飛散物から保護するとともに、車両転倒時等に運転室８を保護する機能を有している。運転室８の内部には、車体外部移動物体検知システムを構成する制御装置の車体外部移動物体検知装置１００（図４参照）と、操舵用のハンドル（図示せず）と、アクセルペダル及びブレーキペダル等（図示せず）とが設置されている。
図２は本発明の車体外部移動物体検知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図、図３は本発明の車体外部移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。
図２において、ダンプトラック１の車体２の前側面と後側面とには、ダンプトラック１の前方を広角で撮影する前方カメラ３０１と、ダンプトラック１の後方を広角で撮影する後方カメラ３０３とが設けられている。また、車体２の左側面と右側面とには、ダンプトラック１の左方向を広角で撮影する左方向カメラ３０２と、ダンプトラック１の右方向を広角で撮影する右方向カメラ３０４とが設けられている。これらのカメラ３０１〜３０４は、それぞれの地表面を主に撮影できるように、車体２の各面に俯角をつけて取付けられている。また、ダンプトラック１の車体２には、右前輪４Ａ（R）と右後輪４Ｂ（R）と左前輪４Ａ（L）と左後輪４Ｂ（L）とが装着されている。
図３はこれらのカメラ３０１〜３０３が撮影した周囲映像の例を示す。４０１は前方カメラ３０１が撮影した前方映像の例を示す。４０２は左方向カメラ３０２が撮影した左方向映像の例を示す。４０３は後方カメラ３０３が撮影した後方映像の例を示す。４０４は右方向カメラ３０４が撮影した右方向映像の例を示す。
周囲映像４０１〜４０４は、それぞれ広角で撮影されるため遠方、すなわち各映像の上部に映し出されている地平線が湾曲して見えている。また、近傍、すなわち各映像の下部に車体２の一部が映っている。例えば、前方映像４０１には、車体２のフロント部分の一部が、左方向映像４０２には、車体２の左サイド部分と左前輪４Ａ（L）及び左後輪４Ｂ（L）がそれぞれ映っている。右方向映像４０４には、車体２の右サイド部分と右前輪４Ａ（R）及び右後輪４Ｂ（R）が、後方映像４０３には、車体２のリア部分と左後輪４Ｂ（L）と右後輪４Ｂ（R）、並びに映像内の上部に自車両１のベッセル３の一部がそれぞれ映っている。
なお、この例ではカメラに広角レンズを用いているため、ベッセル３の映っている箇所のような特に映像の辺縁部では歪みが大きくなっている。また、同一の車輪が複数のカメラに映る場合がある。前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４を合わせたものが本実施の形態における周囲映像である。
図４は本発明の車体外部移動物体検知システムの第１の実施の形態の構成を示すブロック図である。図４において、車体外部移動物体検知システムの第１の実施の形態は、車体外部移動物体検知装置１００を備えている。
車体外部移動物体検知装置１００は、周囲映像入力部１０１と合成映像構築部１０２と可動領域設定部１０３と移動物体検知部１０４と出力部１０５とを備えている。
周囲映像入力部１０１は、ダンプトラック１の周囲の様子をそれぞれ撮影する複数のカメラ３０１〜３０４を備えている。周囲映像入力部１０１は、撮影結果である複数の周囲映像４０１〜４０４を合成映像構築部１０２と移動物体検知部１０４とへ送信する。
合成映像構築部１０２は、周囲映像入力部１０１の送信した複数の周囲映像４０１〜４０４と、移動物体検知部１０４から移動物体の位置を示す検知位置座標信号とを入力する。合成映像構築部１０２は、合成映像を生成するために入力した周囲映像の中から必要な部分を切り出し座標変換後に合成を行うと共に、入力した検知位置座標を基に移動物体の検知位置検知結果抽出映像を合成し、得られた合成映像を出力部１０５へ送出する。
可動領域設定部１０３は、自車両１の可動部の位置関係の情報を保持し、周囲映像入力部１０１のカメラの撮影する映像の中に可動部が映り込んでいる場合は該当する領域を、それ以外の場合は可動部の領域が無いことを示す情報を送出する。具体的には、自車両１を構成する各部分における形状情報と属性情報と可動部に関する情報とカメラの属性情報とを保持し、これらの情報から映像内に可動部が映り込む場合に、その領域を算出して移動物体検知部１０４へ出力する。ここで、可動部領域とは、自車両１の構造物において動く部分がカメラに写り込む際、この動く部分が映像内で占める領域をいう。
移動物体検知部１０４は、周囲映像入力部１０１の送出する周囲映像４０１〜４０４に関して、可動部領域設定部１０３の送出する可動部領域を除いた領域に対して移動物体の検知処理を行い、移動物体が映像中に存在するかどうかを検知する。移動物体を検知した場合は検知した位置を示す検知位置座標を周囲映像とともに合成映像構築部１０２へ送出する。
出力部１０５は、ディスプレイ等を備え、合成映像構築部１０２から入力した合成映像を利用者に対して出力する。
次に、本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体の検知と表示の処理内容について図５乃至図９を用いて説明する。図５は本発明の車体外部移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図、図６は本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域の設定の一例を示す概念図、図７は本発明の車体外部移動物体検知システムの第１の実施の形態における検知対象領域の設定の一例を示す概念図、図８は本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体の検知の一例を示す概念図、図９は本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の一例を示す概念図、図１０は本発明の車体外部移動物体検知システムの第１の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。図５乃至図１０において、図１乃至図４に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。
図５において、車体外部移動物体検知装置１００は、周囲映像入力を行う（ステップＳ２０１）。具体的には、周囲映像入力部１０１で撮影した周囲映像４０１〜４０４を入力する。
車体外部移動物体検知装置１００は、可動部領域設定部１０３に可動部領域が設定されているか否かを判断する（ステップＳ２０２）。可動部領域とは、自車両１の構造物において動く部分がカメラに写り込む際、この動く部分が映像内で占める領域をいう。
可動部領域の設定の一例を図６を用いて説明する。図６では後方映像４０３における可動領域の設定の一例を示すものである。この映像の中で、左後輪４Ｂ（L）及び右後輪４Ｂ（R）は、自車両１の移動時に車軸に沿って回転する可動部である。例えば、映像内でタイヤの溝などが移動する。このため、映像内でこれらの部分を囲む領域を、後輪４Ｂに対する可動部領域５０１と設定する。
図５に戻り、車体外部移動物体検知装置１００は、このような可動部領域が設定されていると判断した場合は、（ステップＳ２０３）へ進み、それ以外の場合は、（ステップＳ２０６）へ進む。
車体外部移動物体検知装置１００は、可動部領域を取得する（ステップＳ２０３）。具体的には、可動領域設定部１０３において、映像内での可動部領域の形状及び配置の情報を取得する。ここでは、後方カメラ３０３の設置位置や設置方向等の可動領域設定部１０３が保持するカメラの属性情報から、自車両１のどの部分が後方カメラ３０３に映り込むかを算出することで、図６のような自車両１の後部と後輪４Ｂの一部が映像内の下方に映り込む結果が得られる。また、後輪４Ｂが可動部であるという情報を用いて、映像内の後輪４Ｂの映り込んでいる領域を可動部領域５０１として取得する。更なる詳細については、後述する。
車体外部移動物体検知装置１００は、検知対象領域を作成する（ステップＳ２０４）。具体的には、映像内における、移動物体が存在するかどうかを検知する領域（検知対象領域）を作成する。ここでは、図７に示す後方映像４０３の中で、後輪４Ｂに対する可動部領域５０１を除いたすべての領域を検知対象として作成し、この領域を後方の検知対象領域６０１としている。
車体外部移動物体検知装置１００は、検知対象領域が空集合Φであるかどうかを判断する（ステップＳ２０５）。具体的には、（ステップＳ２０４）にて、検知対象領域を作成する際に、例えば映像の全面にわたって自車両１の可動部領域が存在する場合は、検知対象領域は空集合Φと判断される。したがって、図７に示す例においては、後方映像４０３の全面ではなく、後方映像４０３の一部にのみ可動部領域５０１が存在しているため、空集合Φと判断しない。検知対象領域が空集合Φである場合と判断した場合は、（ステップＳ２０７）へ進み、それ以外の場合は、（ステップＳ２０６）へ進む。
車体外部移動物体検知装置１００は、移動物体検知部１０４にて移動物体検知処理を実行する（ステップＳ２０６）。この検知処理を行う映像内での領域は、ステップＳ２０４にて作成した検知対象領域である。
検知処理の一例を図８を用いて説明する。図８は、後方映像４０３における移動物体検知処理を示すものであって、上から順に（ａ）ある時刻ｔ０−１における映像、（ｂ）ある時刻ｔ０−１より後の別の時刻ｔ０における映像、（ｃ）検知結果映像を示している。これら映像内で検知処理を行うのは、検知対象領域６０１の内部である。またこれら映像内には、移動物体として人物が存在している。
ここで、図８（ａ）には、ある時刻ｔ０−１における移動物体７０１が後方映像４０３上に撮影されている様子が示され、図８（ｂ）には、それよりも後である別の時刻ｔ０における移動物体７０２が後方映像４０３上に撮影されている様子が示されている。これらの移動物体は同一のものであり、時間の推移に伴って移動している様子が後方カメラ３０４によって撮影されている。
図４に示す移動物体検知部１０４は、周囲映像入力部１０１から入力するこれらの映像を比較し、時間の推移に伴って映像に変化が発生した箇所を算出する。算出により得られた、検知対象領域６０１内の検知結果７０３は後方映像４０３上での座標情報を保持している。なお、映像に変化が発生していない場合はこのような検知結果は得られない。
図５に戻り、車体外部移動物体検知装置１００は、未処理映像があるか否かを判断する（ステップＳ２０７）。具体的には、複数のカメラからの周囲映像において、検知処理を適用していない映像が残っているか否かを判断する。例えば、本実施の形態においては、対象となる映像を切換えながら、前方カメラ３０１、左方向カメラ３０２、後方カメラ３０３、右方向カメラ３０４が撮影した映像について、１フレームにつき合計４回の検知処理を行なう。車体外部移動物体検知装置１００は、未処理映像があると判断した場合は、（ステップＳ２０２）へ進み、それ以外の場合は、（ステップＳ２０８）へ進む。
車体外部移動物体検知装置１００は、合成映像構築部１０２において合成映像を構築する（ステップＳ２０８）。具体的には、前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４それぞれの縦および横の長さを半分にして面積を縮小し、この４種類の映像をタイル状に隣接させて配置することにより、４方向の映像を１枚の画面で表示させる。
このような移動物体検知の結果表示の一例を図９に示す。ここでは合成映像構築部１０２で構築したタイル状合成映像８０１を示している。移動体検知部１０４における算出結果にもとづく座標値を用いて、移動物体を検知した部分に検知対象領域内の検知結果７０３を描画している。
図５に戻り、車体外部移動物体検知装置１００は、合成映像を出力する（ステップＳ２０９）。具体的には、合成映像構築部１０２において構築したタイル状合成映像８０１を、出力部１０５に対して出力する。この映像内において、検知対象領域内の検知結果７０３を表示する。
車体外部移動物体検知装置１００は、検知処理が終了するか否かを判断する（ステップＳ２１０）。例えば、作業が終了したり、外部移動体の検知が不要となって、処理終了を指示する信号が入力された場合には終了し、それ以外のときには最初の手順（ステップＳ２０１）に戻る。
なお、タイル状合成映像８０１を出力に用いる例を説明したが、これに限るものではない。合成映像構築部１０２において前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４の映像を変換して合成し、自車両１とその周囲を俯瞰するような映像を構築して出力部１０３に対して出力することも可能である。このような移動物体検知の結果表示の他の例を図１０に示す。変換した前方映像９０１、変換した左方向映像９０２、変換した後方映像９０３、変換した右方向映像９０４をそれぞれ上方向、左方向、下方向、右方向に配置し、中央に自車両アイコン９０５を配置した俯瞰合成映像９０６を合成する。この映像内において、検知対象領域内の検知結果７０３を表示する。
これらの移動物体検知の結果表示から、左後輪４Ｂ（L）や右後輪４Ｂ（R）が回転していたとしても、その部分は移動物体として検知せず、時刻ｔ０における移動物体７０２のような対象を検知することが可能になる。この結果、利用者は本来注意を向けるべき時刻ｔ０における移動物体７０２のような対象の存在を効率よく知ることができる。
次に、車体外部移動物体検知装置１００を構成する可動部領域設定部１０３の詳細の構成及び動作について図１１乃至図１４を用いて説明する。図１１は本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域設定部の構成を示すブロック図、図１２は本発明の車体外部移動物体検知システムの第１の実施の形態における自車両形状属性保持部に保持される文字データの一例を示す表図、図１３は本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域取得ステップの処理内容を示すフローチャート図、図１４は本発明の車体外部移動物体検知システムの第１の実施の形態における可動部領域の算出の一例を示す概念図である。図１１乃至図１４において、図１乃至図１０に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
図１１に示すように、可動部領域設定部１０３は、自車両形状属性保持部１０３Ａと座標変換部１０３Ｂと可動部領域検出部１０３Ｃとを備えている。
自車両形状属性保持部１０３Ａは、図２に示す自車両１を構成する各部分における形状情報と属性情報と可動部に関する情報とカメラの属性情報とを保持し、これらを座標変換部１０３Ｂへ送出する。ここで、自車両１の形状情報とは、自車両１の空間的構成を３次元空間上の点と線、面により表すものであって、例えば、ＣＡＤ向けの形状データのようなものである。
カメラの属性情報とは、例えば、前方カメラ情報として前方カメラ３０１の空間的な設置位置と方向並びに画角や焦点距離といったカメラに付随する情報がある。同様に左方向カメラ３０２の左方向カメラ情報、後方カメラ３０３の後方カメラ情報、右向カメラ３０４の右方向カメラ情報等が構成される。
自車両１の可動部とは、利用者の操作により移動や回転を行なう自車両１に属する部分をいう。可動部に関する情報としては、左前輪情報として図２に示す左前輪４Ａ（L）の形状や配置、操舵や走行といった自車両１の操作によってどのように映像上の形状や配置が変化するかといった情報がある。同様に構成される左後輪４Ｂ（L）の左後輪情報、右前輪４Ａ（R）の右前輪情報、右後輪４Ｂ（R）の右後輪情報、ベッセル３のベッセル情報等が構成される。
図１２は、自車両形状属性保持部１０３Ａに保持される文字データの一例を示す表図である。ここで、自車両１は、各部分の形状情報や属性情報等の集合で示される。図１２には、左前輪４Ａ（L）に関する情報である左前輪情報や前方カメラ３０１に関する属性情報である前方カメラ情報の記述を例示している。
左前輪情報は、まず属性情報として左前輪４Ａ（L）の属性（Ａｔｔｒｉｂｕｔｅ）が可動部であることを記述している。次に、形状情報として左前輪４Ａ（L）の形状（Ｓｈａｐｅ）をＣＡＤ向けの形状データとして記述している。そして可動部に関する情報として、可動部である左前輪４Ａ（L）の移動や回転の中心となる位置（Ｐｉｖｏｔ）や可動範囲（Ｒａｎｇｅ）、角度（Ａｎｇｌｅ）等を併せて記述している。
前方カメラ情報は、前方カメラ３０１の設置位置（Ｐｏｓｉｔｉｏｎ）や中心の方向（Ｄｉｒｅｃｔｉｏｎ）、画角（ＦＯＶ）等を記述している。
このように、自車両１を構成する各部分の情報を組合せることで、自車両１の形状を表現する。なお、本実施の形態においては、各カメラに映り込む可能性のある物体に関してのみ処理を行なうので、移りこむ可能性のない形状、例えば自車両１の屋根等についての情報は、自車両形状属性保持部１０３Ａに保持しなくても良い。
次に、可動部領域取得ステップの処理内容を図１３を用いて説明する。可動部領域取得ステップは、図５に示す処理フローチャート図の（ステップＳ２０３）の処理内容をさらに詳しく説明するものである。
車体外部移動物体検知装置１００は、図５の（ステップＳ２０２）にて、可動部領域が設定されていると判断した場合、可動部領域を取得するために、図１３に示す自車両形状を取得する（ステップＳ２０３１）。具体的には、自車両形状属性保持部１０３Ａが保持している自車両１の形状の情報を取得する。
車体外部移動物体検知装置１００は、カメラ情報を取得する（ステップＳ２０３２）。具体的には映像を撮影するカメラに関する情報を取得する。例えば、前方カメラ３０１で映像を撮影する場合、前方カメラ情報を取得する。
車体外部移動物体検知装置１００は、座標変換を実行する（ステップＳ２０３３）。具体的には、図１１に示す座標変換部１０３Ｂにおいて、前のステップで取得した自車両１の形状の情報とカメラの属性情報とを用いて、座標変換を行い、カメラで撮影した映像を表す２次元平面内において、３次元形状がどのように射影されるかを算出する。この結果は、図３に示すカメラが撮影した映像と類似のものであり、２次元平面上の領域内に自車両１の形状の一部が存在する。
車体外部移動物体検知装置１００は、可動部領域を算出する（ステップＳ２０３４）。具体的には、図１１に示す可動部領域検出部１０３Ｃにおいて、座標変換後の２次元平面上に存在する可動部領域を算出する。
可動部領域の算出処理の一例を図１４を用いて説明する。図１４は自車両１の形状情報と後方カメラ情報とを用いて座標変換したものである。座標変換後の２次元平面には、自車両形状のうち、車体２の後部の一部と左後輪４Ｂ（L）と右後輪４Ｂ（R）とベッセル３を表す形状が存在している。この中で、属性として可動部であることが設定されている形状が占有する領域を算出する。
図１４において、左後輪情報Ｈ３７と右後輪情報Ｈ３８とベッセル情報Ｈ３とが、属性情報として可動であることを設定している。但し、ここでは、説明の簡便化のため、左後輪情報Ｈ３７と右後輪情報Ｈ３８の属性についてのみ取り扱う。図１１に示す可動部領域検出部１０３Ｃは、左後輪情報Ｈ３７と右後輪情報Ｈ３８より、２次元平面上でこれらが占有する領域、すなわち後輪４Ｂに対する可動部領域５０１を算出する。
図１３に戻り、車体外部移動物体検知装置１００は、可動部領域を出力する（ステップＳ２０３５）。具体的には、可動領域検出部１０３Ｃが算出した可動部領域を図４に示す移動物体検知部１０４へ出力する。本実施の形態においては、後輪４Ｂに対する可動部領域５０１を出力する。本処理を実行後、図５に示す処理フローチャート図の（ステップＳ２０４）へ進む。
上述した本発明の車体外部移動物体検知システムの第１の実施の形態によれば、周囲映像の中から自車両可動構造物の可動領域を除いた領域に対して移動物体の検知を行なうので、自車両可動構造物に対する誤検知を防止できると共に、利用者が自車両を操作する上で最も注意を払うべき部位である自車両近傍部における検知対象物の見落としを防止できる。これにより、利用者は作業に必要な移動物体検知結果のみを取得できる。この結果、作業全体の運用効率を向上することができる。
以下、本発明の車体外部移動物体検知システムの第２の実施の形態を図面を用いて説明する。図１５は本発明の車体外部移動物体検知システムの第２の実施の形態の構成を示すブロック図、図１６は本発明の車体外部移動物体検知システムの第２の実施の形態における車両情報入力部の処理内容を示すフローチャート図、図１７は本発明の車体外部移動物体検知システムの第２の実施の形態における操舵角と映像の関係を示す概念図、図１８は本発明の車体外部移動物体検知システムの第２の実施の形態における操舵角と可動部領域の形状の関係を示す概念図である。図１５乃至図１８において、図１乃至図１４に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第２の実施の形態においては、自車両１の可動部が時間推移に伴って移動し、映像内の可動部領域が増減する場合であっても、これらの可動部領域を除外した領域で移動物体の検知ができる点が第１の実施の形態と異なる。
具体的には、図１５に示すように車体外部移動物体検知装置１００Ａにおいて、車両情報入力部１００１をさらに備えている。
車両情報入力部１００１は、自車両１の可動部に関係する情報を入力するものであって、例えば、自車両１の操舵角度やベッセル３の作動量などの情報を、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を用いて入力する。車両情報入力部１００１は、入力した車両情報を基に可動部の形状を算出し、この形状が映像内に含まれる場合には、その車両情報等を可動部領域設定部１０３へ出力する。
車両情報として使用する操舵角と映像の関係を図１７を用いて説明する。図１７の左側は、元の操舵角が０度のときの右方向映像４０４を示す。図１７の右側は、利用者がステアリングを右方向へ３０度回転させて、操舵角を３０度としたときの右方向映像４０４を示す。ステアリングの回転に伴い、右前輪４Ａ（R）は映像内で時計回りに回転し、見かけ上の形状を変化させている。
ここで、左側の元の状態においては、操舵角０度を車両情報入力部１００１から取得し、操舵後の右側の状態においては、操舵角３０度を車両情報入力部１００１から取得する。
次に、本実施の形態における可動部領域取得ステップの処理内容を、図１６を用いて説明する。本実施の形態における処理の流れは、図５に類似するが、（ステップＳ２０３）の前に処理を追加する点が異なるため、この部分に関して説明する。
車体外部移動物体検知装置１００Ａは、図５の（ステップＳ２０２）にて、可動部領域が設定されていると判断した場合、車両情報を取得する（ステップＳ１１０１）。具体的には、車両情報入力部１００１より車両に関する情報を入力する。例えば、上述したような操舵角の情報を入力する。
車体外部移動物体検知装置１００Ａは、車両形状を算出する（ステップＳ１１０２）。具体的には、入力した車両情報を基に車両１の可動部の形状を算出する。上述したように、操舵角の大きさに応じて、右前輪４Ａ（R）の配置が変化している。図１７に示すように、操舵角が３０度の場合は、操舵角か０度の場合に比べて右前輪４Ａ（R）の前方部分が車体２の外側に相当する右側にはみ出す形状となる。また、右前輪４Ａ（R）の後方部分は、車体２の内側に相当する左側に入り込む形状になる。
図１６に戻り、車体外部移動物体検知装置１００は、映像領域外か否かを判断する（ステップＳ１１０３）。具体的には、入力した車両情報に基づいて算出した自車両１の可動部の形状が、対象としている映像の中に含まれるか否かを判断する。自車両１の可動部の形状が映像領域外の場合は、（ステップＳ２０４）へ進み、それ以外の場合は、（ステップＳ２０３）へ進む。
車体外部移動物体検知装置１００Ａは、可動部領域設定部１０３において可動部領域を取得する（ステップＳ２０３）。具体的には、入力した車両情報に基づいて算出した自車両１の形状の映像内における形状と配置を取得する。
この可動部領域の取得の一例を図１８を用いて説明する。図１８の左側は、操舵角が０度のときの右方向映像４０４であって、破線部は映像内の可動領域１３０１を示す。図１８の右側は、操舵角が３０度のときの右方向映像４０４であって、破線部は映像内の可動領域１３０２を示す。
車体外部移動物体検知装置１００Ａは、これらの可動部領域を用いて、第１の実施の形態と同様の手法により移動物体の検知を行なう。このことにより、自車両１の状態が変化した場合であっても、それに合わせた可動部領域が取得できるため、自車両１の可動部が検知対象領域に入ることを回避できる。この結果、不要な誤検知を抑制できる。さらに、本来検知対象領域に含めるべき領域が、可動部領域に含まれたままとなることを回避できるので、的確な移動物体検知が実施できる。特に、安全性の確保に重要となる自車両１の近傍で、必要な検知対象領域を可能な限り広く確保することができる。
なお、本実施の形態においては、車両情報の入力経路としてＣＡＮを用いた場合を例に説明したが、これに限るものではない。また、入力する車両情報として操舵角を用いた場合を例に説明したが、これに限るものではない。例えば、自車両１の車輪の回転速度を車両情報として入力し、映像内での車輪の回転による誤検知を回避することが可能になる。同様に、ベッセル３の作動量を車両情報として入力し、映像内でのベッセル３の移動による誤検知を回避することが可能になる。
上述した本発明の車体外部移動物体検知システムの第２の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。
また、上述した本発明の車体外部移動物体検知システムの第２の実施の形態によれば、自車両１の状態が変化した場合であっても、それに合わせた可動部領域が設定されるので、必要な検知対象領域を可能な限り広く確保することができる。
以下、本発明の車体外部移動物体検知システムの第３の実施の形態を図面を用いて説明する。図１９は本発明の車体外部移動物体検知システムの第３の実施の形態における移動物体検知の結果表示の一例を示す概念図である。図１９において、図１乃至図１８に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第３の実施の形態においては、可動部領域の内部を出力部１０５へ出力しない点が第１の実施の形態と異なる。本実施の形態おける処理の流れは、図５や図１６に示す処理と同様である。但し（ステップＳ２０８）の処理内容が異なるため、この部分に関して説明する。
合成映像の構築（ステップＳ２０８）が実行されると、図１９に示すようなタイル状合成映像８０１が構築される。ここでは、図４に示す車体外部移動物体検知装置１００の合成映像構築部１０２において、後輪４Ｂに対する可動部領域５０１の内部を固定色で塗りつぶす処理を行なう。図１９においては、白色で一様に塗りつぶしている。このことにより、移動物体の検知対象とならない可動部領域５０１の内部は、出力部１０５には表示されなくなる。この結果、不要な移動物体を利用者の視覚から隠すことができ、不要な移動物体に対して、利用者に無用な注意を強制することを回避できる。
上述した本発明の車体外部移動物体検知システムの第３の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。
また、上述した本発明の車体外部移動物体検知システムの第３の実施の形態によれば、不要な移動物体を利用者の視覚から隠すことができるので、利用者に無用な注意を強制することを回避できる。
以下、本発明の車体外部移動物体検知システムの第４の実施の形態を図面を用いて説明する。図２０は本発明の車体外部移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の一例を示す概念図、図２１は本発明の車体外部移動物体検知システムの第４の実施の形態における移動物体検知の結果表示の他の例を示す概念図である。図２０及び図２１において、図１乃至図１９に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第４の実施の形態においては、可動部領域において検知された移動物体を、他の領域において検知された移動物体の表示手法と異なる手法で表示する点が第１の実施の形態と異なる。本実施の形態おける処理の流れは、図５や図１６に示す処理と同様である。但し（ステップＳ２０８）の処理内容が異なるため、この部分に関して説明する。
まず、合成映像の構築（ステップＳ２０８）が実行されると、図２０に示すようなタイル状合成映像８０１が構築される。ここでは、図１５に示す車体外部移動物体検知装置１００Ａの合成映像構築部１０２において、操舵角が３０度の場合の可動部領域１３０２を囲むように、検知対象外であることを示す図形１５０１を描画する。ここでは、楕円を描画している。この楕円は、検知対象領域内の検知結果７０３における太線による矩形とは異なる手法による描画である。こうすることで、検知の対象とはならないが見かけ上は移動している物体の映像が、出力部１０５において検知結果７０３とは異なる方式で表示されている。
一方、他の例として、合成映像の構築（ステップＳ２０８）が実行されて、図２１に示すような俯瞰合成映像９０６が構築された場合を説明する。ここでは、図１５に示す車体外部移動物体検知装置１００Ａの合成映像構築部１０２において、操舵角が３０度の場合の右前輪を囲むように、検知対象外であることを示す図形１５０１を描画する。ここでは、楕円を描画している。この楕円は、検知対象領域内の検知結果７０３における太線による矩形とは異なる手法による描画である。こうすることで、検知の対象とはならないが見かけ上は移動している物体の映像が、出力部１０５において検知結果７０３とは異なる方式で表示されている。
このことにより、検知の対象とはならないが、見かけ上は移動している物体の映像が、出力部１０５において検知結果である移動物体とは異なる方式で表示される。この結果、出力部１０５に表示される映像内の移動物体の中でどれが検知対象とならないかを示すことができる。この結果、不要な移動物体に対して、利用者に無用な注意を強制することを回避できる。
上述した本発明の車体外部移動物体検知システムの第４の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。
また、上述した本発明の車体外部移動物体検知システムの第４の実施の形態によれば、出力部１０５に表示される映像内の移動物体の中でどれが検知対象とならないかを示すことができるので、利用者に無用な注意を強制することを回避できる。
以下、本発明の車体外部移動物体検知システムの第５の実施の形態を図面を用いて説明する。図２２は本発明の車体外部移動物体検知システムの第５の実施の形態の構成を示すブロック図、図２３は本発明の車体外部移動物体検知システムの第５の実施の形態における移動物体検知の結果表示の一例を示す概念図である。図２２及び図２３において、図１乃至図２１に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第５の実施の形態においては、利用者による映像内の可動部領域の配置の変更を可能とした点が第１の実施の形態と異なる。具体的には、図２２に示すように車体外部移動物体検知装置１００Ｂにおいて、領域情報入力部１７０１をさらに備えている。
領域情報入力部１７０１は、マウスはキーボードといった入力装置を備え、利用者が出力部における映像内の座標を指定することで、可動部領域の配置を変更可能とするものであり、その座標信号等を可動部領域設定部１０３へ出力する。なお、本実施の形態おける処理の流れは、図５や図１６に示す処理と同様である。但し可動部領域の取得（ステップＳ２０３）の処理内容が異なるため、この部分に関して説明する。
本実施の形態における（ステップＳ２０３）での可動部領域の取得について図２３を用いて説明する。ここでは、タイル状合成映像８０１の一例を示している。自車両１に取付けられた前方カメラ３０１、左方向カメラ３０２、後方カメラ３０３、右方向カメラ３０４は、取付けの際のわずかな誤差により、位置や角度が必ずしも仕様通りにならない場合がある。このような場合、可動部領域設定部１０３において設定する可動部領域と、映像内で実際に可動部が占有している領域にずれが生じる可能性がある。
図２３に示す例では、後輪４Ｂに対する可動部領域５０１と、映像内に存在する実際の後輪４Ｂの可動部との間に、配置の差が存在している。この差を解消するために、利用者による可動部領域の配置の変更を行なう。
利用者は、領域情報入力部１７０１の入力装置から、出力部における映像内の座標を入力指定する。指定した座標は入力カーソル１８０１にて示される。その後、利用者は可動部領域操作ボタン１８０２を押下し、入力カーソル１８０１を移動させて、後輪４Ｂに対する可動部領域５０１が、実際の後輪４Ｂの可動部と重なるように座標を指定する。
次に設定完了ボタン１８０３を押下して、後輪４Ｂに対する可動部領域５０１の配置を完了させる。このことにより、車体外部移動物体検知装置１００Ｂは、新たに配置した後輪４Ｂに対する可動部領域５０１を用いて処理を行う。
このように、本実施の形態においては、カメラ取り付けの際の誤差等により、可動部領域設定部１０３において設定する可動部領域と、映像内で実際に可動部が占有している領域との間に差が発生した場合であっても、的確な可動部領域を再度設定することができる。この結果、移動物体の検知処理をより正確に行うことが可能になる。
上述した本発明の車体外部移動物体検知システムの第５の実施の形態によれば、上述した第１の実施の形態と同様の効果を得ることができる。
また、上述した本発明の車体外部移動物体検知システムの第５の実施の形態によれば、設定する可動部領域と、映像内で実際に可動部が占有している領域との間に差が発生した場合であっても、的確な可動部領域を再度設定することができるので、移動物体の検知処理をより正確に行うことが可能になる。
以下、本発明の車体外部移動物体検知システムの第６の実施の形態を図面を用いて説明する。図２４は本発明の車体外部移動物体検知システムの第６の実施の形態における移動物体検知の結果表示の一例を示す概念図である。図２４において、図１乃至図２３に示す符号と同符号のものは、同一部分であるので、その詳細な説明は省略する。
本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第５の実施の形態と大略同様である。第６の実施の形態においては、利用者による映像内の可動部領域の描画を可能とした点が第５の実施の形態と異なる。
第５の実施の形態において、上述したように、自車両１に取付けられた前方カメラ３０１、左方向カメラ３０２、後方カメラ３０３、右方向カメラ３０４は、取付けの際のわずかな誤差により、位置や角度が必ずしも仕様通りにならない場合には、可動部領域設定部１０３において設定する可動部領域と、映像内で実際に可動部が占有している領域にずれが生じる可能性がある。
そして、このずれが大きくなると、カメラの視点の変化が大きくなり、映像内における可動部の見かけ上の形状の変化が大きくなることが想定される。図２４に示す例では、後輪４Ｂに対する可動部領域５０１と、映像内に存在する実際の後輪４Ｂの可動部との間に形状の差が存在している。この差を解消するために、利用者による可動部領域の形状の変更（入力した領域を可動部領域として割り当てること）を行なう。
利用者は、領域情報入力部１７０１の入力装置から、出力部における映像内の座標を入力指定する。指定した座標は入力カーソル１８０１にて示される。その後、利用者は可動部領域描画ボタン１９０１を押下し、入力カーソル１８０１を移動させて、後輪４Ｂに対する可動部領域５０１が、実際の後輪４Ｂの可動部と重なるように可動部領域の形状を描画する。
次に設定完了ボタン１８０３を押下して、後輪４Ｂに対する可動部領域５０１の形状の変更を完了させる。このことにより、車体外部移動物体検知装置１００Ｂは、新たに形状を変更した後輪４Ｂに対する可動部領域５０１を用いて処理を行う。
このように、本実施の形態においては、カメラ取り付けの際の誤差等により、可動部領域設定部１０３において設定する可動部領域と、映像内で実際に可動部が占有している領域との間に差が発生した場合であっても、的確な可動部領域を再度設定することができる。この結果、移動物体の検知処理をより正確に行うことが可能になる。
上述した本発明の車体外部移動物体検知システムの第６の実施の形態によれば、上述した第１の実施の形態及び第５の実施の形態と同様の効果を得ることができる。
また、上述した本発明の車体外部移動物体検知システムの第６の実施の形態によれば、設定する可動部領域と、映像内で実際に可動部が占有している領域との間に差が発生した場合であっても、的確な可動部領域を再度設定することができるので、移動物体の検知処理をより正確に行うことが可能になる。
なお、本発明の実施の形態は建設機械として大型のダンプトラックに適用した場合を例に説明したが、これに限られるものではない。建設現場における大型機械や災害現場における大型の作業機械にも適用することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
１ ダンプトラック（自車両）、２ 車体、３ ベッセル（荷台）、４Ａ 前輪、４Ｂ 後輪、８ 運転室、１００ 車体外部移動物体検知装置、１０１ 周囲映像入力部、１０２ 合成映像構築部、１０３ 可動領域設定部、１０４ 移動物体検知部、１０５ 出力部、３０１ 前方カメラ、３０２ 左方向カメラ、３０３ 後方カメラ、３０４ 右方向カメラ、４０１ 前方映像、４０２ 左方向映像、４０３ 後方映像、４０４ 右方向映像、１００１ 車両情報入力部、１７０１ 領域情報入力部、１８０１ 入力カーソル

Claims (5)

  1. 自車両の周囲の映像を撮影し周囲映像として送出する周囲映像入力部と、
    移動物体検知の結果出力を含む合成映像を前記周囲映像から合成して構築する合成映像構築部と、
    前記合成映像を利用者に提示する出力部とを備えた車体外部移動物体検知システムにおいて、
    前記周囲映像における前記自車両の可動部の形状と配置を設定し、前記自車両の可動部の領域を算出する可動部領域設定部と、
    前記可動部領域設定部が算出した可動部領域と前記周囲映像入力部から前記周囲映像を入力し、前記周囲映像から前記可動部領域を除いた領域に対して、移動物体の検知処理を行い検知の結果を出力する移動物体検知部とを備えた
    ことを特徴とする車体外部移動物体検知システム。
  2. 請求項１に記載の車体外部移動物体検知システムにおいて、
    前記自車両の情報を取得し送出する車両情報入力部を更に備え、
    前記可動部領域設定部は、前記車両情報入力部からの前記自車両の情報を基に前記周囲映像内における前記可動部の形状と配置を算出する
    ことを特徴とする車体外部移動物体検知システム。
  3. 請求項２に記載の車体外部移動物体検知システムにおいて、
    前記合成映像構築部は、前記周囲映像内における前記可動部領域の表示を、前記移動物体の検知の結果表示とは異なる描画手法で行なう
    ことを特徴とする車体外部移動物体検知システム。
  4. 請求項１または２に記載の車体外部移動物体検知システムにおいて、
    前記出力部に表示している映像内における座標を入力可能な座標入力部を更に備え、
    前記可動部領域設定部は、前記可動部領域を前記周囲映像内の前記座標入力部で入力した座標の位置へ移動させる
    ことを特徴とする車体外部移動物体検知システム。
  5. 請求項１または２に記載の車体外部移動物体検知システムにおいて、
    前記出力部に表示している映像内における領域を入力可能な領域入力部を更に備え、
    前記可動部領域設定部は、前記周囲映像内の前記領域入力部で入力した領域を前記可動部領域として割り当てる
    ことを特徴とする車体外部移動物体検知システム。
JP2015019925A 2015-02-04 2015-02-04 車体外部移動物体検知装置 Active JP6456173B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015019925A JP6456173B2 (ja) 2015-02-04 2015-02-04 車体外部移動物体検知装置
PCT/JP2015/075361 WO2016125332A1 (ja) 2015-02-04 2015-09-07 車体外部移動物体検知システム
US15/511,301 US9990543B2 (en) 2015-02-04 2015-09-07 Vehicle exterior moving object detection system
CN201580045783.8A CN106797450B (zh) 2015-02-04 2015-09-07 车身外部移动物体探测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015019925A JP6456173B2 (ja) 2015-02-04 2015-02-04 車体外部移動物体検知装置

Publications (2)

Publication Number Publication Date
JP2016144110A true JP2016144110A (ja) 2016-08-08
JP6456173B2 JP6456173B2 (ja) 2019-01-23

Family

ID=56563691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015019925A Active JP6456173B2 (ja) 2015-02-04 2015-02-04 車体外部移動物体検知装置

Country Status (4)

Country Link
US (1) US9990543B2 (ja)
JP (1) JP6456173B2 (ja)
CN (1) CN106797450B (ja)
WO (1) WO2016125332A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021062749A (ja) * 2019-10-15 2021-04-22 アイシン精機株式会社 駐車支援装置
JP2021185366A (ja) * 2018-03-29 2021-12-09 ヤンマーパワーテクノロジー株式会社 障害物検知システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082388A1 (ja) * 2015-11-11 2017-05-18 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
CN107925745B (zh) * 2015-11-30 2020-09-08 住友重机械工业株式会社 施工机械用周边监视系统
JP6599835B2 (ja) * 2016-09-23 2019-10-30 日立建機株式会社 鉱山用作業機械、障害物判別装置、及び障害物判別方法
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
JP6761102B2 (ja) * 2017-02-22 2020-09-23 住友建機株式会社 ショベル
JP7091896B2 (ja) * 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
JP7265323B2 (ja) * 2018-07-31 2023-04-26 株式会社小松製作所 作業機械を制御するためのシステム及び方法
JP7374602B2 (ja) 2019-03-29 2023-11-07 日立建機株式会社 作業車両
KR102669246B1 (ko) * 2019-04-05 2024-05-29 볼보 트럭 코퍼레이션 차량을 지지하는 도로 세그먼트의 도로 능력을 나타내는 파라미터를 결정하기 위한 방법 및 제어 유닛
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
US10949685B2 (en) 2019-07-22 2021-03-16 Caterpillar Inc. Excluding a component of a work machine from a video frame based on motion information
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN111340966B (zh) * 2019-12-12 2022-03-08 山东中创软件工程股份有限公司 一种车辆检测方法、装置及系统
KR102402254B1 (ko) * 2020-01-20 2022-05-26 현대두산인프라코어 주식회사 휠 로더의 제어 시스템 및 방법
US20230377047A1 (en) * 2022-05-18 2023-11-23 The Toronto-Dominion Bank Systems and methods for automated data processing using machine learning for vehicle loss detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
WO2012066589A1 (ja) * 2010-11-15 2012-05-24 三菱電機株式会社 車載用画像処理装置
JP2012160972A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像処理装置及び画像処理方法
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4809019B2 (ja) * 2005-08-31 2011-11-02 クラリオン株式会社 車両用障害物検出装置
JP5272818B2 (ja) 2009-03-13 2013-08-28 オムロン株式会社 画像処理装置および方法、並びに、プログラム
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
DE102015201317A1 (de) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Vermessen einer Abmessung auf einer Oberfläche
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
WO2012066589A1 (ja) * 2010-11-15 2012-05-24 三菱電機株式会社 車載用画像処理装置
JP2012160972A (ja) * 2011-02-01 2012-08-23 Canon Inc 画像処理装置及び画像処理方法
WO2014073571A1 (ja) * 2012-11-08 2014-05-15 日立建機株式会社 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185366A (ja) * 2018-03-29 2021-12-09 ヤンマーパワーテクノロジー株式会社 障害物検知システム
JP2021062749A (ja) * 2019-10-15 2021-04-22 アイシン精機株式会社 駐車支援装置
JP7419741B2 (ja) 2019-10-15 2024-01-23 株式会社アイシン 駐車支援装置

Also Published As

Publication number Publication date
JP6456173B2 (ja) 2019-01-23
WO2016125332A1 (ja) 2016-08-11
CN106797450B (zh) 2019-12-20
US9990543B2 (en) 2018-06-05
CN106797450A (zh) 2017-05-31
US20170286763A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6456173B2 (ja) 車体外部移動物体検知装置
JP6262068B2 (ja) 車体近傍障害物報知システム
US9167214B2 (en) Image processing system using unified images
US20150098623A1 (en) Image processing apparatus and method
US20220101552A1 (en) Image processing system, image processing method, learned model generation method, and data set for learning
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
JP2009292254A (ja) 車両操作システム及び車両操作方法
JP7283059B2 (ja) 周辺監視装置
JP6339337B2 (ja) 車両周囲移動物体検知システム
JP6352797B2 (ja) 作業機械の周囲監視装置
US9162621B2 (en) Parking support apparatus
EP4050892A1 (en) Work assist server, work assist method, and work assist system
JP2015184839A (ja) 画像生成装置、画像表示システム及び画像生成方法
CN114521228A (zh) 容器测量系统
JP2013200778A (ja) 画像処理装置、画像処理方法
CN111767843A (zh) 三维位置预测方法、装置、设备以及存储介质
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
US11472416B2 (en) Multi-dimensional mobile machine path visualization and control system
JP6796518B2 (ja) 移動物体検知システム
JP2014071655A (ja) 遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法
JP6569356B2 (ja) 情報呈示装置及び情報呈示方法
WO2022201735A1 (ja) 情報提示装置
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7490948B2 (ja) 作業支援サーバおよび作業支援システム
US20220161723A1 (en) Parking assistance system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181218

R150 Certificate of patent or registration of utility model

Ref document number: 6456173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150