JP2015065515A - 車両周囲移動物体検知システム - Google Patents

Abstract

【課題】大型の建設機械の自車両の車体下部などの合成俯瞰映像として表示されない箇所においても移動物体の検知を行うと共に、その結果を利用者に報知できる車両周囲移動物体検知システムを提供する。【解決手段】自車両の周囲の複数の映像を撮影する周囲映像入力部と、前記前記周囲映像入力部が撮影した複数の周囲映像から合成映像構成用領域を抽出して、抽出した複数の合成映像構成用領域を合成することで合成俯瞰映像を構築する合成映像構築部と、前記合成俯瞰映像を利用者に提示する出力部とを備えた車両周囲移動物体検知システムにおいて、前記複数の周囲映像に関して移動物体の検知処理を行う移動物体検知処理部とを有し、前記移動物体検知処理部は、前記合成俯瞰映像に示す領域以外で移動物体を検知した場合にも検知結果を前記合成俯瞰映像に出力して前記利用者に報知する。【選択図】 図４

Description

本発明は、車両周囲移動物体検知システムに係り、さらに詳しくは、鉱山で作業を行う大型ダンプトラック等の建設機械において、車両近傍を移動する物体との接触を回避するための車両周囲移動物体検知システムに関する。

本技術分野の背景技術として、特開２０１０−１４７５２３号公報（特許文献１）がある。この公報には、“共通領域における立体物の消失を回避しつつ、監視者が注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を生成すること。”が記載されている。

特開２０１０−１４７５２３号公報

従来の車両周囲検知システムでは、複数のカメラが撮影する自車両周囲の映像から一部を抽出し、形状を変換、合成することにより、合成俯瞰画像を生成して、利用者に自車両周囲の状況を示すとともに、利用者が注目すべき物体（立体物）が映像中に存在する場合はこれを強調表示することで利用者に注意を促していた。

一方、鉱山向けのダンプトラックなど大型の建設機械は、自車両の車体下部にも広い空間が存在する。したがって、建設機械の安全な作業を確保するためには、車体下部の空間に人物や車両が立ち入っていないことを確認することが重要となる。

しかしながら、上述した従来のシステムでは、合成俯瞰画像を生成して自車両周囲の状況を表示すると共に、表示した箇所における物体（立体物）の検知を行うため、自車両の車体下部などの合成俯瞰画像に表示されない箇所に人物や他車両が立ち入った場合、立体物の検知がなされず利用者に注意を促すことができない。このため、作業上の安全を損なう虞があった。

本発明は上述の事柄に基づいてなされたものであって、その目的は、大型の建設機械の自車両の車体下部などの合成俯瞰映像として表示されない箇所においても移動物体の検知を行うと共に、その結果を利用者に報知できる車両周囲移動物体検知システムを提供するものである。

上記の目的を達成するために、第１の発明は、自車両の周囲の複数の映像を撮影する周囲映像入力部と、前記前記周囲映像入力部が撮影した複数の周囲映像から合成映像構成用領域を抽出して、抽出した複数の合成映像構成用領域を合成することで合成俯瞰映像を構築する合成映像構築部と、前記合成俯瞰映像を利用者に提示する出力部とを備えた車両周囲移動物体検知システムにおいて、前記複数の周囲映像に関して移動物体の検知処理を行う移動物体検知処理部とを有し、前記移動物体検知処理部は、前記合成俯瞰映像に示す領域以外で移動物体を検知した場合にも検知結果を前記合成俯瞰映像に出力して前記利用者に報知するものとする。

また、第２の発明は、第１の発明において、移動物体を検知したとの検知結果を表示させない領域である検知結果表示対象外領域の情報を保持する領域情報保持部と、前記領域情報保持部から前記検知結果表示対象外領域の情報を取込み、前記複数の周囲映像から前記検知結果表示対象外領域を除外した映像に関して移動物体の検知処理を行う移動物体検知処理部とを更に備え、前記移動物体検知処理部は、前記合成俯瞰映像に示す領域以外で移動物体を検知した場合にも検知結果を前記合成俯瞰映像に出力して前記利用者に報知することを特徴とする。

更に、第３の発明は、第２の発明において、前記検知結果表示対象外領域は、前記複数の周囲映像に映りこんだ前記自車両の一部であることを特徴とする。

また、第４の発明は、第２の発明において、前記移動物体検知処理部は、前記自車両の下部で移動物体を検知した場合に、検知結果を前記合成俯瞰映像にメッセージ出力して前記利用者に報知することを特徴とする。

更に、第５の発明は、第２の発明において、前記移動物体検知処理部は、前記自車両の下部で移動物体を検知した場合に、検知結果を前記合成俯瞰映像における自車両を示す位置に描画出力して前記利用者に報知することを特徴とする。

また、第６の発明は、第２の発明において、前記自車両と検知した移動物体との距離に応じて、強調表示の強調の度合いを示す色の情報を保持する強調情報保持部を更に備え、前記移動物体検知処理部は、前記強調情報保持部から前記強調表示での強調の度合いを示す色の情報を取込み、前記自車両と検知した移動物体との距離から強調表示色を設定し、検知結果である前記移動物体を設定した前記強調表示色で前記合成俯瞰映像上に表示して前記利用者に報知することを特徴とする。

本発明によれば、自車両周囲の状況において、利用者に対して合成俯瞰映像として表示している部分には含まれない箇所で移動物体を検知した場合でも、検知結果を利用者に報知するので、利用者は、自車両の作業上注意すべき対象物の存在と位置関係を迅速に把握できる。これにより、作業上の安全を確保するための確認作業を効率化できると共に、人物や他車両といった対象物との接触を回避することができる。この結果、作業全体の運用効率を向上することができる。

本発明の車両周囲移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態の構成を示すブロック図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における検知結果表示対象外領域の例を示す概念図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における周囲映像からの抽出領域の例を示す概念図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図である。 本発明の車両周囲移動物体検知システムの第１の実施の形態における移動物体検知を説明する概念図である。 本発明の車両周囲移動物体検知システムの第２の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図である。 本発明の車両周囲移動物体検知システムの第３の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図である。 本発明の車両周囲移動物体検知システムの第４の実施の形態の構成を示すブロック図である。 図１２に示す強調情報保持部におけるテーブルの一例を示す表図である。 本発明の車両周囲移動物体検知システムの第４の実施の形態における処理内容を示すフローチャート図である。 本発明の車両周囲移動物体検知システムの第４の実施の形態において移動物体が映った映像の一例を示す概念図である。 本発明の車両周囲移動物体検知システムの第５の実施の形態における強調情報保持部におけるテーブルの一例を示す表図である。 本発明の車両周囲移動物体検知システムの第５の実施の形態において移動物体が映った映像の一例を示す概念図である。

以下、鉱山等で採掘した砕石や鉱物等を運搬する大型の運搬車両であるダンプトラックに適用した場合を例にとって本発明の実施の形態を図面を用いて説明する。なお、本発明の適用はダンプトラックに限定されるものではない。

図１は本発明の車両周囲移動物体検知システムの第１の実施の形態を備えたダンプトラックを示す側面図である。
図１に示すダンプトラック（車両）１は、頑丈なフレーム構造で形成された車体２と、車体２上に起伏可能に搭載されたベッセル（荷台）３と、車体２に装着された左前輪４Ａ（L）及び左後輪４Ｂ（L）を主に備えている。

車体２には、後輪４Ｂを駆動するエンジン（図示せず）が配設されている。エンジンは、例えば、エンジン制御装置（以下ＥＣＵという）を有し、ＥＣＵからの指令信号によって、供給される燃料流量が制御されることで、その回転数が制御されている。

ベッセル３は、砕石物等の荷物を積載するために設けられた容器であり、ピン結合部５等を介して車体２に対して起伏可能に連結されている。ベッセル３の下部には、車両の幅方向に所定の間隔を介して２つの起伏シリンダ６が設置されている。起伏シリンダ６に圧油が供給・排出されると、起伏シリンダ６が伸長・縮短してベッセル３が起伏される。また、ベッセル３の前側上部には庇部７が設けられている。

庇部７は、その下側（すなわち車体２の前部）に設置された運転室８を岩石等の飛散物から保護するとともに、車両転倒時等に運転室８を保護する機能を有している。運転室８の内部には、車両周囲移動物体検知システムを構成する制御装置１００（図４参照）と、操舵用のハンドル（図示せず）と、アクセルペダル及びブレーキペダル等（図示せず）とが設置されている。

図２は本発明の車両周囲移動物体検知システムの第１の実施の形態における周囲映像入力部を構成するカメラの配置を説明する概念図、図３は本発明の車両周囲移動物体検知システムの第１の実施の形態を構成するカメラが撮影した映像を示す概念図である。

図２において、ダンプトラック１の車体２の前側面と後側面とには、ダンプトラック１の前方を広角レンズで撮影する前方カメラ３０１と、ダンプトラック１の後方を広角レンズで撮影する後方カメラ３０３とが設けられている。また、車体２の左側面と右側面とには、ダンプトラック１の左方向を広角レンズで撮影する左方向カメラ３０２と、ダンプトラック１の右方向を広角レンズで撮影する右方向カメラ３０４とが設けられている。また、ダンプトラック１の車体２には、右前輪４Ａ（R）と左後輪４Ｂ（R）とが装着されている。

図３はこれらのカメラ３０１〜３０３が撮影した周囲映像の例を示す。４０１は前方カメラ３０１が撮影した前方映像の例を示す。４０２は左方向カメラ３０２が撮影した左方向映像の例を示す。４０３は後方カメラ３０３が撮影した後方映像の例を示す。４０４は右方向カメラ３０４が撮影した右方向映像の例を示す。

周囲映像４０１〜４０４は、それぞれ広角レンズで撮影されるため、各映像の上方に位置する遠方の地平線が湾曲状態に映っている。また、各映像の各下方には手前側の車体２の一部や左右前輪４Ａ（R），４Ａ（L）の一部や左右後輪４Ｂ（R），４Ｂ（L）の一部が映っている。これらの周囲映像を基に合成俯瞰映像が生成される。

図４は本発明の車両周囲移動物体検知システムの第１の実施の形態の構成を示すブロック図である。図４において、車両周囲移動物体検知システムの第１の実施の形態は、車両周囲移動物体検知装置１００と、周囲映像入力部１０１とを備えている。

周囲映像入力部１０１は、ダンプトラック１の周囲の様子をそれぞれ撮影する複数のカメラ３０１〜３０４を備えている。周囲映像入力部１０１は、撮影結果である複数の周囲映像４０１〜４０４を車両周囲移動物体検知装置１００へ送信する。

車両周囲移動物体検知装置１００は、移動物体検知部１０２と領域情報保持部１０３と合成映像構築部１０４と出力部１０５とを備えている。

移動物体検知部１０２は、周囲映像入力部１０１が送信した複数の周囲映像４０１〜４０４と、領域情報保持部１０３からの非検知非表示の領域である検知結果表示対象外領域（詳細は後述する）の情報信号とを入力し、周囲映像から検知結果表示対象外領域を除いた領域において移動物体の検知処理を行う。移動物体検知部１０２は、領域情報保持部１０３へ情報要求信号を出力すると共に、移動物体を検知した場合には、検知した位置を示す検知位置座標信号を合成映像構築部１０４へ出力する。

領域情報保持部１０３は、検知結果表示対象外領域の情報信号を保持し、移動物体検知部１０２からの要求に応じて保持した情報信号を移動物体検知部１０２に出力する。ここで、検知結果表示対象外領域とは、周囲映像４０１〜４０４の中で、移動する物体を検知した場合であっても、移動物体を検知したとの検知結果を表示させない領域をいい、例えば、車体２の前輪４Ａや後輪４Ｂ等の自車両１の一部が設定される。

合成映像構築部１０４は、周囲映像入力部１０１の送信した複数の周囲映像４０１〜４０４と、移動物体検知部１０２から移動物体の位置を示す検知位置座標信号とを入力する。合成映像構築部１０４は、合成俯瞰映像を生成するために入力した周囲映像の中から必要な部分を切り出し変形して合成を行い、入力した検知位置の座標信号を基に移動物体の検知位置の部位を強調表示した合成俯瞰映像を生成し、出力部１０５へ出力する。

出力部１０５は、ディスプレイ等を備えていて、合成映像構築部１０４から入力した合成俯瞰映像をディスプレイ等に表示する。

次に、本発明の車両周囲移動物体検知システムの第１の実施の形態における移動物体の検知と表示の処理内容について図５乃至図９を用いて説明する。図５は本発明の車両周囲移動物体検知システムの第１の実施の形態における処理内容を示すフローチャート図、図６は本発明の車両周囲移動物体検知システムの第１の実施の形態における検知結果表示対象外領域の例を示す概念図、図７は本発明の車両周囲移動物体検知システムの第１の実施の形態における周囲映像からの抽出領域の例を示す概念図、図８は本発明の車両周囲移動物体検知システムの第１の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図、図９は本発明の車両周囲移動物体検知システムの第１の実施の形態における移動物体検知を説明する概念図である。図５乃至図９において、図１乃至図４に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

図５において、車両周囲移動物体検知装置１００は、周囲映像入力を行う（ステップＳ１０１）。具体的には、周囲映像入力部１０１で撮影した周囲映像４０１〜４０４を入力する。

車両周囲移動物体検知装置１００は、対象外領域を除外処理する（ステップＳ１０２）。具体的には、図４に示す領域情報保持部１０３の保持する検知結果表示対象外領域の情報を基に、移動物体を検知した場合であっても、検知結果を表示させない領域を設定する。

この設定例を図６を用いて説明する。図６の周囲映像４０１〜４０４において、破線で囲んでいる部分を検知結果表示対象外領域と設定する。前方映像４０１において５０１は前方検知結果表示対象外領域を、左方向映像４０２において５０２は左方向検知結果表示対象外領域を、後方映像４０３において５０３は後方検知結果表示対象外領域を、右方向映像４０４において５０４は右方向検知結果表示対象外領域をそれぞれ示している。

これらの検知結果表示対象外領域においては、この領域で動作する物体を検知した場合であっても、移動物体を検知したとの表示を行わない。例えば、左方向映像４０２または右方向映像４０４において車体２の前輪４Ａや後輪４Ｂの動作を検知しても、出力部１０５に対して移動物体の検知信号が出力されないので、合成俯瞰映像には移動物体が検知されたとの表示はされない。

図５にもどり、車両周囲移動物体検知装置１００は、合成映像の構築を実行する（ステップＳ１０３）。具体的には、図４に示す合成映像構築部１０４において前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４から一部を切り出して境界を接するように並べることにより、ダンプトラック１の前後左右にわたる周囲の状況を表示させる。

この例を図７及び図８を用いて説明する。図７の周囲映像４０１〜４０４において、それぞれの内部に前方抽出領域６０１、左方向抽出領域６０２、後方抽出領域６０３、右方向抽出領域６０４を設ける。これらの抽出領域は、広角カメラの特性を基に、ダンプトラック１の真下から始まって一定距離だけ離れた部分までの間が映ることと、隣接するカメラから入力する映像における抽出領域と当該カメラから入力する映像における抽出領域とが重ならずに隣接することを基に範囲が設定されている。

次に、これら抽出領域６０１〜６０４に対して座標変換及び合成を行うことで、図８に示す合成俯瞰映像６０５を構築する。図８の合成俯瞰映像６０５において、前方抽出領域６０１は前方変換映像６０６へと変換されている。同様に、左方向抽出領域６０２は左方向変換映像６０７に、後方抽出領域６０３は後方変換映像６０８に、右方向抽出領域６０４は右方向変換映像６０９へと変換されている。

合成俯瞰映像６０５において、これらの変換映像６０６〜６０９は順次隣接するように配置されていて、本実施の形態においては、ダンプトラック１の周囲を俯瞰した映像を表現している。なお、変換映像の配置の結果映像が存在しない中央の部分にはダンプトラック１の車体２の存在領域を示すために、自車アイコン６１０を嵌め込み合成している。

図５にもどり、車両周囲移動物体検知装置１００は、検知処理を実行する（ステップＳ１０４）。具体的には、図４に示す移動物体検知部１０２において、移動物体の検知処理を実行する。検知の対象とする映像は、周囲映像入力部１０１から入力する前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４であり、さらにそれぞれの映像内において、前方検知結果表示対象外領域５０１、左方向検知結果表示対象外領域５０２、後方検知結果表示対象外領域５０３、右方向検知結果表示対象外領域５０４での検知結果は対象外としている。

この例を図９を用いて説明する。図９は左方向映像４０２における移動物体の検知を示すものであって、上から順に、（ａ）ある特定時刻ｔ_０より前の時刻である時刻ｔ_０−１における映像、（ｂ）ある特定時刻ｔ_０における映像、（ｃ）移動物体初期検知結果を示す映像、（ｄ）補正済み検知結果を示す映像を示している。

ここで、（ａ）には、時刻ｔ_０−１における移動物体７０２が左方向映像４０２上に撮影されている様子が示され、（ｂ）には特定時刻ｔ_０における移動物体７０１が左方向映像４０２上に撮影されている様子が示されている。これらの移動物体７０１と７０２は同一のものであり、時間の推移に伴って移動している様子が左方向カメラ３０３によって撮影されている。本実施の形態において、特定時刻ｔ_０における移動物体７０１と、特定時刻ｔ_０より前の時刻である時刻ｔ_０−１における移動物体７０２とは、左方向抽出領域６０２の内部には存在していないが、左方向検知結果表示対象外領域５０２からも外れているので、移動物体検知の対象となると共に、移動物体の場合には、その表示がなされる対象となる。

図４に示す移動物体検知部１０２は、周囲映像入力部１０１から入力するこれらの映像を比較し、時間の推移に伴って映像に変化が発生した部位を特定する。具体的には、図９（ｃ）の四角形で示す左方向の検知結果７０３のように、部位を特定する。移動物体検知部１０２は、この左方向の検知結果７０３の左方向映像４０２上での座標情報を算出して保持する。なお、映像に変化が発生していない場合はこのような検知結果は得られない。

図５にもどり、車両周囲移動物体検知装置１００は、（ステップＳ１０４）における検知処理による移動物体の検知の有無を判断する（ステップＳ１０５）。移動物体を検知した場合には、（ステップＳ１０６）へ進み、それ以外の場合には、（ステップＳ１０８）へ進む。

車両周囲移動物体検知装置１００は、検知箇所の座標を算出する（ステップＳ１０６）。具体的には、図４に示す移動物体検知部１０２において前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４の中で得られた移動物体の部位を座標情報に変換し、合成俯瞰映像６０５における座標情報を算出する。座標情報に加える変換は、（ステップＳ１０３）にて合成俯瞰映像６０５を構築する際に用いるものと同等である。

しかし、本ステップにおいては、図９（ｂ）に示すように、特定時刻ｔ_０における移動物体７０１は、左方向映像４０２の内部にはあるものの左方向抽出領域６０２の外部に存在している。このため、この座標情報に変換を加えた場合、変換後の移動物体７０１の座標情報は、図８に示す左方向変換映像６０７の外部を指すことになる。そこで、移動物体検知部１０２は、図９（ｃ）で示す特定時刻ｔ_０における左方向の検知結果７０３に最も近い左方向抽出領域６０２の内部の部位を算出し、この算出した部位を図９（ｄ）に示すように特定時刻ｔ_０における左方向の補正済み検知結果７０４としている。

図５にもどり、車両周囲移動物体検知装置１００は、検知箇所の強調設定を行う（ステップＳ１０７）。具体的には、合成映像構築部１０４にて、移動物体の検知を利用者に示すために、強調表示の設定が行われる。

この例を図８と図９を用いて説明する。図８の合成俯瞰映像６０５において、図９（ｄ）に示す特定時刻ｔ_０における左方向の補正済み検知結果７０４に変換を加えることにより、特定時刻ｔ_０における座標変換後の検知結果８０１に強調表示が設定されている。

図９（ｃ）と図９（ｄ）において、特定時刻ｔ_０における左方向の補正済み検知結果７０４は、左方向抽出領域６０２の内部にあって、かつ特定時刻ｔ_０における左方向の検知結果７０３に最も近い位置に存在している。そして、図８に示す特定時刻ｔ_０における座標変換後の検知結果８０１は、合成俯瞰映像６０５上における左方向変換映像６０７上で、特定時刻ｔ_０における左方向の検知結果７０３の示す移動物体に最も近い位置に存在している。

図５にもどり、車両周囲移動物体検知装置１００は、合成映像を出力する（ステップＳ１０８）。具体的には、合成映像構築部１０４が合成俯瞰映像６０５を出力部１０５へ出力する。上述した処理において、移動物体を検知している場合には、出力部１０５には特定時刻ｔ_０における座標変換後の検知結果８０１のような強調表示が行われた合成俯瞰映像６０５が出力される。

なお、本実施の形態においては、特定時刻ｔ_０における左方向の検知結果７０３に補正を加えた特定時刻ｔ_０における左方向の補正済み検知結果７０４を表示に利用すると共に、図８に示すように三角形の形状で強調表示している。また、上述の処理で移動物体を検知しない場合には、強調表示は行われない。

図５にもどり、車両周囲移動物体検知装置１００は、移動物体の検知及び出力が完了したかどうかを判定する（ステップＳ１０９）。これらの処理が完了した場合は終了し、それ以外の場合は（ステップＳ１０１）に戻る。

上述したように、本実施の形態における移動物体の検知と表示の処理がなされるので、合成俯瞰映像６０５上では表示されていない部位における移動物体の有無に関しても、検知することができ、その存在を強調表示することで、利用者に報知できる。

上述した本発明の車両周囲移動物体検知システムの第１の実施の形態によれば、自車両１の周囲の状況において、利用者に対して合成俯瞰映像６０５として表示している部分には含まれない箇所で移動物体を検知した場合でも、検知結果を利用者に報知するので、利用者は、自車両１の作業上注意すべき対象物の存在と位置関係を迅速に把握できる。これにより、作業上の安全を確保するための確認作業を効率化できると共に、人物や他車両といった対象物との接触を回避することができる。この結果、作業全体の運用効率を向上することができる。

以下、本発明の車両周囲移動物体検知システムの第２の実施の形態を図面を用いて説明する。図１０は本発明の車両周囲移動物体検知システムの第２の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図である。図１０において、図１乃至図９に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第２の実施の形態においては、自車両１の下部にあって合成俯瞰映像６０５上では表示されていない移動物体を検知した場合に、その旨をメッセージ表示することで利用者に報知する点が第１の実施の形態と異なる。

具体的には、第１の実施の形態において図５に示す処理内容を示すフローチャート図の（ステップＳ１０６）と（ステップＳ１０７）の処理と、第１の実施の形態において図８に示す合成俯瞰映像における移動物体の検知結果表示が異なるので、この部分について説明する。

本実施の形態においては、（ステップＳ１０６）において、第１の実施の形態と同様に検知箇所の座標を算出すると共に、この情報を基に検知した移動物体が自車両１の下部にあるか否かを判断する。具体的には、図４に示す移動物体検知部１０２において以下の条件が全て充足されたときに、この移動物体は自車両１の下部に存在すると判断する。
（１）前方映像４０１、左方向映像４０２、後方映像４０３、右方向映像４０４の中のいずれかに移動物体が含まれていること。
（２）図７に示す前方抽出領域６０１、左方向抽出領域６０２、後方抽出領域６０３、右方向抽出領域６０４のそれぞれを示す下辺よりも下側に移動物体が存在すること。
（３）図６に示す前方検知結果表示対象外領域５０１、左方向検知結果表示対象外領域５０２、後方検知結果表示対象外領域５０３、右方向検知結果表示対象外領域５０４のいずれも含まない領域に移動物体が存在すること。

次に（ステップＳ１０７）において、検知箇所の強調設定がなされる。具体的には、合成映像構築部１０４にて、移動物体の検知を利用者に示すための設定が行われる。検知した移動物体が自車両１の下部に存在する場合、“自車体の下部に移動物体を検知しました。”とのメッセージ文字列を出力部１０５に出力するように設定される。同様に、検知した移動物体が自車両１の下部に存在しない場合は、メッセージ文字列を出力部１０５に出力しないように設定される。

図１０は、これらの処理によりなされた出力部１０５上の表示例であって、自車両１の下部に移動物体を検知した場合の様子を示している。ステップ１０６及びステップ１０７の処理により、出力部１０５に表示する合成俯瞰映像６０５上には、自車両１の下部に移動物体を検知したことを示す検知メッセージ９０１が表示されている。これにより、前方変換映像６０６、左方向変換映像６０７、後方変換映像６０８、右方向変換映像６０９のいずれにも表示されない自車両１の下部に存在する移動物体の状態を利用者に報知することができる。

上述した本発明の車両周囲移動物体検知システムの第２の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

また、上述した本発明の車両周囲移動物体検知システムの第２の実施の形態によれば、利用者は、具体的に自車両１の下部に移動物体が存在することを迅速に把握できるので、作業上の安全を確保するための確認作業を効率化できる。この結果、より安全性を確保できる。

以下、本発明の車両周囲移動物体検知システムの第３の実施の形態を図面を用いて説明する。図１１は本発明の車両周囲移動物体検知システムの第３の実施の形態における合成俯瞰映像と移動物体の検知結果表示の一例を示す概念図である。図１１において、図１乃至図１０に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第３の実施の形態においては、自車両１の下部にあって合成俯瞰映像６０５上では表示されていない移動物体を検知した場合に、検知した位置に相当する自車アイコン６１０上の位置に検知結果を表示することで利用者に報知する点が第１の実施の形態と異なる。

具体的には、第１の実施の形態において図５に示す処理内容を示すフローチャート図の（ステップＳ１０６）と（ステップＳ１０７）の処理と、第１の実施の形態において図８に示す合成俯瞰映像における移動物体の検知結果表示が異なるので、この部分について説明する。

本実施の形態においては、（ステップＳ１０６）において、第１の実施の形態と同様に検知箇所の座標を算出するが、このとき、検知結果の補正を行わず、特定時刻ｔ_０における左方向の検知結果７０３をその後の処理で使用する。なお、特定時刻ｔ_０における左方向の検知結果７０３は、図７（ｃ）に示すように、自車両１の下部、前輪４Ａの後ろ側に存在している。

次に（ステップＳ１０７）において、検知箇所の強調設定がなされる。具体的には、合成映像構築部１０４にて、移動物体の検知を利用者に示すために、強調表示の設定が行われる。

この例を１１を用いて説明する。図１１の合成俯瞰映像６０５において、図９（ｃ）に示す特定時刻ｔ_０における左方向の検知結果７０３に変換を加えることにより、特定時刻ｔ_０における座標変換後の検知結果１００１に強調表示が設定されている。

図９（ｃ）において、特定時刻ｔ_０における左方向の検知結果７０３は、左方向抽出領域６０２の外部に存在するため、座標変換を行うと図１０の自車アイコン６１０の表示領域内部に存在することになる。このため、図１０において、特定時刻ｔ_０における座標変換後の検知結果１００１が自車アイコン６１０の上に重ねるように表示されている。これにより、前方変換映像６０６、左方向変換映像６０７、後方変換映像６０８、右方向変換映像６０９のいずれにも表示されない自車両１の下部に存在する移動物体の状態を、大略の位置を含めて利用者に報知することができる。

上述した本発明の車両周囲移動物体検知システムの第３の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

また、上述した本発明の車両周囲移動物体検知システムの第３の実施の形態によれば、利用者は、具体的に自車両１の下部に移動物体が存在することと、大略の位置を迅速に把握できるので、作業上の安全を確保するための確認作業を効率化できる。この結果、より安全性を確保できる。

以下、本発明の車両周囲移動物体検知システムの第４の実施の形態を図面を用いて説明する。図１２は本発明の車両周囲移動物体検知システムの第４の実施の形態の構成を示すブロック図、図１３は図１２に示す強調情報保持部におけるテーブルの一例を示す表図、図１４は本発明の車両周囲移動物体検知システムの第４の実施の形態における処理内容を示すフローチャート図、図１５は本発明の車両周囲移動物体検知システムの第４の実施の形態において移動物体が映った映像の一例を示す概念図である。図１２乃至図１５において、図１乃至図１１に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第１の実施の形態と大略同様である。第４の実施の形態においては、移動物体が自車両１に対してより近い位置に存在する場合に、移動物体の検知結果をより強調して表示して利用者に報知する点が第１の実施の形態と異なる。

具体的には、図１２に示すように車両周囲移動物体検知装置１００Ａにおいて、強調情報保持部１０６をさらに備えている。
強調情報保持部１０６は、出力部１０５で表示する映像において、自車両１と移動物体との距離に応じて、強調表示での強調の度合いを示す色の情報信号を例えばテーブルとして保持し、合成映像構築部１０４に出力する。

強調情報保持部１０６が保持するテーブルの一例を図１３に示す。本実施の形態においては、周囲映像４０１〜４０４における移動物体と自車両１との距離Ｌが３００ピクセル以上離れている場合には、強調表示色として緑色を使用する。同様に距離Ｌが１５０ピクセル以上３００ピクセル未満の場合は強調表示色を黄色とし、距離が０ピクセル以上１５０ピクセル未満の場合は強調表示色を赤色としている。なお、強調情報保持部１０６には、この他の種類のテーブルを格納することも可能である。

次に、本発明の車両周囲移動物体検知システムの第４の実施の形態における移動物体の検知と表示の処理内容について図１４と図１５を用いて説明する。本実施の形態における処理内容は、図５に示す第１の実施の形態における処理内容とは、（ステップＳ１０６）と（ステップＳ１０７）との間に（ステップＳ２０６）が加わっている点が異なるが、その他は同様である。

本実施の形態においては、車両周囲移動物体検知装置１００Ａは、（ステップＳ１０６）において、第１の実施の形態と同様に検知箇所の座標を算出した後、この検知箇所の座標を基に領域内容の強調設定を行う（ステップＳ２０６）。具体的には、図１２に示す合成映像構築部１０４が周囲映像４０１〜４０４における移動物体と自車両１との距離Ｌを算出し、強調情報保持部１０６の保持するテーブルと照らしあわて強調表示色を設定する。

図１５に示すように、例えば、前方映像４０１において、移動物体１００１と自車両１との距離Ｌが２００ピクセルであった場合、（ステップＳ２０６）において、合成映像構築部１０４が強調表示色を黄色に設定する。

図１４にもどり、車両周囲移動物体検知装置１００Ａは、検知箇所の強調設定を行う（ステップＳ１０７）。具体的には、合成映像構築部１０４にて、強調表示色を黄色に設定する。この後、（ステップＳ１０８）での合成映像出力において、合成俯瞰映像６０５に対して移動物体１００１を黄色で強調表示される。

これらの処理が実行されることより、例えば、移動物体１００１が自車両１に近づいてくる場合、その接近距離につれて、緑色から黄色、黄色から赤色へと強調表示色の強調度が増大する。このことにより、運転の安全性確保にとって重要となる自車両１の近傍の移動物体１００１の存在を利用者により強調することができる。

上述した本発明の車両周囲移動物体検知システムの第４の実施の形態によれば、上述した第１の実施の形態と同様な効果を得ることができる。

また、上述した本発明の車両周囲移動物体検知システムの第４の実施の形態によれば、移動物体１００１の存在を強調表示すると共に、距離に応じて強調表示色を変化させているので、利用者は、移動物体１００１の存在と共に、移動物体１００１と自車両１との距離Ｌとを感覚的に迅速に把握できる。この結果、より安全性を確保できる。

なお、本実施の形態においては、移動物体１００１の強調表示を色の切り替えで行っているが、これに限るものではない。例えば、表示する線の太さや、表示を点滅させる速度といった情報に対応づけることも可能である。

以下、本発明の車両周囲移動物体検知システムの第５の実施の形態を図面を用いて説明する。図１６は本発明の車両周囲移動物体検知システムの第５の実施の形態における強調情報保持部におけるテーブルの一例を示す表図、図１７は本発明の車両周囲移動物体検知システムの第５の実施の形態において移動物体が映った映像の一例を示す概念図である。図１６及び図１７において、図１乃至図１５に示す符号と同符号のものは同一部分であるので、その詳細な説明は省略する。

本実施の形態における車両周囲移動物体検知システムは、その構成及び運用方法は第４の実施の形態と大略同様である。第５の実施の形態においては、強調情報保持部１０６の保持するテーブルが第４の実施の形態と異なる。

本実施の形態の強調情報保持部１０６が保持するテーブルの一例を図１６に、また、移動物体が映った映像の一例を図１７に示す。上述した周囲映像４０１〜４０４に示すように、撮影条件にもとづき、周囲映像のより上方に撮影されている物体ほど自車両１の車体２からより遠い位置に存在し、周囲映像のより下方に撮影されている物体ほど自車両１の車体２からより近い位置に存在する。

そこで、本実施の形態においては、各周囲映像における垂直方向の座標であるｙ座標を、各周囲映像の上端を０として、下方への移動に伴って数値を増大するものと規定している。このため、ｙ座標の数値が大きいほど自車両１に近いことを示している。

図１６に示すように、本実施の形態においては、周囲映像４０１〜４０４における垂直方向の最も上部のピクセル位置を０とし、下に向かって座標値が増大するとした場合、垂直方向の座標が０ピクセル以上１５０ピクセル未満の場合は強調表示色を緑色としている。同様に、座標が１５０ピクセル以上３００ピクセル未満の場合は強調表示色を黄色とし、座標が３００ピクセル以上の場合は強調表示色を赤色としている。

次に、本発明の車両周囲移動物体検知システムの第５の実施の形態における移動物体の検知と表示の処理内容について図１４と図１７を用いて説明する。

本実施の形態においては、車両周囲移動物体検知装置１００Ａは、（ステップＳ１０６）において、第１の実施の形態と同様に検知箇所の座標を算出するが、この座標は、上述した移動物体１００１のｙ座標値に変換されている。

車両周囲移動物体検知装置１００Ａは、この検知箇所のｙ座標を基に領域内容の強調設定を行う（ステップＳ２０６）。具体的には、合成映像構築部１０４が周囲映像４０１〜４０４における移動物体のｙ座標ｖを算出し、強調情報保持部１０６の保持するテーブルと照らしあわて強調表示色を設定する。

図１７に示すように、例えば、前方映像４０１において、移動物体１００１のｙ座標値ｖが２５０ピクセルであった場合、（ステップＳ２０６）において、合成映像構築部１０４が強調表示色を黄色に設定する。

図１４にもどり、車両周囲移動物体検知装置１００Ａは、検知箇所の強調設定を行う（ステップＳ１０７）。具体的には、合成映像構築部１０４にて、強調表示色を黄色に設定する。この後、（ステップＳ１０８）での合成映像出力において、合成俯瞰映像６０５に対して移動物体１００１を黄色で強調表示される。

上述した本発明の車両周囲移動物体検知システムの第５の実施の形態によれば、上述した第１の実施の形態及び第４の実施の形態と同様な効果を得ることができる。

なお、本実施の形態においては、移動物体１００１の位置から強調表示色を設定するに当たりテーブルを用いているが、これに限るものではない。例えば、数式等を用いて設定しても良い。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１ ダンプトラック（車両）
２ 車体
３ ベッセル（荷台）
４Ａ 前輪
４Ｂ 後輪
８ 運転室
１００ 車両周囲移動物体検知装置
１０１ 周囲映像入力部
１０２ 移動物体検知部
１０３ 領域情報保持部
１０４ 合成映像構築部
１０５ 出力部
３０１ 前方カメラ
３０２ 左方向カメラ
３０３ 後方カメラ
３０４ 右方向カメラ
４０１ 前方映像
４０２ 左方向映像
４０３ 後方映像
４０４ 右方向映像
５０１ 前方検知結果表示対象外領域
５０２ 左方向検知結果表示対象外領域
５０３ 後方検知結果表示対象外領域
５０４ 右方向検知結果表示対象外領域
６０１ 前方抽出領域
６０２ 左方向抽出領域
６０３ 後方抽出領域
６０４ 右方向抽出領域
６０５ 合成俯瞰映像
６０６ 前方変換映像
６０７ 左方向変換映像
６０８ 後方変換映像
６０９ 右方向変換映像
６１０ 自車アイコン
７０１ 時刻ｔ_０における移動物体
７０２ 時刻ｔ_０−１における移動物体
７０３ 時刻ｔ_０における左方向の検知結果
７０４ 時刻ｔ_０における左方向の補正済み検知結果
８０１ 時刻ｔ_０における座標変換後の検知結果
９０１ 検知メッセージ
１００１ 移動物体

Claims (6)

1. 自車両の周囲の複数の映像を撮影する周囲映像入力部と、前記前記周囲映像入力部が撮影した複数の周囲映像から合成映像構成用領域を抽出して、抽出した複数の合成映像構成用領域を合成することで合成俯瞰映像を構築する合成映像構築部と、前記合成俯瞰映像を利用者に提示する出力部とを備えた車両周囲移動物体検知システムにおいて、
   前記複数の周囲映像に関して移動物体の検知処理を行う移動物体検知処理部とを有し、
   前記移動物体検知処理部は、前記合成俯瞰映像に示す領域以外で移動物体を検知した場合にも検知結果を前記合成俯瞰映像に出力して前記利用者に報知する
   ことを特徴とする車両周囲移動物体検知システム。
2. 請求項１に記載の車両周囲移動物体検知システムにおいて、
   移動物体を検知したとの検知結果を表示させない領域である検知結果表示対象外領域の情報を保持する領域情報保持部と、
   前記領域情報保持部から前記検知結果表示対象外領域の情報を取込み、前記複数の周囲映像から前記検知結果表示対象外領域を除外した映像に関して移動物体の検知処理を行う移動物体検知処理部とを更に備え、
   前記移動物体検知処理部は、前記合成俯瞰映像に示す領域以外で移動物体を検知した場合にも検知結果を前記合成俯瞰映像に出力して前記利用者に報知する
   ことを特徴とする車両周囲移動物体検知システム。
3. 請求項２に記載の車両周囲移動物体検知システムにおいて、
   前記検知結果表示対象外領域は、前記複数の周囲映像に映りこんだ前記自車両の一部である
   ことを特徴とする車両周囲移動物体検知システム。
4. 請求項２に記載の車両周囲移動物体検知システムにおいて、
   前記移動物体検知処理部は、前記自車両の下部で移動物体を検知した場合に、検知結果を前記合成俯瞰映像にメッセージ出力して前記利用者に報知する
   ことを特徴とする車両周囲移動物体検知システム。
5. 請求項２に記載の車両周囲移動物体検知システムにおいて、
   前記移動物体検知処理部は、前記自車両の下部で移動物体を検知した場合に、検知結果を前記合成俯瞰映像における自車両を示す位置に描画出力して前記利用者に報知する
   ことを特徴とする車両周囲移動物体検知システム。
6. 請求項２に記載の車両周囲移動物体検知システムにおいて、
   前記自車両と検知した移動物体との距離に応じて、強調表示の強調の度合いを示す色の情報を保持する強調情報保持部を更に備え、
   前記移動物体検知処理部は、前記強調情報保持部から前記強調表示での強調の度合いを示す色の情報を取込み、前記自車両と検知した移動物体との距離から強調表示色を設定し、検知結果である前記移動物体を設定した前記強調表示色で前記合成俯瞰映像上に表示して前記利用者に報知する
   ことを特徴とする車両周囲移動物体検知システム。

Images