JP2018073257A - 障害物検知装置 - Google Patents

Abstract

【課題】障害物に応じて自動運転を制御できる障害物検知装置を提供する。【解決手段】障害物検知装置４０は、障害物を含む移動体の周辺を撮像した撮像画像及び撮像画像内で検知できた障害物に障害物であることを示す指標を表示させ、障害物のいずれかを注視対象として受け付ける表示処理部３４と、注視対象を受け付けた場合、注視対象の障害物の制御内容に基づいて移動体を自動運転する運転部３６と、を備える。【選択図】図３

Description

本発明は、障害物検知装置に関する。

移動体の周辺の障害物を検知して通知する障害物検知装置が知られている。例えば、前方の障害物（例えば、他の移動体）に衝突するまでの時間を運転者が設定して、走行中の移動体が前方の障害物に衝突するまでの時間と当該設定した時間とを比較した結果に基づいて、警告を発する技術が開示されている。

特開平９−２９３１９９号公報

しかしながら、上述の障害物検知装置では、障害物に応じて自動運転を適切に制御できていないといった課題がある。

本発明は、上記に鑑みてなされたものであって、障害物に応じて自動運転を制御できる障害物検知装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の障害物検知装置は、障害物を含む移動体の周辺を撮像した撮像画像、及び、前記撮像画像内で検知できた前記障害物に前記障害物であることを示す指標を表示させ、前記障害物のいずれかを注視対象として受け付ける表示処理部と、前記注視対象を受け付けた場合、前記注視対象の障害物の制御内容に基づいて前記移動体を自動運転する運転部と、を備える。

これにより、障害物検知装置は、注視対象の障害物に対して適した制御内容、例えば、注視対象以外の障害物の制御内容よりも厳しい制御内容で移動体の自動運転を適切に制御できる。

障害物検知装置では、前記表示処理部は、前記撮像画像内の検知できていない障害物を障害物として受け付けると、当該障害物に前記指標を表示させ、前記運転部は、受け付けた前記障害物に応じて自動運転してもよい。

これにより、障害物検知装置は、自動で検知できない障害物を認識でき、当該障害物に応じて適切に移動体を自動運転できる。

障害物検知装置では、前記表示処理部は、前記注視対象の前記障害物について、予め設定された複数の注視レベルのいずれかを受け付け、前記運転部は、前記複数の注視レベルのそれぞれに対応付けられた制御内容に基づいて前記移動体を自動運転してもよい。

これにより、障害物検知装置は、複数の注視レベルに応じてより適切に移動体を自動運転できる。

障害物検知装置では、前記表示処理部は、前記移動体を操作するための操作内容を受け付けて、前記運転部は、前記制御内容及び前記操作内容に基づいて前記移動体を自動運転してもよい。

これにより、障害物検知装置は、障害物に応じた制御内容及び操作内容に応じて、移動体を自動運転できる。

障害物検知装置では、前記表示処理部は、前記注視対象の前記障害物の前記指標を、注視対象以外の前記障害物の前記指標と異ならせてもよい。

これにより、障害物検知装置は、注視対象の障害物と注視対象以外の障害物を識別可能に表示できる。

図１は、実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。 図２は、車両の制御系のハードウェア構成を説明するブロック図である。 図３は、障害物検知装置のＥＣＵの機能を説明するブロック図である。 図４は、障害物検知装置の制御部が実行する障害物検知処理のフローチャートである。 図５は、障害物及び指標を含む表示画像の一例を示す図である。 図６は、入力を受け付けた障害物に指標を新たに重畳させた表示画像の一例を示す図である。 図７は、注視対象の指標を新たに重畳させた表示画像の一例を示す図である。 図８は、注視対象以外の障害物と注視対象の障害物の制御内容の違いを説明する図である。 図９は、操作内容を受け付けるための操作内容画像の一例を示す図である。 図１０は、複数の注視レベルのいずれかを受け付けるための表示画像の一例を示す図である。 図１１は、複数の注視レベルのいずれかを受け付けるための表示画像の一例を示す図である。 図１２は、表示画像に重畳させる変形例の操作内容画像の一例を示す図である。 図１３は、エリアを障害物として登録する例を説明する図である。

以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。

＜実施形態＞
図１は、実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、移動体の一例である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。

図１に示すように、車両１は、車体２と、車輪３と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、撮像部１５とを備える。

車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７、モニタ装置１１等が設けられている。車体２は、前端部の下部に設けられたフロントバンパー及び後端部の下部に設けられたリアバンパー等を含む。

本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３いずれかは、操舵部４によって操舵されうるように（転舵可能に）構成されている。

操舵部４は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、及び、変速操作部７は、これらには限定されない。

モニタ装置１１は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置１１は、表示装置８、音声出力装置９、及び、操作入力部１０を有する。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。

表示装置８は、画像情報に基づいて画像を表示する。表示装置８は、例えば、ＬＣＤ（Liquid Crystal Display）、または、ＯＥＬＤ（Organic Electroluminescent Display）等である。

音声出力装置９は、音声データに基づいて音声を出力する。音声出力装置９は、例えば、スピーカである。音声出力装置９は、モニタ装置１１以外の異なる車室２ａ内の位置に設けられていてもよい。

操作入力部１０は、乗員または運転者を含むユーザからの入力を受け付ける。操作入力部１０は、表示装置８の表示側の面に設けられている。操作入力部１０は、例えば、表示装置８の画像を透過可能なタッチパネルである。操作入力部１０は、表示装置８の表示画面に表示される画像に対応した位置をユーザが触れることによって入力した指示を受け付ける。

本実施形態では、車両１は、複数の撮像部１５を備える。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）、または、ＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向で１４０°〜１９０°の範囲を撮影することができる。撮像部１５の光軸は、斜め下方に向けて設定されている。従って、撮像部１５は、車両１が移動可能な路面を含む周辺を撮像した撮像画像データを出力する。

本実施形態では、４個の撮像部１５ａ、１５ｂ、１５ｃ、１５ｄが車両１に設けられている。撮像部１５ａは、例えば、車両１の前部の中央部に設けられている。撮像部１５ａは、車両１の前方の周辺の環境を撮影する。撮像部１５ｂは、例えば、車両１の後部の中央部に設けられている。撮像部１５ｂは、車両１の後方の周辺の環境を撮影する。撮像部１５ｃは、車体２の左側の端部、例えば、左側のドアミラー２ｇに設けられている。撮像部１５ｃは、車両１の左側の周辺の環境を撮影する。撮像部１５ｄは、車体２の右側の端部、例えば、右側のドアミラー２ｈに設けられている。撮像部１５ｄは、車両１の右側の周辺の環境を撮影する。

図２は、車両１の制御系のハードウェア構成を説明するブロック図である。図２に示すように、車両１は、ＥＣＵ（Electronic Control Unit）２４と、車内ネットワーク２５とを更に備える。例えば、モニタ装置１１の表示装置８及び操作入力部１０、撮像部１５、及び、ＥＣＵ２４は、障害物検知装置４０として機能する。

ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、撮像部１５から撮像画像データを受信する。ＥＣＵ２４は、出力させる撮像画像等の画像または音声に関するデータをモニタ装置１１へ送信する。ＥＣＵ２４は、操作入力部１０から車両１の操作等に関するユーザの入力を受け付ける。ＥＣＵ２４は、ＣＰＵ（Central Processing Unit）２４ａと、ＲＯＭ（Read Only Memory）２４ｂと、ＲＡＭ（Random Access Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid State Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１５で得られた画像の画像処理、表示装置８に表示させる表示用の画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを維持する。

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（即ち、プログラム）が協働することにより、車両１の制御全般を司る。ＥＣＵ２４は、例えば、車両１の自動運転を制御する。ＥＣＵ２４は、自動運転中において、車両１の周辺の障害物を検知する障害物検知装置４０としての機能を実現している。また、ＥＣＵ２４は、検知した障害物及びユーザから受け付けた障害物等に基づいて、車両１を自動運転する。

車内ネットワーク２５は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク２５は、ＥＣＵ２４と、操作入力部１０とを制御信号及び操作内容等の信号及び情報を送受信可能に電気的に接続する。

図３は、障害物検知装置４０のＥＣＵ２４の機能を説明するブロック図である。図３に示すように、ＥＣＵ２４は、制御部３０と、記憶部３２とを有する。制御部３０は、ＣＰＵ２４ａ、表示制御部２４ｄ、及び、音声制御部２４ｅの機能として実現される。記憶部３２は、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ、及び、ＳＳＤ２４ｆの機能として実現される。

制御部３０は、表示処理部３４と、運転部３６とを有する。制御部３０は、例えば、記憶部３２に格納された障害物検知用のプログラムを読み込むことによって、表示処理部３４及び運転部３６として機能する。表示処理部３４及び運転部３６の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成してもよい。

表示処理部３４は、撮像画像等を含む表示画像を表示装置８に表示させるとともに、表示画像を見て入力した乗員または運転者を含むユーザの情報を操作入力部１０から受け付ける。例えば、表示処理部３４は、撮像部１５から障害物を含む車両１の周辺を撮像した撮像画像を取得する。表示処理部３４は、予め設定された画像処理等によって、取得した撮像画像内の障害物を検知する。障害物は、他の車両、自転車で走行している人、歩行者、及び、浮遊しているゴミ等の自動運転中の車両１にとって走行の障害となり、回避する必要のあるものである。表示処理部３４は、撮像画像、及び、検知できた障害物に障害物であることを示す指標を重畳させて、表示装置８に表示させる。

表示処理部３４は、操作入力部１０を介して、撮像画像内の検知できていない障害物を障害物として受け付けてもよい。表示処理部３４は、受け付けた障害物に、障害物であることを示す指標を重畳させて表示させる。

表示処理部３４は、操作入力部１０を介して、障害物のいずれかを他の障害物より注視すべき注視対象として受け付けてよい。尚、表示処理部３４は、検知できた障害物及びユーザから受け付けた障害物のいずれも注視対象として受け付けてよい。表示処理部３４は、受け付けた注視対象の障害物の指標を、注視対象以外の障害物の指標と異ならせてよい。

表示処理部３４は、操作入力部１０を介して、車両１を操作するための操作内容を受け付けてよい。操作内容は、車間をつめる、追い越し、車線の移動等の自動運転における車両１の操作に関する情報である。

運転部３６は、障害物に応じて車両１を自動運転する。例えば、運転部３６は、注視対象以外の障害物及び注視対象の障害物のそれぞれに対応付けられて予め設定された制御内容に基づいて、車両１の自動運転を制御する。ここでいう、注視対象以外の障害物は、表示処理部３４が検知した障害物及び表示処理部３４がユーザから受け付けた障害物を含む。具体的には、運転部３６は、注視対象以外の障害物に対応付けられた通常制御内容に基づいて、注視対象以外の障害物に対して車両１を自動運転する。運転部３６は、表示処理部３４が注視対象を受け付けた場合、注視対象の障害物に対応付けられた注視用制御内容に基づいて、注視対象の障害物に対して車両１を自動運転する。注視用制御内容は、例えば、通常制御内容に比べて厳しい設定であってよい。運転部３６は、表示処理部３４が車両１を操作するための操作内容を受け付けた場合、制御内容及び操作内容に基づいて、車両１を自動運転してよい。

記憶部３２は、プログラム及びプログラムの実行に必要なデータを記憶する。例えば、記憶部３２は、障害物検知用のプログラムを記憶する。記憶部３２は、障害物検知用のプログラムの実行に必要な権限委譲区間、指標、制御内容、及び、操作内容に関するデータを記憶する。権限委譲区間に関するデータは、自動運転から手動運転へ切り替えるために運転者に運転の権限を委譲する区間の情報である。指標に関するデータは、撮像画像内の障害物に重畳させるマークの画像情報である。指標は、注視対象以外の障害物に重畳させる指標と、注視対象の障害物に対する指標とを含む。制御内容に関するデータは、自動運転中において、障害物が存在すれば停止する停止制御領域、障害物が存在すれば徐行する徐行制御領域、及び、障害物が存在すれば減速する減速制御領域を、車両１の位置に対して設定した情報である。制御内容は、注視対象以外の障害物に対する通常制御内容と、注視対象の障害物に対する注視用制御内容とを含む。操作内容に関するデータは、車間をつめる、追い越し、車線の移動等の自動運転における操作に関する複数の情報を含む。

図４は、障害物検知装置４０の制御部３０が実行する障害物検知処理のフローチャートである。制御部３０は、障害物検知用のプログラムを読み込むことによって、障害物検知処理を実行する。

図４に示すように、障害物検知処理では、運転部３６は、車両１を自動運転中か否かを判定する（Ｓ１０２）。運転部３６は、自動運転中でないと判定すると（Ｓ１０２：Ｎｏ）、障害物検知処理を終了する。運転部３６は、自動運転中と判定すると（Ｓ１０２：Ｙｅｓ）、権限委譲区間か否かを判定する（Ｓ１０４）。運転部３６は、権限委譲区間でないと判定すると（Ｓ１０４：Ｎｏ）、表示処理部３４へ委譲区間でない旨の判定結果を出力する。

表示処理部３４は、当該判定結果を取得すると、撮像部１５から取得した進行方向（例えば、前方）側の状況を撮像した撮像画像に障害物を示す指標を重畳させた表示画像を表示装置８に表示させる（Ｓ１０６）。

図５は、障害物５４及び指標５２を含む表示画像５０の一例を示す図である。図５に示すように、表示処理部３４は、撮像部１５から前方の状況を撮像した撮像画像を取得した場合、当該撮像画像内に含まれる障害物５４ａ、５４ｂを検知する。障害物５４ａ、５４ｂの一例は、前方を走行する他の車両、自転車で走行している人等である。表示処理部３４は、撮像画像内において検知できた障害物５４ａ、５４ｂに障害物５４ａ、５４ｂであることを示す指標５２ａ、５２ｂを重畳させて、図５に示す表示画像５０を生成する。表示処理部３４は、生成した表示画像５０を表示装置８に表示させる。以下の説明において、障害物５４ａ、５４ｂ等をそれぞれ区別する必要がない場合、障害物５４と記載する。指標５２ａ、５２ｂ等をそれぞれ区別する必要がない場合、指標５２と記載する。尚、表示処理部３４は、検知できない障害物５４ｃには指標５２を重畳させることができない。

表示処理部３４は、表示画像５０を表示させている状態で、障害物５４の入力を受け付けたか否かを判定する（Ｓ１０８）。例えば、表示処理部３４は、図５の表示画像５０を表示させている状態で、操作入力部１０から受け付けたユーザが指定した座標（例えば、シングルタップした座標）が、指標５２が重畳されていない障害物５４ｃ上か否かで障害物５４の入力を受け付けたか否かを判定する。表示処理部３４は、操作入力部１０から受け付けた座標が、道路上または指標５２が重畳されている障害物５４上等の場合、障害物５４の入力を受け付けていないと判定して（Ｓ１０８：Ｎｏ）、ステップＳ１１０の処理を実行することなく、ステップＳ１１２の処理を実行する。

表示処理部３４は、操作入力部１０から受け付けた座標が、指標５２が重畳されていない障害物５４ｃの場合、障害物５４ｃの入力を受け付けたと判定する（Ｓ１０８：Ｙｅｓ）。この場合、表示処理部３４は、ユーザがタップした領域の座標に表示されている障害物５４ｃの形状及び位置等の画像情報を記憶部３２に記憶させて登録するとともに、当該障害物５４ｃ上に指標５２を新たに重畳させた図６に示す表示画像５０を生成して表示させる（Ｓ１１０）。

図６は、入力を受け付けた障害物５４ｃに指標５２ｃを新たに重畳させた表示画像５０の一例を示す図である。表示処理部３４は、図５に示す表示画像５０を表示させている状態で、障害物５４ｃの入力を受け付けると、当該障害物５４ｃに指標５２ｃを新たに重畳させた図６に示す表示画像５０を生成して表示させる。

表示処理部３４は、注視対象の障害物５４の入力を受け付けたか否かを判定する（Ｓ１１２）。例えば、表示処理部３４は、図６の表示画像５０を表示させている状態で、操作入力部１０から受け付けたユーザが指定した座標（例えば、ダブルタップした座標）が、いずれかの指標５２の位置であるか否かで、注視対象の障害物５４の入力を受け付けたか否かを判定する。表示処理部３４は、ユーザが指定した座標がいずれの指標５２の位置でもない場合、注視対象の障害物５４の入力を受け付けていないと判定して（Ｓ１１２：Ｎｏ）、ステップＳ１１４、Ｓ１１６の処理を実行することなく、ステップＳ１１８の処理を実行する。

表示処理部３４は、ユーザが指定した座標がいずれかの指標５２の位置である場合、注視対象の障害物５４ａの入力を受け付けたと判定して（Ｓ１１２：Ｙｅｓ）、当該障害物５４ａ上に注視対象としての指標５２ｈを新たに重畳させた図７に示す表示画像５０を生成して表示させる（Ｓ１１４）。

図７は、注視対象の指標５２ｈを新たに重畳させた表示画像５０の一例を示す図である。表示処理部３４は、例えば、矢印で示すように周りを見回しながら自転車で走行している人を注視対象の障害物５４ａとして受け付けると、注視対象の障害物５４ａに、注視対象を示す指標５２ｈを重畳させて表示させる。注視対象の指標５２ｈは、注視対象以外の障害物５４ｂ、５４ｃの指標５２ｂ、５２ｃとは異なる。例えば、注視対象の障害物５４ａの指標５２ｈは太線の円であって、注視対象以外の障害物５４ｂ、５４ｃの指標５２ｂ、５２ｃは細点線の円である。

運転部３６は、表示処理部３４が注視対象の障害物５４ａの指標５２ｈを表示すると、注視対象の障害物５４ａに対する制御内容を変更する（Ｓ１１６）。

図８は、注視対象の以外の障害物５４と注視対象の障害物５４の制御内容の違いを説明する図である。矢印で示す方向を、自車である車両１の進行方向とする。運転部３６は、注視対象以外の障害物５４ｂ、５４ｃに対しては、図８の左側に示す通常制御内容６０ａに基づいて、自動運転する。通常制御内容６０ａは、自車である車両１に対して設定された停止制御領域ＦＬ１ａ、徐行制御領域ＦＬ２ａ及び減速制御領域ＦＬ３ａを含む。停止制御領域ＦＬ１ａに注視対象以外の障害物５４ｂ、５４ｃが存在する場合、運転部３６は、車両１を停止させる。徐行制御領域ＦＬ２ａに注視対象以外の障害物５４ｂ、５４ｃが存在する場合、運転部３６は、車両１を徐行させる。減速制御領域ＦＬ３ａに注視対象以外の障害物５４ｂ、５４ｃが存在する場合、運転部３６は、車両１を減速させる。

一方、運転部３６は、いずれかの障害物５４ａが注視対象と設定されると、当該注視対象の障害物５４ａに対しては、図８の左側に示す通常制御内容６０ａから右側に示す注視用制御内容６０ｂに変更して自動運転する。注視用制御内容６０ｂは、自車である車両１に対して設定された停止制御領域ＦＬ１ｂ、徐行制御領域ＦＬ２ｂ及び減速制御領域ＦＬ３ｂを含む。停止制御領域ＦＬ１ｂに注視対象の障害物５４ａが存在する場合、運転部３６は、車両１を停止させる。徐行制御領域ＦＬ２ｂに注視対象の障害物５４ａが存在する場合、運転部３６は、車両１を徐行させる。減速制御領域ＦＬ３ｂに注視対象の障害物５４ａが存在する場合、運転部３６は、車両１を減速させる。

ここで、注視用制御内容６０ｂにおける停止制御領域ＦＬ１ｂ、徐行制御領域ＦＬ２ｂ及び減速制御領域ＦＬ３ｂは、通常制御内容６０ａにおける停止制御領域ＦＬ１ａ、徐行制御領域ＦＬ２ａ及び減速制御領域ＦＬ３ａよりも大きい。特に、注視用制御内容６０ｂにおける停止制御領域ＦＬ１ｂ、徐行制御領域ＦＬ２ｂ及び減速制御領域ＦＬ３ｂの進行方向側が、通常制御内容６０ａにおける停止制御領域ＦＬ１ａ、徐行制御領域ＦＬ２ａ及び減速制御領域ＦＬ３ａの進行方向側よりも大きい。即ち、注視用制御内容６０ｂは、通常制御内容６０ａよりも厳しい設定となっている。

表示処理部３４は、車両１の操作内容を受け付けたか否かを判定する（Ｓ１１８）。表示処理部３４は、表示画像５０を表示させている状態で、操作入力部１０から受け付けたユーザが指定（例えば、長押しによって指定）した座標がいずれかの指標５２の位置である場合、後述する操作内容画像を表示する。表示処理部３４は、操作内容画像が示す操作内容のいずれかをユーザが選択するか否かで、操作内容を受け付けたか否かを判定する。表示処理部３４は、ユーザによる長押し等の指定がない場合、及び、ユーザによる操作内容画像の操作内容の選択がない場合、操作内容の入力を受け付けていないと判定して（Ｓ１１８：Ｎｏ）、ステップＳ１２０の処理を実行することなく、ステップＳ１０２以降の処理を再度実行する。

図９は、操作内容を受け付けるための操作内容画像６２ａの一例を示す図である。図９に示すように、表示処理部３４は、指標５２ｄが重畳された障害物５４ｄ（図９に示す例では土砂等を積載したダンプカー）を含む表示画像５０を表示装置８に表示させている。この状態で、ユーザが表示画像５０の障害物５４ｄの位置を指定（例えば、長押しによって指定）すると、表示処理部３４は当該障害物５４ｄから吹き出す操作内容画像６２ａを表示画像５０に重畳させる。例えば、操作内容画像６２ａは、“車間をあける”、“車間をつめる”、“追い越す”及び“追い抜く”等の操作内容を列挙した画像である。ユーザが操作内容画像６２ａ内で列挙されている操作内容のいずれかをタップ等によって選択すると、表示処理部３４は、操作内容を受け付けたと判定する（Ｓ１１８：Ｙｅｓ）。表示処理部３４は、操作内容の入力を受け付けると、当該操作内容を運転部３６へ出力する。

運転部３６は、操作内容を表示処理部３４から取得すると、当該操作内容に沿って、自動運転中の車両１を操作する（Ｓ１２０）。ここで、運転部３６は、ユーザが操作内容を入力する際に選択した障害物５４ｄの通常制御内容６０ａまたは注視用制御内容６０ｂに沿った操作内容で車両１を操作することが好ましい。例えば、運転部３６は、操作内容として“追い越す”を取得した場合、障害物５４ｄが対象の制御内容６０ａ、６０ｂの減速制御領域ＦＬ３ａ、ＦＬ３ｂに進入しないように、障害物５４ｄを追い越すことが好ましい。この後、表示処理部３４及び運転部３６は、ステップＳ１０２以降を繰り返す。

運転部３６は、車両１が権利委譲区間内であると判定すると（Ｓ１０４：Ｙｅｓ）、表示処理部３４は、障害物登録ゲームを実行する（Ｓ１２２）。例えば、運転部３６は、図６に示す表示画像５０から指標５２を削除して、ユーザに障害物５４を選択させて登録させる障害物登録ゲームを実行してよい。運転部３６は、障害物登録ゲームを実行した後、運転者に運転の権限を委譲する（Ｓ１２４）。

これにより、表示処理部３４及び運転部３６は、障害物検知処理を終了する。

上述したように障害物検知装置４０では、表示処理部３４がユーザから注視対象の障害物５４を受け付ける。運転部３６は、注視対象以外の障害物５４の通常制御内容６０ａと異なる例えば厳しい注視用制御内容６０ｂに基づいて、注視対象の障害物５４に対して自動運転を制御する。これにより、障害物検知装置４０は、障害物５４に応じて、例えば、大人及び前を見て自転車で走行している人等に比べて、子供、周辺を見ながら自転車で走行している人及び積載物の多い車両（例えば、ダンプカー）等のように注視しなければならない障害物５４等に対して、より適切に車両１の自動運転を制御できる。

障害物検知装置４０では、表示処理部３４がユーザから障害物５４を受け付けることにより、自動で検知できない障害物５４を人の高い識別によって認識でき、運転部３６は当該障害物５４に応じて適切に車両１を自動運転できる。これにより、障害物検知装置４０は、ユーザにより安心感を与えることができる。

障害物検知装置４０では、表示処理部３４が、操作内容画像６２ａが示す操作内容のいずれかをユーザから受け付ける。これにより、運転部３６は、障害物５４に応じた制御内容６０ａ、６０ｂ及び操作内容画像６２ａから選択された操作内容に応じて、車両１を自動運転できる。

障害物検知装置４０では、表示処理部３４が、注視対象の障害物５４の指標５２を、注視対象以外の障害物５４の指標５２と異ならせるので、注視対象の障害物５４と注視対象以外の障害物５４とを識別可能に表示できる。

障害物検知装置４０では、権限を委譲して手動運転に切り替える前に、障害物登録ゲームを実行するので、運転者の脳を覚醒させ、運転者の障害物５４に対する意識を高め、手動運転の安全性を向上させることができる。

上述した実施形態の一部を変形した変形例につい説明する。

＜第１変形例＞
上述の実施形態では、表示処理部３４が、注視対象の障害物５４と注視対象以外の障害物５４とに区別する例を挙げたが、これに限定されない。例えば、表示処理部３４は、注視対象の障害物５４について、予め設定された複数の注視レベルのいずれかを受け付けてもよい。図１０及び図１１は、複数の注視レベルのいずれかを受け付けるための表示画像５０の一例を示す図である。

図１０に示すように、表示処理部３４は、ユーザがタップ等によって選択した障害物５４（図１０に示す例では障害物５４ａ）から吹き出すレベル選択画像６４ａを表示画像５０に重畳させてもよい。レベル選択画像６４ａは、“第１レベル”、“第２レベル”、“第３レベル”、及び、“解除”を選択可能に構成されている。第１レベルは、低い注視レベルを示す。尚、第１レベルは、注視対象以外の障害物５４のレベルとしてもよい。第２レベルは、中程度の注視レベルを示す。第３レベルは、高い注視レベルを示す。解除は、障害物５４であることを解除することを示す。

ここで、運転部３６は、第１レベル、第２レベル及び第３レベルを含む複数の注視レベルのそれぞれに対応付けられた制御内容に基づいて、車両１を自動運転することが好ましい。例えば、表示処理部３４は、ユーザによる“第３レベル”の選択を受け付けると、当該障害物５４の注視レベルを最も高い第３レベルに設定する。これにより、運転部３６は、第３レベルに関連付けられた注視用制御内容によって、車両１を自動運転で制御する。これにより、障害物検知装置４０は、複数の注視レベルに応じてより適切に車両１を自動運転できる。

図１１に示すように、例えば、表示処理部３４は、ユーザによる“解除”の選択を受け付けると、当該障害物５４ｅ（図１１に示す例ではビニール袋）を障害物の登録から解除して、指標５２ｅを表示画像５０から削除する。これにより、運転部３６は、解除された障害物５４ｅを障害物ではないものとして、車両１を自動運転する。これにより、障害物検知装置４０は、積載物の多い車両（例えば、ダンプカー）等を注視するとともに、ビニール袋のように注視する必要がほとんどない物を障害物の登録から解除することにより、自動運転における処理を低減することができる。

＜第２変形例＞
上述の実施形態では、表示処理部３４は、操作内容を列挙した操作内容画像６２ａを表示して、操作内容を受け付ける例を示したが、これに限定されない。図１２は、表示画像５０に重畳させる変形例の操作内容画像６２ｂの一例を示す図である。例えば、表示処理部３４は、図１２に示すように、操作内容を矢印及びドットで表示した操作内容画像６２ｂを表示させて、操作内容を受け付けてもよい。図１２に示す操作内容画像６２ｂは、“左寄りを走行” させる操作内容を示す矢印、“車間を変更”させる操作内容を示す矢印、“追い越し”をさせる操作内容を示す矢印、“右車線に移動”させる操作内容を示す矢印、及び、“路肩に停車”させる操作内容を示すドットを含む。ユーザが、矢印、及び、ドットのいずれかをタップ、ピンチアウトまたはなぞる（いわゆる、スワイプ）等によって操作内容を入力すると、表示処理部３４は、当該矢印、及び、ドットに関連付けられた操作内容を受け付けて、運転部３６に出力する。運転部３６は、当該操作内容に沿って、車両１を操作する。

＜第３変形例＞
上述の実施形態では、表示処理部３４が他の車両及び人等の物体を障害物５４として登録する例を挙げたが、これに限定されない。例えば、表示処理部３４は、静物等を含むエリアを障害物５４として登録してもよい。図１３は、エリアを障害物５４ｆとして登録する例を説明する図である。表示処理部３４は、図１３に示す撮像画像を撮像部１５から取得した場合、静物である曲がり角を含むエリアを障害物５４ｆとして検知して登録し、表示画像５０の障害物５４ｆ上に指標５２ｆを重畳させてもよい。尚、表示処理部３４は、ユーザの指示によって、曲がり角を含むエリアを障害物５４ｆとして登録してもよい。

上述した実施形態の各構成の機能、接続関係、個数及び配置等は適宜変更してよい。実施形態及び変形例は適宜組み合わせてよい。フローチャートにおける各ステップの順序は適宜変更してよい。例えば、ステップＳ１０８、Ｓ１１２、Ｓ１１８は並列処理としてもよい。

上述の実施形態では、表示処理部３４が、操舵部４に設けられた表示装置８に表示画像５０を表示する例を挙げたが、これに限定されない。例えば、表示処理部３４は、ダッシュボード上の表示装置に表示画像５０を表示させてもよく、フロントガラス等に表示画像５０を投影して表示させてもよい。

上述の実施形態のユーザによるシングルタップ、ダブルタップ及び長押し等の操作は適宜変更してよい。

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両
１５…撮像部
３４…表示処理部
３６…運転部
４０…障害物検知装置
５０…表示画像
５２…指標
５４…障害物
６０ａ…通常制御内容
６０ｂ…注視用制御内容

Claims (5)

1. 障害物を含む移動体の周辺を撮像した撮像画像、及び、前記撮像画像内で検知できた前記障害物に前記障害物であることを示す指標を表示させ、前記障害物のいずれかを注視対象として受け付ける表示処理部と、
   前記注視対象を受け付けた場合、前記注視対象の障害物の制御内容に基づいて前記移動体を自動運転する運転部と、
   を備える障害物検知装置。
2. 前記表示処理部は、前記撮像画像内の検知できていない障害物を障害物として受け付けると、当該障害物に前記指標を表示させ、
   前記運転部は、受け付けた前記障害物に応じて自動運転する
   請求項１に記載の障害物検知装置。
3. 前記表示処理部は、前記注視対象の前記障害物について、予め設定された複数の注視レベルのいずれかを受け付け、
   前記運転部は、前記複数の注視レベルのそれぞれに対応付けられた制御内容に基づいて前記移動体を自動運転する
   請求項１または２に記載の障害物検知装置。
4. 前記表示処理部は、前記移動体を操作するための操作内容を受け付けて、
   前記運転部は、前記制御内容及び前記操作内容に基づいて前記移動体を自動運転する
   請求項１から３のいずれか１項に記載の障害物検知装置。
5. 前記表示処理部は、前記注視対象の前記障害物の前記指標を、注視対象以外の前記障害物の前記指標と異ならせる
   請求項１から４のいずれか１項に記載の障害物検知装置。

Images