JP2023045586A - 周囲監視装置、周囲監視方法、および周囲監視プログラム - Google Patents

Abstract

【課題】車両の周囲監視装置において、運転者の運転操作によらず、ユーザが行う簡単な操作で車両周囲の物体の認識精度を向上し得るようにする。【解決手段】車両の周囲環境に存在する物体の検知情報を取得する取得部と、検知物体の画像に基づき検知物体の種類の判別を行う判別部と、判別結果に基づき検知物体の種類に応じたグラフィック表現を用いて検知物体の自車両に対する相対位置をタッチパネルに表示する表示制御部と、タッチパネルを介したユーザ入力を取得する入力部と、上記判別に用いる処理パラメータを更新する更新部と、を備え、更新部は、タッチパネルにおいて検知物体の表示が押下されたとき、当該押下された検知物体の種類についてユーザが指定する指定種類を取得し、検知物体の画像および指定種類に基づいて、上記判別に用いる処理パラメータを更新する。【選択図】図５

Description

本発明は、周囲監視装置、周囲監視方法、および周囲監視プログラムに関する。

従来、車載の障害物検知装置において、障害物の検知結果の正誤を運転者の操作に応じて判断することにより、障害物認識の認識精度を向上することが知られている（特許文献１）。この装置では、ブレーキ操作やアクセル操作などの運転者の操作に基づいて障害物が実際に存在するか否かを判断し、その判断結果に基づいて、障害物検知に用いるパターンマッチング処理の類似性比較の閾値が修正される。

特開２００４－１７８７６号公報

上記従来の障害物検知装置では、障害物の認識結果の正誤が運転者の操作に基づいて判断されるため、認識精度の向上が可能な対象物は、実際に運転者の運転操作に影響を与えた物体に限られる。このため、この障害物検知装置では、必ずしも運転操作に影響を与えない物体、例えば、自車両から離れた隣接レーンを走行する車両や道路標識等については、それらの存在を運転操作から判断できない場合があり、認識精度の向上対象とならないこととなり得る。

本発明の目的は、車両の周囲監視装置において、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上し得るようにすることである。

上記の目的は、例えば車両運転における初心者や熟練者など、車両運転に際して車両周囲への注意力の程度が異なる様々な特性を持った人の運転行動の質を高めて道路交通事故の低減に寄与するものであり、持続可能な車社会の実現を通じてＳＤＧｓの達成に貢献し得る（ＳＤＧｓ ３．６）。

本発明の一の態様は、車両の周囲環境に存在する物体の検知情報を取得する取得部と、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部と、前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部と、前記タッチパネルを介したユーザ入力を取得する入力部と、前記判別に用いる処理パラメータを更新する更新部と、を備え、前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視装置である。
本発明の他の態様によると、前記判別部は、少なくとも車両及び又は標識を前記判別の対象とする。
本発明の他の態様によると、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記表示制御部は、前記押下された検知物体についての前記種類の候補を、前記判別部から取得して前記タッチパネルに表示し、前記更新部は、前記候補の中からユーザが選択する前記種類を前記指定種類として取得する。
本発明の他の態様によると、前記表示制御部は、ユーザが前記候補の中から前記種類を選択するためのフリック入力表示を前記タッチパネルに表示する。
本発明の他の態様によると、前記更新部は、前記タッチパネルにおける前記検知物体の表示の押下中に、前記車両に設けられたマイクロホンにより取得されるユーザの音声に基づき、前記指定種類を取得する。
本発明の他の態様によると、前記車両の走行状態についての情報を取得する状態取得部を備え、前記更新部は、前記車両の状態が運転者の操作を要しない自律走行中または停車中であるときに、前記タッチパネルにおける前記検知物体の表示の押下の検出を行う。
本発明の他の態様によると、前記検知情報には前記検知物体の色に関する情報が含まれ、前記表示制御部は、前記検知物体の前記グラフィック表現を、当該検知物体の色で表示する。
本発明の他の態様によると、前記更新部は、前記タッチパネルにおける前記検知物体の表示の数が所定数を超えているときは、前記タッチパネルにおける前記検知物体の表示の押下の検出を行わない。
本発明の他の態様によると、前記車両に備えられた投光装置を制御する投光制御部を備え、前記投光制御部は、前記タッチパネルにおいて前記検知物体の表示の押下が検出されたとき、前記投光装置により、前記押下された検知物体に対応する前記周囲環境の物体を照明する。
本発明の他の態様によると、前記更新部は、前記処理パラメータを更新したときは、当該更新にかかる前記検知物体の画像と前記指定種類とを、前記車両と通信可能に接続されたサーバへ送信する。
本発明の他の態様は、コンピュータにより実行される周囲監視方法であって、車両の周囲環境に存在する物体の検知情報を取得する取得ステップと、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別ステップと、前記判別ステップでの判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示ステップと、前記タッチパネルを介したユーザ入力を取得する入力ステップと、前記判別に用いる処理パラメータを更新する更新ステップと、を有し、前記更新ステップでは、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視方法である。
本発明のさらに他の態様は、周囲監視装置が備えるコンピュータを、車両の周囲環境に存在する物体の検知情報を取得する取得部、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部、前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部、前記タッチパネルを介したユーザ入力を取得する入力部、および、前記判別に用いる処理パラメータを更新する更新部、として機能させる周囲監視プログラムであって、前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視プログラムである。

本発明によれば、車両の周囲監視装置において、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上することができる。

本発明の実施形態に係る周囲監視装置を備えた車両の構成図である。 車室内におけるタッチパネルの配置の一例を示す図である。 周囲監視装置の構成を示す図である。 タッチパネルに表示される監視画面の一例を示す図である。 検知物体についての種類の候補を示す表示画面の一例を示す図である。 周囲監視装置における動作の手順の一例を示すフロー図である。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態の周囲監視装置３を備えた車両１の構成図である。
周囲監視装置３は、プロセッサ４およびメモリ５を備える。メモリ５は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。プロセッサ４は、周囲監視装置３が備えるコンピュータであり、例えば、一つ又は複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。

周囲監視装置３は、車載ネットワーク２を介して、タッチパネル８、通信ユニット９、ＡＶ装置１０（ＡＶ：Ａｕｄｉｏ Ｖｉｓｕａｌ、オーディオビジュアル）、ＧＮＳＳ受信機１１（ＧＮＳＳ、Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ナビゲーション装置１２、空調装置１３、車両ＥＣＵ１４、および物体検知装置１７等の、車両１の車載装置との間で通信を行う。

車載ネットワーク２は、単一の通信規格に準拠した通信を行う単一の通信ネットワークに限らず、上述した種々の車載装置の間で通信すべき情報量及び又は通信の頻度に応じて、ＣＡＮ、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ等の様々な通信規格に準拠した通信を行う複数の通信ネットワークが独立に又はゲートウェイ装置等を介して互いに接続されて、構成され得る。

表示装置であるタッチパネル８は、ディスプレイ６と操作検出センサ７とを備える。ディスプレイ６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌｙ）等により構成される。操作検出センサ７は、ディスプレイ６の表面に設けられてユーザの操作を検知するタッチセンサである。
通信ユニット９は、移動通信システムの通信規格に準拠する無線装置、及び、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離の通信規格に準拠する短距離無線装置を含む。

ＡＶ装置１０は、従来技術に従い、タッチパネル８のディスプレイ６およびスピーカ１０ａを用いて楽曲や動画の再生を行うほか、車両１の車室内に存在するスマートフォン等の携帯端末と通信し、携帯端末に電話の着信があったときに、スピーカ１０ａおよびマイクロホン１０ｂによるハンズフリー通話機能を提供する。

ＧＮＳＳ受信機１１は、車両１の位置を検出する。
ナビゲーション装置１２は、タッチパネル８の操作により指定された目的地までの経路探索を実行し、例えばディスプレイ６に車両１の位置及び地図を表示して経路案内を行う。
空調装置１３は、車両１の室内の温度及び又は湿度を調整する。

車両ＥＣＵ１４は、車両１の種々の動作を制御する電子制御装置（ＥＣＵ、Ｅｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両１は、複数のＥＣＵを備え得る。車両ＥＣＵ１４は、そのような複数のＥＣＵを模式的に示したものである。例えば、車両１が備えるＥＣＵには、モータ又はエンジン等の車両駆動装置１５の動作を制御するＥＣＵが含まれる。また、車両１が備えるＥＣＵには、状態検出デバイス１６からのセンサ情報に基づいて車両１の状態（例えば、速度等の運動状態、バッテリの充電状態、アクセルペダル等の操作状態）を検知して状態情報を出力するＥＣＵ等が含まれる。

状態検出デバイス１６は、車両１の走行動作に関わる車両状態を検出するセンサや、乗員の状態を検出するセンサが含まれる。走行動作に関わる車両状態を検出するセンサには、車速センサ、舵角センサ、アクセルペダルセンサ、ブレーキペダルセンサ、並びにバッテリに設けられた電圧センサおよび電流センサ、などが含まれ得る。乗員の状態を検出するセンサには、シートベルトスイッチ、着座センサ、車内カメラなどが含まれ得る。

物体検知装置１７は、物体検知センサ１７１により車両１の周囲環境に存在する物体を検知し、検知した物体の位置および画像を含む検知情報を他の車載装置へ出力する。物体検知センサ１７１は、例えば、車外カメラ、レーダ、ライダ、及び又はソナーである。

図２は、車両１の車室内におけるタッチパネル８の配置の一例を示す図である。車両１は、本実施形態では、運転席２０とハンドル２１とが前方進行方向に向かって左側にある、いわゆる左ハンドル車である。運転席２０に着座した運転者が前方を向いたときに視認可能な、インスツルメントパネル２２上の図示左側の部分には、スピードメータ２３を含む種々の計器類を表示する表示パネル２４が配されている。インスツルメントパネル２２の車幅方向の中央部、運転席２０と助手席２５との間には、タッチパネル８が配されている。

図３は、周囲監視装置３の機能的な構成を示す図である。周囲監視装置３は、車両１の周囲環境に存在する物体を認識して、その物体の種別と位置とをタッチパネル８に表示する。

プロセッサ４は、機能要素又は機能ユニットとして、検知情報取得部３０と、判別部３１と、状態取得部３２と、入力部３３と、表示制御部３４と、更新部３５と、投光制御部３６と、を備える。プロセッサ４が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ４が、メモリ５に記憶されたコンピュータ・プログラムである周囲監視プログラム３７を実行することにより実現される。これに代えて、プロセッサ４が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。なお、周囲監視プログラム３７は、光学ディスク、磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。

検知情報取得部３０は、物体検知センサ１７１により検知された、車両１の周囲環境に存在する物体の検知情報を物体検知装置１７から取得する。以下、物体検知センサ１７１により検知された上記周囲環境の物体を検知物体という。上記検知情報には、検知物体の画像が含まれ得る。検知物体の画像は、例えばカラー画像であり得る。これにより、上記検知情報には、検知物体の色に関する情報が含まれることとなる。

判別部３１は、検知情報取得部３０が取得した検知情報が含む検知物体の画像に基づき、メモリ５に記憶された処理パラメータ３８を用いて、検知物体の種類の判別を行う。例えば、判別部３１は、従来技術に従い、例えばパターンマッチング処理や、ニューラルネットワークで構成される物体認識モデル等の人工知能（ＡＩ）を用いて、検知物体の種類の判別を行う。ここで、処理パラメータ３８は、例えば、判別部３１がパターンマッチングを用いて上記判別を行うときは、マッチング判定に用いる閾値を含む。また、処理パラメータ３８は、例えば、判別部３１が上記物体認識モデルを用いて上記判別を行うときは、物体認識モデルを構成するニューラルネットワークにおけるシナプス結合の重み等のパラメータを含む。

本実施形態では、判別部３１は、少なくとも車両及び又は標識を、上記判別の対象とする。車両１の周囲環境に存在する車両および標識は、車両１の走行に影響を与え得るため、これらを判別することにより、周囲監視装置３は、運転者の運転行動を効果的に支援することができる。

状態取得部３２は、状態検出デバイス１６により検出された車両１の走行状態についての情報を、車両ＥＣＵ１４から取得する。

入力部３３は、タッチパネル８を介したユーザからの入力を取得する。入力部３３は、また、車載のマイクロホン１０ｂから取得されるユーザの音声入力から、ユーザ入力を取得してもよい。この場合において、入力部３３は、ユーザの音声内容を認識するための音声認識機能を備えても良いし、ＡＶ装置１０が音声認識を備えるものとして、入力部３３がユーザ音声の音声認識結果をＡＶ装置１０から取得してもよい。

表示制御部３４は、判別部３１の判別結果に基づき、検知物体の種類に応じたグラフィック表現を用いて、その検知物体の車両１に対する相対位置を示した監視画面をタッチパネル８に表示する。その際、表示制御部３４は、検知情報取得部３０が取得した検知情報に基づき、上記検知物体のグラフィック表現を、当該検知物体の色を用いて表示してもよい。これにより、車両１の周囲環境に複数の物体が存在する場合でも、ユーザは、タッチパネル８上における複数の検知物体の表示が、それぞれ周囲環境のどの物体に対応するのかを、より正しく判断することが可能となる。

表示制御部３４は、また、後述する更新部３５の指示に基づき前記入力部３３が、タッチパネル８において検知物体の表示が押下されたことを検知したときに、判別部３１がその検知物体についての候補とする種類をタッチパネル８に表示する。上記候補とする種類は、例えば、判別部３１において種類毎に算出される尤度（その種類が正しい種類である確率）に基づいて、当該尤度の高い順に抽出された所定数の種類であるものとすることができる。表示制御部３４は、例えば、ユーザが上記候補の中からその検知物体の種類を選択するためのフリック入力表示を、タッチパネル８に表示する。

更新部３５は、判別部３１が検知物体の判別の際に用いる処理パラメータ３８を更新する。本実施形態では、特に、更新部３５は、入力部３３に指示して、タッチパネル８において検知物体の表示が押下されたことを検知する。そして、更新部３５は、タッチパネル８において検知物体の表示が押下されたとき、上記押下された検知物体の種類についてユーザが指定する指定種類を、入力部３３を介して取得する。例えば、更新部３５は、入力部３３を介して、表示制御部３４がタッチパネル８に表示した種類の候補の中からユーザが選択する種類を、指定種類として取得するものとすることができる。あるいは、更新部３５は、タッチパネル８における検知物体の表示の押下中に、入力部３３を介して、マイクロホン１０ｂにより取得されるユーザの音声に基づき、上記指定種類を取得してもよい。

そして、更新部３５は、検知情報取得部３０が取得した検知情報に含まれる検知物体の画像、及びその検知物体について取得した上記指定種類に基づいて、メモリ５に記憶されている処理パラメータ３８を更新する。例えば、更新部３５は、判別部３１において上記検知物体の画像から判別される種類が上記指定種類と同じとなるように、またはその確率が向上するように、処理パラメータ３８を更新する。

なお、更新部３５は、状態取得部３２が取得した車両１の走行状態が、運転者の操作を要しない自律走行中または停車中であるときに、タッチパネル８における検知物体の表示の押下の検出を行うものとすることができる。これにより、運転者が車両１の操縦を行う必要のあるときには、タッチパネル８における検知物体の表示の指定を行えないものとして、車両運転の安全性を確保することができる。

また、タッチパネル８に多数の検知物体が表示されている場合には、ユーザは、タッチパネル８における検知物体の表示のそれぞれが、車両１の周囲環境にあるどの物体に対応するのかを認識することが困難となり、正しい指定種類を入力することが困難となる。したがって、更新部３５は、タッチパネル８における検知物体の表示の数が所定数を超えているときは、タッチパネル８における検知物体の表示の押下の検出を行わないものとしてもよい。これにより、ユーザが検知物体に対して誤った指定種類を入力してしまうのを防止することができる。

さらに、更新部３５は、処理パラメータ３８を更新したときは、当該更新にかかる検知物体の画像と指定種類とを、通信ユニット９を介して車両１と通信可能に接続されたサーバへ送信するものとすることができる。これにより、サーバには、誤判定のあった検知物体についての情報が集積されるので、より判定確度の高い周囲監視装置３を実現する際の開発効率が向上する。これに代えて、更新部３５は、処理パラメータ３８を更新したときは、更新した処理パラメータ３８を、上記サーバへ送信してもよい。これにより、サーバには、検知物体についてのより正しい種類判定を可能とする処理パラメータが集積されるので、サーバから他の車両１へそれらの更新済の処理パラメータを配信することで、他の車両１における検知物体の種類の判別精度が向上する。

投光制御部３６は、更新部３５からの指示に基づき入力部３３によりタッチパネル８における検知物体の表示の押下が検出されたときに、投光装置１８により、当該押下された検知物体に対応する周囲環境の物体を照明する。

図４は、表示制御部３４がタッチパネル８に表示する監視画面の一例を示す図である。表示制御部３４は、検知情報取得部３０が取得した検知情報および判別部３１における判別結果に基づき、それぞれの検知物体について判別された種類を表すグラフィック表現を用いて、車両１に対するそれぞれの検知物体の相対位置を示す監視画像を、タッチパネル８に表示する。以下、タッチパネル８に表示された検知物体の表現を、物体表現というものとする。

図４の例では、自車両である車両１のグラフィック表現が、自車表現４０として表示されている。また、車両１が走行する自車レーン４１の前方には、判別部３１によりその種類が「乗用車」として判別された検知物体の物体表現４２が表示されている。同様に、自車レーン４１の右側の隣接レーン４３上の、自車表現４０の右斜め前方には、「乗用車」として判別された物体表現４４が表示されている。また、隣接レーン４３上の、物体表現４４の前方および後方には、それぞれ、判別部３１がその種類を「不定」と判別した検知物体の物体表現４５および４６が表示されている。

図４の例では、種類が「乗用車」と判別された検知物体の物体表現４２および４４には、乗用車のグラフィック表現が用いられている。また、種類が「不定」と判別された検知物体の物体表現４５および４６には、疑問符を矩形の枠線で囲ったグラフィック表現（いわゆる、アイコン）が用いられている。ここで、表示制御部３４は、検知情報取得部３０が取得した検知情報が示す、それぞれの検知物体の色を用いて、対応する物体表現４２、４４、４５、及び４６をタッチパネル８上に表示する。

図４に示す表示画面において、種類「不定」と判別された検知物体の物体表現の一つを押下すると、投光制御部３６は、投光装置１８により、押下された物体表現に対応する、車両１の周囲環境内の検知物体を照明する。また、上記物体表現の押下に応じて、更新部３５は、その検知物体についての種類の候補をタッチパネル８に表示する。

図５は、タッチパネル８における、検知物体についての種類の候補を示す表示画面の例である。図５の例は、例えば、図４に示す表示画面において、種類「乗用車」と判別された検知物体の物体表現４４を押下したときの、タッチパネル８の表示画面を示している。図５の例では、押下された物体表現４４の位置に、物体表現４４についての３つの種類候補である二輪車、人、及びトラックのそれぞれを示す候補アイコン５０ａ、５０ｂ、５０ｃを表示したフリック入力表示５１が表示されている。また、このフリック入力表示５１には、種類「不定」を選択するための候補アイコン５２も表示されている。

ユーザは、フリック入力表示５１に対するフリック操作により、候補アイコン５０ａ、５０ｂ、５０ｃ、及び５２のいずれかを指定して、物体表現４４に対応する検知物体の種類を、「二輪車」、「人」、「トラック」、又は「不定」に選択することができる。更新部３５は、上記フリック操作によりユーザが選択した種類を、指定種類として取得する。

上記の構成を有する周囲監視装置３では、判別部３１が車両１の周囲環境における検知物体の種類を判別し、表示制御部３４が、それぞれの検知物体を、その検知物体について判別された種類に応じたグラフィック表示により、タッチパネル８に表示する。そして、周囲監視装置３では、タッチパネル８に表示されたグラフィック表示をユーザが押下すると、表示制御部３４は、そのグラフィック表示に対応する検知物体についての種類の候補を表示し、ユーザから、検知物体についての種類の指定、すなわち指定種類を取得する。また、周囲監視装置３では、更新部３５が、ユーザから取得した上記指定種類に基づいて、判別部３１が検知物体の種類の判別の際に用いる処理パラメータ３８を更新する。

これにより、周囲監視装置３では、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上することができる。

次に、周囲監視装置３における動作の手順について説明する。図６は、周囲監視装置３における動作の手順の一例を示すフロー図である。図６の処理は、周囲監視装置３の電源がオンされたときに開始し、オフされたときに終了する。

処理を開始すると、周囲監視装置３の検知情報取得部３０は、車両１の周囲環境に存在する物体の検知情報を取得する（Ｓ１００）。判別部３１は、上記取得した検知情報に、少なくとも一つの新たに検知された検知物体があるか否かを判断する（Ｓ１０２）。そして、新たに検知された検知物体があるときは（Ｓ１０２、ＹＥＳ）、判別部３１は、新たに検知された検知物体の画像に基づき、その検知物体の種類の判別を行う（Ｓ１０４）。

表示制御部３４は、判別部３１の判別結果に基づき、検知物体の種類に応じたグラフィック表現である物体表現を用いて、その検知物体の車両１に対する相対位置を表す監視画面をタッチパネル８に表示する（Ｓ１０６）。また、表示制御部３４は、監視画面に既に検知された検知物体の物体表現があれば、上記取得した検知情報に基づき、監視画面における物体表現の位置を更新する（Ｓ１０８）。

次に、更新部３５は、入力部３３に指示して、タッチパネル８においていずれかの検知物体の物体表示が押下されたか否かを判断する（Ｓ１１０）。そして、いずれかの物体表示が押下されたときは（Ｓ１１０、ＹＥＳ）、更新部３５は、押下された物体表現に対応する検知物体についての種類の候補の表示を表示制御部３４に指示する。このとき、投光制御部３６は、投光装置１８によりその検知物体を照明するものとすることができる。

表示制御部３４は、更新部３５からの上記種類の候補の表示についての指示に応じて、上記種類の候補を、判別部３１から取得して、タッチパネル８に表示する（Ｓ１１２）。この種類の候補の表示は、上述したように、フリック入力表示であり得る。

次に、更新部３５は、入力部３３を介して、上記押下された物体表現に対応する検知物体の種類についての、ユーザが指定する指定種類を取得する（Ｓ１１４）。そして、更新部３５は、その検知物体の画像および上記取得した指定種類に基づいて、判別部３１が検知物体の種類の判別に用いる処理パラメータ３８を更新したのち（Ｓ１１６）、ステップＳ１００に戻って処理を繰り返す。

一方、ステップＳ１０２において新たに検知された検知物体がないときは（Ｓ１０２、ＮＯ）、判別部３１は、処理をステップＳ１０８に移す。また一方、ステップＳ１１０においていずれの物体表示も押下されないときは（Ｓ１１０、ＮＯ）、更新部３５は、ステップＳ１００に戻って処理を繰り返す。

なお、本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

上記実施形態は、以下の構成をサポートする。

（構成１）車両の周囲環境に存在する物体の検知情報を取得する取得部と、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部と、前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部と、前記タッチパネルを介したユーザ入力を取得する入力部と、前記判別に用いる処理パラメータを更新する更新部と、を備え、前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視装置。
構成１の周囲監視装置によれば、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上することができる。

（構成２）前記判別部は、少なくとも車両及び又は標識を前記判別の対象とする、構成１に記載の周囲監視装置。
構成２の周囲監視装置によれば、自車両の走行に影響を与え得る車両及び又は標識の種類を判別するので、運転者の運転行動を効果的に支援することができる。

（構成３）前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記表示制御部は、前記押下された検知物体についての前記種類の候補を、前記判別部から取得して前記タッチパネルに表示し、前記更新部は、前記候補の中からユーザが選択する前記種類を前記指定種類として取得する、構成１または２に記載の周囲監視装置。
構成３の周囲監視装置によれば、検知物体についての種類の候補を判別部から取得して表示するので、ユーザは、限られた数のそれらの候補の中から、検知物体の正しい種類を容易に選択して指定することができる。

（構成４）前記表示制御部は、ユーザが前記候補の中から前記種類を選択するためのフリック入力表示を前記タッチパネルに表示する、構成３に記載の周囲監視装置。
構成４の周囲監視装置によれば、ユーザは、フリック操作により、検知物体の正しい種類を更に容易に指定することができる。

（構成５）前記更新部は、前記タッチパネルにおける前記検知物体の表示の押下中に、前記車両に設けられたマイクロホンにより取得されるユーザの音声に基づき、前記指定種類を取得する、構成３に記載の周囲監視装置。
構成５の周囲監視装置によれば、ユーザは、音声指示により、検知物体の正しい種類を更に容易に指定することができる。

（構成６）前記車両の走行状態についての情報を取得する状態取得部を備え、前記更新部は、前記車両の状態が運転者の操作を要しない自律走行中または停車中であるときに、前記タッチパネルにおける前記検知物体の表示の押下の検出を行う、構成１ないし５のいずれかに記載の周囲監視装置。
構成６の周囲監視装置によれば、運転者が自車両の操縦を行う必要のあるときにはタッチパネル８における検知物体の表示の指定を行えないものとして、車両運転の安全性を確保することができる。

（構成７）前記検知情報には前記検知物体の色に関する情報が含まれ、前記表示制御部は、前記検知物体の前記グラフィック表現を、当該検知物体の色で表示する、構成１ないし６のいずれか一項に記載の周囲監視装置。
構成７の周囲監視装置によれば、自車両の周囲環境に複数の物体が存在する場合でも、ユーザは、タッチパネル上における複数の検知物体の表示が、それぞれ周囲環境のどの物体に対応するのかを、より正しく判断することができる。

（構成８）前記更新部は、前記タッチパネルにおける前記検知物体の表示の数が所定数を超えているときは、前記タッチパネルにおける前記検知物体の表示の押下の検出を行わない、構成１ないし７のいずれかに記載の周囲監視装置。
構成８の周囲監視装置によれば、タッチパネルにおける検知物体の表示が多いことに起因してユーザが検知物体に対して誤った種類を入力してしまうのを防止することができる。

（構成９）前記車両に備えられた投光装置を制御する投光制御部を備え、前記投光制御部は、前記タッチパネルにおいて前記検知物体の表示の押下が検出されたとき、前記投光装置により、前記押下された検知物体に対応する前記周囲環境の物体を照明する、構成１ないし８のいずれかに記載の周囲監視装置。
構成９の周囲監視装置によれば、自車両の周囲環境に複数の物体が存在する場合でも、ユーザは、タッチパネル上における複数の検知物体の表示が、それぞれ周囲環境のどの物体に対応するのかを正しく判断することができる。

（構成１０）前記更新部は、前記処理パラメータを更新したときは、当該更新にかかる前記検知物体の画像と前記指定種類とを、前記車両と通信可能に接続されたサーバへ送信する、構成１ないし９のいずれか一項に記載の周囲監視装置。
構成１０の周囲監視装置によれば、誤判定のあった検知物体についての情報がサーバに集積されるので、当該集積された情報を用いることで、判定確度のより高い周囲監視装置を実現する際の開発効率が向上する。

（構成１１）コンピュータにより実行される周囲監視方法であって、車両の周囲環境に存在する物体の検知情報を取得する取得ステップと、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別ステップと、前記判別ステップでの判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示ステップと、前記タッチパネルを介したユーザ入力を取得する入力ステップと、前記判別に用いる処理パラメータを更新する更新ステップと、を有し、前記更新ステップでは、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視方法。
構成１１の周囲監視方法によれば、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上することができる。

（構成１２）周囲監視装置が備えるコンピュータを、車両の周囲環境に存在する物体の検知情報を取得する取得部、検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部、前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部、前記タッチパネルを介したユーザ入力を取得する入力部、および、前記判別に用いる処理パラメータを更新する更新部、として機能させる周囲監視プログラムであって、前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、周囲監視プログラム。
構成１２の周囲監視プログラムによれば、周囲監視装置が備えるコンピュータは、運転者の運転操作によらず、ユーザが行う簡単な操作で、車両周囲の物体の認識精度を向上することができる。

１…車両、２…車載ネットワーク、３…周囲監視装置、４…プロセッサ、５…メモリ、６…ディスプレイ、７…操作検出センサ、８…タッチパネル、８ａ…下辺、８ｂ…上辺、９…通信ユニット、１０…ＡＶ装置、１０ａ…スピーカ、１０ｂ…マイクロホン、１１…ＧＮＳＳ受信機、１２…ナビゲーション装置、１３…空調装置、１４…車両ＥＣＵ、１５…車両駆動装置、１６…状態検出デバイス、１７…物体検知装置、１７１…物体検知センサ、１８…投光装置、２０…運転席、２１…ハンドル、２２…インスツルメントパネル、２３…スピードメータ、２４…表示パネル、２５…助手席、３０…検知情報取得部、３１…判別部、３２…状態取得部、３３…入力部、３４…表示制御部、３５…更新部、３６…投光制御部、３７…周囲監視プログラム、３８…処理パラメータ、４０…自車表現、４１…自車レーン、４２、４４、４５、４６…物体表現、４３…隣接レーン、５０ａ、５０ｂ、５０ｃ、５２…候補アイコン、５１…フリック入力表示。

Claims (12)

1. 車両の周囲環境に存在する物体の検知情報を取得する取得部と、
   検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部と、
   前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部と、
   前記タッチパネルを介したユーザ入力を取得する入力部と、
   前記判別に用いる処理パラメータを更新する更新部と、
   を備え、
   前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、
   前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、
   前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、
   周囲監視装置。
2. 前記判別部は、少なくとも車両及び又は標識を前記判別の対象とする、
   請求項１に記載の周囲監視装置。
3. 前記タッチパネルにおいて前記検知物体の表示が押下されたとき、
   前記表示制御部は、前記押下された検知物体についての前記種類の候補を、前記判別部から取得して前記タッチパネルに表示し、
   前記更新部は、前記候補の中からユーザが選択する前記種類を前記指定種類として取得する、
   請求項１または２に記載の周囲監視装置。
4. 前記表示制御部は、ユーザが前記候補の中から前記種類を選択するためのフリック入力表示を前記タッチパネルに表示する、
   請求項３に記載の周囲監視装置。
5. 前記更新部は、前記タッチパネルにおける前記検知物体の表示の押下中に、前記車両に設けられたマイクロホンにより取得されるユーザの音声に基づき、前記指定種類を取得する、
   請求項３に記載の周囲監視装置。
6. 前記車両の走行状態についての情報を取得する状態取得部を備え、
   前記更新部は、前記車両の状態が運転者の操作を要しない自律走行中または停車中であるときに、前記タッチパネルにおける前記検知物体の表示の押下の検出を行う、
   請求項１ないし５のいずれか一項に記載の周囲監視装置。
7. 前記検知情報には前記検知物体の色に関する情報が含まれ、
   前記表示制御部は、前記検知物体の前記グラフィック表現を、当該検知物体の色で表示する、
   請求項１ないし６のいずれか一項に記載の周囲監視装置。
8. 前記更新部は、前記タッチパネルにおける前記検知物体の表示の数が所定数を超えているときは、前記タッチパネルにおける前記検知物体の表示の押下の検出を行わない、
   請求項１ないし７のいずれか一項に記載の周囲監視装置。
9. 前記車両に備えられた投光装置を制御する投光制御部を備え、
   前記投光制御部は、前記タッチパネルにおいて前記検知物体の表示の押下が検出されたとき、前記投光装置により、前記押下された検知物体に対応する前記周囲環境の物体を照明する、
   請求項１ないし８のいずれか一項に記載の周囲監視装置。
10. 前記更新部は、前記処理パラメータを更新したときは、当該更新にかかる前記検知物体の画像と前記指定種類とを、前記車両と通信可能に接続されたサーバへ送信する、
    請求項１ないし９のいずれか一項に記載の周囲監視装置。
11. コンピュータにより実行される周囲監視方法であって、
    車両の周囲環境に存在する物体の検知情報を取得する取得ステップと、
    検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別ステップと、
    前記判別ステップでの判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示ステップと、
    前記タッチパネルを介したユーザ入力を取得する入力ステップと、
    前記判別に用いる処理パラメータを更新する更新ステップと、
    を有し、
    前記更新ステップでは、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、
    前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、
    前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、
    周囲監視方法。
12. 周囲監視装置が備えるコンピュータを、
    車両の周囲環境に存在する物体の検知情報を取得する取得部、
    検知された物体である検知物体の画像に基づき、前記検知物体の種類の判別を行う判別部、
    前記判別部の判別結果に基づき、前記検知物体の前記種類に応じたグラフィック表現を用いて、前記検知物体の前記車両に対する相対位置をタッチパネルに表示する表示制御部、
    前記タッチパネルを介したユーザ入力を取得する入力部、および、
    前記判別に用いる処理パラメータを更新する更新部、
    として機能させる周囲監視プログラムであって、
    前記更新部は、前記タッチパネルにおいて前記検知物体の表示が押下されたとき、
    前記押下された検知物体の種類についてユーザが指定する指定種類を取得し、
    前記検知物体の画像および前記指定種類に基づいて、前記判別に用いる前記処理パラメータを更新する、
    周囲監視プログラム。
    

Images