JP2022042284A - オブジェクト認識制御装置、およびオブジェクト認識方法 - Google Patents

Abstract

【課題】人物等を適切に認識すること。
【解決手段】オブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、映像データ取得部が取得した映像データに対して、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合、人物または人物が乗車している自転車として認識する認識処理部と、認識処理部が認識した人物または人物が乗車している自転車の情報を車両の運転者に提示する提示処理部と、を備える。認識処理部は、映像データ取得部が取得した映像データに対して、車両の近傍に該当する範囲と、車両の遠方に該当する範囲とで、所定閾値を変化させる。
【選択図】図１

Description

本発明は、オブジェクト認識制御装置、およびオブジェクト認識方法に関する。

撮影画像における人物認識は、人物認識処理を用いた認識処理の結果、人間らしさを示すスコアが所定の閾値以上である場合に、人物であると判定している。

例えば、特許文献１には、撮影画像に対して認識辞書を用いて歩行者らしさを示すスコアが高いことで対象物が歩行者であることを判断する技術が開示されている。

特開２０１６－１５０２９号公報

車両が走行している環境で、人物等の特定オブジェクトを早期に認識しなければならない範囲は変化する。人物等の特定オブジェクトを早期に認識しなければならない範囲において、人物等の特定オブジェクトを認識できなかった場合、危険につながる可能性がある。また、人物等の特定オブジェクトを早期に認識しなければならない範囲以外の範囲において、誤認識を含むような認識結果を運転者に提示することは、運転者の判断に支障が生じる可能性がある。

本発明は、人物等を適切に認識することができるオブジェクト認識制御装置、およびオブジェクト認識方法を提供することを目的とする。

本発明の一態様に係るオブジェクト認識制御装置は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに対して、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合、人物または人物が乗車している自転車として認識する認識処理部と、前記認識処理部が認識した人物または人物が乗車している自転車の情報を前記車両の運転者に提示する提示処理部と、を備え、前記認識処理部は、前記映像データ取得部が取得した映像データに対して、前記車両の近傍に該当する範囲と、前記車両の遠方に該当する範囲とで、前記所定閾値を変化させる。

本発明の一態様に係るオブジェクト認識方法は、車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに対して、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合、人物または人物が乗車している自転車として認識する認識処理ステップと、前記認識処理ステップで認識した人物または人物が乗車している自転車の情報を前記車両の運転者に提示する提示処理ステップと、を含み、前記認識処理ステップにおいては、前記映像データ取得ステップで取得した映像データに対して、前記車両の近傍に該当する範囲と、前記車両の遠方に該当する範囲とで、前記所定閾値を変化させる。

本発明によれば、人物等を適切に認識することができる。

図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図２Ａは、車両の遠方に該当する範囲を説明するための図である。 図２Ｂは、車両の近傍に該当する範囲を説明するための図である。 図３は、第一実施形態に係る人物認識処理の流れの一例を示すフローチャートである。 図４は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図５は、第二実施形態に係る人物認識処理の流れの一例を示すフローチャートである。 図６は、第三実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。 図７は、第三実施形態に係る人物認識処理の流れの一例を示すフローチャートである。 図８は、第三実施形態の変形例に係るオブジェクト認識装置の構成例を示すブロック図である。 図９は、第三実施形態の変形例に係る人物認識処理の流れの一例を示すフローチャートである。

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

［第一実施形態］
図１を用いて、第一実施形態に係るオブジェクト認識装置について説明する。図１は、第一実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。

図１に示すように、オブジェクト認識装置１は、撮像部１１と、辞書データ記憶部１２と、表示部１３と、ＣＡＮ（Controller Area Network）インターフェース部１４と、制御部（オブジェクト認識制御装置）２０と、を備える。オブジェクト認識装置１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、オブジェクト認識装置１は、車両にあらかじめ設置されている安全運転支援機能を有する装置やナビゲーション装置、ドライブレコーダ等の機能として実装されてもよい。

撮像部１１は、車両に搭載され、車両の進行方向を撮影するように配置されている。撮像部１１は、例えば、可視光カメラまたは遠赤外線カメラで構成される。撮像部１１は、例えば、可視光カメラおよび遠赤外線カメラの組み合わせで構成されてもよい。撮像部１１は、撮影した映像データを映像データ取得部２１に出力する。

辞書データ記憶部１２は、映像データから各種のオブジェクトを認識するための辞書データを記憶している。辞書データ記憶部１２は、例えば、人物の身体の各方面視の映像を機械学習させ、映像データに含まれるオブジェクトが人物であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、人物が乗車している自転車の各方面視の映像を機械学習させ、映像データに含まれるオブジェクトが、人物が乗車している自転車であることを照合可能な認識辞書データを記憶している。辞書データ記憶部１２は、例えば、自動車および自動二輪車などの各方面視の映像を機械学習させ、映像データに含まれるオブジェクトが自動車および自動二輪車などであることを照合可能な認識辞書データを記憶していてもよい。辞書データ記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置によって実現される。

表示部１３は、各種の情報を表示する。表示部１３は、特定オブジェクトが認識された場合に、特定オブジェクトの情報を表示することで、車両の運転者などに通知する。表示部１３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどを含むディスプレイである。

ＣＡＮインターフェース部１４は、ＣＡＮを介して各種の車両情報を取得するインターフェースである。車両情報には、車両の状態に関する状態情報が含まれる。状態情報は、例えば、車両の走行速度、および車両の加速度に関する情報などを含む。車両情報には、車両の運転操作に関する運転操作情報が含まれてもよい。運転操作情報は、例えば、ステアリング操作、ブレーキ操作、およびアクセル操作などの操作情報を含む。

制御部２０は、オブジェクト認識装置１の各部の動作を制御する。制御部２０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。このため、制御部２０は、オブジェクト認識装置１によるオブジェクト認識方法を実行させる。また、制御部２０は、本発明にかかるプログラムを動作させるコンピュータである。制御部２０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

制御部２０は、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、走行速度情報取得部２４と、を備える。図１では、映像データ取得部２１と、認識処理部２２と、提示処理部２３と、走行速度情報取得部２４とは、バスＢＳを介して接続しているように示している。

映像データ取得部２１は、撮像部１１が撮影した映像データを取得する。映像データ取得部２１は、例えば、撮像部１１が出力した、車両の前方を撮影した映像データを取得する。

認識処理部２２は、映像データ取得部２１が取得した映像データに対して物体認識処理を行う。認識処理部２２は、例えば、辞書データ記憶部１２に記憶された辞書データを用いて、各種の物体認識処理を行い、映像データに含まれるオブジェクトを認識する。

認識処理部２２は、人物を検出するための辞書データを用いて、映像データに対して人物認識処理を行って、映像データに含まれる人物を認識する。認識処理部２２は、人物が乗車している自転車を検出するための辞書データを用いて、映像データに含まれる人物が乗車している自転車を認識する。

認識処理部２２は、例えば、映像データ取得部２１が取得した映像データに対して物体認識処理を行った結果、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合に、映像データに含まれるオブジェクトを人物または人物が乗車している自転車として認識する。以下の説明において、認識処理部２２は特定オブジェクトとの例として人物を認識する例として説明するが、特定オブジェクトの例として人物が乗車している自転車の認識も同様に認識対象となる。

認識処理部２２は、人物認識処理により人物らしさを示すスコアを算出し、算出したスコアに値に基づいて、人物を認識する。人物らしさを示すスコアの最大値は、例えば、１．０である。認識処理部２２は、例えば、通常時には、スコアが０．９以上である場合に、認識したオブジェクトを特定オブジェクトである人物であると判断する。

認識処理部２２は、車両の走行速度に応じて、映像データ取得部２１が取得した映像データに対して、車両の近傍に該当する範囲と、車両の遠方に該当する範囲とで認識したオブジェクトが人物であると判定するスコアの閾値を変更する。

認識処理部２２は、例えば、車両の走行速度が第一所定速度以上である場合に、映像データにおける車両の遠方に該当する範囲に対して、人物であると判定するスコアの閾値を下げる。認識処理部２２は、例えば、第一所定速度以上の走行速度の走行が所定期間（例えば、６０秒以上）連続した場合に、映像データにおける車両の遠方に該当する範囲に対して、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈ以上であるときは、映像データにおける車両の遠方に該当する範囲に対して、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。車両の走行速度が第一所定値以上である場合には、認識処理部２２は、映像データにおける車両の近傍に該当する範囲に対しては、通常時のスコアの閾値を用いて認識処理を行う。言い換えれば、認識処理部２２は、車両の走行速度が第一所定速度以上である場合には、映像データにおける車両の遠方に該当する範囲のスコアの閾値を相対的に低くする。

認識処理部２２は、例えば、車両の走行速度が第一所定速度よりも遅い第二所定速度未満である場合に、映像データにおける車両の近傍に該当する範囲に対して、人物であると判定するスコアの閾値を下げる。認識処理部２２は、例えば、第二所定値未満の走行速度の走行が所定期間（例えば、６０秒以上）連続した場合に、映像データにおける車両の近傍に該当する範囲に対して、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２は、例えば、車両の走行速度が３０ｋｍ／ｈ未満であるときは、車両の近傍に該当する範囲に対して、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。車両の走行速度が第二所定速度未満である場合には、認識処理部２２は、車両の遠方に該当する範囲に対しては、通常時のスコアを用いて認識処理を行う。言い換えれば、認識処理部２２は、車両の走行速度が第二所定速度未満である場合には、映像データにおける車両の近傍に該当する範囲のスコアの閾値を相対的に低くする。

図２Ａと、図２Ｂとを用いて、映像データにおける車両の遠方に該当する範囲と、映像データにおける車両の近傍に該当する範囲について説明する。図２Ａは、映像データにおける車両の遠方に該当する範囲を説明するための図である。図２Ｂは、映像データにおける車両の近傍に該当する範囲を説明するための図である。

図２Ａは、車両の進行方向を撮影した映像データ３０を示している。映像データ３０は、例えば、道路３１と水平線３２とを含む。映像データ３０において、例えば、道路３１の上部領域３１Ａと、水平線３２とを含む範囲が車両の遠方の範囲に該当する遠方範囲４１となる。道路３１の上部領域３１Ａは、例えば、道路３１の上部の２０％程度であるが、これに限定されない。

図２Ｂは、映像データにおける車両の進行方向を撮影した映像データ３０を示している。映像データ３０は、道路３１と、水平線３２とを含む。映像データ３０において、例えば、道路３１の上部領域３１Ａと、道路３１の下部領域３１Ｃと、水平線３２とを外した道路３１の中央領域３１Ｂとを含む範囲が車両の近傍の範囲に該当する近傍範囲４２となる。近傍範囲４２には、道路３１の下部領域３１Ｃが含まれていてもよい。

映像データにおける車両の遠方に該当する範囲とは、図２Ａに示すように、映像データ３０の上下方向における中央部分付近に位置する。同様に、映像データにおける車両の近傍に該当する範囲とは、図２Ｂに示すように、遠方に該当する範囲の下方に位置する。これらの範囲は、撮像部１１の垂直方向の設置角度および垂直方向の撮影画角によっても変化する。

遠方範囲４１と、近傍範囲４２とは、映像データ３０において、水平線３２からの距離に応じて設定してもよい。遠方範囲４１と、近傍範囲４２とは、映像データ３０の下端部からの距離に応じて設定してもよい。遠方範囲４１と、近傍範囲４２とは、映像データ３０内に含まれる物体の大きさに応じて設定してもよい。

認識処理部２２は、映像データにおける車両の遠方に該当する範囲に対しては、車両の走行速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を段階的に変更してもよい。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈ以上７０ｋｍ／ｈ未満であるときは、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断してもよい。認識処理部２２は、例えば、車両の走行速度が７０ｋｍ／ｈ以上８０ｋｍ／ｈ未満であるときは、スコアが０．６以上である場合に、認識したオブジェクトを人物であると判断してもよい。認識処理部２２は、例えば、車両の走行速度が８０ｋｍ／ｈ以上９０ｋｍ／ｈ未満であるときは、スコアが０．５以上である場合に、認識したオブジェクトを人物であると判断してもよい。

認識処理部２２は、車両の走行速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を線形的に変更してもよい。認識処理部２２は、例えば、車両の走行速度が６０ｋｍ／ｈになりスコアを０．７に変更したのち、車両の走行速度が上がるにつれてスコアの閾値を線形的に下げてもよい。

本実施形態において、認識処理部２２が人物であると判断するスコアの値は、例示であり、これに限定されるものではない。認識処理部２２が人物であると判断するスコアの値は、設計に応じて任意に変更し得る。

提示処理部２３は、認識処理部２２により認識された人物または人物が乗車している自転車の情報を運転者などに提示する。提示処理部２３は、表示部１３による表示または音声を用いて、人物または人物が乗車している自転車の情報を運転者に提示する。このため、提示処理部２３は、表示部１３による表示で人物または人物が乗車している自転車特の情報を運転者に提示する場合は、表示制御部として機能する。提示処理部２３は、人物または人物が乗車している自転車の情報を表示部１３に表示させる場合、映像データ取得部２１が取得した映像データを表示部１３に表示させ、特定オブジェクトを認識した場合、認識された人物または人物が乗車している自転車を囲むような枠線を表示することで、人物または人物が乗車している自転車を運転者に認識させる。

走行速度情報取得部２４は、車両の走行速度に関する情報を取得する。走行速度情報取得部２４は、例えば、ＣＡＮインターフェースを介して、ＣＡＮから車両の速度に関する情報を取得する。

［人物認識処理］
図３を用いて、第一実施形態に係る人物認識処理について説明する。図３は、第一実施形態に係る人物認識処理の流れの一例を示すフローチャートである。

図３の処理の開始に伴い、制御部２０は、撮影、人物処理認識を開始する（ステップＳ１１）。具体的には、制御部２０は、撮像部１１による撮影を開始させ、撮像部１１が撮影した映像データを映像データ取得部２１が取得し、映像データ取得部２１が取得した映像データに対して、認識処理部２２が認識処理を開始する。そして、ステップＳ１２に進む。図３の処理の開始は、任意の条件で開始される。例えば、オブジェクト認識装置１を搭載している車両のエンジンが始動するなど車両が利用可能になった場合や、ユーザの操作によってオブジェクト認識装置１の動作が開始されたときなどである。また、ステップＳ１１の処理は、車両が走行していることを条件として実行されてもよい。

ステップＳ１１による処理が開始されるとともに、制御部２０は、車両の走行速度が第一所定速度以上であるか否かを判定する（ステップＳ１２）。具体的には、認識処理部２２は、走行速度情報取得部２４が取得した車両の走行速度に関する情報に基づいて、車両の走行速度が第一所定速度以上であるか否かを判定する。走行速度が第一所定速度以上でないと判定された場合（ステップＳ１２；Ｎｏ）、ステップＳ１３に進む。走行速度が第一所定速度以上であると判定された場合（ステップＳ１２；Ｙｅｓ）、ステップＳ１５に進む。

ステップＳ１２でＮｏと判定された場合、制御部２０は、車両の走行速度が第二所定速度未満であるか否かを判定する（ステップＳ１３）。具体的には、認識処理部２２は、走行速度情報取得部２４が取得した車両の走行速度に関する情報に基づいて、車両の走行速度が第一所定速度よりも遅い第二所定速度未満であるか否かを判定する。走行速度が第二所定速度未満でないと判定された場合（ステップＳ１３；Ｎｏ）、ステップＳ１４に進む。走行速度が第二所定速度未満であると判定された場合（ステップＳ１３；Ｙｅｓ）、ステップＳ１６に進む。

ステップＳ１３でＮｏと判定された場合、制御部２０は、人物検出範囲に対して第一規定値以上で人物を判断する（ステップＳ１４）。具体例としては、認識処理部２２は、人物らしさを示すスコアが０．９以上である場合に、物体が人物であると判断する。そして、ステップＳ１７に進む。

ステップＳ１２でＹｅｓと判定された場合、制御部２０は、映像データの遠方範囲に対して第一規定値よりも小さい第二規定値以上で人物を判断する（ステップＳ１５）。具体例としては、認識処理部２２は、映像データの遠方範囲に対して、人物らしさを示すスコアが０．７以上である場合に、物体が人物であると判断する。そして、ステップＳ１７に進む。

ステップＳ１３でＹｅｓと判定された場合、制御部２０は、映像データの近傍範囲に対して第一規定値よりも小さい第二規定値以上で人物を判断する（ステップＳ１６）。具体例としては、認識処理部２２は、映像データの近傍範囲に対して、人物らしさを示すスコアが０．７以上である場合に、物体が人物であると判断する。そして、ステップＳ１７に進む。

制御部２０は、人物を検出したか否かを判定する（ステップＳ１７）。具体的には、認識処理部２２は、ステップＳ１４からステップＳ１６のいずれかで設定された条件で人物が認識されたか否かを判定する。人物が検出されたと判定された場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１８に進む。人物が検出されないと判定された場合（ステップＳ１７；Ｎｏ）、ステップＳ１９に進む。

ステップＳ１７でＹｅｓと判定された場合、制御部２０は、検出された人物の周囲に枠線を表示する（ステップＳ１８）。具体的には、提示処理部２３は、運転者などが検出された人物を把握できるように、検出された人物の周囲に枠線を表示する。そして、ステップＳ１９に進む。

制御部２０は、特定オブジェクト認識処理を終了するか否かを判定する（ステップＳ１９）。制御部２０は、例えば、特定オブジェクト認識処理を終了する操作を受け付けたり、オブジェクト認識装置１の電源をオフにする操作を受け付けたりした場合に、特定オブジェクト認識処理を終了すると判定する。特定オブジェクト認識処理を終了すると判定された場合（ステップＳ１９；Ｙｅｓ）、図３の処理を終了する。特定オブジェクト認識処理を終了しないと判定された場合（ステップＳ１９；Ｎｏ）、ステップＳ１２に進む。

上述した説明においては、ステップＳ１２でＹｅｓと判定された場合と、ステップＳ１３でＹｅｓと判定された場合とで、いずれも第二規定値以上で人物を判断することとして説明したが、第一規定値よりも小さい閾値であれば、ステップＳ１２でＹｅｓと判定された場合と、ステップＳ１３でＹｅｓと判定された場合とで、異なる閾値を用いてもよい。特に、映像データの遠方範囲に対する認識処理は、認識対象となるオブジェクトを構成する画素数が少ないため、映像データの遠方範囲に対して人物を判断する閾値を、映像データの近傍範囲に対して人物を判断する閾値より大きく設定してもよい。

第一実施形態は、車両の走行速度に基づいて、車両の遠方範囲と近傍範囲とで人物らしさを示すスコアの規定値を変更して映像データに含まれる人物を検出する。これにより、第一実施形態は、車両の走行速度が第一所定速度よりも速い場合または第二所定速度よりも遅い場合であっても、車両の遠方範囲と近傍範囲とにおいて、映像データに含まれる人物を適切に認識することができる。

また、第一実施形態は、車両の走行速度が第一所定速度よりも速い場合は、車両の遠方範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行い、または、車両の走行速度が第二所定速度よりも遅い場合は、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、通常のスコアでは特定オブジェクトである人物として認識されない場合のある、物体の陰に一部が隠れた特定オブジェクトも特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトである人物の存在を知ることができる。

さらに、第一実施形態は、車両の走行速度が第一所定速度よりも速い場合は、車両の遠方範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行い、または、車両の走行速度が第二所定速度よりも遅い場合は、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、人物など特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。

［第二実施形態］
図４を用いて、第二実施形態に係るオブジェクト認識装置について説明する。図４は、第二実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。

図４に示すように、オブジェクト認識装置１Ａは、ＣＡＮインターフェース部１４を備えておらず、ＧＮＳＳ（Global Navigation Satellite System）受信部１５と、地図情報記憶部１６とを備える点で、図１に示すオブジェクト認識装置１と異なる。また、オブジェクト認識装置１Ａは、制御部２０Ａが位置情報取得部２５と、地図情報取得部２６とを備える点で、図１に示すオブジェクト認識装置１と異なる。

ＧＮＳＳ受信部１５は、図示しないＧＮＳＳ衛星からＧＮＳＳ信号を受信する。ＧＮＳＳ受信部１５は、ＧＮＳＳ受信回路およびＧＮＳＳ受信装置などで実現される。ＧＮＳＳ受信部１５は、受信したＧＮＳＳ信号を位置情報取得部２５に出力する。

地図情報記憶部１６は、各種の地図情報を記憶している。地図情報記憶部１６は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクなどの記憶装置、さらには、図示しない通信機能によって接続される外部のサーバによって実現される。

位置情報取得部２５は、ＧＮＳＳ受信部１５からＧＮＳＳ信号を取得する。位置情報取得部２５は、例えば、ＧＮＳＳ受信部１５から取得したＧＮＳＳ信号に基づいて、車両の現在位置の現在位置情報を周知の方法で算出する。

地図情報取得部２６は、地図情報記憶部１６から地図情報を取得する。地図情報取得部２６は、例えば、位置情報取得部２５によって算出された現在位置情報に対応する地情報を地図情報記憶部１６から取得する。

認識処理部２２Ａは、車両が走行している道路の走行可能速度に応じて、認識したオブジェクトが人物であると判定するスコアの閾値を変更する。

認識処理部２２Ａは、例えば、車両が走行している道路の走行可能速度が第一所定速度以上である場合に、映像データにおける車両の遠方に該当する範囲に対して、人物であると判定するスコアの閾値を下げる。認識処理部２２Ａは、例えば、第一所定速度以上で走行可能な道路を所定期間（例えば、６０秒以上）走行した場合に、映像データにおける車両の遠方に該当する範囲に対して、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２Ａは、例えば、第一所定速度以上で走行可能な道路を所定距離（例えば、１ｋｍ）走行した場合に、映像データにおける車両の遠方に該当する範囲に対して、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２Ａは、例えば、車両が走行している道路の走行可能速度が６０ｋｍ／ｈ以上であるときは、映像データにおける車両の遠方に該当する範囲に対して、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。車両の走行可能速度が第一所定値以上である場合には、認識処理部２２Ａは、映像データにおける車両の近傍に該当する範囲に対しては、通常時のスコアを用いて認識処理を行う。

認識処理部２２Ａは、例えば、車両が走行している道路の走行可能速度が第一所定速度よりも遅い第二所定速度未満である場合に、車両の近傍に該当する範囲に対して、人物であると判定するスコアの閾値を下げる。認識処理部２２Ａは、例えば、車両が走行している道路の走行可能速度が３０ｋｍ／ｈ未満であるときは、映像データにおける車両の近傍に該当する範囲に対して、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。車両の走行速度が第二所定速度未満である場合には、認識処理部２２Ａは、車両の遠方に該当する範囲に対しては、通常時のスコアを用いて認識処理を行う。

走行速度情報取得部２４Ａは、位置情報取得部２５が算出した現在位置情報と、地図情報取得部２６が取得した地図情報に基づいて、車両が走行している道路の走行可能速度を判定する。走行速度情報取得部２４Ａは、例えば、車両が走行している道路が自動車専用道路および高速道路などの６０ｋｍ／ｈ以上で走行可能な道路であるか否かを判定する。走行速度情報取得部２４Ａは、例えば、車両が走行している道路が住宅地および商業地などの制限速度が３０ｋｍ／ｈ未満の道路であるか否かを判定する。

［人物認識処理］
図５を用いて、第二実施形態に係る人物認識処理について説明する。図５は、第二実施形態に係る人物認識処理の流れの一例を示すフローチャートである。

図５に示すステップＳ２１、およびステップＳ２４からステップＳ２９の処理は、それぞれ、図３に示すステップＳ１１、およびステップＳ１４からステップＳ１９の処理と同一なので、説明を省略する。

制御部２０Ａは、車両が第一所定速度以上で走行可能な道路を走行中であるか否かを判定する（ステップＳ２２）。具体的には、走行速度情報取得部２４Ａは、現在位置情報と、地図情報とに基づいて現在走行している道路が第一所定速度以上で走行可能な道路であるか否かを判定する。第一所定速度以上で走行可能な道路でないと判定された場合（ステップＳ２２；Ｎｏ）、ステップＳ２３に進む。第一所定速度以上で走行可能な道路であるあると判定された場合（ステップＳ２２；Ｙｅｓ）、ステップＳ２４に進む。

ステップＳ２２でＮｏと判定された場合、制御部２０Ａは、車両が第一所定速度よりも遅い第二所定速度未満で走行する道路を走行中であるか否かを判定する（ステップＳ２３）。具体的には、走行速度情報取得部２４Ａは、現在位置情報と、地図情報とに基づいて現在走行している道路が第二所定速度未満で走行する道路である否かを判定する。第二所定速度未満で走行する道路でないと判定された場合（ステップＳ２３；Ｎｏ）、ステップＳ２５に進む。第二所定速度未満で走行する道路であると判定された場合（ステップＳ２３；Ｙｅｓ）、ステップＳ２６に進む。

第二実施形態は、車両が走行している道路の走行可能速度に基づいて、車両の遠方範囲と近傍範囲とで人物らしさを示すスコアの規定値を変更して映像データに含まれる人物を検出する。これにより、第二実施形態は、車両の走行可能速度が第一所定速度よりも速い場合または第二所定速度よりも遅い場合であっても、映像データに含まれる人物を適切に認識することができる。

また、第二実施形態は、車両が走行している道路の走行可能速度が第一所定速度以上である場合は、車両の遠方範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行い、または、車両が走行している道路の走行可能速度が第二所定速度未満である場合は、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、通常のスコアでは特定オブジェクトである人物として認識されない場合のある、物体の陰に一部が隠れた特定オブジェクトも特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトである人物の存在を知ることができる。

さらに、第二実施形態は、車両が走行している道路の走行可能速度が第一所定速度以上である場合は、車両の遠方範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行い、または、車両が走行している道路の走行可能速度が第二所定速度未満である場合は、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、人物など特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。

［第三実施形態］
図６を用いて、第三実施形態に係るオブジェクト認識装置について説明する。図６は、第三実施形態に係るオブジェクト認識装置の構成例を示すブロック図である。

図６に示すように、オブジェクト認識装置１Ｂは、制御部２０Ｂが走行速度情報取得部２４の代わりに、進行方向変更情報取得部２７を備える点で、図１に示すオブジェクト認識装置１と異なる。

進行方向変更情報取得部２７は、車両の進行方向の変更に関する進行方向変更情報を取得する。進行方向変更情報取得部２７は、例えば、ＣＡＮインターフェース部１４を介して、ＣＡＮから方向指示器（ウィンカ）の操作情報を取得する。

認識処理部２２Ｂは、例えば、進行方向変更情報取得部２７が取得した操作情報が、方向指示器が動作していることを示している間は、映像データにおける車両の近傍に該当する範囲に対して、人物であると判定するスコアの閾値を下げる。認識処理部２２Ｂは、例えば、方向指示器が動作していることを示している間は、映像データにおける車両の近傍に該当する範囲に対して、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。方向指示器が動作していることを示している間は、認識処理部２２Ｂは、映像データにおける車両の遠方に該当する範囲に対しては、通常時のスコアを用いて認識処理を行う。

認識処理部２２Ｂは、例えば、進行方向変更情報取得部２７が取得した操作情報が、方向指示器が動作していることを示している間は、映像データにおける方向指示器が示す方向における近傍に範囲に対して、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２Ｂは、例えば、方向指示器が左方向を示している場合には、映像データにおける左方向の近傍に該当する範囲に対して、人物と判定するスコアの閾値を下げてもよい。

［人物認識処理］
図７を用いて、第三実施形態に係る人物認識処理について説明する。図７は、第三実施形態に係る人物認識処理の流れの一例を示すフローチャートである。

図７に示すステップＳ３１、およびステップＳ３３からステップＳ３７の処理は、それぞれ、図３に示すステップＳ１１、ステップＳ１４、およびステップＳ１６からステップＳ１９の処理と同一なので、説明を省略する。

制御部２０Ｂは、車両の方向指示器を用いて方向指示操作があるか否かを判定する（ステップＳ３２）。具体的には、進行方向変更情報取得部２７は、方向指示操作を取得したか否かを判定する。方向指示操作がないと判定された場合（ステップＳ３２；Ｎｏ）、ステップＳ３３に進む。方向指示操作があると判定された場合（ステップＳ３２；Ｙｅｓ）、ステップＳ３４に進む。

第三実施形態は、車両の方向指示器が動作している間は、映像データにおける車両の近傍範囲に対して人物らしさを示すスコアの規定値を下げて映像データに含まれる人物を検出する。これにより、第三実施形態は、車両の方向指示器が動作している場合に、車両の近傍範囲の映像データに含まれる人物を適切に認識することができる。

［第三実施形態の変形例］
図８を用いて、第三実施形態の変形例に係るオブジェクト認識装置について説明する。図８は、第三実施形態の変形例に係るオブジェクト認識装置の構成例を示すブロック図である。

図８に示すように、オブジェクト認識装置１Ｃは、制御部２０Ｃの進行方向変更情報取得部２７Ａの動作が、図６に示すオブジェクト認識装置１Ｂとは異なる。

進行方向変更情報取得部２７Ａは、車両が進行方向を変える予定があるか否かを示す情報を取得する。進行方向変更情報取得部２７Ａは、例えば、ナビゲーション装置１７から、予め設定された経路に基づき、車両が進行方向の変更を行う位置の所定距離手前に位置しているか否かの位置情報を取得する。

認識処理部２２Ｃは、例えば、車両が進行方向の変更を行う位置の所定距離手前の位置から、実際に進行方向の変更を行うまでの期間は、車両の近傍に該当する範囲において、人物であると判定するスコアの閾値を下げる。認識処理部２２Ｃは、例えば、車両の近傍の範囲において、スコアが０．７以上である場合に、認識したオブジェクトを人物であると判断する。車両が進行方向の変更を行う位置の所定距離手前の位置から、実際に進行方向の変更を行うまでの期間は、認識処理部２２Ｃは、車両の遠方に該当する範囲においては、通常のスコアを用いて認識処理を行う。

認識処理部２２Ｃは、例えば、車両が進行方向の変更を行う位置の所定距離手前の位置から、実際に進行方向の変更を行うまでの期間は、進行方向を変更する方向における近傍に範囲において、人物であると判定するスコアの閾値を下げてもよい。認識処理部２２Ｃは、例えば、左方向に進行方向を変更する予定がある場合には、映像データにおける左方向の近傍に該当する範囲において、人物と判定するスコアの閾値を下げてもよい。

［人物認識処理］
図９を用いて、第三実施形態の変形例に係る人物認識処理について説明する。図９は、第三実施形態の変形例に係る人物認識処理の流れの一例を示すフローチャートである。

ステップＳ４１、およびステップＳ４３からステップＳ４７の処理は、それぞれ、図７に示すステップＳ３１、およびステップＳ３３からステップＳ３７の処理と同一なので、説明を省略する。

制御部２０Ｃは、車両が進行方向を変更する予定があるか否かを判定する（ステップＳ４２）。具体的には、進行方向変更情報取得部２７Ａは、ナビゲーション装置１７から、予め設定された経路に基づき、車両が進行方向の変更を行う位置の所定距離手前に位置しているか否かを判定する。進行方向を変更する予定がないと判定された場合（ステップＳ４２；Ｎｏ）、ステップＳ４３に進む。進行方向を変更する予定あると判定された場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４４に進む。

第三実施形態の変形例では、車両が進行方向を変更する予定がある場合に、車両の近傍範囲において人物らしさを示すスコアの規定値を下げて映像データに含まれる人物を検出する。これにより、第三実施形態は、車両が進行方向を変更する予定がある場合に、車両の近傍範囲の映像データに含まれる人物を適切に認識することができる。

また、第三実施形態は、車両の進行方向の変更に基づき、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、通常のスコアでは特定オブジェクトである人物として認識されない場合のある、物体の陰に一部が隠れた特定オブジェクトも特定オブジェクトとして認識する。このため、車両の運転者は、より適切に特定オブジェクトである人物の存在を知ることができる。

さらに、第三実施形態は、車両の進行方向の変更に基づき、車両の近傍範囲に対する人物らしさを示すスコアの閾値を低くして認識処理を行うため、スコアの閾値を低くした範囲においては、人物など特定オブジェクトではない物体を特定オブジェクトとして判断する誤認識が増加する。しかし、誤認識であっても、特定オブジェクトが存在することとして提示されるため、車両の運転者に、より安全性を重んじた運転を行わせることができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。実施形態においては、人物または人物が乗車している自転車を認識する例として説明したが、認識する対象は実施形態の内容に限定されず、様々な対象物の認識に適用可能である。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１，１Ａ，１Ｂ，１Ｃ オブジェクト認識装置
１１ 撮像部
１２ 辞書データ記憶部
１３ 表示部
１４ ＣＡＮインターフェース部
１５ ＧＮＳＳ受信部
１６ 地図情報記憶部
１７ ナビゲーション装置
２０，２０Ａ，２０Ｂ，２０Ｃ 制御部
２１ 映像データ取得部
２２，２２Ａ，２２Ｂ，２２Ｃ 認識処理部
２３ 提示処理部
２４ 走行速度情報取得部
２５ 位置情報取得部
２６ 地図情報取得部
２７，２７Ａ 進行方向変更情報取得部

Claims (5)

1. 車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得部と、
   前記映像データ取得部が取得した映像データに対して、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合、人物または人物が乗車している自転車として認識する認識処理部と、
   前記認識処理部が認識した人物または人物が乗車している自転車の情報を前記車両の運転者に提示する提示処理部と、
   を備え、
   前記認識処理部は、前記映像データ取得部が取得した映像データに対して、前記車両の近傍に該当する範囲と、前記車両の遠方に該当する範囲とで、前記所定閾値を変化させる、
   オブジェクト認識制御装置。
2. 前記車両の走行速度に関する情報を取得する走行速度情報取得部をさらに備え、
   前記認識処理部は、前記走行速度情報取得部が取得した走行速度に関する情報が第一所定速度よりも速い走行速度であることを示している場合、前記映像データにおける前記車両の遠方に該当する範囲に対して前記所定閾値を相対的に低くする、
   請求項１に記載のオブジェクト認識制御装置。
3. 前記車両の走行速度に関する情報を取得する走行速度情報取得部をさらに備え、
   前記認識処理部は、前記走行速度情報取得部が取得した走行速度に関する情報が第二所定速度よりも遅い走行速度であることを示している場合、前記映像データにおける前記車両の近傍に該当する範囲に対して前記所定閾値を相対的に低くする、
   請求項１に記載のオブジェクト認識制御装置。
4. 前記車両の進行方向変更に関する情報を取得する進行方向変更情報取得部をさらに備え、
   前記認識処理部は、前記進行方向変更情報取得部が取得した進行方向変更に関する情報に基づき、進行方向変更を行うときの前後所定期間、前記映像データにおける前記車両の近傍に該当する範囲に対して前記所定閾値を相対的に低くする、
   請求項１に記載のオブジェクト認識制御装置。
5. 車両の周辺を撮影するカメラが撮影した映像データを取得する映像データ取得ステップと、
   前記映像データ取得ステップで取得した映像データに対して、人物または人物が乗車している自転車らしさを示すスコアが所定閾値以上である場合、人物または人物が乗車している自転車として認識する認識処理ステップと、
   前記認識処理ステップで認識した人物または人物が乗車している自転車の情報を前記車両の運転者に提示する提示処理ステップと、
   を含み、
   前記認識処理ステップにおいては、前記映像データ取得ステップで取得した映像データに対して、前記車両の近傍に該当する範囲と、前記車両の遠方に該当する範囲とで、前記所定閾値を変化させる、
   オブジェクト認識方法。

Images