JP2021149309A - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】安全性の高い移動を可能とする情報処理装置、情報処理方法及びコンピュータプログラムを提供する。【解決手段】本開示の情報処理装置は、移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行う認識処理部と、前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる出力制御部とを備える。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

車両の運転時の安全性を高めるため、車両の移動中に衝突の恐れのある対象に対して情報を提示し、危険を回避する方法が提案されている。例えば、下記特許文献１は、車両が、歩行者を認識していない状態では前方全面に光を照射し、歩行者を認識した場合にのみ、歩行者に対して指向性を持った白色光を照射する。この方法によれば、歩行者に対して車両によって歩行者が認識されていることを通知するとともに、歩行者に注意を喚起できる。

特開２０１９−２１４３３

しかしながら、この方法では、歩行者を認識できた場合にのみ動作を行うため、車両が歩行者を認識できていない場合は、歩行者に注意喚起を行うことができない。したがって、歩行者側で車両を認識できていないと、歩行者が車両と衝突する危険性がある。

本開示は、安全性の高い移動を可能とする情報処理装置、情報処理方法及びコンピュータプログラムを提供する。

本開示の情報処理装置は、移動体の周辺環境の撮像画像撮像画像に基づき、認識対象の認識処理を行う認識処理部と、前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる出力制御部とを備える。

前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
前記出力制御部は、前記認識対象のオブジェクトが検出されない場合に、前記未認識通知情報を前記出力装置に出力させる。

前記出力制御部は、前記認識処理部によって種別が不明のオブジェクトが検出された場合に、前記未認識通知情報を前記出力装置に出力させる。

前記種別が不明のオブジェクトは、認識スコアが閾値未満のオブジェクトである。

前記認識処理部は、前記種別が不明のオブジェクトが表す対象の状態を識別し、
前記出力制御部は、前記出力装置に、前記対象の状態に応じた媒体を用いて、前記未認識通知情報を出力させる。

前記媒体は、光、音、振動、風、及び電波のうちの少なくとも１つを含む。

前記出力制御部は、前記種別が不明のオブジェクト認識スコアの値に応じて、前記未認識通知情報のパラメータを変更する。

前記認識処理部は、前記種別が不明のオブジェクトが表す対象の状態を識別し、
前記出力制御部は、前記対象の状態に応じて、前記未認識通知情報のパラメータを変更する。

前記対象の状態は、前記対象の移動速度、前記対象の移動方向、及び前記移動体との距離のうちの少なくとも１つを含む。

前記認識処理部は、前記種別が不明のオブジェクトが表す対象の危険度を算出し、
前記出力制御部は、前記危険度に応じて、前記未認識通知情報のパラメータを変更する。

前記出力制御部は、前記認識対象が認識された場合に、前記認識対象が認識されていることを示す認識通知情報を前記出力装置に出力させる。

前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
前記出力制御部は、前記認識対象のオブジェクトが検出された場合に、前記認識通知情報を前記出力装置に出力させる。

前記認識処理部は、前記認識対象の状態又は属性を識別し、
前記出力制御部は、前記出力装置に、前記認識対象の状態又は属性に応じた媒体を用いて、前記認識通知情報を出力させる。

前記出力制御部は、前記認識対象のオブジェクトの認識スコアに応じて、前記未認識通知情報のパラメータを変更する。

前記認識処理部は、前記認識対象の状態又は属性を識別し、
前記出力制御部は、前記認識対象の状態又は属性に応じて、前記認識通知情報のパラメータを変更する。

前記認識対象の状態は、前記認識対象の視覚、聴覚、触覚、嗅覚及び味覚の少なくとも１つに関する状態である。

前記認識処理部は、前記認識対象の危険度を算出し、
前記出力制御部は、前記危険度に応じて、前記認識通知情報のパラメータを変更する。

前記認識処理部は、前記撮像画像に基づき、前記撮像画像の画角の一部である認識対象画角に対して前記認識処理を行い、
前記出力制御部は、前記認識対象が認識されない場合に、前記画角の一部に対応する方向に前記未認識通知情報を前記出力装置に出力させる。

本開示の情報処理方法は、
移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行い、
前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる。

本開示のコンピュータプログラムは、
移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行うステップと、
前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させるステップと
をコンピュータに実行させる。

第１実施形態に係る情報処理装置を備えた車両警告システムのブロック図。 撮像装置によって取得された画像データの例を示す図。 ピクセル単位でクラス分類をした結果を示す図。 各ピクセルの認識スコアを格納したスコアマップの例を示す図。 車両の屋根に設けた発光装置を赤色で点灯させる例を示す図。 車両の下部全周に沿って配置した赤色光源を点灯させる例を示す図。 車両の左前方に不明物体オブジェクトが検出された場合の発光例を示す図。 認識スコアの表示例を示す図。 未認識通知情報に対応する赤色光と認識通知情報に対応する青色光とを同時に照射する具体例を示す図。 認識対象画角に対してオブジェクト検出を行う例を示す図。 第１実施形態に係る情報処理装置の動作の一例のフローチャート。 図１の情報処理装置のハードウェア構成の一例を示す図。 第２実施形態に係る情報処理装置を備えた車両警告システムのブロック図。 第２実施形態に係る情報処理装置の動作の一例のフローチャート。 第３実施形態に係る情報処理装置を備えた車両警告システムのブロック図。 第３実施形態に係る情報処理装置の動作の一例のフローチャート。 車両制御システム概略的な構成例を示すブロック図である。 撮像部及び車外情報検出部の設置位置の例を示す図。

以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。

図１は、第１実施形態に係る情報処理装置を備えた車両警告システムのブロック図である。図１の情報処理装置１０１は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車等の車両に搭載される。以下の説明では、本開示に係る技術を車両に適用する場合を示すが、本開示に係る技術は、他にも、様々な製品へ応用することができる。例えば、本開示に係る技術は、ＡＧＶ（Automated Guided Vehicle）、パーソナルモビリティ、飛行機、ドローン、船舶、移動ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されることができる。

情報処理装置１０１が搭載される車両は、全動作を自動化して行う自動運転車、一定の条件の元で全動作を自動化して行う自動運転車、一部の動作を自動化することで運転者の運転を支援する半自動運転者、運転の自動化も支援もない自動車のいずれも可能である。全動作を自動化して行う自動運転車に情報処理装置１０１が搭載される場合に、運転者が存在しなくてもよい。以下の説明では、運転者が存在しない自動運転車の場合を想定する。

第１実施形態の概要は以下の通りである。図１の情報処理装置１０１は、車両の走行中に撮像装置２０１から周辺環境の撮像画像を取得し、取得した撮像画像に基づき、認識対象の認識処理を行う。認識対象は一例として人間であるが、犬、猫等、人間以外の生物でもよい。情報処理装置１０１は、認識処理の結果として、認識対象が認識されない場合に、認識対象が認識されていないことを示す未認識通知情報を、光又は音等の媒体を介して周辺環境に出力する。

具体的には、情報処理装置１０１は、撮像画像に基づきオブジェクト検出を行い、オブジェクトの種別（以下、クラスと呼ぶ）の判定と、クラス判定の信頼性の高さを示す認識スコアの算出とを行う。認識スコアが閾値未満のオブジェクトが検出された場合は、オブジェクトのクラスを不明クラスとする。また、当該クラスが不明のオブジェクトを不明物体オブジェクトとし、不明物体オブジェクトが表す対象を不明物体とする。不明物体オブジェクトが検出された場合、もしくは認識対象のオブジェクトが検出されない場合に、未認識通知情報を出力する。

未認識通知情報は、車両が周辺環境内に人間を認識していないことを通知する情報である。未認識通知情報の出力方法は、例えば特定の色の光を照射することでもよいし、特定の音を出力することでもよいし、その他の方法でもよい。未認識通知情報に接した人間は、近くを走行中の車両に自分が認識されていないことを把握し、車両から遠ざかるなどの行動を行うことができる。これにより、人間が車両によって認識されていない場合でも、人間に対して注意を喚起することができる。以下、第１実施形態についてさらに詳細に説明する。

図１に示す車両警告システムは、撮像装置２０１、情報処理装置１０１、及び情報出力装置（出力装置）３０１を備えている。

撮像装置２０１は、車両の周辺環境を撮像し、画像データを取得する装置である。撮像装置２０１は、例えば車両の統合制御ユニットに（後述する図１７参照）動作を制御される。撮像装置２０１は、一例として、一定のサンプリング間隔で撮像を行う。

撮像装置２０１は、単眼カメラ、ステレオカメラ、ＴｏＦ（Time Of Flight）カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも１つのカメラを含む。カメラの設置位置の例は、車両のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置を含む（後述する図１８参照）。フロントノーズ及び車室内のフロントガラスの上部に備えられるカメラは、主として車両の前方の画像を取得する。サイドミラーに備えられるカメラ、主として車両の側方の画像を取得する。リアバンパ又はバックドアに備えられるカメラは、主として車両の後方の画像を取得する。複数のカメラで撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。

情報処理装置１０１は、画像取得部１１、認識処理部１２、出力制御部１３及び記憶部１４を備えている。認識処理部１２は、セグメンテーション部２１、及び情報出力判断部２２を備えている。車内にユーザ（搭乗者）が存在する場合に、ユーザがデータ又は指示を入力するための入力装置、及びユーザにデータを表示する表示装置が備えられていてもよい。

画像取得部１１は、撮像装置２０１で撮像された画像データを取得し、取得した画像データを認識処理部１２に提供する。画像取得部１１は、取得した画像データに対して、前処理を行ってもよい。前処理の例は、サイズ変換処理又は欠損値処理等を含む。

認識処理部１２のセグメンテーション部２１は、画像取得部１１から提供された画像データに基づき、認識対象の認識処理を行う。具体的には、まず、セグメンテーション部２１は、画像データに基づき、オブジェクト検出を行う。オブジェクト検出には、一例として、セグメンテーション及びクラスタリングの少なくとも一方を用いることができる。第１実施形態では、セマンティックセグメンテーションを用いる例を示すが、これに限定されない。

セマンティックセグメンテーションは、画像データの各ピクセルのクラス（種別）を、ピクセル単位で分類する手法である。ピクセル毎にクラスを判定し、判定されたクラスを示したラベルをピクセル毎に出力する。例えば、予め、人間、背景、電柱、道路、横断歩道、樹木、ビルといった複数のオブジェクトに対して各々クラスが定義されている。各クラスには特定の色が割り当てられている。各ピクセルに対して、クラスの判定とともに、クラスの判定の信頼性の高さを表す認識スコアを算出する。認識スコアが閾値以上のピクセルについてのみ、判定されたクラスが採用される。認識スコアが閾値未満のピクセルは、判定不能ピクセルとされ、不明物体クラスと決定される。

セマンティックセグメンテーションの結果として、画像データの各ピクセルに対応するクラス値を格納したクラスマップと、各ピクセルの認識スコアを格納したスコアマップとが得られる。また、クラスマップの各クラス値を、色とクラスの対応表に基づき色値に変換して、セグメンテーション画像が得られる。

セグメンテーション画像において、連続する同じ色値のまとまりが１つのオブジェクトに対応する。オブジェクトの最外延のピクセルが、オブジェクトの境界線となる。オブジェクトに属するピクセルの認識スコアの統計値（平均値、中央値、最小値又は最大値等）を、オブジェクトの認識スコアとする。認識スコアが閾値未満のオブジェクトは不明物体オブジェクトに相当する。

このようなセマンティックセグメンテーションは、一例として、学習済みのニューラルネットワークを用いて行うことができる。画像データをニューラルネットワークの入力として用いる。ニューラルネットワークを用いた処理において、各ピクセルをピクセル単位でクラス予測する。ニューラルネットワークの出力は、入力された画像データの各ピクセルに割り当てられたクラス値（数値）を含むクラスマップと、各ピクセルの認識スコアを格納したスコアマップである。クラスと色の対応表を参照し、クラスマップの各クラス値を、各クラス値に対応する色値に置換することで、セグメンテーション画像が得られる。セグメンテーション画像を表示することで、セグメンテーション結果を可視化できる。ニューラルネットワークを用いて処理において、認識スコアが閾値以上のピクセルには、判定されたクラスが決定され、認識スコアが閾値未満のピクセルには、判定不能のクラスが決定される。

なお、クラスマップとスコアマップは一例として同一の画像サイズである。すなわちクラスマップとスコアマップのピクセル数は同じであり、ピクセル毎にクラスと認識スコアが存在する。セグメンテーション部２１は、クラスマップとスコアマップと記憶部１４に格納する。クラスと色の対応表を記憶部１４に格納してもよい。セグメンテーション画像を記憶部１４に格納してもよい。

記憶部１４は、セグメンテーション部２１によって得られたクラスマップ及びスコアマップを記憶する。また記憶部１４は、クラスと色の対応表、及びセグメンテーション画像の少なくとも一方を記憶してもよい。記憶部１４は、メモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ハードディスク等の任意の記録媒体である。メモリは不揮発性メモリでも、揮発性メモリでもよい。

以下、図２〜図４を用いて、セグメンテーション部２１の動作の具体例を示す。

図２は、撮像装置２０１によって取得された画像データの例を示す。この例では、手前から奥に向かって車道１１１があり、車道１１１に横断歩道１１２が設けられている。横断歩道を人間である歩行者１１３が渡っている。車道１１１に沿って樹木１１４が植えられている。実際には歩道、街灯、ビルなど他の物、別の歩行者が存在してよいが、ここでは簡単のため省略している。一例として、車両が深夜に車道を走行しており、見通しが悪い状況である。

図３は、画像データの各ピクセルについてピクセル単位でクラス分類をした結果を示すセグメンテーション画像である。セグメンテーション画像は、前述のようにクラスマップを、クラスと色の対応表により変換することで得ることができる。セグメンテーション画像の各ピクセルに色値が入っている。同じ色値は同じクラスに対応する。例えばＲは赤、Ｇは緑、Ｗは白、Ｂは灰色、Ｈは青である。Ｇには木クラス、Ｗには歩道クラス、Ｂには車道クラス、Ｈには背景クラスが割り当てられている。またＲには判別不能クラスが割り当てられている。

図４は、各ピクセルの認識スコアを格納したスコアマップの例を示す。認識スコアは、一例として、０以上１以下の範囲、あるいは、０以上１００以下の範囲などである。値が大きいほど、判定されたクラスの信頼性が高い。判定されたクラスの認識スコアが閾値以上の場合は、当該クラスがピクセルに対して決定され、閾値未満の場合は、当該予測されたクラスを採用せず、判別不明のクラスがピクセルに対して決定される。閾値は、一例として０．６とする。

図４に示すように、木、歩道、車道、背景の各画像に属するピクセルの認識スコアがいずれも閾値以上であり、判定されたクラスが当該ピクセルに対して決定されている。例えば木の画像に属するピクセルの認識スコアは０．９以上であり、０．９は閾値以上である。当該木の画像に属するピクセルに対して木のクラスが判定されたため、図３に示すように、木のクラスに対応する色値Ｇが、当該ピクセルに対して割り当てられる。

一方、図４に示すように、人間の画像に属するピクセルの認識スコアは０．２〜０．３の範囲に収まっており、０．２〜０．３の範囲は閾値未満である。日中の明るい環境での撮影の場合であれば、閾値以上の認識スコアが期待されるが、夜間の暗い環境での撮影であったため、低い認識スコアとなっている。この場合、人間の画像に属するピクセルに対して人間のクラスが予測されていても、認識スコアが低いため、この予測結果は採用されない。図３に示すように、判別不明クラスに対応する色値Ｒが、人間の画像に属するピクセルに対して割り当てられている。

連続する同じ色値のまとまりが１つのオブジェクトに対応する。例えば、色値Ｇの連続するまとまりが１つのオブジェクトに対応する。オブジェクトは、Ｇに対応する木のクラスを有する。また、色値Ｒの連続するまとまりが１つのオブジェクトに対応する。このオブジェクトは、Ｒに対応する判別不明のクラスを有する。他の色値についても同様である。オブジェクトの最外延のピクセルが、オブジェクトの境界線となる。ここでは説明のため図３のセグメンテーション画像が画像データのサイズに対して解像度が低くなっており、同じ色値の連続する領域の最外延のピクセルとオブジェクトの輪郭とが正確には一致していないが、解像度を十分高くする（例えば、画像データと同じ解像度とする）ことで、同じ色値の連続する最外延のピクセルとオブジェクトの輪郭とが一致又は概ね一致する。

情報出力判断部２２は、クラスマップ又はセグメンテーション画像に基づき、判別不明クラスのオブジェクトが存在するかを判断する。判別不明クラスのオブジェクト（不明物体オブジェクト）が存在する場合、認識対象（ここでは人間）が認識されていないことを示す未認識通知情報を出力することを決定する。これにより、不明物体オブジェクトが表す対象（不明物体）がもし人間であった場合に、当該人間に対して、車両が人間を認識していないことを通知できる。判別不明オブジェクトのサイズ（ピクセル数）が一定サイズ以上かを判断し、一定サイズ以上の場合のみ、未認識通知情報を出力してもよい。一定サイズ未満の場合は、不明物体は人間である可能性は少ないとして、未認識通知情報を出力しなくてもよい。一定サイズは、オブジェクトまでの距離に応じて決定してもよい。一例として、距離が大きいほど、一定サイズを小さくする。オブジェクトまでの距離は、一例としてステレオカメラ又はＴｏＦカメラを用いることで算出できる。もしくは距離センサを用いて算出できる。

クラスマップ又はセグメンテーション画像に基づき、不明物体オブジェクトの存在有無を特定したが、スコアマップに基づき、不明物体オブジェクトの存在有無を特定してもよい。例えば、スコアマップに基づき、認識スコアが閾値未満のピクセルの連続する領域が存在するかを判断する。そのような領域が存在する場合は、未認識通知情報を出力することを決定する。領域のサイズ（ピクセル数）が一定サイズ以上の場合にのみ、未認識通知情報を出力することを決定してもよい。

情報出力判断部２２は、未認識通知情報を出力することを決定した場合、未認識通知情報の出力を指示する情報を出力制御部１３に提供する。この際、情報出力判断部２２は、未認識通知情報を出力する媒体を決定し、決定した媒体を示す情報を出力制御部１３に指示してもよい。例えば、媒体として、光、音、振動、電波、風、液体などがある。指示する媒体は１つでも、複数でもよい。また、未認識通知情報のパラメータを決定し、決定したパラメータを出力制御部１３に指示してもよい。例えば、媒体として光を用いる場合、色、明度、輝度、彩度、点滅速度などのうちの少なくとも１つをパラメータとして指定する。媒体及びパラメータの決定は、不明物体の状態に基づいて行ってもよい。

情報出力判断部２２は、認識対象（人間）のクラスのオブジェクトが検出された場合、すなわち、認識対象が認識された場合、認識対象に対して、認識通知情報を出力することを決定する。認識対象（人間）のクラスのオブジェクトを認識対象オブジェクト（人間オブジェクト）と称する。

認識通知情報は、車両が周辺環境の認識対象に対して、当該認識対象を認識していることを通知する情報である。認識通知情報を通知された人間（歩行者等）は、車両によって自分が認識されていることを把握できる。これにより、人間は車両が自分に近づかないように走行してくれると期待し、安心できる。また、車両が接近しているとの注意を促すことができる。走行中の車両に気づいていない人間に対しても、車両が接近しているとの注意を促すことができる。

情報出力判断部２２は、認識通知情報の出力を決定した場合、出力制御部１３に認識通知情報の出力を指示する情報を提供する。この際、情報出力判断部２２は、認識通知情報を出力する媒体を決定し、決定した媒体を示す情報を出力制御部１３に指示してもよい。また、認識通知情報のパラメータを決定し、決定したパラメータを出力制御部１３に指示してもよい。媒体及びパラメータの決定は、認識対象の状態に基づいて行ってもよい。

情報出力判断部２２は、認識対象オブジェクトと不明物体オブジェクトの両方が検出された場合は、認識通知情報と未認識通知情報との両方を出力してもよい。あるいは、情報出力判断部２２は、認識通知情報及び未認識通知情報のうち一方のみを出力してもよい。例えば、認識対象オブジェクトと不明物体オブジェクトの両方が検出された場合は、未認識通知情報のみを出力してもよい。

出力制御部１３は、認識処理部１２から未認識通知情報を出力することの指示情報を受けた場合は、指示情報に従って、情報出力装置３０１に、未認識通知情報を出力させる。指示情報は、未認識通知情報の出力に用いる媒体及びパラメータの少なくとも一方を含んでもよい。媒体及びパラメータが含まれていない場合は、予め指定された媒体及びパラメータで未認識通知情報を出力する。

また出力制御部１３は、認識処理部１２から認識通知情報を出力することの指示情報を受けた場合は、指示情報に従って、情報出力装置３０１に、認識通知情報を出力させる。指示情報は、認識通知情報の出力に用いる媒体及びパラメータの少なくとも一方を含んでもよい。媒体及びパラメータが含まれていない場合は、予め指定された媒体及びパラメータで認識通知情報を出力する。

情報出力装置３０１は、発光装置３１、音声出力装置３２、表示装置３３、振動装置３４、通信装置３６及び送風装置３５を備えている。これらの要素３１〜３６は、未認識通知情報及び認識通知情報の少なくとも一方を周囲の環境に通知する通知ユニットである。情報出力装置３０１は、これらの通知ユニット３１〜３６の全部を備えている必要はない。情報出力装置３０１は、通知ユニット３１〜３６のうちの１つ以上を備えていればよい。

発光装置３１は、少なくとも車外に対して視覚的に情報を通知することが可能な装置である。情報を伝達する媒体は光である。発光装置３１は、一例として、少なくとも１つの光源を含む。光源の例は、ＬＥＤ、白熱灯、レーザー、視覚制限灯、ランプ等を含む。レーザーは、例えば路面照射に用いる。視覚制限等は特定の方向のみから点灯が視認できる。発光装置３１は、周囲の環境から光源の発光を視認可能な箇所に設けられる。発光装置３１は、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの近傍に設けられてもよい。あるいは、発光装置３１を車体の屋根上に設けてもよい。発光装置３１が複数の光源を備える場合に、フロントガラスの両側に複数の光源を設けてもよいし、車体の下部周囲（例えば前後左右）に間隔を空けて複数の光源を配置してもよい。

光源の色、明度、彩度及び点滅速度の少なくとも１つがパラメータとして変更可能でもよい。また発光装置３１が複数の光源を含む場合、動作させる光源の数がパラメータとして変更可能でもよい。また発光装置３１が複数の色の光源を含む場合に、動作させる光源の色をパラメータとして変更（増減）可能でもよい。発光装置３１が複数のサイズの光源を含む場合に、動作させる光源のサイズをパラメータとして変更可能でもよい。

音声出力装置３２は、少なくとも車外に対して、聴覚的に情報を通知することが可能な音声出力装置である。情報を伝達する媒体は音である。音声出力装置３２は少なくとも１つのスピーカを含む。音声出力装置３２は、車両の屋根、車体側面、前面又は後面、フロントガラスの両側など任意の箇所に設置される。音声出力装置３２は複数のスピーカを備え、複数のスピーカが複数の箇所に配置されてもよい。

音声出力装置３２は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。音声データ又他音響データ等を調整することで、音量、音程（周波数）、曲調（リズム）、速度（ビート）をパラメータとして変えることができる。また、音声の場合、音声データを変更することで、音声の内容をパラメータとして変更することができる。

表示装置３３は、情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する装置である。情報を伝達する媒体は、光である。表示装置３３は、車両の屋根、車体の側面又は前面、フロントガラスの両側など任意の箇所に設置される。表示装置３３は、複数の表示部を備え、複数の表示部が複数の箇所に配置されてもよい。

表示装置３３には、各種のメッセージ又はデータを表示できる。表示する内容をパラメータとして変更できる。例えば認識スコアを表示してもよい。また、例えば認識対象オブジェクトの認識スコアが閾値未満の場合に、未認識通知情報として、認識スコアの値を表示部３３に表示してもよい。認識スコアの値はインジケータ・ゲージにより表示してもよいし、テキストにより表示してもよい。認識スコアが小さいことで、歩行者は自分が認識されていない可能性が高いと判断できる。認識通知情報として認識スコアの値を表示してもよい。

また表示装置３３に、未認識通知情報として認識対象が認識されていないことを表現するメッセージ、例えば、「現在、歩行者は認識されていません！」などのメッセージを表示してもよい。また、認識通知情報として、認識対象が認識されていることを表現するメッセージ、例えば、「現在、歩行者を認識しています」などのメッセージを表示してもよい。その他、様々な形態で未認識通知情報又は認識通知情報を表示してもよい。

振動装置３４は、振動により情報を出力する装置である。情報を伝達する媒体は振動である。振動音を情報として出力してもよいし、振動を地面又は他の物体を介して相手に伝えることで情報を出力してもよい。後者の場合、目及び耳が不自由な歩行者にも情報を伝達することができる。振動装置３４は、車両の屋根、車体の側面又は前面、フロントガラスの両側など任意の箇所に設置される。振動装置３４は、複数の振動部を備え、複数の振動部が複数の箇所に配置されてもよい。振動装置３４は、与えられる振動信号に基づき振動する。振動装置３４に与える振動信号をパラメータとして調整することで、振動パターンを変えることができる。例えば未認識通知情報の場合と、認識通知情報の場合とで振動パターンを変えてもよい。振動パターンは、振動の大きさ、速さ及びリズムなどを含む。

送風装置３５は、風を介して情報を出力する装置である。情報を伝達する媒体は風である。送風装置３５は、車両の屋根、車体の側面又は前面、フロントガラスの両側など任意の箇所に設置される。送風装置３５は、複数の送風部を備え、複数の送風部が複数の箇所に配置されてもよい。各送風部の送風の指向性を制御可能であってもよい。送風装置３５は、与えられる送風信号に基づき送風する。送風装置３５に与える送風信号をパラメータとして調整することで、送風の向き又は強さを変えることができる。例えば未認識通知情報の場合と、認識通知情報の場合とで送風パターンを変えてもよい。送風パターンは、送風の大きさ、速さ、及びリズムなどを含む。風に特定の匂いを含め、対象の嗅覚を利用して情報を伝達してもよい。

通信装置３６は、通信端末又は無線局等の無線通信装置と無線通信することにより情報を出力する。情報を伝達する媒体は電波である。通信端末は、一例として、歩行者等の人間が保持している無線通信装置、無線局は、信号機、交差点又は路肩等に設置されている無線通信装置である。通信装置３６は、車載機器に組み込まれてもよいし、独立した装置として車内に設置されてもよい。通信装置３６が用いる無線通信プロトコルは、無線ＬＡＮプロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラー通信プロトコル、又専用プロトコルなど任意のプロトコルでよい。通信装置３６は、１つ又は複数のアンテナを備えていてもよい。通信装置３６は、複数のアンテナを用いて、指向性通信を行ってもよい。

上述した各種の通知ユニットは一例に過ぎず、他の種類の通知ユニットも可能である。例えば地面に物体をこすりつけて音を出すことにより情報を出力する手段でもよい。また液体を射出することで、情報を出力する手段でもよい。液体に特定の味を含め、対象の味覚を利用して情報を出力してもよい。

［未認識通知情報の出力例］
情報出力判断部２２が、出力制御部１３と情報出力装置３０１を用いて、未認識通知情報を出力する具体例を示す。

（発光装置３１を用いた未認識通知情報の出力例）
出力制御部１３は、認識処理部１２から未認識通知情報の出力の指示情報を受けた場合、指示情報に従って発光装置３１を発光させる。一例として、車両の周囲全方位に向けて赤色が発光されるよう、車両の屋根に設けた発光装置３１を点灯させる。

図５は、車両の屋根に設けた発光装置３１を赤色で点灯させる例を示す。発光装置３１に含まれる赤色光源が発光し、全周囲方向に赤色光３１１が照射されている。

別の例として、車両の下部に周方向に沿って間隔を開けて配置した赤色光源（例えば赤色レーザー）を発光させてもよい。赤色レーザーは、例えば路面に向けて照射する向きに設置されている。

図６は、車両の下部全周に沿って配置した赤色光源を点灯させる例を示す。各赤色光源から路面に向けて赤色光３１２が照射されている。

歩行者等の人間は路面に照射された赤色の発光を確認することで、車両が人間を認識していないと判断し、車両から離れることや、車両に対して自分の存在をアピールすることなどの行動を行うことができる。アピールは、例えば、手を振ったり、暗い場所から明るい場所へ移動したりすることで、自分が車両に認識されやすくなるように積極的に行動することである。

図５又は図６の例では全方位に発光したが、不明物体オブジェクトが存在する方向又は当該方向を含む一定の方向範囲に対してのみ、発光するようにしてもよい。この場合、認不明物体オブジェクトが存在する方向又は当該方向を含む一定の方向範囲を示す情報を、認識処理部１２は、出力制御部１３に出力する。例えば、出力制御部１３は、認識処理部１２から指示された方向に対応する赤色レーザー又は当該方向を含む一定の方向範囲に含まれる赤色レーザーを発光させる。

図７は、図６のように赤色光源を配置した構成において、車両の左前方に、不明物体オブジェクトが検出された場合の発光例を示す。この場合、複数の赤色光源３１Ａのうち、車両左前に設置された赤色光源３１Ａのみを発光させる。これにより、車両左前に人間が存在する場合、人間は自分が車両に認識されていないと判断できる。歩行者は、車両から離れることや、車両に対して自分の存在をアピールすることなどの行動を行うことができる。

図５〜図７では、発光装置３１を用いた未認識通知情報の出力例を示したが、他の通知ユニット３２〜３６を用いた場合も同様にして、未認識通知情報を出力できる。以下、いくつか具体例を示す。

（音声出力装置３２を用いた未認識通知情報の出力例）
例えば、音声出力装置３２が複数のスピーカを備え、複数のスピーカが車両の全周に沿って間隔を開けて配置されているとする。一例として、全てのスピーカから同時に特定の音声信号又は音響信号を出力する。または、不明物体オブジェクトが検出された方向に対応するスピーカのみ、もしくは当該スピーカを含む一部のスピーカのみを用いて、特定の音声信号又は音響信号を出力する。例えば「車両走行中！」の音声メッセージを出力する。

（表示装置３３を用いた未認識通知情報の出力例）
例えば、表示装置３３が１つ又は複数の表示部を備え、１つ又は複数の表示部が、表示面が外側（車体と反対側）を向くように配置されているとする。この場合に、一例として、全ての表示部に特定のメッセージを表示する。または、不明物体オブジェクトが検出された方向に対応する表示部のみ、もしくは当該表示部を含む一部の表示部のみを用いて、特定のメッセージを表示する。例えば「注意！」の警告メッセージを表示する。表示装置３３に表示する情報は、警告メッセージに限られない。例えば、不明物体オブジェクトの当該認識スコアを表示してもよい。認識スコアは数値でもよいし、インジケータ・ゲージでもよい。

図８に認識スコアの表示例を示す。図８（Ａ）が認識スコアを数値で表示する例を示す。図８（Ｂ）が認識スコアをインジケータ・ゲージで表示する例を示す。認識スコアの値域が０〜１００の場合に、認識スコアの値が３４の場合の例を示している。

不明物体オブジェクトが複数存在する場合は、複数の不明物体オブジェクトの認識スコアの統計値（平均値、中央値、最大値、最小値など）を表示してもよい。また、複数の表示部が存在する場合に、不明物体オブジェクトに対応する方向に設置されている表示部に、認識スコアを表示してもよい。

また、認識スコアを複数のレベルのうちの該当するレベルに分類し、分類されたレベルの値を表示してもよい。例えば認識スコアが０以上３０未満はレベル１、３０以上６０未満はレベル２、６０以上１００以下はレベル３とする。認識スコアが３４の場合は、レベル２を表示する。

振動装置３４又は送風装置３５についても、発光装置３１、音声出力装置３２及び表示装置３３が未認識通知情報を出力する具体例と同様にして、未認識通知情報を出力できる。

（通信装置３６を用いた未認識通知情報の出力例）
通信装置３６は、警告信号をブロードキャスト又はマルチキャストで全方位に送信する。警告信号を受信した通信端末は、予め定めた動作を行う。例えば警告メッセージを画面に表示する、警告音を発する、バイブレータを駆動して端末本体を振動させるなどがある。通信端末の動作により警告メッセージ等に接した人間は、自分が車両に認識されていないと判断できる。歩行者は、車両から離れることや、車両に対して自分の存在をアピールすることなどの行動を行うことができる。ここでは通信端末に警告信号を送信する例を示したが、無線局に警告信号を送信する場合も同様に、ブロードキャスト又はマルチキャストで全方位に送信すればよい。

通信装置３６は、送信電波の強度を制御して、警告信号の送信範囲を車両から一定距離内にしてもよい。これにより車両から遠い距離にいる歩行者の通信端末に警告信号が届くことを防止できる。また、通信装置３６は、不明物体オブジェクトが検出された方向に指向性を有する電波を用いて、警告信号を送信してもよい。

各種通知ユニット３１〜３６の１つを用いて未認識通知情報を出力してもよいし、通知ユニット３１〜３６のうちの２つ以上もしくは全てを用いて未認識通知情報を出力してもよい。全ての通知ユニットを用いることで、認識対象の状態が把握できなくても、警告を確実に通知することができる。例えば、不明物体オブジェクトの対象が目の不自由な歩行者であったとする。この場合、車両側で認識対象が目の不自由な歩行者であることが認識できなかったとしても、全ての通知ユニットから出力される未認識通知情報のうち、音による未認識通知情報を歩行者は認識できる。よって、歩行者に警告を確実に通知することができる。

［認識スコアに応じて未認識通知情報のパラメータを変える例］
不明物体オブジェクトの検出に応じて未認識通知情報を出力する場合に、不明物体オブジェクトの認識スコアに応じて、未認識通知情報のパラメータを変更してもよい。例えば、通知ユニットとして発光装置３１を用いる場合、認識スコアの値に応じて、色、明度、彩度、及び点滅速度のうちの少なくとも１つを変更してもよい。例えば、認識スコアの値が低いほど、点滅速度を速くしてもよい。また、認識スコアの値が低いほど明度又は彩度を高くしてもよい。

また、認識スコアの値に応じて、発光させる光源のサイズを変更してもよい。例えば認識スコアの値が小さいほど、大きなサイズの光源を用いてもよい。また、認識スコアの値に応じて、発光させる光源の色数を変更してもよい。例えば、認識スコアの値が小さいほど、発光させる色数を増やしてもよい。

また通知ユニットとして音声出力装置３２を用いる場合、認識スコアの値に応じて、音量、音程（周波数）、曲調（リズム）及び速度（ビート）のうち少なくとも１つを変更してもよい。例えば、認識スコアの値が小さいほど、音量、音程（周波数）又は速度を高くしてもよい。また、認識スコアの値が小さいほど、曲調（リズム）を速くしてもよい。

［認識通知情報の出力例］
情報出力判断部２２が、出力制御部１３と情報出力装置３０１を用いて、認識通知情報を出力する具体例を示す。未認識通知情報を出力する場合と共通する説明は適宜省略する。

一例として、認識対象オブジェクトが検出された方向に指向性を有する光を照射するよう、発光装置３１の発光を制御する。例えば、発光装置３１は青色の光源を含み、指向性を有する青色光を照射する。別の例として、車両の下部に周方向に沿って間隔を開けて配置した青色光源（例えば青色レーザー）のうち、認識対象が検出された方向に対応する青色光源を発光させる。認識対象は、青色光が自分に向けて照射されたことで、自分が車両に認識されていると理解できる。

また、例えば、音声出力装置３２が複数のスピーカを備え、複数のスピーカが車両の全周に沿って配置されているとする。認識対象オブジェクトが検出された方向に対応するスピーカのみ、もしくは当該スピーカを含む一部のスピーカのみを用いて、特定の音声信号又は音響信号を出力する。例えば「あなたを認識しています！」の音声メッセージを出力する。

また、例えば、表示装置３３が１つ又は複数の表示部を備え、１つ又は複数の表示部が、表示面が外側（車体と反対側）を向くように配置されているとする。この場合に、認識対象オブジェクトが検出された方向に対応する表示部のみ、もしくは当該表示部を含む一部の表示部のみを用いて、特定のメッセージを表示する。例えば「あなたを認識しています！」のメッセージを表示する。また、当該表示部に、認識対象オブジェクトの認識スコアを表示してもよい。認識スコアは数値でもよいし、インジケータ・ゲージでもよい。また、認識スコアを複数のレベルのうちの該当するレベルに分類し、分類されたレベルの値を表示してもよい。

振動装置３４又は送風装置３５についても、発光装置３１、音声出力装置３２及び表示装置３３が認識通知情報を出力する具体例と同様にして、認識通知情報を出力できる。

また、例えば、通信装置３６が、認識対象オブジェクトが検出された方向に指向性を有する電波を用いて、認識対象を認識済みであることを通知する認識信号を送信する。認識信号の送信先アドレスは、一例として、ブロードキャストアドレス又はマルチキャストアドレスである。認識信号を受信した通信端末は、予め定めた動作を行う。例えば認識メッセージを画面に表示する、所定の音を発する、バイブレータを駆動して端末本体を振動させるなどがある。通信端末の動作により認識メッセージ等に接した歩行者は、自分が車両に認識されていると判断できる。通信装置３６は、送信電波の強度を制御して、認識信号の送信範囲を車両の一定距離内にしてもよい。

各種通知ユニット３１〜３６を用いて認識通知情報を出力する例を示したが、通知ユニット３１〜３６のうちの１つを用いて認識通知情報を出力してもよいし、通知ユニット３１〜３６のうちの２つ以上もしくは全てを用いて認識通知情報を出力してもよい。全ての通知ユニットを用いることで、より確実に、認識対象に対して、車両に認識されていることを通知できる。

［認識スコアに応じて認識通知情報のパラメータを変える例］
認識対象オブジェクトの検出に応じて認識通知情報を出力する場合に、認識対象オブジェクトの認識スコアに応じて、認識通知情報のパラメータを変更してもよい。パラメータの変更は、未認識通知情報のパラメータの変更の場合と同様にして行うことができる。

［未認識通知情報と認識通知情報とを同時に出力する例］
不明物体オブジェクトと認識対象オブジェクトとの両方が検出された場合、未認識通知情報と認識通知情報との両方を同時に出力してもよい。例えば、発光装置３１を用いる場合、不明物体オブジェクトが検出された方向には赤色光を照射し、認識対象オブジェクトが検出された方向には青色光を照射する。あるいは、認識対象オブジェクトが検出された方向には青色光を照射し、それ以外の全方向には赤色光を照射する。色の意味は信号機に準じて、赤は危険、青は安全を意味する。

図９は、未認識通知情報に対応する赤色光と認識通知情報に対応する青色光とを同時に照射する具体例を示す。認識対象オブジェクトが検出された方向に青色光３１３、３１４を照射している。車両の前方には不明物体オブジェクトが検出されている。青色光３１３、３１４以外の全方向には、赤色光３１５を照射している。不明物体オブジェクトが検出された前方向にのみ赤色光を照射してもよい。

未認識通知情報（赤色光等）を不明物体オブジェクトが検出された場合にのみ出力するのではなく、常時、未認識通知情報を出力し続けてもよい。例えば常時、発光装置３１から赤色光を全方位に照射した状態にしてもよい。そして、認識対象オブジェクトが検出された場合にのみ、検出された方向に認識通知情報を照射し（例えば、青色光を照射する）、それ以外の全方向には赤色光を照射してもよい。これによれば、青色光が照射された方向以外は、車両によって認識されていないことを常に通知することができるため、歩行者に注意を促すことができる。この場合、情報出力判断部２２は、未認識通知情報を常に出力し続けることを出力制御部１３に指示する。出力制御部１３は、未認識通知情報を出力し続けた状態に制御する。認識対象オブジェクトが検出された場合には、情報出力判断部２２は、検出された方向に認識通知情報の出力を出力制御部１３に指示する。出力制御部１３は、検出された方向に認識通知情報を出力する。認識対象オブジェクトが検出されなくなったら、情報出力判断部２２は、認識通知情報の出力の停止を出力制御部１３に指示する。

（オブジェクト検出の他の例）
セグメンテーション部２１の処理は、画像データの全体に対して一括で行うのではなく、撮像装置２０１の画角の一部に対して行ってもよい。例えば、撮像装置２０１の画角の一部を認識対象画角として設定する。そして、認識対象画角に対してオブジェクト検出を行う。

図１０は、設定した認識対象画角に対してオブジェクト検出を行う例を示す。車両のフロントガラスの下部近傍に撮像装置２０１に対応するカメラ３０６が設置されている。カメラ３０６の画角３０５に対して、画角３０５の一部として認識対象画角３０７が設定されている。認識対象画角３０７を、カメラ３０６を中心として例えば右周り又は左周りに移動させる。これにより、画角３０５の全てを網羅するように、認識対象画角３０７を順次設定する。画像データのうち、設定された認識対象画角３０７に含まれる画像部分を用いて、オブジェクト検出を行う。

図１０の例では、認識対象画角３０７に３人の人間（認識対象）が含まれている。認識対象画角３０７に対してオブジェクト検出を行うことで、認識対象を検出した場合に、認識対象が存在する方向を、認識対象画角の方向として容易に特定できる。すなわち、認識対象に認識通知情報を出力する方向として、認識対象画角の方向を用いることができる。

オブジェクト検出において図１０のように、車両から見て複数の人が重なるように位置している場合、最も手前の人を検出できれば、奥側の２人を検出できなくても（例えば、不明物体オブジェクトと判定されても）問題ない。すなわち、同一の認識対象画角内で、最も衝突する可能性が高い少なくとも１人が認識できていればよい。通常、隠れていない最も手前の人が最も検出しやすい。少なくとも１人を検出できれば、車両はその人に接近しない、もしくは停止するため、付近の人も結果として、衝突を避けられ、安全である。

また認識対象画角内で認識対象オブジェクトが検出されていないが、不明物体オブジェクトを検出した場合は、検出した方向に未認識通知情報を出力する。これにより、認識対象画角内に人間が存在していたとしても、その人間に警告を通知できる。この場合、車両から見て複数人がいずれも不明物体として重なっていた場合であっても、複数人に同時に未認識通知情報を通知できる。よって、複数人に車両との衝突を回避する行動を促すことができる。

図１１は、第１実施形態に係る情報処理装置１０１の動作の一例のフローチャートである。セグメンテーション部２１が、画像取得部１１で取得された画像データに基づきオブジェクト検出を行う（Ｓ１１１）。例えばセマンティックセグメンテーションを用いてオブジェクトを検出する。オブジェクトのクラスの判定と、オブジェクトの認識スコアを取得する。オブジェクトの認識スコアは、例えばオブジェクトに含まれるピクセルの認識スコアの平均値を用いることができる。

情報出力判断部２２は、オブジェクトの認識スコアが閾値未満のオブジェクト（不明物体オブジェクト）が存在するかを判断する（Ｓ１１２）。不明物体オブジェクトが存在する場合、不明物体オブジェクトが表す対象（不明物体）は不明であると判断される。

不明物体オブジェクトが存在する場合（Ｓ１１２のＹＥＳ）、情報出力判断部２２は、未認識通知情報を出力することを決定する。未認識通知情報を出力する媒体及びパラメータを決定してもよい。情報出力判断部２２は、未認識通知情報の出力指示を出力制御部１３に提供する。出力制御部１３は、出力指示に従って、情報出力装置３０１に未認識通知情報を出力させる（同Ｓ１１３）。通知ユニット３１〜３６のうちの少なくとも１つを用いて未認識通知情報を出力する。未認識通知情報の出力の具体例は前述した通りである。

一方、不明物体オブジェクトが存在しない場合（Ｓ１１２のＮＯ）、情報出力判断部２２は、検出されたオブジェクトの中に、認識対象オブジェクトが存在するかを判断する（Ｓ１１４）。本例では人間オブジェクトが存在するかを判断する。人間オブジェクトが存在しない場合は（Ｓ１１４のＮＯ）、本処理を終了する。人間オブジェクトが存在する場合は（Ｓ１１４のＹＥＳ）、認識通知情報を出力することを決定する。認識通知情報を出力する媒体及びパラメータを併せて決定してもよい。情報出力判断部２２は、認識通知情報の出力指示を出力制御部１３に提供する。出力制御部１３は、出力指示に従って、情報出力装置３０１に認識通知情報を出力させる（Ｓ１１５）。例えば、検出された人間オブジェクトの方向に対して、認識通知情報を出力する。通知ユニット３１〜３６のうちの少なくとも１つを用いて認識通知情報を出力する。認識通知情報の出力の具体例は前述した通りである。

（ハードウェア構成）
図１２に、図１の情報処理装置１０１のハードウェア構成の一例を示す。本実施形態に係る情報処理装置１０１は、コンピュータ装置１７０により構成される。コンピュータ装置１７０は、ＣＰＵ１５１と、入力インタフェース１５２と、表示装置１５３と、通信装置１５４と、主記憶装置１５５と、外部記憶装置１５６とを備え、これらはバス１５７により相互に接続されている。

ＣＰＵ（中央演算装置）１５１は、主記憶装置１５５上で、情報処理装置１０１の上述の各機能構成を実現するコンピュータプログラムを実行する。ＣＰＵ１５１が、コンピュータプログラムを実行することにより、図１の画像取得部１１、認識処理部１２及び出力制御部１３の機能が実現される。

入力インタフェース１５２は、キーボード、マウス、及びタッチパネルなどの入力装置からの操作信号を、情報処理装置１０１に入力するための回路である。情報処理装置１０１の入力部の入力機能を担う部分は、入力インタフェース１５２上に構築されることができる。

表示装置１５３は、情報処理装置１０１から出力されるデータ又は情報を表示する。表示装置１５３は、例えば、ＬＣＤ（液晶ディスプレイ）、ＣＲＴ（ブラウン管）、及びＰＤＰ（プラズマディスプレイ）であるが、これに限られない。コンピュータ装置１７０から出力されたデータ又は情報は、この表示装置１５３により表示することができる。

通信装置１５４は、情報処理装置１０１が外部装置と無線又は有線で通信するための回路である。通信装置１５４を介して外部装置から情報を入力することができる。外部装置から入力した情報を、ＤＢに格納することができる。出力制御部１３の機能の一部又は全部は、通信装置１５４上に構築されてもよい。

主記憶装置１５５は、本実施形態の処理を実現するプログラム、及びプログラムの実行に必要なデータ、及びプログラムの実行により生成されたデータなどを記憶する。プログラムは、主記憶装置１５５上で展開され、実行される。主記憶装置１５５は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。図１の記憶部１４は、主記憶装置１５５上に構築されてもよい。

外部記憶装置１５６は、上記プログラム及びプログラムの実行に必要なデータ、及びプログラムの実行により生成されたデータなどを記憶する。これらのプログラムやデータは、本実施形態の処理の際に主記憶装置１５５に読み出される。外部記憶装置１５６は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない。図１の記憶部１４は、外部記憶装置１５６上に構築されてもよい。

なお、上述のプログラムは、コンピュータ装置１７０に予めインストールされていてもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶されていてもよい。また、当該プログラムは、インターネット上にアップロードされていてもよい。

なお、コンピュータ装置１７０は、プロセッサ１５１、入力インタフェース１５２、表示装置１５３、通信装置１５４、及び主記憶装置１５５を、それぞれ１つ又は複数備えてもよい。

また、情報処理装置１０１は、単一のコンピュータ装置１７０により構成されてもよいし、相互に接続された複数のコンピュータ装置１７０からなるシステムとして構成されてもよい。

以上、第１実施形態によれば、情報処理装置１０１が不明物体オブジェクトを検出した場合（不明物体を認識した場合）、もしくは認識対象オブジェクトを検出しなかった場合（認識対象を認識しなかった場合）には、未認識通知情報を出力する。これにより、車両の周囲に人が存在していたとしても、その人に対して、車両がその人を認識していないことを通知することができる。すなわち、その人に対して警告をすることができる。その人は、自分が車両によって認識されていないことを把握し、車両から離れることや、車両に対して自分の存在をアピールすることなどの行動を行うことができる。

また、本実施形態によれば、認識対象オブジェクトを検出した場合（認識対象を認識した場合）には、その人の方向に向けて認識通知情報を出力することにより、その人に車両によって認識されていることを通知できる。これによりその人に注意を促すことができる。また、その人は、自分が車両によって認識されていると分かることで、安心して歩行することができる。また、車両は自律運転によりその人に近づかない、もしくは停止するよう動作することで、その人及びその付近の人は、安全である。

また、本実施形態によれば、未認識通知情報のパラメータと、認識通知情報のパラメータを異ならせることで、周囲に存在する人は、車両によって自分は認識されているのか、認識されていないかの区別を容易に行うことができる。例えば、自分に向けて赤色光を照射された場合は、自分は認識されていないと理解でき、青色光を照射された場合は、自分は認識されていると理解できる。

（第２実施形態）
図１３は、第２実施形態に係る情報処理装置を備えた車両警告システムのブロック図である。図１の認識処理部１２に属性判定部２３が追加されている。

属性判定部２３は、セグメンテーション部２１で検出された認識対象オブジェクトについて、認識対象の属性を判定する。一例として、予め属性ごとに用意された学習済みのニューラルネットワークを用いる。例えば人間の顔を含む画像からサングラスをかけている否かを判定するニューラルネットワークを予め学習しておく。

属性判定部２３は、セグメンテーション部２１で検出された認識対象オブジェクトの画像又は当該認識対象オブジェクトを囲む画像を画像データから抽出し、抽出した画像をニューラルネットワークの入力として用いる。ニューラルネットワークの出力として、例えば、サングラスの有無の判定結果を得る。サングラスをかけているか否かは属性の一例であり、他にも様々な属性がある。例えば、人間が子供か大人かの属性、性別の属性、目が不自由か否かの属性、耳が不自由か否かの属性、イヤホンを付けているかの属性、車椅子に乗っているかの属性などある。属性の判定は、ニューラルネットワーク以外の方法を用いることも可能である。

情報出力判断部２２は、認識対象の属性に基づいて認識通知情報を出力する媒体及びパラメータの少なくとも一方を決定する。決定した媒体及びパラメータの少なくとも一方を出力制御部１３に指示する。

例えば、認識対象としての歩行者が子供の場合には、子供に理解しやすいメッセージを用いる。具体的には、例えば、認識通知情報を音声により通知する場合、例えば子供の声で、「危ないよ！」などの音声メッセージを出力する。また、歩行者がサングラスをかけている状態では、媒体として光で認識通知情報（警告等）を伝達することが難しいため、音で出力する。また、目及び耳の両方が不自由な歩行者の場合、振動又は風圧により認識通知情報を出力する。

図１４は、第２実施形態に係る情報処理装置１０１の動作の一例のフローチャートである。第１実施形態のフローチャート（図１１参照）に対してステップＳ１２１〜Ｓ１２５が追加されている。ステップＳ１１１〜Ｓ１１４は図１１と同じであるため、説明を省略する。

ステップＳ１１４で人間オブジェクトが検出されたと判断された場合（Ｓ１１４のＹＥＳ）、属性判定部２３は、その人が大人か子供かを判定する（Ｓ１２１）。この判定は、例えば、検出された人間オブジェクトを含む画像と、大人か否かを判定するニューラルネットワークを用いて行う。その人が子供と判定された場合（Ｓ１２１のＮＯ）、情報出力判断部２２は、子供向けに調整された認識通知情報の出力を指示する情報を、出力制御部１３に提供する。出力制御部１３は情報出力装置３０１を介して、例えば、子供向けの内容のメッセージを光又は音声で出力する（Ｓ１２２）。例えば易しい言葉での音声メッセージを出力する。

一方、その人が大人であると判定された場合（Ｓ１２１のＹＥＳ）、属性判定部２３は、その人が光を視認可能又は視認しやすい状態かを判定する（Ｓ１２３）。この判定は、例えば、検出された人間オブジェクトを含む画像と、サングラスの装着の有無を判定するニューラルネットワークとを用いて行うことができる。その人が光を視認可能又は視認しやすい状態と判定された場合（Ｓ１２３のＹＥＳ）、情報出力判断部２２は、光を視認できる大人向けに調整された認識通知情報の出力を指示する情報を、出力制御部１３に提供する。出力制御部１３は、情報出力装置３０１を介して、大人向けの内容のメッセージを光により出力する（Ｓ１２４）。例えば、発光装置３１で特定の色（例えば青色）を発光させてもよいし、表示装置３３に特定のメッセージを表示してもよい。表示装置３３によりメッセージを表示することも、媒体として光により認識通知情報を通知する一例である。

一方、その人が光を視認不能又は視認しがたい状態であると判定された場合（Ｓ１２３のＮＯ）、情報出力判断部２２は、光を視認不能又は視認しがたい大人向けに調整された認識通知情報の出力指示を、出力制御部１３に提供する。出力制御部１３は、情報出力装置３０１を介して、例えば音声により、大人向けの内容のメッセージを出力する（Ｓ１２５）。

以上、第２実施形態によれば、認識対象の属性に応じて認識通知情報を出力する媒体又はパラメータを変えることにより、相手の状態に応じて適切な伝達方法を用いることができる。よって、相手により確実に認識通知情報を通知することが可能となる。

（第３の実施形態）
図１５は、第３実施形態に係る情報処理装置を備えた車両警告システムのブロック図である。Ｍ（Ｍは１以上の整数）個のセンサ１〜Ｍが、情報処理装置１０１に有線又は無線で接続されている。情報処理装置１０１は、センサデータ取得部５１と、危険度算出部２４とを備えている。第３実施形態のブロック図は、第２実施形態のブロック図に、センサ１〜Ｍと、センサデータ取得部５１と、危険度算出部２４とを追加した構成であるが、第１実施形態のブロック図にセンサ１〜Ｍと、センサデータ取得部５１と、危険度算出部２４とを追加した構成も可能である。

センサ１〜Ｍは、一例として、環境センサ（雨天センサ、霧センサ、日照センサ、雪センサなど）、距離センサ、赤外線センサ、速度センサなどの１種類以上のセンサを含む。センサは、ここに挙げた以外の種類のセンサでもよい。センサ１〜Ｍは、一例として、一定のサンプリング間隔でデータを検出し、検出したデータをセンサデータ取得部５１に提供する。

センサデータ取得部５１は、データ取得部として、センサ１〜Ｍにより検出されたデータを取得する。

危険度算出部２４は、検出された不明物体オブジェクトが表す対象（不明物体）に対して、センサ１〜Ｍのデータ及び認識スコアの少なくとも一方に基づき、危険度を算出する。危険度は、不明物体が人間だったと仮定した場合に、人間が車両に気づいていない可能性又は人間が車両に衝突する可能性の高さを評価する値である。例えばセンサ１〜Ｍに基づき、不明物体の状態を特定し、特定した状態に基づいて危険度を算出する。

例えば、車両と不明物体との距離に応じて危険度の値を算出する。例えば距離が近いほど、危険度の値を高く算出する。不明物体との距離は、一例として、距離センサを用いて取得できる。あるいは撮像装置２０１がステレオカメラの場合に、ステレオカメラの撮像画像に基づき、不明物体との距離を取得してもよい。また、車両と不明物体との距離が閾値未満の場合、危険度の値を閾値以上の場合よりも高くしてもよい。

また、不明物体オブジェクトの移動速度に応じて危険度の値を算出する。例えば移動速度が速いほど、危険度の値を高くしてもよい。不明物体オブジェクトの移動速度は、一例として、速度センサを用いて取得できる。また、不明物体オブジェクトの移動方向に応じて危険度の値を算出する。例えば移動方向が車両に近いほど、危険度の値を高くしてもよい。

また、不明物体オブジェクトの認識スコアが低いほど、危険度の値を高くしてもよい。

情報出力判断部２２は、算出された危険度に応じて、未認識通知情報のパラメータ又は媒体を変更する。例えば、音声出力装置３２を用いる場合、危険度が高いほど、出力する音量を大きくしたり、音声の速度を速くしたり、音声メッセージを口調の厳しい言い回しにしたりする。

また、危険度が高いほど、通知ユニット３１〜３６のうち用いる通知ユニットの個数を増やしてもよい。例えば危険度が閾値以上の場合、全ての通知ユニットを用いて未認識通知情報を出力してもよい。

このように、情報出力判断部２２は、不明物体の移動速度、不明物体の移動方向、不明物体と車両との距離などの、不明物体の状態に基づいて、未認識通知情報のパラメータ又は媒体を決定する。

危険度算出部２４は、検出された認識対象オブジェクトに対して、センサ１〜Ｍのデータ、認識スコア、及び属性判定部２３の判定結果のうちの少なくとも一方に基づき、危険度を算出する。例えばセンサ１〜Ｍ及び属性判定部２３の判定結果の少なくとも一方に基づき、認識物体の状態を特定し、特定した状態に基づいて危険度を算出する。認識対象の状態は、一例として、認識対象の五感（視覚、聴覚、触覚、嗅覚、味覚）に関する状態を含む。また別の例として、認識対象の状態は、車両との距離、移動速度、及び認識対象が向いている方向を含む。

例えば、検出した人（認識対象）が車両と反対側を向いている場合、又はサングラスをかけている場合、車両に気づいていない可能性があるとして、危険度を高くする。認識対象が車両と反対側を向いているか否か、又は認識対象がサングラスをかけているか否かは、前述したニューラルネットワーク等を用いた方法で、属性判定部２３により判定できる。

また、認識対象の移動速度が低い場合は、車両が認識対象を認識しているため、衝突の危険の可能性は低いと判断し、危険度を低くしてもよい。逆に、認識対象の移動速度が速い場合は、車両が認識対象を認識していても、認識対象と衝突する可能性があると判断し、危険度を高くしてもよい。

また、認識スコアが一定値以上の場合は、認識対象は車両に気づいている可能性が十分に高いとして、危険度を低くしてもよい。

情報出力判断部２２は、算出された危険度に応じて、認識通知情報のパラメータ又は媒体を変更する。例えば、発光装置３１を用いる場合、危険度が高いほど、光の点滅速度を速くする。また、危険度が高いほど、通知ユニット３１〜３６のうち用いる通知ユニットの個数を増やしてもよい。例えば危険度が閾値以上の場合、全ての通知ユニットを用いて認識通知情報を出力することがある。また、危険度が一定値未満の場合、認識対象との衝突の危険性は少ないとして、通知ユニット３１〜３６のうちの１つのみを用いて、認識通知情報を出力してもよい。

このように、情報出力判断部２２は、認識対象の状態に基づいて、未認識通知情報のパラメータ又は媒体を決定する。

上述した危険度の算出例及びパラメータの変更は一例であり、他の方法でもよい。

図１６は、第３実施形態に係る情報処理装置１０１の動作の一例のフローチャートである。第１実施形態のフローチャート（図１１参照）に対してステップＳ１３１〜Ｓ１３４が追加されている。ステップＳ１１１〜Ｓ１１５は図１１と同じであるため、説明を省略する。なお、ステップＳ１３１〜Ｓ１３４を第２実施形態のフローチャート（図１４参照）と組み合わせることも可能である。

ステップＳ１１２で不明物体オブジェクトが検出された場合、危険度算出部２４が、不明物体に対する危険度を算出する（Ｓ１３１）。情報出力判断部２２が、算出された危険度に基づき、未認識通知情報のパラメータを決定し（Ｓ１３２）、決定したパラメータで未認識通知情報を出力することの指示情報を出力制御部１３に提供する。出力制御部１３は、指示情報に従って、情報出力装置３０１に未認識通知情報を出力させる（Ｓ１１３）。

ステップＳ１１４で認識対象オブジェクトが検出されたと判断された場合（Ｓ１１４のＹＥＳ）、危険度算出部２４が認識対象に対する危険度を算出する（Ｓ１３３）。情報出力判断部２２が、算出された危険度に基づき、認識通知情報のパラメータを決定し（Ｓ１３４）、決定したパラメータで認識通知情報を出力することの指示情報を出力制御部１３に提供する。出力制御部１３は、指示情報に従って、情報出力装置３０１に認識通知情報を出力させる（Ｓ１１５）。

以上、第３実施形態によれば、不明物体の危険度を算出し、算出した危険度に応じて未認識通知情報のパラメータを決定する。これにより、不明物体が人間であった場合に、相手の状態に応じた適切な形態で未認識通知情報を通知することができる。また、第３実施形態によれば、認識対象オブジェクトの危険度を算出し、算出した危険度に応じて認識通知情報のパラメータを決定する。これにより、認識対象の状態に応じた適切な形態で未認識通知情報を通知することができる。

（第４実施形態）
図１７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１７は、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

図１８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０で検出されたデータを受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体を検出する処理又は車外の物体までの距離を検出する処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する処理又は車外の物体までの距離を検出する処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される認識通知情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に認識通知情報を送受信してもよい。

なお、図１、図１３及び図１５を用いて説明した情報処理装置１０１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１、図１３及び図１５を用いて説明した情報処理装置１０１は、図１７に示した応用例の統合制御ユニット７６００に適用することができる。例えば、情報処理装置１０１の画像取得部１１は、一例として、統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０、又は車外情報検出ユニット７４００に相当する。情報処理装置１０１の認識処理部１２は、一例として、マイクロコンピュータ７６１０に相当する。情報処理装置１０１の出力制御部１３は、一例として、音声画像出力部７６７０、汎用通信Ｉ／Ｆ７６２０、又は専用通信Ｉ／Ｆ７６３０に相当する。情報処理装置１０１の記憶部１４は、一例として記憶部７６９０に相当する。また図１の撮像装置２０１は、一例として撮像部７４１０に相当し、図１５のセンサ１〜Ｍは、一例として車外情報検出部７４２０に相当する。

また、図１、図１３及び図１５を用いて説明した情報処理装置１０１の少なくとも一部の構成要素は、図１７に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１、図１３及び図１５を用いて説明した情報処理装置１０１が、図１７に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

なお、本開示は以下のような構成を取ることもできる。
［項目１］
移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行う認識処理部と、
前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる出力制御部と
を備えた情報処理装置。
［項目２］
前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
前記出力制御部は、前記認識対象のオブジェクトが検出されない場合に、前記未認識通知情報を前記出力装置に出力させる
項目１に記載の情報処理装置。
［項目３］
前記出力制御部は、前記認識処理部によって種別が不明のオブジェクトが検出された場合に、前記未認識通知情報を出力する
項目２に記載の情報処理装置。
［項目４］
前記オブジェクトは、認識スコアが閾値未満のオブジェクトである
項目３に記載の情報処理装置。
［項目５］
前記認識処理部は、前記オブジェクトが表す対象の状態を識別し、
前記出力制御部は、前記出力装置に、前記対象の状態に応じた媒体を用いて、前記未認識通知情報を出力させる
項目３に記載の情報処理装置。
［項目６］
前記媒体は、光、音、振動、風、及び電波のうちの少なくとも１つを含む
項目５に記載の情報処理装置。
［項目７］
前記出力制御部は、前記オブジェクトの認識スコアの値に応じて、前記未認識通知情報のパラメータを変更する
項目３に記載の情報処理装置。
［項目８］
前記認識処理部は、前記オブジェクトが表す対象の状態を識別し、
前記出力制御部は、前記対象の状態に応じて、前記未認識通知情報のパラメータを変更する
項目３に記載の情報処理装置。
［項目９］
前記対象の状態は、前記対象の移動速度、前記対象の移動方向、及び前記移動体との距離のうちの少なくとも１つを含む
項目８に記載の情報処理装置。
［項目１０］
前記認識処理部は、前記オブジェクトが表す対象の危険度を算出し、
前記出力制御部は、前記危険度に応じて、前記未認識通知情報のパラメータを変更する
項目３に記載の情報処理装置。
［項目１１］
前記出力制御部は、前記認識対象が認識された場合に、前記認識対象が認識されていることを示す認識通知情報を前記出力装置に出力させる
項目１に記載の情報処理装置。
［項目１２］
前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
前記出力制御部は、前記出力装置に、前記認識対象のオブジェクトが検出された場合に、前記認識通知情報を出力させる
項目１１に記載の情報処理装置。
［項目１３］
前記認識処理部は、前記認識対象の状態又は属性を識別し、
前記出力制御部は、前記出力装置に、前記認識対象の状態又は属性に応じた媒体を用いて、前記認識通知情報を出力させる
項目１１に記載の情報処理装置。
［項目１４］
前記出力制御部は、前記認識対象のオブジェクトの認識スコアに応じて、前記未認識通知情報のパラメータを変更する
項目１２に記載の情報処理装置。
［項目１５］
前記認識処理部は、前記認識対象の状態又は属性を識別し、
前記出力制御部は、前記認識対象の状態又は属性に応じて、前記認識通知情報のパラメータを変更する
項目１１に記載の情報処理装置。
［項目１６］
前記認識対象の状態は、前記認識対象の視覚、聴覚、触覚、嗅覚及び味覚の少なくとも１つに関する状態である
項目１３に記載の情報処理装置。
［項目１７］
前記認識処理部は、前記認識対象の危険度を算出し、
前記出力制御部は、前記危険度に応じて、前記認識通知情報のパラメータを変更する
項目１１に記載の情報処理装置。
［項目１８］
前記認識処理部は、前記撮像画像に基づき、前記撮像画像の画角の一部である認識対象画角に対して前記認識処理を行い、
前記出力制御部は、前記認識対象が認識されない場合に、前記画角の一部に対応する方向に前記未認識通知情報を前記出力装置に出力させる
項目１に記載の情報処理装置。
［項目１９］
移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行い、
前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる
情報処理方法。
［項目２０］
移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行うステップと、
前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させるステップと
をコンピュータに実行させるためのコンピュータプログラム。

１０１：情報処理装置
２０１：撮像装置
３０１：情報出力装置
１１：画像取得部
１２：認識処理部
１３：出力制御部
１４：記憶部
２１：セグメンテーション部
２２：情報出力判断部
２３：属性判定部
２４：危険度算出部
３１：発光装置
３２：音声出力装置
３３：表示装置
３４：振動装置
３５：送風装置
３６：通信装置
５１：センサデータ取得部

Claims (20)

1. 移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行う認識処理部と、
   前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる出力制御部と
   を備えた情報処理装置。
2. 前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
   前記出力制御部は、前記認識対象のオブジェクトが検出されない場合に、前記未認識通知情報を前記出力装置に出力させる
   請求項１に記載の情報処理装置。
3. 前記出力制御部は、前記認識処理部によって種別が不明のオブジェクトが検出された場合に、前記未認識通知情報を前記出力装置に出力させる
   請求項２に記載の情報処理装置。
4. 前記オブジェクトは、認識スコアが閾値未満のオブジェクトである
   請求項３に記載の情報処理装置。
5. 前記認識処理部は、前記オブジェクトが表す対象の状態を識別し、
   前記出力制御部は、前記出力装置に、前記対象の状態に応じた媒体を用いて、前記未認識通知情報を出力させる
   請求項３に記載の情報処理装置。
6. 前記媒体は、光、音、振動、風、及び電波のうちの少なくとも１つを含む
   請求項５に記載の情報処理装置。
7. 前記出力制御部は、前記オブジェクトの認識スコアの値に応じて、前記未認識通知情報のパラメータを変更する
   請求項３に記載の情報処理装置。
8. 前記認識処理部は、前記オブジェクトが表す対象の状態を識別し、
   前記出力制御部は、前記対象の状態に応じて、前記未認識通知情報のパラメータを変更する
   請求項３に記載の情報処理装置。
9. 前記対象の状態は、前記対象の移動速度、前記対象の移動方向、及び前記移動体との距離のうちの少なくとも１つを含む
   請求項８に記載の情報処理装置。
10. 前記認識処理部は、前記オブジェクトが表す対象の危険度を算出し、
    前記出力制御部は、前記危険度に応じて、前記未認識通知情報のパラメータを変更する
    請求項３に記載の情報処理装置。
11. 前記出力制御部は、前記認識対象が認識された場合に、前記認識対象が認識されていることを示す認識通知情報を前記出力装置に出力させる
    請求項１に記載の情報処理装置。
12. 前記認識処理部は、前記撮像画像に基づきオブジェクト検出を行い、
    前記出力制御部は、前記認識対象のオブジェクトが検出された場合に、前記認識通知情報を前記出力装置に出力させる
    請求項１１に記載の情報処理装置。
13. 前記認識処理部は、前記認識対象の状態又は属性を識別し、
    前記出力制御部は、前記出力装置に、前記認識対象の状態又は属性に応じた媒体を用いて、前記認識通知情報を出力させる
    請求項１１に記載の情報処理装置。
14. 前記出力制御部は、前記認識対象のオブジェクトの認識スコアに応じて、前記未認識通知情報のパラメータを変更する
    請求項１２に記載の情報処理装置。
15. 前記認識処理部は、前記認識対象の状態又は属性を識別し、
    前記出力制御部は、前記認識対象の状態又は属性に応じて、前記認識通知情報のパラメータを変更する
    請求項１１に記載の情報処理装置。
16. 前記認識対象の状態は、前記認識対象の視覚、聴覚、触覚、嗅覚及び味覚の少なくとも１つに関する状態である
    請求項１３に記載の情報処理装置。
17. 前記認識処理部は、前記認識対象の危険度を算出し、
    前記出力制御部は、前記危険度に応じて、前記認識通知情報のパラメータを変更する
    請求項１１に記載の情報処理装置。
18. 前記認識処理部は、前記撮像画像に基づき、前記撮像画像の画角の一部である認識対象画角に対して前記認識処理を行い、
    前記出力制御部は、前記認識対象が認識されない場合に、前記画角の一部に対応する方向に前記未認識通知情報を前記出力装置に出力させる
    請求項１に記載の情報処理装置。
19. 移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行い、
    前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させる
    情報処理方法。
20. 移動体の周辺環境の撮像画像に基づき、認識対象の認識処理を行うステップと、
    前記認識対象が認識されない場合に、前記認識対象が認識されていないことを示す未認識通知情報を出力装置に出力させるステップと
    をコンピュータに実行させるためのコンピュータプログラム。

Images