JP2019175423A - 情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】認識結果のフュージョンによる物体の認識結果の悪化を抑制できる情報処理システムおよび情報処理方法を提供する。【解決手段】第１センサ２０１からのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部１２０と、第１センサ２０１と異なる第２センサ２０２からのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部１３０と、第１認識結果および第２認識結果の類似度を判定する第１判定を行う第１判定部１４０と、第１判定の結果に応じて、第１認識結果および第２認識結果のフュージョン処理を制御するフュージョン制御部１６０と、第１判定の結果に応じて、第１認識結果と、第２認識結果と、第１認識結果および第２認識結果がフュージョン処理された第３認識結果との少なくとも１つを出力する出力部１８０と、を備える。【選択図】図３

Description

本開示は、情報処理システムおよび情報処理方法に関する。

特許文献１には、第一のセンサの出力データと、第二のセンサの出力データとを用いてセンサフュージョンにより物体の認識を実行する構成のシステムが開示されている。

特開２０１７−１０２８３８号公報

しかし、従来技術では、センサフュージョンを用いた物体の認識結果が個別のセンサを用いた物体の認識結果よりも悪化する場合があった。本開示は、認識結果のフュージョンによる物体の認識結果の悪化を抑制できる情報処理システムおよび情報処理方法を提供する。

本開示の一態様に係る情報処理システムは、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、前記第１認識結果および前記第２認識結果の類似度を判定する第１判定を行う第１判定部と、前記第１判定の結果に応じて、前記第１認識結果および前記第２認識結果のフュージョン処理を制御するフュージョン制御部と、前記第１判定の結果に応じて、前記第１認識結果と、前記第２認識結果と、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果との少なくとも１つを出力する出力部と、を備える。

また、本開示の一態様に係る情報処理システムは、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、前記第１認識結果および前記第２認識結果をフュージョン処理するフュージョン処理部と、前記第１認識結果および前記第２認識結果がフュージョン処理された第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う第２判定部と、前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する出力部と、を備える。

なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示に係る情報処理システムおよび情報処理方法は、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

図１は、実施の形態１に係る情報処理システムの外観図を示す図である。 図２は、実施の形態１に係る情報処理装置を備える情報処理システムのハードウェア構成の一例を示すブロック図である。 図３は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。 図４は、類似度および認識精度に応じた複数の場合において第３認識結果が精度向上するか否かを示す表である。 図５は、実施の形態１に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。 図６は、実施の形態２に係る情報処理システムの機能構成の一例を示すブロック図である。 図７は、類似度および認識精度に応じた複数の場合において第３認識結果が性能向上するか否かを示す表である。 図８は、実施の形態２に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。 図９は、実施の形態３に係る情報処理システムの機能構成の一例を示すブロック図である。 図１０は、類似度および認識精度に応じた複数の場合において第３認識結果が性能向上するか否かを示す表である。 図１１は、実施の形態３に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。

（本発明の基礎となった知見）
本発明者は、上述した従来技術に関し、以下の問題が生じることを見出した。

特許文献１に記載の技術のように、第一のセンサの出力データと、第二のセンサの出力データとを用いて物体の認識を実行しても認識の精度が向上しない場合がある。この場合、精度が低い認識結果を出力するおそれがある。

複数種類のセンサのそれぞれから得られたセンサデータに基づく認識結果をフュージョンして利用する場合、複数種類のセンサのうちの第１センサに対応する認識結果が正解からほど遠い場合、つまり、第１センサに対応する認識結果の精度が低い場合、全体の認識結果に悪影響を及ぼすおそれがある。例えば、第１センサのセンシングデータにノイズが多く含まれる場合、大きなノイズが含まれる場合、第１センサが故障している場合などに、第１センサに対応する認識結果に大きな誤差が含まれることとなる。

また、第１センサのセンシングデータが精度のよいセンシングデータであるか否かを判断することは難しい。例えば、センシングデータが画像である場合、夜間において撮像された画像であれば、ザラザラしたノイズが含まれる画像であるのか、ザラザラした材質の物体が撮像された画像であるのかを、当該画像の画素値から区別することは難しい。

このような問題を解決するために、本開示の一態様に係る情報処理システムは、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、前記第１認識結果および前記第２認識結果の類似度を判定する第１判定を行う第１判定部と、前記第１判定の結果に応じて、前記第１認識結果および前記第２認識結果のフュージョン処理を制御するフュージョン制御部と、前記第１判定の結果に応じて、前記第１認識結果と、前記第２認識結果と、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果との少なくとも１つを出力する出力部と、を備える。

これによれば、第１認識結果および第２認識結果の類似度の判定結果に応じて、第１認識結果および第２認識結果のフュージョン処理を制御し、かつ、第１認識結果、第２認識結果、および、フュージョン処理により得られた第３認識結果の少なくとも１つを出力する。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、前記第１認識結果および前記第２認識結果は、物体の位置の認識結果であり、前記類似度は、前記物体の位置に関する類似度であってもよい。

これによれば、認識した物体の位置の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、前記第１認識結果および前記第２認識結果は、物体の属性の認識結果であり、前記類似度は、前記物体の属性の類似度であってもよい。

これによれば、認識した物体の属性の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、前記第１認識結果および前記第２認識結果は、物体の存在の認識結果であり、前記類似度は、前記物体の数の類似度であってもよい。

これによれば、認識した物体の数の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力するため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、さらに、前記第１認識結果の第１評価値と相関がある第１相関情報と、前記第２認識結果の第２評価値と相関がある第２相関情報とを取得する第３取得部を備え、前記フュージョン制御部は、前記第１判定の結果と、取得された前記第１相関情報および前記第２相関情報と、に応じて、フュージョン処理を制御してもよい。

これによれば、第１相関情報および第２相関情報を取得することで、第１認識結果の第１評価値と第２認識結果の第２評価値とを考慮したフュージョン処理を行うことができる。つまり、第１認識結果および第２認識結果の類似度の判定結果と、第１相関情報および第２相関情報とに応じて、フュージョン処理を制御することで、良好な物体の認識結果を得ることができる。

また、前記第１相関情報および前記第２相関情報のそれぞれは、センシング時の前記第１センサおよび前記第２センサが配置されている空間の環境、センシング時の前記第１センサおよび前記第２センサの状態、並びに前記第１センサおよび前記第２センサの仕様の少なくとも１つであってもよい。

これによれば、センシング時の第１センサおよび第２センサが配置されている空間の環境、センシング時の第１センサおよび第２センサの状態、および第１センサおよび第２センサの仕様の少なくとも１つを取得することで、第１評価値および第２評価値を考慮したフュージョン処理を容易に行うことができる。

また、さらに、前記第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う第２判定部を備え、前記出力部は、前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力してもよい。

これによれば、第１類似度および第２類似度に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力するため、良好な物体の認識結果を得ることができる。

また、前記フュージョン制御部は、前記第１認識結果および前記第２認識結果をフュージョン処理するか否かにより、前記フュージョン処理を制御してもよい。

これによれば、第１判定の結果に応じてフュージョン処理するか否かが制御されるこのため、例えば、第１判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理をしないことで、認識結果のフュージョンによる物体の認識結果の悪化を確実に防止することができる。

また、前記フュージョン制御部は、フュージョン処理するフュージョン処理部へ前記第１認識結果又は前記第２認識結果を入力するか否かにより、前記第１認識結果及び前記第２認識結果をフュージョン処理するか否かを制御してもよい。

これによれば、第１判定の結果に応じてフュージョン処理部への第１認識結果及び第２認識結果の入力が制御される。このため、フュージョン処理部の動作を直接制御できない場合であってもフュージョン処理するか否かを制御することができる。

また、前記フュージョン制御部は、前記第１認識結果および前記第２認識結果のフュージョン処理のパラメータを調整することにより、前記フュージョン処理を制御してもよい。

これによれば、第１判定の結果に応じてフュージョン処理のパラメータが調整される。このため、例えば、第１判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理における重みを小さくすることで、フュージョン処理しつつも認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、本開示の一態様に係る情報処理システムは、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、前記第１認識結果および前記第２認識結果をフュージョン処理するフュージョン処理部と、前記第１認識結果および前記第２認識結果がフュージョン処理された第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う第２判定部と、前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する出力部と、を備える。

これによれば、第１類似度および第２類似度に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力するため、より良好な物体の認識結果を得ることができる。

また、さらに、前記第１センサからのセンシングデータおよび前記第２センサからのセンシングデータのそれぞれに基づいて物体の認識処理を実行し、前記第１認識結果および前記第２認識結果を出力する認識部を備えてもよい。

これによれば、第１センサからのセンシングデータおよび第２センサからのセンシングデータを取得すれば、第１認識結果および第２認識結果を得ることができる。

なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る情報処理システムおよび情報処理方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。

実施の形態１に係る情報処理システム１０は、車両２００に配置されているシステムである。情報処理システム１０は、図１に示すように、情報処理装置１００と、第１センサ２０１と、第２センサ２０２とを備える。つまり、車両２００には、情報処理装置１００と、第１センサ２０１および第２センサ２０２とが配置されている。

第１センサ２０１は、例えば、車両２００の前方を撮像する撮像装置である。第１センサ２０１は、車両２００の前方に限らずに、車両２００の周囲を撮像すればよく、車両２００の左方向、右方向、後方向などを撮像してもよい。第１センサ２０１により得られたセンシングデータとしての画像は、例えば、車両２００の周囲の物体を認識するために利用される。認識された結果は、例えば、車両２００の自動運転または運転支援に利用される。

第２センサ２０２は、車両２００の周囲の物体までの距離を検出する距離センサである。第２センサ２０２により検出された距離を示す距離情報は、例えば、自動運転または自動運転支援における当該車両２００の位置の推定に用いられる。

情報処理装置１００は、例えば、第１センサ２０１により得られたセンシングデータと、第２センサ２０２により得られたセンシングデータとを用いて、それぞれのセンシングデータに対して認識処理を実行する。そして、情報処理装置１００は、第１センサ２０１により得られたセンシングデータに基づく認識結果である第１認識結果と、第２センサ２０２により得られたセンシングデータに基づく認識結果である第２認識結果とを用いて、より精度が高い認識結果を出力する。

次に、情報処理装置１００を備える情報処理システム１０のハードウェア構成の具体例について図２を用いて説明する。

図２は、実施の形態１に係る情報処理装置を備える情報処理システムのハードウェア構成の一例を示すブロック図である。

図２に示すように、情報処理システム１０は、ハードウェア構成として、情報処理装置１００と、第１センサ２０１と、第２センサ２０２とを備える。情報処理システム１０は、さらに、第３センサ２０３と、運転制御装置３００とを備えていてもよい。

情報処理装置１００は、ハードウェア構成として、プロセッサ１０１と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。また、情報処理装置１００は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であってもよい。

プロセッサ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。

メインメモリ１０２は、プロセッサ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。

ストレージ１０３は、制御プログラム、コンテンツなどを保持する不揮発性の記憶領域である。

通信ＩＦ１０４は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信ネットワークを介して第１〜第３センサ２０１〜２０３および運転制御装置３００と通信する通信インタフェースである。なお、通信ＩＦ１０４は、有線通信の通信インタフェースに限らずに無線通信の通信インタフェースであってもよい。また、通信ＩＦ１０４は、第１〜第３センサ２０１〜２０３、運転制御装置３００などとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。また、通信ＩＦ１０４は、インターネットなどの汎用ネットワークまたは専用ネットワークに通信接続可能な通信インタフェースであってもよい。

第１センサ２０１は、レンズなどの光学系およびイメージセンサを有する撮像装置、つまり、カメラである。第１センサ２０１は、情報処理装置１００と相互に通信可能に接続されている。第１センサ２０１は、異なる複数のタイミング、例えば、６０ｆｐｓで、画像を撮像し、撮像した画像をセンシングデータとして出力する。

第２センサ２０２は、車両２００の周囲の物体との距離を検出する距離センサである。第２センサ２０２は、具体的には、車両２００の水平方向において３６０度全方位、および、垂直方向において所定の角度（例えば３０度）の角度範囲の検出範囲にある物体との間の距離を検出する。第２センサ２０２により検出された距離は、例えば、車両２００の周囲の物体を含む地形の３次元形状を生成することに用いられる。第２センサ２０２は、例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などのレーザセンサである。第２センサ２０２は、異なる複数のタイミングでセンシングすることで得られたセンシングデータを出力する。

第３センサ２０３は、例えば、第１センサ２０１および第２センサ２０２が配置されている空間に配置され、当該空間の照度を検出する照度センサである。第３センサ２０３は、例えば、車両２００の車内に配置されてもよいし、車両２００の車外に配置されていてもよい。第３センサ２０３は、異なる複数のタイミングでセンシングすることで得られたセンシングデータを出力する。

運転制御装置３００は、車両２００の運転を制御する情報処理装置である。運転制御装置３００は、例えば、プロセッサ、メインメモリ、ストレージ、通信ＩＦなどを有する。運転制御装置３００は、情報処理装置１００と共通の構成で実現されてもよい。つまり、運転制御装置３００は、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、および通信ＩＦ１０４で実現されていてもよい。また、運転制御装置３００は、例えば、ＥＣＵで実現されていてもよく、情報処理装置１００がＥＣＵで実現されている場合、情報処理装置１００を実現するＥＣＵで実現されていてもよいし、情報処理装置１００を実現するＥＣＵとは異なるＥＣＵで実現されていてもよい。

情報処理システム１０は、第１〜第３センサ２０１〜２０３の他にも、車両２００の３軸方向のそれぞれにおける加速度を検出する加速度センサ、車両２００の回転角速度を検出するジャイロセンサなどの各種センサを有していてもよい。また、情報処理システム１０は、車両２００の現在位置を検出するＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ
Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）の受信機を有していてもよい。

運転制御装置３００は、車両２００の運転を制御する情報処理装置である。具体的には、運転制御装置３００は、車輪の操舵を行うステアリング、車輪を回転駆動させるエンジン、モータなどの動力源、車輪の制動するブレーキなどを制御することで、車両２００の自動運転または運転支援を行う。運転制御装置３００は、例えば、プロセッサ、メインメモリ、ストレージ、通信ＩＦなどを有する。運転制御装置３００は、情報処理装置１００と共通の構成で実現されてもよい。つまり、運転制御装置３００は、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、および通信ＩＦ１０４で実現されていてもよい。また、運転制御装置３００は、例えば、ＥＣＵで実現されていてもよく、情報処理装置１００がＥＣＵで実現されている場合、情報処理装置１００を実現するＥＣＵで実現されていてもよいし、情報処理装置１００を実現するＥＣＵとは異なるＥＣＵで実現されていてもよい。

次に、情報処理システム１０の機能構成について図３を用いて説明する。

図３は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。

情報処理システム１０は、第１取得部１２０と、第２取得部１３０と、第１判定部１４０と、フュージョン制御部１６０と、第２判定部１７０と、出力部１８０とを備える。情報処理システム１０は、さらに第１センサ２０１を備えていてもよいし、さらに第２センサ２０２を備えていてもよいし、さらに第３センサ２０３を備えていてもよいし、さらに認識部１１０を備えていてもよいし、第３取得部１５０を備えていてもよい。なお、ここでは、第１〜第３センサ２０１〜２０３の構成の説明は、上述と同様であるので省略する。

認識部１１０は、第１認識部１１１および第２認識部１１２を有する。第１認識部１１１は、第１センサ２０１からのセンシングデータに基づいて、物体の認識処理（以下、単に認識処理とも称する。）を実行し、当該認識処理の結果として第１認識結果を出力する。ここで、物体の認識は、物体の存在の認識、物体までの距離の認識、物体の属性の認識、物体の大きさの認識、など物体に関する様々な認識を含む。第１認識部１１１は、第１センサ２０１が異なる複数のタイミングでセンシングすることにより得られた複数のセンシングデータを取得し、取得した複数のセンシングデータに基づいて認識処理を行う。第１認識部１１１は、複数のセンシングデータのそれぞれについて認識処理を行ってもよいし、複数のセンシングデータのうちの２以上のセンシングデータからなる複数の組み合わせのそれぞれについて認識処理を行ってもよい。

第２認識部１１２は、第２センサ２０２からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第２認識結果を出力する。第２認識部１１２は、第２センサ２０２が異なる複数のタイミングでセンシングすることにより得られた複数のセンシングデータを取得し、取得した複数のセンシングデータのそれぞれについて認識処理を行ってもよいし、複数のセンシングデータのうちの２以上のセンシングデータからなる複数の組み合わせのそれぞれについて認識処理を行ってもよい。

認識部１１０により実行される認識処理は、例えば、機械学習モデルを用いた認識処理である。第１認識結果および第２認識結果は、具体的には、物体の認識結果である。また、第１認識結果および第２認識結果は、例えば、物体の位置を認識した結果であってもよいし、物体の属性を認識した結果であってもよいし、物体の数を認識した結果であってもよい。認識部１１０は、情報処理装置１００により実現されていてもよいし、情報処理装置１００と通信可能に接続されている情報処理装置１００とは異なる情報処理装置により実現されていてもよい。

第１取得部１２０は、第１認識部１１１から第１認識結果を取得する。第１取得部１２０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４などにより実現される。

第２取得部１３０は、第２認識部１１２から第２認識結果を取得する。第２取得部１３０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４などにより実現される。

第１判定部１４０は、第１認識結果および第２認識結果の類似度を判定する第１判定を行う。第１判定部１４０により第１判定の対象となる第１認識結果および第２認識結果は、例えば、第１センサ２０１および第２センサ２０２のそれぞれが同一の空間、または、共通する空間を含む空間をセンシングすることにより得られたセンシングデータに基づく認識結果である。つまり、第１判定の対象となる第１認識結果の基になるセンシングデータと、第２認識結果の基になるセンシングデータとは、例えば、互いに同じタイミングで第１センサ２０１および第２センサ２０２によりセンシングされたデータである。なお、同じタイミングとは、同じタイミングと見なせるほどの時間差が小さい異なるタイミングであってもよい。第１判定部１４０は、例えば、プロセッサ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

なお、車両２００が移動していない場合には、第１センサ２０１および第２センサ２０２がセンシングする空間は変化しないため、第１判定には、互いに同じタイミングで第１センサ２０１および第２センサ２０２により得られた２つのセンシングデータに基づく第１認識結果および第２認識結果が用いられなくてもよい。つまり、この場合の第１判定には、互いに異なるタイミングで第１センサ２０１および第２センサ２０２により得られた２つのセンシングデータに基づく第１認識結果および第２認識結果が第１判定に用いられてもよい。

類似度の第１の例は、認識した物体の位置に関する類似度であり、より具体的には、認識した物体の位置の類似度、第１センサ２０１または第２センサ２０２から認識した物体までの距離の類似度、認識した物体の位置の単位時間当たりの変化量である。なお、認識した物体の位置の単位時間当たりの変化量は、認識した物体の位置の移動速度である。第１判定部１４０は、例えば、第１認識結果において認識した物体の位置、および、第２認識結果において認識した物体の位置の平均値または中央値と、認識したそれぞれの位置との差が所定の閾値未満であれば、類似度大と判定し、所定の閾値以上であれば類似度小と判定してもよい。同様に、第１判定部１４０は、物体までの距離の平均値もしくは中央値と、認識したそれぞれの距離との差、または、単位時間当たりの変化量の平均値もしくは中央値と、認識したそれぞれの変化量との差について、所定の閾値未満であるか否かに応じて、類似度の大小を判定してもよい。

類似度の第２の例は、認識した物体の属性の類似度であり、より具体的には、認識した物体の種類、色、大きさ、形状などである。第１判定部１４０は、例えば、第１認識結果において認識した物体の種類と、第２認識結果において認識した物体の種類とが、予め定められた分類において、同じ分類に属していれば類似度大と判定し、それぞれが異なる分類に属していれば類似度小と判定してもよい。同様に、第１判定部１４０は、物体の色、または、物体の形状について、予め定められた分類において、同じ分類に属しているか否かに応じて、類似度の大小を判定してもよい。また、第１判定部１４０は、物体の色を数値化した指標における数値の平均値もしくは中央値と、認識したそれぞれの色の指標における数値との差、または、大きさの平均値もしくは中央値と、認識したそれぞれの大きさとの差について、所定の閾値未満であるか否かに応じて、類似度の大小を判定してもよい。

類似度の第３の例は、認識した物体の数の類似度である。つまり、認識した物体の数の類似度とは、第１センサ２０１がセンシングの対象とした空間において認識した物体の数と、第２センサ２０２がセンシングの対象とした空間において認識した物体の数との類似度である。第１判定部１４０は、例えば、第１認識結果において認識した物体の数、および、第２認識結果において認識した物体の数の平均値または中央値と、認識したそれぞれの物体の数との差が所定の閾値未満であれば、類似度大と判定し、所定の閾値以上であれば類似度小と判定してもよい。

なお、所定の閾値は、それぞれの類似度に応じて異なる値が設定されていてもよい。

第３取得部１５０は、第１認識結果の第１評価値と相関がある第１相関情報と、第２認識結果の第２評価値と相関がある第２相関情報とを取得する。第３取得部１５０は、第３センサ２０３から第１相関情報および第２相関情報を取得してもよいし、図示しない外部機器から第１相関情報および第２相関情報を取得してもよい。

ここで、第１評価値および第２評価値とは、例えば、正解率、適合率、再現率、Ｆ値、誤差、不正解率などである。以下では、第１評価値および第２評価値を含む評価値を認識の精度ともいう。第１相関情報および第２相関情報のそれぞれは、センシング時の第１センサ２０１および第２センサ２０２が配置されている空間の環境、センシング時の第１センサ２０１および第２センサ２０２の状態、並びに第１センサ２０１および第２センサ２０２の仕様の少なくとも１つである。

空間の環境とは、例えば、当該空間の照度に関する。空間の照度は、第３センサ２０３により検出される照度であってもよいし、外部機器から得られる天候情報に基づいて予測される照度であってもよいし、現在時刻に基づいて予測される照度であってもよい。空間の照度が第１の照度よりも低い場合、第１センサ２０１の一例であるカメラにより撮像された画像は、カメラのイメージセンサのノイズレベル以下の画素値の画素が多くなるため、当該画像から物体を精度よく認識することが難しくなる。一方で、空間の照度が第１の照度よりも高い第２の照度より高い場合、カメラにより撮像された画像は、カメラのイメージセンサにより撮像可能な最大値を超えた画素値が多くなるため、当該画像から物体を精度よく認識することが難しくなる。このように、空間の照度は、カメラにより得られるセンシングデータである画像を用いた認識処理の評価値と相関関係にある。このため、空間の照度を、第１認識結果の精度が高いか低いかを判定するために用いてもよい。

また、空間の照度は、第２センサ２０２の一例である距離センサにも影響を与える場合がある。例えば、距離センサに太陽光または太陽光の反射光が入射する場合、つまり、第３の照度よりも高い照度が距離センサの周辺において検出される場合、距離センサにより得られるセンシングデータから物体を精度よく認識することが難しくなる。このため、空間の照度を、第２認識結果の精度が高いか低いかを判定するために用いてもよい。

第１センサ２０１および第２センサ２０２の状態とは、それぞれのセンサにおける送信部または受信部の汚れ具合、それぞれのセンサが故障しているか否かの状態などである。ここで、送信部とは、距離センサの場合にはレーザなどの光、電波、音波などを照射または発信する部分である。受信部とは、カメラの場合にはカメラの受光部であり、距離センサの場合には照射または発信した光、電波、音波などの反射波を受信する部分である。第１センサ２０１および第２センサ２０２の状態が、送信部または受信部が汚れていることを示す場合、汚れている送信部または受信部に対応するセンサによるセンシングデータから得られた認識結果の精度が低いと推測することができる。

また、図示していないが、第３取得部１５０は、第１センサ２０１から第１センサ２０１によるセンシングデータに基づく値を第１相関情報として取得してもよい。

この場合、例えば、第１相関情報は、カメラにおいて撮像された画像の全画素値の分散である。画像の画素値の分散が第１の分散より大きい場合、ノイズが多い画像であると推測できるため、当該画像から物体を精度よく認識することが難しくなる。一方で、画像の画素値の分散が第１の分散より小さい第２の分散より小さい場合、エッジを検出できない、暗すぎて画素値が小さい、霧、雨を撮像していて画素値が一様になると推測できるため、当該画像から物体を精度よく認識することが難しくなる。このように、画像の画素値の分散は、カメラにより得られるセンシングデータである画像を用いた認識処理の評価値と相関関係にある。このため、画像の画素値の分散を、第１認識結果の精度が高いか低いかを判定するために用いてもよい。

第１センサ２０１および第２センサ２０２の仕様とは、第１センサ２０１および第２センサ２０２のそれぞれの性能を示す仕様である。

第３取得部１５０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４などにより実現される。

フュージョン制御部１６０は、第１判定の結果と、取得された第１相関情報および第２相関情報とに応じて、フュージョン処理を制御する。フュージョン制御部１６０は、具体的には、（１）第１認識結果および第２認識結果をフュージョン処理する、（２）第１認識結果および第２認識結果をフュージョン処理しない、並びに、（３）第１認識結果および第２認識結果のフュージョン処理のパラメータを調整する、のいずれか１つを行うことで、フュージョン処理を制御する。なお、フュージョン処理のパラメータとは、第１認識結果および第２認識結果のフュージョン処理における重みである。

フュージョン制御部１６０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の少なくとも１つの精度が高いと推定される場合、第１認識結果および第２認識結果をフュージョン処理する。例えば、フュージョン制御部１６０は、第１認識結果及び第２認識結果をフュージョン処理モジュールに入力し、出力として第３認識結果を得る。また、フュージョン制御部１６０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の精度が低いと推定される場合、第１認識結果および第２認識結果をフュージョン処理しない。例えば、フュージョン制御部１６０は、第１認識結果及び第２認識結果をフュージョン処理モジュールに入力しない。なお、フュージョン制御部１６０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果のうちの１つの精度が低いと推定される場合、精度が低いと推定される認識結果の重みを、精度が高いと推定される認識結果の重みより小さくするフュージョン処理を行ってもよい。

フュージョン制御部１６０は、第１認識結果および第２認識結果のフュージョン処理を行うことで得られる第３認識結果を出力する。フュージョン制御部１６０は、例えば、プロセッサ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。なお、フュージョン制御部１６０は、自身がフュージョン処理を実行してもよく、フュージョン処理を実行するフュージョン処理モジュールにフュージョン処理を実行させてもよい。フュージョン処理モジュールは、フュージョン制御部１６０が備えてもよく、フュージョン制御部１６０の外部に備えられてもよい。

ここで、フュージョン制御部１６０により得られる第３認識結果が第１認識結果または第２認識結果よりも認識精度を向上させる場合がどのような場合であるのかを図４を用いて考える。

図４は、類似度および認識精度に応じた複数の場合において第３認識結果が精度向上するか否かを示す表である。図４は、第１認識結果および第２認識結果の類似度が大きいか小さいか、第１認識結果および第２認識結果のそれぞれと第３認識結果との２つの類似度の両方が大きいか否か、第１認識結果の認識精度が高いか低いか、並びに、第２認識結果の認識精度が高いか低いかに応じて場合分けしている。

図４における認識精度の組み合わせは、第１認識結果の精度、および、第２認識結果の精度の組み合わせを示している。「高・高」は、第１認識結果の精度、および、第２認識結果の精度が共に高い場合を示し、「高・低」は、第１認識結果の精度、および、第２認識結果の精度の一方が高く他方が低い場合を示し、「低・低」は、第１認識結果の精度、および、第２認識結果の精度が判断できない場合を示す。また、図４のおける「類似度大」および「類似度小」は、それぞれ、第１認識結果および第２認識結果の類似度が大である場合、および、当該類似度が小である場合を示す。「類似度大」における「第３認識結果との類似度大」および「第３認識結果との類似度小」は、それぞれ、「類似度大」において、第１認識結果および第２認識結果のそれぞれと第３認識結果との２つの類似度が両方とも大である場合、および、当該２つの類似度の少なくとも１つが小である場合を示す。同様に、「類似度小」における「第３認識結果との類似度大」および「第３認識結果との類似度小」は、それぞれ、「類似度小」において、第１認識結果および第２認識結果のそれぞれと第３認識結果との２つの類似度が両方とも大である場合、および、当該２つの類似度が小である場合を示す。なお、ここでいう２つの類似度は、後述する第１類似度および第２類似度に相当する。

図４に示すように、認識精度の組み合わせが「高・高」である場合には、類似度の大小に関わらず第３認識結果の精度が向上する。例えば、認識精度の組み合わせが「高・高」である場合において、「類似度大」の場合には、第１認識結果および第２認識結果の精度が共に高く、かつ、認識結果の類似度が大きいため、類似する認識結果の精度が互いに高いこととなる。このため、この場合は、互いの認識結果の精度向上に寄与する。また、認識精度の組み合わせが「高・高」である場合において、「類似度小」の場合には、第１認識結果および第２認識結果の精度が共に高く、かつ、認識結果の類似度が小さいため、類似しない、つまり、異なる認識対象の認識結果の精度が互いに高いこととなる。このため、この場合は、互いの認識結果を補完し合う精度向上に寄与する。

反対に、認識精度の組合せが「低・低」である場合には、類似度の大小に関わらず第３認識結果の精度が向上したり低下したりする。これは、認識精度の組み合わせが「低・低」である場合においては、第１認識結果の精度も第２認識結果の精度も低いため、組み合わせても必ずしも精度向上または性能補完には寄与しないからである。

そして、認識精度の組合せが「高・低」である場合には、「類似度大」であれば第３認識結果の精度が向上するが、「類似度小」であれば第３認識結果との類似度の大小に応じて第３認識結果の精度が向上または低下する。具体的には、認識精度の組合せが「高・低」である場合、第１認識結果および第２認識結果の類似度が小であっても、フュージョン処理した結果である第３認識結果との間の類似度が大きければ、フュージョン処理した結果との間にずれが小さいためフュージョン処理が効果的に実行されたと考えられる。このため、この場合は、互いの認識結果を補完し合う性能向上に寄与する。一方で、フュージョン処理した結果である第３認識結果との間の類似度が小さければ、フュージョン処理した結果との間にずれが大きいためフュージョン処理が効果的には実行されていないと考えられる。このため、この場合は、フュージョン処理することで精度低下を引き起こす。

このように、第１認識結果および第２認識結果の認識精度の高低の組み合わせ、第１認識結果および第２認識結果の類似度の大小、並びに、第１認識結果および第２認識結果のそれぞれと第３認識結果との類似度の大小に応じて、フュージョン処理の結果である第３認識結果の精度または精度を向上させる効果がある場合と、精度または性能を低下させる場合とに分類できる。よって、図４に示した場合を考慮することにより、より効果的にフュージョン処理することができ、精度または性能が低い認識結果を出力することを低減することができる。

第２判定部１７０は、第３認識結果と、第１認識結果および第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う。つまり、第２判定部１７０は、第２判定において、第３認識結果と第１認識結果との類似度である第１類似度を判定し、かつ、第３認識結果と第２認識結果との類似度である第２類似度を判定する。第２判定部１７０は、例えば、プロセッサ１０１、メインメモリ１０２およびストレージ１０３などにより実現される。

出力部１８０は、第２判定の結果に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する。また、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の精度が高いと推定される場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。

また、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が大きい場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。また、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が小さく、かつ、第３認識結果と第１認識結果および第２認識結果のそれぞれとの２つの類似度が両方とも大きい場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。また、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が小さく、かつ、第３認識結果と第１認識結果および第２認識結果のそれぞれとの２つの類似度の少なくとも一方が小さい場合、第３認識結果を出力しなくてもよい。なお、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力する場合、第３認識結果と共に、第１認識結果および第２認識結果のうちの精度が高いと推定される認識結果を出力してもよい。

また、出力部１８０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が低いと推定される場合において、第１認識結果および第２認識結果の少なくとも一方を出力してもよい。

出力部１８０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３および通信ＩＦ１０４などにより実現される。

［１−２．動作］
次に、実施の形態１に係る情報処理システム１０の動作について説明する。

図５は、実施の形態１に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。

まず、情報処理システム１０では、認識部１１０の第１認識部１１１は、第１センサ２０１からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第１認識結果を出力する（Ｓ１１）。

そして、第１取得部１２０は、第１認識部１１１から第１認識結果を取得する（Ｓ１２）。

一方で、認識部１１０の第２認識部１１２は、第２センサ２０２からのセンシングデータに基づいて、認識処理を実行し、当該認識処理の結果として第２認識結果を出力する（Ｓ１３）。

そして、第２取得部１３０は、第２認識部１１２から第２認識結果を取得する（Ｓ１４）。

ステップＳ１１およびＳ１２と、ステップＳ１３およびＳ１４との一方の処理は、他方の処理を実行しているか否かに関わらずに処理を実行する。

次に、第１判定部１４０は、第１認識結果および第２認識結果の類似度を判定する第１判定を行う（Ｓ１５）。

第３取得部１５０は、第１相関情報および第２相関情報を取得する（Ｓ１６）。なお、ステップＳ１６は、ステップＳ１７より前に行われればよく、ステップＳ１５の後に行われることに限定されるものではない。

フュージョン制御部１６０は、第１判定の結果と、第１相関情報および第２相関情報とに応じて、フュージョン処理を制御する（Ｓ１７）。

第２判定部１７０は、第３認識結果と、第１認識結果および第２認識結果それぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う（Ｓ１８）。

出力部１８０は、第２判定の結果に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する（Ｓ１９）。

［１−３．効果など］
本実施の形態に係る情報処理システム１０によれば、第１認識結果および第２認識結果の類似度の判定結果に応じて、第１認識結果および第２認識結果のフュージョン処理を制御し、かつ、第１認識結果、第２認識結果、および、フュージョン処理により得られた第３認識結果の少なくとも１つを出力する。このため、精度が低い認識結果を出力することを低減することができる。

また、情報処理システム１０において、第１認識結果および第２認識結果は、物体の認識結果であり、類似度は、物体の位置に関する類似度である。つまり、情報処理システム１０は、認識した物体の位置の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力する。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、情報処理システム１０において、第１認識結果および第２認識結果は、物体の認識結果であり、類似度は、物体の属性の類似度である。つまり、情報処理システム１０は、認識した物体の属性の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力する。このため、認識結果による物体の認識結果の悪化を抑制することができる。

また、情報処理システム１０において、第１認識結果および第２認識結果は、物体の認識結果であり、類似度は、物体の数の類似度である。つまり、情報処理システム１０は、認識した物体の数の類似度の判定結果に応じて、第１認識結果、第２認識結果および第３認識結果の少なくとも１つを出力する。このため、物体の認識結果の悪化を抑制することができる。

また、情報処理システム１０は、第１相関情報および第２相関情報を取得することで、第１認識結果の第１評価値と第２認識結果の第２評価値とを考慮したフュージョン処理を行う。つまり、情報処理システム１０は、第１認識結果および第２認識結果の類似度の判定結果と、第１相関情報および第２相関情報とに応じて、フュージョン処理を制御することで、良好な物体の認識結果を得ることができる。

また、情報処理システム１０は、センシング時の第１センサ２０１および第２センサ２０２が配置されている空間の環境、センシング時の第１センサ２０１および第２センサ２０２の状態、および第１センサ２０１および第２センサ２０２の仕様の少なくとも１つを取得するため、第１評価値および第２評価値を考慮したフュージョン処理を容易に行うことができる。

また、情報処理システム１０は、第３認識結果と、第１認識結果および第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行い、第２判定の結果に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する。このため、良好な物体の認識結果を得ることができる。

また、情報処理システム１０は、フュージョン処理の制御として、フュージョン処理をする、フュージョン処理をしない、およびフュージョン処理のパラメータを調整する、のいずれか１つを実行する。このため、例えば、第１判定の結果に応じて、フュージョン処理を実行しても認識結果が向上しないと予測される場合に、フュージョン処理をしないまたはフュージョン処理のパラメータを調整することで、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

また、情報処理システム１０は、第１センサ２０１からのセンシングデータおよび第２センサ２０２からのセンシングデータのそれぞれに基づいて認識処理を実行し、第１認識結果および第２認識結果を出力する。このため、情報処理システム１０は、第１センサ２０１からのセンシングデータおよび第２センサ２０２からのセンシングデータを取得すれば、第１認識結果および第２認識結果を得ることができる。

［１−４．変形例］
［１−４−１．変形例１］
上記実施の形態１において、第１相関情報および第２相関情報を取得することで、第１センサ２０１によるセンシングデータに基づく第１認識結果の精度と、第２センサ２０２よるセンシングデータに基づく第２認識結果の精度とを推定するとしたが、これに限らない。例えば、認識部１１０は、第１センサ２０１および第２センサ２０２からのそれぞれから複数の異なるタイミングでセンシングされた複数のセンシングデータを取得し、取得した複数のセンシングデータのそれぞれについて、認識処理を行うため、第１認識結果は複数得られ、第２認識結果は複数得られることになる。このため、認識部１１０は、現在の第１認識結果と前のタイミングでのセンシングデータに基づく第１認識結果とを比較して得られた差が、所定の閾値よりも大きければ、現在の第１認識結果の認識精度が低いと推定してもよい。同様に、認識部１１０は、現在の第２認識結果と前のタイミングでのセンシングデータに基づく第２認識結果とを比較して得られた差が、所定の閾値よりも大きければ、現在の第２認識結果の認識精度が低いと推定してもよい。この場合、フュージョン制御部１６０は、第１認識結果の精度、および、第２認識結果の精度を、認識部１１０から取得して、取得した第１認識結果の精度、および、第２認識結果の精度に応じてフュージョン処理を制御してもよい。

また、例えば、認識部１１０は、第２センサ２０２から得られたセンシングデータに基づいて生成したＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と、予め記憶している、または、予め外部機器から取得したＡＤＡＳ（Ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ−ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）マップと比較することで、生成したＳＬＡＭがＡＤＡＳマップと形状が大きく異なる場合に、第２認識結果の精度が低いと推定してもよい。

［１−４−２．変形例２］
上記実施の形態１に係る情報処理システム１０では、第２判定部１７０は、フュージョン処理の後に実行されることとしたが、これに限らない。例えば、第２判定部１７０は、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合であって、第１認識結果および第２認識結果の類似度が小さい場合のみに第２判定を行ってもよい。

（実施の形態２）
次に、実施の形態２を説明する。

図６は、実施の形態２に係る情報処理システムの機能構成の一例を示すブロック図である。

情報処理システム１０Ａは、実施の形態１に係る情報処理システム１０と比較して、第２判定部１７０を備えていない点、および出力部１８０ａの機能が異なる。情報処理システム１０Ａのその他の構成は、実施の形態１に係る情報処理システム１０と同様であるため説明を省略する。

出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する。出力部１８０ａは、例えば、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の精度が高いと推定される場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。

また、出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が大きい場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。また、出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が小さい場合、第３認識結果を出力しなくてもよい。なお、出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力する場合、第３認識結果と共に、第１認識結果および第２認識結果のうちの精度が高いと推定される認識結果を出力してもよい。

また、出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が低いと推定される場合において、第１認識結果および第２認識結果の少なくとも一方を出力してもよい。

図７は、類似度および認識精度に応じた複数の場合において第３認識結果が性能向上するか否かを示す表である。図７は、第１認識結果および第２認識結果の類似度が大きいか小さいか、第１認識結果の認識精度が高いか低いか、並びに、第２認識結果の認識精度が高いか低いか、に応じて場合分けしている。実施の形態２では、第２判定を行わないため、図７は、図４における第１認識結果および第３認識結果の類似度が大きいか小さいか、第２認識結果および第３認識結果の類似度が大きいか小さいか、が考慮されていない表となる。

よって、図７に示す表の場合、認識精度の組合せが「高・低」である場合には、「類似度大」であれば第３認識結果の性能が向上するが、「類似度小」であれば第３認識結果の性能が低下する。認識精度の組合せが「高・高」である場合、および、「低・低」である場合は、図４の場合と同様であるので説明を省略する。

図８は、実施の形態２に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。

実施の形態２に係る情報処理方法は、実施の形態１に係る情報処理方法と比較して、ステップＳ１８が行われない点、および、出力するステップＳ１９ａが異なるため、ステップＳ１９ａについて説明する。

ステップＳ１７が終了すると、出力部１８０ａは、第１相関情報および第２相関情報に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する（Ｓ１９ａ）。

実施の形態２のように第２判定を行わない場合であっても、情報処理システム１０Ａは、第１判定の結果、および、第１相関情報および第２相関情報に応じて、出力する認識結果を選択する。具体的には、情報処理システム１０Ａは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果および第２認識結果の類似度が小さい場合、第３認識結果を出力しない。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

（実施の形態３）
次に、実施の形態３を説明する。

図９は、実施の形態３に係る情報処理システムの機能構成の一例を示すブロック図である。

情報処理システム１０Ｂは、実施の形態１の情報処理システム１０と比較して、第１判定部１４０を備えていない点と、フュージョン制御部１６０ｂおよび出力部１８０ｂの機能とが異なる。情報処理システム１０Ｂのその他の構成は、実施の形態１に係る情報処理システム１０と同様であるため説明を省略する。

フュージョン制御部１６０ｂは、認識部１１０から第１認識結果および第２認識結果を取得し、取得した第１認識結果および第２認識結果をフュージョン処理する。つまり、実施の形態２に係るフュージョン制御部１６０ｂは、実施の形態１に係るフュージョン制御部１６０と比較して、第１判定の結果を考慮せずに、第１認識結果および第２認識結果をフュージョン処理する。

出力部１８０ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の精度が高いと推定される場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。

また、出力部１８０ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第３認識結果と第１認識結果および第２認識結果のそれぞれとの類似度が大きい場合、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力してもよい。一方で、出力部１８０ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第３認識結果と第１認識結果および第２認識結果のそれぞれとの類似度が小さい場合、第３認識結果を出力しなくてもよい。なお、出力部１８０ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第１認識結果、第２認識結果、および第３認識結果のうち少なくとも第３認識結果を出力する場合、第３認識結果と共に、第１認識結果および第２認識結果のうちの精度が高いと推定される認識結果を出力してもよい。

また、出力部１８０ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が低いと推定される場合において、第１認識結果および第２認識結果の少なくとも一方を出力してもよい。

図１０は、類似度および認識精度に応じた複数の場合において第３認識結果が性能向上するか否かを示す表である。図１０は、第１認識結果および第２認識結果のそれぞれと第３認識結果との２つの類似度が両方とも大きいか否か、第１認識結果の認識精度が高いか低いか、並びに、第２認識結果の認識精度が高いか低いか、に応じて場合分けしている。実施の形態３では、第１判定を行わないため、図１０は、図４における第１認識結果および第２認識結果の類似度が大きいか小さいかが考慮されていない表となる。

よって、図１０に示す表の場合、認識精度の組合せが「高・低」である場合には、「第３認識結果との類似度大」であれば第３認識結果の性能が向上するが、「第３認識結果との類似度小」であれば第３認識結果の性能が低下する。認識精度の組合せが「高・高」である場合、および、「低・低」である場合は、図４の場合と同様であるので説明を省略する。

図１１は、実施の形態３に係る情報処理システムにおける情報処理方法の一例を示すフローチャートである。

実施の形態３に係る情報処理方法は、実施の形態１に係る情報処理方法と比較して、ステップＳ１５が行われない点、および、ステップＳ１７ｂのフュージョン処理が異なるため、ステップＳ１７ｂについて説明する。

ステップＳ１６が終了すると、フュージョン制御部１６０ｂは、第１認識結果および第２認識結果をフュージョン処理する（Ｓ１７ｂ）。

そして、ステップＳ１８が行われ、その後、出力部１８０ｂは、第２判定の結果に応じて、第１認識結果、第２認識結果、および第３認識結果の少なくとも１つを出力する（Ｓ１９ｂ）。

実施の形態３のように第１判定を行わない場合であっても、情報処理システム１０Ｂは、第２判定の結果、および、第１相関情報および第２相関情報に応じて、出力する認識結果を選択する。具体的には、情報処理システム１０Ｂは、第１相関情報および第２相関情報に応じて、第１認識結果および第２認識結果の一方の精度が高いと推定される場合において、第３認識結果と第１認識結果および第２認識結果のそれぞれとの第１類似度および第２類似度が小さい場合、第３認識結果を出力しない。このため、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる。

（その他の実施の形態）
上記実施の形態１〜３で説明した情報処理システム１０、１０Ａ、１０Ｂは、車両２００に搭載される情報処理システムとしたが、車両２００に搭載されることに限らずに、２以上のセンサからのセンシングデータに基づく２種類以上の認識結果をフュージョン処理する構成のあらゆる情報処理システムに適用することができる。

また、上記実施の形態１〜３で説明した情報処理システム１０、１０Ａ、１０Ｂは、センシングデータからの認識処理の認識結果を出力すると説明したが、これに限らない。例えば、第３認識結果を出力する、つまり、性能が向上すると判断された第３認識結果を得ることができる場合と、そのときのセンサデータとを対応付けたもの、および、性能が低下すると判断された第３認識結果を得ることができる場合と、そのときのセンサデータとを対応付けたものを学習データとして利用してもよい。

また、例えば、第３認識結果を出力する、つまり、性能が向上すると判断された第３認識結果を得ることができる場合、当該第３認識結果を、アノテーションを付与することに利用してもよい。アノテーションの付与とは、例えば、画像中の認識結果であれば、物体の種類毎に、あるいは特定の種類の物体に、当該画像における当該物体のサイズまたは位置を示す枠などのグラフィックを対応付けることである。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得し、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得し、前記第１認識結果および前記第２認識結果の類似度を判定する第１判定を行い、前記第１判定の結果に応じて、前記第１認識結果および前記第２認識結果のフュージョン処理を制御し、前記第１判定の結果に応じて、前記第１認識結果と、前記第２認識結果と、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果との少なくとも１つを出力する情報処理方法を実行させる。

また、このプログラムは、コンピュータに、第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得し、前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得し、前記第１認識結果および前記第２認識結果をフュージョンし、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行い、前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する情報処理方法を実行させてもよい。

以上、本発明の一つまたは複数の態様に係る情報処理システムおよび情報処理方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、認識結果のフュージョンによる物体の認識結果の悪化を抑制することができる情報処理システム、情報処理方法などとして有用である。

１０、１０Ａ、１０Ｂ 情報処理システム
１００ 情報処理装置
１０１ プロセッサ
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１１０ 認識部
１１１ 第１認識部
１１２ 第２認識部
１２０ 第１取得部
１３０ 第２取得部
１４０ 第１判定部
１５０ 第３取得部
１６０、１６０ｂ フュージョン制御部
１７０ 第２判定部
１８０、１８０ａ、１８０ｂ 出力部
２００ 車両
２０１ 第１センサ
２０２ 第２センサ
２０３ 第３センサ
３００ 運転制御装置

Claims (14)

1. 第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、
   前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、
   前記第１認識結果および前記第２認識結果の類似度を判定する第１判定を行う第１判定部と、
   前記第１判定の結果に応じて、前記第１認識結果および前記第２認識結果のフュージョン処理を制御するフュージョン制御部と、
   前記第１判定の結果に応じて、前記第１認識結果と、前記第２認識結果と、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果との少なくとも１つを出力する出力部と、
   を備える情報処理システム。
2. 前記第１認識結果および前記第２認識結果は、物体の位置の認識結果であり、
   前記類似度は、前記物体の位置に関する類似度である
   請求項１に記載の情報処理システム。
3. 前記第１認識結果および前記第２認識結果は、物体の属性の認識結果であり、
   前記類似度は、前記物体の属性の類似度である
   請求項１または２に記載の情報処理システム。
4. 前記第１認識結果および前記第２認識結果は、物体の存在の認識結果であり、
   前記類似度は、前記物体の数の類似度である
   請求項１から３のいずれか１項に記載の情報処理システム。
5. さらに、
   前記第１認識結果の第１評価値と相関がある第１相関情報と、前記第２認識結果の第２評価値と相関がある第２相関情報とを取得する第３取得部を備え、
   前記フュージョン制御部は、前記第１判定の結果と、取得された前記第１相関情報および前記第２相関情報と、に応じて、フュージョン処理を制御する
   請求項１から４のいずれか１項に記載の情報処理システム。
6. 前記第１相関情報および前記第２相関情報のそれぞれは、センシング時の前記第１センサおよび前記第２センサが配置されている空間の環境、センシング時の前記第１センサおよび前記第２センサの状態、並びに前記第１センサおよび前記第２センサの仕様の少なくとも１つである
   請求項５に記載の情報処理システム。
7. さらに、
   前記第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う第２判定部を備え、
   前記出力部は、前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する
   請求項１から６のいずれか１項に記載の情報処理システム。
8. 前記フュージョン制御部は、前記第１認識結果および前記第２認識結果をフュージョン処理するか否かにより、前記フュージョン処理を制御する
   請求項１から７のいずれか１項に記載の情報処理システム。
9. 前記フュージョン制御部は、フュージョン処理するフュージョン処理部へ前記第１認識結果又は前記第２認識結果を入力するか否かにより、前記第１認識結果及び前記第２認識結果をフュージョン処理するか否かを制御する
   請求項８に記載の情報処理システム。
10. 前記フュージョン制御部は、前記第１認識結果および前記第２認識結果のフュージョン処理のパラメータを調整することにより、前記フュージョン処理を制御する
    請求項１から７のいずれか１項に記載の情報処理システム。
11. 第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得する第１取得部と、
    前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得する第２取得部と、
    前記第１認識結果および前記第２認識結果をフュージョン処理するフュージョン処理部と、
    前記第１認識結果および前記第２認識結果がフュージョン処理された第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行う第２判定部と、
    前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する出力部と、
    を備える情報処理システム。
12. さらに、
    前記第１センサからのセンシングデータおよび前記第２センサからのセンシングデータのそれぞれに基づいて物体の認識処理を実行し、前記第１認識結果および前記第２認識結果を出力する認識部を備える
    請求項１から８のいずれか１項に記載の情報処理システム。
13. 第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得し、
    前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得し、
    前記第１認識結果および前記第２認識結果の類似度を判定する第１判定を行い、
    前記第１判定の結果に応じて、前記第１認識結果および前記第２認識結果のフュージョン処理を制御し、
    前記第１判定の結果に応じて、前記第１認識結果と、前記第２認識結果と、前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果との少なくとも１つを出力する
    情報処理方法。
14. 第１センサからのセンシングデータに基づく物体の認識結果である第１認識結果を取得し、
    前記第１センサと異なる第２センサからのセンシングデータに基づく物体の認識結果である第２認識結果を取得し、
    前記第１認識結果および前記第２認識結果をフュージョンし、
    前記第１認識結果および前記第２認識結果がフュージョンされた第３認識結果と、前記第１認識結果および前記第２認識結果のそれぞれとの類似度である第１類似度および第２類似度を判定する第２判定を行い、
    前記第２判定の結果に応じて、前記第１認識結果、前記第２認識結果、および前記第３認識結果の少なくとも１つを出力する
    情報処理方法。

Images