JP2021174135A - 画像認識装置及び画像認識方法 - Google Patents

Abstract

【課題】電力、計算量、メモリ占有量、バス帯域占有量を削減でき、しかも高い認識精度を維持できる画像認識装置を提供する。【解決手段】画像認識装置は、互いに機能が異なる複数の画像センサを接続し、接続した画像センサから出力され撮像視野内の対象物を含む画像信号に基づいて信号処理を行い、それぞれ電源供給の制御が可能な複数の信号処理モジュールと、１つの信号処理モジュールの出力信号による対象物の認識処理、複数の信号処理モジュールそれぞれの出力信号とのフュージョン有りによる対象物の認識処理を選択的に実行する認識処理部と、少なくとも１つの信号処理モジュールに電源を供給して、認識処理部にフュージョン無しによる対象物の認識処理を実行させ、認識処理結果の信頼度を判定し、判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行する制御部とを備える。【選択図】図１

Description

本開示（本技術）は、画像認識装置、及びこの画像認識装置による画像認識方法に関する。

近年、センサで検出された画像内の対象物を認識する技術が知られている。このような対象物の認識技術においては、一般に、ステレオ画像センサやミリ波レーダ、レーザレーダ等を代表とする認識センサが用いられているが、これらの認識センサは、周囲環境によって検出精度にばらつきが生じる。このため、各認識センサで検出した結果を組み合わせて対象物を認識するセンサフュージョンと呼ばれる手法が用いられる（特許文献１）。

特許文献１に開示される手法は、ステレオ画像センサ、ミリ波レーダ、レーザレーダを同時に稼働させ、データを処理し、物体認識を行うものである。

特開2007-310741号公報

しかしながら、特許文献１に開示される手法では、多数のセンサを同時稼働させ、さらにその出力データを同時に処理することにより、電力、計算量、メモリ占有量、バス帯域占有量が増大してしまうことになる。

本開示はこのような事情に鑑みてなされたもので、電力、計算量、メモリ占有量、バス帯域占有量を削減でき、しかも高い認識精度を維持できる画像認識装置及び画像認識方法を提供することを目的とする。

本開示の一態様は、互いに機能が異なる複数の画像センサを接続し、接続した画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行い、それぞれ電源供給の制御が可能な複数の信号処理モジュールと、１つの信号処理モジュールの出力信号による前記対象物の認識処理、前記複数の信号処理モジュールそれぞれの出力信号とのフュージョン有りによる前記対象物の認識処理を選択的に実行する認識処理部と、起動時に、前記複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記認識処理部にフュージョン無しによる前記対象物の認識処理を実行させ、認識処理結果の信頼度を判定し、判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、前記認識処理部に対し前記フュージョン有りによる前記対象物の認識処理の実行・停止を制御する制御部とを備える画像認識装置である。

本開示の他の態様は、それぞれ機能が異なる複数の画像センサを接続し電源供給の制御が可能な複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行うことと、稼働する信号処理モジュールの出力信号に対し他の出力信号とのフュージョン無しにより前記対象物の認識処理を実行することと、認識処理結果の信頼度を判定することと、判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、他の信号処理モジュールの出力信号とのフュージョン有りによる前記対象物の認識処理の実行・停止を制御することと、を含む画像認識方法である。

本開示の第１の実施形態に係る画像認識装置のブロック構成図である。 比較例１における画像認識装置の一例を示すブロック構成図である。 比較例２における画像認識装置の一例を示すブロック構成図である。 本開示の第１の実施形態に係るシステム制御部の制御処理手順を示すフローチャートである。 本開示の第１の実施形態において、ＲＧＢセンサ単体で認識される対象物の画像例を示す図である。 本開示の第１の実施形態において、ｉＴｏＦセンサとＲＧＢセンサとのフュージョン有りにより認識される対象物の画像例を示す図である。 本開示の第２の実施形態に係る画像認識装置のブロック構成図である。

以下において、図面を参照して本開示の実施形態を説明する。以下の説明で参照する図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。但し、図面は模式的なものであり、厚みと平面寸法との関係、各装置や各部材の厚みの比率等は現実のものと異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判定すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
なお、本明細書中に記載される効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

＜第１の実施形態＞
＜画像認識装置の構成＞
本開示の第１の実施形態に係る画像認識装置１Ａは、図１に示すように、ＲＧＢ処理モジュール１０と、ｉ（関接）ＴｏＦ(Time of Flight)処理モジュール２０と、システム制御部３０とを備え、外界状況を検出する画像センサからの信号を処理して対象物を認識する。なお、認識する対象物は、例えば、視野内の顔の有無、顔の位置検出、視野内の人間の関節位置、手のジェスチャー種別などである。

本開示の第１の実施形態において、ＲＧＢセンサ１１、ｉＴｏＦ方式の測距センサ２１（以下、ｉＴｏＦセンサ２１と称する）の異なる検出特性を有する２種類の画像センサを用いて、各画像センサの出力に基づいて認識される対象物の情報を統合（フュージョン）して高精度に対象物を認識する例について説明する。

ＲＧＢ処理モジュール１０は、ＲＧＢセンサ１１の他に、ＲＧＢ現像処理部１２と、ＲＧＢ前処理部１３と、ＤＮＮ（Deep Neural Network）認識処理部１４と、電源１５とを備えている。ＲＧＢセンサ１１、ＲＧＢ現像処理部１２、ＲＧＢ前処理部１３は、１つの信号処理モジュールを構成する。ＲＧＢセンサ１１は、所定の撮像視野から受光した光量に応じて電荷を生成及び蓄積し、その電荷の蓄積量に応じて例えば毎秒３０フレームの撮像視野の画像信号を生成し、出力する。ＲＧＢ現像処理部１２は、ＲＧＢセンサ１１から出力された画像信号に基づき対象物を特定する特徴量を求める。この特徴量としては、対象物の位置座標値が求められる。

ＲＧＢ前処理部１３は、ＲＧＢ現像処理部１２から出力される特徴量に基づいて、画像のリサイズ等の前処理を実行する。ＲＧＢ前処理部１３で処理された対象物の情報は、ＤＮＮ認識処理部１４に出力される。ＤＮＮ認識処理部１４は、ＲＧＢ前処理部１３の出力に対し、ｉＴｏＦ処理モジュール２０の出力とのフュージョン無しにより対象物のＤＮＮによる認識処理、及びｉＴｏＦ処理モジュール２０の出力とのフュージョン有りによる認識処理を選択的に実行し、画像信号の明度または天候に基づいて、認識処理結果の信頼度スコア（例えば、０〜１の範囲）を算出する。そして、ＤＮＮ認識処理部１４は、認識処理結果及び認識処理結果の信頼度スコアをシステム制御部３０に出力する。

システム制御部３０は、入力される認識処理結果の信頼度スコアを判断し、判断結果に基づいて、ｉＴｏＦ処理モジュール２０に対する電源供給制御を実行する。電源１５は、ＲＧＢセンサ１１、ＲＧＢ現像処理部１２、ＲＧＢ前処理部１３に電力を供給する。

一方、ｉＴｏＦ処理モジュール２０は、ｉＴｏＦセンサ２１の他に、ｉＴｏＦ現像処理部２２と、ｉＴｏＦ前処理部２３と、電源２４とを備えている。ｉＴｏＦセンサ２１は、光を照射し、対象物で反射された光を受光し、受光した光量に応じて電荷を生成及び蓄積し、その電荷の蓄積量に応じて例えば毎秒３０フレームの撮像視野の画像信号を生成し、出力する。ｉＴｏＦ現像処理部２２は、ｉＴｏＦセンサ２１から出力された画像信号に基づき対象物を特定する特徴量を求める。この特徴量としては、例えば、蓄積された電荷量に応じた位相信号に基づき、対象物までの距離座標値が求められる。

ｉＴｏＦ前処理部２３は、ｉＴｏＦ現像処理部２２から出力される特徴量に基づいて、画像のリサイズ、視差補正等の前処理を実行する。ここでは、ｉＴｏＦ前処理部２３は、ｉＴｏＦ現像処理部２２の出力信号をＲＧＢ前処理部１３の出力信号相当の信号に変換する。ｉＴｏＦ前処理部２３の出力信号は、ＤＮＮ認識処理部１４に出力される。電源２４は、ｉＴｏＦセンサ２１、ｉＴｏＦ現像処理部２２、ｉＴｏＦ前処理部２３に電力を供給する。
システム制御部３０は、ＤＮＮ認識処理部１４からの制御信号に基づいて、電源１５，２４のオン・オフ制御を行うものである。

＜比較例１＞
図２は、比較例１における画像認識装置の一例を示すブロック構成図である。図２において、上記図１と同一部分には、同一符号を付して詳細な説明を省略する。

比較例１では、ＲＧＢセンサ１１のみを用いて対象物を認識する例である。ＤＮＮ処理部Ａ１４１は、ＲＧＢ前処理部１３の出力に対し、対象物のＤＮＮによる認識処理を実行する。ＤＮＮ処理部Ｂ４２は、ＤＮＮ処理部Ａ１４１から出力される認識処理結果の信頼度を算出する。
ところで、ＲＧＢセンサ１１では、可視光により撮像視野の画像信号を生成するため、天候や周辺の明るさにより、対象物を認識できない場合がある。

＜比較例２＞
図３は、比較例２における画像認識装置の一例を示すブロック構成図である。図３において、上記図１及び図２と同一部分には、同一符号を付して詳細な説明を省略する。

比較例２では、ＲＧＢセンサ１１の出力及びｉＴｏＦセンサ２１の出力をフュージョンして対象物を認識する例である。ＤＮＮ処理部Ａ２４３は、ｉＴｏＦ前処理部２３の出力に対し、対象物のＤＮＮによる認識処理を実行する。ＤＮＮ処理部Ｃ４４は、ＤＮＮ処理部Ａ１４１から出力される認識処理結果と、ＤＮＮ処理部Ａ２４３から出力される認証処理結果とをフュージョンして出力する。
ところで、比較例２では、ｉＴｏＦセンサ２１、ｉＴｏＦ現像処理部２２、ｉＴｏＦ前処理部２３及びＤＮＮ処理部Ａ２４３の分だけ、電力、演算処理量、メモリ占有量及びバス帯域占有量が多くなる。

＜第１の実施形態による対策＞
そこで、本開示の第１の実施形態では、システム制御部３０により図４に示す制御処理手順を実行する。システム制御部３０は、起動時に、電源１５をオンにし、ＤＮＮ認識処理部１４に対し、ＲＧＢ前処理部１３の出力のみによるフュージョン無しのＤＮＮによる認識処理を実行させ（ステップＳＴ４ａ）、入力される認識処理結果の信頼度スコアのうち中間的な信頼度スコア（例えば、０．３〜０．７）の検出を行い（ステップＳＴ４ｂ）、検出ありか否かの判断を行う（ステップＳＴ４ｃ）。ここで、中間的な信頼度スコアは、図５に示す対象物５１がＲＧＢセンサ１１で認識される値である。ＲＧＢセンサ１１は、天候５２に影響され、対象物５１を認識する精度が低くなる。なお、信頼度スコアが０．３未満であれば、対象物５１ではない誤検出であると確信できる。

検出なしと判断した場合（Ｎｏ）、システム制御部３０は、ＤＮＮ認識処理部１４に対し、フュージョン無しの認識処理を継続させ（ステップＳＴ４ｄ）、上記ステップＳＴ４ｂの処理に移行する。

一方、検出ありと判断した場合（Ｙｅｓ）、システム制御部３０は、ｉＴｏＦ処理モジュール２０の電源２４をオンにし、ＤＮＮ認識処理部１４に対し、ＲＧＢ前処理部１３の出力とｉＴｏＦ前処理部２３の出力とのフュージョン有りの認識処理を実行させ（ステップＳＴ４ｅ）、処理フレーム数をカウントする（ステップＳＴ４ｆ）。ｉＴｏＦセンサ２１は、対象物５１に対し光を照射するため、図６に示すように、天候５２に影響されることなく、対象物５１を確実に認識できる。

そして、システム制御部３０は、カウントした処理フレーム数が例えば１０００フレームに達したか否かの判断を行う（ステップＳＴ４ｇ）。ここで、１０００フレームに達していなければ（Ｎｏ）、システム制御部３０は１０００フレームに達するまで上記ステップＳＴ４ｅ及び上記ステップＳＴ４ｆの処理を繰り返し実行し、１０００フレームに達した時点で（Ｙｅｓ）、上記ステップＳＴ４ａの処理に移行し、ｉＴｏＦ処理モジュール２０の電源２４をオフにし、ＤＮＮ認識処理部１４に対し、フュージョン無しの認識処理を実行させる。

＜第１の実施形態による作用効果＞
以上のように第１の実施形態によれば、画像センサの中で最も低消費電力のＲＧＢセンサ１１を接続したＲＧＢ処理モジュール１０の電源１５をオンにして、ＤＮＮ認識処理部１４にてＲＧＢ前処理部１３の出力信号に対しフュージョン無しにより対象物の認識処理を実行し、システム制御部３０にて認識処理結果の信頼度を判断し、結果的に信頼度が高ければフュージョン無しで認識処理を続行し、信頼度が低い結果しか得られない場合にはｉＴｏＦ処理モジュール２０の出力信号とのフュージョン有りで認識処理を実行する。
従って、ＲＧＢセンサ１１のみで信頼度の高い認識結果が得られる条件下であれば、電力、計算量、メモリ占有量、バス帯域占有量を削減できる。一方、ＲＧＢセンサ１１のみでは不利な条件の場合、自動的にｉＴｏＦ処理モジュール２０が併用されて、高い認識精度が維持される。

また、第１の実施形態によれば、ＤＮＮ認識処理部１４によるフュージョン有りの認識処理の実行に先立って、フュージョンするＲＧＢ前処理部１３の出力信号とｉＴｏＦ前処理部２３の出力信号とを略一致させることができるので、簡単な手順によりフュージョン有りによる認識処理を実行できる。

また、第１の実施形態によれば、フュージョン有りによる認証処理の実行制御時に、フュージョン有りによる認証処理を所定フレーム数繰り返し、所定フレーム数に達した時点で、フュージョン無しによる認証処理の実行制御に戻すことで、条件が変わり、再びフュージョンが不要になる可能性を低頻度でチェックでき、これにより信頼度が低かった状態が一時的なものでその後正常に戻った場合に、自動的にフュージョン無しによる認証処理の実行制御に戻すことができるので、システム全体として消費電力を削減できる。

さらに、第１の実施形態によれば、ＤＮＮ認識処理部１４によりＲＧＢセンサ１１から得られる画像信号の明度、天候に基づいて、認識処理結果の信頼度を算出し、システム制御部３０により信頼度が決められた範囲に入らないと判断したきに、ＤＮＮ認識処理部１４に対するフュージョン無しによる認証処理の実行制御を行うことで、信頼度が範囲外で高いときに、単体のＲＧＢセンサ１１でも確実に対象物を認識でき、信頼度が範囲外で低いときに、対象物ではない誤検出と確信できる。

なお、第１の実施形態では、信頼度スコアを算出するために、画像信号の明度または天候を用いる例について説明したが、ＲＧＢセンサ１１のレンズの汚れなどを用いるようにしてもよい。また、フュージョン有りによる認識処理からフュージョン無しによる認識処理に戻すための条件として、画像信号の処理フレーム数を用いる例について説明したが、例えば、時間、外部からの信号を用いるようにしてもよい。さらに、ＤＮＮ以外に、Ａｄａｂｏｏｓｔにより信頼度スコアを算出することができる。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、第１の実施形態の変形であり、ＲＧＢ処理モジュール１０と、ｄ（直接）ＴｏＦ処理モジュール６０と、システム制御部３０とを備え、外界状況を検出する画像センサからの信号を処理して対象物を認識する。

図７は、第２の実施形態に係る画像認識装置１Ｂを示すブロック構成図である。図７において、上記図１と同一部分には、同一符号を付して詳細な説明を省略する。
ｄＴｏＦ処理モジュール６０は、ｄＴｏＦ方式の測距センサ６１（以下、ｄＴｏＦセンサ６１と称する）と、ｄＴｏＦ現像処理部６２と、ｄＴｏＦ前処理部６３と、電源６４とを備えている。ｄＴｏＦセンサ６１は、単一のパルス光を発光し、発光に対する反射光（フォトン）を検出する。このｄＴｏＦセンサ６１は、ライン状に配置された画素列ごとにフォトンを読み出すことにより、画素ごとに距離情報を持った撮像フレームの画像信号を出力する。

ｄＴｏＦ現像処理部６２は、ｄＴｏＦセンサ６１から出力された画像信号に基づき対象物を特定する特徴量を求める。この特徴量としては、対象物までの距離座標値が求められる。

ｄＴｏＦ前処理部６３は、ｄＴｏＦ現像処理部６２から出力される特徴量に基づいて、画像のリサイズ、視差補正等の前処理を実行する。ここでは、ｄＴｏＦ前処理部６３は、ｄＴｏＦ現像処理部６２の出力信号をＲＧＢ前処理部１３の出力信号相当の信号に変換する。ｄＴｏＦ前処理部６３の出力信号は、ＤＮＮ認識処理部１４に出力される。電源６４は、ｄＴｏＦセンサ６１、ｄＴｏＦ現像処理部６２、ｄＴｏＦ前処理部６３に電力を供給する。
ｄＴｏＦセンサ６１は、ｉＴｏＦセンサ２１と同様に、対象物に対し単一のパルス光を照射するため、天候に影響されることなく、対象物を確実に認識できる。

＜第２の実施形態による作用効果＞
以上のように第２の実施形態であっても、上記第１の実施形態と同様の作用効果が得られる。

＜その他の実施形態＞
上記のように、本技術は第１の実施形態及び第２の実施形態によって記載したが、この開示の一部をなす論述及び図面は本技術を限定するものであると理解すべきではない。上記の実施形態が開示する技術内容の趣旨を理解すれば、当業者には様々な代替実施形態、実施例及び運用技術が本技術に含まれ得ることが明らかとなろう。また、第１の実施形態及び第２の実施形態がそれぞれ開示する構成を、矛盾の生じない範囲で適宜組み合わせることができる。例えば、複数の異なる実施形態がそれぞれ開示する構成を組み合わせてもよく、同一の実施形態の複数の異なる変形例がそれぞれ開示する構成を組み合わせてもよい。

＜他への応用例＞
本開示に係る技術は、例えば、病室内で患者を診る場合や、駅、警備室等に適用される。病室内に設置された画像認識装置で患者が認識された場合、この認識結果が病室から監視室に送信される。

なお、本開示は以下のような構成も取ることができる。
（１）
互いに機能が異なる複数の画像センサを接続し、接続した画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行い、それぞれ電源供給の制御が可能な複数の信号処理モジュールと、
１つの信号処理モジュールの出力信号による前記対象物の認識処理、前記複数の信号処理モジュールそれぞれの出力信号とのフュージョン有りによる前記対象物の認識処理を選択的に実行する認識処理部と、
起動時に、前記複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記認識処理部にフュージョン無しによる前記対象物の認識処理を実行させ、認識処理結果の信頼度を判定し、判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、前記認識処理部に対し前記フュージョン有りによる前記対象物の認識処理の実行・停止を制御する制御部と
を備える画像認識装置。
（２）
前記複数の信号処理モジュールは、
１つの画像センサが接続される第１の信号処理モジュールと、
他の画像センサが接続され、当該画像センサから出力される画像信号を前記第１の信号処理モジュールの出力信号相当の信号に変換する第２の信号処理モジュールと
を備える前記（１）に記載の画像認識装置。
（３）
前記制御部は、前記フュージョン有りによる認証処理の実行制御時に、予め決められた条件に基づいて、前記認識処理部に対し前記フュージョン無しによる認証処理の実行制御に戻す
前記（１）または（２）に記載の画像認識装置。
（４）
前記制御部は、前記条件として、前記認識処理部において、前記複数の信号処理モジュールからそれぞれ出力される複数フレームの画像信号に対し、前記フュージョン有りによる認証処理を所定フレーム数繰り返し実行し、所定フレーム数に達した時点で、前記フュージョン無しによる認証処理の実行制御に戻す
前記（３）に記載の画像認識装置。
（５）
前記認識処理部は、少なくとも前記画像センサから得られる画像信号の明度、天候、前記画像センサの汚れのいずれかに基づいて、前記認識処理結果の信頼度を算出し、
前記制御部は、前記信頼度が決められた範囲に入らないときに、前記フュージョン無しによる認証処理の実行制御を行う
前記（１）から（４）のいずれか１に記載の画像認識装置。
（６）
前記複数の画像センサのうち少なくとも１つは、ＲＧＢセンサであり、他の画像センサは、間接ＴｏＦ(Time of Flight)方式の測距センサである
前記（１）から（５）のいずれか１に記載の画像認識装置。
（７）
前記複数の画像センサのうち少なくとも１つは、ＲＧＢセンサであり、他の画像センサは、直接ＴｏＦ(Time of Flight)方式の測距センサである
前記（１）から（５）のいずれか１に記載の画像認識装置。
（８）
前記制御部は、前記ＲＧＢセンサを接続した信号処理モジュールに電源を供給して、稼働する信号処理モジュールの出力信号に対し前記フュージョン無しにより前記対象物の認識処理を実行する
前記（６）または（７）に記載の画像認識装置。
（９）
それぞれ機能が異なる複数の画像センサを接続し電源供給の制御が可能な複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行うことと、
稼働する信号処理モジュールの出力信号に対し他の出力信号とのフュージョン無しにより前記対象物の認識処理を実行することと、
認識処理結果の信頼度を判定することと、
判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、他の信号処理モジュールの出力信号とのフュージョン有りによる前記対象物の認識処理の実行・停止を制御することと、を含む
画像認識方法。

１Ａ，１Ｂ…画像認識装置、１０…ＲＧＢ処理モジュール、１１…ＲＧＢセンサ、１２…ＲＧＢ現像処理部、１３…ＲＧＢ前処理部、１４…ＤＮＮ認識処理部、１５，２４，６４…電源、２０…ｉＴｏＦ処理モジュール、２１…ｉＴｏＦセンサ、２２…ｉＴｏＦ現像処理部、２３…ｉＴｏＦ前処理部、３０…システム制御部、５１…対象物、５２…天候、６０…ｄＴｏＦ処理モジュール、６１…ｄＴｏＦセンサ、６２…ｄＴｏＦ現像処理部、６３…ｄＴｏＦ前処理部。

Claims (9)

1. 互いに機能が異なる複数の画像センサを接続し、接続した画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行い、それぞれ電源供給の制御が可能な複数の信号処理モジュールと、
   １つの信号処理モジュールの出力信号による前記対象物の認識処理、前記複数の信号処理モジュールそれぞれの出力信号とのフュージョン有りによる前記対象物の認識処理を選択的に実行する認識処理部と、
   起動時に、前記複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記認識処理部にフュージョン無しによる前記対象物の認識処理を実行させ、認識処理結果の信頼度を判定し、判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、前記認識処理部に対し前記フュージョン有りによる前記対象物の認識処理の実行・停止を制御する制御部と
   を備える画像認識装置。
2. 前記複数の信号処理モジュールは、
   １つの画像センサが接続される第１の信号処理モジュールと、
   他の画像センサが接続され、当該画像センサから出力される画像信号を前記第１の信号処理モジュールの出力信号相当の信号に変換する第２の信号処理モジュールと
   を備える請求項１に記載の画像認識装置。
3. 前記制御部は、前記フュージョン有りによる認証処理の実行制御時に、予め決められた条件に基づいて、前記認識処理部に対し前記フュージョン無しによる認証処理の実行制御に戻す
   請求項１または２に記載の画像認識装置。
4. 前記制御部は、前記条件として、前記認識処理部において、前記複数の信号処理モジュールからそれぞれ出力される複数フレームの画像信号に対し、前記フュージョン有りによる認証処理を所定フレーム数繰り返し実行し、所定フレーム数に達した時点で、前記フュージョン無しによる認証処理の実行制御に戻す
   請求項３に記載の画像認識装置。
5. 前記認識処理部は、少なくとも前記画像センサから得られる画像信号の明度、天候、前記画像センサの汚れのいずれかに基づいて、前記認識処理結果の信頼度を算出し、
   前記制御部は、前記信頼度が決められた範囲に入らないときに、前記フュージョン無しによる認証処理の実行制御を行う
   請求項１から４のいずれか１項に記載の画像認識装置。
6. 前記複数の画像センサのうち少なくとも１つは、ＲＧＢセンサであり、他の画像センサは、間接ＴｏＦ(Time of Flight)方式の測距センサである
   請求項１から５のいずれか１項に記載の画像認識装置。
7. 前記複数の画像センサのうち少なくとも１つは、ＲＧＢセンサであり、他の画像センサは、直接ＴｏＦ(Time of Flight)方式の測距センサである
   請求項１から５のいずれか１項に記載の画像認識装置。
8. 前記制御部は、前記ＲＧＢセンサを接続した信号処理モジュールに電源を供給して、稼働する信号処理モジュールの出力信号に対し前記フュージョン無しにより前記対象物の認識処理を実行する
   請求項６または７に記載の画像認識装置。
9. それぞれ機能が異なる複数の画像センサを接続し電源供給の制御が可能な複数の信号処理モジュールのうち少なくとも１つの信号処理モジュールに電源を供給して、前記画像センサから出力され所定の撮像視野内の対象物を含む画像信号に基づいて信号処理を行うことと、
   稼働する信号処理モジュールの出力信号に対し他の出力信号とのフュージョン無しにより前記対象物の認識処理を実行することと、
   認識処理結果の信頼度を判定することと、
   判定結果に基づいて、他の信号処理モジュールの電源供給制御を実行することで、他の信号処理モジュールの出力信号とのフュージョン有りによる前記対象物の認識処理の実行・停止を制御することと、を含む
   画像認識方法。

Images