JP2020201875A - 画像処理装置 - Google Patents

Abstract

【課題】画像データを画像処理部の複数の認識アルゴリズムにより画像処理を行う構成において、画像処理部の使用効率を高める。【解決手段】画像処理装置は、テスト画像データ１６を画像処理部に与えた場合の複数の認識アルゴリズムによる認識結果と、予め記憶されている原本の認識結果とが異なっていたときは画像処理部が故障していると診断する。これにより、複数の認識アルゴリズムを同時に診断することができ、画像処理部３の使用効率を高めることができる。【選択図】図５

Description

本発明は画像処理装置に関する。

画像処理装置として、電子回路により認識アルゴリズムが形成された画像処理部を有し、その画像処理部により画像処理を行うものが供されているが、画像処理部の電子回路が故障した場合は、認識アルゴリズムによる画像処理を正しく行うことができなくなる。

特開２０１６−８５７２１号公報

特許文献１では、認識アルゴリズムに対応するテスト画像を時分割で認識アルゴリズムに入力し、その認識結果である画像処理結果を当初の期待値と比較することにより故障を特定することを提案している。
しかしながら、画像処理部は、複数の認識アルゴリズムにより画像認識を時分割して行うように構成されているので、故障診断する場合は、認識アルゴリズムにより画像認識を時分割で行う毎に、当該認識アルゴリズムに対応するテスト画像を時分割で変更して与える必要がある。このため、故障診断に要する時間が長くなるので、画像処理部の使用効率が悪いという問題がある。

本発明は上記事情に鑑みてなされたもので、その目的は、画像データを画像処理部の複数の認識アルゴリズムにより画像処理を行う構成において、画像処理部の使用効率を高めることができる画像処理装置を提供することにある。

請求項１の発明によれば、テスト画像データ（１６）は複数の認識アルゴリズムが認識可能な特徴パターンを含んで構成されているので、故障診断部（１２）が記憶部（１３）に記憶されたテスト画像データ（１６）を画像処理部（３）に与えると、認識アルゴリズムによる認識結果がテスト画像処理結果部（２１）に格納される。

故障診断部（１２）は、テスト画像データ（１６）を画像処理部（３）に与えた場合の認識結果と、記憶部（１３）に記憶されている期待値データ（１７）とが異なっていたときは画像処理部（３）が故障していると診断する。これにより、複数の認識アルゴリズムを同時に診断することができるので、画像処理部（３）の使用効率を高めることができる。

一実施形態における全体構成を示す機能ブロック図 ニューラルネットワークを概略的に示す図 ニューラルネットワークによる認識率を示す図 演算ブロックを示すブロック図 画像認識の処理動作を示すタイミング図

一実施形態について図面を参照して説明する。
図１に示すカメラ１（撮影部に相当）は図示しない車両のフロントガラスに設置されており、車両の前方を撮影する。このカメラ１は、車両の前方を撮影して画像データを画像処理装置２に出力する。

画像処理装置２は、カメラ１から入力した画像データに所定の認識対象物が含まれているかを認識する画像処理を実行する。画像処理装置２は、画像処理部３とマイクロコンピュータ４とから構成されている。
画像処理部３は半導体集積回路から構成されており、カメラ１から入力した画像データに所定の認識対象物が含まれているかを画像認識する複数の認識アルゴリズムを形成している。画像認識は、カメラ１からの画像データのフレームレートと同一周期で行われる。

認識アルゴリズムはニューラルネットワーク５により形成されており、所定の認識対象物が有する特徴パターンの認識率が高くなるように設計されている。つまり、検出対象物は車両の前方に位置する車両や人や道路標識等であることから、それらが有する特徴パターンを認識するのに適した認識アルゴリズムとなるように設計されている。

ニューラルネットワーク５について簡単に説明する。
図２に示すようにニューラルネットワーク５は複数の認識アルゴリズムによる画像認識を並列処理可能であり、代表的には入力層６と中間層７と出力層８とから構成されている。入力層６にはカメラ１からの画像データが入力される。中間層７は、畳み込み層とプーリング層とを組み合わして構成されている。出力層８は、認識結果として認識対象物の認識率を出力する。

中間層７は、図４に示すように半導体集積回路からなる演算ブロック９（電子回路に相当）から構成されている。演算ブロック９は、畳み込み演算回路１０とプーリング処理回路１１とを連結して構成されている。畳み込み演算回路１０及びプーリング処理回路１１は、中間層７の深さ度に応じて複数連結される。

畳み込み演算回路１０は畳込み層として機能し、１演算サイクルごとに、１回分のプーリング処理に必要な畳み込み演算結果データをプーリング処理回路１１に出力する。
プーリング処理回路１１はプーリング層として機能し、畳み込み演算回路１０から畳み込み演算結果を入力して周知のプーリング演算を実行して出力する。この場合、例えば畳み込み演算回路１０による畳み込み演算結果データのうち最も値が大きいデータがプーリング演算結果として出力される。

マイクロコンピュータ４は、ＣＰＵ１２、ＲＯＭ１３（記憶部に相当）、ＲＡＭ１４等を備えて構成されている。
ＲＯＭ１３には、ＲＡＭ１４に展開される原本となるテスト画像データ１６、及びテスト画像データ１６に対応する期待値の原本となる期待値データ１７が記憶されている。この期待値データ１７は、テスト画像データ１６に対して画像処理部３による画像処理を施したときの正常な認識率を示す情報である。テスト画像データ１６は、各認識アルゴリズムが認識する全ての特徴パターンを含んで形成されている。ＲＯＭ１３に記憶されているテスト画像データ１６及び期待値データ１７は、画像処理装置２の起動時にＲＯＭ１３からＲＡＭ１４に転送される。

ＲＡＭ１４には、画像処理部３の故障診断に用いられるテスト画像データ１６の画像データが格納されるテスト画像付与部１８、テスト画像データ１６に対応する期待値データ１７が格納される期待値格納部１９が設けられている。また、カメラ１からの画像データに対して画像処理部３の画像処理による認識率が格納される画像処理結果部２０、テスト画像データ１６に対して画像処理部３の画像処理による認識率が格納されるテスト画像処理結果部２１が設けられている。

ＣＰＵ１２は、非遷移的実体的記録媒体に記録されたプログラムを実行することにより実現される故障診断部１２ａ及び出力制御部１２ｂとしての機能を備える。故障診断部１２ａは、ＲＡＭ１４に展開されているテスト画像データ１６を用いて、画像処理部３に画像処理を実行させる。故障診断部１２ａは、テスト画像データ１６に対する認識率とテスト画像データ１６に対応する期待値データ１７とを比較し、画像処理部３の故障の有無を診断する。さらに故障診断部１２ａは、画像処理部３がカメラ１から入力する画像データに対して行う画像処理と並行して、周期的にテスト画像データ１６を用いる故障診断を行う。

出力制御部１２ｂは、故障診断部１２ａによる診断結果に基づいて、画像データの認識率に関する出力制御を行う。具体的には、出力制御部１２ｂは、故障診断部１２ａによる診断結果が正常を示す場合、そのとき画像処理された処理結果を有効なものとして出力する。出力制御部１２ｂから有効として出力された処理結果は、車両制御装置１５に出力され、車両の運転者に対する情報提示や走行安全に係る車両制御に用いられる。一方、故障診断部１２ａによる診断結果が故障を示す場合、車両制御装置１５に対してフェイルセーフ制御を実行する。

画像処理装置２が実行する一連の処理手順について説明する。画像処理部３は、カメラ１からの画像データに対して、特徴パターンを認識する画像処理を行い、画像データに対する認識率をＲＡＭ１４の画像処理結果部２０に格納する。

故障診断部１２ａは、画像処理が終了し、その認識率が出力される前までの間に、ＲＡＭ１４のテスト画像付与部１８に展開されているテスト画像データ１６を用いて、画像処理部３にテスト画像データ１６について画像処理を実行させる。画像処理部３は、テスト画像データ１６に対する認識率をＲＡＭ１４のテスト画像処理結果部２１に格納する。

ＣＰＵ１２が形成する故障診断部１２ａは、テスト画像処理結果部２１に格納されたテスト画像データ１６に対する認識率と、予め期待値格納部１９に展開されているテスト画像データ１６に対応する期待値データ１７とを比較し、両者の一致性に基づいて画像処理結果が正常か否か判断する。ここでは、テスト画像データ１６に対する認識率と、当該テスト画像データ１６に対応する期待値データ１７とが所定の一致基準を満たす場合、正常と判断し、一致基準を満たさない場合、画像処理部３が故障していると診断する。

一方、故障診断部１２ａの処理と並行して、画像処理部３により画像データに対して画像処理結果に基づく各種演算処理が実行される。この場合、故障診断部１２ａの処理が優先されることから、故障診断部１２ａによる処理が終了したタイミングで各種演算処理が実行される。

出力制御部１２ｂは、故障診断部１２ａの判断結果により正常と判断した場合、今回の画像に関する処理結果を、有効な処理結果として出力する。また、画像処理部３による画像処理に関する機能が使用可能であることを表す通知情報を、車両制御装置１５を介して運転者に報知する。

出力制御部１２ｂは、故障診断部１２ａの判断結果により故障と判断した場合、故障が検知された事象が規定回数連続していない場合、車両制御装置１５に対してフェイルセーフ制御を実行する。具体的には、出力制御部１２ｂは、今回の画像に関する処理結果を出力せず破棄する。また、出力制御部１２ｂは、画像処理部３の画像処理に関する機能が使用不能であることを表す通知情報を、車両制御装置１５を介して運転者に報知する。

出力制御部１２ｂは、故障が検知された事象が規定回数連続した場合は、画像処理部３に関する修復動作を実行する。具体的には、出力制御部１２ｂは、ＲＯＭ１３からテスト画像データ１６をＲＡＭ１４のテスト画像付与部１８に再転送することでテスト画像データ１６をリセットする。

ところで、演算ブロック９を形成する電子回路、例えばトランジスタが故障した場合は、ニューラルネットワーク５による画像認識結果が当初の画像認識結果から変動する。このため、カメラ１からの画像データに基づいて特徴パターンの認識を正しく行うことができなくなる。

このような演算ブロック９の故障を診断する場合、認識アルゴリズムにテスト画像データ１６を与え、その認識結果が正常時から変動するか否かで判断することができる。具体的には、認識アルゴリズムが、例えば図２３に示すように丸パターンや四角パターンや三角パターンを認識するように設計されている場合は、各認識アルゴリズムは、丸パターンや四角パターンや三角パターンの認識率が高くなるように設計されている。この場合、丸パターン、四角パターン、三角パターンをそれぞれ認識するのに最適化された認識アルゴリズムを時分割で動作させることになる。

即ち、テスト画像データ１６として、丸パターンや四角パターンや三角パターンをニューラルネットワーク５に時分割で与える。丸パターンをニューラルネットワーク５に与えた場合の認識結果が丸パターンと異なる場合は丸パターンの認識アルゴリズムを実行するための電子回路が故障したと判断することができる。同様に、四角パターンや三角パターンをニューラルネットワーク５に与えた場合の演算結果が正常時の認識結果と異なる場合は四角パターンや三角パターンの認識アルゴリズムを実行するための演算回路が故障したと判断することができる。

しかしながら、このような時分割によるテスト画像データ１６の画像処理はカメラ１から画像データを入力して画像処理する毎に行う必要があるので、全ての認識アルゴリズムを検査するのに時間を要する。このため、画像処理装置２がテスト画像データ１６の画像処理のために時間を取られてしまい、本来の画像処理に支障を生じることが予測される。

このような事情から、本実施形態では、画像処理装置２は故障診断時に１枚のテスト画像データ１６でニューラルネットワーク５の画像認識機能が正常か否かを判断するように構成されている。このテスト画像データ１６は、全ての認識対象物の特徴パターンを含むように設定されている。

例えば単純な例として、検出対象物が丸パターンや四角パターンや三角パターンである場合は、各認識アルゴリズムは、丸パターンや四角パターンや三角パターンの認識率が高くなるように設計されている。ここで、二重丸パターンは丸パターンや四角パターンや三角パターンの全ての特徴パターンを含んでいる。したがって、二重丸パターンを各認識アルゴリズムにより画像認識した場合、丸パターンは二重丸パターンに特徴パターンが最も類似していることから、丸パターンを認識する認識アルゴリズムが丸パターンを認識する認識率は最も高い。

四角パターンは二重丸パターンに特徴パターンが類似していないものの、環状という特徴パターンは同一であることから、四角パターンの認識アルゴリズムが四角パターンを認識する認識率は比較的高い。三角パターンは二重丸パターンに特徴パターンが最も類似していないが、四角パターンと同様に環状という特徴パターンでは同一であることから、三角パターンの認識アルゴリズムが三角パターンを認識する認識率は最も低い。

即ち、二重丸パターンをテスト画像データ１６として各認識アルゴリズムに与えた場合は、全ての認識アルゴリズムにより認識されるもののその認識率は異なることから、その認識結果の正常時からの変動を検出することで演算ブロック９が故障したか否かを判定することができる。

現実的には、検出対象物は車両や人や道路標識等であることから、それらの特徴パターンを含んだテスト画像データ１６を作成することになる。テスト画像データ１６は認識アルゴリズムに依存し、認識アルゴリズムを変更した場合は、変更した認識アルゴリズムに対応したテスト画像データ１６を作成する必要がある。

認識動作としては、テスト画像データ１６を認識アルゴリズムにより認識させることで故障検出を実行する。この場合、上述したように全ての認識アルゴリズムにより同時に診断することができるので、図５に示すように画像データを認識アルゴリズムにより認識するまでの間に空き時間が発生することになる。これにより、空き時間を使用して演算処理を実行することが可能となる。

このような実施形態によれば、次のような効果を奏することができる。
画像処理装置２は、テスト画像データ１６を画像処理部３に与えた場合の複数の認識アルゴリズムによる認識結果と、予め記憶されている原本の認識結果とが異なっていたときは画像処理部３が故障していると診断するので、複数の認識アルゴリズムを同時に診断することができ、画像処理部３の使用効率を高めることができる。
画像処理部３はニューラルネットワーク５から形成されているので、ニューラルネットワーク５を形成する電子回路の故障を同時に検出することが可能となる。

（他の実施形態）
カメラ１により運転者を撮影して運転者の状態を監視するＤＳＭ（ドライバーステータスモニタ）に適用するようにしても良い。この場合、認識アルゴリズムによりサングラスやマスクを認識する場合は、サングラスやマスクの特徴パターンを含んだテスト画像データ１６を作成する。

カメラとしてステレオカメラを用いるようにしても良い。この場合、ステレオカメラからの画像データにより認識対象物までの距離を測定し、その測定距離に応じて画像処理する場合は、両方のカメラの視角を考慮してテスト画像を作成する。
カメラからカラー画像データが出力される場合は、ニューラルネットワーク５を構成する各層６〜８として各色に対応した層を設ければ良い。

本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

図面中、１はカメラ（撮影部）、３は画像処理部、８は演算ブロック（電子回路）、１２ａは故障診断部、１３はＲＯＭ（記憶部）

Claims (7)

1. 画像データを出力する撮影部（１）と、
   前記画像データに含まれる所定の認識対象物を画像認識するのに適した複数の認識アルゴリズムを電子回路により形成した画像処理部（３）と、
   前記認識対象物が有する特徴パターンを含んだテスト画像データ（１６）を前記画像処理部に与えた場合の認識結果と、前記テスト画像データを前記認識アルゴリズムに与えた場合の認識結果である期待値データ（１７）とが異なっていた場合は前記画像処理部は故障していると診断する故障診断部（１２ａ）と、
   を備えた画像処理装置。
2. 前記テスト画像データと前記期待値データとを記憶した記憶部（１３）を備えた請求項１に記載の画像処理装置。
3. 前記認識アルゴリズムは、ニューラルネットワーク（５）により形成されている請求項１または２に記載の画像処理装置。
4. 前記ニューラルネットワークは、畳み込み層とプーリング層とを組み合わせて構成されている請求項３に記載の画像処理装置。
5. 前記認識結果は、認識率で示される請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記認識対象物は、車両の周囲に位置する障害物である請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記認識対象物は、車両の乗員である請求項１から５のいずれか一項に記載の画像処理装置。

Images