JP2019004361A - 信号処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単かつ高精度に故障検出を行うことができるようにする。【解決手段】信号処理装置は、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、有効データ、および有効データに付加されたテストデータに対して、複数のパスにより所定の処理を施す信号処理部とを備える。本技術は車載用のカメラに適用することができる。【選択図】図１

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度に故障検出を行うことができるようにした信号処理装置および方法、並びにプログラムに関する。

従来、自動車の安全機能などの自動車の制御に関する各種の機能を実現するために、自動車の周囲の画像を撮影する車載用途のカメラが利用されている。

このような車載用途のカメラは、ISO（International Organization for Standardization）26262の開発プロセスに沿って開発する必要があり、障害発生による故障のリスクを抑制するために安全機構の配置が必要となる。

安全機構は、意図機能、つまりカメラ等の基本機能に合わせて配置する必要があり、例えば車載用途のカメラ内の信号処理回路の故障の検出については、ランタイムでの検出が望まれている。

例えばカメラの故障検出に関する技術として、カメラで撮影された画像の一部の領域に対して変調を行い、その領域部分にユーザが目視で判別できない程度のテストパタンを合成するものが提案されている（例えば、特許文献１参照）。

この技術では、カメラ内の信号処理回路で処理される前後において画像に合成したテストパタンが変化したかを判定することで、信号処理回路が正しく動作しているか、つまり信号処理回路が故障していないかが診断される。

特開２０１６−００８９７０号公報

しかしながら、上述した技術では、簡単かつ高精度に故障検出を行うことは困難であった。

例えば、画像の一部の領域にテストパタンを合成する技術では、画像に対して変調を行ってテストパタンを合成するなどの処理が必要であり、故障検出のために複雑な処理が必要となる。

また、信号処理回路の故障を高精度に検出するには、様々なテストパタンで故障検出を行うことが理想的である。ところが、上述の技術ではテストパタンが画像に合成されることから、そのテストパタンはユーザが目視で判別できないものである必要がある。そうすると限られたテストパタンしか用いることができず、信号処理回路の故障を十分な精度で検出することができなくなってしまうおそれがあった。

しかも、画像の一部の領域にはテストパタンが合成されるため、カメラの後段においてテストパタンが合成された領域が物体検出等の処理対象の領域となったときには、テストパタンの合成が後段での処理の精度に影響を与えてしまう可能性もある。

本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高精度に故障検出を行うことができるようにするものである。

本技術の第１の側面の信号処理装置は、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部とを備える。

本技術の第１の側面の信号処理方法またはプログラムは、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施すステップを含む。

本技術の第１の側面においては、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータが、所定の処理が施される有効データに付加され、前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理が施される。

本技術の第２の側面の信号処理装置は、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、前記テストデータの前記２以上のサンプルのサンプル値を比較する比較部とを備える。

本技術の第２の側面の信号処理方法またはプログラムは、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、前記テストデータの前記２以上のサンプルのサンプル値を比較するステップを含む。

本技術の第２の側面においては、有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データが受信され、前記テストデータの前記２以上のサンプルのサンプル値が比較される。

本技術の第１の側面および第２の側面によれば、より簡単かつ高精度に故障検出を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

イメージセンサの構成例を示す図である。 出力データのフォーマット例を示す図である。 画素配列と撮影画像について説明する図である。 テストデータの例を示す図である。 信号処理部の構成例を示す図である。 データ出力処理を説明するフローチャートである。 画素配列と撮影画像について説明する図である。 信号処理部の構成例を示す図である。 画像処理システムの構成例を示す図である。 入力部の構成例を示す図である。 受信処理を説明するフローチャートである。 画像処理システムの車両への適用例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈イメージセンサの構成例〉
本技術は、画像データ等の有効データが複数のパスを有する信号処理回路で処理される場合に、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有するテストデータを有効データに付加して信号処理回路に入力することで、より簡単かつ高精度に信号処理回路の故障検出を行うことができるようにするものである。

このような本技術は、車載用のカメラや車載用のカメラを用いた車内システムの他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、電車、ロボット等の移動体に搭載するカメラや、そのようなカメラを用いたシステム等に適用可能である。

また、本技術において故障検出の対象となる信号処理回路は、画像データに対して処理を施す信号処理回路に限らず、音声データや測定データなどの任意のデータに対して処理を施す信号処理回路とすることができる。

それでは以下、より具体的な実施の形態について説明する。

図１は、本技術を適用したイメージセンサの一実施の形態の構成例を示す図である。

図１に示すイメージセンサ１１は、例えば車載用途のカメラ等の撮像装置に搭載されており、周囲にある被写体を撮影して得られた画像データを外部に出力する。なお、以下ではイメージセンサ１１が車載用途のカメラに設けられているものとして説明を続ける。

イメージセンサ１１は、画素アレイ部２１、A/D（Analog/Digital）変換部２２、信号処理部２３、および出力部２４を有している。

画素アレイ部２１は、行方向および列方向に複数の画素が配列された画素アレイからなり、各画素が被写体から入射した光を受光して光電変換することにより得られた複数の画素信号からなるアナログの画像信号を生成することで、被写体の画像を撮影する。画素アレイ部２１は、撮影により得られた画像信号をA/D変換部２２に供給する。

なお、画素アレイ部２１で撮影される画像は静止画像であってもよいし動画像であってもよいが、以下では画素アレイ部２１で動画像が撮影されるものとして説明を続ける。

A/D変換部２２は、AD変換により、画素アレイ部２１から供給されたアナログ信号である画像信号を、デジタル信号である画像データへと変換し、得られた画像データを信号処理部２３に供給する。このような画像データは、信号処理部２３で処理される目的のデータであり、以下ではそのようなデータを有効データとも称することとする。

信号処理部２３は、複数のパスを有するデジタルの信号処理回路などからなり、A/D変換部２２から供給された画像データに対して複数のパスで所定の信号処理を施して出力部２４に供給する。例えば信号処理部２３では、画像データに対してゲイン調整やクランプ処理、HDR（High Dynamic Range）合成処理などの処理が行われる。

また、この例では、信号処理部２３が故障検出の検出対象、つまり故障の診断対象とされており、信号処理部２３には比較部３１が設けられている。

信号処理部２３では、信号処理部２３の故障検出に用いられる、任意のパタンのテストデータが生成され、信号処理部２３の最前段においてテストデータが有効データである画像データに付加される。そして、テストデータが付加された画像データ、つまり画像データとテストデータに対して、信号処理部２３に設けられた信号処理ブロックにより各種の処理が施された後、得られた画像データとテストデータが出力部２４に供給される。

また、信号処理ブロックにより処理が施されたテストデータは、比較部３１にも供給され、信号処理部２３の故障検出が行われる。

すなわち、比較部３１は、テストデータの予め定められたサンプルのサンプル値を比較することで信号処理部２３の故障検出を行い、その検出結果を外部に出力する。なお、故障検出の検出結果は、出力部２４を介して外部に出力されてもよいし、出力部２４を介さずに外部に出力されるようにしてもよい。

出力部２４は、例えばMIPI（Mobile Industry Processor Interface）I/Fなどのデジタル回路からなり、信号処理部２３から供給された画像データおよびテストデータを、MIPIなどの所定の規格で定められた形式（フォーマット）の出力データに変換し、外部に出力する。

なお、出力部２４内の最後段等に比較部３１と同様の比較部を設ければ、イメージセンサ１１において、信号処理部２３だけでなく出力部２４についても故障検出を行うことができる。

ここで、出力部２４から出力される出力データの例について説明する。図２は、出力部２４から出力される１フレーム分の出力データ、すなわち１フレーム分の画像データのフォーマット例を示している。

図２に示す例では、FS（Frame Start）からFE（Frame End）までのデータが１フレーム分の出力データとされており、その出力データには、動画像の１フレーム分の画像データと、１フレーム分のテストデータとが含まれている。

すなわち、この例ではPH（Packet Header）からPF（Packet Footer）の間に有効データ領域とテストデータ領域が設けられている。

ここで、有効データ領域は撮影により得られた画像データ（有効データ）が格納される領域であり、その有効データ領域の後に続くテストデータ領域は、信号処理部２３で生成されたテストデータが格納される領域である。特に、この例では、画像データ（有効データ）とは異なる任意のデータを格納可能な自由領域がテストデータ領域として利用されている。

したがって、この例では動画像の１フレームを構成する１行分の画像データに対してパケットヘッダ（PH）とパケットフッタ（PF）が付加されて、動画像のフレーム内の各行の画像データが出力される。同様に、テストデータに対してもパケットヘッダとパケットフッタが付加されて出力される。

なお、テストデータは、動画像のフレームの１行分の長さのデータであってもよいし、数行分の長さのデータであってもよい。

また、イメージセンサ１１の後段において、特にテストデータに基づく故障検出が行われない場合には、テストデータ領域にテストデータを格納する必要はない。つまり、出力部２４から、テストデータが含まれない、画像データのみが含まれた出力データが出力されるようにすればよい。

〈信号処理部の構成例〉
続いて、信号処理部２３のより具体的な構成例について説明する。

例えば画素アレイ部２１における画素配列が図３の矢印Q11に示すようにベイヤー配列であったとする。

矢印Q11に示す部分において各四角形は１つの画素を表しており、それらの画素内に記された文字は画素に設けられたカラーフィルタを示している。

すなわち、文字「R」が記された画素は、R（赤）のカラーフィルタが設けられ、Rの色の成分の画素信号を出力する画素を表している。

また、文字「Gr」または「Gb」が記された画素はG（緑）のカラーフィルタが設けられ、Gの色の成分の画素信号を出力する画素を表しており、文字「B」が記された画素はB（青）のカラーフィルタが設けられ、Bの色の成分の画素信号を出力する画素を表している。

以下では、文字「R」、「Gr」、「Gb」、および「B」が記された各画素を、それぞれR画素、Gr画素、Gb画素、およびB画素とも称することとする。また、Gr画素とGb画素を特に区別する必要のない場合には、単にG画素とも称することとする。

画素アレイ部２１においては、このようなR画素、Gr画素、Gb画素、およびB画素がベイヤー配列で配置されており、画素アレイ部２１からは各画素がR、G、またはBの何れかの色の成分の値を画素値（サンプル値）として有するカラー画像の画像信号が出力される。

なお、ここでは画素アレイ部２１がベイヤー配列である場合を例として説明するが、これに限らず画素アレイ部２１におけるカラーフィルタの配列は、他のどのような配列であってもよい。また、画素アレイ部２１で得られる画像信号はカラー画像の画像信号ではなく、モノクロ画像の画像信号であっても勿論よい。

また、信号処理部２３には、２つのデータパス（以下、単にパスと称する）が設けられているとする。換言すれば、信号処理部２３が２相化された回路であるとする。

この場合、図３の矢印Q12に示すように、画像データに基づく画像に対して処理が行われる際には、互いに隣接する２つの画素が互いに異なるパス、つまり互いに異なるチャネルで並列に処理されるとする。

矢印Q１２に示す部分は、画素アレイ部２１の一部分の領域、すなわちA/D変換部２２から出力された画像データに基づく１フレーム分の画像（以下、撮影画像とも称する）の一部分の領域を表しており、各四角形は１つの画素を表している。

また、矢印Q１２に示す部分において文字「PG_Raw_0」乃至「PG_Raw_3」は撮影画像の行を示しており、文字「Column_0」乃至「Column_7」は撮影画像の列を示している。

さらに、画素内に記された数字は画素の行と列を示しており、PG_Raw_m行（0≦m≦3），Column_n列（0≦n≦7）の画素には文字「mn」が記されている。以下では、PG_Raw_m行（0≦m≦3），Column_n列（0≦n≦7）の画素を画素mnとも称することとする。

したがって、例えば文字「00」が記された画素は、PG_Raw_0行，Column_0列の画素を表しており、以下ではこの画素を画素00とも称する。

また、矢印Q11に示した部分の画素と、矢印Q12に示した部分の画素とでは、同じ色成分の画素には同じハッチが施されている。したがって、例えば画素00や画素02はR画素であり、画素01や画素03はG画素である。

撮影画像に対して処理が施されるときには、基本的には画素00から画素37までラスタスキャン順に処理されていく。

ここでは、信号処理部２３が２相化されており、２つのパスがあるので、撮影画像が処理されるときには、矢印Q13に示す処理サイクルで撮影画像に対する処理が行われていくことになる。

具体的には、まず画素00が１つのパス（以下、チャネルCH0とも称する）に設けられた回路で処理され、それと略同じタイミングで画素00に隣接する画素01が他の１つのパス、すなわちチャネルCH0とは異なるチャネル（以下、チャネルCH1とも称する）に設けられた回路で処理される。つまり、互いに異なるチャネルCH0とチャネルCH1で、画素00と画素01が並列に処理される。

画素00と画素01が処理されると、続いて画素02がチャネルCH0の回路で処理され、それと略同じタイミングで画素03がチャネルCH1の回路で処理される。さらに、画素04がチャネルCH0の回路で処理され、それと略同じタイミングで画素05がチャネルCH1の回路で処理される。そして、その後においても未処理の一対の画素が順番に互いに異なるチャネル（パス）の回路で処理されていく。

このように信号処理部２３が２相化されている場合、信号処理部２３では例えば図４に示すようにテストデータが生成される。

なお、図４において文字「PG_Raw_0」乃至「PG_Raw_3」は撮影画像の各行に対応するテストデータの行を示しており、文字「Column_0」乃至「Column_7」は撮影画像の各列に対応するテストデータの列を示している。

また、図４において各四角形はテストデータの１つの画素、より詳細には撮影画像の画素に対応する１つのサンプルを示しており、それらの画素内の文字はテストデータの画素（サンプル）の画素値（サンプル値）を示している。

例えば図４では、PG_Raw_0行，Column_0列にあるテストデータの画素は、図３に示した画素00に対応する画素となっており、その画素の画素値はAとされている。

同様にPG_Raw_0行，Column_1列にあるテストデータの画素は、図３に示した画素01に対応する画素となっており、その画素の画素値はAとされている。

これらのPG_Raw_0行，Column_0列の画素と、PG_Raw_0行，Column_1列の画素とは、略同じタイミングで信号処理部２３における互いに異なるパスで処理される画素であり、それらの画素の画素値は同じ値Aとされている。

以下では、テストデータにおけるPG_Raw_m行（0≦m≦3），Column_n列（0≦n≦7）の画素を画素mn’とも称することとする。

例えば１フレーム分のテストデータを１フレーム分の撮影画像の画像データの後ろに付加し、テストデータが付加された画像データを、テストデータの最後の部分までが撮影画像のデータであるものと仮定して処理するものとする。そのような場合、画素mn’は画素mnと同じ色成分の画素であるとして処理されることになる。

このようにテストデータの各画素mn’は、画像データの各画素mnに対応するが、画素mn’は実際には色成分を有していない。つまり画素mn’の画素値は、対応する画素mnが有する色成分と同じ色成分の値ではなく、単にテストパタンの値となっている。

図４に示すテストデータでは、互いに異なるパス（チャネル）の回路により並列に処理される互いに隣接する２つの画素（サンプル）の画素値（サンプル値）が同じ値となるようになされている。すなわち、テストデータでは、異なるパスで略同じタイミングで処理される２つの画素の画素値が同じ値となるようにされている。

なお、テストデータは、互いに異なるパスの回路により並列に処理される２つの画素の画素値が同じ値となれば、どのようなパタンのテストデータとされてもよく、各画素の画素値も乱数とされるなど、どのようにして定められてもよい。

例えば図４に示す例では、画素値A乃至画素値Pの各値は任意に生成された乱数の値などとされ、画素値A乃至画素値Pのうちのいくつかの値が同じ値とされてもよい。

テストデータにおいて、信号処理部２３の互いに異なるパスで並列に処理される画素の画素値が同じ値とされるのは、後述するように、それらの画素が比較部３１で比較されて故障検出が行われるからである。

以上のように図３に示した画素配列の画像データが得られ、かつ図４に示したパタンのテストデータが生成される場合、信号処理部２３は、例えば図５に示すように構成される。なお、図５において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図５に示す信号処理部２３は、パタンジェネレータ６１、付加部６２、ゲインレジスタ６３−１乃至ゲインレジスタ６３−４、セレクタ６４−１、セレクタ６４−２、セレクタ６５−１、セレクタ６５−２、乗算部６６−１、乗算部６６−２、および比較部３１を有している。

この信号処理部２３は、入力された画像データやテストデータに対してゲイン調整を行うデジタル回路である。すなわち、信号処理部２３は、画像データやテストデータの各画素に対して、それらの画素が有する色成分、より詳細には画素位置に応じたゲインを乗算することでゲイン調整を行う。

パタンジェネレータ６１は、例えば乱数を生成するなどして図４に示したパタンのテストデータを生成し、付加部６２に供給する。例えば、テストデータは撮影画像の数ライン分の画素数のデータなどとされる。このようなパタンジェネレータ６１は、テストデータを生成するテストデータ生成部として機能する。なお、テストデータの各画素の画素値は乱数に限らず、予め定められた値とされてもよい。

付加部６２は、A/D変換部２２から供給された画像データに、パタンジェネレータ６１から供給されたテストデータを付加し、テストデータが付加された画像データを乗算部６６−１および乗算部６６−２に供給する。

具体的には、付加部６２に対して、例えば図３に示した１フレーム分の画像データが供給され、図４に示した１フレーム分のテストデータが供給されるとする。

そのような場合、付加部６２は、まず画像データの画素00を乗算部６６−１に供給するとともに、画像データの画素01を乗算部６６−２に供給する。

ここで、乗算部６６−１はチャネルCH0に対応するパスに設けられた乗算回路であり、乗算部６６−２はチャネルCH1に対応するパスに設けられた乗算回路である。

また、次のタイミングでは、付加部６２は画像データの画素02を乗算部６６−１に供給するとともに、画像データの画素03を乗算部６６−２に供給し、このようにして順次、画像データの画素を乗算部６６−１と乗算部６６−２に供給していく。

そして、付加部６２が１フレーム分の画像データの最後の画素を乗算部６６−２に供給した次のタイミングでは、付加部６２はテストデータの乗算部６６−１および乗算部６６−２への供給を開始する。

すなわち、まず付加部６２は、テストデータの画素00’を乗算部６６−１に供給するとともに、テストデータの画素01’を乗算部６６−２に供給する。また、次のタイミングでは、付加部６２は、テストデータの画素02’を乗算部６６−１に供給するとともに、テストデータの画素03’を乗算部６６−２に供給する。

その後、同様にして付加部６２は、順次、テストデータの画素を乗算部６６−１と乗算部６６−２に供給していく。

このように、付加部６２は、撮影画像の画像データを１フレーム分だけ出力すると、その後、１フレーム分のテストデータを出力する処理を繰り返し行う。

ゲインレジスタ６３−１乃至ゲインレジスタ６３−４には、各色成分に応じたゲイン（ゲイン値）が格納されている。

すなわち、ゲインレジスタ６３−１は、R画素に乗算されるゲイン（以下、ゲインRとも称する）を保持しており、保持しているゲインをセレクタ６４−１に供給する。

ゲインレジスタ６３−２は、Gb画素に乗算されるゲイン（以下、ゲインGbとも称する）を保持しており、保持しているゲインをセレクタ６４−１に供給する。

ゲインレジスタ６３−３は、Gr画素に乗算されるゲイン（以下、ゲインGrとも称する）を保持しており、保持しているゲインをセレクタ６４−２に供給する。

ゲインレジスタ６３−４は、B画素に乗算されるゲイン（以下、ゲインBとも称する）を保持しており、保持しているゲインをセレクタ６４−２に供給する。

なお、以下、ゲインレジスタ６３−１乃至ゲインレジスタ６３−４を特に区別する必要のない場合、単にゲインレジスタ６３とも称することとする。また、ゲインR、ゲインGb、ゲインGr、およびゲインBは、それぞれ互いに異なる値のゲインであるものとする。

セレクタ６４−１は、ゲインレジスタ６３−１から供給されたゲインR、およびゲインレジスタ６３−２から供給されたゲインGbのうちの何れか一方を選択し、選択したゲインをセレクタ６５−１およびセレクタ６５−２に供給する。

また、セレクタ６４−２は、ゲインレジスタ６３−３から供給されたゲインGr、およびゲインレジスタ６３−４から供給されたゲインBのうちの何れか一方を選択し、選択したゲインをセレクタ６５−１およびセレクタ６５−２に供給する。

なお、以下、セレクタ６４−１およびセレクタ６４−２を特に区別する必要のない場合、単にセレクタ６４とも称することとする。

セレクタ６５−１は、セレクタ６４−１から供給されたゲイン、およびセレクタ６４−２から供給されたゲインのうちの何れか一方を選択し、選択したゲインを乗算部６６−１に供給する。

また、セレクタ６５−２は、セレクタ６４−１から供給されたゲイン、およびセレクタ６４−２から供給されたゲインのうちの何れか一方を選択し、選択したゲインを乗算部６６−２に供給する。

なお、以下、セレクタ６５−１およびセレクタ６５−２を特に区別する必要のない場合、単にセレクタ６５とも称することとする。

乗算部６６−１は、付加部６２から供給された画像データの画素やテストデータの画素に対して、セレクタ６５−１から供給されたゲインを乗算し、ゲインが乗算された画素を比較部３１および出力部２４に供給する。

乗算部６６−２は、付加部６２から供給された画像データの画素やテストデータの画素に対して、セレクタ６５−２から供給されたゲインを乗算し、ゲインが乗算された画素を比較部３１および出力部２４に供給する。

なお、以下、乗算部６６−１および乗算部６６−２を特に区別する必要のない場合、単に乗算部６６とも称することとする。

比較部３１は、乗算部６６−１から供給されたゲイン乗算後のテストデータの画素と、乗算部６６−２から供給されたゲイン乗算後のテストデータの画素とを比較することで信号処理部２３の故障検出を行い、その検出結果を出力する。

具体的には、乗算部６６−１から供給されたテストデータの画素の画素値と、乗算部６６−２から供給されたテストデータの画素の画素値とが一致する場合、つまり画素値が同じである場合、信号処理部２３に故障が発生していないと判定される。

これに対して、乗算部６６−１から供給されたテストデータの画素の画素値と、乗算部６６−２から供給されたテストデータの画素の画素値とが一致しない場合、つまり画素値が異なる場合、信号処理部２３に故障が発生したと判定される。

このように、比較部３１では付加部６２や乗算部６６を通って供給された２つの画素の画素値を比較して故障の検出を行うため、テストデータでは、比較部３１で比較される画素同士が同じ画素値となるようになされている。

また、ここでは信号処理部２３のうち、付加部６２乃至乗算部６６の部分を対象として故障検出が行われることになる。すなわち、付加部６２乃至乗算部６６の何れかの部分が故障等により正しく動作していないときには、比較部３１において故障（エラー）が発生した旨の検出結果（判定結果）が得られる。

上述したように、信号処理部２３は撮影画像のゲイン調整を行うブロックとして機能している。そのため、撮影画像のR画素、Gb画素、Gr画素、およびB画素のそれぞれには乗算部６６によってゲインR、ゲインGb、ゲインGr、およびゲインBのそれぞれが乗算されて撮影画像がゲイン調整される。

したがって、セレクタ６４およびセレクタ６５では、撮影画像の画像データに対しては、各色の画素にその色のゲインが乗算されるようにゲインの選択が行われる。

例えば図３に示した画素配列から分かるように、チャネルCH0の乗算部６６−１にはR画素またはGb画素の何れかが供給される。

そのため、セレクタ６４−１は、乗算部６６−１に供給される画素の色成分に応じて、ゲインRとゲインGbの何れかをセレクタ６５に供給する。また、セレクタ６５−１は、撮影画像が処理されている間は、継続してセレクタ６４−１から供給されたゲインを選択し、乗算部６６−１に供給する。

同様に、チャネルCH1の乗算部６６−２にはGr画素またはB画素の何れかが供給される。そのため、セレクタ６４−２は、乗算部６６−２に供給される画素の色成分に応じて、ゲインGrとゲインBの何れかをセレクタ６５に供給する。また、セレクタ６５−２は、撮影画像が処理されている間は、継続してセレクタ６４−２から供給されたゲインを選択し、乗算部６６−２に供給する。

このように撮影画像を処理している間はセレクタ６５は不要であるが、撮影画像の１フレーム分の処理が終わり、テストデータが乗算部６６に供給されるとセレクタ６５が必要となる。

例えばセレクタ６５がないものと仮定すると、図４に示したテストデータの画素00’が乗算部６６−１に供給され、テストデータの画素01’が乗算部６６−２に供給されるタイミングでは、乗算部６６−１および乗算部６６−２には、それぞれゲインRおよびゲインGrが供給されることになる。

そうすると、比較部３１には、画素00’の画素値AにゲインRが乗算された画素値A×Rと、画素01’の画素値AにゲインGrが乗算された画素値A×Grとが供給されて、それらの画素値が比較されることになる。

この場合、特に信号処理部２３に故障がなく、付加部６２や乗算部６６が正しく動作していてもゲインRとゲインGrが異なるため、比較される画素の画素値が一致せず、故障が発生していると判定されてしまう。つまり、誤検出が発生してしまうことになる。

そこで、セレクタ６５は、テストデータが処理されている間においては２つの乗算部６６に対して同じゲインが供給されるように、セレクタ６４から供給されたゲインを選択する。換言すれば、乗算部６６において撮影画像の画像データに対して画素の色成分に依存する処理が行われるときには、セレクタ６５は、２つの乗算部６６において同じ処理が行われるように、つまりテストデータの比較される対となる画素に対して同じ処理が施されるように、乗算部６６における処理を選択する選択部として機能する。

なお、セレクタ６５では、有効データである画像データが処理されている間においては、画像データの処理対象の画素の色成分に応じた処理（ゲイン）が選択されるようにされる。

具体的な例として、例えばテストデータの画素00’と画素01’が処理されるタイミングでは、セレクタ６５がゲインRまたはゲインGrを選択するようにされる。

例えばゲインRが選択されるものとすると、セレクタ６５−１においてもセレクタ６５−２においてもゲインRが選択され、乗算部６６に供給されるようにされる。

このようにすれば、比較部３１には、画素00’の画素値AにゲインRが乗算された画素値A×Rと、画素01’の画素値AにゲインRが乗算された画素値A×Rとが供給されて、それらの画素値が比較されることになる。

この場合、特に信号処理部２３に故障がなく付加部６２や乗算部６６が正しく動作していれば、比較される画素の画素値が一致し、故障検出の結果として、正しい検出結果が得られるようになる。

特に信号処理部２３では、テストデータを乗算部６６等の回路に入力して、本来、信号処理部２３での処理対象とされる画像データに対して行われるのと同様の処理を行わせ、回路から出力されたテストデータの対応する画素の画素値を比較するだけでよい。そのため、簡単な処理で故障検出を行うことができる。

すなわち、本技術では、故障検出のために乗算部６６に供給されるゲイン等のパラメータを、故障検出のための専用のパラメータに切り替えるなどの切り替えを行う必要がない。また、テストデータに応じて画像データに変調等の処理を施す必要もなく、単に画素を比較するだけでよいので、本技術では簡単に故障検出を行うことができる。

しかも、ゲインレジスタ６３に格納されるゲインなど、信号処理部２３で行われる処理のパラメータをユーザが設定したときでも正しく故障検出を行うことができる。故障検出用のパラメータではなく、実際にユーザが設定したパラメータが用いられて故障検出が行われるので、実際の動作環境で高精度に故障を検出することができる。

また、図５に示す信号処理部２３では、画像データに対するテストデータの付加が行われる付加部６２が信号処理部２３の最前段に設けられており、故障検出を行う比較部３１が信号処理部２３の最後段に設けられている。そのため、信号処理部２３では最も広い範囲を対象として故障検出を行うことができる。

さらに、信号処理部２３が多相化されているという特徴を活かし、信号処理部２３のアーキテクチャを利用してテストデータの２つの画素を比較して故障検出を行う構成としたので、簡単な構成で故障検出を行うことができ、回路規模の増加を抑制することができる。

その他、信号処理部２３では、撮影画像のフレームごとに、有効データである画像データの後に故障検出用のテストデータが付加され、撮影画像のブランキング期間に故障検出が行われるので、ランタイム、つまり撮影画像の処理中に故障検出が可能である。特に、画像データの１フレーム分のデータをテストデータとして用いることがないので、１フレーム期間よりも短い時間で故障検出を行うことができる。

しかも、信号処理部２３では、故障検出の目的で有効データである画像データに対して加工が行われることもないので、後段において画像データを用いた処理に影響が生じるおそれもなく、テストデータのパタンとして任意のパタンを生成することができる。

これにより、テストデータの各画素の画素値を様々な値に変化させてパタンを振ることができる。また、ゲインレジスタ６３のゲイン等のパラメータもユーザにより設定された様々な値でテストデータに対する処理が行われるので、より多くのパラメータやテストパタンで故障検出を行うことができ、故障検出の検出精度を向上させることができる。

〈データ出力処理の説明〉
続いて、図１に示したイメージセンサ１１の動作について説明する。

すなわち、以下、図６のフローチャートを参照して、イメージセンサ１１によるデータ出力処理について説明する。

ステップＳ１１において、画素アレイ部２１は、被写体から入射した光を受光して光電変換することで撮影画像を撮影し、その結果得られた撮影画像の画像信号をA/D変換部２２に供給する。

ステップＳ１２において、A/D変換部２２は画素アレイ部２１から供給された撮影画像の画像信号に対してAD変換を行い、その結果得られた撮影画像の画像データを信号処理部２３の付加部６２に供給する。

ステップＳ１３においてパタンジェネレータ６１は、乱数を生成することで任意のパタンのテストデータを生成し、付加部６２に供給する。

ステップＳ１３では、信号処理部２３の互いに異なるパス（チャネル）で並列に処理される画素（サンプル）の画素値（サンプル値）が同じ値を有するデータがテストデータとして生成される。具体的には、例えば図４に示したテストデータが生成される。

ステップＳ１４において、付加部６２は、A/D変換部２２から供給された画像データに、パタンジェネレータ６１から供給されたテストデータを付加して乗算部６６に供給する。すなわち、撮影画像の各フレームの画像データの後ろに、１フレーム分のテストデータが付加されて乗算部６６に出力される。

ステップＳ１５において、セレクタ６４およびセレクタ６５は、ゲインレジスタ６３から供給されるゲインのなかから乗算部６６に供給するゲインを選択する。

例えばセレクタ６４は、ゲインレジスタ６３から供給されたゲインのうち、乗算部６６に供給される画像データまたはテストデータの画素の位置に対して定まる色成分のゲインを選択し、セレクタ６５に供給する。

また、セレクタ６５は、乗算部６６に画像データの画素が供給されるタイミングでは、セレクタ６４から供給されたゲインのうち、ゲインの出力先の乗算部６６に供給される画像データの画素の位置に対して定まる色成分のゲインを選択し、乗算部６６に供給する。

これに対してセレクタ６５は、乗算部６６にテストデータの画素が供給されるタイミングでは、２つの乗算部６６に同じ色成分のゲインが供給されるように、セレクタ６４から供給されたゲインのなかから所定のゲインを選択し、乗算部６６に供給する。

ステップＳ１６において、乗算部６６は付加部６２から供給された画像データやテストデータに対して、セレクタ６５から供給されたゲインを乗算し、出力部２４および比較部３１に供給する。

ステップＳ１７において、比較部３１は、乗算部６６−１から供給されたゲイン乗算後のテストデータの画素の画素値と、乗算部６６−２から供給されたゲイン乗算後のテストデータの画素の画素値とを比較することで故障検出を行う。

すなわち、比較部３１は、２つの画素の画素値が一致した場合には故障が発生していない旨の検出結果を出力し、２つの画素の画素値が一致しない場合には故障が発生した旨の検出結果を出力する。このような故障検出は、撮影画像の各フレームについて、テストデータの対となる画素ごとに行われる。

ステップＳ１８において、出力部２４は、乗算部６６から供給された画像データおよびテストデータを予め定められた所定の形式の出力データに変換して出力し、データ出力処理は終了する。例えばステップＳ１８では、画像データとテストデータが含まれる図２に示した形式の出力データが生成されて出力される。

なお、ステップＳ１８では、少なくとも所定形式に変換された画像データが出力されればよく、必ずしもテストデータは出力される必要はない。

以上のようにしてイメージセンサ１１は、互いに異なるパスで並列に処理される複数の画素の画素値が同じ値を有するテストデータを生成し、乗算部６６で処理されたテストデータに基づいて故障検出を行う。このようにすることで、より簡単かつ高精度に故障検出を行うことができる。

なお、以上においては、信号処理部２３においてゲイン調整を行う例について説明したが、上述したように信号処理部２３において画像データおよびテストデータに対して行われる処理はゲイン調整に限らず、他のどのような処理であってもよい。

すなわち、例えば画像データやテストデータに対して、撮影画像の黒レベルを固定するためのクランプ処理や、複数の撮影画像を合成するHDR合成処理が行われてもよい。

また、信号処理部２３において画像データやテストデータに対して行われる処理は、カラーフィルタ、すなわち色成分に依存しない処理でもよい。例えば撮影画像がモノクロ画像であり、撮影画像の各画素に同じ値のゲインが乗算されるときには、図５に示した構成においてセレクタ６４やセレクタ６５は必要なく、ゲインレジスタから、直接、乗算部６６に対してゲインが供給されるようにすればよい。

さらに、図１に示したイメージセンサ１１では、信号処理部２３が故障検出の対象とされる例について説明したが、比較部３１を出力部２４内に設けることで、信号処理部２３だけでなく出力部２４も対象として故障検出を行うことができる。

例えば出力部２４の最後段に比較部３１を設ければ、信号処理部２３の付加部６２から出力部２４の最後段までの間のパス（回路）を対象として故障検出を行うことができる。しかも、この場合、出力部２４のみに比較部を設けてもよいが、信号処理部２３と出力部２４の両方に比較部を設ければ、故障が発生したときに信号処理部２３と出力部２４のどちらで故障が発生したかを特定することが可能である。

また、テストデータを信号処理部２３のようなデジタルブロック（デジタル回路）からではなく、アナログブロック（アナログ回路）から入力するようにしてもよい。

そのような場合、例えばパタンジェネレータ６１および付加部６２が画素アレイ部２１内に設けられるようにし、画素アレイ部２１からは、撮影により得られた画像信号にアナログのテストデータが付加されてA/D変換部２２へと供給される。

そして、A/D変換部２２では、画素アレイ部２１から供給された画素信号とテストデータに対してAD変換が行われ、その結果得られた画像データとテストデータが信号処理部２３の乗算部６６に供給される。これにより、A/D変換部２２と信号処理部２３を対象として故障検出を行うことができるようになる。

〈第１の実施の形態の変形例１〉
〈信号処理部の構成例〉
さらに、以上においては信号処理部２３に２つのパスが設けられている例について説明したが、３以上のパスが設けられているようにしてもよく、そのような場合には信号処理部２３に設けられたパスの数に応じてテストデータのパタンを定めればよい。

ここで、具体的な例として、例えば信号処理部２３が４相化されている場合、つまり信号処理部２３に４つのパス（チャネル）が設けられている場合について説明する。

例えば画素アレイ部２１の画素配列が図７の矢印Q21に示すようにベイヤー配列であるとすると、撮影画像の領域の一部は矢印Q22に示すようになる。

なお、図７の矢印Q21に示す部分において、各四角形は１つの画素を表しており、文字「R」、「Gr」、「Gb」、および「B」が記された画素は、それぞれR画素、Gr画素、Gb画素、およびB画素を示している。

また、矢印Q22に示す部分においても各四角形は撮影画像の１つの画素を表しており、それらの画素内の数字はその画素の行および列を示している。すなわち、図３に示した例と同様に、PG_Raw_m行，Column_n列の画素には文字「mn」が記されており、そのような画素を画素mnとも称することとする。

このような撮影画像が得られる場合、信号処理部２３が４相化された構造となっているときには、行方向に互いに隣接して並ぶ４つの画素が互いに異なるパスにより並列に処理される。

すなわち、例えば画素00、画素01、画素02、および画素03が互いに異なるパスで略同じタイミングで処理される。

以下では、画素00、画素01、画素02、および画素03のそれぞれが処理されるパスを、それぞれチャネルCH0、チャネルCH1、チャネルCH2、およびチャネルCH3とも称することとする。

このようにカラーの撮影画像が４つのパスで処理される場合、互いに異なるパスで並列に処理される４つの画素（サンプル）のうち、少なくとも２以上の画素が同じ画素値（サンプル値）を有するテストデータを生成すればよい。すなわち、例えば互いに異なるパスで並列に処理される４つの画素のうち、同じ色成分に対応する２つの画素が同じ画素値を有するテストデータを生成すればよい。

具体的には、例えば図４を参照して説明した場合と同様に、テストデータのPG_Raw_m行，Column_n列の画素を画素mn’と記すこととする。

この場合、例えばテストデータの画素00’はR成分の画素00に対応し、画素00’はチャネルCH0の回路で処理される。また、テストデータの画素01’はGr成分の画素01に対応し、画素01’はチャネルCH1の回路で処理される。

同様にテストデータの画素02’はR成分の画素02に対応し、チャネルCH2の回路で処理され、テストデータの画素03’はGr成分の画素03に対応し、チャネルCH3の回路で処理される。

したがって、例えばR成分（R画素）に対応する画素00’と画素02’とが同じ画素値を有し、Gr成分（Gr画素）に対応する画素01’と画素03’とが同じ画素値を有するテストデータを生成すればよい。

また、そのような場合、４相化された信号処理部２３は、例えば図８に示す構成とされる。なお、図８において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図８に示す信号処理部２３は、パタンジェネレータ６１、付加部６２、ゲインレジスタ６３−１乃至ゲインレジスタ６３−４、セレクタ６４−１、セレクタ６４−２、乗算部６６−１、乗算部６６−２、乗算部６６−３、乗算部６６−４、および比較部３１を有している。

図８に示す信号処理部２３の構成は、セレクタ６５−１およびセレクタ６５−２が設けられておらず、新たに乗算部６６−３および乗算部６６−４を設けた点で図５の信号処理部２３と異なっている。

この例では、乗算部６６−１乃至乗算部６６−４のそれぞれは、チャネルCH0乃至チャネルCH3のそれぞれに設けられた回路となっている。

乗算部６６−１および乗算部６６−３は、付加部６２から供給された画像データの画素およびテストデータの画素に対して、セレクタ６４−１から供給されたゲインを乗算し、ゲインが乗算された画素を比較部３１および出力部２４に供給する。

乗算部６６−２および乗算部６６−４は、付加部６２から供給された画像データの画素およびテストデータの画素に対して、セレクタ６４−２から供給されたゲインを乗算し、ゲインが乗算された画素を比較部３１および出力部２４に供給する。

なお、以下、乗算部６６−１乃至乗算部６６−４を特に区別する必要のない場合、単に乗算部６６とも称することとする。

図８に示す構成の信号処理部２３では、入力された画像データやテストデータは、４画素並列に処理が行われる。

例えば図７に示した画像データが付加部６２に供給された場合、付加部６２は、画像データの画素00をチャネルCH0の乗算部６６−１に供給し、画像データの画素01をチャネルCH1の乗算部６６−２に供給する。また、付加部６２は、画像データの画素02をチャネルCH2の乗算部６６−３に供給し、画像データの画素03をチャネルCH3の乗算部６６−４に供給する。

この場合、セレクタ６４−１はゲインRを選択して、そのゲインRを乗算部６６−１および乗算部６６−３に供給し、セレクタ６４−２はゲインGrを選択して、そのゲインGrを乗算部６６−２および乗算部６６−４に供給する。

そして、乗算部６６−１および乗算部６６−３は、付加部６２から供給された画素00および画素02のそれぞれの画素値に、セレクタ６４−１から供給されたゲインRを乗算してゲイン調整を行い、ゲインRが乗算された画素00および画素02を出力部２４および比較部３１に供給する。

同様に、乗算部６６−２および乗算部６６−４は、付加部６２から供給された画素01および画素03のそれぞれの画素値に、セレクタ６４−２から供給されたゲインGrを乗算してゲイン調整を行い、ゲインGrが乗算された画素01および画素03を出力部２４および比較部３１に供給する。

また、パタンジェネレータ６１は、チャネルCH0とチャネルCH2で並列に処理される画素が同じ画素値を有し、チャネルCH1とチャネルCH3で並列に処理される画素が同じ画素値を有するテストデータを生成して付加部６２に供給する。

この場合、上述したように、例えば画素00’と画素02’とが同じ画素値を有し、画素01’と画素03’とが同じ画素値を有するテストデータが生成される。

付加部６２は、撮影画像の１フレーム分の画像データを乗算部６６に供給すると、その後、パタンジェネレータ６１から供給された１フレーム分のテストデータを乗算部６６に供給する。

例えば付加部６２は、テストデータの画素00’乃至画素03’のそれぞれを乗算部６６−１乃至乗算部６６−４のそれぞれに供給し、その後も同様にしてテストデータの画素を乗算部６６に供給していく。

また、セレクタ６４は、乗算部６６に画像データが供給されているときと同様にゲインを選択し、乗算部６６に選択したゲインを供給する。

すなわち、例えば乗算部６６−１および乗算部６６−３に画素00’および画素02’が供給されるタイミングでは、セレクタ６４−１はゲインRを選択し、乗算部６６−１および乗算部６６−３に供給する。そして、乗算部６６−１および乗算部６６−３は、付加部６２から供給された画素00’および画素02’に対してゲインRを乗算し、出力部２４および比較部３１に供給する。

また、乗算部６６−２および乗算部６６−４に画素01’および画素03’が供給されるタイミングでは、セレクタ６４−２はゲインGrを選択し、乗算部６６−２および乗算部６６−４に供給する。そして、乗算部６６−２および乗算部６６−４は、付加部６２から供給された画素01’および画素03’に対してゲインGrを乗算し、出力部２４および比較部３１に供給する。

この場合、比較部３１は、ゲインRが乗算された画素00’の画素値と、ゲインRが乗算された画素02’の画素値とを比較し、それらの画素値が一致しない場合、故障が発生した旨の検出結果を出力する。

また、比較部３１は、ゲインGrが乗算された画素01’の画素値と、ゲインGrが乗算された画素03’の画素値とを比較し、それらの画素値が一致しない場合、故障が発生した旨の検出結果を出力する。

これに対して、比較部３１は、ゲインRが乗算された画素00’の画素値と、ゲインRが乗算された画素02’の画素値とが一致し、かつゲインGrが乗算された画素01’の画素値と、ゲインGrが乗算された画素03’の画素値とが一致する場合、故障が発生していない旨の検出結果を出力する。

このように信号処理部２３が４相化されているときには、並列に処理される４つの画素のなかに同じ色成分の画素が複数あるのでセレクタ６５は不要となる。

なお、図８に示した信号処理部２３においても画素00’乃至画素03’が同じ画素値を有するテストデータが生成され、それらの画素00’乃至画素03’が乗算部６６に供給されるタイミングでは、乗算部６６−１乃至乗算部６６−４に同じ値のゲインが供給されるようにしてもよい。

〈第２の実施の形態〉
〈画像処理システムの構成例〉
ところで、イメージセンサ１１では、図２を参照して説明したように画像データに対してテストデータを付加して外部に出力することが可能である。

したがって、イメージセンサ１１の後段にあるシステムも対象として故障検出を行うことが可能である。

そのような場合、イメージセンサ１１と、そのイメージセンサ１１の後段にあるホストとからなる画像処理システムは、例えば図９に示すように構成される。なお、図９において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図９に示す画像処理システムは、イメージセンサ１１と、そのイメージセンサ１１の後段にあるホスト１０１とを有している。

ホスト１０１は、イメージセンサ１１の出力部２４から出力（送信）された画像データおよびテストデータを含む出力データを受信して、出力データに含まれる画像データに対して所定の処理を施す信号処理装置である。ホスト１０１は、入力部１１１および信号処理部１１２を有している。

入力部１１１は、例えばMIPIなどの所定の規格に準拠した受信機からなり、出力部２４から出力された出力データから撮影画像の画像データやテストデータを抽出する。

また、入力部１１１は、抽出した画像データやテストデータを信号処理部１１２に供給するとともに、抽出したテストデータに基づいて、入力部１１１等を診断対象とした故障検出を行う。なお、信号処理部１１２において故障検出が行われない場合には、信号処理部１１２に画像データのみが供給されるようにすればよい。

信号処理部１１２は、入力部１１１から供給された画像データに対して、クランプ処理やHDR合成処理、ゲイン調整処理などの所定の処理を行い、その処理結果を外部に出力する。

なお、入力部１１１や信号処理部１１２も信号処理部２３と同様に多相化された構成とされていてもよい。これらの入力部１１１や信号処理部１１２はデジタル回路から構成されている。

また、入力部１１１は、より詳細には例えば図１０に示すように構成される。

図１０に示す入力部１１１は、受信部１４１、抽出部１４２、および比較部１４３を有している。

受信部１４１は、出力部２４から出力された出力データを受信して抽出部１４２に供給する。抽出部１４２は、受信部１４１から供給された出力データから画像データおよびテストデータを抽出して、画像データおよびテストデータを信号処理部１１２に供給するとともに、テストデータを比較部１４３に供給する。

比較部１４３は、イメージセンサ１１の比較部３１に対応し、抽出部１４２から供給されたテストデータに基づいて故障検出を行う。

例えば信号処理部２３が図５に示した構成とされ、図４に示したテストデータが生成されたとする。このとき、比較部１４３は、例えば抽出部１４２からテストデータとして、付加部６２から抽出部１４２の間で処理が行われた画素00’と画素01’が供給された場合には、それらの画素00’の画素値と画素01’の画素値とを比較することで、故障検出を行う。

そして、比較部１４３は、画素00’の画素値と画素01’の画素値とが一致するときには、故障が発生していない旨の検出結果を出力する。

これに対して、比較部１４３は、画素00’の画素値と画素01’の画素値とが一致しないときには、故障が発生した旨の検出結果を出力する。

比較部１４３において故障が発生した旨の検出結果が得られた場合、付加部６２から抽出部１４２までの間において故障（不具合）が発生していることになる。この場合、信号処理部２３および出力部２４のそれぞれに故障検出のための比較部が設けられているときには、信号処理部２３、出力部２４、および入力部１１１のうちのどのブロックで故障が発生しているかを特定することができる。

また、図１０に示す構成では、比較部１４３が入力部１１１の最後段に設けられているので、入力部１１１のより広い範囲のブロックを故障検出の対象とすることができる。

さらに、ここでは入力部１１１に比較部１４３が設けられる例について説明したが、入力部１１１ではなく信号処理部１１２に比較部１４３が設けられるようにしてもよく、入力部１１１と信号処理部１１２の両方に故障検出のための比較部が設けられてもよい。

また、例えば入力部１１１や信号処理部１１２に色成分に依存する処理を行う信号処理ブロックが設けられていることもある。そのような場合、テストデータの互いに異なるパスで並列に処理される画素、つまり比較部で比較される対となる画素に対して同じ処理が施されるように、信号処理ブロックにおける処理を選択する選択部を設ければよい。

〈受信処理の説明〉
図９に示した画像処理システムでは、イメージセンサ１１側では、例えば図６を参照して説明したデータ出力処理が行われる。そして、データ出力処理が行われ、出力部２４から出力データが出力されると、ホスト１０１では図１１に示す受信処理が行われる。

以下、図１１のフローチャートを参照して、ホスト１０１による受信処理について説明する。

ステップＳ４１において、受信部１４１は、イメージセンサ１１の出力部２４から出力された出力データを受信して抽出部１４２に供給する。

ステップＳ４２において、抽出部１４２は、受信部１４１から供給された出力データから画像データとテストデータを抽出し、画像データおよびテストデータを信号処理部１１２に供給するとともに、テストデータを比較部１４３に供給する。

ステップＳ４３において、比較部１４３は抽出部１４２から供給されたテストデータに基づいて故障検出を行い、その検出結果を出力する。ステップＳ４３では、図６のステップＳ１７と同様の処理が行われる。

ステップＳ４４において、信号処理部１１２は、抽出部１４２から供給された画像データに対してクランプ処理等の所定の処理を行って、その処理結果を出力し、受信処理は終了する。

以上のようにしてホスト１０１は、イメージセンサ１１から出力された出力データを受信してテストデータを抽出し、故障検出を行う。これにより、イメージセンサ１１における場合と同様に、より簡単かつ高精度に故障検出を行うことができる。

なお、ホスト１０１側において故障検出を行う場合においても、イメージセンサ１１で故障検出を行う場合と同様に、ランタイムでの故障検出を行うことができる。また、信号処理部１１２等におけるゲインなどのパラメータをユーザが任意に設定したときでも、正しく故障検出を行うことができる。

〈車両への適用例〉
さらに、上述したイメージセンサ１１や、イメージセンサ１１とホスト１０１からなる画像処理システムを車両に適用した場合、例えば図１２に示すようになる。

図１２に示す車両１７１は、安全機能を有する自動車である。例えば車両１７１には、車両１７１の運転に関する制御に用いられる撮影画像を得るためのカメラ１８１−１乃至カメラ１８１−４が設けられている。

ここで、カメラ１８１−１は、車両１７１の前方の領域VR11-1を被写体として撮影画像を得るためのカメラである。

また、カメラ１８１−２は、車両１７１の左側方の領域VR11-2を被写体として撮影画像を得るためのカメラであり、カメラ１８１−３は、車両１７１の右側方の領域VR11-3を被写体として撮影画像を得るためのカメラである。

さらに、カメラ１８１−４は、車両１７１の後方の領域VR11-4を被写体として撮影画像を得るためのカメラである。

なお、以下、カメラ１８１−１乃至カメラ１８１−４を特に区別する必要のない場合、単にカメラ１８１とも称することとする。

これらのカメラ１８１内には、例えばイメージセンサ１１が設けられている。

また、カメラ１８１で得られた撮影画像は、例えば車両１７１の中央に配置された車両制御部１８２に供給され、車両１７１の運転に関する制御に用いられる。

車両制御部１８２は、例えばADAS（Advanced Driving Assistant System）チップなどからなり、カメラ１８１から供給された撮影画像に対して画像解析を行うとともに、その画像解析の結果に基づいて、ステアリングホイールやアクセル、ブレーキなどの車両１７１の運転に関する制御を行う。上述したホスト１０１は、例えば車両制御部１８２内に設けられているようにすることができる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部と
を備える信号処理装置。
（２）
前記信号処理部により前記所定の処理が施された前記テストデータの前記２以上のサンプルのサンプル値を比較する比較部をさらに備える
（１）に記載の信号処理装置。
（３）
前記信号処理部は、前記２以上のサンプルに対して前記所定の処理として同じ処理が施されるように、前記２以上のサンプルに対して施される処理を選択する選択部を有する
（１）または（２）に記載の信号処理装置。
（４）
前記有効データはカラー画像の画像データであり、
前記選択部は、
前記有効データの画素に対しては、前記所定の処理として前記画素の色成分に応じた処理を選択し、
前記テストデータの前記２以上のサンプルに対しては、前記所定の処理として同じ処理を選択する
（３）に記載の信号処理装置。
（５）
前記テストデータを生成するテストデータ生成部をさらに備える
（１）乃至（４）の何れか一項に記載の信号処理装置。
（６）
前記所定の処理が施された前記有効データおよび前記テストデータを出力する出力部をさらに備える
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記有効データは画像データである
（１）乃至（６）の何れか一項に記載の信号処理装置。
（８）
互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む信号処理方法。
（９）
互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、
前記テストデータの前記２以上のサンプルのサンプル値を比較する比較部と
を備える信号処理装置。
（１１）
前記受信部は、外部の信号処理ブロックにおいて前記有効データおよび前記テストデータのそれぞれに対して複数の前記パスにより並列に処理が施された前記出力データを受信する
（１０）に記載の信号処理装置。
（１２）
前記受信部により受信された前記出力データの前記有効データおよび前記テストデータに対して所定の処理を施す信号処理部をさらに備え、
前記比較部は、前記信号処理部により前記所定の処理が施された前記テストデータの前記２以上のサンプルのサンプル値を比較する
（１０）または（１１）に記載の信号処理装置。
（１３）
前記有効データは画像データである
（１０）乃至（１２）の何れか一項に記載の信号処理装置。
（１４）
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記２以上のサンプルのサンプル値を比較する
ステップを含む信号処理方法。
（１５）
有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
前記テストデータの前記２以上のサンプルのサンプル値を比較する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ イメージセンサ， ２１ 画素アレイ部， ２２ A/D変換部， ２３ 信号処理部， ２４ 出力部， ３１ 比較部， ６１ パタンジェネレータ， ６２ 付加部， ６５−１，６５−２，６５ セレクタ， ６６−１乃至６６−４，６６ 乗算部， １０１ ホスト， １１１ 入力部， １１２ 信号処理部， １４１ 受信部， １４２ 抽出部， １４３ 比較部

Claims (15)

1. 互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加する付加部と、
   前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す信号処理部と
   を備える信号処理装置。
2. 前記信号処理部により前記所定の処理が施された前記テストデータの前記２以上のサンプルのサンプル値を比較する比較部をさらに備える
   請求項１に記載の信号処理装置。
3. 前記信号処理部は、前記２以上のサンプルに対して前記所定の処理として同じ処理が施されるように、前記２以上のサンプルに対して施される処理を選択する選択部を有する
   請求項１に記載の信号処理装置。
4. 前記有効データはカラー画像の画像データであり、
   前記選択部は、
   前記有効データの画素に対しては、前記所定の処理として前記画素の色成分に応じた処理を選択し、
   前記テストデータの前記２以上のサンプルに対しては、前記所定の処理として同じ処理を選択する
   請求項３に記載の信号処理装置。
5. 前記テストデータを生成するテストデータ生成部をさらに備える
   請求項１に記載の信号処理装置。
6. 前記所定の処理が施された前記有効データおよび前記テストデータを出力する出力部をさらに備える
   請求項１に記載の信号処理装置。
7. 前記有効データは画像データである
   請求項１に記載の信号処理装置。
8. 互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
   前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
   ステップを含む信号処理方法。
9. 互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータを、所定の処理が施される有効データに付加し、
   前記有効データ、および前記有効データに付加された前記テストデータに対して、複数の前記パスにより前記所定の処理を施す
   ステップを含む処理をコンピュータに実行させるプログラム。
10. 有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信する受信部と、
    前記テストデータの前記２以上のサンプルのサンプル値を比較する比較部と
    を備える信号処理装置。
11. 前記受信部は、外部の信号処理ブロックにおいて前記有効データおよび前記テストデータのそれぞれに対して複数の前記パスにより並列に処理が施された前記出力データを受信する
    請求項１０に記載の信号処理装置。
12. 前記受信部により受信された前記出力データの前記有効データおよび前記テストデータに対して所定の処理を施す信号処理部をさらに備え、
    前記比較部は、前記信号処理部により前記所定の処理が施された前記テストデータの前記２以上のサンプルのサンプル値を比較する
    請求項１０に記載の信号処理装置。
13. 前記有効データは画像データである
    請求項１０に記載の信号処理装置。
14. 有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
    前記テストデータの前記２以上のサンプルのサンプル値を比較する
    ステップを含む信号処理方法。
15. 有効データと、前記有効データに付加され、互いに異なるパスで並列に処理される２以上のサンプルが同じサンプル値を有する故障検出用のテストデータとからなる出力データを受信し、
    前記テストデータの前記２以上のサンプルのサンプル値を比較する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images