JP2021027543A - 信号処理装置、信号処理方法、および撮像装置 - Google Patents
信号処理装置、信号処理方法、および撮像装置 Download PDFInfo
- Publication number
- JP2021027543A JP2021027543A JP2019146248A JP2019146248A JP2021027543A JP 2021027543 A JP2021027543 A JP 2021027543A JP 2019146248 A JP2019146248 A JP 2019146248A JP 2019146248 A JP2019146248 A JP 2019146248A JP 2021027543 A JP2021027543 A JP 2021027543A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- processing
- image data
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 621
- 238000003384 imaging method Methods 0.000 title claims description 62
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003745 diagnosis Methods 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000007547 defect Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 40
- 238000012360 testing method Methods 0.000 description 34
- 239000008186 active pharmaceutical agent Substances 0.000 description 29
- 238000001514 detection method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000002405 diagnostic procedure Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 102100027867 FH2 domain-containing protein 1 Human genes 0.000 description 9
- 101001060553 Homo sapiens FH2 domain-containing protein 1 Proteins 0.000 description 9
- 230000002950 deficient Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 102100035954 Choline transporter-like protein 2 Human genes 0.000 description 4
- 101000948115 Homo sapiens Choline transporter-like protein 2 Proteins 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 101100422768 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SUL2 gene Proteins 0.000 description 3
- 101001012154 Homo sapiens Inverted formin-2 Proteins 0.000 description 2
- 102100030075 Inverted formin-2 Human genes 0.000 description 2
- 201000010273 Porphyria Cutanea Tarda Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- NUSQOFAKCBLANB-UHFFFAOYSA-N phthalocyanine tetrasulfonic acid Chemical compound C12=CC(S(=O)(=O)O)=CC=C2C(N=C2NC(C3=CC=C(C=C32)S(O)(=O)=O)=N2)=NC1=NC([C]1C=CC(=CC1=1)S(O)(=O)=O)=NC=1N=C1[C]3C=CC(S(O)(=O)=O)=CC3=C2N1 NUSQOFAKCBLANB-UHFFFAOYSA-N 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】通常動作時に診断を行うことができる信号処理装置を提供する。【解決手段】信号処理装置は、複数の第1の信号に対応して設けられ、それぞれが、複数の第1の信号のうちの対応する第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部30と、選択制御信号を生成可能な制御部と、選択制御信号に基づいて、複数の第1の信号のうちの、選択された第1の処理部に供給される第1の信号を選択可能な第1の選択部41と、第1の選択部により選択された第1の信号に基づいて、所定の処理を行うことにより第3の信号を生成可能な第2の処理部42と、選択制御信号に基づいて、複数の第2の信号のうちの、選択された第1の処理部30により生成された第2の信号を選択可能な第2の選択部43と、第3の信号と、複数の第2の信号のうちの、第2の選択部により選択された第2の信号とを比較可能な第1の比較部44とを備える。【選択図】図3
Description
本開示は、信号処理を行う信号処理装置、そのような信号処理装置において用いられる信号処理方法、およびそのような信号処理装置を備えた撮像装置に関する。
信号処理装置では、しばしば、複数の処理部を用いて、並列的に処理が行われる。例えば、特許文献1には、複数のパスを用いて並列的に処理を行う信号処理装置において、テストデータを用いて、複数のパスの故障検出を行う技術が開示されている。
複数の処理部を用いて並列的に処理を行うことができる信号処理装置では、通常動作時に、診断を行うことが望まれている。
通常動作時に診断を行うことができる信号処理装置、信号処理方法、および撮像装置を提供することが望ましい。
本開示の一実施の形態における信号処理装置は、複数の第1の処理部と、制御部と、第1の選択部と、第2の処理部と、第2の選択部と、第1の比較部とを備えている。複数の第1の処理部は、複数の第1の信号に対応して設けられ、それぞれが、複数の第1の信号のうちの対応する第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能に構成される。制御部は、複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能に構成される。第1の選択部は、選択制御信号に基づいて、複数の第1の信号のうちの、選択された第1の処理部に供給される第1の信号を選択可能に構成される。第2の処理部は、複数の第1の信号のうちの、第1の選択部により選択された第1の信号に基づいて、所定の処理を行うことにより第3の信号を生成可能に構成される。複数の第2の選択部は、選択制御信号に基づいて、複数の第2の信号のうちの、選択された第1の処理部により生成された第2の信号を選択可能に構成される。第1の比較部は、第3の信号と、複数の第2の信号のうちの、第2の選択部により選択された第2の信号とを比較可能に構成される。
本開示の一実施の形態における信号処理方法は、複数の第1の信号に対応して設けられた複数の第1の処理部のそれぞれが、複数の第1の信号のうちの対応する第1の信号に基づいて所定の処理を行うことにより第2の信号を生成することと、複数の第1の処理部のうちのいずれか1つを選択し、その選択結果に応じた選択制御信号を生成することと、選択制御信号に基づいて、複数の第1の信号のうちの、選択された第1の処理部に供給される第1の信号を選択することと、第2の処理部が、複数の第1の信号のうちの選択された第1の信号に基づいて、所定の処理を行うことにより第3の信号を生成することと、選択制御信号に基づいて、複数の第2の信号のうちの、選択された第1の処理部により生成された第2の信号を選択することと、第3の信号と、複数の第2の信号のうちの選択された第2の信号とを比較することとを含む。
本開示の一実施の形態における撮像装置は、撮像部と、複数の第1の処理部と、制御部と、第1の選択部と、第2の処理部と、第2の選択部と、第1の比較部とを備えている。撮像部は、撮像動作を行うことにより、複数の第1の信号を含む画像信号を生成可能に構成される。複数の第1の処理部は、複数の第1の信号に対応して設けられ、それぞれが、複数の第1の信号のうちの対応する第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能に構成される。制御部は、複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能に構成される。第1の選択部は、選択制御信号に基づいて、複数の第1の信号のうちの、選択された第1の処理部に供給される第1の信号を選択可能に構成される。第2の処理部は、複数の第1の信号のうちの、第1の選択部により選択された第1の信号に基づいて、所定の処理を行うことにより第3の信号を生成可能に構成される。複数の第2の選択部は、選択制御信号に基づいて、複数の第2の信号のうちの、選択された第1の処理部により生成された第2の信号を選択可能に構成される。第1の比較部は、第3の信号と、複数の第2の信号のうちの、第2の選択部により選択された第2の信号とを比較可能に構成される。
本開示の一実施の形態における信号処理装置、信号処理方法、撮像装置では、複数の第1の処理部のそれぞれにおいて、複数の第1の信号のうちの対応する第1の信号に基づいて所定の処理が行われることにより第2の信号が生成される。また、複数の第1の処理部のうちのいずれか1つが選択され、その選択結果に応じた選択制御信号が生成される。そして、この選択制御信号に基づいて、複数の第1の信号のうちの、選択された第1の処理部に供給される第1の信号が選択される。第2の処理部において、複数の第1の信号のうちの選択された第1の信号に基づいて、所定の処理が行われることにより第3の信号が生成される。選択制御信号に基づいて、複数の第2の信号のうちの、選択された第1の処理部により生成された第2の信号が選択される。そして、第3の信号と、複数の第2の信号のうちの選択された第2の信号とが比較される。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.撮像装置の使用例
4.移動体への応用例
1.第1の実施の形態
2.第2の実施の形態
3.撮像装置の使用例
4.移動体への応用例
<1.第1の実施の形態>
[構成例]
図1は、一実施の形態に係る信号処理装置を備えた撮像装置1の一構成例を表すものである。なお、本開示の実施の形態に係る信号処理方法および撮像装置は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、撮像部10と、センサインタフェース21と、診断部22と、画像処理部30と、診断部40と、送信データ生成部23と、診断部24と、送信部25と、診断結果収集部26と、レジスタ27と、通信部28とを備えている。
[構成例]
図1は、一実施の形態に係る信号処理装置を備えた撮像装置1の一構成例を表すものである。なお、本開示の実施の形態に係る信号処理方法および撮像装置は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、撮像部10と、センサインタフェース21と、診断部22と、画像処理部30と、診断部40と、送信データ生成部23と、診断部24と、送信部25と、診断結果収集部26と、レジスタ27と、通信部28とを備えている。
撮像部10は、撮像動作を行うことにより、画像データDTAを生成するように構成される。撮像部10は、画素アレイ11と、AD変換部12と、診断部13とを有している。
画素アレイ11は、マトリクス状に配置された複数の画素Pを有している。画素Pは、光電変換を行うフォトダイオードを含んで構成され、受光量に応じた画素電圧を生成するように構成される。
図2は、画素アレイ11の一構成例を表すものである。複数の画素Pは、2行2列で配置された4つの画素Pを単位(単位U)として配置されている。単位Uは、4つの画素PR,PGr,PGb,PBを有している。画素PRは赤色の光を受光可能であり、画素PGr,PGbは緑色の光を受光可能であり、画素PBは青色の光を受光可能である。この例では、単位Uにおいて、左上に画素PRが配置され、右上に画素PGrが配置され、左下に画素PGbが配置され、右下に画素PBが配置されている。このように、画素アレイ11では、画素PR,PGr,PGb,PBがいわゆるベイヤー配列で配置されている。
AD変換部12(図1)は、各画素Pから供給された画素電圧に基づいてAD変換を行うことにより、デジタル値である画素値を生成するように構成される。そして、AD変換部12は、生成した画素値を、1フレーム分の画素値を単位として、画像データDTAを用いてセンサインタフェース21に順次供給するようになっている。
診断部13は、AD変換部12に対して診断処理を行うことにより、AD変換部12の不具合を検出するように構成される。そして、診断部13は、AD変換部12の診断結果を示す診断データINF1を診断結果収集部26に通知するようになっている。
センサインタフェース21は、撮像部10と画像処理部30との間のインタフェースであり、撮像部10から供給された画像データDTAに応じた画像データDTBを、画像処理部30に供給するように構成される。
診断部22は、センサインタフェース21に対して診断処理を行うことにより、センサインタフェース21の不具合を検出するように構成される。そして、診断部22は、センサインタフェース21の診断結果を示す診断データINF2を診断結果収集部26に通知するようになっている。
画像処理部30は、センサインタフェース21から供給された画像データDTBに基づいて、所定の画像処理を行うことにより、画像データDTCを生成するように構成される。所定の画像処理は、例えば、ゲイン調整処理、ホワイトバランス調整処理、黒レベル調整処理、HDR(High Dynamic Range)合成処理、ノイズ除去処理、画素欠陥補正処理のうちの少なくとも1つを含む。
診断部40は、画像処理部30に対して診断処理を行うことにより、画像処理部30の不具合を検出するように構成される。そして、診断部40は、画像処理部30の診断結果を示す診断データINF3を診断結果収集部26に通知するようになっている。
図3は、画像処理部30および診断部40の一構成例を表すものである。画像処理部30に供給される画像データDTBは、画像データDTBは、4つの画像データDB(画像データDB0〜DB3)を含んでおり、画像処理部30が生成する画像データDTCは、4つの画像データDC(画像データDC0〜DC3)を含んでいる。
図4は、画像データDB0,DB1,DB2,DB3の一例を表すものである。図5は、画像データDB0の一例を表すものである。
画像データDB0は、図4に示したように、赤色の画素PRに係る複数の画素値を含んでいる。具体的には、画像データDB0は、図5に示したように、0番目のラインLに係る複数の画素PRの画素値を含むライン画像データDB_R0、2番目のラインLに係る複数の画素PRの画素値を含むライン画像データDB_R2、4番目のラインLに係る複数の画素PRの画素値を含むライン画像データDB_R4、6番目のラインLに係る複数の画素PRの画素値を含むライン画像データDB_R6、…を含んでいる。
同様に、画像データDB1は、図4に示したように、緑色の画素PGrに係る複数の画素値を含んでいる。具体的には、画像データDB1は、0番目のラインLに係る複数の画素PGrの画素値を含むライン画像データDB_Gr0、2番目のラインLに係る複数の画素PGrの画素値を含むライン画像データDB_Gr2、4番目のラインLに係る複数の画素PGrの画素値を含むライン画像データDB_Gr4、6番目のラインLに係る複数の画素PGrの画素値を含むライン画像データDB_Gr6、…を含んでいる。
同様に、画像データDB2は、図4に示したように、緑色の画素PGbに係る複数の画素値を含んでいる。具体的には、画像データDB2は、1番目のラインLに係る複数の画素PGbの画素値を含むライン画像データDB_Gb1、3番目のラインLに係る複数の画素PGbの画素値を含むライン画像データDB_Gb3、5番目のラインLに係る複数の画素PGbの画素値を含むライン画像データDB_Gb5、7番目のラインLに係る複数の画素PGbの画素値を含むライン画像データDB_Gb7、…を含んでいる。
同様に、画像データDB3は、図4に示したように、青色の画素PBに係る複数の画素値を含んでいる。具体的には、画像データDB3は、1番目のラインLに係る複数の画素PBの画素値を含むライン画像データDB_B1、3番目のラインLに係る複数の画素PBの画素値を含むライン画像データDB_B3、5番目のラインLに係る複数の画素PBの画素値を含むライン画像データDB_B5、7番目のラインLに係る複数の画素PBの画素値を含むライン画像データDB_B7、…を含んでいる。
画像処理部30は、図3に示したように、4つの処理部31(処理部31A,31B,31C,31D)を有している。4つの処理部31は、互いに同じ回路構成を有し、互いに同様の画像処理を行うように構成される。処理部31Aは、画像データDB0に基づいて所定の画像処理を行うことにより画像データDC0を生成するように構成される。処理部31Bは、画像データDB1に基づいて所定の画像処理を行うことにより画像データDC1を生成するように構成される。処理部31Cは、画像データDB2に基づいて所定の画像処理を行うことにより画像データDC2を生成するように構成される。処理部31Dは、画像データDB3に基づいて所定の画像処理を行うことにより画像データDC3を生成するように構成される。この構成により、画像処理部30は、並列的に画像処理を行うようになっている。以下、処理部31A,31B,31C,31Dを、適宜、チャネルCH0,CH1,CH2,CH3とも呼ぶ。
診断部40は、セレクタ41と、処理部42と、セレクタ43と、比較部44と、診断処理部45とを有している。
セレクタ41は、選択制御信号SELに基づいて、画像データDB0〜DB3のうちのいずれか1つを選択し、選択された画像データDBを処理部42に供給するように構成される。
処理部42は、画像処理部30の4つの処理部31のそれぞれと同じ回路構成を有し、セレクタ41から供給された画像データDBに基づいて所定の画像処理を行うことにより画像データDSを生成するように構成される。以下、この処理部42を、適宜、チャネルCH4とも呼ぶ。
セレクタ43は、選択制御信号SELに基づいて、画像データDC0〜DC3のうちのいずれか1つを選択し、選択された画像データDCを比較部44に供給するように構成される。
比較部44は、処理部42により生成された画像データDSと、セレクタ43から供給された画像データDCとを比較し、その比較結果を診断処理部45に供給するように構成される。
診断処理部45は、画像処理部30に対する診断処理を制御するように構成される。具体的には、診断処理部45は、画像処理部30における複数の処理部31A〜31D(チャネルCH0〜CH3)のうちのいずれか1つを選択することを指示する選択制御信号SELを生成する。例えば、診断処理部45は、処理部31A,31B,31C,31Dの順に順次、巡回的に選択するように、選択制御信号SELを生成する。そして、診断処理部45は、処理部31A(チャネルCH0)が選択された場合における比較部44の比較結果、処理部31B(チャネルCH1)が選択された場合における比較部44の比較結果、処理部31C(チャネルCH2)が選択された場合における比較部44の比較結果、および処理部31D(チャネルCH3)が選択された場合における比較部44の比較結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているのかを診断する。そして、診断処理部45は、画像処理部30の診断結果を示す診断データINF3を、診断結果収集部26に通知する。診断データINF3は、例えば、画像処理部30および診断部40に不具合が生じているかどうかについてのデータを含む。また、診断データINF3は、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどれに不具合が生じているのかなどの詳細な診断データを含む。
この構成により、画像処理部30では、4つの処理部31A〜31D(チャネルCH0〜CH3)が、画像データDB0〜DB3に基づいて画像処理を行う。診断処理部45は、これらの4つの処理部31A〜31Dのうちの1つを時分割的に順次選択し、セレクタ41は、選択された処理部31に入力される画像データDBを、診断部40の処理部42(チャネルCH4)に供給する。この処理部42は、セレクタ41から供給された画像データDBに基づいて画像処理を行うことにより画像データDSを生成する。セレクタ43は、選択された処理部31が生成した画像データDCを、比較部44に供給する。比較部44は、処理部42から供給された画像データDSと、セレクタ43から供給された画像データDCとを比較する。画像処理部30および診断部40に不具合が生じていない場合には、これらの画像データは互いに一致することが期待される。そして、診断処理部45は、比較部44における比較結果に基づいて、画像処理部30における不具合を検出するようになっている。
送信データ生成部23(図1)は、画像データDTCに基づいて、所定の伝送フォーマットを有する送信データDTを生成するように構成される。また、送信データ生成部23は、レジスタ27から供給されたデータを送信データDTに埋め込むことができるようになっている。
診断部24は、送信データ生成部23に対して診断処理を行うことにより、送信データ生成部23の不具合を検出するように構成される。そして、診断部24は、送信データ生成部23の診断結果を示す診断データINF4を診断結果収集部26に通知するようになっている。
送信部25は、送信データ生成部23から供給された送信データDTを、例えばMIPI(Mobile Industry Processor Interface)などの高速インタフェースを介して、ホスト装置100(図示せず)に対して送信するように構成される。
診断結果収集部26は、診断部13,22,40,24から供給された診断データINF1〜INF4を収集するとともに、診断データINF1〜INF4に応じた詳細な診断結果を示す診断データINFをレジスタ27に記憶させるように構成される。また、診断結果収集部26は、診断データINF1〜INF4に基づいて、撮像装置1に不具合が生じているかどうかを示すエラー信号ERRを生成し、このエラー信号ERRを出力するようになっている。
レジスタ27は、診断データINFを記憶するように構成される。レジスタ27に記憶されたデータは、通信部28を介して、ホスト装置100(図示せず)などの外部の装置から読み出されることができるようになっている。また、レジスタ27は、この診断データINFを、送信データ生成部23に供給することができるようになっている。この場合には、送信データ生成部23は、この診断データINFを送信データDTに埋め込むようになっている。
通信部28は、例えばI2Cなどの低速インタフェースを介して、ホスト装置100(図示せず)などの外部の装置と通信を行うことができるように構成される。
図6は、送信データDTの伝送フォーマットの一例を表すものである。フレームスタートFSからフレームエンドFEまでのデータが、1フレーム分の画像データを示す。送信データ生成部23は、画像データDTCに基づいて、複数のパケットPCTを生成することにより、1フレーム分の送信データDTを生成する。
撮像装置1は、図6(A)に示したように、画像領域Aにおける画像データを送信する。画像領域Aは、有効画素領域A1と、ダミー領域A2,A3とを含んでいる。有効画素領域A1は、画素アレイ11における、いわゆる有効画素が配置された領域に対応する画像領域である。ダミー領域A2は、有効画素領域A1の上に配置され、ダミー領域A3は、有効画素領域A1の下に配置される。送信データ生成部23は、診断データINFを送信データDTに埋め込む場合には、例えば、ダミー領域A2やダミー領域A3に、この診断データINFを挿入することができる。
1つのパケットPCTは、図6(B)に示したように、ヘッダPHと、ペイロードPPと、フッタPFとを含む。ペイロードPPは、画像領域Aにおける1ライン分の画像データを含む。よって、撮像装置1は、画像領域Aにおける上下方向の画素数と同数のパケットPCTを用いて、画像領域Aにおける画像データを送信することができる。このように、撮像装置1は、1フレーム分の画像データをライン単位で送信するようになっている。
ここで、処理部31A〜31Dは、本開示における「複数の第1の処理部」の一具体例に対応する。画像データDB0〜DB3は、本開示における「複数の第1の信号」の一具体例に対応する。画像データDC0〜DC3は、本開示における「複数の第2の信号」の一具体例に対応する。診断処理部45は、本開示における「制御部」の一具体例に対応する。セレクタ41は、本開示における「第1の選択部」の一具体例に対応する。処理部42は、本開示における「第2の処理部」の一具体例に対応する。画像データDSは、本開示における「第3の信号」の一具体例に対応する。セレクタ43は、本開示における「第2の選択部」の一具体例に対応する。比較部44は、本開示における「第1の比較部」の一具体例に対応する。診断結果収集部26は、本開示における「出力部」の一具体例に対応する。撮像部10およびセンサインタフェース21は、本開示における「撮像部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、撮像装置1の全体動作概要を説明する。撮像部10は、撮像動作を行うことにより、画像データDTAを生成する。具体的には、画素アレイ11の各画素Pは、受光量に応じた画素電圧を生成し、AD変換部12は、各画素Pから供給された画素電圧に基づいてAD変換を行うことにより、デジタル値である画素値を生成する。診断部13は、AD変換部12に対して診断処理を行い、AD変換部12の診断結果を示す診断データINF1を診断結果収集部26に通知する。センサインタフェース21は、撮像部10から供給された画像データDTAに応じた画像データDTBを、画像処理部30に供給する。診断部22は、センサインタフェース21に対して診断処理を行い、センサインタフェース21の診断結果を示す診断データINF2を診断結果収集部26に通知する。画像処理部30は、センサインタフェース21から供給された画像データDTBに基づいて、所定の画像処理を行うことにより、画像データDTCを生成する。診断部40は、画像処理部30に対して診断処理を行い、画像処理部30の診断結果を示す診断データINF3を診断結果収集部26に通知する。送信データ生成部23は、画像データDTCに基づいて、所定の伝送フォーマットを有する送信データDTを生成する。診断部24は、送信データ生成部23に対して診断処理を行い、送信データ生成部23の診断結果を示す診断データINF4を診断結果収集部26に通知する。送信部25は、送信データ生成部23から供給された送信データDTを、ホスト装置100(図示せず)に対して送信する。診断結果収集部26は、診断部13,22,40,24から供給された診断データINF1〜INF4を収集するとともに、診断データINF1〜INF4に応じた詳細な診断結果を示す診断データINFをレジスタ27に記憶させる。また、診断結果収集部26は、診断データINF1〜INF4に基づいて、撮像装置1に不具合が生じているかどうかを示すエラー信号ERRを生成し、このエラー信号ERRを出力する。レジスタ27は、診断データINFを記憶する。通信部28は、ホスト装置100(図示せず)などの外部の装置と通信を行う。
まず、図1を参照して、撮像装置1の全体動作概要を説明する。撮像部10は、撮像動作を行うことにより、画像データDTAを生成する。具体的には、画素アレイ11の各画素Pは、受光量に応じた画素電圧を生成し、AD変換部12は、各画素Pから供給された画素電圧に基づいてAD変換を行うことにより、デジタル値である画素値を生成する。診断部13は、AD変換部12に対して診断処理を行い、AD変換部12の診断結果を示す診断データINF1を診断結果収集部26に通知する。センサインタフェース21は、撮像部10から供給された画像データDTAに応じた画像データDTBを、画像処理部30に供給する。診断部22は、センサインタフェース21に対して診断処理を行い、センサインタフェース21の診断結果を示す診断データINF2を診断結果収集部26に通知する。画像処理部30は、センサインタフェース21から供給された画像データDTBに基づいて、所定の画像処理を行うことにより、画像データDTCを生成する。診断部40は、画像処理部30に対して診断処理を行い、画像処理部30の診断結果を示す診断データINF3を診断結果収集部26に通知する。送信データ生成部23は、画像データDTCに基づいて、所定の伝送フォーマットを有する送信データDTを生成する。診断部24は、送信データ生成部23に対して診断処理を行い、送信データ生成部23の診断結果を示す診断データINF4を診断結果収集部26に通知する。送信部25は、送信データ生成部23から供給された送信データDTを、ホスト装置100(図示せず)に対して送信する。診断結果収集部26は、診断部13,22,40,24から供給された診断データINF1〜INF4を収集するとともに、診断データINF1〜INF4に応じた詳細な診断結果を示す診断データINFをレジスタ27に記憶させる。また、診断結果収集部26は、診断データINF1〜INF4に基づいて、撮像装置1に不具合が生じているかどうかを示すエラー信号ERRを生成し、このエラー信号ERRを出力する。レジスタ27は、診断データINFを記憶する。通信部28は、ホスト装置100(図示せず)などの外部の装置と通信を行う。
(詳細動作)
図7は、撮像装置1に不具合が生じていない場合における、画像処理部30および診断部40の一動作例を表すものであり、図8は、図7における部分Wを詳細に表すものである。図7(A)は同期信号Vsyncの波形を示し、(B)〜(E)は画像処理部30の処理部31A〜31Dに入力される画像データDB0〜DB3をそれぞれ示し、(F)は診断部40の処理部42に入力される画像データDBを示し、(G)〜(J)は処理部31A〜31Dが生成する画像データDC0〜DC3をそれぞれ示し、(K)はセレクタ43から出力される画像データDCを示し、(L)は処理部42が生成する画像データDSを示し、(M)は撮像装置1から出力されるエラー信号ERRの波形を示す。図8(A)は選択制御信号SELを示し、図8(B)〜(M)は図7(B)〜(M)と同様である。図7(B)〜(E)および図8(B)〜(E)において、太線で示した部分は、処理部42に供給される画像データを示す。図7(G)〜(J)および図8(G)〜(J)において、太線で示した部分は、比較部44に供給される画像データを示す。この例では、エラー信号ERRは、撮像装置1に不具合が生じていない場合に低レベルであり、撮像装置1に不具合が生じた場合に高レベルである信号である。なお、エラー信号ERRは、これに限定されるものではなく、例えば、撮像装置1に不具合が生じていない場合に高レベルであり、撮像装置1に不具合が生じた場合に低レベルである信号であってもよい。
図7は、撮像装置1に不具合が生じていない場合における、画像処理部30および診断部40の一動作例を表すものであり、図8は、図7における部分Wを詳細に表すものである。図7(A)は同期信号Vsyncの波形を示し、(B)〜(E)は画像処理部30の処理部31A〜31Dに入力される画像データDB0〜DB3をそれぞれ示し、(F)は診断部40の処理部42に入力される画像データDBを示し、(G)〜(J)は処理部31A〜31Dが生成する画像データDC0〜DC3をそれぞれ示し、(K)はセレクタ43から出力される画像データDCを示し、(L)は処理部42が生成する画像データDSを示し、(M)は撮像装置1から出力されるエラー信号ERRの波形を示す。図8(A)は選択制御信号SELを示し、図8(B)〜(M)は図7(B)〜(M)と同様である。図7(B)〜(E)および図8(B)〜(E)において、太線で示した部分は、処理部42に供給される画像データを示す。図7(G)〜(J)および図8(G)〜(J)において、太線で示した部分は、比較部44に供給される画像データを示す。この例では、エラー信号ERRは、撮像装置1に不具合が生じていない場合に低レベルであり、撮像装置1に不具合が生じた場合に高レベルである信号である。なお、エラー信号ERRは、これに限定されるものではなく、例えば、撮像装置1に不具合が生じていない場合に高レベルであり、撮像装置1に不具合が生じた場合に低レベルである信号であってもよい。
画像処理部30では、4つの処理部31A〜31D(チャネルCH0〜CH3)が、画像データDB0〜DB3に基づいて画像処理を行うことにより、画像データDC0〜DC3を生成する。診断処理部45は、これらの4つの処理部31A〜31Dのうちの1つを時分割的に順次選択し、セレクタ41は、選択された処理部31に入力される画像データDBを、診断部40の処理部42(チャネルCH4)に供給する。この処理部42は、セレクタ41から供給された画像データDBに基づいて画像処理を行うことにより画像データDSを生成する。セレクタ43は、選択された処理部31が生成した画像データDCを、比較部44に供給する。比較部44は、処理部42から供給された画像データDSと、セレクタ43から供給された画像データDCとを比較する。そして、診断処理部45は、比較部44における比較結果に基づいて、画像処理部30における不具合を検出する。以下に、この動作について、詳細に説明する。
図7に示したように、タイミングt1において、同期信号Vsyncにパルスが生じることにより、フレーム期間Fが開始する(図7(A))。図8に示したように、処理部31A(チャネルCH0)は、このフレーム期間Fにおいて、画像データDB0(ライン画像データDB_R0,DB_R2,DB_R4,DB_R6,…)に基づいて画像処理を行うことにより、画像データDC0(ライン画像データDC_R0,DC_R2,DC_R4,DC_R6,…)を生成する(図8(B),(G))。処理部31B(チャネルCH1)は、このフレーム期間Fにおいて、画像データDB1(ライン画像データDB_Gr0,DB_Gr2,DB_Gr4,DB_Gr6,…)に基づいて画像処理を行うことにより、画像データDC1(ライン画像データDC_Gr0,DC_Gr2,DC_Gr4,DC_Gr6,…)を生成する(図8(C),(H))。処理部31C(チャネルCH2)は、このフレーム期間Fにおいて、画像データDB2(ライン画像データDB_Gb1,DB_Gb3,DB_Gb5,DB_Gb7,…)に基づいて画像処理を行うことにより、画像データDC2(ライン画像データDC_Gb1,DC_Gb3,DC_Gb5,DC_Gb7,…)を生成する(図8(D),(I))。処理部31D(チャネルCH3)は、このフレーム期間Fにおいて、画像データDB3(ライン画像データDB_B1,DB_B3,DB_B5,DB_B7,…)に基づいて画像処理を行うことにより、画像データDC3(ライン画像データDC_B1,DC_B3,DC_B5,DC_B7,…)を生成する(図8(E),(J))。
診断部40は、期間Tにおいて、4つの処理部31A〜31Dに対して、診断処理を順次行う。
まず、タイミングt11において、診断処理部45は、処理部31A(チャネルCH0)を選択し、その選択結果に応じた選択制御信号SELを生成する(図8(A))。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH0に係る画像データDB0を選択する(図7(B),8(B))。これにより、この画像データDB0に含まれるライン画像データDB_R0が処理部42(チャネルCH4)に供給される(図7(F)、8(F))。処理部42は、このライン画像データDB_R0に基づいて所定の処理を行うことにより、ライン画像データDC_R0を生成する(図8(L))。そして、このライン画像データDC_R0が比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH0に係る画像データDC0を選択する(図7(G),8(G))。これにより、この画像データDC0に含まれるライン画像データDC_R0が比較部44に供給される(図7(K),8(K))。
比較部44は、処理部42から供給されたライン画像データDC_R0と、セレクタ43から供給されたライン画像データDC_R0とを比較する。この例では、選択された処理部31A(チャネルCH0)および処理部42(チャネルCH4)には不具合が生じていないので、これらのライン画像データDC_R0は互いに一致する(図8(K),(L))。よって、比較部44は、処理部31A(チャネルCH0)および処理部42(チャネルCH4)には不具合は生じていないと判定する。これにより、診断結果収集部26は、エラー信号ERRを低レベルに維持する(図7(M),8(M))。
次に、タイミングt12において、診断処理部45は、処理部31B(チャネルCH1)を選択し、その選択結果に応じた選択制御信号SELを生成する(図8(A))。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDB1を選択する(図7(C),8(C))。これにより、この画像データDB1に含まれるライン画像データDB_Gr2が処理部42(チャネルCH4)に供給される(図7(F),8(F))。処理部42は、このライン画像データDB_Gr2に基づいて所定の処理を行うことにより、ライン画像データDC_Gr2を生成する(図8(L))。そして、このライン画像データDC_Gr2が比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDC1を選択する(図7(H),8(H))。これにより、この画像データDC1に含まれるライン画像データDC_Gr2が比較部44に供給される(図7(K),8(K))。
比較部44は、処理部42から供給されたライン画像データDC_Gr2と、セレクタ43から供給されたライン画像データDC_Gr2とを比較する。この例では、選択された処理部31B(チャネルCH1)および処理部42(チャネルCH4)には不具合が生じていないので、これらのライン画像データDC_Gr2は互いに一致する(図8(K),(L))。よって、比較部44は、処理部31B(チャネルCH1)および処理部42(チャネルCH4)には不具合は生じていないと判定する。これにより、診断結果収集部26は、エラー信号ERRを低レベルに維持する(図7(M),8(M))。
次に、タイミングt13において、診断処理部45は、処理部31C(チャネルCH2)を選択し、その選択結果に応じた選択制御信号SELを生成する(図8(A))。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH2に係る画像データDB2を選択する(図7(D),8(D))。これにより、この画像データDB2に含まれるライン画像データDB_Gb5が処理部42(チャネルCH4)に供給される(図7(F),8(F))。処理部42は、このライン画像データDB_Gb5に基づいて所定の処理を行うことにより、ライン画像データDC_Gb5を生成する(図8(L))。そして、このライン画像データDC_Gb5が比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH2に係る画像データDC2を選択する(図7(I),8(I))。これにより、この画像データDC2に含まれるライン画像データDC_Gb5が比較部44に供給される(図7(K),8(K))。
比較部44は、処理部42から供給されたライン画像データDC_Gb5と、セレクタ43から供給されたライン画像データDC_Gb5とを比較する。この例では、選択された処理部31C(チャネルCH2)および処理部42(チャネルCH4)には不具合が生じていないので、これらのライン画像データDC_Gb5は互いに一致する(図8(K),(L))。よって、比較部44は、処理部31C(チャネルCH2)および処理部42(チャネルCH4)には不具合は生じていないと判定する。これにより、診断結果収集部26は、エラー信号ERRを低レベルに維持する(図7(M),8(M))。
次に、タイミングt14において、診断処理部45は、処理部31D(チャネルCH3)を選択し、その選択結果に応じた選択制御信号SELを生成する(図8(A))。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDB3を選択する(図7(E),8(E))。これにより、この画像データDB3に含まれるライン画像データDB_B7が処理部42(チャネルCH4)に供給される(図7(F),8(F))。処理部42は、このライン画像データDB_B7に基づいて所定の処理を行うことにより、ライン画像データDC_B7を生成する(図8(L))。そして、このライン画像データDC_B7が比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDC3を選択する(図7(J),8(J))。これにより、この画像データDC3に含まれるライン画像データDC_B7が比較部44に供給される(図7(K),8(K))。
比較部44は、処理部42から供給されたライン画像データDC_B7と、セレクタ43から供給されたライン画像データDC_B7とを比較する。この例では、選択された処理部31D(チャネルCH3)および処理部42(チャネルCH4)には不具合が生じていないので、これらのライン画像データDC_B7は互いに一致する(図8(K),(L))。よって、比較部44は、処理部31D(チャネルCH3)および処理部42(チャネルCH4)には不具合は生じていないと判定する。これにより、診断結果収集部26は、エラー信号ERRを低レベルに維持する(図7(M),8(M))。
このようにして、診断部40は、期間Tにおいて、4つの処理部31A〜31Dに対して、ライン画像データを単位として、診断処理を1回ずつ順次行う。そして、診断部40は、期間Tを周期として、この処理を繰り返す。これにより、診断部40は、フレーム期間Fにおいて、4つの処理部31A〜31Dを巡回するように選択することにより、4つの処理部31A〜31Dに対して、診断処理を繰り返し行う。
次に、不具合が生じている場合における、画像処理部30および診断部40の動作について、いくつか例を挙げて詳細に説明する。
図9は、画像処理部30の処理部31B(チャネルCH1)に不具合が生じている場合における、画像処理部30および診断部40の一動作例を表すものである。図9(H)において、部分W1は、所望の画像データとは異なる画像データの部分を示す。この例では、タイミングt21以降において、処理部31B(チャネルCH1)に不具合が生じている。よって、このタイミングt21以降において、この処理部31Bが生成した画像データDC1は、所望の画像データとは異なっている(図9(H))。
診断部40は、4つの処理部31A〜31Dを巡回するように選択することにより、4つの処理部31A〜31Dに対して、診断処理を繰り返し行う。そして、タイミングt22において、診断処理部45は、処理部31B(チャネルCH1)を選択し、その選択結果に応じた選択制御信号SELを生成する。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDB1を選択する(図9(C))。これにより、この画像データDB1に含まれるライン画像データが処理部42(チャネルCH4)に供給される(図9(F))。処理部42は、このライン画像データに基づいて所定の処理を行うことにより、ライン画像データを生成する(図9(L))。そして、このライン画像データが比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDC1を選択する(図9(H))。これにより、この画像データDC1に含まれるライン画像データが比較部44に供給される(図9(K))。
比較部44は、処理部42から供給されたライン画像データ(図9(L))と、セレクタ43から供給されたライン画像データ(図9(K))とを比較する。この例では、タイミングt21以降において、処理部31B(チャネルCH1)に不具合が生じているので、処理部42から供給されたライン画像データと、セレクタ43から供給されたライン画像データとは、互いに一致しない。診断処理部45は、この比較結果を含む診断データINF3を診断結果収集部26に供給する。これにより、診断結果収集部26は、エラー信号ERRを低レベルから高レベルに変化させる(図9(M))。
その後、診断処理部45は、4つの処理部31A〜31Dに対して、引き続き診断処理を行う。そして、診断処理部45は、タイミングt22〜t23の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断する。この例では、処理部31B(チャネルCH1)を選択した場合にのみ比較結果が“不一致”を示し、処理部31C(チャネルCH2)を選択した場合、処理部31D(チャネルCH3)を選択した場合、および処理部31A(チャネルCH0)を選択した場合において、比較結果が“一致”を示す。よって、診断処理部45は、処理部31Bに不具合が生じていると診断する。そして、診断処理部45は、この診断結果を含む診断データINF3を診断結果収集部26に供給する。
この例では、処理部31B(チャネルCH1)に不具合が生じているので、画像処理部30は、所望の画像データとは異なる画像データを出力する。これにより、撮像装置1は、所望の送信データとは異なる画像データを、ホスト装置100(図示せず)に対して送信する。また、診断処理部45は、処理部31B(チャネルCH1)に不具合が生じている旨を診断結果収集部26に通知し、診断結果収集部26は、エラー信号ERRをアクティブにする。
図10は、診断部40の処理部42(チャネルCH4)に不具合が生じている場合における、画像処理部30および診断部40の一動作例を表すものである。図10(L)において、部分W2は、所望の画像データとは異なる画像データの部分を示す。この例では、タイミングt26以降において、処理部42(チャネルCH4)に不具合が生じる。よって、このタイミングt26以降において、この処理部42が生成した画像データDSは、所望の画像データとは異なっている(図10(L))。
診断部40は、4つの処理部31A〜31Dを巡回するように選択することにより、4つの処理部31A〜31Dに対して、診断処理を繰り返し行う。タイミングt26において、診断処理部45は、処理部31D(チャネルCH3)を選択し、その選択結果に応じた選択制御信号SELを生成する。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDB3を選択する(図10(E))。これにより、この画像データDB3に含まれるライン画像データが処理部42(チャネルCH4)に供給される(図10(F))。処理部42は、このライン画像データに基づいて所定の処理を行うことにより、ライン画像データを生成する(図10(L))。そして、このライン画像データが比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDC3を選択する(図10(J))。これにより、この画像データDC3に含まれるライン画像データが比較部44に供給される(図10(K))。
比較部44は、処理部42から供給されたライン画像データ(図10(L))と、セレクタ43から供給されたライン画像データ(図10(K))とを比較する。この例では、タイミングt26以降において、診断部40の処理部42(チャネルCH4)に不具合が生じているので、処理部42から供給されたライン画像データと、セレクタ43から供給されたライン画像データとは、互いに一致しない。診断処理部45は、この比較結果を含む診断データINF3を診断結果収集部26に供給する。これにより、診断結果収集部26は、エラー信号ERRを低レベルから高レベルに変化させる(図10(M))。
その後、診断処理部45は、4つの処理部31A〜31Dに対して、引き続き診断処理を行う。そして、診断処理部45は、タイミングt26〜t27の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断する。この例では、処理部31A〜31D(チャネルCH0〜CH3)のうちのいずれを選択した場合にも、比較結果が“不一致”を示す。よって、診断処理部45は、診断部40の処理部42に不具合が生じていると診断する。そして、診断処理部45は、この診断結果を含む診断データINF3を診断結果収集部26に供給する。
この例では、処理部42(チャネルCH4)に不具合が生じているが、処理部31A〜31D(チャネルCH0〜CH3)には不具合は生じていないので、画像処理部30は、所望の画像データを出力する。これにより、撮像装置1は、所望の送信データを、ホスト装置100(図示せず)に対して送信する。また、診断処理部45は、処理部42(チャネルCH3)に不具合が生じている旨を診断結果収集部26に通知し、診断結果収集部26は、エラー信号ERRをアクティブにする。
このように、撮像装置1では、画像処理部30の4つの処理部31のそれぞれと同じ回路構成を有する処理部42を設け、診断処理部45が、4つの処理部31A〜31Dのうちの1つを選択し、セレクタ41が、選択された処理部31に入力される画像データDBを処理部42に供給するようにした。そして、比較部44が、選択された処理部31が生成した画像データDCと、処理部42が生成した画像データDSとを比較し、診断処理部45が、比較部44の比較結果に基づいて画像処理部30を診断するようにした。これにより、撮像装置1では、撮像動作(通常動作)を行う期間(いわゆるランタイム)において、診断処理を行うことができる。
すなわち、例えば、いわゆる垂直ブランキング期間など、撮像装置が撮像動作(通常動作)を行う期間とは異なる期間に診断用の期間を設け、この例えば診断用のデータを用いて診断処理を行う場合には、診断処理を行う時間が限られているため、十分な診断を行うことができないおそれがある。また、診断用のデータは、不具合を検出する精度が高いデータパターンを有することが望まれ、このような診断用のデータを生成する生成回路を設ける必要がある。
一方、本実施の形態では、撮像動作を行う期間に、通常の画像処理と並行して診断処理を行うことができるので、診断処理を行う時間を確保することができる。また、撮像動作により得られた実際の画像データを用いて診断処理を行うことができ、診断用のデータを生成する生成回路を設ける必要がない。このように、撮像装置1では、診断処理を行う時間を確保することができ、また、実際の画像データを用いて診断処理を行うことができるので、撮像装置1では、診断精度を向上することができる。
[効果]
以上のように本実施の形態では、4つの処理部31のそれぞれと同じ回路構成を有する処理部42を設け、診断処理部が、4つの処理部31のうちの1つを選択し、セレクタ41が、選択された処理部31に入力される画像データを処理部42に供給するようにした。そして、比較部が、選択された処理部31が生成した画像データと、処理部42が生成した画像データとを比較し、診断処理部が、比較部の比較結果に基づいて画像処理部を診断するようにした。これにより、撮像装置では、撮像動作(通常動作)を行う期間において、診断処理を行うことができる。
以上のように本実施の形態では、4つの処理部31のそれぞれと同じ回路構成を有する処理部42を設け、診断処理部が、4つの処理部31のうちの1つを選択し、セレクタ41が、選択された処理部31に入力される画像データを処理部42に供給するようにした。そして、比較部が、選択された処理部31が生成した画像データと、処理部42が生成した画像データとを比較し、診断処理部が、比較部の比較結果に基づいて画像処理部を診断するようにした。これにより、撮像装置では、撮像動作(通常動作)を行う期間において、診断処理を行うことができる。
[変形例1−1]
上記実施の形態では、ライン画像データを単位として、4つの処理部31を時分割的に順次選択したが、これに限定されるものではない。これに代えて、例えば、複数のライン画像データを単位として、4つの処理部31を時分割的に順次選択してもよいし、1ライン分の画像データよりも少ない画像データを単位として、4つの処理部31を時分割的に順次選択してもよい。
上記実施の形態では、ライン画像データを単位として、4つの処理部31を時分割的に順次選択したが、これに限定されるものではない。これに代えて、例えば、複数のライン画像データを単位として、4つの処理部31を時分割的に順次選択してもよいし、1ライン分の画像データよりも少ない画像データを単位として、4つの処理部31を時分割的に順次選択してもよい。
[変形例1−2]
上記実施の形態では、画像処理部30に4つの処理部31を設けたが、これに限定されるものではない。これに代えて、例えば、3つ以下の複数の処理部31を設けてもよいし、5つ以上の処理部31を設けてもよい。
上記実施の形態では、画像処理部30に4つの処理部31を設けたが、これに限定されるものではない。これに代えて、例えば、3つ以下の複数の処理部31を設けてもよいし、5つ以上の処理部31を設けてもよい。
[変形例1−3]
上記の実施の形態では、図9に示したように、診断処理部45は、タイミングt22〜t23の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断するようにしたが、これに限定されるものではない。例えば、タイミングt22以降において、処理部31Bに対して診断処理を行った場合の比較結果が“不一致”を示し、次に、処理部31Cに対して診断処理を行った場合の比較結果が“一致”を示した場合に、処理部31Bに不具合が生じていると診断してもよい。
上記の実施の形態では、図9に示したように、診断処理部45は、タイミングt22〜t23の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断するようにしたが、これに限定されるものではない。例えば、タイミングt22以降において、処理部31Bに対して診断処理を行った場合の比較結果が“不一致”を示し、次に、処理部31Cに対して診断処理を行った場合の比較結果が“一致”を示した場合に、処理部31Bに不具合が生じていると診断してもよい。
同様に、上記実施の形態では、図10に示したように、診断処理部45は、タイミングt26〜t27の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断するようにしたが、これに限定されるものではない。例えば、タイミングt26以降において、処理部31Dに対して診断処理を行った場合の比較結果が“不一致”を示し、次に、処理部31Aに対して診断処理を行った場合の比較結果が“不一致”を示した場合に、処理部42に不具合が生じていると診断してもよい。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
また、これらの変形例のうちの2以上を組み合わせてもよい。
<2.第2の実施の形態>
次に、第2の実施の形態に係る撮像装置2について説明する。本実施の形態は、画像処理装置において、4つの処理部31のうちのいずれか1つに不具合が生じた場合に、その不具合が生じた処理部31の代わりに診断部の処理部42を用いて、画像処理を行うように構成される。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第2の実施の形態に係る撮像装置2について説明する。本実施の形態は、画像処理装置において、4つの処理部31のうちのいずれか1つに不具合が生じた場合に、その不具合が生じた処理部31の代わりに診断部の処理部42を用いて、画像処理を行うように構成される。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図1に示したように、撮像装置2は、画像処理部50と、診断部60とを備えている。画像処理部50は、センサインタフェース21から供給された画像データDTBに基づいて、所定の画像処理を行うことにより、画像データDTDを生成するように構成される。診断部60は、画像処理部50に対して診断処理を行うことにより、画像処理部50の不具合を検出するように構成される。
図11は、画像処理部50および診断部60の一構成例を表すものである。画像処理部50が生成する画像データDTDは、4つの画像データDD(画像データDD0〜DD3)を含んでいる。
画像処理部50は、置換部51を有している。置換部51は、制御信号CTLに基づいて、4つの処理部31A〜31Dが生成した4つの画像データDC0〜DC3のうちの1つを、処理部42が生成した画像データDSに置き換えることにより、4つの画像データDD0〜DD3を生成するように構成される。置換部51は、4つのセレクタ52(セレクタ52A,52B,52C,52D)を有している。セレクタ52Aは、制御信号CTLに含まれる制御信号CTLAに基づいて、画像データDC0および画像データDSのうちの一方を選択し、選択した画像データを画像データDD0として出力するように構成される。セレクタ52Bは、制御信号CTLに含まれる制御信号CTLBに基づいて、画像データDC1および画像データDSのうちの一方を選択し、選択した画像データを画像データDD1として出力するように構成される。セレクタ52Cは、制御信号CTLに含まれる制御信号CTLCに基づいて、画像データDC2および画像データDSのうちの一方を選択し、選択した画像データを画像データDD2として出力するように構成される。セレクタ52Dは、制御信号CTLに含まれる制御信号CTLDに基づいて、画像データDC3および画像データDSのうちの一方を選択し、選択した画像データを画像データDD3として出力するように構成される。この構成により、置換部51は、制御信号CTLに基づいて、4つのセレクタ52のうちのいずれか1つが画像データDSを選択することにより、4つの画像データDD0〜DD3を生成するようになっている。
診断部60は、診断処理部65を有している。診断処理部65は、画像処理部50に対する診断処理を制御するように構成される。具体的には、診断処理部65は、上記第1の実施の形態に係る診断処理部45と同様に、画像処理部50における複数の処理部31A〜31D(チャネルCH0〜CH3)のうちのいずれか1つを選択することを指示する選択制御信号SELを生成する。そして、診断処理部65は、処理部31A(チャネルCH0)が選択された場合における比較部44の比較結果、処理部31B(チャネルCH1)が選択された場合における比較部44の比較結果、処理部31C(チャネルCH2)が選択された場合における比較部44の比較結果、および処理部31D(チャネルCH3)が選択された場合における比較部44の比較結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているのかを診断する。そして、診断処理部65は、画像処理部50の診断結果を示す診断データINF3を、診断結果収集部26に通知する。また、診断処理部65は、処理部31A〜31D(チャネルCH0〜CH3)のうちのいずれかに不具合が生じている場合には、不具合が生じている処理部31が生成する画像データDCを、処理部42が生成する画像データDSに置き換えることを指示する制御信号CTLを生成するようになっている。
ここで、置換部51は、本開示における「置換部」の一具体例に対応する。画像データDD0〜DD3は、本開示における「複数の第4の信号」の一具体例に対応する。
図12は、画像処理部50の処理部31B(チャネルCH1)に不具合が生じている場合における、画像処理部50および診断部60の一動作例を表すものである。図12(H)において、部分W3は、所望の画像データとは異なる画像データの部分を示す。この例では、タイミングt33以降において、処理部31B(チャネルCH1)に不具合が生じている。よって、このタイミングt33以降において、この処理部31Bが生成した画像データDC1は、所望の画像データとは異なっている(図12(H))。
タイミングt31においてフレーム期間Fが開始すると、タイミングt32において、画像処理部50は、画像データDB0〜DB3に基づいて、画像データDD0〜DD3を生成し始める(図12(B)〜(E),(G)〜(J),(N)〜(Q))。
図13は、画像処理部50および診断部60の動作状態を表すものである。太線は、画像データの経路を示している。タイミングt32では、処理部31A,31B,31C,31D(チャネルCH0〜CH3)に不具合は生じていない。よって、処理部31A(チャネルCH0)は、画像データDB0に基づいて画像処理を行うことにより画像データDC0を生成し、セレクタ52Aは、制御信号CTLAに基づいて画像データDC0を選択し、この画像データDC0を画像データDD0として出力する。同様に、処理部31B(チャネルCH1)は、画像データDB1に基づいて画像処理を行うことにより画像データDC1を生成し、セレクタ52Bは、制御信号CTLBに基づいて画像データDC1を選択し、この画像データDC1を画像データDD1として出力する。処理部31C(チャネルCH2)は、画像データDB2に基づいて画像処理を行うことにより画像データDC2を生成し、セレクタ52Cは、制御信号CTLCに基づいて画像データDC2を選択し、この画像データDC2を画像データDD2として出力する。処理部31D(チャネルCH3)は、画像データDB3に基づいて画像処理を行うことにより画像データDC3を生成し、セレクタ52Dは、制御信号CTLDに基づいて画像データDC3を選択し、この画像データDC3を画像データDD3として出力する。
診断部60は、上記第1の実施の形態の場合と同様に、4つの処理部31A〜31Dを巡回するように選択することにより、4つの処理部31A〜31Dに対して、診断処理を繰り返し行う(図12(B)〜(M))。この例では、タイミングt33において、処理部31B(チャネルCH1)に不具合が生じる。これにより、このタイミングt33以降において、処理部31Bが生成した画像データDC1は、所望の画像データとは異なる。
そして、タイミングt34において、診断処理部65は、処理部31B(チャネルCH1)を選択し、その選択結果に応じた選択制御信号SELを生成する。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDB1を選択する(図12(C))。これにより、この画像データDB1に含まれるライン画像データが処理部42(チャネルCH4)に供給される(図12(F))。処理部42は、このライン画像データに基づいて所定の処理を行うことにより、ライン画像データを生成する(図12(L))。そして、このライン画像データが比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH1に係る画像データDC1を選択する(図12(H))。これにより、この画像データDC1に含まれるライン画像データが比較部44に供給される(図12(K))。
比較部44は、処理部42から供給されたライン画像データ(図12(L))と、セレクタ43から供給されたライン画像データ(図12(K))とを比較する。この例では、タイミングt33以降において、処理部31B(チャネルCH1)に不具合が生じているので、処理部42から供給されたライン画像データと、セレクタ43から供給されたライン画像データとは、互いに一致しない。診断処理部65は、この比較結果を含む診断データINF3を診断結果収集部26に供給する。これにより、診断結果収集部26は、エラー信号ERRを低レベルから高レベルに変化させる(図12(M))。
そして、診断処理部65は、タイミングt34〜t35の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断する。この例では、処理部31B(チャネルCH1)を選択した場合にのみ比較結果が“不一致”を示し、処理部31C(チャネルCH2)を選択した場合、処理部31D(チャネルCH3)、および処理部31A(チャネルCH0)を選択した場合において、比較結果が“一致”を示す。よって、診断処理部65は、処理部31Bに不具合が生じていると診断する。そして、診断処理部65は、この診断結果を含む診断データINF3を診断結果収集部26に供給する。
そして、診断処理部65は、このタイミングt35以降において、不具合が生じている処理部31B(チャネルCH1)を選択し、その選択結果に応じた選択制御信号SELを生成する。また、診断処理部65は、不具合が生じている処理部31B(チャネルCH1)が生成する画像データDCを、処理部42が生成する画像データDSに置き換えることを指示する制御信号CTLを生成する。
図14は、画像処理部50および診断部60の動作状態を表すものである。太線は、画像データの経路を示している。タイミングt35以降では、セレクタ41は、選択制御信号SELに基づいて、処理部31B(チャネルCH1)に入力される画像データDB1を選択し、この画像データDB1を処理部42(チャネルCH4)に供給する。処理部42は、この画像データDB1に基づいて画像処理を行うことにより画像データDS(画像データDC1)を生成する。置換部51のセレクタ52Bは、制御信号CTLに基づいて、この画像データDSを選択し、この画像データDSを画像データDD1として出力する。このようにして、置換部51は、制御信号CTLに基づいて、4つの処理部31A〜31Dが生成した4つの画像データDC0〜DC3のうちの画像データDC1を、処理部42が生成した画像データDS(画像データDC1)に置き換えることにより、4つの画像データDD0〜DD3を生成する。
この例では、画像処理部50は、処理部31B(チャネルCH1)に不具合が生じた場合でも、タイミングt35以降において、所望の画像データを出力する。これにより、撮像装置1は、所望の送信データを、ホスト装置100(図示せず)に対して送信する。また、診断処理部65は、処理部31B(チャネルCH1)に不具合が生じている旨を診断結果収集部26に通知し、診断結果収集部26は、エラー信号ERRをアクティブにする。
図15は、診断部60の処理部42(チャネルCH4)に不具合が生じている場合における、画像処理部50および診断部60の一動作例を表すものである。図15(L)において、部分W4は、所望の画像データとは異なる画像データの部分を示す。この例では、タイミングt36以降において、処理部42(チャネルCH4)に不具合が生じている。よって、このタイミングt36以降において、この処理部42が生成した画像データDSは、所望の画像データとは異なっている(図15(L))。
診断部60は、4つの処理部31A〜31Dを巡回するように選択することにより、4つの処理部31A〜31Dに対して、診断処理を繰り返し行う。タイミングt36において、診断処理部65は、処理部31D(チャネルCH3)を選択し、その選択結果に応じた選択制御信号SELを生成する。セレクタ41は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDB3を選択する(図15(E))。これにより、この画像データDB3に含まれるライン画像データが処理部42(チャネルCH4)に供給される(図15(F))。処理部42は、このライン画像データに基づいて所定の処理を行うことにより、ライン画像データを生成する(図15(L))。そして、このライン画像データが比較部44に供給される。一方、セレクタ43は、この選択制御信号SELに基づいて、チャネルCH3に係る画像データDC3を選択する(図15(J))。これにより、この画像データDC3に含まれるライン画像データが比較部44に供給される(図15(K))。
比較部44は、処理部42から供給されたライン画像データ(図15(L))と、セレクタ43から供給されたライン画像データ(図15(K))とを比較する。この例では、タイミングt36以降において、診断部60の処理部42(チャネルCH4)に不具合が生じているので、処理部42から供給されたライン画像データと、セレクタ43から供給されたライン画像データとは、互いに一致しない。診断処理部65は、この比較結果を含む診断データINF3を診断結果収集部26に供給する。これにより、診断結果収集部26は、エラー信号ERRを低レベルから高レベルに変化させる(図15(M))。
その後、診断処理部65は、4つの処理部31A〜31Dに対して、引き続き診断処理を行う。そして、診断処理部65は、タイミングt36〜t37の期間において、4つの処理部31A〜31Dに対して1回ずつ診断処理を行った結果に基づいて、処理部31A〜31D,42(チャネルCH0〜CH4)のうちのどの処理部に不具合が生じているかを診断する。この例では、処理部31A〜31D(チャネルCH1〜CH4)のうちのいずれを選択した場合にも、比較結果が“不一致”を示す。よって、診断処理部65は、診断部60の処理部42に不具合が生じていると診断する。そして、診断処理部65は、この診断結果を含む診断データINF3を診断結果収集部26に供給する。
この例では、処理部42(チャネルCH4)に不具合が生じているが、処理部31A〜31D(チャネルCH0〜CH3)には不具合は生じていないので、画像処理部50は、所望の画像データを出力する。すなわち、図13に示したように、処理部31A(チャネルCH0)は、画像データDB0に基づいて画像処理を行うことにより画像データDC0を生成し、セレクタ52Aは、制御信号CTLAに基づいて画像データDC0を選択し、この画像データDC0を画像データDD0として出力する。処理部31B〜31D(チャネルCH0〜CH3)およびセレクタ52B〜52Dについても同様である。これにより、撮像装置2は、所望の送信データを、ホスト装置100(図示せず)に対して送信する。また、診断処理部65は、処理部42(チャネルCH3)に不具合が生じている旨を診断結果収集部26に通知し、診断結果収集部26は、エラー信号ERRをアクティブにする。
このように、撮像装置2では、置換部51を設け、置換部51が、比較部44における比較結果に基づいて、4つの処理部31A〜31Dが生成した4つの画像データDC0〜DC3のうちの1つを、処理部42が生成した画像データDSに置き換えるようにした。これにより、撮像装置2では、処理部31A〜31D(チャネルCH0〜CH3)のうちのいずれかに不具合が生じた場合に、処理部42が、不具合が生じた処理部31に供給される画像データDBに基づいて画像データDSを生成し、置換部51が、不具合が生じた処理部31から出力された画像データDCをこの画像データDSに置き換えることにより、所望の画像データを出力することができる。このように、撮像装置2では、処理部31に不具合が生じた場合にも所望の画像データを出力することができるので、いわゆるFail Operationalな構成を実現することができる。
以上のように本実施の形態では、比較部における比較結果に基づいて、4つの処理部31が生成した4つの画像データのうちの1つを、処理部42が生成した画像データに置き換えるようにしたので、不具合が生じた場合にも所望の画像データを出力することができる。
[変形例2−1]
上記実施の形態では、撮像動作により得られた実際の画像データに基づいて診断処理を行うようにしたが、さらにテストデータTSに基づいて診断処理を行うことができるようにしてもよい。以下に、本変形例に係る撮像装置2Aについて、詳細に説明する。撮像装置2Aは、上記第2の実施の形態に係る撮像装置2(図1)と同様に、画像処理部50Aおよび診断部60Aとを有している。
上記実施の形態では、撮像動作により得られた実際の画像データに基づいて診断処理を行うようにしたが、さらにテストデータTSに基づいて診断処理を行うことができるようにしてもよい。以下に、本変形例に係る撮像装置2Aについて、詳細に説明する。撮像装置2Aは、上記第2の実施の形態に係る撮像装置2(図1)と同様に、画像処理部50Aおよび診断部60Aとを有している。
図16は、画像処理部50Aおよび診断部60Aの一構成例を表すものである。画像処理部50が生成する画像データDTDは、4つの画像データDD(画像データDD0〜DD3)を含んでいる。
画像処理部50Aは、置換部51Aを有している。置換部51Aは、上記第2の実施の形態に係る置換部51と同様に、制御信号CTLに基づいて、4つの処理部31A〜31Dが生成した4つの画像データDC0〜DC3のうちの1つを、処理部42が生成した画像データDSに置き換えることにより、4つの画像データDD0〜DD3を生成するように構成される。また、置換部51Aは、例えば垂直ブランキング期間において、テストデータ生成部62A(後述)が生成したテストデータTSを、4つの画像データDD0〜DD3としてそれぞれ出力することができるようになっている。
診断部60は、テストデータ生成部62Aと、セレクタ63Aと、比較部67A,68Aと、論理和回路69Aと、診断処理部65Aとを有している。
テストデータ生成部62Aは、診断処理部65Aからの指示に基づいて、例えば垂直ブランキング期間において、所定の信号パターンを有するテストデータTSを生成するように構成される。
セレクタ63Aは、選択制御信号SEL2に基づいて、処理部42(チャネルCH4)から供給された画像データDSおよびテストデータ生成部62Aから供給されたテストデータTSのうちの一方を選択し、選択されたデータを、比較部44および置換部51Aに供給するように構成される。具体的には、セレクタ63Aは、この例では、センサインタフェース21から画像データDTBが供給された期間において、処理部42(チャネルCH4)から供給された画像データDSを選択し、垂直ブランキング期間においてテストデータ生成部62Aから供給されたテストデータTSを選択するように構成される。
比較部67Aは、制御信号CTL2に基づいて、例えば垂直ブランキング期間において、画像データDD0および画像データDD2を互いに比較する比較動作を行うように構成される。
比較部68Aは、制御信号CTL2に基づいて、例えば垂直ブランキング期間において、画像データDD1および画像データDD3を互いに比較する比較動作を行うように構成される。
論理和回路69Aは、比較部44,67A,68Aにおける比較結果の論理和(OR)を求めるように構成される。ここで、比較部44における比較結果は、“不一致”の場合に“1”であり、“一致”の場合に“0”である。比較部67A,68Aにおける比較結果についても同様である。すなわち、論理和回路69Aは、比較部44,67A,68Aにおける比較結果の全てが“一致”を示す場合に“0”を出力し、比較部44,67A,68Aにおける比較結果のうちのいずれか1つ以上が“不一致”を示す場合に、“1”を出力するようになっている。
診断処理部65Aは、画像処理部50Aに対する診断処理を制御するように構成される。診断処理部65Aは、例えば垂直ブランキング期間において、置換部51Aに対する診断処理を制御する。具体的には、診断処理部65Aは、垂直ブランキング期間において、テストデータ生成部62AがテストデータTSを生成するように、テストデータ生成部62Aの動作を制御する。また、診断処理部65Aは、垂直ブランキング期間において、テストデータ生成部62Aが生成したテストデータTSを選択することを指示する選択制御信号SEL2を生成する。また、診断処理部65Aは、垂直ブランキング期間において、置換部51AがテストデータTSを4つの画像データDD0〜DD3としてそれぞれ出力することを指示する制御信号CTLを生成する。診断処理部65Aは、垂直ブランキング期間において、比較部67A,68Aが比較動作を行うことを指示する制御信号CTL2を生成する。そして、診断処理部65Aは、垂直ブランキング期間において、論理和回路69Aの出力信号に基づいて、置換部51Aに不具合が生じているかどうかを検出するようになっている。
ここで、テストデータ生成部62Aは、本開示における「信号生成部」の一具体例に対応する。比較部67A,67Bは、本開示における「第2の比較部」の一具体例に対応する。
図17は、画像処理部50Aおよび診断部60Aの一動作例を表すものである。
タイミングt41において、フレーム期間Fが開始し、タイミングt42〜t43において、画像処理部50Aは、画像データDB0〜DB3に基づいて、画像データDD0〜DD3を生成する(図17(B)〜(E),(G)〜(J),(N)〜(Q))。
そして、タイミングt43〜t44の期間(垂直ブランキング期間)において、テストデータ生成部62AがテストデータTSを生成し、セレクタ63Aが、このテストデータTSを置換部51に供給する。置換部51Aは、このテストデータTSを、4つの画像データDD0〜DD3としてそれぞれ出力する(図17(N)〜(Q))。
タイミングt43〜t44の期間において、比較部67Aは、画像データDD0および画像データDD2を互いに比較し、比較部68Aは、画像データDD1および画像データDD3を互いに比較する。置換部51Aに不具合が生じていない場合には、画像データDD0および画像データDD2は互いに同じであることが期待され、画像データDD1および画像データDD3は互いに同じであることが期待される。この場合には、論理和回路69Aは、“0”を出力する。これにより、診断結果収集部26は、エラー信号ERRを低レベルに維持する(図17(M))。
置換部51Aに不具合が生じている場合には、例えば画像データDD0および画像データDD2が互いに一致せず、あるいは、画像データDD1および画像データDD3が互いに一致しない。この場合には、論理和回路69Aが“1”を出力するので、診断処理部65Aは、置換部51Aに不具合が生じていると診断する。そして、診断処理部65Aは、この診断結果を含む診断データINF3を診断結果収集部26に供給する。
撮像装置2Aでは、テストデータ生成部62Aおよび比較部67A,68Aを設け、例えば垂直ブランキング期間において、置換部51Aが、テストデータ生成部62Aが生成した、所定の信号パターンを有するテストデータTSを画像データDD0〜DD3としてそれぞれ出力するようにした。そして、比較部67Aは、画像データDD0および画像データDD2を互いに比較し、比較部68Aは、画像データDD1および画像データDD3を互いに比較するようにした。これにより、撮像装置2Aでは、置換部51Aの不具合を検出することができる。
なお、この例では、比較部67Aが画像データDD0および画像データDD2を互いに比較し、比較部68Aが画像データDD1および画像データDD3を互いに比較したが、これに限定されるものではない。これに代えて、例えば、比較部67Aが画像データDD0および画像データDD1を互いに比較し、比較部68Aが画像データDD2および画像データDD3を互いに比較してもよい。
また、この例では、2つの比較部67A,67Bを設けたが、これに限定されるものではない。これに代えて、例えば、1つの比較部を設け、この比較部が、4つの画像データDD0〜DD3が互いに一致するかどうかを比較してもよい。
また、この例では、テストデータ生成部62Aが1つのテストデータTSを生成したが、これに限定されるものではない。これに代えて、例えば、テストデータ生成部が互いに異なる2つのテストデータTS(テストデータTS1,TS2)を生成し、置換部51Aが、テストデータTS1を画像データDD0,DD2としてそれぞれ出力し、テストデータTS2を画像データDD1,DD3としてそれぞれ出力してもよい。
[変形例2−2]
上記実施の形態に係る撮像装置2に、上記第1の実施の形態の各変形例を適用してもよい。
上記実施の形態に係る撮像装置2に、上記第1の実施の形態の各変形例を適用してもよい。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
また、これらの変形例のうちの2以上を組み合わせてもよい。
<3.撮像装置の使用例>
図18は、上記実施の形態に係る撮像装置1,2の使用例を表すものである。上述した撮像装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
図18は、上記実施の形態に係る撮像装置1,2の使用例を表すものである。上述した撮像装置1は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<4.移動体への応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図19は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図19に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図19の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図20は、撮像部12031の設置位置の例を示す図である。
図20では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図20には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。これにより、車両制御システム12000では、撮像部12031の不具合を高い精度で検出することができる。その結果、車両制御システム12000では、車両の衝突回避あるいは衝突緩和機能、車間距離に基づく追従走行機能、車速維持走行機能、車両の衝突警告機能、車両のレーン逸脱警告機能等に不具合が生じた場合でも、その不具合を検出することができ、システムの堅牢性を高めることができる。
以上、実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の各実施の形態では、4つの画素PR,PGr,PGb,PBを用いて画素アレイ11を構成したが、これに限定されるものではない。これに代えて、例えば3つの画素(赤色の画素PR、緑色の画素PG、および青色の画素PB)を用いて画素アレイを構成してもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、通常動作時に診断を行うことができる。
(1)複数の第1の信号に対応して設けられ、それぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部と、
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた信号処理装置。
(2)前記制御部は、前記第1の比較部における比較結果に基づいて、前記複数の第1の処理部および前記第2の処理部を診断可能である
前記(1)に記載の信号処理装置。
(3)前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記一の処理部に不具合が生じていると診断可能である
前記(2)に記載の信号処理装置。
(4)前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記第2の処理部に不具合が生じていると診断可能である
前記(1)または(2)に記載の信号処理装置。
(5)制御信号に基づいて、前記複数の第2の信号のうちの1つを前記第3の信号に置き換えることにより複数の第4の信号を生成可能な置換部をさらに備え、
前記制御部は、診断した結果に基づいて、前記制御信号を生成可能である
前記(2)に記載の信号処理装置。
(6)前記置換部は、前記複数の前記第1の処理部に対応して設けられ、それぞれが、前記制御信号に基づいて、前記第3の信号、および前記複数の第1の処理部のうちの対応する前記第1の処理部から出力された前記第2の信号のうちの一方を選択可能な複数の第3の選択部を有する
前記(5)に記載の信号処理装置。
(7)前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記複数の第1の処理部のうちの前記一の処理部を選択可能であり、その選択結果に応じた前記選択制御信号を生成可能であり、前記置換部が前記一の処理部により生成された前記第2の信号を前記第3の信号に置き換えることを指示する前記制御信号を生成可能である
前記(5)または(6)に記載の信号処理装置。
(8)前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記置換部が前記複数の第2の信号を前記複数の第4の信号として出力することを指示する前記制御信号を生成可能である
前記(5)から(7)のいずれかに記載の信号処理装置。
(9)第5の信号を生成可能な信号生成部と、
前記複数の第4の信号に基づいて比較動作を行うことが可能な第2の比較部と
をさらに備え、
前記複数の第1の処理部のそれぞれは、第1の期間において前記所定の処理を行うことが可能であり、
前記置換部は、前記第1の期間の期間外における第2の期間において、前記第5の信号を、前記複数の第4の信号のうちの2以上の信号として出力することが可能であり、
前記第2の比較部は、前記2以上の信号を互いに比較可能である
前記(5)から(8)のいずれかに記載の信号処理装置。
(10)前記第1の比較部における比較結果に応じた信号を出力可能な出力部をさらに備えた
前記(1)から(9)のいずれかに記載の信号処理装置。
(11)前記所定の処理は、ゲイン調整処理、ホワイトバランス調整処理、黒レベル調整処理、HDR合成処理、ノイズ除去処理、画素欠陥補正処理のうちの少なくとも1つを含む
前記(1)から(10)のいずれかに記載の信号処理装置。
(12)複数の第1の信号に対応して設けられた複数の第1の処理部のそれぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成することと、
前記複数の第1の処理部のうちのいずれか1つを選択し、その選択結果に応じた選択制御信号を生成することと、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択することと、
第2の処理部が、前記複数の第1の信号のうちの選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成することと、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択することと、
前記第3の信号と、前記複数の第2の信号のうちの選択された前記第2の信号とを比較することと
を含む信号処理方法。
(13)撮像動作を行うことにより、複数の第1の信号を含む画像信号を生成可能な撮像部と、
前記複数の第1の信号に対応して設けられ、それぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部と、
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた撮像装置。
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた信号処理装置。
(2)前記制御部は、前記第1の比較部における比較結果に基づいて、前記複数の第1の処理部および前記第2の処理部を診断可能である
前記(1)に記載の信号処理装置。
(3)前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記一の処理部に不具合が生じていると診断可能である
前記(2)に記載の信号処理装置。
(4)前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記第2の処理部に不具合が生じていると診断可能である
前記(1)または(2)に記載の信号処理装置。
(5)制御信号に基づいて、前記複数の第2の信号のうちの1つを前記第3の信号に置き換えることにより複数の第4の信号を生成可能な置換部をさらに備え、
前記制御部は、診断した結果に基づいて、前記制御信号を生成可能である
前記(2)に記載の信号処理装置。
(6)前記置換部は、前記複数の前記第1の処理部に対応して設けられ、それぞれが、前記制御信号に基づいて、前記第3の信号、および前記複数の第1の処理部のうちの対応する前記第1の処理部から出力された前記第2の信号のうちの一方を選択可能な複数の第3の選択部を有する
前記(5)に記載の信号処理装置。
(7)前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記複数の第1の処理部のうちの前記一の処理部を選択可能であり、その選択結果に応じた前記選択制御信号を生成可能であり、前記置換部が前記一の処理部により生成された前記第2の信号を前記第3の信号に置き換えることを指示する前記制御信号を生成可能である
前記(5)または(6)に記載の信号処理装置。
(8)前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記置換部が前記複数の第2の信号を前記複数の第4の信号として出力することを指示する前記制御信号を生成可能である
前記(5)から(7)のいずれかに記載の信号処理装置。
(9)第5の信号を生成可能な信号生成部と、
前記複数の第4の信号に基づいて比較動作を行うことが可能な第2の比較部と
をさらに備え、
前記複数の第1の処理部のそれぞれは、第1の期間において前記所定の処理を行うことが可能であり、
前記置換部は、前記第1の期間の期間外における第2の期間において、前記第5の信号を、前記複数の第4の信号のうちの2以上の信号として出力することが可能であり、
前記第2の比較部は、前記2以上の信号を互いに比較可能である
前記(5)から(8)のいずれかに記載の信号処理装置。
(10)前記第1の比較部における比較結果に応じた信号を出力可能な出力部をさらに備えた
前記(1)から(9)のいずれかに記載の信号処理装置。
(11)前記所定の処理は、ゲイン調整処理、ホワイトバランス調整処理、黒レベル調整処理、HDR合成処理、ノイズ除去処理、画素欠陥補正処理のうちの少なくとも1つを含む
前記(1)から(10)のいずれかに記載の信号処理装置。
(12)複数の第1の信号に対応して設けられた複数の第1の処理部のそれぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成することと、
前記複数の第1の処理部のうちのいずれか1つを選択し、その選択結果に応じた選択制御信号を生成することと、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択することと、
第2の処理部が、前記複数の第1の信号のうちの選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成することと、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択することと、
前記第3の信号と、前記複数の第2の信号のうちの選択された前記第2の信号とを比較することと
を含む信号処理方法。
(13)撮像動作を行うことにより、複数の第1の信号を含む画像信号を生成可能な撮像部と、
前記複数の第1の信号に対応して設けられ、それぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部と、
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた撮像装置。
1,2,2A…撮像装置、10…撮像部、11…画素アレイ、12…AD変換部、13…診断部、21…センサインタフェース、22…診断部、23…送信データ生成部、24…診断部、25…送信部、26…診断結果収集部、27…レジスタ、28…通信部、30,50,50A…画像処理部、31,31A,31B,31C,31D…処理部、40,60,60A…診断部、41…セレクタ、42…処理部、43…セレクタ、44…比較部、45…診断処理部、51,51A…置換部、52A,52B,52C,52D…セレクタ、62A…テストデータ生成部、63A…セレクタ、65,65A…診断処理部、67A,68A…比較部、69A…論理和回路、A…画像領域、A1…有効画素領域、A2,A3…ダミー領域、CH0〜CH4…チャネル、CTL,CTL2,CTLA,CTLB,CTLC,CTLD…制御信号、DB,DB0〜DB3,DC,DC0〜DC3,DD,DD0〜DD3…画像データ、DT…送信データ、DTA,DTB,DTC,DTD…画像データ、ERR…エラー信号、FE…フレームエンド、FS…フレームスタート、INF,INF1〜INF4…診断データ、P,PB,PG,PGb,PGr,PR…画素、PF…フッタ、PH…ヘッダ、PP…ペイロード、SEL,SEL2…選択制御信号、TS…テストデータ、U…単位、Vsync…同期信号。
Claims (13)
- 複数の第1の信号に対応して設けられ、それぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部と、
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた信号処理装置。 - 前記制御部は、前記第1の比較部における比較結果に基づいて、前記複数の第1の処理部および前記第2の処理部を診断可能である
請求項1に記載の信号処理装置。 - 前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記一の処理部に不具合が生じていると診断可能である
請求項2に記載の信号処理装置。 - 前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記第2の処理部に不具合が生じていると診断可能である
請求項2に記載の信号処理装置。 - 制御信号に基づいて、前記複数の第2の信号のうちの1つを前記第3の信号に置き換えることにより複数の第4の信号を生成可能な置換部をさらに備え、
前記制御部は、診断した結果に基づいて、前記制御信号を生成可能である
請求項2に記載の信号処理装置。 - 前記置換部は、前記複数の前記第1の処理部に対応して設けられ、それぞれが、前記制御信号に基づいて、前記第3の信号、および前記複数の第1の処理部のうちの対応する前記第1の処理部から出力された前記第2の信号のうちの一方を選択可能な複数の第3の選択部を有する
請求項5に記載の信号処理装置。 - 前記制御部は、前記複数の第1の処理部のうちの一の処理部が選択されたときに、前記第1の比較部における比較結果が不一致を示し、前記一の処理部以外の複数の前記第1の処理部のうちの1以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が一致を示す場合には、前記複数の第1の処理部のうちの前記一の処理部を選択可能であり、その選択結果に応じた前記選択制御信号を生成可能であり、前記置換部が前記一の処理部により生成された前記第2の信号を前記第3の信号に置き換えることを指示する前記制御信号を生成可能である
請求項5に記載の信号処理装置。 - 前記制御部は、前記複数の第1の処理部のうちの2以上の処理部が順次選択されたときに、前記第1の比較部における比較結果が不一致を示す場合には、前記置換部が前記複数の第2の信号を前記複数の第4の信号として出力することを指示する前記制御信号を生成可能である
請求項5に記載の信号処理装置。 - 第5の信号を生成可能な信号生成部と、
前記複数の第4の信号に基づいて比較動作を行うことが可能な第2の比較部と
をさらに備え、
前記複数の第1の処理部のそれぞれは、第1の期間において前記所定の処理を行うことが可能であり、
前記置換部は、前記第1の期間の期間外における第2の期間において、前記第5の信号を、前記複数の第4の信号のうちの2以上の信号として出力することが可能であり、
前記第2の比較部は、前記2以上の信号を互いに比較可能である
請求項5に記載の信号処理装置。 - 前記第1の比較部における比較結果に応じた信号を出力可能な出力部をさらに備えた
請求項1に記載の信号処理装置。 - 前記所定の処理は、ゲイン調整処理、ホワイトバランス調整処理、黒レベル調整処理、HDR合成処理、ノイズ除去処理、画素欠陥補正処理のうちの少なくとも1つを含む
請求項1に記載の信号処理装置。 - 複数の第1の信号に対応して設けられた複数の第1の処理部のそれぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成することと、
前記複数の第1の処理部のうちのいずれか1つを選択し、その選択結果に応じた選択制御信号を生成することと、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択することと、
第2の処理部が、前記複数の第1の信号のうちの選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成することと、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択することと、
前記第3の信号と、前記複数の第2の信号のうちの選択された前記第2の信号とを比較することと
を含む信号処理方法。 - 撮像動作を行うことにより、複数の第1の信号を含む画像信号を生成可能な撮像部と、
前記複数の第1の信号に対応して設けられ、それぞれが、前記複数の第1の信号のうちの対応する前記第1の信号に基づいて所定の処理を行うことにより第2の信号を生成可能な複数の第1の処理部と、
前記複数の第1の処理部のうちのいずれか1つを選択可能であり、その選択結果に応じた選択制御信号を生成可能な制御部と、
前記選択制御信号に基づいて、前記複数の第1の信号のうちの、選択された前記第1の処理部に供給される前記第1の信号を選択可能な第1の選択部と、
前記複数の第1の信号のうちの、前記第1の選択部により選択された前記第1の信号に基づいて、前記所定の処理を行うことにより第3の信号を生成可能な第2の処理部と、
前記選択制御信号に基づいて、複数の前記第2の信号のうちの、選択された前記第1の処理部により生成された前記第2の信号を選択可能な第2の選択部と、
前記第3の信号と、前記複数の第2の信号のうちの、前記第2の選択部により選択された前記第2の信号とを比較可能な第1の比較部と
を備えた撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019146248A JP2021027543A (ja) | 2019-08-08 | 2019-08-08 | 信号処理装置、信号処理方法、および撮像装置 |
PCT/JP2020/028156 WO2021024784A1 (ja) | 2019-08-08 | 2020-07-20 | 信号処理装置、信号処理方法、および撮像装置 |
US17/623,712 US11924568B2 (en) | 2019-08-08 | 2020-07-20 | Signal processing device, signal processing method, and imaging apparatus |
CN202080045531.6A CN114009013A (zh) | 2019-08-08 | 2020-07-20 | 信号处理装置、信号处理方法以及成像装置 |
DE112020003760.6T DE112020003760T5 (de) | 2019-08-08 | 2020-07-20 | Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren und bildgebungseinrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019146248A JP2021027543A (ja) | 2019-08-08 | 2019-08-08 | 信号処理装置、信号処理方法、および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021027543A true JP2021027543A (ja) | 2021-02-22 |
Family
ID=74503495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019146248A Pending JP2021027543A (ja) | 2019-08-08 | 2019-08-08 | 信号処理装置、信号処理方法、および撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11924568B2 (ja) |
JP (1) | JP2021027543A (ja) |
CN (1) | CN114009013A (ja) |
DE (1) | DE112020003760T5 (ja) |
WO (1) | WO2021024784A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022244508A1 (ja) * | 2021-05-19 | 2022-11-24 | ソニーセミコンダクタソリューションズ株式会社 | 光検出装置及び測距システム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261814A1 (ja) * | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2819980B2 (ja) * | 1993-02-08 | 1998-11-05 | 日本電気株式会社 | Ccdカメラ信号処理回路テスト用の信号発生器 |
JPH09101903A (ja) * | 1995-10-05 | 1997-04-15 | Hitachi Ltd | 情報処理システム及び多重度制御方法並びに電磁波センサ |
JP2005274384A (ja) * | 2004-03-25 | 2005-10-06 | Hitachi High-Technologies Corp | 画像処理装置およびウエハ外観検査装置 |
WO2014130005A1 (en) * | 2013-02-19 | 2014-08-28 | Empire Technology Development Llc | Testing and repair of a hardware accelerator image in a programmable logic circuit |
JP2017126811A (ja) * | 2016-01-12 | 2017-07-20 | ソニー株式会社 | 画像データ処理回路および撮像回路 |
JP2019004361A (ja) * | 2017-06-16 | 2019-01-10 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びにプログラム |
JP2019146071A (ja) * | 2018-02-22 | 2019-08-29 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像システム、および撮像方法 |
JP7260990B2 (ja) * | 2018-10-26 | 2023-04-19 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP6641052B2 (ja) | 2019-04-25 | 2020-02-05 | マクセル株式会社 | 放送受信装置及びコンテンツ出力方法 |
JP2020194361A (ja) | 2019-05-28 | 2020-12-03 | パナソニックIpマネジメント株式会社 | 交通情報生成システム、交通情報生成装置、交通情報生成方法、交通情報生成プログラム、車両感知器および交通情報表示装置 |
-
2019
- 2019-08-08 JP JP2019146248A patent/JP2021027543A/ja active Pending
-
2020
- 2020-07-20 WO PCT/JP2020/028156 patent/WO2021024784A1/ja active Application Filing
- 2020-07-20 DE DE112020003760.6T patent/DE112020003760T5/de active Pending
- 2020-07-20 US US17/623,712 patent/US11924568B2/en active Active
- 2020-07-20 CN CN202080045531.6A patent/CN114009013A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022244508A1 (ja) * | 2021-05-19 | 2022-11-24 | ソニーセミコンダクタソリューションズ株式会社 | 光検出装置及び測距システム |
Also Published As
Publication number | Publication date |
---|---|
WO2021024784A1 (ja) | 2021-02-11 |
US11924568B2 (en) | 2024-03-05 |
CN114009013A (zh) | 2022-02-01 |
US20220264041A1 (en) | 2022-08-18 |
DE112020003760T5 (de) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2019123738A1 (ja) | センサチップ、電子機器、及び装置 | |
US9946938B2 (en) | In-vehicle image processing device and semiconductor device | |
WO2021024784A1 (ja) | 信号処理装置、信号処理方法、および撮像装置 | |
WO2020153261A1 (ja) | 受光装置および測距装置 | |
WO2020175252A1 (ja) | 測定装置、測距装置および測定方法 | |
WO2017195459A1 (ja) | 撮像装置、および撮像方法 | |
WO2021079789A1 (ja) | 測距装置 | |
WO2018008426A1 (ja) | 信号処理装置および方法、並びに撮像装置 | |
WO2019230217A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2018207666A1 (ja) | 撮像素子及びその駆動方法、並びに、電子機器 | |
WO2019187684A1 (ja) | 固体撮像素子、テストシステム、および、固体撮像素子の制御方法 | |
WO2020153272A1 (ja) | 測定装置、測距装置および測定方法 | |
WO2021065542A1 (ja) | 照明装置、照明装置の制御方法、および、測距モジュール | |
WO2020149094A1 (ja) | 撮像装置、撮像システムおよび故障検出方法 | |
WO2021182190A1 (ja) | 撮像装置、撮像システム及び撮像方法 | |
US20230300487A1 (en) | Solid-state imaging device, vehicle control system, and control method for solid-state imaging device | |
US20220279134A1 (en) | Imaging device and imaging method | |
US20210217146A1 (en) | Image processing apparatus and image processing method | |
WO2019208204A1 (ja) | 撮像装置 | |
WO2018211985A1 (ja) | 撮像素子、および撮像素子の制御方法、撮像装置、並びに電子機器 | |
JP2018113615A (ja) | 固体撮像素子、駆動方法、および電子機器 | |
WO2022158246A1 (ja) | 撮像装置 | |
WO2020153262A1 (ja) | 計測装置および測距装置 | |
WO2022219874A1 (ja) | 信号処理装置および方法、並びにプログラム | |
US20240205569A1 (en) | Imaging device, electronic device, and light detecting method |