JP2013126169A - 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents
画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2013126169A JP2013126169A JP2011274875A JP2011274875A JP2013126169A JP 2013126169 A JP2013126169 A JP 2013126169A JP 2011274875 A JP2011274875 A JP 2011274875A JP 2011274875 A JP2011274875 A JP 2011274875A JP 2013126169 A JP2013126169 A JP 2013126169A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- auxiliary
- pattern
- addition pattern
- addition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 107
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 547
- 230000002093 peripheral effect Effects 0.000 claims description 113
- 238000012545 processing Methods 0.000 claims description 99
- 206010070834 Sensitisation Diseases 0.000 claims description 66
- 238000011156 evaluation Methods 0.000 claims description 66
- 230000008313 sensitization Effects 0.000 claims description 66
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000003321 amplification Effects 0.000 claims description 53
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 53
- 230000009467 reduction Effects 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 18
- 230000001934 delay Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 22
- 230000006866 deterioration Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 1191
- 230000000875 corresponding effect Effects 0.000 description 867
- 230000003111 delayed effect Effects 0.000 description 422
- 102100022626 Glutamate receptor ionotropic, NMDA 2D Human genes 0.000 description 116
- 108091008644 NR2D Proteins 0.000 description 116
- 108091008771 Rev-ErbA proteins Proteins 0.000 description 110
- 230000008859 change Effects 0.000 description 72
- 238000000605 extraction Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 22
- 229910004438 SUB2 Inorganic materials 0.000 description 20
- 101150023658 SUB4 gene Proteins 0.000 description 20
- 101100311330 Schizosaccharomyces pombe (strain 972 / ATCC 24843) uap56 gene Proteins 0.000 description 20
- 239000000470 constituent Substances 0.000 description 20
- 101150018444 sub2 gene Proteins 0.000 description 20
- 230000007423 decrease Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 12
- 230000015556 catabolic process Effects 0.000 description 12
- 238000006731 degradation reaction Methods 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 11
- 101000879761 Homo sapiens Sarcospan Proteins 0.000 description 10
- 102100037329 Sarcospan Human genes 0.000 description 10
- 230000002596 correlated effect Effects 0.000 description 9
- 102100025064 Cellular tumor antigen p53 Human genes 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 101100478066 Drosophila melanogaster Spn88Ea gene Proteins 0.000 description 7
- 101100534123 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spn5 gene Proteins 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 108020001305 NR1 subfamily Proteins 0.000 description 3
- 101100534121 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spn3 gene Proteins 0.000 description 3
- 101100534122 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spn4 gene Proteins 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 108020002076 NR2 subfamily Proteins 0.000 description 2
- 229930183689 terminalin Natural products 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100027766 Atlastin-1 Human genes 0.000 description 1
- 208000031798 Autosomal recessive spastic paraplegia type 14 Diseases 0.000 description 1
- 101000825172 Dictyostelium discoideum Spore germination protein 3 Proteins 0.000 description 1
- 101100421425 Drosophila melanogaster Sply gene Proteins 0.000 description 1
- 101000936983 Homo sapiens Atlastin-1 Proteins 0.000 description 1
- 108020000002 NR3 subfamily Proteins 0.000 description 1
- 101150086029 SUB5 gene Proteins 0.000 description 1
- 101100203780 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SPG5 gene Proteins 0.000 description 1
- 102100031374 Sodium channel protein type 10 subunit alpha Human genes 0.000 description 1
- 101710134422 Sodium channel protein type 10 subunit alpha Proteins 0.000 description 1
- 102100031371 Sodium channel protein type 8 subunit alpha Human genes 0.000 description 1
- 101710178731 Sodium channel protein type 8 subunit alpha Proteins 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 201000007819 hereditary spastic paraplegia 14 Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 102220273445 rs1555527015 Human genes 0.000 description 1
- 102220042672 rs587780938 Human genes 0.000 description 1
- 102220094403 rs776643257 Human genes 0.000 description 1
- 102200153398 rs863224974 Human genes 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】低照度環境下で高感度化と高Ｓ／Ｎ比とを実現でき、解像度の低下を抑制できる画像処理装置を提供する。
【解決手段】画像処理装置は、注目画像から抽出された複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンＰＮ３を検出する主面内パターン検出部６５０と、参照画像内において面内画素加算パターンＰＮ３の周辺に位置する複数の補助面内画素パターンの中から注目画素と最も相関が高い補助面内画素加算パターンＳＵＢ３ａ，ＳＵＢ３ｂを検出する補助面内パターン検出部１６５０とを備える。注目画素が選択される毎に、面内画素加算パターンの画素と補助面内画素加算パターンの画素とが加算されて補正画素が生成される。
【選択図】図４
【解決手段】画像処理装置は、注目画像から抽出された複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンＰＮ３を検出する主面内パターン検出部６５０と、参照画像内において面内画素加算パターンＰＮ３の周辺に位置する複数の補助面内画素パターンの中から注目画素と最も相関が高い補助面内画素加算パターンＳＵＢ３ａ，ＳＵＢ３ｂを検出する補助面内パターン検出部１６５０とを備える。注目画素が選択される毎に、面内画素加算パターンの画素と補助面内画素加算パターンの画素とが加算されて補正画素が生成される。
【選択図】図４
Description
本発明は、ＣＣＤ画像センサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳ画像センサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの固体撮像素子から出力された撮像信号を処理する画像処理技術に関し、特に、色フィルタアレイを有する固体撮像素子から出力された撮像信号を処理する画像処理技術に関する。
近年、ＣＣＤ画像センサやＣＭＯＳ画像センサなどの固体撮像素子を搭載したディジタル方式のカラー撮像装置（ディジタルスチルカメラやディジタルビデオカメラ）が普及している。このようなカラー撮像装置では、単一の色フィルタアレイと、この色フィルタアレイを透過した光学像を受光する単一の撮像面とを有する単板式の固体撮像素子が広く採用されている。色フィルタ配列としては、原色系あるいは補色系のベイヤ配列（ｂａｙｅｒ ａｒｒａｎｇｅｍｅｎｔ）が広く採用されている。一般に、原色系のベイヤ配列は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色フィルタの配列で構成され、補色系のベイヤ配列は、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、緑色（Ｇ）及び黄色（Ｙ）の色フィルタの配列で構成される。
カラー撮像装置の感度を向上させる方法としては、固体撮像素子の出力信号を電気的に増幅する方法や、固体撮像素子の電荷蓄積時間を長くする長時間露光方法がある。しかしながら、低照度環境下で得られた撮像信号は比較的多くのノイズ成分を含むため、この撮像信号を電気的に増幅したり長時間露光を行ったりすると、撮像画像のＳ／Ｎ比（信号対雑音比）が低下することがある。そこで、高感度化と高Ｓ／Ｎ比とを実現する方法として、複数の同色の画素を選択し、これら選択された画素のディジタル信号を加算するディジタル画素加算方法が提案されている。この種のディジタル画素加算方法は、例えば、特開２０００−１８４２７４号公報（特許文献１）に開示されている。
しかしながら、特許文献１に開示されるディジタル画素加算方法では、複数画素（例えば、２画素あるいは３画素）のディジタル信号を加算することで１つの画素が新たに生成されるので、解像度が低下し、画質が低下するという問題がある。
上記に鑑みて本発明は、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明の第１の態様による画像処理装置は、撮像素子から出力された撮像信号を処理する画像処理装置であって、前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するとともに、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い主面内画素加算パターンを検出する主面内パターン検出部と、前記注目画像内において前記主面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するとともに、前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出する補助面内パターン検出部と、前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するとともに、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出する主参照パターン検出部と、前記注目画素が選択される毎に、前記主面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成する画素加算部とを備えることを特徴とする。
本発明の第２の態様による撮像装置は、前記第１の態様による画像処理装置と、撮像素子とを備えることを特徴とする。
本発明の第３の態様による画像処理方法は、撮像素子から出力された撮像信号を処理する画像処理方法であって、前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するステップと、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い主面内画素加算パターンを検出するステップと、前記注目画像内において前記主面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するステップと、前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出するステップと、前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するステップと、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出するステップと、前記注目画素が選択される毎に、前記主面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成するステップとを備えることを特徴とする。
本発明の第４の態様によるコンピュータプログラムは、記録媒体から読み出されて、上記第３の態様による画像処理方法が備えるステップをプロセッサに実行させることを特徴とする。
本発明の第５の態様によるコンピュータ読み取り可能な記録媒体は、前記第４の態様によるコンピュータプログラムを記録したものである。
本発明によれば、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる。
以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。
実施の形態１．
図１は、本発明に係る実施の形態１の撮像装置１の概略構成を示すブロック図である。図１に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、画素加算回路（ＡＤＤ）１４、映像信号処理回路（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１５、駆動回路（ＤＲＶ）１６、タイミング発生回路（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１７、同期信号発生回路（ＳＳＧ：Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）１８及び制御回路１９を備える。制御回路１９は、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。撮像光学系１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。同期信号発生回路１８は、垂直同期信号ＶＤ及び水平同期信号ＨＤを生成して画素加算回路１４、映像信号処理回路１５及びタイミング発生回路１７に供給する。
図１は、本発明に係る実施の形態１の撮像装置１の概略構成を示すブロック図である。図１に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、画素加算回路（ＡＤＤ）１４、映像信号処理回路（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１５、駆動回路（ＤＲＶ）１６、タイミング発生回路（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１７、同期信号発生回路（ＳＳＧ：Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）１８及び制御回路１９を備える。制御回路１９は、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。撮像光学系１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。同期信号発生回路１８は、垂直同期信号ＶＤ及び水平同期信号ＨＤを生成して画素加算回路１４、映像信号処理回路１５及びタイミング発生回路１７に供給する。
ＣＣＤ画像センサ１２は、単板式の固体撮像素子であり、単一の色フィルタアレイ１２１と単一のＣＣＤ素子１２２とを有する。色フィルタアレイ１２１は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなるものであればよい。本実施の形態では、色フィルタアレイ１２１の色フィルタ配列として原色系のベイヤ配列を使用するが、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。ＣＣＤ素子１２２は、２次元配列された複数の受光素子（フォトダイオード）を有し、これら複数の受光素子上に複数の色フィルタがそれぞれ配置されている。これら受光素子は、入射光を検出して信号電荷を発生させる光電変換素子である。
図１を参照すると、撮像光学系（レンズ機構）１１は、被写体の光学像をＣＣＤ画像センサ１２の撮像面上に合焦させる。ＣＣＤ画像センサ１２で光電変換して得られた撮像信号は、フロントエンド部１３に転送される。フロントエンド部１３は、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理回路１３Ｃ、プログラマブル利得増幅回路（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）１３Ｐ及びＡ／Ｄ変換器（ＡＤＣ）１３Ａからなる。ＣＤＳ処理回路１３Ｃは、ＣＣＤ画像センサ１２から出力される撮像信号からノイズなどの不要な成分を除去する。プログラマブル利得増幅回路１３Ｐは、ＣＤＳ処理回路１３Ｃの出力信号を、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９からなる制御回路から出力された制御信号によって制御された利得で増幅して出力する。Ａ／Ｄ変換器１３Ａは、プログラマブル利得増幅回路１３Ｐの出力信号をデジタル信号に変換する。
画素加算回路１４は、水平同期信号ＨＤ及び垂直同期信号ＶＤと同期して動作し、制御回路１９から供給された制御信号ＣＯＮＴに従って、Ａ／Ｄ変換器１３Ａのデジタル出力を加算する機能を有する。画素加算回路１４の動作の詳細については後述する。
映像信号処理回路１５は、水平同期信号ＨＤ及び垂直同期信号ＶＤと同期して動作し、画素加算回路１４の出力信号に対して、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号を映像信号出力端子ＯＵＴを介して外部に出力する。
タイミング発生回路１７は、ＣＣＤ画像センサ１２の駆動タイミング信号ＤＲＴを発生して駆動回路１６に供給する。駆動回路１６は、タイミング発生回路１７から出力された駆動タイミング信号ＤＲＴに応じてＣＣＤ画像センサ１２の駆動信号ＤＲＳを生成する。ＣＣＤ画像センサ１２は、駆動回路１６から出力された駆動信号ＤＲＳに基づいて光電変換及び電荷転送を行う。
制御回路１９は、撮像光学系１１の開口絞り（光量を調整するための絞り）１１１の制御と、ＣＣＤ画像センサ１２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（すなわち、露光時間の制御）と、プログラマブル利得増幅回路１３Ｐの増幅利得の制御と、画素加算回路１４の画素加算処理の制御とを実行するものである。
図２は、実施の形態１の画素加算回路１４の構成の一例を概略的に示すブロック図である。図２に示されるように、画素加算回路１４は、制御端子ＩＮｃと同期信号入力端子ＩＮｓとを有する。制御回路１９は、制御信号ＣＯＮＴを制御端子ＩＮｃに供給し、同期信号発生回路１８は、水平同期信号ＨＤと垂直同期信号ＶＤとを同期信号入力端子ＩＮｓに供給している。
図２に示されるように、画素加算回路１４は、１フレーム遅延回路２１〜２４と、遅延回路３１〜３９と、ノイズ低減回路４０と、画素加算部５０と、画素パターン検出部６０とを有する。ノイズ低減回路４０は、入力された撮像信号（フレーム画像を示す信号）Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５中のノイズ成分をそれぞれ減衰させる空間フィルタ４１〜４５からなる。
図１のＡ／Ｄ変換器１３Ａから出力されたＲ画素値（赤色の色フィルタを透過した光から生成された画素の値）、Ｇ画素値（緑色の色フィルタを透過した光から生成された画素の値）及びＢ画素値（青色の色フィルタを透過した光から生成された画素の値）を含む撮像信号Ｆ５は、入力端子ＩＮａに印加された後にノイズ低減回路４０の空間フィルタ４５と１フレーム遅延回路２４と遅延回路３５とに供給される。１フレーム遅延回路２４は、撮像信号Ｆ５を１フレーム期間遅延させたフレーム遅延信号Ｆ４を、ノイズ低減回路４０の空間フィルタ４４と１フレーム遅延回路２３と遅延回路３４とに供給する。１フレーム遅延回路２３は、フレーム遅延信号Ｆ４を１フレーム期間遅延させたフレーム遅延信号Ｆ３を、ノイズ低減回路４０の空間フィルタ４３と遅延回路３３へ供給する。また、１フレーム遅延回路２２は、フレーム遅延信号Ｆ３を１フレーム期間遅延させたフレーム遅延信号Ｆ２を、ノイズ低減回路４０の空間フィルタ４２と遅延回路３２へ供給する。そして、１フレーム遅延回路２１は、フレーム遅延信号Ｆ２を１フレーム期間遅延させたフレーム遅延信号Ｆ１を、ノイズ低減回路４０の空間フィルタ４１と遅延回路３１へ供給する。
空間フィルタ４１は、フレーム遅延信号Ｆ１のノイズ成分を低減させてフィルタ信号ＮＲ１を生成し、遅延回路３６に出力する。遅延回路３６は、フィルタ信号ＮＲ１を遅延させて信号ＮＲ１Ｄとして出力する。空間フィルタ４２は、フレーム遅延信号Ｆ２のノイズ成分を低減させてフィルタ信号ＮＲ２を生成し、遅延回路３７に出力する。遅延回路３７は、フィルタ信号ＮＲ２を遅延させて信号ＮＲ２Ｄとして出力する。空間フィルタ４３は、フレーム遅延信号Ｆ３のノイズ成分を低減させてフィルタ信号ＮＲ３を生成し、画素パターン検出部６０に出力する。空間フィルタ４４は、フレーム遅延信号Ｆ４のノイズ成分を低減させてフィルタ信号ＮＲ４を生成し、遅延回路３８に出力する。遅延回路３８は、フィルタ信号ＮＲ４を遅延させて信号ＮＲ４Ｄとして出力する。そして、空間フィルタ４５は、フレーム遅延信号Ｆ５のノイズ成分を低減させてフィルタ信号ＮＲ５を生成し、遅延回路３９に出力する。遅延回路３９は、フィルタ信号ＮＲ５を遅延させて信号ＮＲ５Ｄとして出力する。
画素パターン検出部６０は、入力された信号ＮＲ１Ｄ，ＮＲ２Ｄ，ＮＲ３，ＮＲ４Ｄ，ＮＲ５Ｄから注目画素と相関の高い画素パターン群ＰＴＮを抽出し、この画素パターン群ＰＴＮを指定する情報を画素加算部５０に供給する。図３は、画素パターン検出部６０の構成を概略的に示すブロック図である。図３に示されるように、画素パターン検出部６０は、面内パターン検出部６１、前方参照パターン検出部（空間判別回路）７２、後方参照パターン検出部７４、最前方参照パターン検出部（空間判別回路）７１、最後方参照パターン検出部７５及び相関判別部７９を有する。図４は、面内パターン検出部６１の構成を概略的に示すブロック図であり、図５は、前方参照パターン検出部７２の構成を概略的に示すブロック図であり、図６は、後方参照パターン検出部７４の構成を概略的に示すブロック図であり、図７は、最前方参照パターン検出部７１の構成を概略的に示すブロック図であり、図８は、最後方参照パターン検出部７５の構成を概略的に示すブロック図である。これらの面内パターン検出部６１、前方参照パターン検出部７２、後方参照パターン検出部７４、最前方参照パターン検出部７１、最後方参照パターン検出部７５及び相関判別部７９の構成及び動作については後述する。
図９は、画素加算部５０の構成を概略的に示すブロック図である。図９に示されるように画素加算部５０は、選択回路５１〜５５と加算演算回路５６とを有する。これら選択回路５１〜５５は、入力信号Ｆ１Ｄ，Ｆ２Ｄ，Ｆ３Ｄ，Ｆ４Ｄ，Ｆ５Ｄから、画素パターン検出部６０から通知された画素加算パターンＰＮ２，ＰＮ３，ＰＮ４，ＳＰＮ１，ＳＰＮ２，ＳＰＮ３，ＳＰＮ４，ＳＰＮ５の画素を選択し、選択された画素のデータを加算演算回路５６に出力する。加算演算回路５６は、注目画素に関して、当該選択された画素を加算して補間画素を生成する機能を有する。
図２を参照すると、遅延回路３６は、フィルタ信号ＮＲ１を所定時間遅延させて信号ＮＲ１Ｄを出力する。遅延回路３７は、フィルタ信号ＮＲ２を所定時間遅延させて信号ＮＲ２Ｄを出力する。遅延回路３８は、フィルタ信号ＮＲ４を所定時間遅延させて信号ＮＲ２４を出力する。遅延回路３９は、フィルタ信号ＮＲ５を所定時間遅延させて信号ＮＲ５Ｄを出力する。遅延回路３６〜３９のそれぞれの所定の遅延時間は、面内パターン検出部６１での処理遅延時間に応じて画素位置が整合するように決められる。
遅延回路３１は、撮像信号Ｆ１を所定時間遅延させて信号Ｆ１Ｄを出力する。この遅延回路３１の所定の遅延時間は、空間フィルタ４１と最前方参照パターン検出部７１での処理遅延時間に応じて画素位置が整合するように決められる。遅延回路３２は、撮像信号Ｆ２を所定時間遅延させて信号Ｆ２Ｄを出力する。この遅延回路３２の所定の遅延時間は、空間フィルタ４２と前方参照パターン検出部７２での処理遅延時間に応じて画素位置が整合するように決められる。遅延回路３３は、撮像信号Ｆ３を所定時間遅延させて信号Ｆ３Ｄを出力する。この遅延回路３３の所定の遅延時間は、空間フィルタ４３と面内パターン検出部６１での処理遅延時間に応じて画素位置が整合するように決められる。遅延回路３４は、撮像信号Ｆ４を所定時間遅延させて信号Ｆ４Ｄを出力する。この遅延回路３４の所定の遅延時間は、空間フィルタ４４と後方参照パターン検出部７４での処理遅延時間に応じて画素位置が整合するように決められる。そして、遅延回路３５は、撮像信号Ｆ５を所定時間遅延させて信号Ｆ５Ｄを出力する。この遅延回路３５の所定の遅延時間は、空間フィルタ４５と最後方参照パターン検出部７５での処理遅延時間に応じて画素位置が整合するように決められる。
図３を参照すると、面内パターン検出部（領域判別回路）６１は、前記空間フィルタ４３でノイズが低減された信号ＮＲ３における注目画素を中心とした相関の高い画素の主領域の画素パターンＰＮ３を判別し、当該判別した画素パターンＰＮ３の画素位置を、画素加算部５０、前方参照パターン検出部７２及び後方参照パターン検出部７４へ通知する。同時に、面内パターン検出部６１は、当該注目画素の画素値ＰＭを最前方参照パターン検出部７１、前方参照パターン検出部７２、後方参照パターン検出部７４、最後方参照パターン検出部７５へ供給する。
面内パターン検出部６１はまた、当該注目画素を中心とした相関の高い画素の主領域の画素パターンＰＮ３の周辺画素の中から、最も相関の高い補助領域の画素パターンＳＵＢ３ａと、次に相関の高い補助領域の画素パターンＳＵＢ３ｂとを判別し、当該判別した画素パターンＳＵＢ３ａ，ＳＵＢ３ｂの画素値を相関判別部７９へ供給する。
前方参照パターン検出部７２は、面内パターン検出部６１で判別された画素領域と相関の高い信号ＮＲ２Ｄにおける画素領域（主領域）を判別し、当該判別した主領域の画素パターンＰＮ２の画素値を画素加算部５０へ通知する。一方、後方参照パターン検出部７４は、面内パターン検出部６１で判別された画素領域と相関の高い信号ＮＲ４Ｄにおける画素領域（主領域）を判別し、当該判別した主領域の画素パターンＰＮ４の画素位置を画素加算部５０へ通知し、その画素値を最後方参照パターン検出部７５へ供給する。
前方参照パターン検出部７２はまた、前記主領域の画素パターンＰＮ２の周辺画素の中から、最も相関の高い補助領域の画素パターンＳＵＢ２を判別し、当該判別した画素パターンＳＵＢ２の画素値を相関判別部７９へ供給する。後方参照パターン検出部７４はまた、前記主領域の画素パターンＰＮ４の周辺画素の中から、最も相関の高い補助領域の画素パターンＳＵＢ４を判別して、判別した画素の画素値を相関判別部７９へ供給する。
最前方参照パターン検出部７１は、前方参照パターン検出部７２で判別した画素領域の画素パターンＰＮ２と最も相関の高い補助領域の画素パターンＳＵＢ１ａを判別して、当該判別した画素パターンＳＵＢ１ａの画素値を相関判別部７９へ供給する。最前方参照パターン検出部７１はまた、前記補助領域の画素パターンＳＵＢ１ａの周辺画素の中から、最も相関の高い補助領域の画素パターンＳＵＢ１ｂを判別し、当該判別した画素パターンＳＵＢ１ｂの画素値を相関判別部７９へ供給する。
最後方参照パターン検出部７５は、後方参照パターン検出部７４で判別された画素領域の画素パターンＰＮ４と最も相関の高い補助領域の画素パターンＳＵＢ５ａを判別し、当該判別した画素パターンＳＵＢ５ａの画素値を相関判別部７９へ供給する。最後方参照パターン検出部７５はまた、前記補助領域の画素パターンＳＵＢ５ａの周辺画素の中から、最も相関の高い補助領域の画素パターンＳＵＢ５ｂを判別し、当該判別した画素パターンＳＵＢ５ｂの画素値を相関判別部７９へ供給する。
相関判別部７９には、面内パターン検出部６１から補助領域の画素パターンＳＵＢ３ａ，ＳＵＢ３ｂが、前方参照パターン検出部７２から補助領域の画素パターンＳＵＢ２が、後方参照パターン検出部７４から補助領域の画素パターンＳＵＢ４が、最前方参照パターン検出部７１から補助領域の画素パターンＳＵＢ１ａ，ＳＵＢ１ｂが、最後方参照パターン検出部７５から補助領域の画素パターンＳＵＢ５ａ，ＳＵＢ５ｂが供給される。相関判別部７９には、これら８つの補助領域の中から、当該注目画素と相関の高い補助領域として少なくとも４領域を判別（選択）し、当該判別した補助領域の画素パターンＳＰＮ１〜ＳＰＮ５の画素位置を画素加算部５０へ通知することができる。
図２の画素加算部５０は、遅延回路３１，３２，３３，３４，３５の出力信号Ｆ１Ｄ，Ｆ２Ｄ，Ｆ３Ｄ，Ｆ４Ｄ，Ｆ５Ｄを画素加算する機能を有する。加算画素は、面内パターン検出部６１から通知された主領域の画素パターンＰＮ３に対応する信号Ｆ３Ｄの指定画素位置と、前方参照パターン検出部７２から通知された主領域の画素パターンＰＮ２に対応する信号Ｆ２Ｄの指定画素位置と、後方参照パターン検出部７４から通知された主領域の画素パターンＰＮ４に対応する信号Ｆ４Ｄの指定画素位置と、相関判別部７９から通知された少なくとも４つの補助領域の画素パターンＳＰＮ１〜ＳＰＮ５とに基づいて選択される。画素加算部５０は、画素加算信号を出力端子ＯＵＴａから映像信号処理回路１５へ供給する。なお、画素加算部５０には、面内パターン検出部６１、前方参照パターン検出部７２、後方参照パターン検出部７４及び相関判別部７９から加算対象画素の位置が指定される。その位置を指定するタイミングで、画素加算部５０には、注目画素を中心とした加算対象画素を中心とした周辺画素が入力されている必要がある。遅延回路３１〜３５のそれぞれの遅延時間は、加算対象画素の画素位置（相関判別部７９の出力）と画素値（画素加算部５０への画素入力）とが互いに整合するように決められる。
画素加算部５０においては、図９に示されるように、選択回路５１は、相関判別部７９から通知された画素加算パターンＳＰＮ１の指定画素を信号Ｆ１Ｄから選択し、当該選択された指定画素を加算演算回路５６へ供給する。選択回路５２は、前方参照パターン検出部７２及び相関判別部７９から通知された画素加算パターンＰＮ２，ＳＰＮ２の指定画素を信号Ｆ２Ｄから選択し、当該選択された指定画素を加算演算回路５６へ供給する。選択回路５３は、面内パターン検出部６１及び相関判別部７９から通知された画素加算パターンＰＮ３，ＳＰＮ３の指定画素を信号Ｆ３Ｄから選択し、当該選択された指定画素を加算演算回路５６へ供給する。選択回路５４は、後方参照パターン検出部７４及び相関判別部７９から通知された画素加算パターンＰＮ４，ＳＰＮ４の指定画素を信号Ｆ４Ｄから選択し、当該選択された指定画素を加算演算回路５６へ供給する。そして、選択回路５５は、相関判別部７９から通知された画素加算パターンＳＰＮ５の指定画素を信号Ｆ５Ｄから選択し、当該選択された指定画素を加算演算回路５６へ供給する。加算演算回路５６は、選択回路５１〜５５から入力された画素を加算して補正画素を生成し、当該補正画素を示す画素加算信号を出力端子ＯＵＴａから映像信号処理回路１５へ供給する。
次に、ノイズ低減回路４０の構成について詳細に説明する。
図１０は、空間フィルタ４１〜４５と同じ回路構成を有する空間フィルタ４ｘの構成を概略的に示す図である。この空間フィルタ４ｘは、遅延回路である画素抽出部４２０を有する。図１１（Ａ），（Ｂ）に示されるように、この画素抽出部４２０は、フレーム遅延信号Ｆ１〜Ｆ５のいずれかであるフレーム遅延信号Ｆｘのフレーム画像中の注目画素を中心とする任意の５×５画素領域をサンプリングする。遅延回路４２０は、サンプリングされた５×５画素領域内の複数画素の画素値Ｐ３３〜Ｐ３７，Ｐ４３〜Ｐ４７，Ｐ５３〜Ｐ５７，Ｐ６３〜Ｐ６７，Ｐ７３〜Ｐ７７を乗算回路４６１〜４８５に並列に出力する。乗算回路４６１〜４８５は、入力される画素値Ｐ３３〜Ｐ３７，Ｐ４３〜Ｐ４７，Ｐ５３〜Ｐ５７，Ｐ６３〜Ｐ６７，Ｐ７３〜Ｐ７７にフィルタ係数（重み係数）Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７をそれぞれ乗算する。総和演算回路４９０は、乗算回路４６１〜４８５の出力値（重み付き画素値）を加算して出力端子４０２から出力する。
図１０において、１ライン遅延回路４２２〜４２５及び１画素遅延回路４３２〜４５５は、画素抽出部４２０を構成する。画素抽出部４２０は、入力信号を所定の時間だけ遅延させて注目画素及びその周囲の周辺画素の各画素値を同時に抽出する。図１１（Ｂ）の画素値Ｐ７７が入力端子４０１に印加されたタイミングでの動作について説明する。Ａ／Ｄ変換器１３Ａから出力された画素値Ｐ７７は、画素加算回路１４の入力端子４０１に印加され、１ライン遅延回路４２２、１画素遅延回路４３２及び乗算回路４６１へ供給される。１画素遅延回路４３２は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路４３３及び乗算回路４６２へ供給される。１画素遅延回路４３３は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路４３４、乗算回路４６３へ供給される。１画素遅延回路４３４は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路４３５及び乗算回路４６４へ供給される。１画素遅延回路４３５は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、乗算回路４６５へ供給される。
１ライン遅延回路４２２から出力された画素値Ｐ７６は、１ライン遅延回路４２３、１画素遅延回路４３７及び乗算回路４６６へ供給される。１画素遅延回路４３７は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路４３８及び乗算回路４６７へ供給される。１画素遅延回路４３８は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路４３９及び乗算回路４６８へ供給される。１画素遅延回路４３９は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路４４０及び乗算回路４６９へ供給される。１画素遅延回路４４０は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、乗算回路４７０へ供給される。
１ライン遅延回路４２３から出力された画素値Ｐ７５は、１ライン遅延回路４２４、１画素遅延回路４４２及び乗算回路４７１へ供給される。１画素遅延回路４４２は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路４４３及び乗算回路４７２へ供給される。１画素遅延回路４４３は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路４４４及び乗算回路４７３へ供給される。１画素遅延回路４４４は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路４４５及び乗算回路４７４へ供給される。１画素遅延回路４４５は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、乗算回路４７５へ供給される。
１ライン遅延回路４２４から出力された画素値Ｐ７４は、１ライン遅延回路４２５、１画素遅延回路４４７及び乗算回路４７６へ供給される。１画素遅延回路４４７は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路４４８、乗算回路４７７へ供給される。１画素遅延回路４４８は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路４４９及び乗算回路４７８へ供給される。１画素遅延回路４４９は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路４５０及び乗算回路４７９へ供給される。１画素遅延回路４５０は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、乗算回路４８０へ供給される。
１ライン遅延回路４２５から出力された画素値Ｐ７３は、１画素遅延回路４５２、乗算回路４８１へ供給される。１画素遅延回路４５２は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路４５３及び乗算回路４８２へ供給される。１画素遅延回路４５３は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路４５４、乗算回路４８３へ供給される。１画素遅延回路４５４は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路４５５及び乗算回路４８４へ供給される。１画素遅延回路４５５は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、乗算回路４８５へ供給される。
図１の制御回路１９は、図１０の制御端子４１７を介して係数可変設定回路４９５へ低域通過型フィルタの特性を設定する機能を有する。係数可変設定回路４９５は、制御回路１９による設定に基づいてフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７を設定する。また、図１の同期信号発生回路１８は、図１０の同期信号入力端子４１８を介して係数可変設定回路４９５へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。係数可変設定回路４９５は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて、注目画素Ｐ５５の画素位置を判断して色フィルタ配列に対応する注目画素の画素位置を特定することができる。注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、乗算回路４６１〜４８５へ独立に２５個のフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７をそれぞれ設定する。乗算回路４６１〜４８５は、入力される画素値Ｐ３３〜Ｐ３７，Ｐ４３〜Ｐ４７，Ｐ５３〜Ｐ５７，Ｐ６３〜Ｐ６７，Ｐ７３〜Ｐ７７にフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７をそれぞれ乗算する。加算回路４９０は、乗算回路４６１〜４８５の出力値を加算してその加算結果ＮＲｘを出力端子４０２から出力する。
図１２は、図１１（Ｂ）の画素空間配置で注目画素Ｐ５５がＧ画素のときの水平１１画素及び垂直１１画素の画素空間配置を示す図である。図１２中、Ｇｎｍ（ｎ，ｍは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｇ画素またはその画素値を表し、Ｒｐｑ（ｐ，ｑは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｒ画素またはその画素値を表し、Ｂｒｓ（ｒ，ｓは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｂ画素またはその画素値を表している。他の図面においても同様である。図１２に示されるように、Ｒ画素、Ｇ画素及びＢ画素は、市松に配列されている。Ｒ１０，Ｒ３０，Ｒ５０，Ｒ７０，Ｒ９０，Ｒ１２，Ｒ３２，Ｒ５２，Ｒ７２，Ｒ９２，Ｒ１４，Ｒ３４，Ｒ５４，Ｒ７４，Ｒ９４，Ｒ１６，Ｒ３６，Ｒ５６，Ｒ７６，Ｒ９６，Ｒ１８，Ｒ３８，Ｒ５８，Ｒ７８，Ｒ９８，Ｒ１Ａ，Ｒ３Ａ，Ｒ５Ａ，Ｒ７Ａ，Ｒ９Ａは、Ｒ画素を示す。Ｇ００，Ｇ３０，Ｇ４０，Ｇ６０，Ｇ８０，ＧＡ０，Ｇ２１，Ｇ４１，Ｇ５１，Ｇ７１，Ｇ９１，Ｇ０２，Ｇ３２，Ｇ４２，Ｇ６２，Ｇ８２，ＧＡ２，Ｇ２３，Ｇ４３，Ｇ５３，Ｇ７３，Ｇ９３，Ｇ０４，Ｇ３４，Ｇ４４，Ｇ６４，Ｇ８４，ＧＡ４，Ｇ２５，Ｇ４５，Ｇ５５，Ｇ７５，Ｇ９５，Ｇ０６，Ｇ３６，Ｇ４６，Ｇ６６，Ｇ８６，ＧＡ６，Ｇ２７，Ｇ４７，Ｇ５７，Ｇ７７，Ｇ９７，Ｇ０８，Ｇ３８，Ｇ４８，Ｇ６８，Ｇ８８，ＧＡ８，Ｇ２９，Ｇ４９，Ｇ５９，Ｇ７９，Ｇ９９，Ｇ０Ａ，Ｇ３Ａ，Ｇ４Ａ，Ｇ６Ａ，Ｇ８Ａ，ＧＡＡは、Ｇ画素を示す。Ｂ０１，Ｂ２１，Ｂ４１，Ｂ６１，Ｂ８１，ＢＡ１，Ｂ０３，Ｂ２３，Ｂ４３，Ｂ６３，Ｂ８３，ＢＡ３，Ｂ０５，Ｂ２５，Ｂ４５，Ｂ６５，Ｂ８５，ＢＡ５，Ｂ０７，Ｂ２７，Ｂ４７，Ｂ６７，Ｂ８７，ＢＡ７，Ｂ０９，Ｂ２９，Ｂ４９，Ｂ６９，Ｂ８９，ＢＡ９は、Ｂ画素を示す。例えば、色フィルタ配列に対応して、Ｒ３４，Ｇ４５，Ｂ４５，Ｇ４４の水平２画素、垂直２画素の４画素の基本配列が構成されている。図１２は、Ｇ５５の隣接画素がＢ画素の場合を例に説明したが、Ｇ４４のように隣接画素がＲ画素の配列パターンも存在する。その場合は、Ｒ画素とＢ画素が入れ替わった色配置となるが、注目画素がＧ画素のときの加算対象画素はＧ画素のみなので、どちらの色配置に基づいて説明しても構わない。
図１３は、画素加算回路１４の空間フィルタ４１〜４５で注目画素がＧ画素のときの、演算対象画素の配列を示す図である。
このとき、空間フィルタ４１〜４５の出力は次式で求められる。
Ｇ＝Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ５５×Ｇ５５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
Ｇ＝Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ５５×Ｇ５５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。
係数可変設定回路４９５は、制御回路１９による設定に基づいて、よりノイズが低減されるフィルタ係数を設定することができる。例えば以下のフィルタ係数を設定することができる。
Ｋ４４＝１／８
Ｋ６４＝１／８
Ｋ５５＝４／８
Ｋ４６＝１／８
Ｋ６６＝１／８
Ｋ４４＝１／８
Ｋ６４＝１／８
Ｋ５５＝４／８
Ｋ４６＝１／８
Ｋ６６＝１／８
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数値とされる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることもできる。あるいは、係数可変設定回路４９５は、制御回路１９による設定に基づいて、例えば以下のフィルタ係数を設定することができる。
Ｋ４４＝１／５
Ｋ６４＝１／５
Ｋ５５＝１／５
Ｋ４６＝１／５
Ｋ６６＝１／５
Ｋ４４＝１／５
Ｋ６４＝１／５
Ｋ５５＝１／５
Ｋ４６＝１／５
Ｋ６６＝１／５
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とされる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることができる。
空間フィルタ４１〜４５は、注目画素とその周辺画素の合計５画素を対象としたノイズ低減フィルタとされたが、さらにノイズが多い低照度時の撮像信号の場合は、注目画素とその周辺画素の合計９画素を対象としたノイズ低減フィルタとするように空間フィルタ４１〜４５の各々を構成したほうがよい。このとき、空間フィルタ４１〜４５の出力は次式で求められる。
Ｇ＝Ｋ５３×Ｇ５３
＋Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ３５×Ｇ４５＋Ｋ５５×Ｇ５５＋Ｋ７５×Ｇ７５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
＋Ｋ５７×Ｇ５７
Ｇ＝Ｋ５３×Ｇ５３
＋Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ３５×Ｇ４５＋Ｋ５５×Ｇ５５＋Ｋ７５×Ｇ７５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
＋Ｋ５７×Ｇ５７
図１４は、図１１（Ｂ）の画素空間配置で注目画素がＲ画素のときの水平１１画素、垂直１１画素の空間的な配置を示す図である。Ｒ画素、Ｇ画素、Ｂ画素は市松に配列されている。Ｒ１１，Ｒ３１，Ｒ５１，Ｒ７１，Ｒ９１，Ｒ１３，Ｒ３３，Ｒ５３，Ｒ７３，Ｒ９３，Ｒ１５，Ｒ３５，Ｒ５５，Ｒ７５，Ｒ９５，Ｒ１７，Ｒ３７，Ｒ５７，Ｒ７７，Ｒ９７，Ｒ１９，Ｒ３９，Ｒ５９，Ｒ７９，Ｒ９９はＲ画素を示す。Ｇ２０，Ｇ４０，Ｇ５０，Ｇ７０，Ｇ９０，Ｇ２２，Ｇ４２，Ｇ５２，Ｇ７２，Ｇ９２，Ｇ２４，Ｇ４４，Ｇ５４，Ｇ７４，Ｇ９４，Ｇ２６，Ｇ４６，Ｇ５６，Ｇ７６，Ｇ９６，Ｇ２８，Ｇ４８，Ｇ５８，Ｇ７８，Ｇ９８，Ｇ２Ａ，Ｇ４Ａ，Ｇ５Ａ，Ｇ７Ａ，Ｇ９Ａ，Ｇ０１，Ｇ３１，Ｇ４１，Ｇ６１，Ｇ８１，ＧＡ１，Ｇ０３，Ｇ３３，Ｇ４３，Ｇ６３，Ｇ８３，ＧＡ３，Ｇ０５，Ｇ３５，Ｇ４５，Ｇ６５，Ｇ８５，ＧＡ５，Ｇ０７，Ｇ３７，Ｇ４７，Ｇ６７，Ｇ８７，ＧＡ７，Ｇ０９，Ｇ３９，Ｇ４９，Ｇ６９，Ｇ８９，ＧＡ９はＧ画素を示す。Ｂ００，Ｂ２０，Ｂ４０，Ｂ６０，Ｂ８０，ＢＡ０，Ｂ０２，Ｂ２２，Ｂ４２，Ｂ６２，Ｂ８２，ＢＡ２，Ｂ０４，Ｂ２４，Ｂ４４，Ｂ６４，Ｂ８４，ＢＡ４，Ｂ０６，Ｂ２６，Ｂ４６，Ｂ６６，Ｂ８６，ＢＡ６，Ｂ０８，Ｂ２８，Ｂ４８，Ｂ６８，Ｂ８８，ＢＡ８，Ｂ０Ａ，Ｂ２Ａ，Ｂ４Ａ，Ｂ６Ａ，Ｂ８Ａ，ＢＡＡはＢ画素を示す。例えば、色フィルタ配列に対応して、Ｒ３３，Ｇ４４，Ｂ４４，Ｇ４３の水平２画素、垂直２画素の４画素の基本配列が構成されている。
図１５は、画素加算回路１４の空間フィルタ４１〜４５で注目画素がＲ画素のときの、演算対象画素の配列を示す図である。
このとき、空間フィルタ４１〜４５の出力は次式で求められる。
Ｒ＝Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ５７×Ｒ５７
Ｒ＝Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ５７×Ｒ５７
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。
係数可変設定回路４９５は、制御回路１９による設定に基づいて、よりノイズが低減されるフィルタ係数を設定することができる。例えば以下のフィルタ係数を設定することが可能である。
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることも可能である。あるいは、係数可変設定回路４９５は、制御回路１９による設定に基づいて、例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることもできる。
空間フィルタ４１〜４５は、注目画素とその周辺画素の合計５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、注目画素とその周辺画素の合計９画素を対象としたノイズ低減フィルタとするように空間フィルタ４１〜４５の各々を構成したほうがよい。このとき、空間フィルタ４１〜４５の出力は次式で求める。
Ｒ＝Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３＋Ｋ７３×Ｒ７３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ３７×Ｒ３７＋Ｋ５７×Ｒ５７＋Ｋ７７×Ｒ７７
Ｒ＝Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３＋Ｋ７３×Ｒ７３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ３７×Ｒ３７＋Ｋ５７×Ｒ５７＋Ｋ７７×Ｒ７７
次に、図１６は、図１１（Ｂ）の画素空間配置で注目画素がＢ画素のときの水平１１画素、垂直１１画素の空間的な配置を示す図である。Ｒ画素、Ｇ画素、Ｂ画素は市松に配列されている。Ｒ００，Ｒ２０，Ｒ４０，Ｒ６０，Ｒ８０，ＲＡ０，Ｒ０２，Ｒ２２，Ｒ４２，Ｒ６２，Ｒ８２，ＲＡ２，Ｒ０４，Ｒ２４，Ｒ４４，Ｒ６４，Ｒ８４，ＲＡ４，Ｒ０６，Ｒ２６，Ｒ４６，Ｒ６６，Ｒ８６，ＲＡ６，Ｒ０８，Ｒ２８，Ｒ４８，Ｒ６８，Ｒ８８，ＲＡ８，Ｒ０Ａ，Ｒ２Ａ，Ｒ４Ａ，Ｒ６Ａ，Ｒ８Ａ，ＲＡＡはＲ画素を示す。Ｇ２０，Ｇ４０，Ｇ５０，Ｇ７０，Ｇ９０，Ｇ２２，Ｇ４２，Ｇ５２，Ｇ７２，Ｇ９２，Ｇ２４，Ｇ４４，Ｇ５４，Ｇ７４，Ｇ９４，Ｇ２６，Ｇ４６，Ｇ５６，Ｇ７６，Ｇ９６，Ｇ２８，Ｇ４８，Ｇ５８，Ｇ７８，Ｇ９８，Ｇ２Ａ，Ｇ４Ａ，Ｇ５Ａ，Ｇ７Ａ，Ｇ９Ａ，Ｇ０１，Ｇ３１，Ｇ４１，Ｇ６１，Ｇ８１，ＧＡ１，Ｇ０３，Ｇ３３，Ｇ４３，Ｇ６３，Ｇ８３，ＧＡ３，Ｇ０５，Ｇ３５，Ｇ４５，Ｇ６５，Ｇ８５，ＧＡ５，Ｇ０７，Ｇ３７，Ｇ４７，Ｇ６７，Ｇ８７，ＧＡ７，Ｇ０９，Ｇ３９，Ｇ４９，Ｇ６９，Ｇ８９，ＧＡ９はＧ画素を示す。Ｂ１１，Ｂ３１，Ｂ５１，Ｂ７１，Ｂ９１，Ｂ１３，Ｂ３３，Ｂ５３，Ｂ７３，Ｂ９３，Ｂ１５，Ｂ３５，Ｂ５５，Ｂ７５，Ｂ９５，Ｂ１７，Ｂ３７，Ｂ５７，Ｂ７７，Ｂ９７，Ｂ１９，Ｂ３９，Ｂ５９，Ｂ７９，Ｂ９９はＢ画素を示す。例えば、色フィルタ配列に対応して、Ｒ４４，Ｇ４５，Ｂ５５，Ｇ５４の水平２画素、垂直２画素の４画素の基本配列が構成されている。
図１７は、画素加算回路１４の空間フィルタ４１〜４５で注目画素がＢ画素のときの、演算対象画素の配列を示す図である。
このとき、空間フィルタ４１〜４５の出力は次式で求める。
Ｂ＝Ｋ５３×Ｂ５３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ５７×Ｂ５７
Ｂ＝Ｋ５３×Ｂ５３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ５７×Ｂ５７
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わない係数を０に設定する。
係数可変設定回路４９５は、制御回路１９による設定に基づいて、よりノイズが低減されるフィルタ係数を設定することができる。例えば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々８倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることが可能である。
あるいは、係数可変設定回路４９５は、制御回路１９による設定に基づいて、例えば以下のフィルタ係数を設定する。
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
ここで、上記フィルタ係数は、低照度時で信号振幅が小さい場合は、例えば各々５倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上のフィルタ係数とすることが可能である。
空間フィルタ４１〜４５は、注目画素とその周辺画素の合計５画素を対象としたノイズ低減フィルタとしたが、さらにノイズが多い低照度時の撮像信号の場合は、注目画素とその周辺画素の合計９画素を対象としたノイズ低減フィルタとするように空間フィルタ４１〜４５の各々を構成したほうがよい。このとき、空間フィルタ４１〜４５の出力は次式で求められる。
Ｒ＝Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３＋Ｋ７３×Ｂ７３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ３７×Ｂ３７＋Ｋ５７×Ｂ５７＋Ｋ７７×Ｂ７７
Ｒ＝Ｋ３３×Ｂ３３＋Ｋ５３×Ｂ５３＋Ｋ７３×Ｂ７３
＋Ｋ３５×Ｂ３５＋Ｋ５５×Ｂ５５＋Ｋ７５×Ｂ７５
＋Ｋ３７×Ｂ３７＋Ｋ５７×Ｂ５７＋Ｋ７７×Ｂ７７
空間フィルタ４１〜４５は、例えばノイズが高域周波数に多く分布する仮定から、低域通過型フィルタの構成とされたが、フィルタ係数を調整して撮像信号に含まれるノイズの特性に応じたノイズ低減フィルタとしてもよい。
また、空間フィルタ４１〜４５は、低域通過型フィルタの構成としているが、例えばイプシロンフィルタなどの輪郭保存型の低域通過型フィルタとして、より原画の特徴を残してノイズを除去することで、注目画素と相関の高い画素の判別精度を高めてもよい。
また、空間フィルタ４１〜４５は、水平３画素、垂直３画素の９画素を使った低域通過型フィルタの構成とされたが、ノイズの多い場合は水平５画素、垂直５画素の２５画素を使った低域通過型フィルタの構成としてもよい。
さらに、空間フィルタ４１〜４５は、面内の低域通過型フィルタの構成としたが、時間軸方向の低域通過型フィルタとしてもよいし、時間軸方向の非巡回型フィルタの構成としてもよい。
本実施の形態は、空間フィルタ４１〜４５を設け、ノイズによる誤判定を防ぎ、より相関の高い画素を特定できるように構成されているので、画素加算画像の解像度が低下することなく高画質化することができる。
次に、図４に示した面内パターン検出部６１について詳細に説明する。
図４に示したように面内パターン検出部６１は、画素抽出部５１０、主面内パターン検出部（主領域判別回路）６５０及び補助面内パターン検出部（補助領域判別回路）１６５０を有する。図１８は、画素抽出部５１０の構成の一例を示す図である。画素抽出部５１０は、図１９（Ａ），（Ｂ）に示されるように入力信号ＮＲ３のフレーム画像中の注目画素を中心とする任意の１１×１１画素領域をサンプリングし、サンプリングされた画素領域の画素値Ｐ１１〜Ｐ１９，Ｐ２１〜Ｐ２９，Ｐ３１〜Ｐ３９，Ｐ４１〜Ｐ４９，Ｐ５１〜Ｐ５９，Ｐ６１〜Ｐ６９，Ｐ６１〜Ｐ６９，Ｐ７１〜Ｐ７９，Ｐ８１〜Ｐ８９，Ｐ９１〜Ｐ９９の群ＳＰＬ３を並列に出力する機能を有する。ここで、画素値Ｐ５５が注目画素の画素値となる。また、図２０は、主面内パターン検出部６５０の構成の一例を示すブロック図であり、図２１は、補助面内パターン検出部１６５０の構成の一例を示すブロック図である。
図１８を参照すると、１ライン遅延回路５０１〜５０８及び１画素遅延回路５１１〜５９８が画素抽出部５１０を構成する。また、図２０を参照すると、画素選択回路６００、差分演算器６０１〜６１２、最小値算出回路６２０及び画素指定回路６３０が主面内パターン検出部６５０を構成する。さらに、図２１を参照すると、画素選択回路１６００、差分演算器１６０１〜１６０４、最小値算出回路１６２０及び画素指定回路１６３０が補助面内パターン検出部１６５０を構成する。上述したように、画素抽出部５１０は、入力信号ＮＲ３を所定の時間だけ遅延させて注目画素及びその周囲の周辺画素の各画素値を同時に抽出することができる。以下、図１９（Ｂ）の画素値Ｐ９９が入力端子５００に印加されたタイミングでの動作について説明する。Ａ／Ｄ変換器１３Ａから出力された画素値Ｐ９９は、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路２４、１フレーム遅延回路２３、空間フィルタ４３を経て面内パターン検出部６１の入力端子５００に印加される。
入力端子５００に印加された画素値Ｐ９９は、１ライン遅延回路５０１、１画素遅延回路５１１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路５１２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路５１３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路５１４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路５１５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路５１６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路５１７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路５１８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０１は画素値Ｐ９８を出力する。画素値Ｐ９８は、１ライン遅延回路５０２、１画素遅延回路５２１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路５２２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路５２３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路５２４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路５２５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路５２６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路５２７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路５２８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０２は画素値Ｐ９７を出力する。画素値Ｐ９７は、１ライン遅延回路５０３、１画素遅延回路５３１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路５３２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路５３３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路５３４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路５３５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路５３６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路５３７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路５３８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０３は画素値Ｐ９６を出力する。画素値Ｐ９６は、１ライン遅延回路５０４、１画素遅延回路５４１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路５４２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路５４３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路５４４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路５４５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路５４６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路５４７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路５４８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０４は画素値Ｐ９５を出力する。画素値Ｐ９５は、１ライン遅延回路５０５、１画素遅延回路５５１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路５５２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路５５３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路５５４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路５５５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路５５６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路５５７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路５５８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０５は画素値Ｐ９４を出力する。画素値Ｐ９４は、１ライン遅延回路５０６、１画素遅延回路５６１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路５６２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路５６３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路５６４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路５６５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路５６６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路５６７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路５６８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０６は画素値Ｐ９３を出力する。画素値Ｐ９３は、１ライン遅延回路５０７、１画素遅延回路５７１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路５７２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路５７３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路５７４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路５７５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路５７６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路５７７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路５７８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０７は画素値Ｐ９２を出力する。画素値Ｐ９２は、１ライン遅延回路５０８、１画素遅延回路５８１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路５８２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路５８３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路５８４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路５８５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路５８６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路５８７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２３は、１画素遅延回路５８８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１３は、画素選択回路６００及び画素選択回路１６００へ供給される。
１ライン遅延回路５０８は画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路５９１、画素選択回路６００及び画素選択回路１６００へ供給される。
１画素遅延回路５９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路５９２、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路５９３、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路５９４、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路５９５、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路５９６、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路５９７、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路５９８、画素選択回路６００及び画素選択回路１６００へ供給される。１画素遅延回路５９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、画素選択回路６００及び画素選択回路１６００へ供給される。
次に、図２０を参照しつつ主面内パターン検出部６５０の構成について詳細に説明する。
図１の同期信号発生回路１８は、図２０の同期信号入力端子５１８を介して画素選択回路６００へ水平同期信号ＨＤと垂直同期信号ＶＤとを供給する。画素選択回路６００は、水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて注目画素Ｐ５５の画素位置を判断し、色フィルタ配列に対応する注目画素の画素位置を特定する。注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分演算器６０１〜６１２各々へ、候補となる加算パターンを構成する画素値を供給する。
前記加算パターンについて説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化を小さくすることができる。注目画素と周辺画素の組み合わせから、複数の加算パターンの候補が存在する。図１９（Ｂ）の画素空間配置で注目画素がＧ画素のときの４画素加算の加算パターンＴ０１〜Ｔ１２を図２２〜図３３に示す。４画素加算の加算パターンは、長方形の点線で囲まれて示されている。Ｇ画素の４画素加算の場合は、候補となる１２個の加算パターンから最も相関の高い最適な加算パターンを求めることができる。
図２２は、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｇ５３、Ｇ４４、Ｇ６４、Ｇ５５を差分演算器６０１へ供給する。図２３は、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｇ６４、Ｇ５５、Ｇ７５、Ｇ６６を差分演算器６０２へ供給する。図２４は、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｇ５５、Ｇ４６、Ｇ６６、Ｇ５７を差分演算器６０３へ供給する。図２５は、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｇ４４、Ｇ４５、Ｇ５５、Ｇ４６を差分演算器６０４へ供給する。
図２６は、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンを示す図である。画素選択回路６００は、画素値Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７を差分演算器６０５へ供給する。図２７は、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンを示す図である。画素選択回路６００は、画素値Ｇ５３、Ｇ５５、Ｇ５７、Ｇ５９を差分演算器６０６へ供給する。図２８は、注目画素とその左側の周辺画素とを組合せた左側横ラインパターンを示す図である。画素選択回路６００は、画素値Ｇ２５、Ｇ４５、Ｇ５５、Ｇ７５を差分演算器６０７へ供給する。図２９は、注目画素とその右側の周辺画素とを組合せた右側横ラインパターンを示す図である。画素選択回路６００は、画素値Ｇ４５、Ｇ５５、Ｇ７５、Ｇ９５を差分演算器６０８へ供給する。
図３０は、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示す図である。画素選択回路６００は、画素値Ｇ４３、Ｇ４４、Ｇ５５、Ｇ６６を差分演算器６０９へ供給する。図３１は、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示す図である。画素選択回路６００は、画素値Ｇ４４、Ｇ５５、Ｇ６６、Ｇ７７を差分演算器６１０へ供給する。図３２は、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示す図である。画素選択回路６００は、画素値Ｇ７３、Ｇ６４、Ｇ５５、Ｇ４６を差分演算器６１１へ供給する。図３３は、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示す図である。画素選択回路６００は、画素値Ｇ６４、Ｇ５５、Ｇ４６、Ｇ４７を差分演算器６１２へ供給する。
次に、図１９（Ｂ）の画素空間配置で注目画素がＲ画素のときの４画素加算の加算パターンを図３４〜図３７に示す。Ｒ画素の４画素加算の場合は、４パターンの加算パターンから最も相関の高い最適な加算パターンが求められる。図３４は、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５を差分演算器６０１へ供給する。図３５は、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ５３、Ｒ７３、Ｒ５５、Ｒ７５を差分演算器６０２へ供給する。図３６は、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ５５、Ｒ７５、Ｒ５７、Ｒ７７を差分演算器６０４へ供給する。図３７は、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ３５、Ｒ５５、Ｒ３７、Ｒ５７を差分演算器６０３へ供給する。
次に、図１９（Ｂ）の画素空間配置で注目画素がＢ画素のときの４画素加算の加算パターンを図３８〜図４１に示す。Ｂ画素の４画素加算の場合は、４パターンの加算パターンから最も相関の高い最適な加算パターンが求められる。図３８は、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５を差分演算器６０１へ供給する。図３９は、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ５３、Ｂ７３、Ｂ５５、Ｂ７５を差分演算器６０２へ供給する。図４０は、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ５５、Ｂ７５、Ｂ５７、Ｂ７７を差分演算器６０３へ供給する。図４１は、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ３５、Ｂ５５、Ｂ３７、Ｂ５７を差分演算器６０４へ供給する。
差分演算器６０１〜６１２は、入力される４画素の加算パターンＴ０１〜Ｔ１２それぞれの画素値同士を比較して、最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該加算パターンの変化幅として最小値算出回路６２０へ供給する。たとえば、注目画素がＧ画素の場合、差分演算器６０１は、上側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０２は、右側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０３は、左側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０４は、下側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０５は、上側縦ラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０６は、下側縦ラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０７は、左側横ラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０８は、右側横ラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０９は、左上側斜めラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６１０は、右下側斜めラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６１１は、右上側斜めラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。そして、差分演算器６１２は、左下側斜めラインパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。
注目画素がＲ画素やＢ画素の場合には、差分演算器６０１は、左上側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０２は、右上側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。差分演算器６０３は、右下側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。そして、差分演算器６０４は、左下側ブロックパターンの画素間の画素値の差分（変化幅）を面内相関評価値として算出する。
最小値算出回路６２０の注目画素がＧ画素の場合の動作について説明する。最小値算出回路６２０は、差分演算器６０１〜６１２から入力される１２パターンの画素間の変化幅を比較して、最小の変化幅の加算パターンを求め、その結果ＤＡを画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンＰＮ３を構成する画素の画素位置を示す情報を、出力端子６４０を介して、選択回路５３、前方参照パターン検出部７２及び後方参照パターン検出部７４へ供給する。また、画素選択回路６００は、注目画素Ｐ５５の注目画素値ＰＭを注目画素値出力端子６４１から出力して最前方参照パターン検出部７１、前方参照パターン検出部７２、後方参照パターン検出部７４、最後方参照パターン検出部７５へ供給する。
上側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ５３、Ｇ４４、Ｇ６４、Ｇ５５の画素位置情報を選択回路５３へ供給する。右側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ６４、Ｇ５５、Ｇ７５、Ｇ６６の画素位置情報を選択回路５３へ供給する。下側ブロックパターンの構成画素が最小の変化幅を与えるの場合は、画素Ｇ５５、Ｇ４６、Ｇ６６、Ｇ５７の画素位置情報を選択回路５３へ供給する。左側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ４４、Ｇ４５、Ｇ５５、Ｇ４６の画素位置情報を選択回路５３へ供給する。上側縦ラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ５１、Ｇ５３、Ｇ５５、Ｇ５７の画素位置情報を選択回路５３へ供給する。下側縦ラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ５３、Ｇ５５、Ｇ５７、Ｇ５９の画素位置情報を選択回路５３へ供給する。左側横ラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ２５、Ｇ４５、Ｇ５５、Ｇ７５の画素位置情報を選択回路５３へ供給する。右側横ラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ４５、Ｇ５５、Ｇ７５、Ｇ９５の画素位置情報を選択回路５３へ供給する。左上側斜めラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ４３、Ｇ４４、Ｇ５５、Ｇ６６の画素位置情報を選択回路５３へ供給する。右下側斜めラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ４４、Ｇ５５、Ｇ６６、Ｇ７７の画素位置情報を選択回路５３へ供給する。右上側斜めラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ７３、Ｇ６４、Ｇ５５、Ｇ４６の画素位置情報を選択回路５３へ供給する。そして、左下側斜めラインパターンの構成画素が最小の変化幅を与える場合は、画素Ｇ６４、Ｇ５５、Ｇ４６、Ｇ４７の画素位置情報を選択回路５３へ供給する。
次に、最小値算出回路６２０の注目画素がＲ画素の場合の動作について説明する。最小値算出回路６２０は、差分演算器６０１〜６０４から入力される４パターンの画素間の変化幅を比較して、最小の変化幅の加算パターンを求め、その結果ＤＡを画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンＰＮ３を構成する画素の画素位置を示す情報を、出力端子６４０から選択回路５３、前方参照パターン検出部７２及び後方参照パターン検出部７４へ供給する。また、画素選択回路６００は、注目画素Ｐ５５の注目画素値ＰＭを注目画素値出力端子６４１から出力して最前方参照パターン検出部７１、前方参照パターン検出部７２、後方参照パターン検出部７４及び最後方参照パターン検出部７５へ供給する。
Ｒ画素の左上側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｒ３３、Ｒ５３、Ｒ３５、Ｒ５５の画素位置情報を選択回路５３へ供給する。Ｒ画素の右上側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｒ５３、Ｒ７３、Ｒ５５、Ｒ７５の画素位置情報を選択回路５３へ供給する。Ｒ画素の右下側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｒ５５、Ｒ７５、Ｒ５７、Ｒ７７の画素位置情報を選択回路５３へ供給する。Ｒ画素の左下側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｒ５５、Ｒ７５、Ｒ５７、Ｒ７７の画素位置情報を選択回路５３へ供給する。
次に、最小値算出回路６２０の注目画素がＢ画素の場合の動作について説明する。最小値算出回路６２０は、差分演算器６０１〜６０４から入力される４パターンの画素間の変化幅を比較して、最小の変化幅の加算パターンを求め、その結果ＤＡを画素指定回路６３０へ通知する。画素指定回路６３０は、最小値算出回路６２０から通知された加算パターンＰＮ３を構成する画素の画素位置を示す情報を、出力端子６４０から選択回路５３、前方参照パターン検出部７２及び後方参照パターン検出部７４へ供給する。画素選択回路６００は、注目画素Ｐ５５の注目画素値ＰＭを注目画素値出力端子６４１から出力して最前方参照パターン検出部７１、前方参照パターン検出部７２、後方参照パターン検出部７４及び最後方参照パターン検出部７５へ供給する。
Ｂ画素の左上側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｂ３３、Ｂ５３、Ｂ３５、Ｂ５５の画素位置情報を選択回路５３へ供給する。Ｂ画素の右上側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｂ５３、Ｂ７３、Ｂ５５、Ｂ７５の画素位置情報を選択回路５３へ供給する。Ｂ画素の右下側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｂ５５、Ｂ７５、Ｂ５７、Ｂ７７の画素位置情報を選択回路５３へ供給する。Ｂ画素の左下側ブロックパターンの構成画素が最小の変化幅を与える場合は、画素Ｂ３５、Ｂ５５、Ｂ３７、Ｂ５７の画素位置情報を選択回路５３へ供給する。
前記のようにＧ画素の場合は１２パターンの加算パターンから、Ｒ画素またはＢ画素の場合は４パターンの加算パターンから、最も相関の高い最適な加算パターンを求めるように主面内パターン検出部６５０が構成されているので、画素加算に使う画素として注目画素と相関の高い画素を正しく選択できるようにでき、画素加算後の画像の解像度劣化を小さくすることができる。
次に、図２１を参照しつつ補助面内パターン検出部１６５０の動作について説明する。
図１の同期信号発生回路１８は、図２１の同期信号入力端子１５１８を介して画素選択回路１６００へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路１６００は、水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて注目画素Ｐ５５の画素位置を判断し、色フィルタ配列に対応する注目画素の画素位置を特定する。注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分演算器１６０１〜１６０４各々へ、候補となる補助領域の加算パターンを構成する画素値を供給することができる。
前記補助領域の加算パターンについて説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択できれば、画素加算後の画像の解像度劣化は小さくすることができる。周辺画素の組み合わせから、複数の加算パターンが存在する。図２２〜図４１の画素空間配置で信号ＮＲ３のフレーム画像における主領域の各加算パターンに対する４つの補助領域の２画素加算パターンを、図４６〜図４１の図中に楕円形の点線で囲って示す。主領域の各加算パターンに対して、４パターンの加算パターンから最も相関の高い加算パターンＳＵＢ３ａと次に相関の高い加算パターンＳＵＢ３ｂとが求められる。
画素指定回路６３０が例えば図２２の主領域の加算パターンを指定したときの画素選択回路１６００の動作を説明する。図２２では、画素選択回路１６００は、加算パターンＫ１の画素値Ｇ３６２、Ｇ３７３を差分演算器１６０１へ供給する。画素選択回路１６００は、加算パターンＫ２の画素値Ｇ３７５、Ｇ３６６を差分演算器１６０２へ供給する。画素選択回路１６００は、加算パターンＫ３の画素値Ｇ３４６、Ｇ３３５を差分演算器１６０３へ供給する。そして、画素選択回路１６００は、加算パターンＫ４の画素値Ｇ３３３、Ｇ３４２を差分演算器１６０４へ供給する。
面内パターン検出部６１は、注目画素値入力端子１５１２を介して差分演算器１６０１〜１６０４へ注目画素値ＰＭを供給する。差分演算器１６０１〜１６０４の各々は、画素選択回路１６００から入力される２画素の画素値と注目画素値ＰＭとの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該加算パターンの変化幅として最小値算出回路１６２０へ供給する。すなわち、差分演算器１６０１，１６０２，１６０３，１６０４は、差分ＤＢ１，ＤＢ２，ＤＢ３，ＤＢ４を相関評価値（補助面内相関評価値）として最小値算出回路１６２０に供給する。
最小値算出回路１６２０は、差分演算器１６０１〜１６０４からそれぞれ入力される４加算パターンＫ１〜Ｋ４にそれぞれ対応する画素値の差分（変化幅）ＤＢ１，ＤＢ２，ＤＢ３，ＤＢ４を互いに比較し、差分の大きさが最小の加算パターンＳＵＢ３ａと、次に差分の大きさが小さい加算パターンＳＵＢ３ｂとを求め、加算パターンＳＵＢ３ａ，ＳＵＢ３ｂを示す情報ＤＢを画素指定回路１６３０へ通知する。画素指定回路１６３０は、最小値算出回路１６２０から通知された加算パターンＳＵＢ３ａ，ＳＵＢ３ｂを構成する画素の画素位置を出力端子１６４０から相関判別部７９へ供給する。
画素指定回路６３０が図２３〜図４１の他の主領域の加算パターンを指定したときの画素選択回路１６００の動作も、図２２の主領域の加算パターンを指定した時と同様に動作するので詳しい説明は省略する。
次に、図４２、図４３（Ａ），（Ｂ）及び図４４を参照しつつ、図５の前方参照パターン検出部（空間判別回路）７２及び図６の後方参照パターン検出部（空間判別回路）７４の構成について説明する。前方参照パターン検出部７２及び後方参照パターン検出部７４の基本構成は同一であるので、個別での説明は省略する。図４２は、図５及び図６の画素抽出部７７０，７７１と同じ構成を有する画素抽出部（サンプリング回路）７７ｘを示す図である。この画素抽出部７７ｘは、図４３（Ａ），（Ｂ）に示されるように、入力信号ＮＲｘＤ（ＮＲ２ＤまたはＮＲ４Ｄ）のフレーム画像中の注目画素を中心とする任意の１１×１１画素領域をサンプリングし、サンプリングされた画素領域の画素値Ｐ００〜Ｐ０Ａ，Ｐ１０〜Ｐ１Ａ，Ｐ２０〜Ｐ２Ａ，Ｐ３０〜Ｐ３Ａ，Ｐ４０〜Ｐ４Ａ，Ｐ５０〜Ｐ５Ａ，Ｐ６０〜Ｐ６Ａ，Ｐ７０〜Ｐ７Ａ，Ｐ８０〜Ｐ８Ａ，Ｐ９０〜Ｐ９Ａ，ＰＡ０〜ＰＡＡを画素値群ＳＰＬｘとして並列に出力する機能を有する。画素値Ｐ５５が注目画素となる。また、図４４は、主前方参照パターン検出部７８０及び主後方参照パターン検出部７８１と同じ構成を有する主参照パターン検出部７８ｘの構成を概略的に示すブロック図である。さらに、図４５は、補助前方参照パターン検出部１１７０及び補助後方参照パターン検出部１１７１と同じ構成を有する補助参照パターン検出部１１７ｘの構成を概略的に示すブロック図である。
図４４に示されるように、画素選択回路７２０、差分演算器７２１〜７２５、最小値算出回路７４０及び画素指定回路７５０は、主参照パターン検出部７８ｘ（主前方参照パターン検出部（主領域判別回路）７８０または主後方参照パターン検出部７８１）を構成する。また、図４５に示されるように、画素選択回路１１２０、差分演算器１１２１〜１１２４、最小値算出回路１１４０及び画素指定回路１１５０は、補助参照パターン検出部１１７ｘ（補助前方参照パターン検出部（補助領域判別回路）１１７０または補助後方参照パターン検出部１１７１）を構成する。上述の通り、図４２の画素抽出部７７ｘは、入力信号ＮＲｘＤを所定の時間だけ遅延させて注目画素及びその周囲の周辺画素の各画素値を同時に抽出する。図４３（Ｂ）の画素値ＰＡＡが入力端子５００に印加されたタイミングでの動作について説明する。Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路２４、空間フィルタ４４及び遅延回路３８を経て後方参照パターン検出部７４の入力端子７００に印加される。あるいは、Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路２４、１フレーム遅延回路２３、１フレーム遅延回路２２、空間フィルタ４２及び遅延回路３７を経て前方参照パターン検出部７２の入力端子７００に印加される。
図４２の入力端子７００に印加された画素値ＰＡＡは、１ライン遅延回路７０１、１画素遅延回路１７００、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７００は、１画素遅延した画素値Ｐ９Ａを出力する。画素値Ｐ９Ａは、１画素遅延回路１７０１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０１は、１画素遅延した画素値Ｐ８Ａを出力する。画素値Ｐ８Ａは、１画素遅延回路１７０２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０２は、１画素遅延した画素値Ｐ７Ａを出力する。画素値Ｐ７Ａは、１画素遅延回路１７０３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０３は、１画素遅延した画素値Ｐ６Ａを出力する。画素値Ｐ６Ａは、１画素遅延回路１７０４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０４は、１画素遅延した画素値Ｐ５Ａを出力する。画素値Ｐ５Ａは、１画素遅延回路１７０５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０５は、１画素遅延した画素値Ｐ４Ａを出力する。画素値Ｐ４Ａは、１画素遅延回路１７０６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０６は、１画素遅延した画素値Ｐ３Ａを出力する。画素値Ｐ３Ａは、１画素遅延回路１７０７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０７は、１画素遅延した画素値Ｐ２Ａを出力する。画素値Ｐ２Ａは、１画素遅延回路１７０８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０８は、１画素遅延した画素値Ｐ１Ａを出力する。画素値Ｐ１Ａは、１画素遅延回路１７０９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７０９は、１画素遅延した画素値Ｐ０Ａを出力する。画素値Ｐ０Ａは、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０１は画素値ＰＡ９を出力する。画素値ＰＡ９は、１ライン遅延回路７０２、１画素遅延回路１７１０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７１０は、１画素遅延した画素値Ｐ９９を出力する。画素値Ｐ９９は、１画素遅延回路１７１１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路１７１２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路１７１３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路１７１４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路１７１５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路１７１６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路１７１７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路１７１８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、１画素遅延回路１７１９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７１９は、１画素遅延した画素値Ｐ０９を出力する。画素値Ｐ０９は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０２は画素値ＰＡ８を出力する。画素値ＰＡ８は、１ライン遅延回路７０３、１画素遅延回路１７２０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７２０は、１画素遅延した画素値Ｐ９８を出力する。画素値Ｐ９８は、１画素遅延回路１７２１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路１７２２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路１７２３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路１７２４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路１７２５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路１７２６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路１７２７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路１７２８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、１画素遅延回路１７２９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７２９は、１画素遅延した画素値Ｐ０８を出力する。画素値Ｐ０８は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０３は画素値ＰＡ７を出力する。画素値ＰＡ７は、１ライン遅延回路７０４、１画素遅延回路１７３０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７３０は、１画素遅延した画素値Ｐ９７を出力する。画素値Ｐ９７は、１画素遅延回路１７３１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路１７３２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路１７３３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路１７３４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路１７３５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路１７３６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路１７３７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路１７３８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、１画素遅延回路１７３９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７３９は、１画素遅延した画素値Ｐ０７を出力する。画素値Ｐ０７は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０４は画素値ＰＡ６を出力する。画素値ＰＡ６は、１ライン遅延回路７０５、１画素遅延回路１７４０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７４０は、１画素遅延した画素値Ｐ９６を出力する。画素値Ｐ９６は、１画素遅延回路１７４１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路１７４２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路１７４３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路１７４４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路１７４５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路１７４６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路１７４７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路１７４８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、１画素遅延回路１７４９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７４９は、１画素遅延した画素値Ｐ０６を出力する。画素値Ｐ０６は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０５は画素値ＰＡ５を出力する。画素値ＰＡ５は、１ライン遅延回路７０６、１画素遅延回路１７５０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７５０は、１画素遅延した画素値Ｐ９５を出力する。画素値Ｐ９５は、１画素遅延回路１７５１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路１７５２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路１７５３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路１７５４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路１７５５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路１７５６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路１７５７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路１７５８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、１画素遅延回路１７５９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７５９は、１画素遅延した画素値Ｐ０５を出力する。画素値Ｐ０５は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０６は画素値ＰＡ４を出力する。画素値ＰＡ４は、１ライン遅延回路７０７、１画素遅延回路１７６０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７６０は、１画素遅延した画素値Ｐ９４を出力する。画素値Ｐ９４は、１画素遅延回路１７６１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路１７６２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路１７６３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路１７６４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路１７６５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路１７６６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路１７６７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路１７６８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、１画素遅延回路１７６９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７６９は、１画素遅延した画素値Ｐ０４を出力する。画素値Ｐ０４は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０７は画素値ＰＡ３を出力する。画素値ＰＡ３は、１ライン遅延回路７０８、１画素遅延回路１７７０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７７０は、１画素遅延した画素値Ｐ９３を出力する。画素値Ｐ９３は、１画素遅延回路１７７１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路１７７２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路１７７３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路１７７４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路１７７５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路１７７６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路１７７７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路１７７８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、１画素遅延回路１７７９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７７９は、１画素遅延した画素値Ｐ０３を出力する。画素値Ｐ０３は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０８は画素値ＰＡ２を出力する。画素値ＰＡ２は、１ライン遅延回路７０９、１画素遅延回路１７８０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７８０は、１画素遅延した画素値Ｐ９２を出力する。画素値Ｐ９２は、１画素遅延回路１７８１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路１７８２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路１７８３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路１７８４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路１７８５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路１７８６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路１７８７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２２は、１画素遅延回路１７８８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１２は、１画素遅延回路１７８９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７８９は、１画素遅延した画素値Ｐ０２を出力する。画素値Ｐ０２は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７０９は画素値ＰＡ１を出力する。画素値ＰＡ１は、１ライン遅延回路７１０、１画素遅延回路１７９０、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１７９０は、１画素遅延した画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路１７９１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路１７９２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路１７９３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路１７９４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路１７９５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路１７９６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路１７９７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路１７９８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、１画素遅延回路１７９９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１７９９は、１画素遅延した画素値Ｐ０１を出力する。画素値Ｐ０１は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１ライン遅延回路７１０は画素値ＰＡ０を出力する。画素値ＰＡ０は、１画素遅延回路１８００、画素選択回路７２０及び画素選択回路１１２０へ供給される。
１画素遅延回路１８００は、１画素遅延した画素値Ｐ９０を出力する。画素値Ｐ９０は、１画素遅延回路１８０１、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０１は、１画素遅延した画素値Ｐ８０を出力する。画素値Ｐ８０は、１画素遅延回路１８０２、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０２は、１画素遅延した画素値Ｐ７０を出力する。画素値Ｐ７０は、１画素遅延回路１８０３、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０３は、１画素遅延した画素値Ｐ６０を出力する。画素値Ｐ６０は、１画素遅延回路１８０４、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０４は、１画素遅延した画素値Ｐ５０を出力する。画素値Ｐ５０は、１画素遅延回路１８０５、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０５は、１画素遅延した画素値Ｐ４０を出力する。画素値Ｐ４０は、１画素遅延回路１８０６、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０６は、１画素遅延した画素値Ｐ３０を出力する。画素値Ｐ３０は、１画素遅延回路１８０７、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０７は、１画素遅延した画素値Ｐ２０を出力する。画素値Ｐ２０は、１画素遅延回路１８０８、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０８は、１画素遅延した画素値Ｐ１０を出力する。画素値Ｐ１０は、１画素遅延回路１８０９、画素選択回路７２０及び画素選択回路１１２０へ供給される。１画素遅延回路１８０９は、１画素遅延した画素値Ｐ００を出力する。画素値Ｐ００は、画素選択回路７２０及び画素選択回路１１２０へ供給される。
次に、図４４を参照しつつ主前方参照パターン検出部７８０及び主後方参照パターン検出部７８１の構成について詳細に説明する。
図１の同期信号発生回路１８は、図４４の同期信号入力端子７１８を介して画素選択回路７２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路７２０は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて、注目フレーム画像の注目画素、あるいは隣接フレーム画像（参照画像）の注目画素相当の画素位置を判断し、色フィルタ配列に対応する注目画素の画素位置を特定する。このとき、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、候補となる加算パターンの画素領域に対応する差分演算器７２１〜７２５へ、当該候補となる加算パターンＬ１〜Ｌ５を構成する画素値をそれぞれ供給する。上記した面内パターン検出部６１は、図４４の画素領域入力端子７１１を介して画素選択回路７２０へ面内パターン検出部６１で注目画素に最も相関の高いと判断された加算パターンＰＮ３を通知する。画素選択回路７２０は、面内パターン検出部６１で判別された加算パターンＰＮ３に基づき、画素値群ＳＰＬｘから、フレーム画像間での画素領域の移動も考慮して画素を選択する。
前記加算パターンについて説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択することができれば、画素加算後の画像の解像度劣化は小さくすることができる。注目画素と周辺画素の組み合わせから、候補となる複数の加算パターンが存在する。図４３（Ｂ）の画素空間配置で注目画素がＧ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターンとの組み合わせ、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンとの組合せを、図４６乃至図１６５に示す。これら図４６乃至図１６５においては、注目フレーム画像に対して、信号ＮＲ２Ｄにおける前側の隣接フレーム画像の加算パターンと、信号ＮＲ４Ｄにおける後側の隣接フレーム画像の加算パターンとが長方形の点線で囲まれて示されている。前方参照パターン検出部７２及び後方参照パターン検出部７４の各々は、面内パターン検出部６１で判別された面内加算パターンに対し、隣接フレーム画像の５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図４６〜図５０は、画素加算回路１４の注目画素がＧ画素であり、図２２の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図４６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２４４、Ｇ２６４、Ｇ２５５を差分演算器７２１へ供給する。図４７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４２、Ｇ２３３、Ｇ２５３、Ｇ２４４を差分演算器７２２へ供給する。図４８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２５５、Ｇ２７５、Ｇ２６６を差分演算器７２３へ供給する。図４９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６２、Ｇ２５３、Ｇ２７３、Ｇ２６４を差分演算器７２４へ供給する。図５０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２３５、Ｇ２５５、Ｇ２４６を差分演算器７２５へ供給する。
図５１〜図５５は、画素加算回路１４の注目画素がＧ画素であり、図２２の第１の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図５１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４４４、Ｇ４６４、Ｇ４５５を差分演算器７２１へ供給する。図５２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４２、Ｇ４３３、Ｇ４５３、Ｇ４４４を差分演算器７２２へ供給する。図５３は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４５５、Ｇ４７５、Ｇ４６６を差分演算器７２３へ供給する。図５４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６２、Ｇ４５３、Ｇ４７３、Ｇ４６４を差分演算器７２４へ供給する。図５５は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４３５、Ｇ４５５、Ｇ４４６を差分演算器７２５へ供給する。
図５６〜図６０は、画素加算回路１４の注目画素がＧ画素であり、図２３の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図５６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２５５、Ｇ２７５、Ｇ２６６を差分演算器７２１へ供給する。図５７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２４４、Ｇ２６４、Ｇ２５５を差分演算器７２２へ供給する。図５８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２７５、Ｇ２６６、Ｇ２８６、Ｇ２７７を差分演算器７２３へ供給する。図５９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２７３、Ｇ２６４、Ｇ２８４、Ｇ２７５を差分演算器７２４へ供給する。図６０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２４６、Ｇ２６６、Ｇ２５７を差分演算器７２５へ供給する。
図６１〜図６５は、画素加算回路１４の注目画素がＧ画素であり、図２３の第２の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図６１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４５５、Ｇ４７５、Ｇ４６６を差分演算器７２１へ供給する。図６２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４４４、Ｇ４６４、Ｇ４５５を差分演算器７２２へ供給する。図６３は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４７５、Ｇ４６６、Ｇ４８６、Ｇ４７７を差分演算器７２３へ供給する。図６４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４７３、Ｇ４６４、Ｇ４８４、Ｇ４７５を差分演算器７２４へ供給する。図６５は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４４６、Ｇ４６６、Ｇ４５７を差分演算器７２５へ供給する。
図６６〜図７０は、画素加算回路１４の注目画素がＧ画素であり、図２４の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図６６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２４６、Ｇ２６６、Ｇ２５７を差分演算器７２１へ供給する。図６７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２３５、Ｇ２５５、Ｇ２４６を差分演算器７２２へ供給する。図６８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６６、Ｇ２５７、Ｇ２７７、Ｇ２６８を差分演算器７２３へ供給する。図６９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２５５、Ｇ２７５、Ｇ２６６を差分演算器７２４へ供給する。図７０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２３７、Ｇ２５７、Ｇ２４８を差分演算器７２５へ供給する。
図７１〜図７５は、画素加算回路１４の注目画素がＧ画素であり、図２４の第３の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図７１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４４６、Ｇ４６６、Ｇ４５７を差分演算器７２１へ供給する。図７２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４３５、Ｇ４５５、Ｇ４４６を差分演算器７２２へ供給する。図７３は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６６、Ｇ４５７、Ｇ４７７、Ｇ４６８を差分演算器７２３へ供給する。図７４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４５５、Ｇ４７５、Ｇ４６６を差分演算器７２４へ供給する。図７５は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４３７、Ｇ４５７、Ｇ４４８を差分演算器７２５へ供給する。
図７６〜図８０は、画素加算回路１４の注目画素がＧ画素であり、図２５の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図７６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２３５、Ｇ２５５、Ｇ２４６を差分演算器７２１へ供給する。図７７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３３、Ｇ２２４、Ｇ２４４、Ｇ２３５を差分演算器７２２へ供給する。図７８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２４６、Ｇ２６６、Ｇ２５７を差分演算器７２３へ供給する。図７９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２４４、Ｇ２６４、Ｇ２５５を差分演算器７２４へ供給する。図８０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２２６、Ｇ２４６、Ｇ２３７を差分演算器７２５へ供給する。
図８１〜図８５は、画素加算回路１４の注目画素がＧ画素であり、図２５の第４の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図８１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４３５、Ｇ４５５、Ｇ４４６を差分演算器７２１へ供給する。図８２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３３、Ｇ４２４、Ｇ４４４、Ｇ４３５を差分演算器７２２へ供給する。図８３は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４４６、Ｇ４６６、Ｇ４５７を差分演算器７２３へ供給する。図８４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４４４、Ｇ４６４、Ｇ４５５を差分演算器７２４へ供給する。図８５は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４２６、Ｇ４４６、Ｇ４３７を差分演算器７２５へ供給する。
図８６〜図９０は、画素加算回路１４の注目画素がＧ画素であり、図２６の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンである。
図８６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５１、Ｇ２５３、Ｇ２５５、Ｇ２５７を差分演算器７２１へ供給する。図８７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４０、Ｇ２４２、Ｇ２４４、Ｇ２４６を差分演算器７２２へ供給する。図８８は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４２、Ｇ２４４、Ｇ２４６、Ｇ２４８を差分演算器７２３へ供給する。図８９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６０、Ｇ２６２、Ｇ２６４、Ｇ２６６を差分演算器７２４へ供給する。図９０は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６２、Ｇ２６４、Ｇ２６６、Ｇ２６８を差分演算器７２５へ供給する。
図９１〜図９５は、画素加算回路１４の注目画素がＧ画素であり、図２６の第５の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンである。
図９１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５１、Ｇ４５３、Ｇ４５５、Ｇ４５７を差分演算器７２１へ供給する。図９２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４０、Ｇ４４２、Ｇ４４４、Ｇ４４６を差分演算器７２２へ供給する。図９３は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４２、Ｇ４４４、Ｇ４４６、Ｇ４４８を差分演算器７２３へ供給する。図９４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６０、Ｇ４６２、Ｇ４６４、Ｇ４６６を差分演算器７２４へ供給する。図９５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６２、Ｇ４６４、Ｇ４６６、Ｇ４６８を差分演算器７２５へ供給する。
図９６〜図１００は、画素加算回路１４の注目画素がＧ画素であり、図２７の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンである。
図９６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２５５、Ｇ２５７、Ｇ２５９を差分演算器７２１へ供給する。図９７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４２、Ｇ２４４、Ｇ２４６、Ｇ２４８を差分演算器７２２へ供給する。図９８は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２４６、Ｇ２４８、Ｇ２４Ａを差分演算器７２３へ供給する。図９９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６２、Ｇ２６４、Ｇ２６６、Ｇ２６８を差分演算器７２４へ供給する。図１００は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２６６、Ｇ２６８、Ｇ２６Ａを差分演算器７２５へ供給する。
図１０１〜図１０５は、画素加算回路１４の注目画素がＧ画素であり、図２７の第６の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンである。
図１０１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４５５、Ｇ４５７、Ｇ４５９を差分演算器７２１へ供給する。図１０２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４２、Ｇ４４４、Ｇ４４６、Ｇ４４８を差分演算器７２２へ供給する。図１０３は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４４６、Ｇ４４８、Ｇ４４Ａを差分演算器７２３へ供給する。図１０４は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６２、Ｇ４６４、Ｇ４６６、Ｇ４６８を差分演算器７２４へ供給する。図１０５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４６６、Ｇ４６８、Ｇ４６Ａを差分演算器７２５へ供給する。
図１０６〜図１１０は、画素加算回路１４の注目画素がＧ画素であり、図２８の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側横ラインパターンである。
図１０６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２１５、Ｇ２３５、Ｇ２５５、Ｇ２７５を差分演算器７２１へ供給する。図１０７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２０４、Ｇ２２４、Ｇ２４４、Ｇ２６４を差分演算器７２２へ供給する。図１０８は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２４、Ｇ２４４、Ｇ２６４、Ｇ２８４を差分演算器７２３へ供給する。図１０９は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２０６、Ｇ２２６、Ｇ２４６、Ｇ２６６を差分演算器７２４へ供給する。図１１０は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２６、Ｇ２４６、Ｇ２６６、Ｇ２８６を差分演算器７２５へ供給する。
図１１１〜図１１５は、画素加算回路１４の注目画素がＧ画素であり、図２８の第７の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側横ラインパターンである。
図１１１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４１５、Ｇ４３５、Ｇ４５５、Ｇ４７５を差分演算器７２１へ供給する。図１１２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４０４、Ｇ４２４、Ｇ４４４、Ｇ４６４を差分演算器７２２へ供給する。図１１３は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２４、Ｇ４４４、Ｇ４６４、Ｇ４８４を差分演算器７２３へ供給する。図１１４は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４０６、Ｇ４２６、Ｇ４４６、Ｇ４６６を差分演算器７２４へ供給する。図１１５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２６、Ｇ４４６、Ｇ４６６、Ｇ４８６を差分演算器７２５へ供給する。
図１１６〜図１２０は、画素加算回路１４の注目画素がＧ画素であり、図２９の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側横ラインパターンである。
図１１６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２５５、Ｇ２７５、Ｇ２９５を差分演算器７２１へ供給する。図１１７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２４、Ｇ２４４、Ｇ２６４、Ｇ２８４を差分演算器７２２へ供給する。図１１８は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２６４、Ｇ２８４、Ｇ２Ａ４を差分演算器７２３へ供給する。図１１９は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２６、Ｇ２４６、Ｇ２６６、Ｇ２８６を差分演算器７２４へ供給する。図１２０は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２６６、Ｇ２８６、Ｇ２Ａ６を差分演算器７２５へ供給する。
図１２１〜図１２５は、画素加算回路１４の注目画素がＧ画素であり、図２９の第８の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側横ラインパターンである。
図１２１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４５５、Ｇ４７５、Ｇ４９５を差分演算器７２１へ供給する。図１２２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２４、Ｇ４４４、Ｇ４６４、Ｇ４８４を差分演算器７２２へ供給する。図１２３は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４６４、Ｇ４８４、Ｇ４Ａ４を差分演算器７２３へ供給する。図１２４は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２６、Ｇ４４６、Ｇ４６６、Ｇ４８６を差分演算器７２４へ供給する。図１２５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４６６、Ｇ４８６、Ｇ４Ａ６を差分演算器７２５へ供給する。
図１２６〜図１３０は、画素加算回路１４の注目画素がＧ画素であり、図３０の第９の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第９の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンである。
図１２６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３３、Ｇ２４４、Ｇ２５５、Ｇ２６６を差分演算器７２１へ供給する。図１２７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２２、Ｇ２３３、Ｇ２４４、Ｇ２５５を差分演算器７２２へ供給する。図１２８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２５５、Ｇ２６６、Ｇ２７７を差分演算器７２３へ供給する。図１２９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４２、Ｇ２５３、Ｇ２６４、Ｇ２７５を差分演算器７２４へ供給する。図１３０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２４、Ｇ２３５、Ｇ２４６、Ｇ２５７を差分演算器７２５へ供給する。
図１３１〜図１３５は、画素加算回路１４の注目画素がＧ画素であり、図３０の第９の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第９の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンである。
図１３１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３３、Ｇ４４４、Ｇ４５５、Ｇ４６６を差分演算器７２１へ供給する。図１３２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２２、Ｇ４３３、Ｇ４４４、Ｇ４５５を差分演算器７２２へ供給する。図１３３は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４５５、Ｇ４６６、Ｇ４７７を差分演算器７２３へ供給する。図１３４は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４２、Ｇ４５３、Ｇ４６４、Ｇ４７５を差分演算器７２４へ供給する。図１３５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２４、Ｇ４３５、Ｇ４４６、Ｇ４５７を差分演算器７２５へ供給する。
図１３６〜図１４０は、画素加算回路１４の注目画素がＧ画素であり、図３１の第１０の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１０の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンである。
図１３６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２５５、Ｇ２６６、Ｇ２７７を差分演算器７２１へ供給する。図１３７は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３３、Ｇ２４４、Ｇ２５５、Ｇ２６６を差分演算器７２２へ供給する。図１３８は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２６６、Ｇ２７７、Ｇ２８８を差分演算器７２３へ供給する。図１３９は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２６４、Ｇ２７５、Ｇ２８６を差分演算器７２４へ供給する。図１４０は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２４６、Ｇ２５７、Ｇ２６８を差分演算器７２５へ供給する。
図１４１〜図１４５は、画素加算回路１４の注目画素がＧ画素であり、図３１の第１０の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１０の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンである。
図１４１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４５５、Ｇ４６６、Ｇ４７７を差分演算器７２１へ供給する。図１４２は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３３、Ｇ４４４、Ｇ４５５、Ｇ４６６を差分演算器７２２へ供給する。図１４３は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４６６、Ｇ４７７、Ｇ４８８を差分演算器７２３へ供給する。図１４４は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４６４、Ｇ４７５、Ｇ４８６を差分演算器７２４へ供給する。図１４５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４４６、Ｇ４５７、Ｇ４６８を差分演算器７２５へ供給する。
図１４６〜図１５０は、画素加算回路１４の注目画素がＧ画素であり、図３２の第１１の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１１の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンである。
図１４６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２５５、Ｇ２６４、Ｇ２７３を差分演算器７２１へ供給する。図１４７は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２６４、Ｇ２７３、Ｇ２８２を差分演算器７２２へ供給する。図１４８は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３７、Ｇ２４６、Ｇ２５５、Ｇ２６４を差分演算器７２３へ供給する。図１４９は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２４４、Ｇ２５３、Ｇ２６２を差分演算器７２４へ供給する。図１５０は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５７、Ｇ２６６、Ｇ２７５、Ｇ２８４を差分演算器７２５へ供給する。
図１５１〜図１５５は、画素加算回路１４の注目画素がＧ画素であり、図３２の第１１の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１１の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンである。
図１５１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４５５、Ｇ４６４、Ｇ４７３を差分演算器７２１へ供給する。図１５２は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４６４、Ｇ４７３、Ｇ４８２を差分演算器７２２へ供給する。図１５３は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３７、Ｇ４４６、Ｇ４５５、Ｇ４６４を差分演算器７２３へ供給する。図１５４は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４４４、Ｇ４５３、Ｇ４６２を差分演算器７２４へ供給する。図１５５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５７、Ｇ４６６、Ｇ４７５、Ｇ４８４を差分演算器７２５へ供給する。
図１５６〜図１６０は、画素加算回路１４の注目画素がＧ画素であり、図３３の第１２の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１２の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンである。
図１５６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３７、Ｇ２４６、Ｇ２５５、Ｇ２６４を差分演算器７２１へ供給する。図１５７は、注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２５５、Ｇ２６４、Ｇ２７３を差分演算器７２２へ供給する。図１５８は、注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２８、Ｇ２３７、Ｇ２４６、Ｇ２５５を差分演算器７２３へ供給する。図１５９は、注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２６、Ｇ２３５、Ｇ２４４、Ｇ２５３を差分演算器７２４へ供給する。図１６０は、注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４８、Ｇ２５７、Ｇ２６６、Ｇ２７５を差分演算器７２５へ供給する。
図１６１〜図１６５は、画素加算回路１４の注目画素がＧ画素であり、図３３の第１２の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１２の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンである。
図１６１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３７、Ｇ４４６、Ｇ４５５、Ｇ４６４を差分演算器７２１へ供給する。図１６２は、注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４５５、Ｇ４６４、Ｇ４７３を差分演算器７２２へ供給する。図１６３は、注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２８、Ｇ４３７、Ｇ４４６、Ｇ４５５を差分演算器７２３へ供給する。図１６４は、注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２６、Ｇ４３５、Ｇ４４４、Ｇ４５３を差分演算器７２４へ供給する。図１６５は、注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４８、Ｇ４５７、Ｇ４６６、Ｇ４７５を差分演算器７２５へ供給する。
次に、図４３（Ｂ）の画素空間配置で注目画素がＲ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターンとの組み合わせ、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンとの組合せを図１６６乃至図２０５に示す。これら図１６６乃至図２０５において、注目フレーム画像に対して、信号ＮＲ２Ｄにおける前側の隣接フレーム画像の加算パターンと、信号ＮＲ４Ｄのフレーム画像に後側の隣接フレーム画像の加算パターンとが長方形の点線で囲まれて示されている。前方参照パターン検出部７２及び後方参照パターン検出部７４の各々は、面内パターン検出部６１で判別された面内加算パターンに対し、隣接フレーム画像の５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図１６６〜図１７０は、画素加算回路１４の注目画素がＲ画素であり、図３４の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１６６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３３、Ｒ２５３、Ｒ２３５、Ｒ２５５を差分演算器７２１へ供給する。図１６７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２１３、Ｒ２３３、Ｒ２１５、Ｒ２３５を差分演算器７２２へ供給する。図１６８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５３、Ｒ２７３、Ｒ２５５、Ｒ２７５を差分演算器７２３へ供給する。図１６９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３１、Ｒ２５１、Ｒ２３３、Ｒ２５３を差分演算器７２４へ供給する。図１７０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３５、Ｒ２５５、Ｒ２３７、Ｒ２５７を差分演算器７２５へ供給する。
図１７１〜図１７５は、画素加算回路１４の注目画素がＲ画素で、図３４の第１の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１７１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３３、Ｒ４５３、Ｒ４３５、Ｒ４５５を差分演算器７２１へ供給する。図１７２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４１３、Ｒ４３３、Ｒ４１５、Ｒ４３５を差分演算器７２２へ供給する。図１７３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５３、Ｒ４７３、Ｒ４５５、Ｒ４７５を差分演算器７２３へ供給する。図１７４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３１、Ｒ４５１、Ｒ４３３、Ｒ４５３を差分演算器７２４へ供給する。図１７５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３５、Ｒ４５５、Ｒ４３７、Ｒ４５７を差分演算器７２５へ供給する。
図１７６〜図１８０は、画素加算回路１４の注目画素がＲ画素で、図３５の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１７６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５３、Ｒ２７３、Ｒ２５５、Ｒ２７５を差分演算器７２１へ供給する。図１７７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３３、Ｒ２５３、Ｒ２３５、Ｒ２５５を差分演算器７２２へ供給する。図１７８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７３、Ｒ２９３、Ｒ２７５、Ｒ２９５を差分演算器７２３へ供給する。図１７９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５１、Ｒ２７１、Ｒ２５３、Ｒ２７３を差分演算器７２４へ供給する。図１８０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７５、Ｒ２５７、Ｒ２７７を差分演算器７２５へ供給する。
図１８１〜図１８５は、画素加算回路１４の注目画素がＲ画素で、図３５の第２の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１８１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５３、Ｒ４７３、Ｒ４５５、Ｒ４７５を差分演算器７２１へ供給する。図１８２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３３、Ｒ４５３、Ｒ４３５、Ｒ４５５を差分演算器７２２へ供給する。図１８３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７３、Ｒ４９３、Ｒ４７５、Ｒ４９５を差分演算器７２３へ供給する。図１８４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５１、Ｒ４７１、Ｒ４５３、Ｒ４７３を差分演算器７２４へ供給する。図１８５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７５、Ｒ４５７、Ｒ４７７を差分演算器７２５へ供給する。
図１８６〜図１９０は、画素加算回路１４の注目画素がＲ画素で、図３６の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１８６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７５、Ｒ２５７、Ｒ２７７を差分演算器７２１へ供給する。図１８７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３５、Ｒ２５５、Ｒ２３７、Ｒ２５７を差分演算器７２２へ供給する。図１８８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７５、Ｒ２９５、Ｒ２７７、Ｒ２９７を差分演算器７２３へ供給する。図１８９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５３、Ｒ２７３、Ｒ２５５、Ｒ２７５を差分演算器７２４へ供給する。図１９０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５７、Ｒ２７７、Ｒ２５９、Ｒ２７９を差分演算器７２５へ供給する。
図１９１〜図１９５は、画素加算回路１４の注目画素がＲ画素で、図３６の第３の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１９１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７５、Ｒ４５７、Ｒ４７７を差分演算器７２１へ供給する。図１９２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３５、Ｒ４５５、Ｒ４３７、Ｒ４５７を差分演算器７２２へ供給する。図１９３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７５、Ｒ４９５、Ｒ４７７、Ｒ４９７を差分演算器７２３へ供給する。図１９４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５３、Ｒ４７３、Ｒ４５５、Ｒ４７５を差分演算器７２４へ供給する。図１９５は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５７、Ｒ４７７、Ｒ４５９、Ｒ４７９を差分演算器７２５へ供給する。
図１９６〜図２００は、画素加算回路１４の注目画素がＲ画素で、図３７の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図１９６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３５、Ｒ２５５、Ｒ２３７、Ｒ２５７を差分演算器７２１へ供給する。図１９７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２１５、Ｒ２３５、Ｒ２１７、Ｒ２３７を差分演算器７２２へ供給する。図１９８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７５、Ｒ２５７、Ｒ２７７を差分演算器７２３へ供給する。図１９９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３３、Ｒ２５３、Ｒ２３５、Ｒ２５５を差分演算器７２４へ供給する。図２００は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３７、Ｒ２５７、Ｒ２３９、Ｒ２５９を差分演算器７２５へ供給する。
図２０１〜図２０５は、画素加算回路１４の注目画素がＲ画素で、図３７の第４の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図２０１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３５、Ｒ４５５、Ｒ４３７、Ｒ４５７を差分演算器７２１へ供給する。図２０２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４１５、Ｒ４３５、Ｒ４１７、Ｒ４３７を差分演算器７２２へ供給する。図２０３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７５、Ｒ４５７、Ｒ４７７を差分演算器７２３へ供給する。図２０４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３３、Ｒ４５３、Ｒ４３５、Ｒ４５５を差分演算器７２４へ供給する。図２０５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３７、Ｒ４５７、Ｒ４３９、Ｒ４５９を差分演算器７２５へ供給する。
次に、図４３（Ｂ）の画素空間配置で注目画素がＢ画素のときの、面内４画素加算パターンと前側フレーム画像内４画素加算パターンとの組み合わせ、あるいは面内４画素加算パターンと後側フレーム画像内４画素加算パターンとの組合せを図２０６乃至図２４５に示す。これら図２０６乃至図２４５において、信号ＮＲ３における注目フレーム画像の面内加算パターンに対して、信号ＮＲ２Ｄにおける前側の隣接フレーム画像の加算パターンと、信号ＮＲ４Ｄにおける後側の隣接フレーム画像の加算パターンとが長方形の点線で囲まれて示されている。前方参照パターン検出部７２及び後方参照パターン検出部７４の各々は、面内パターン検出部６１で判別された面内加算パターンに対し、隣接フレームの５パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
図２０６〜図２１０は、画素加算回路１４の注目画素がＢ画素で、図３８の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図２０６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３３、Ｂ２５３、Ｂ２３５、Ｂ２５５を差分演算器７２１へ供給する。図２０７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２１３、Ｂ２３３、Ｂ２１５、Ｂ２３５を差分演算器７２２へ供給する。図２０８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５３、Ｂ２７３、Ｂ２５５、Ｂ２７５を差分演算器７２３へ供給する。図２０９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３１、Ｂ２５１、Ｂ２３３、Ｂ２５３を差分演算器７２４へ供給する。図２１０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３５、Ｂ２５５、Ｂ２３７、Ｂ２５７を差分演算器７２５へ供給する。
図２１１〜図２１５は、画素加算回路１４の注目画素がＢ画素で、図３８の第１の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図２１１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３３、Ｂ４５３、Ｂ４３５、Ｂ４５５を差分演算器７２１へ供給する。図２１２は注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４１３、Ｂ４３３、Ｂ４１５、Ｂ４３５を差分演算器７２２へ供給する。図２１３は注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５３、Ｂ４７３、Ｂ４５５、Ｂ４７５を差分演算器７２３へ供給する。図２１４は注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３１、Ｂ４５１、Ｂ４３３、Ｂ４５３を差分演算器７２４へ供給する。図２１５は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３５、Ｂ４５５、Ｂ４３７、Ｂ４５７を差分演算器７２５へ供給する。
図２１６〜図２２０は、画素加算回路１４の注目画素がＢ画素で、図３９の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図２１６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５３、Ｂ２７３、Ｂ２５５、Ｂ２７５を差分演算器７２１へ供給する。図２１７は注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３３、Ｂ２５３、Ｂ２３５、Ｂ２５５を差分演算器７２２へ供給する。図２１８は注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７３、Ｂ２９３、Ｂ２７５、Ｂ２９５を差分演算器７２３へ供給する。図２１９は注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５１、Ｂ２７１、Ｂ２５３、Ｂ２７３を差分演算器７２４へ供給する。図２２０は注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７５、Ｂ２５７、Ｂ２７７を差分演算器７２５へ供給する。
図２２１〜図２２５は、画素加算回路１４の注目画素がＢ画素で、図３９の第２の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図２２１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５３、Ｂ４７３、Ｂ４５５、Ｂ４７５を差分演算器７２１へ供給する。図２２２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３３、Ｂ４５３、Ｂ４３５、Ｂ４５５を差分演算器７２２へ供給する。図２２３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７３、Ｂ４９３、Ｂ４７５、Ｂ４９５を差分演算器７２３へ供給する。図２２４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５１、Ｂ４７１、Ｂ４５３、Ｂ４７３を差分演算器７２４へ供給する。図２２５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７５、Ｂ４５７、Ｂ４７７を差分演算器７２５へ供給する。
図２２６〜図２３０は、画素加算回路１４の注目画素がＢ画素で、図４０の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図２２６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７５、Ｂ２５７、Ｂ２７７を差分演算器７２１へ供給する。図２２７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３５、Ｂ２５５、Ｂ２３７、Ｂ２５７を差分演算器７２２へ供給する。図２２８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７５、Ｂ２９５、Ｂ２７７、Ｂ２９７を差分演算器７２３へ供給する。図２２９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５３、Ｂ２７３、Ｂ２５５、Ｂ２７５を差分演算器７２４へ供給する。図２３０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５７、Ｂ２７７、Ｂ２５９、Ｂ２７９を差分演算器７２５へ供給する。
図２３１〜図２３５は、画素加算回路１４の注目画素がＢ画素で、図４０の第３の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図２３１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７５、Ｂ４５７、Ｂ４７７を差分演算器７２１へ供給する。図２３２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３５、Ｂ４５５、Ｂ４３７、Ｂ４５７を差分演算器７２２へ供給する。図２３３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７５、Ｂ４９５、Ｂ４７７、Ｂ４９７を差分演算器７２３へ供給する。図２３４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５３、Ｂ４７３、Ｂ４５５、Ｂ４７５を差分演算器７２４へ供給する。図２３５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５７、Ｂ４７７、Ｂ４５９、Ｂ４７９を差分演算器７２５へ供給する。
図２３６〜図２４０は、画素加算回路１４の注目画素がＢ画素で、図４１の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２に対応した第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図２３６は、注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３５、Ｂ２５５、Ｂ２３７、Ｂ２５７を差分演算器７２１へ供給する。図２３７は、注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２１５、Ｂ２３５、Ｂ２１７、Ｂ２３７を差分演算器７２２へ供給する。図２３８は、注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７５、Ｂ２５７、Ｂ２７７を差分演算器７２３へ供給する。図２３９は、注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３３、Ｂ２５３、Ｂ２３５、Ｂ２５５を差分演算器７２４へ供給する。図２４０は、注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３７、Ｂ２５７、Ｂ２３９、Ｂ２５９を差分演算器７２５へ供給する。
図２４１〜図２４５は、画素加算回路１４の注目画素がＢ画素で、図４１の第４の面内加算パターンが選択されたときの、後方参照パターン検出部７４に対応した第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図２４１は、注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３５、Ｂ４５５、Ｂ４３７、Ｂ４５７を差分演算器７２１へ供給する。図２４２は、注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４１５、Ｂ４３５、Ｂ４１７、Ｂ４３７を差分演算器７２２へ供給する。図２４３は、注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７５、Ｂ４５７、Ｂ４７７を差分演算器７２３へ供給する。図２４４は、注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３３、Ｂ４５３、Ｂ４３５、Ｂ４５５を差分演算器７２４へ供給する。図２４５は、注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３７、Ｂ４５７、Ｂ４３９、Ｂ４５９を差分演算器７２５へ供給する。
上述したように面内パターン検出部６１は、図４４の注目画素値入力端子７１２を介して差分演算器７２１〜７２５へ、注目画素値ＰＭを供給する。差分演算器７２１〜７２５には、画素選択回路７２０から、４画素からなる加算パターンＬ１〜Ｌ５が入力される。差分演算器７２１〜７２５の各々は、各画素群の画素値と注目画素値ＰＭの併せて５画素の画素値を互いに比較して、５画素の中での最大画素値と最小画素値を求める。次に、差分演算器７２１〜７２５の各々は、最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路７４０へ供給する。
最小値算出回路７４０は、差分演算器７２１〜７２５から入力される５パターンＬ１〜Ｌ５の画素間の画素値の差分（変化幅）ＤＣ１〜ＤＣ５を相関評価値として互いに比較して、最小の差分の加算パターンを求め、その結果ＤＣを画素指定回路７５０へ通知する。画素指定回路７５０は、最小値算出回路７４０から通知された加算パターンＰＮｘを構成する画素の画素位置を出力端子７６０から画素加算部５０へ供給する。前方参照パターン検出部７２の出力は選択回路５２へ、後方参照パターン検出部７４の出力は選択回路５４それぞれへ供給される。
前記のようにＧ画素の場合は面内パターン検出部６１で判別された１２パターンの加算パターンの各々に対して、隣接フレームの５パターンの加算パターンを組み合わせるように、また、Ｒ画素やＢ画素の場合は面内パターン検出部６１で判別された４パターンの加算パターンの各々に対して、隣接フレームの５パターンの加算パターンを組み合わせるように前方参照パターン検出部７２及び後方参照パターン検出部７４が構成されているので、隣接フレームを含めて画素加算に使う画素に、注目画素と相関の高い画素を正しく選択できるようにすることができ、画素加算後の画像の解像度劣化を小さくすることができる。
次に、図２４６〜図２４８を参照しつつ、図７及び図８の最前方参照パターン検出部７１及び最後方参照パターン検出部７５の動作について説明する。図２４６は、図７及び図８の画素抽出部８７０，８７１と同じ構成を有する画素抽出部８７ｙの構成を示す図である。この画素抽出部８７ｙは、入力信号ＮＲｙＤのフレーム画像中の注目画素を中心とする任意の１１×１１画素領域をサンプリングし、サンプリングされた画素領域の画素値Ｐ００〜Ｐ０Ａ，Ｐ１０〜Ｐ１Ａ，Ｐ２０〜Ｐ２Ａ，Ｐ３０〜Ｐ３Ａ，Ｐ４０〜Ｐ４Ａ，Ｐ５０〜Ｐ５Ａ，Ｐ６０〜Ｐ６Ａ，Ｐ７０〜Ｐ７Ａ，Ｐ８０〜Ｐ８Ａ，Ｐ９０〜Ｐ９Ａ，ＰＡ０〜ＰＡＡを画素値群ＳＰＬｙとして並列に出力する機能を有する。また、図２４７は、図７及び図８の第１副補助参照パターン検出部８８０及び第３副補助参照パターン検出部８８１と同じ構成を有する副補助参照パターン検出部８８ｙの構成を概略的に示すブロック図である。さらに、図２４８は、図７及び図８の第２副補助参照パターン検出部１８７０及び第４副補助参照パターン検出部１８７１と同じ構成を有する副補助参照パターン検出部１８７ｙの構成を概略的に示すブロック図である。
図１の同期信号発生回路１８は、図２４７の同期信号入力端子８１８を介して画素選択回路８２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路８２０は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素、あるいは隣接フレームの注目画素相当の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。このとき、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分演算器８２１〜８２４各々へ、補助領域の加算パターンを構成する画素値を供給する。
前記加算パターンについて説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択することができれば、画素加算後の画像の解像度劣化は小さくすることができる。周辺画素の組み合わせから、候補となる複数の加算パターンが存在する。図４６〜図２４５の画素空間配置で信号ＮＲ２ＤまたはＮＲ４Ｄの画像の主領域の各加算パターンに対する４つの補助領域の２画素加算パターンを図４６〜図２４５中に楕円形の点線で囲って示す。信号ＮＲ２Ｄの４パターンの加算パターンから最も相関の高い加算パターンＳＵＢ２が、信号ＮＲ４Ｄの４パターンの加算パターンから最も相関の高い加算パターンＳＵＢ４がそれぞれ求められる。
画素指定回路７５０が図４６の信号ＮＲ２Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作を説明する。図４６においては、画素選択回路８２０は、画素値Ｇ２６２、Ｇ２７３を差分演算器８２１へ供給する。画素選択回路８２０は、画素値Ｇ２７５、Ｇ２６６を差分演算器８２２へ供給する。画素選択回路８２０は、画素値Ｇ２４６、Ｇ２３５を差分演算器８２３へ供給する。画素選択回路８２０は、画素値Ｇ２３３、Ｇ２４２を差分演算器８２４へ供給する。
上述したように、面内パターン検出部６１は、図２４７の注目画素値入力端子８１２を介して差分演算器８２１〜８２４へ注目画素値ＰＭを供給する。差分演算器８２１〜８２４の各々は、画素選択回路８２０から入力される２画素の画素値と注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路８４０へ供給する。
最小値算出回路８４０は、差分演算器８２１〜８２４から入力される４パターンの画素間の変化幅ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４を比較して、最小の変化幅の加算パターンを求め、画素指定回路８５０へ通知する。そして、画素指定回路８５０は、最小値算出回路８４０から通知された加算パターンＳＵＢ２を構成する画素の画素位置を出力端子８６０から相関判別部７９へ供給する。
画素指定回路７５０が図４６〜図２４５の他の信号ＮＲ２Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作も、図４６の信号ＮＲ２Ｄの主領域の加算パターンを指定したときの動作と同様であるので詳しい説明は省略する。
次に、画素指定回路７５０が図５１の信号ＮＲ４Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作を説明する。図５１で画素選択回路８２０は、画素値Ｇ４６２、Ｇ４７３を差分演算器８２１へ供給する。画素選択回路８２０は、画素値Ｇ４７５、Ｇ４６６を差分演算器８２２へ供給する。画素選択回路８２０は、画素値Ｇ４４６、Ｇ４３５を差分演算器８２３へ供給する。画素選択回路８２０は、画素値Ｇ４３３、Ｇ４４２を差分演算器８２４へ供給する。
上述したように面内パターン検出部６１は、図２４７の注目画素値入力端子８１２を介して差分演算器８２１〜８２４へ、注目画素値ＰＭを供給する。差分演算器８２１〜８２４は、画素選択回路８２０から入力される２画素の画素値と注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路８４０へ供給する。
最小値算出回路８４０は、差分演算器８２１〜８２４から入力される４パターンの画素間の変化幅ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４を比較して、最小の変化幅の加算パターンを求め、画素指定回路８５０へ通知する。画素指定回路８５０は、最小値算出回路８４０から通知された加算パターンＳＵＢ４を構成する画素の画素位置を出力端子８６０から相関判別部７９へ供給する。
画素指定回路７５０が図４６〜図２４５の他の信号ＮＲ４Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作も、図５１の信号ＮＲ４Ｄの主領域の加算パターンを指定したときの動作と同様であるので詳しい説明は省略する。
次に、図２４８を参照しつつ、第２副補助参照パターン検出部１８７０及び第４副補助参照パターン検出部１８７１の動作について説明する。
図２４８に示されるように、画素選択回路１８２０、差分演算器１８２１〜１８２３、最小値算出回路１８４０及び画素指定回路１８５０は、副補助参照パターン検出部１８７ｙ（第２副補助参照パターン検出部（補助領域判別回路）１８７０または第４副補助参照パターン検出部１８７１）を構成する。画素値ＰＡＡが図２４６の画素抽出部８７ｙの入力端子８００に印加されたタイミングでの動作について説明する。Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、空間フィルタ４５及び遅延回路３９を経て前方参照パターン検出部７２の入力端子８００に印加される。あるいは、Ａ／Ｄ変換器１３Ａから出力された画素値ＰＡＡは、画素加算回路１４の入力端子ＩＮａから、１フレーム遅延回路２４、１フレーム遅延回路２３、１フレーム遅延回路２２、１フレーム遅延回路２１、空間フィルタ４１及び遅延回路３６を経て最前方参照パターン検出部７１の入力端子８００に印加される。
図２４６の入力端子８００に印加された画素値ＰＡＡは、１ライン遅延回路８０１、１画素遅延回路３７００、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７００は、１画素遅延した画素値Ｐ９Ａを出力する。画素値Ｐ９Ａは、１画素遅延回路３７０１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０１は、１画素遅延した画素値Ｐ８Ａを出力する。画素値Ｐ８Ａは、１画素遅延回路３７０２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０２は、１画素遅延した画素値Ｐ７Ａを出力する。画素値Ｐ７Ａは、１画素遅延回路３７０３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０３は、１画素遅延した画素値Ｐ６Ａを出力する。画素値Ｐ６Ａは、１画素遅延回路３７０４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０４は、１画素遅延した画素値Ｐ５Ａを出力する。画素値Ｐ５Ａは、１画素遅延回路３７０５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０５は、１画素遅延した画素値Ｐ４Ａを出力する。画素値Ｐ４Ａは、１画素遅延回路３７０６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０６は、１画素遅延した画素値Ｐ３Ａを出力する。画素値Ｐ３Ａは、１画素遅延回路３７０７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０７は、１画素遅延した画素値Ｐ２Ａを出力する。画素値Ｐ２Ａは、１画素遅延回路３７０８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０８は、１画素遅延した画素値Ｐ１Ａを出力する。画素値Ｐ１Ａは、１画素遅延回路３７０９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７０９は、１画素遅延した画素値Ｐ０Ａを出力する。画素値Ｐ０Ａは、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０１は画素値ＰＡ９を出力する。画素値ＰＡ９は、１ライン遅延回路８０２、１画素遅延回路３７１０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７１０は、１画素遅延した画素値Ｐ９９を出力する。画素値Ｐ９９は、１画素遅延回路３７１１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路３７１２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路３７１３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路３７１４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路３７１５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路３７１６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路３７１７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路３７１８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、１画素遅延回路３７１９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７１９は、１画素遅延した画素値Ｐ０９を出力する。画素値Ｐ０９は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０２は画素値ＰＡ８を出力する。画素値ＰＡ８は、１ライン遅延回路８０３、１画素遅延回路３７２０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７２０は、１画素遅延した画素値Ｐ９８を出力する。画素値Ｐ９８は、１画素遅延回路３７２１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路３７２２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路３７２３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路３７２４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路３７２５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路３７２６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路３７２７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路３７２８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、１画素遅延回路３７２９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７２９は、１画素遅延した画素値Ｐ０８を出力する。画素値Ｐ０８は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０３は画素値ＰＡ７を出力する。画素値ＰＡ７は、１ライン遅延回路８０４、１画素遅延回路３７３０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７３０は、１画素遅延した画素値Ｐ９７を出力する。画素値Ｐ９７は、１画素遅延回路３７３１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路３７３２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路３７３３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路３７３４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路３７３５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路３７３６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路３７３７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路３７３８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、１画素遅延回路３７３９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７３９は、１画素遅延した画素値Ｐ０７を出力する。画素値Ｐ０７は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０４は画素値ＰＡ６を出力する。画素値ＰＡ６は、１ライン遅延回路８０５、１画素遅延回路３７４０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７４０は、１画素遅延した画素値Ｐ９６を出力する。画素値Ｐ９６は、１画素遅延回路３７４１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路３７４２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路３７４３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路３７４４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路３７４５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路３７４６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路３７４７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路３７４８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、１画素遅延回路３７４９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７４９は、１画素遅延した画素値Ｐ０６を出力する。画素値Ｐ０６は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０５は画素値ＰＡ５を出力する。画素値ＰＡ５は、１ライン遅延回路８０６、１画素遅延回路３７５０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７５０は、１画素遅延した画素値Ｐ９５を出力する。画素値Ｐ９５は、１画素遅延回路３７５１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路３７５２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路３７５３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路３７５４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路３７５５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路３７５６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路３７５７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路３７５８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、１画素遅延回路３７５９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７５９は、１画素遅延した画素値Ｐ０５を出力する。画素値Ｐ０５は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０６は画素値ＰＡ４を出力する。画素値ＰＡ４は、１ライン遅延回路８０７、１画素遅延回路３７６０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７６０は、１画素遅延した画素値Ｐ９４を出力する。画素値Ｐ９４は、１画素遅延回路３７６１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路３７６２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路３７６３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路３７６４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路３７６５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路３７６６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路３７６７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路３７６８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、１画素遅延回路３７６９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７６９は、１画素遅延した画素値Ｐ０４を出力する。画素値Ｐ０４は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０７は画素値ＰＡ３を出力する。画素値ＰＡ３は、１ライン遅延回路８０８、１画素遅延回路３７７０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７７０は、１画素遅延した画素値Ｐ９３を出力する。画素値Ｐ９３は、１画素遅延回路３７７１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路３７７２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路３７７３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路３７７４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路３７７５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路３７７６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路３７７７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路３７７８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、１画素遅延回路３７７９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７７９は、１画素遅延した画素値Ｐ０３を出力する。画素値Ｐ０３は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０８は画素値ＰＡ２を出力する。画素値ＰＡ２は、１ライン遅延回路８０９、１画素遅延回路３７８０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７８０は、１画素遅延した画素値Ｐ９２を出力する。画素値Ｐ９２は、１画素遅延回路３７８１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路３７８２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路３７８３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路３７８４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路３７８５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路３７８６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路３７８７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２２は、１画素遅延回路３７８８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１２は、１画素遅延回路３７８９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７８９は、１画素遅延した画素値Ｐ０２を出力する。画素値Ｐ０２は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８０９は画素値ＰＡ１を出力する。画素値ＰＡ１は、１ライン遅延回路８１０、１画素遅延回路３７９０、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路３７９０は、１画素遅延した画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路３７９１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路３７９２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路３７９３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路３７９４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路３７９５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路３７９６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路３７９７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路３７９８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、１画素遅延回路３７９９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路３７９９は、１画素遅延した画素値Ｐ０１を出力する。画素値Ｐ０１は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１ライン遅延回路８１０は画素値ＰＡ０を出力する。画素値ＰＡ０は、１画素遅延回路１８００、画素選択回路８２０及び画素選択回路１８２０へ供給される。
１画素遅延回路１８００は、１画素遅延した画素値Ｐ９０を出力する。画素値Ｐ９０は、１画素遅延回路１８０１、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０１は、１画素遅延した画素値Ｐ８０を出力する。画素値Ｐ８０は、１画素遅延回路１８０２、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０２は、１画素遅延した画素値Ｐ７０を出力する。画素値Ｐ７０は、１画素遅延回路１８０３、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０３は、１画素遅延した画素値Ｐ６０を出力する。画素値Ｐ６０は、１画素遅延回路１８０４、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０４は、１画素遅延した画素値Ｐ５０を出力する。画素値Ｐ５０は、１画素遅延回路１８０５、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０５は、１画素遅延した画素値Ｐ４０を出力する。画素値Ｐ４０は、１画素遅延回路１８０６、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０６は、１画素遅延した画素値Ｐ３０を出力する。画素値Ｐ３０は、１画素遅延回路１８０７、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０７は、１画素遅延した画素値Ｐ２０を出力する。画素値Ｐ２０は、１画素遅延回路１８０８、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０８は、１画素遅延した画素値Ｐ１０を出力する。画素値Ｐ１０は、１画素遅延回路１８０９、画素選択回路８２０及び画素選択回路１８２０へ供給される。１画素遅延回路１８０９は、１画素遅延した画素値Ｐ００を出力する。画素値Ｐ００は、画素選択回路８２０及び画素選択回路１８２０へ供給される。
次に、第１副補助参照パターン検出部８８０及び第３副補助参照パターン検出部８８１の動作について説明する。
同期信号発生回路１８は、同期信号入力端子８１８を介して画素選択回路８２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路８２０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素、あるいは隣接フレームの注目画素相当の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。このとき、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分演算器８２１〜８２４各々へ、加算パターンを構成する画素値を供給する。最前方参照パターン検出部７１において、前方参照パターン検出部７２は画素領域入力端子８１１を介して画素選択回路８２０へ前方参照パターン検出部７２の主前方参照パターン検出部７８０で選択した加算パターンを通知する。画素選択回路８２０は、前方参照パターン検出部７２で判別された加算パターンに基づきフレーム画像間での画素領域の移動も考慮した加算パターンに従って画素を選択する。あるいは最後方参照パターン検出部７５において、後方参照パターン検出部７４は画素領域入力端子８１１を介して画素選択回路８２０へ後方参照パターン検出部７４の主前方参照パターン検出部７８０で選択した加算パターンを通知する。画素選択回路８２０は、前方参照パターン検出部７２で判別された加算パターンに基づきフレーム画像間での画素領域の移動も考慮した加算パターンに従って画素を選択する。
前記加算パターンについて説明する。画素加算に使う画素として、注目画素と相関の高い画素を正しく選択することができれば、画素加算後の画像の解像度劣化は小さくすることができる。周辺画素の組み合わせから、候補となる複数の加算パターンが存在する。最前方参照パターン検出部７１の第１副補助参照パターン検出部８８０は、前方参照パターン検出部７２で判別された加算パターンの画素パターンＰＮ２に対し、隣接フレームの４パターンの加算パターンの中から最も相関の高い加算パターンを判別する。最後方参照パターン検出部７５の第３副補助参照パターン検出部８８１は、後方参照パターン検出部７４で判別された加算パターンの画素パターンＰＮ４に対し、隣接フレームの４パターンの加算パターンの中から最も相関の高い加算パターンを判別する。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンの画素パターンＰＮ２として図４６の加算パターンを指定したときの信号ＮＲ１Ｄの補助領域の加算パターンＳＵＢ１ａを図２４９〜図２５２に長方形の点線で囲って示す。画素選択回路８２０は、図２４９のように画素値Ｇ１６４、Ｇ１５５を差分演算器８２１へ供給する。画素選択回路８２０は、図２５０のように画素値Ｇ１５３、Ｇ１４４を差分演算器８２２へ供給する。画素選択回路８２０は、図２５１のように画素値Ｇ１４４、Ｇ１５５を差分演算器８２３へ供給する。画素選択回路８２０は、図２５２のように画素値Ｇ１５３、Ｇ１６４を差分演算器８２４へ供給する。
面内パターン検出部６１は、注目画素値入力端子８１２を介して差分演算器８２１〜８２４へ注目画素値ＰＭを供給する。差分演算器８２１〜８２４の各々は、画素選択回路８２０から入力される２画素の画素値と注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路８４０へ供給する。
最小値算出回路８４０は、差分演算器８２１〜８２４から入力される４パターンＮ１〜Ｎ４の画素間の変化幅ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４を比較して、最小の変化幅の加算パターンを求め、画素指定回路８５０へ通知する。画素指定回路８５０は、最小値算出回路８４０から通知された加算パターンＳＵＢ１ａを構成する画素の画素位置を出力端子８６０から相関判別部７９へ供給する。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図４６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２４９〜図２５２の信号ＮＲ１Ｄの画素配置に長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図４７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２５３〜図２５６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図４８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２５７〜図２６０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図４９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２６１〜図２６４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図５０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２６５〜図２６８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図５６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２８９〜図２９２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図５７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２９３〜図２９６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図５８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図２９７〜図３００の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図５９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３０１〜図３０４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図６０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３０５〜図３０８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図６６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３２９〜図３３２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図６７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３３３〜図３３６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図６８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３３７〜図３４０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図６９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３４１〜図３４４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図７０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３４５〜図３４８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図７６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３６９〜図３７２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図７７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３７３〜図３７６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図７８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３７７〜図３８０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図７９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３８１〜図３８４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図８０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図３８５〜図３８８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図８６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４０９〜図４１２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図８７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４１３〜図４１６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図８８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４１７〜図４２０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図８９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４２１〜図４２４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図９０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４２５〜図４２８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図９６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４４９〜図４５２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図９７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４５３〜図４５６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図９８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４５７〜図４６０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図９９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４６１〜図４６４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１００の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４６５〜図４６８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１０６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４８９〜図４９２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１０７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４９３〜図４９６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１０８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図４９７〜図５００の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１０９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５０１〜図５０４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１１０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５０５〜図５０８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１１６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５２９〜図５３２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１１７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５３３〜図５３６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１１８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５３７〜図５４０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１１９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５４１〜図５４４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１２０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５４５〜図５４８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１２６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５６９〜図５７２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１２７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５７３〜図５７６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１２８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５７７〜図５８０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１２９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５８１〜図５８４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１３０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図５８５〜図５８８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１３６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６０９〜図６１２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１３７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６１３〜図６１６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１３８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６１７〜図６２０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１３９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６２１〜図６２４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１４０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６２５〜図６２８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１４６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６４９〜図６５２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１４７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６５３〜図６５６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１４８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６５７〜図６６０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１４９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６６１〜図６６４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１５０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６６５〜図６６８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１５６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６８９〜図６９２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１５７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６９３〜図６９６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１５８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図６９７〜図７００の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１５９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７０１〜図７０４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１６０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７０５〜図７０８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１６６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７２９〜図７３２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１６７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７３３〜図７３６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１６８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７３７〜図７４０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１６９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７４１〜図７４４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１７０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７４５〜図７４８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１７６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７６９〜図７７２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１７７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７７３〜図７７６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１７８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７７７〜図７８０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１７９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７８１〜図７８４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１８０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図７８５〜図７８８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１８６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８０９〜図８１２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１８７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８１３〜図８１６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１８８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８１７〜図８２０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１８９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８２１〜図８２４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１９０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８２５〜図８２８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１９６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８４９〜図８５２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１９７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８５３〜図８５６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１９８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８５７〜図８６０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図１９９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８６１〜図８６４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２００の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８６５〜図８６８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２０６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８８９〜図８９２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２０７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８９３〜図８９６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２０８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図８９７〜図９００の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２０９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９０１〜図９０４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２１０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９０５〜図９０８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２１６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９２９〜図９３２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２１７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９３３〜図９３６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２１８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９３７〜図９４０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２１９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９４１〜図９４４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２２０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９４５〜図９４８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２２６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９６９〜図９７２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２２７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９７３〜図９７６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２２８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９７７〜図９８０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２２９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９８１〜図９８４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２３０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図９８５〜図９８８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２３６の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図１００９〜図１０１２の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２３７の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図１０１３〜図１０１６の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２３８の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図１０１７〜図１０２０の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２３９の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図１０２１〜図１０２４の信号ＮＲ１Ｄに長方形の点線で囲って示す。前方参照パターン検出部７２が信号ＮＲ２Ｄの主領域の加算パターンＰＮ２として図２４０の加算パターンを指定したときの補助領域の加算パターンＳＵＢ１ａの候補となる４つの加算パターンを図１０２５〜図１０２８の信号ＮＲ１Ｄに長方形の点線で囲って示す。
前方参照パターン検出部７２が図２４９〜図１０４８の他の信号ＮＲ２Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作も、図２４９等の信号ＮＲ２Ｄの主領域の加算パターンを指定したときの動作と同様であるため、その詳しい説明は省略する。
次に、後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５１の加算パターンを指定したときの信号ＮＲ５Ｄの補助領域の加算パターンＳＵＢ５ａを図２６９〜図２７２に長方形の点線で囲って示す。例えば、画素選択回路８２０は、図２６９の長方形の点線で囲まれる画素値Ｇ５６４、Ｇ５５５を差分演算器８２１へ供給する。画素選択回路８２０は、図２７０の長方形の点線で囲まれる画素値Ｇ５５３、Ｇ５４４を差分演算器８２２へ供給する。また、画素選択回路８２０は、図２７１の長方形の点線で囲まれる画素値Ｇ５４４、Ｇ５５５を差分演算器８２３へ供給する。さらに画素選択回路８２０は、図２７２の長方形の点線で囲まれる画素値Ｇ５５３、Ｇ５６４を差分演算器８２４へ供給する。
面内パターン検出部６１は、注目画素値入力端子８１２を介して差分演算器８２１〜８２４へ注目画素値ＰＭを供給する。差分演算器８２１〜８２４は、画素選択回路８２０から入力される２画素の画素値と注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路８４０へ供給する。
最小値算出回路８４０は、差分演算器８２１〜８２４から入力される４パターンＮ１〜Ｎ４の画素間の変化幅ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４を比較して、最小の変化幅の加算パターンを求め、画素指定回路８５０へ通知する。画素指定回路８５０は、最小値算出回路８４０から通知された加算パターンＳＵＢ５ａを構成する画素の画素位置を出力端子８６０から相関判別部７９へ供給する。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図２６９〜図２７２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図２７３〜図２７６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図２７７〜図２８０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図２８１〜図２８４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図５５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図２８５〜図２８８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図６１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３０９〜図３１２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図６２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３１３〜図３１６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図６３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３１７〜図３２０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図６４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３２１〜図３２４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図６５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３２５〜図３２８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図７１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３４９〜図３５２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図７２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３５３〜図３５６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図７３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３５７〜図３６０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図７４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３６１〜図３６４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図７５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３６５〜図３６８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図８１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３８９〜図３９２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図８２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３９３〜図３９６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図８３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図３９７〜図４００の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図８４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４０１〜図４０４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図８５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４０５〜図４０８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図９１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４２９〜図４３２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図９２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４３３〜図４３６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図９３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４３７〜図４４０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図９４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４４１〜図４４４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図９５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４４５〜図４４８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１０１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４６９〜図４７２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１０２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４７３〜図４７６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１０３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４７７〜図４８０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１０４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４８１〜図４８４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１０５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図４８５〜図４８８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１１１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５０９〜図５１２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１１２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５１３〜図５１６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１１３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５１７〜図５２０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１１４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５２１〜図５２４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１１５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５２５〜図５２８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１２１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５４９〜図５５２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１２２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５５３〜図５５６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１２３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５５７〜図５６０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１２４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５６１〜図５６４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１２５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５６５〜図５６８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１３１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５８９〜図５９２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１３２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５９３〜図５９６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１３３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図５９７〜図６００の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１３４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６０１〜図６０４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１３５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６０５〜図６０８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１４１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６２９〜図６３２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１４２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６３３〜図６３６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１４３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６３７〜図６４０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１４４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６４１〜図６４４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１４５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６４５〜図６４８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１５１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６６９〜図６７２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１５２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６７３〜図６７６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１５３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６７７〜図６８０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１５４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６８１〜図６８４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１５５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図６８５〜図６８８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１６１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７０９〜図７１２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１６２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７１３〜図７１６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１６３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７１７〜図７２０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１６４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７２１〜図７２４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１６５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７２５〜図７２８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１７１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７４９〜図７５２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１７２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７５３〜図７５６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１７３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７５７〜図７６０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１７４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７６１〜図７６４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１７５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７６５〜図７６８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１８１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７８９〜図７９２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１８２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７９３〜図７９６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１８３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図７９７〜図８００の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１８４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８０１〜図８０４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１８５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８０５〜図８０８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１９１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８２９〜図８３２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１９２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８３３〜図８３６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１９３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８３７〜図８４０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１９４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８４１〜図８４４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図１９５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８４５〜図８４８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２０１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８６９〜図８７２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２０２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８７３〜図８７６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２０３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８７７〜図８８０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２０４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８８１〜図８８４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２０５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図８８５〜図８８８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２１１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９０９〜図９１２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２１２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９１３〜図９１６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２１３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９１７〜図９２０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２１４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９２１〜図９２４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２１５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９２５〜図９２８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２２１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９４９〜図９５２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２２２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９５３〜図９５６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２２３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９５７〜図９６０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２２４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９６１〜図９６４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２２５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９６５〜図９６８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２３１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９８９〜図９９２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２３２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９９３〜図９９６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２３３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図９９７〜図１０００の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２３４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１００１〜図１００４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２３５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１００５〜図１００８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２４１の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１０２９〜図１０３２の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２４２の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１０３３〜図１０３６の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２４３の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１０３７〜図１０４０の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２４４の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１０４１〜図１０４４の信号ＮＲ５Ｄに長方形の点線で囲って示す。後方参照パターン検出部７４が信号ＮＲ４Ｄの主領域の加算パターンＰＮ４として図２４５の加算パターンを指定したときの補助領域の加算パターンＳＵＢ５ａの候補となる４つの加算パターンを図１０４５〜図１０４８の信号ＮＲ５Ｄに長方形の点線で囲って示す。
後方参照パターン検出部７４が図２４９〜図１０４８の他の信号ＮＲ４Ｄの主領域の加算パターンを指定したときの画素選択回路８２０の動作も、図２４９等の信号ＮＲ４Ｄの主領域の加算パターンを指定したときの動作と同様であるので詳しい説明は省略する。
次に、図２４８を参照しつつ、第２副補助参照パターン検出部１８７０及び第４副補助参照パターン検出部１８７１の動作について説明する。
同期信号発生回路１８は、図２４８の同期信号入力端子１８１８を介して画素選択回路１８２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路１８２０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素、あるいは隣接フレームの注目画素相当の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。このとき、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。特定した画素位置に基づいて、加算パターンの画素領域に対応する差分演算器１８２１〜１８２３各々へ、加算パターンを構成する画素値を供給することができる。
前記加算パターンについて説明する。画素加算に使う画素に、注目画素と相関の高い画素を正しく選択することができれば、画素加算後の画像の解像度劣化は小さくすることができる。周辺画素の組み合わせから、候補となる複数の加算パターンが存在する。最前方参照パターン検出部７１の第２副補助参照パターン検出部１８７０は、画素指定回路８５０で指定した補助領域の加算パターンＳＵＢ１ａに対し、周辺の３パターンあるいは２パターンの加算パターンの中から最も相関の高い加算パターンＳＵＢ１ｂを判別する。最後方参照パターン検出部７５の第４副補助参照パターン検出部１８７１は、画素指定回路８５０で指定した補助領域の加算パターンＳＵＢ５ａに対し、周辺の３パターンあるいは２パターン加算パターンの中から最も相関の高い加算パターンＳＵＢ５ｂを判別する。
画素指定回路８５０が信号ＮＲ１Ｄの第１の補助領域の加算パターンＳＵＢ１ａとして図２４９の加算パターンを指定したときの第２の補助領域の加算パターンＳＵＢ１ｂの候補となる加算パターンを図２４９の信号ＮＲ１Ｄに楕円形の点線で囲って示す。例えば、画素選択回路１８２０は、図２４９に示される画素値Ｇ１４４、Ｇ１５３を差分演算器１８２１へ供給する。また、画素選択回路１８２０は、図２４９に示される画素値Ｇ１６６、Ｇ１７５を差分演算器１８２２へ供給する。
面内パターン検出部６１は注目画素値入力端子１８１２を介して差分演算器１８２１〜１８２３へ、注目画素値ＰＭを供給する。差分演算器１８２１〜１８２３は、画素選択回路１８２０から入力される２画素の画素値と、注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め、当該加算パターンの変化幅として最小値算出回路１８４０へ供給する。
最小値算出回路１８４０は、差分演算器１８２１〜１８２３から入力される３パターンの画素間の変化幅を比較して、最小の変化幅の加算パターンを求め、画素指定回路１８５０へ通知する。画素指定回路１８５０は、最小値算出回路１８４０から通知された加算パターンＳＵＢ１ｂを構成する画素の画素位置を出力端子１８６０から相関判別部７９へ供給する。
画素指定回路８５０が信号ＮＲ１Ｄの第１の補助領域の加算パターンＳＵＢ１ａとして図２５０〜図１０４５の他の加算パターンを指定したときの第２の補助領域の加算パターンＳＵＢ１ｂの候補となる加算パターンを各々の図の信号ＮＲ１Ｄに楕円形の点線で囲って示す。画素指定回路８５０が信号ＮＲ１Ｄの第１の補助領域の加算パターンＳＵＢ１ａとして図２４９〜図１０４５の他の加算パターンを指定したときの画素選択回路１８２０の動作も、図２４９の信号ＮＲ１Ｄの第１の補助領域の加算パターンＳＵＢ１ａを指定したときの動作と同様であるので詳しい説明は省略する。
画素指定回路８５０が信号ＮＲ５Ｄの第１の補助領域の加算パターンＳＵＢ５ａとして図２６９の加算パターンを指定したときの信号ＮＲ５Ｄの第２の補助領域の加算パターンＳＵＢ５ｂを図２６９に楕円形の点線で囲って示す。例えば、画素選択回路１８２０は、図２６９に示される画素値Ｇ５４４、Ｇ５５３を差分演算器１８２１へ供給する。また、画素選択回路１８２０は、図２６９に示される画素値Ｇ５６６、Ｇ５７５を差分演算器１８２２へ供給する。
面内パターン検出部６１は注目画素値入力端子１８１２を介して差分演算器１８２１〜１８２３へ、注目画素値ＰＭを供給する。差分演算器１８２１〜１８２３は、画素選択回路１８２０から入力される２画素の画素値と注目画素値ＰＭの併せて３画素を比較して、３画素の中での最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を相関評価値として求め、当該加算パターンの変化幅として最小値算出回路１８４０へ供給する。
最小値算出回路１８４０は、差分演算器１８２１〜１８２３から入力される３パターンＯ１〜Ｏ３の画素間の変化幅ＤＧ１，ＤＧ２，ＤＧ３を比較して、最小の変化幅の加算パターンを求め、画素指定回路１８５０へ通知する。画素指定回路１８５０は、最小値算出回路１８４０から通知された加算パターンＳＵＢ５ｂを構成する画素の画素位置を出力端子１８６０から相関判別部７９へ供給する。
画素指定回路８５０が信号ＮＲ５Ｄの第１の補助領域の加算パターンＳＵＢ５ａとして図２７３〜図１０４５の他の加算パターンを指定したときの第２の補助領域の加算パターンＳＵＢ１ｂの候補となる加算パターンを各々の図の信号ＮＲ５Ｄに楕円形の点線で囲って示す。画素指定回路８５０が信号ＮＲ５Ｄの第１の補助領域の加算パターンＳＵＢ５ａとして図２４９〜図１０４５の他の加算パターンを指定したときの画素選択回路１８２０の動作も、図２６９の信号ＮＲ５Ｄの第１の補助領域の加算パターンＳＵＢ５ａを指定した時と同様に動作するので詳しい説明は省略する。
次に、図１０４９を参照しつつ相関判別部７９の動作を説明する。図１０４９は、相関判別部７９の構成を概略的に示すブロック図である。図１０４９に示されるように、相関判別部７９は、入力端子９０１〜９０９、判別回路９１１〜９１４、判定回路９２０、画素指定回路９３０及び出力端子９４０を有している。
入力端子９０１から補助領域の画素パターンＳＵＢ１ａの画素値が入力され、入力端子９０２から補助領域の画素パターンＳＵＢ１ｂの画素値が入力され、入力端子９０３から補助領域の画素パターンＳＵＢ２の画素値が入力される。また、入力端子９０４から補助領域の画素パターンＳＵＢ３ａの画素値が入力され、入力端子９０５から補助領域の画素パターンＳＵＢ３ｂの画素値が入力され、入力端子９０６から補助領域の画素パターンＳＵＢ４の画素値が入力される。入力端子９０７からは補助領域の画素パターンＳＵＢ５ａの画素値が入力され、入力端子９０８からは補助領域の画素パターンＳＵＢ５ｂの画素値が入力される。そして、入力端子９０９からは注目画素の画素値ＰＭが入力される。
判別回路９１１は、各補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ１ｂ、ＳＵＢ５ｂの注目画素ＰＭとの相関を判別する。３つの補助領域の中でＳＵＢ３ａが相関最高か相関最低か、ＳＵＢ１ｂが相関最低か、ＳＵＢ５ｂが相関最低かなどを判別して判定回路９２０へ供給する。
判別回路９１２は、各補助領域の画素パターンＳＵＢ３ｂ、ＳＵＢ１ａ、ＳＵＢ５ａの注目画素ＰＭとの相関を判別する。３つの補助領域の中でＳＵＢ３ｂが相関最高か相関最低か、ＳＵＢ１ａが相関最低か、ＳＵＢ５ａが相関最低かなどを判別して判定回路９２０へ供給する。
判別回路９１３は、各補助領域の画素パターンＳＵＢ１ａ、ＳＵＢ２、ＳＵＢ４の注目画素ＰＭとの相関を判別する。３つの補助領域の中でＳＵＢ１ａが相関最低か、相関最高なのはＳＵＢ１ａ、ＳＵＢ２、ＳＵＢ４のいずれか判別して判定回路９２０へ供給する。
判別回路９１４は、各補助領域の画素パターンＳＵＢ５ａ、ＳＵＢ２、ＳＵＢ４の注目画素ＰＭとの相関を判別する。３つの補助領域の中でＳＵＢ５ａが相関最低か、相関最高なのはＳＵＢ５ａ、ＳＵＢ２、ＳＵＢ４のいずれか判別して判定回路９２０へ供給する。
前記判別回路９１１〜９１４は、各補助領域に注目画素をあわせた画素値群の変化幅を算出する差分演算器（図示せず）と、各補助領域に対応した変化幅の中から最小あるいは最大の変化幅を求める最小値算出回路（図示せず）と、変動幅が最小の補助領域を相関最高として判定回路９２０へ通知し、変動幅が最大の補助領域を相関最低として判定回路９２０へ通知する画素指定回路（図示せず）とを含む。
判定回路９２０は、前記判別回路９１１〜９１４の相関判別結果に基づいて注目画素の補助領域の加算パターンを判定する。相関判別結果に対する補助領域の加算パターン群を図１０５０の表（ルックアップテーブル）に基づいて説明する。なお、表中の「補助画素パターン」の欄の「２」は、各加算パターンに含まれる画素数を表している。
図１０５０に示されるように、補助領域加算パターン群ＳＰＧ１は、判別回路９１１でＳＵＢ３ａが相関最低のとき、判別回路９１２〜９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ１ａ、ＳＵＢ１ｂ、ＳＵＢ５ａ、ＳＵＢ５ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ２は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ３ｂが相関最高、かつ判別回路９１３でＳＵＢ１ａが相関最高、かつ判別回路９１４でＳＵＢ５ａが相関最高のときに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ１ａ、ＳＵＢ５ａを加算パターンとして含む。補助領域加算パターン群ＳＰＧ３は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ３ｂが相関最高、かつ判別回路９１３でＳＵＢ１ａが相関最低、かつ判別回路９１４でＳＵＢ５ａが相関最低のときに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ２、ＳＵＢ４を加算パターンとして含む。補助領域加算パターン群ＳＰＧ４は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ５ａが相関最低、かつ判別回路９１３でＳＵＢ２が相関最高のとき、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ２、ＳＵＢ１ａを加算パターンとして含む。補助領域加算パターン群ＳＰＧ５は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ５ａが相関最低、かつ判別回路９１３でＳＵＢ４が相関最高のときに、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ４、ＳＵＢ１ａを加算パターンとして含む。補助領域加算パターン群ＳＰＧ６は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ５ａが相関最低、かつ判別回路９１３でＳＵＢ１ａが相関最高のときに、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ１ａ、ＳＵＢ１ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ７は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ１ａが相関最低、かつ判別回路９１４でＳＵＢ２が相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ２、ＳＵＢ５ａを加算パターンとして含む。補助領域加算パターン群ＳＰＧ８は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ１ａが相関最低、かつ判別回路９１４でＳＵＢ４が相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ４、ＳＵＢ５ａを加算パターンとして含む。補助領域加算パターン群ＳＰＧ９は、判別回路９１１でＳＵＢ３ａが相関最高、かつ判別回路９１２でＳＵＢ１ａが相関最低、かつ判別回路９１４でＳＵＢ５ａが相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂ、ＳＵＢ５ａ、ＳＵＢ５ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１０は、判別回路９１１でＳＵＢ１ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１３でＳＵＢ２が相関最高のときに、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ２、ＳＵＢ５ａ、ＳＵＢ５ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１１は、判別回路９１１でＳＵＢ１ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１３でＳＵＢ４が相関最高のときに、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ４、ＳＵＢ５ａ、ＳＵＢ５ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１２は、判別回路９１１でＳＵＢ１ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１３でＳＵＢ１ａが相関最高のときに、判別回路９１４の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ１ａ、ＳＵＢ５ａ、ＳＵＢ５ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１３は、判別回路９１１でＳＵＢ５ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１４でＳＵＢ２が相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ２、ＳＵＢ１ａ、ＳＵＢ１ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１４は、判別回路９１１でＳＵＢ５ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１４でＳＵＢ４が相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ４、ＳＵＢ１ａ、ＳＵＢ１ｂを加算パターンとして含む。補助領域加算パターン群ＳＰＧ１５は、判別回路９１１でＳＵＢ５ｂが相関最低、かつ判別回路９１２でＳＵＢ３ｂが相関最低、かつ判別回路９１４でＳＵＢ５ａが相関最高のときに、判別回路９１３の判別結果によらずに選択され、補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ１ａ、ＳＵＢ１ｂ、ＳＵＢ５ａを加算パターンとして含む。
画素指定回路９３０は、判定回路９２０により選択された補助領域の画素パターンＳＰＮ１〜ＳＰＮ５を構成する画素の画素位置を出力端子９４０から選択回路５１〜５５へ供給する。例えば、補助領域の画素パターンＳＵＢ１ａ、ＳＵＢ１ｂが選択された場合は、画素指定回路９３０は、これら画素パターンＳＵＢ１ａ、ＳＵＢ１ｂの画素位置を加算パターンＳＰＮ１の画素位置として選択回路５１に指定する。補助領域の画素パターンＳＵＢ２が選択された場合は、画素指定回路９３０は、この画素パターンＳＵＢ２の画素位置を加算パターンＳＰＮ２の画素位置として選択回路５２へ指定する。補助領域の画素パターンＳＵＢ３ａ、ＳＵＢ３ｂが選択された場合は、画素指定回路９３０は、これら画素パターンＳＵＢ３ａ、ＳＵＢ３ｂの画素位置を加算パターンＳＰＮ３の画素位置として選択回路５３へ指定する。補助領域の画素パターンＳＵＢ４が選択された場合には、画素指定回路９３０は、この画素パターンＳＵＢ４の画素位置を加算パターンＳＰＮ４の画素位置として選択回路５４へ指定する。そして、補助領域の画素パターンＳＵＢ５ａ、ＳＵＢ５ｂが選択された場合は、画素指定回路９３０は、これら画素パターンＳＵＢ５ａ、ＳＵＢ５ｂの画素位置を加算パターンＳＰＮ５の画素位置として選択回路５５へ指定する。
次に、図１０５１を参照しつつ、選択回路５１〜５５の動作を説明する。選択回路５１〜５５の回路構成は同一なので、個別での説明は省略する。図１０５１は、選択回路５１〜５５のそれぞれと同じ構成を有する選択回路５ｚの構成を示す図である。図１０５１では、全ての構成要素を表記して煩雑となり分かりにくくならないように、同じ構成の繰返し部分が省略されている。
図１０５１において、１ライン遅延回路５２０１〜５２１０、１画素遅延回路５７００〜５８０９は、画素抽出部５２７０を構成する。画素抽出部５２７０は、入力信号ＦｚＤを所定の時間だけ遅延させて注目画素及びその周囲の周辺画素からなる１１×１１画素の画素値Ｐ００〜ＰＡＡを並列且つ同時に画素選択回路５２２０に出力する。注目画素Ｐ５５を中心とした水平１１画素、垂直１１画素の配置は、図１９（Ｂ）に示した画素配置と同じである。画素値ＰＡＡが入力端子５２００に印加されたタイミングでの動作について説明する。
画素抽出部５２７０の動作は以下の通りである。入力端子５２００に印加された画素値ＰＡＡは、１ライン遅延回路５２０１、１画素遅延回路５７００及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７００は、１画素遅延した画素値Ｐ９Ａを出力する。画素値Ｐ９Ａは、１画素遅延回路５７０１と画素選択回路５２０とへ供給される。１画素遅延回路５７０１は、１画素遅延した画素値Ｐ８Ａを出力する。画素値Ｐ８Ａは、１画素遅延回路５７０２と画素選択回路５２２０とへ供給される。１画素遅延回路５７０２は、１画素遅延した画素値Ｐ７Ａを出力する。画素値Ｐ７Ａは、１画素遅延回路５７０３と画素選択回路５２０とへ供給される。１画素遅延回路５７０３は、１画素遅延した画素値Ｐ６Ａを出力する。画素値Ｐ６Ａは、１画素遅延回路５７０４と画素選択回路５２２０とへ供給される。１画素遅延回路５７０４は、１画素遅延した画素値Ｐ５Ａを出力する。画素値Ｐ５Ａは、１画素遅延回路５７０５と画素選択回路５２２０とへ供給される。１画素遅延回路５７０５は、１画素遅延した画素値Ｐ４Ａを出力する。画素値Ｐ４Ａは、１画素遅延回路５７０６と画素選択回路５２２０とへ供給される。１画素遅延回路５７０６は、１画素遅延した画素値Ｐ３Ａを出力する。画素値Ｐ３Ａは、１画素遅延回路５７０７と画素選択回路５２２０とへ供給される。１画素遅延回路５７０７は、１画素遅延した画素値Ｐ２Ａを出力する。画素値Ｐ２Ａは、１画素遅延回路５７０８と画素選択回路５２２０とへ供給される。１画素遅延回路５７０８は、１画素遅延した画素値Ｐ１Ａを出力する。画素値Ｐ１Ａは、１画素遅延回路５７０９と画素選択回路５２２０とへ供給される。１画素遅延回路５７０９は、１画素遅延した画素値Ｐ０Ａを出力する。画素値Ｐ０Ａは、画素選択回路５２２０へ供給される。１ライン遅延回路５２０１は画素値ＰＡ９を出力する。画素値ＰＡ９は、１ライン遅延回路５２０２、１画素遅延回路５７１０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７１０は、１画素遅延した画素値Ｐ９９を出力する。画素値Ｐ９９は、１画素遅延回路５７１１と画素選択回路５２２０とへ供給される。１画素遅延回路５７１１は、１画素遅延した画素値Ｐ８９を出力する。画素値Ｐ８９は、１画素遅延回路５７１２と画素選択回路５２２０とへ供給される。１画素遅延回路５７１２は、１画素遅延した画素値Ｐ７９を出力する。画素値Ｐ７９は、１画素遅延回路５７１３と画素選択回路５２２０とへ供給される。１画素遅延回路５７１３は、１画素遅延した画素値Ｐ６９を出力する。画素値Ｐ６９は、１画素遅延回路５７１４と画素選択回路５２２０とへ供給される。１画素遅延回路５７１４は、１画素遅延した画素値Ｐ５９を出力する。画素値Ｐ５９は、１画素遅延回路５７１５と画素選択回路５２２０とへ供給される。１画素遅延回路５７１５は、１画素遅延した画素値Ｐ４９を出力する。画素値Ｐ４９は、１画素遅延回路５７１６と画素選択回路５２２０とへ供給される。１画素遅延回路５７１６は、１画素遅延した画素値Ｐ３９を出力する。画素値Ｐ３９は、１画素遅延回路５７１７と画素選択回路５２２０とへ供給される。１画素遅延回路５７１７は、１画素遅延した画素値Ｐ２９を出力する。画素値Ｐ２９は、１画素遅延回路５７１８と画素選択回路５２２０へ供給される。１画素遅延回路５７１８は、１画素遅延した画素値Ｐ１９を出力する。画素値Ｐ１９は、１画素遅延回路５７１９と画素選択回路５２２０へ供給される。１画素遅延回路５７１９は、１画素遅延した画素値Ｐ０９を出力する。画素値Ｐ０９は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０２は画素値ＰＡ８を出力する。画素値ＰＡ８は、１ライン遅延回路５２０３、１画素遅延回路５７２０と画素選択回路５２２０とへ供給される。１画素遅延回路５７２０は、１画素遅延した画素値Ｐ９８を出力する。画素値Ｐ９８は、１画素遅延回路５７２１と画素選択回路５２２０とへ供給される。１画素遅延回路５７２１は、１画素遅延した画素値Ｐ８８を出力する。画素値Ｐ８８は、１画素遅延回路５７２２と画素選択回路５２２０とへ供給される。１画素遅延回路５７２２は、１画素遅延した画素値Ｐ７８を出力する。画素値Ｐ７８は、１画素遅延回路５７２３と画素選択回路５２２０とへ供給される。１画素遅延回路５７２３は、１画素遅延した画素値Ｐ６８を出力する。画素値Ｐ６８は、１画素遅延回路５７２４と画素選択回路５２２０とへ供給される。１画素遅延回路５７２４は、１画素遅延した画素値Ｐ５８を出力する。画素値Ｐ５８は、１画素遅延回路５７２５と画素選択回路５２２０とへ供給される。１画素遅延回路５７２５は、１画素遅延した画素値Ｐ４８を出力する。画素値Ｐ４８は、１画素遅延回路５７２６と画素選択回路５２２０とへ供給される。１画素遅延回路５７２６は、１画素遅延した画素値Ｐ３８を出力する。画素値Ｐ３８は、１画素遅延回路５７２７と画素選択回路５２２０とへ供給される。１画素遅延回路５７２７は、１画素遅延した画素値Ｐ２８を出力する。画素値Ｐ２８は、１画素遅延回路５７２８と画素選択回路５２２０とへ供給される。１画素遅延回路５７２８は、１画素遅延した画素値Ｐ１８を出力する。画素値Ｐ１８は、１画素遅延回路５７２９と画素選択回路５２２０とへ供給される。１画素遅延回路５７２９は、１画素遅延した画素値Ｐ０８を出力する。画素値Ｐ０８はと画素選択回路５２２０とへ供給される。
１ライン遅延回路５２０３は画素値ＰＡ７を出力する。画素値ＰＡ７は、１ライン遅延回路５２０４、１画素遅延回路５７３０と画素選択回路５２２０とへ供給される。１画素遅延回路５７３０は、１画素遅延した画素値Ｐ９７を出力する。画素値Ｐ９７は、１画素遅延回路５７３１と画素選択回路５２２０とへ供給される。１画素遅延回路５７３１は、１画素遅延した画素値Ｐ８７を出力する。画素値Ｐ８７は、１画素遅延回路５７３２と画素選択回路５２２０とへ供給される。１画素遅延回路５７３２は、１画素遅延した画素値Ｐ７７を出力する。画素値Ｐ７７は、１画素遅延回路５７３３と画素選択回路５２２０とへ供給される。１画素遅延回路５７３３は、１画素遅延した画素値Ｐ６７を出力する。画素値Ｐ６７は、１画素遅延回路５７３４と画素選択回路５２２０とへ供給される。１画素遅延回路５７３４は、１画素遅延した画素値Ｐ５７を出力する。画素値Ｐ５７は、１画素遅延回路５７３５と画素選択回路５２２０とへ供給される。１画素遅延回路５７３５は、１画素遅延した画素値Ｐ４７を出力する。画素値Ｐ４７は、１画素遅延回路５７３６と画素選択回路５２２０とへ供給される。１画素遅延回路５７３６は、１画素遅延した画素値Ｐ３７を出力する。画素値Ｐ３７は、１画素遅延回路５７３７と画素選択回路５２２０とへ供給される。１画素遅延回路５７３７は、１画素遅延した画素値Ｐ２７を出力する。画素値Ｐ２７は、１画素遅延回路５７３８と画素選択回路５２２０とへ供給される。１画素遅延回路５７３８は、１画素遅延した画素値Ｐ１７を出力する。画素値Ｐ１７は、１画素遅延回路５７３９と画素選択回路５２２０とへ供給される。１画素遅延回路５７３９は、１画素遅延した画素値Ｐ０７を出力する。画素値Ｐ０７は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０４は画素値ＰＡ６を出力する。画素値ＰＡ６は、１ライン遅延回路５２０５、１画素遅延回路５７４０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７４０は、１画素遅延した画素値Ｐ９６を出力する。画素値Ｐ９６は、１画素遅延回路５７４１と画素選択回路５２２０とへ供給される。１画素遅延回路５７４１は、１画素遅延した画素値Ｐ８６を出力する。画素値Ｐ８６は、１画素遅延回路５７４２と画素選択回路５２２０とへ供給される。１画素遅延回路５７４２は、１画素遅延した画素値Ｐ７６を出力する。画素値Ｐ７６は、１画素遅延回路５７４３と画素選択回路５２２０とへ供給される。１画素遅延回路５７４３は、１画素遅延した画素値Ｐ６６を出力する。画素値Ｐ６６は、１画素遅延回路５７４４と画素選択回路５２２０とへ供給される。１画素遅延回路５７４４は、１画素遅延した画素値Ｐ５６を出力する。画素値Ｐ５６は、１画素遅延回路５７４５と画素選択回路５２２０とへ供給される。１画素遅延回路５７４５は、１画素遅延した画素値Ｐ４６を出力する。画素値Ｐ４６は、１画素遅延回路５７４６と画素選択回路５２２０とへ供給される。１画素遅延回路５７４６は、１画素遅延した画素値Ｐ３６を出力する。画素値Ｐ３６は、１画素遅延回路５７４７と画素選択回路５２２０とへ供給される。１画素遅延回路５７４７は、１画素遅延した画素値Ｐ２６を出力する。画素値Ｐ２６は、１画素遅延回路５７４８と画素選択回路５２２０とへ供給される。１画素遅延回路５７４８は、１画素遅延した画素値Ｐ１６を出力する。画素値Ｐ１６は、１画素遅延回路５７４９と画素選択回路５２２０とへ供給される。１画素遅延回路５７４９は、１画素遅延した画素値Ｐ０６を出力する。画素値Ｐ０６は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０５は画素値ＰＡ５を出力する。画素値ＰＡ５は、１ライン遅延回路５２０６、１画素遅延回路５７５０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７５０は、１画素遅延した画素値Ｐ９５を出力する。画素値Ｐ９５は、１画素遅延回路５７５１と画素選択回路５２２０とへ供給される。１画素遅延回路５７５１は、１画素遅延した画素値Ｐ８５を出力する。画素値Ｐ８５は、１画素遅延回路５７５２と画素選択回路５２２０とへ供給される。１画素遅延回路５７５２は、１画素遅延した画素値Ｐ７５を出力する。画素値Ｐ７５は、１画素遅延回路５７５３と画素選択回路５２２０とへ供給される。１画素遅延回路５７５３は、１画素遅延した画素値Ｐ６５を出力する。画素値Ｐ６５は、１画素遅延回路５７５４と画素選択回路５２２０とへ供給される。１画素遅延回路５７５４は、１画素遅延した画素値Ｐ５５を出力する。画素値Ｐ５５は、１画素遅延回路５７５５と画素選択回路５２２０とへ供給される。１画素遅延回路５７５５は、１画素遅延した画素値Ｐ４５を出力する。画素値Ｐ４５は、１画素遅延回路５７５６と画素選択回路５２２０とへ供給される。１画素遅延回路５７５６は、１画素遅延した画素値Ｐ３５を出力する。画素値Ｐ３５は、１画素遅延回路５７５７と画素選択回路５２２０とへ供給される。１画素遅延回路５７５７は、１画素遅延した画素値Ｐ２５を出力する。画素値Ｐ２５は、１画素遅延回路５７５８と画素選択回路５２２０とへ供給される。１画素遅延回路５７５８は、１画素遅延した画素値Ｐ１５を出力する。画素値Ｐ１５は、１画素遅延回路５７５９と画素選択回路５２２０とへ供給される。１画素遅延回路５７５９は、１画素遅延した画素値Ｐ０５を出力する。画素値Ｐ０５は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０６は画素値ＰＡ４を出力する。画素値ＰＡ４は、１ライン遅延回路５２０７、１画素遅延回路５７６０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７６０は、１画素遅延した画素値Ｐ９４を出力する。画素値Ｐ９４は、１画素遅延回路５７６１と画素選択回路５２２０とへ供給される。１画素遅延回路５７６１は、１画素遅延した画素値Ｐ８４を出力する。画素値Ｐ８４は、１画素遅延回路５７６２と画素選択回路５２２０とへ供給される。１画素遅延回路５７６２は、１画素遅延した画素値Ｐ７４を出力する。画素値Ｐ７４は、１画素遅延回路５７６３と画素選択回路５２２０とへ供給される。１画素遅延回路５７６３は、１画素遅延した画素値Ｐ６４を出力する。画素値Ｐ６４は、１画素遅延回路５７６４と画素選択回路５２２０とへ供給される。１画素遅延回路５７６４は、１画素遅延した画素値Ｐ５４を出力する。画素値Ｐ５４は、１画素遅延回路５７６５と画素選択回路５２２０とへ供給される。１画素遅延回路５７６５は、１画素遅延した画素値Ｐ４４を出力する。画素値Ｐ４４は、１画素遅延回路５７６６と画素選択回路５２２０とへ供給される。１画素遅延回路５７６６は、１画素遅延した画素値Ｐ３４を出力する。画素値Ｐ３４は、１画素遅延回路５７６７と画素選択回路５２２０とへ供給される。１画素遅延回路５７６７は、１画素遅延した画素値Ｐ２４を出力する。画素値Ｐ２４は、１画素遅延回路５７６８と画素選択回路５２２０とへ供給される。１画素遅延回路５７６８は、１画素遅延した画素値Ｐ１４を出力する。画素値Ｐ１４は、１画素遅延回路５７６９と画素選択回路５２２０とへ供給される。１画素遅延回路５７６９は、１画素遅延した画素値Ｐ０４を出力する。画素値Ｐ０４は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０７は画素値ＰＡ３を出力する。画素値ＰＡ３は、１ライン遅延回路５２０８、１画素遅延回路５７７０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７７０は、１画素遅延した画素値Ｐ９３を出力する。画素値Ｐ９３は、１画素遅延回路５７７１と画素選択回路５２２０とへ供給される。１画素遅延回路５７７１は、１画素遅延した画素値Ｐ８３を出力する。画素値Ｐ８３は、１画素遅延回路５７７２と画素選択回路５２２０とへ供給される。１画素遅延回路５７７２は、１画素遅延した画素値Ｐ７３を出力する。画素値Ｐ７３は、１画素遅延回路５７７３と画素選択回路５２２０とへ供給される。１画素遅延回路５７７３は、１画素遅延した画素値Ｐ６３を出力する。画素値Ｐ６３は、１画素遅延回路５７７４と画素選択回路５２２０とへ供給される。１画素遅延回路５７７４は、１画素遅延した画素値Ｐ５３を出力する。画素値Ｐ５３は、１画素遅延回路５７７５と画素選択回路５２２０とへ供給される。１画素遅延回路５７７５は、１画素遅延した画素値Ｐ４３を出力する。画素値Ｐ４３は、１画素遅延回路５７７６と画素選択回路５２２０とへ供給される。１画素遅延回路５７７６は、１画素遅延した画素値Ｐ３３を出力する。画素値Ｐ３３は、１画素遅延回路５７７７と画素選択回路５２２０とへ供給される。１画素遅延回路５７７７は、１画素遅延した画素値Ｐ２３を出力する。画素値Ｐ２３は、１画素遅延回路５７７８と画素選択回路５２２０とへ供給される。１画素遅延回路５７７８は、１画素遅延した画素値Ｐ１３を出力する。画素値Ｐ１３は、１画素遅延回路５７７９と画素選択回路５２２０とへ供給される。１画素遅延回路５７７９は、１画素遅延した画素値Ｐ０３を出力する。画素値Ｐ０３は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０８は画素値ＰＡ２を出力する。画素値ＰＡ２は、１ライン遅延回路５２０９、１画素遅延回路５７８０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７８０は、１画素遅延した画素値Ｐ９２を出力する。画素値Ｐ９２は、１画素遅延回路５７８１と画素選択回路５２２０とへ供給される。１画素遅延回路５７８１は、１画素遅延した画素値Ｐ８２を出力する。画素値Ｐ８２は、１画素遅延回路５７８２と画素選択回路５２２０とへ供給される。１画素遅延回路５７８２は、１画素遅延した画素値Ｐ７２を出力する。画素値Ｐ７２は、１画素遅延回路５７８３と画素選択回路５２２０とへ供給される。１画素遅延回路５７８３は、１画素遅延した画素値Ｐ６２を出力する。画素値Ｐ６２は、１画素遅延回路５７８４と画素選択回路５２２０とへ供給される。１画素遅延回路５７８４は、１画素遅延した画素値Ｐ５２を出力する。画素値Ｐ５２は、１画素遅延回路５７８５と画素選択回路５２２０とへ供給される。１画素遅延回路５７８５は、１画素遅延した画素値Ｐ４２を出力する。画素値Ｐ４２は、１画素遅延回路５７８６と画素選択回路５２２０とへ供給される。１画素遅延回路５７８６は、１画素遅延した画素値Ｐ３２を出力する。画素値Ｐ３２は、１画素遅延回路５７８７と画素選択回路５２２０とへ供給される。１画素遅延回路５７８７は、１画素遅延した画素値Ｐ２２を出力する。画素値Ｐ２２は、１画素遅延回路５７８８と画素選択回路５２２０とへ供給される。１画素遅延回路５７８８は、１画素遅延した画素値Ｐ１２を出力する。画素値Ｐ１２は、１画素遅延回路５７８９と画素選択回路５２２０とへ供給される。１画素遅延回路５７８９は、１画素遅延した画素値Ｐ０２を出力する。画素値Ｐ０２は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２０９は画素値ＰＡ１を出力する。画素値ＰＡ１は、１ライン遅延回路５２１０、１画素遅延回路５７９０及び画素選択回路５２２０へそれぞれ供給される。１画素遅延回路５７９０は、１画素遅延した画素値Ｐ９１を出力する。画素値Ｐ９１は、１画素遅延回路５７９１と画素選択回路５２２０とへ供給される。１画素遅延回路５７９１は、１画素遅延した画素値Ｐ８１を出力する。画素値Ｐ８１は、１画素遅延回路５７９２と画素選択回路５２２０とへ供給される。１画素遅延回路５７９２は、１画素遅延した画素値Ｐ７１を出力する。画素値Ｐ７１は、１画素遅延回路５７９３と画素選択回路５２２０とへ供給される。１画素遅延回路５７９３は、１画素遅延した画素値Ｐ６１を出力する。画素値Ｐ６１は、１画素遅延回路５７９４と画素選択回路５２２０とへ供給される。１画素遅延回路５７９４は、１画素遅延した画素値Ｐ５１を出力する。画素値Ｐ５１は、１画素遅延回路５７９５と画素選択回路５２２０とへ供給される。１画素遅延回路５７９５は、１画素遅延した画素値Ｐ４１を出力する。画素値Ｐ４１は、１画素遅延回路５７９６と画素選択回路５２２０とへ供給される。１画素遅延回路５７９６は、１画素遅延した画素値Ｐ３１を出力する。画素値Ｐ３１は、１画素遅延回路５７９７と画素選択回路５２２０とへ供給される。１画素遅延回路５７９７は、１画素遅延した画素値Ｐ２１を出力する。画素値Ｐ２１は、１画素遅延回路５７９８と画素選択回路５２２０とへ供給される。１画素遅延回路５７９８は、１画素遅延した画素値Ｐ１１を出力する。画素値Ｐ１１は、１画素遅延回路５７９９と画素選択回路５２２０とへ供給される。１画素遅延回路５７９９は、１画素遅延した画素値Ｐ０１を出力する。画素値Ｐ０１は、画素選択回路５２２０へ供給される。
１ライン遅延回路５２１０は画素値ＰＡ０を出力する。画素値ＰＡ０は、１画素遅延回路５８００と画素選択回路５２２０とへ供給される。１画素遅延回路５８００は、１画素遅延した画素値Ｐ９０を出力する。画素値Ｐ９０は、１画素遅延回路５８０１と画素選択回路５２２０とへ供給される。１画素遅延回路５８０１は、１画素遅延した画素値Ｐ８０を出力する。画素値Ｐ８０は、１画素遅延回路５８０２と画素選択回路５２２０とへ供給される。１画素遅延回路５８０２は、１画素遅延した画素値Ｐ７０を出力する。画素値Ｐ７０は、１画素遅延回路５８０３と画素選択回路５２２０とへ供給される。１画素遅延回路５８０３は、１画素遅延した画素値Ｐ６０を出力する。画素値Ｐ６０は、１画素遅延回路５８０４と画素選択回路５２２０とへ供給される。１画素遅延回路５８０４は、１画素遅延した画素値Ｐ５０を出力する。画素値Ｐ５０は、１画素遅延回路５８０５と画素選択回路５２２０とへ供給される。１画素遅延回路５８０５は、１画素遅延した画素値Ｐ４０を出力する。画素値Ｐ４０は、１画素遅延回路５８０６と画素選択回路５２２０とへ供給される。１画素遅延回路５８０６は、１画素遅延した画素値Ｐ３０を出力する。画素値Ｐ３０は、１画素遅延回路５８０７と画素選択回路５２２０とへ供給される。１画素遅延回路５８０７は、１画素遅延した画素値Ｐ２０を出力する。画素値Ｐ２０は、１画素遅延回路５８０８と画素選択回路５２２０とへ供給される。１画素遅延回路５８０８は、１画素遅延した画素値Ｐ１０を出力する。画素値Ｐ１０は、１画素遅延回路５８０９と画素選択回路５２２０とへ供給される。１画素遅延回路５８０９は、１画素遅延した画素値Ｐ００を出力する。画素値Ｐ００は、画素選択回路５２２０へ供給される。
同期信号発生回路１８は、図１０５１の同期信号入力端子５２１８を介して画素選択回路５２２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給する。画素選択回路５２２０は水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素、あるいは隣接フレームの注目画素相当の画素位置を判断して、色フィルタ配列に対応する注目画素の画素位置を特定する。このとき、注目画素が、Ｒ画素かＧ画素かＢ画素かも特定できる。面内パターン検出部６１、前方参照パターン検出部７２、後方参照パターン検出部７４及び相関判別部７９から指定された加算画素の画素位置も特定することができる。画素選択回路５２２０は、領域判別回路２５、前方参照パターン検出部７２、後方参照パターン検出部７４及び相関判別部７９から画素位置入力端子５２１９を介して指定画素位置の通知を受ける。画素選択回路５２２０は、当該指定画素位置の指定画素を選択して出力端子５２４０から加算演算回路５６へ供給する。
次に、図９を参照しつつ画素加算動作について説明する。
選択回路５１〜５５は、加算パターンＰＮ２，ＰＮ４，ＰＮ４，ＳＰＮ１〜ＳＰＮ５の画素の画素値を加算演算回路５６へ供給する。制御回路１９は、加算演算回路５６に対して、例えば１倍から２０倍の範囲内の増感倍率Ｌを設定することができる。加算演算回路５６は、選択回路５１〜５５から供給された合計２０画素の画素値を設定された増感倍率Ｌとなるよう加算して図１の出力端子ＯＵＴａを介して映像信号処理回路１５へ供給する。
制御回路１９は、増感倍率Ｌが１倍から１２倍のときは、主領域のみの加算パターンを適用し、１２倍から２０倍のときは、主領域と補助領域との組み合わせの加算パターンを適用することができる。
まず、増感倍率Ｌが１倍から１２倍の範囲内の、主領域のみを使った加算動作について説明する。注目画素がＧ画素のときに、フレーム画像間で動きが無いときの動作例を図４６と図５１について説明する。注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｇ＝（Ｇ２５３＋Ｇ２４４＋Ｇ２６４＋Ｇ２５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５
＋Ｇ４５３＋Ｇ４４４＋Ｇ４６４＋Ｇ４５５）×Ｌ／１２
Ｇ＝（Ｇ２５３＋Ｇ２４４＋Ｇ２６４＋Ｇ２５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５
＋Ｇ４５３＋Ｇ４４４＋Ｇ４６４＋Ｇ４５５）×Ｌ／１２
注目画素がＧ画素の時に、フレーム画像間で動きが有るときの動作例を図４７と図５３について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左上シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右下シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｇ＝（Ｇ２５３＋Ｇ２４４＋Ｇ２６４＋Ｇ２５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５
＋Ｇ４５３＋Ｇ４４４＋Ｇ４６４＋Ｇ４５５）×Ｌ／１２
Ｇ＝（Ｇ２５３＋Ｇ２４４＋Ｇ２６４＋Ｇ２５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５
＋Ｇ４５３＋Ｇ４４４＋Ｇ４６４＋Ｇ４５５）×Ｌ／１２
注目画素がＲ画素の時に、フレーム画像間で動きが無いときの動作例を図１６６と図１７１について説明する。
注目フレーム画像で画像領域「左上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｒ＝（Ｒ２３３＋Ｒ２５３＋Ｒ２３５＋Ｒ２５５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５
＋Ｒ４３３＋Ｒ４５３＋Ｒ４３５＋Ｒ４５５）×Ｌ／１２
Ｒ＝（Ｒ２３３＋Ｒ２５３＋Ｒ２３５＋Ｒ２５５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５
＋Ｒ４３３＋Ｒ４５３＋Ｒ４３５＋Ｒ４５５）×Ｌ／１２
注目画素がＲ画素の時に、フレーム画像間で動きが有るときの動作例を図１６７と図１７３について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｒ＝（Ｒ２１３＋Ｒ２３３＋Ｒ２１５＋Ｒ２３５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５
＋Ｒ４５３＋Ｒ４７３＋Ｒ４５５＋Ｒ４７５）×Ｌ／１２
Ｒ＝（Ｒ２１３＋Ｒ２３３＋Ｒ２１５＋Ｒ２３５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５
＋Ｒ４５３＋Ｒ４７３＋Ｒ４５５＋Ｒ４７５）×Ｌ／１２
注目画素がＢ画素の時に、フレーム画像間で動きが無いときの動作例を図２０６と図２１１について説明する。
注目フレーム画像で画像領域「左上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置と同じ画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｂ＝（Ｂ２３３＋Ｂ２５３＋Ｂ２３５＋Ｂ２５５
＋Ｂ３３３＋Ｂ３５３＋Ｂ３３５＋Ｂ３５５
＋Ｂ４３３＋Ｂ４５３＋Ｂ４３５＋Ｂ４５５）×Ｌ／１２
Ｂ＝（Ｂ２３３＋Ｂ２５３＋Ｂ２３５＋Ｂ２５５
＋Ｂ３３３＋Ｂ３５３＋Ｂ３３５＋Ｂ３５５
＋Ｂ４３３＋Ｂ４５３＋Ｂ４３５＋Ｂ４５５）×Ｌ／１２
注目画素がＢ画素の時に、フレーム画像間で動きが有るときの動作例を図２０７と図２１３について説明する。
注目フレーム画像で画像領域「上側ブロックパターン」が最も注目画素との相関が高く、前側フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が最も注目画素との相関が高く、後側フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が最も注目画素との相関が高い場合、加算演算回路５６は、次式の演算を実行して画素値を算出する。
Ｂ＝（Ｂ２１３＋Ｂ２３３＋Ｂ２１５＋Ｂ２３５
＋Ｂ３３３＋Ｂ３５３＋Ｂ３３５＋Ｂ３５５
＋Ｂ４５３＋Ｂ４７３＋Ｂ４５５＋Ｂ４７５）×Ｌ／１２
Ｂ＝（Ｂ２１３＋Ｂ２３３＋Ｂ２１５＋Ｂ２３５
＋Ｂ３３３＋Ｂ３５３＋Ｂ３３５＋Ｂ３５５
＋Ｂ４５３＋Ｂ４７３＋Ｂ４５５＋Ｂ４７５）×Ｌ／１２
上記の例では、画素加算を、縦、横、斜めパターン、ブロックパターンなど、解像度の高い被写体画像を含むフレーム画像を想定した加算パターンを使うように構成したので、相関の高い画素同士を加算することができる。解像度の高い被写体画像を含むシーンの画素を加算した場合でも、高解像度部分がぼやけることを防ぐ効果がある。
Ｒ画素とＢ画素の加算パターンも、Ｇ画素同様に、縦、横、斜めパターンも含めて相関を判定するように構成してもよい。Ｒ画素とＢ画素の場合は、Ｇ画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して加算パターンを決める。
上記では、注目フレーム画像及び、前後の隣接フレームの各面内での加算画素数が４画素、３面あわせて合計１２画素加算まで可能な場合について説明したが、加算パターンの設定次第で例えば、各面内での加算画素数が２画素、３面あわせて合計６画素加算とすることもできる。前記増感倍率Ｌは１〜１２倍まで設定できるが、増感倍率Ｌが７〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用し、増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用することで、解像度の低下を最低限に抑えた高感度化が可能となる。図について面内での加算画素数が２画素の加算パターンについて説明する。図１０５２〜図１０７５について注目フレーム画像の２画素の加算パターンを示す。
図１０５２は、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンを示している。画素選択回路６００は、画素値Ｇ５３、Ｇ５５を差分演算器６０１へ供給する。図１０５３は、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンを示している。画素選択回路６００は、画素値Ｇ５５、Ｇ５７を差分演算器６０２へ供給する。図１０５４は、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンを示している。画素選択回路６００は、画素値Ｇ４５、Ｇ５５を差分演算器６０３へ供給する。図１０５５は、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｇ５５、Ｇ７５を差分演算器６０４へ供給する。
図１０５６は、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｇ６４、Ｇ５５を差分演算器６０５へ供給する。図１０５７は、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｇ５５、Ｇ６６を差分演算器６０６へ供給する。図１０５８は、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｇ５５、Ｇ４６を差分演算器６０７へ供給する。図１０５９は、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｇ４４、Ｇ５５を差分演算器６０８へ供給する。
図１０６０は、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンを示している。画素選択回路６００は、画素値Ｒ５３、Ｒ５５を差分演算器６０１へ供給する。図１０６１は、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンを示している。画素選択回路６００は、画素値Ｒ５５、Ｒ５７を差分演算器６０２へ供給する。図１０６２は、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ３５、Ｒ５５を差分演算器６０３へ供給する。図１０６３は、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｒ５５、Ｒ７５を差分演算器６０４へ供給する。
図１０６４は、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｒ７３、Ｒ５５を差分演算器６０５へ供給する。図１０６５は、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｒ５５、Ｒ７７を差分演算器６０６へ供給する。図１０６６は、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｒ５５、Ｒ３７を差分演算器６０７へ供給する。図１０６７は、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｒ３３、Ｒ５５を差分演算器６０８へ供給する。
図１０６８は、注目画素とその上側の周辺画素を組合せた上側縦ラインパターンを示している。画素選択回路６００は、画素値Ｂ５３、Ｂ５５を差分演算器６０１へ供給する。図１０６９は、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンを示している。画素選択回路６００は、画素値Ｂ５５、Ｂ５７を差分演算器６０２へ供給する。図１０７０は、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ３５、Ｂ５５を差分演算器６０３へ供給する。図１０７１は、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンを示す図である。画素選択回路６００は、画素値Ｂ５５、Ｂ７５を差分演算器６０４へ供給する。
図１０７２は、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｂ７３、Ｂ５５を差分演算器６０５へ供給する。図１０７３は、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｂ５５、Ｂ７７を差分演算器６０６へ供給する。図１０７４は、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンを示している。画素選択回路６００は、画素値Ｂ５５、Ｂ３７を差分演算器６０７へ供給する。図１０７５は、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンを示している。画素選択回路６００は、画素値Ｂ３３、Ｂ５５を差分演算器６０８へ供給する。
次に、図１０７６〜図１２５１を参照しつつ隣接フレーム画像の２画素の加算パターンについて説明する。
図１０７６〜図１０８０は、画素加算回路１４の注目画素がＧ画素で、図１０５２の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンである。
図１０７６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２５５を差分演算器７２１へ供給する。図１０７７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４２、Ｇ２４４を差分演算器７２２へ供給する。図１０７８は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２４６を差分演算器７２３へ供給する。図１０７９は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６２、Ｇ２６４を差分演算器７２４へ供給する。図１０８０は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２６６を差分演算器７２５へ供給する。
図１０８１〜図１０８５は、画素加算回路１４の注目画素がＧ画素で、図１０５２の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側縦ラインパターンである。
図１０８１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４５５を差分演算器７２１へ供給する。図１０８２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４２、Ｇ４４４を差分演算器７２２へ供給する。図１０８３は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４４６を差分演算器７２３へ供給する。図１０８４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６２、Ｇ４６４を差分演算器７２４へ供給する。図１０８５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、３６６を差分演算器７２５へ供給する。
図１０８６〜図１０９０は、画素加算回路１４の注目画素がＧ画素で、図１０５３の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンである。
図１０８６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２５７を差分演算器７２１へ供給する。図１０８７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２４６を差分演算器７２２へ供給する。図１０８８は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２４８を差分演算器７２３へ供給する。図１０８９は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２６６を差分演算器７２４へ供給する。図１０９０は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６６、Ｇ２６８を差分演算器７２５へ供給する。
図１０９１〜図１０９５は、画素加算回路１４の注目画素がＧ画素で、図１０５３の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側縦ラインパターンである。
図１０９１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４５７を差分演算器７２１へ供給する。図１０９２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４４６を差分演算器７２２へ供給する。図１０９３は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４４８を差分演算器７２３へ供給する。図１０９４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４６６を差分演算器７２４へ供給する。図１０９５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６６、Ｇ４６８を差分演算器７２５へ供給する。
図１０９６〜図１１００は、画素加算回路１４の注目画素がＧ画素で、図１０５４の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側横ラインパターンである。
図１０９６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２５５を差分演算器７２１へ供給する。図１０９７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２４、Ｇ２４４を差分演算器７２２へ供給する。図１０９８は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２６４を差分演算器７２３へ供給する。図１０９９は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２２６、Ｇ２４６を差分演算器７２４へ供給する。図１１００は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２６６を差分演算器７２５へ供給する。
図１１０１〜図１１０５は、画素加算回路１４の注目画素がＧ画素で、図１０５４の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側横ラインパターンである。
図１１０１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４５５を差分演算器７２１へ供給する。図１１０２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４２４、Ｇ４４４を差分演算器７２２へ供給する。図１１０３は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４６４を差分演算器７２３へ供給する。図１１０４は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値ＧＧ４２６、Ｇ４４６を差分演算器７２４へ供給する。図１１０５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４６６を差分演算器７２５へ供給する。
図１１０６〜図１１１０は、画素加算回路１４の注目画素がＧ画素で、図１０５５の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側横ラインパターンである。
図１１０６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２７５を差分演算器７２１へ供給する。図１１０７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２６４を差分演算器７２２へ供給する。図１１０８は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２８４を差分演算器７２３へ供給する。図１１０９は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２６６を差分演算器７２４へ供給する。図１１１０は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６６、Ｇ２８６を差分演算器７２５へ供給する。
図１１１１〜図１１１５は、画素加算回路１４の注目画素がＧ画素で、図１０５５の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側横ラインパターンである。
図１１１１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４７５を差分演算器７２１へ供給する。図１１１２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４６４を差分演算器７２２へ供給する。図１１１３は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４８４を差分演算器７２３へ供給する。図１１１４は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４６６を差分演算器７２４へ供給する。図１１１５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６６、Ｇ４８６を差分演算器７２５へ供給する。
図１１１６〜図１１２０は、画素加算回路１４の注目画素がＧ画素で、図１０５６の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンである。
図１１１６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２５５を差分演算器７２１へ供給する。図１１１７は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２７３を差分演算器７２２へ供給する。図１１１８は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２４６を差分演算器７２３へ供給する。図１１１９は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２５３を差分演算器７２４へ供給する。図１１２０は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６６、Ｇ２７５を差分演算器７２５へ供給する。
図１１２１〜図１１２５は、画素加算回路１４の注目画素がＧ画素で、図１０５６の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側斜めラインパターンである。
図１１２１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４５５を差分演算器７２１へ供給する。図１１２２は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４７３を差分演算器７２２へ供給する。図１１２３は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４５５を差分演算器７２３へ供給する。図１１２４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４５３を差分演算器７２４へ供給する。図１１２５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６６、Ｇ４７５を差分演算器７２５へ供給する。
図１１２６〜図１１３０は、画素加算回路１４の注目画素がＧ画素で、図１０５７の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンである。
図１１２６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２６６を差分演算器７２１へ供給する。図１１２７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２５５を差分演算器７２２へ供給する。図１１２８は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６６、Ｇ２７７を差分演算器７２３へ供給する。図１１２９は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２６４、Ｇ２７５を差分演算器７２４へ供給する。図１１３０は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２５７を差分演算器７２５へ供給する。
図１１３１〜図１１３５は、画素加算回路１４の注目画素がＧ画素で、図１０５７の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側斜めラインパターンである。
図１１３１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４６６を差分演算器７２１へ供給する。図１１３２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４５５を差分演算器７２２へ供給する。図１１３３は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６６、Ｇ４７７を差分演算器７２３へ供給する。図１１３４は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４６４、Ｇ４７５を差分演算器７２４へ供給する。図１１３５は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４５７を差分演算器７２５へ供給する。
図１１３６〜図１１４０は、画素加算回路１４の注目画素がＧ画素で、図１０５８の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンである。
図１１３６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４６、Ｇ２５５を差分演算器７２１へ供給する。図１１３７は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２６４を差分演算器７２２へ供給する。図１１３８は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３７、Ｇ２４６を差分演算器７２３へ供給する。図１１３９は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２４４を差分演算器７２４へ供給する。図１１４０は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５７、Ｇ２６６を差分演算器７２５へ供給する。
図１１４１〜図１１４５は、画素加算回路１４の注目画素がＧ画素で、図１０５８の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側斜めラインパターンである。
図１１４１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４６、Ｇ４５５を差分演算器７２１へ供給する。図１１４２は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４６４を差分演算器７２２へ供給する。図１１４３は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３７、Ｇ４４６を差分演算器７２３へ供給する。図１１４４は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４４４を差分演算器７２４へ供給する。図１１４５は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５７、Ｇ４６６を差分演算器７２５へ供給する。
図１１４６〜図１１５０は、画素加算回路１４の注目画素がＧ画素で、図１０５９の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンである。
図１１４６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２４４、Ｇ２５５を差分演算器７２１へ供給する。図１１４７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３３、Ｇ２４４を差分演算器７２２へ供給する。図１１４８は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５５、Ｇ２６６を差分演算器７２３へ供給する。図１１４９は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２５３、Ｇ２６４を差分演算器７２４へ供給する。図１１５０は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ２３５、Ｇ２４６を差分演算器７２５へ供給する。
図１１５１〜図１１５５は、画素加算回路１４の注目画素がＧ画素で、図１０５９の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側斜めラインパターンである。
図１１５１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４４４、Ｇ４５５を差分演算器７２１へ供給する。図１１５２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３３、Ｇ４４４を差分演算器７２２へ供給する。図１１５３は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５５、Ｇ４６６を差分演算器７２３へ供給する。図１１５４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４５３、Ｇ４６４を差分演算器７２４へ供給する。図１１５５は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｇ４３５、Ｇ４４６を差分演算器７２５へ供給する。
次に、図１１５６〜図１１５８は、画素加算回路１４の注目画素がＲ画素で、図１０６０の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図１１５６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５３、Ｒ２５５を差分演算器７２１へ供給する。図１１５７は注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５１、Ｒ２５３を差分演算器７２２へ供給する。図１１５８は注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２５７を差分演算器７２３へ供給する。
図１１５９〜図１１６１は、画素加算回路１４の注目画素がＲ画素で、図１０６０の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図１１５９は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５３、Ｒ４５５を差分演算器７２１へ供給する。図１１６０は注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５１、Ｒ４５３を差分演算器７２２へ供給する。図１１６１は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４５７を差分演算器７２３へ供給する。
図１１６２〜図１１６４は、画素加算回路１４の注目画素がＲ画素で、図１０６１の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図１１６２は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２５７を差分演算器７２１へ供給する。図１１６３は注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５３、Ｒ２５５を差分演算器７２２へ供給する。図１１６４は注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５７、Ｒ２５９を差分演算器７２３へ供給する。
図１１６５〜図１１６７は、画素加算回路１４の注目画素がＲ画素で、図１０６１の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図１１６５は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４５７を差分演算器７２１へ供給する。図１１６６は注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５３、Ｒ４５５を差分演算器７２２へ供給する。図１１６７は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５７、Ｒ４５９を差分演算器７２３へ供給する。
図１１６８〜図１１７０は、画素加算回路１４の注目画素がＲ画素で、図１０６２の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図１１６８は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３５、Ｒ２５５を差分演算器７２１へ供給する。図１１６９は注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２１５、Ｒ２３５を差分演算器７２２へ供給する。図１１７０は注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７５を差分演算器７２３へ供給する。
図１１７１〜図１１７３は、画素加算回路１４の注目画素がＲ画素で、図１０６２の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図１１７１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３５、Ｒ４５５を差分演算器７２１へ供給する。図１１７２は注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４１５、Ｒ４３５を差分演算器７２２へ供給する。図１１７３は注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７５を差分演算器７２３へ供給する。
図１１７４〜図１１７６は、画素加算回路１４の注目画素がＲ画素で、図１０６３の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図１１７４は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７５を差分演算器７２１へ供給する。図１１７５は注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３５、Ｒ２５５を差分演算器７２２へ供給する。図１１７６は注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７５、Ｒ２９５を差分演算器７２３へ供給する。
図１１７７〜図１１７９は、画素加算回路１４の注目画素がＲ画素で、図１０６３の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図１１７７は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７５を差分演算器７２１へ供給する。図１１７８は注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３５、Ｒ４５５を差分演算器７２２へ供給する。図１１７９は注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７５、Ｒ４９５を差分演算器７２３へ供給する。
図１１８０〜図１１８２は、画素加算回路１４の注目画素がＲ画素で、図１０６４の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１１８０は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７３を差分演算器７２１へ供給する。図１１８１は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７３、Ｒ２９１を差分演算器７２２へ供給する。図１１８２は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３７、Ｒ２５５を差分演算器７２３へ供給する。
図１１８３〜図１１８５は、画素加算回路１４の注目画素がＲ画素で、図１０６４の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１１８３は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７３を差分演算器７２１へ供給する。図１１８４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７３、Ｒ４９１を差分演算器７２２へ供給する。図１１８５は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３７、Ｒ４５５を差分演算器７２３へ供給する。
図１１８６〜図１１８８は、画素加算回路１４の注目画素がＲ画素で、図１０６５の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１１８６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７７を差分演算器７２１へ供給する。図１１８７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３３、Ｒ２５５を差分演算器７２２へ供給する。図１１８８は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７７、Ｒ２９９を差分演算器７２３へ供給する。
図１１８９〜図１１９１は、画素加算回路１４の注目画素がＲ画素で、図１０６５の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１１８９は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７７を差分演算器７２１へ供給する。図１１９０は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３３、Ｒ４５５を差分演算器７２２へ供給する。図１１９１は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７７、Ｒ４９９を差分演算器７２３へ供給する。
図１１９２〜図１１９４は、画素加算回路１４の注目画素がＲ画素で、図１０６６の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図１１９２は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２３７を差分演算器７２１へ供給する。図１１９３は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２７３、Ｒ２５５を差分演算器７２２へ供給する。図１１９４は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３７、Ｒ２１９を差分演算器７２３へ供給する。
図１１９５〜図１１９７は、画素加算回路１４の注目画素がＲ画素で、図１０６６の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図１１９５は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４３７を差分演算器７２１へ供給する。図１１９６は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４７３、Ｒ４５５を差分演算器７２２へ供給する。図１１９７は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４３７、Ｒ４１９を差分演算器７２３へ供給する。
図１１９８〜図１２００は、画素加算回路１４の注目画素がＲ画素で、図１０６７の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１１９８は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２３３を差分演算器７２１へ供給する。図１１９９は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２３３、Ｒ２１１を差分演算器７２２へ供給する。図１２００は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ２５５、Ｒ２７７を差分演算器７２３へ供給する。
図１２０１〜図１２０３は、画素加算回路１４の注目画素がＲ画素で、図１０６７の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１２０１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４３３を差分演算器７２１へ供給する。図１２０２は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４１１、Ｒ４３３を差分演算器７２２へ供給する。図１２０３は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｒ４５５、Ｒ４７７を差分演算器７２３へ供給する。
次に、図１２０４〜図１２０６は、画素加算回路１４の注目画素がＢ画素で、図１０６８の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図１２０４は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５３、Ｂ２５５を差分演算器７２１へ供給する。図１２０５は注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５１、Ｂ２５３を差分演算器７２２へ供給する。図１２０６は注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２５７を差分演算器７２３へ供給する。
図１２０７〜図１２０９は、画素加算回路１４の注目画素がＢ画素で、図１０６８の第１の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第１の面内加算パターンは、注目画素とその上側の周辺画素とを組合せた上側ブロックパターンである。
図１２０７は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５３、Ｂ４５５を差分演算器７２１へ供給する。図１２０８は注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５１、Ｂ４５３を差分演算器７２２へ供給する。図１２０９は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４５７を差分演算器７２３へ供給する。
図１２１０〜図１２１２は、画素加算回路１４の注目画素がＢ画素で、図１０６９の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図１２１０は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２５７を差分演算器７２１へ供給する。図１２１１は注目フレーム画像の画素配置を上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５３、Ｂ２５５を差分演算器７２２へ供給する。図１２１２は注目フレーム画像の画素配置を下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５７、Ｂ２５９を差分演算器７２３へ供給する。
図１２１３〜図１２１５は、画素加算回路１４の注目画素がＢ画素で、図１０６９の第２の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第２の面内加算パターンは、注目画素とその下側の周辺画素とを組合せた下側ブロックパターンである。
図１２１３は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４５７を差分演算器７２１へ供給する。図１２１４は注目フレーム画像の画素配置を上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５３、Ｂ４５５を差分演算器７２２へ供給する。図１２１５は注目フレーム画像の画素配置を下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５７、Ｂ４５９を差分演算器７２３へ供給する。
図１２１６〜図１２１８は、画素加算回路１４の注目画素がＢ画素で、図１０７０の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図１２１６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３５、Ｂ２５５を差分演算器７２１へ供給する。図１２１７は注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２１５、Ｂ２３５を差分演算器７２２へ供給する。図１２１８は注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７５を差分演算器７２３へ供給する。
図１２１９〜図１２２１は、画素加算回路１４の注目画素がＢ画素で、図１０７０の第３の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第３の面内加算パターンは、注目画素とその左側の周辺画素とを組合せた左側ブロックパターンである。
図１２１９は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３５、Ｂ４５５を差分演算器７２１へ供給する。図１２２０は注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４１５、Ｂ４３５を差分演算器７２２へ供給する。図１２２１は注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７５を差分演算器７２３へ供給する。
図１２２２〜図１２２４は、画素加算回路１４の注目画素がＢ画素で、図１０７１の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図１２２２は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７５を差分演算器７２１へ供給する。図１２２３は注目フレーム画像の画素配置を左シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３５、Ｂ２５５を差分演算器７２２へ供給する。図１２２４は注目フレーム画像の画素配置を右シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７５、Ｂ２９５を差分演算器７２３へ供給する。
図１２２５〜図１２２７は、画素加算回路１４の注目画素がＢ画素で、図１０７１の第４の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第４の面内加算パターンは、注目画素とその右側の周辺画素とを組合せた右側ブロックパターンである。
図１２２５は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７５を差分演算器７２１へ供給する。図１２２６は注目フレーム画像の画素配置を左シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３５、Ｂ４５５を差分演算器７２２へ供給する。図１２２７は注目フレーム画像の画素配置を右シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７５、Ｂ４９５を差分演算器７２３へ供給する。
図１２２８〜図１２３０は、画素加算回路１４の注目画素がＢ画素で、図１０７２の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１２２８は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７３を差分演算器７２１へ供給する。図１２２９は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７３、Ｂ２９１を差分演算器７２２へ供給する。図１２３０は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３７、Ｂ２５５を差分演算器７２３へ供給する。
図１２３１〜図１２３３は、画素加算回路１４の注目画素がＢ画素で、図１０７２の第５の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第５の面内加算パターンは、注目画素とその右上側の周辺画素とを組合せた右上側ブロックパターンである。
図１２３１は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７３を差分演算器７２１へ供給する。図１２３２は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７３、Ｂ４９１を差分演算器７２２へ供給する。図１２３３は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３７、Ｂ４５５を差分演算器７２３へ供給する。
図１２３４〜図１２３６は、画素加算回路１４の注目画素がＢ画素で、図１０７３の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１２３４は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７７を差分演算器７２１へ供給する。図１２３５は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３３、Ｂ２５５を差分演算器７２２へ供給する。図１２３６は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７７、Ｂ２９９を差分演算器７２３へ供給する。
図１２３７〜図１２３９は、画素加算回路１４の注目画素がＢ画素で、図１０７３の第６の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第６の面内加算パターンは、注目画素とその右下側の周辺画素とを組合せた右下側ブロックパターンである。
図１２３７は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７７を差分演算器７２１へ供給する。図１２３８は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３３、Ｂ４５５を差分演算器７２２へ供給する。図１２３９は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７７、Ｂ４９９を差分演算器７２３へ供給する。
図１２４０〜図１２４２は、画素加算回路１４の注目画素がＢ画素で、図１０７４の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図１２４０は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２３７を差分演算器７２１へ供給する。図１２４１は注目フレーム画像の画素配置を右上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２７３、Ｂ２５５を差分演算器７２２へ供給する。図１２４２は注目フレーム画像の画素配置を左下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３７、Ｂ２１９を差分演算器７２３へ供給する。
図１２４３〜図１２４５は、画素加算回路１４の注目画素がＢ画素で、図１０７４の第７の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第７の面内加算パターンは、注目画素とその左下側の周辺画素とを組合せた左下側ブロックパターンである。
図１２４３は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４３７を差分演算器７２１へ供給する。図１２４４は注目フレーム画像の画素配置を右上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４７３、Ｂ４５５を差分演算器７２２へ供給する。図１２４５は注目フレーム画像の画素配置を左下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４３７、Ｂ４１９を差分演算器７２３へ供給する。
図１２４６〜図１２４８は、画素加算回路１４の注目画素がＢ画素で、図１０７５の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の前側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１２４６は注目フレーム画像の画素配置と同じ画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２３３を差分演算器７２１へ供給する。図１２４７は注目フレーム画像の画素配置を左上シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２３３、Ｂ２１１を差分演算器７２２へ供給する。図１２４８は注目フレーム画像の画素配置を右下シフトした画素配置の前側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ２５５、Ｂ２７７を差分演算器７２３へ供給する。
図１２４９〜図１２５１は、画素加算回路１４の注目画素がＢ画素で、図１０７５の第８の面内加算パターンが選択されたときの、前方参照パターン検出部７２で検出される第１から第５の後側フレーム画像内加算パターンを示す図である。第８の面内加算パターンは、注目画素とその左上側の周辺画素とを組合せた左上側ブロックパターンである。
図１２４９は注目フレーム画像の画素配置と同じ画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４３３を差分演算器７２１へ供給する。図１２５０は注目フレーム画像の画素配置を左上シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４１１、Ｂ４３３を差分演算器７２２へ供給する。図１２５１は注目フレーム画像の画素配置を右下シフトした画素配置の後側フレーム画像内加算パターンを示す図である。画素選択回路７２０は、画素値Ｂ４５５、Ｂ４７７を差分演算器７２３へ供給する。
前記増感倍率Ｌは１〜１２倍まで設定できるが、増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用し、増感倍率Ｌが７〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用することで、解像度の低下を最低限に抑えた高感度化が可能となる。
前記の増感倍率Ｌの設定パターンの別パターンを説明する。増感倍率Ｌが１〜６倍のときは、面内での加算画素数が２画素の加算パターンを使用して最大倍率の６倍を実現する。増感倍率Ｌが６〜８倍のときは、注目フレーム画像内での加算画素数は４画素の加算パターンを使用し、隣接フレーム内での加算画素数は２画素の加算パターンを使用して最大倍率の８倍を実現する。増感倍率Ｌが８〜１２倍のときは、面内での加算画素数が４画素の加算パターンを使用して最大倍率の１２倍を実現する。このように２画素の加算パターンと４画素の加算パターンとを組み合わせることで解像度の低下を最低限に抑えた高感度化が可能となる。
上記の例では、隣接フレームを前後両方とも加算対象とした構成について説明したが、フレームメモリを含む回路規模の削減による低コスト化のために、隣接フレームをどちらか一方にしてフレームメモリを削減してもよい。加算画素数は減るものの本発明の解像度の劣化が少ない高感度化の効果は得られる。
前記例では、フレームメモリを２フレーム分使った注目フレーム画像と隣接の２フレームの合計３フレームから加算する画素加算回路１４の構成としたが、４フレーム以上の構成とすることで、より加算画素数を増やし高感度化することができる。次の隣接フレームの加算対象画素を空間判別回路で判別した画素領域の最大値画素と最小値画素を参照して探索することで順次フレーム数の拡張も可能である。
次に、増感倍率Ｌが１２倍から２０倍のときの、主領域に補助領域を組合せたときの加算動作について説明する。相関判別部７９で、例えば、補助領域加算パターン１が選択されたときは、注目画素を中心とした５フレームについて、各４画素ずつ相関の高い画素を抽出し、合計２０画素を加算することができる。相関判別部７９で、例えば、補助領域加算パターン３が選択されたときは、注目画素を中心とした３フレームについて、注目フレーム画像では８画素、隣接フレーム画像では各６画素ずつ相関の高い画素を抽出し、合計２０画素を加算することができる。
前記の例では、５フレーム画像を使った画素加算と、３フレーム画像を使った画素加算を注目画素との相関の高さに応じて切替えるので、動きぼけや、解像度の低下の少ない画素加算を行うことができる。
色フィルタ配列に対応する画素配列については、ＲＧＢベイヤ配列の場合を説明したが、水平２画素、垂直２画素の４画素の同様な市松パターンを基本配列としていれば、いかなる色フィルタの組み合わせでも、同様に動作し、同様な効果が得られるものである。
以上に説明したように、本実施の形態では、注目画素に最も相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上とＳ／Ｎ比の向上とを実現することができる。
また、上記したように、前後の隣接フレームの加算画素を注目フレーム画像の注目画素と最も相関の高い画素を使って画素加算を行うので動きによるぼやけを最小限に抑えつつ感度向上を実現することができる。
また、まず注目フレーム画像で相関の高い画素を判別した上で、その加算パターンに絞って、前後の隣接フレームの加算画素を探索するので、全ての加算パターンについて探索する場合よりも回路規模を削減できる。
また、まず注目画素の近傍の主領域について加算画素を判別した上で、さらに主領域の近傍の画素も補助領域として抽出して、補助領域の中で相関の高い画素を選択して画素加算を行うので、動きぼけや解像度劣化の少ない画素加算のリアルタイム処理を、全ての加算パターンについて探索する場合よりも少ない回路規模で実現できる。
また、補助領域の８領域間の相関順位を求めるような判定処理数の多い構成としないで、限定された補助領域間の簡単な相関判定だけでフレームを超えて相関の高い補助領域の画素を選択できるように構成したので、補助領域の検出（判別）をリアルタイム処理で、かつ小回路規模で実現することができる。
また、上述したように、映像信号処理回路１５による映像信号処理の前であってフロントエンド部１３から出力された直後の撮像信号について画素加算が行われることにより、映像信号処理の影響を受けずに、画素加算による高感度信号を生成できる。映像信号処理の後段で行う画素加算では、近傍画素を使った演算である色同時化処理や、フィルタ処理が施されているので、水平解像度や垂直解像度の低下が想定よりも大きい。また、小振幅信号のまま、映像信号処理が行われるので階調落ちの可能性がある。画素加算をＣＣＤ画像センサ１２から出力された直後の撮像信号に対して行うことにより、画像情報が損なわれる前に、画素加算して信号振幅を回復することができるので、ユーザは、細部の画像情報を視認できるという効果がある。
また、映像信号処理では、非線形なフィルタ処理や階調変換処理が行われているので、低振幅信号を入力した場合、信号振幅が失われている場合がある。このため、映像信号処理の出力信号を２画素加算しても、２倍振幅の画像信号にならない可能性がある。上記の例では、映像信号処理前に画素加算されているので、２画素加算したら、２倍振幅の画像信号を得ることができるという効果がある。
上記例では、１２倍までの増感倍率Ｌを設定した場合について説明したが、１２倍以上に設定してもよい。１２倍以上の増感倍率Ｌの設定は、階調落ちに注意して使う必要がある。
また、上記実施の形態では、例えば図１８の画素抽出部５１０などの画素抽出手段を示し、説明のわかりやすさのため遅延回路が冗長となる構成を有するように説明しているが、回路構成の工夫で遅延回路を削減してもよい。
また、上述したように、同じフィルタ色の画素を加算するので、混色することなく高感度なカラー画像が得られる。
ところで、低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。本実施の形態では、周辺画素の画素加算で高感度化をはかるのでＳ／Ｎ比が向上する。例えば２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として近傍に位置する画素同士は相関が高いことから、注目画素に最も近い位置の複数画素を加算することで実効性の高い感度向上が実現されている。
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１２５２は、実施の形態２の撮像装置２の概略構成を示すブロック図である。図１２５２において、実施の形態２の撮像装置２の構成は、画像検波回路８１が付加されている点と図１の制御回路１９の代わりにＭＰＵからなる制御回路１９Ｂが設けられている点を除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
次に、本発明に係る実施の形態２について説明する。図１２５２は、実施の形態２の撮像装置２の概略構成を示すブロック図である。図１２５２において、実施の形態２の撮像装置２の構成は、画像検波回路８１が付加されている点と図１の制御回路１９の代わりにＭＰＵからなる制御回路１９Ｂが設けられている点を除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
画像検波回路８１は、同期信号発生回路１８から供給される水平同期信号ＨＤと垂直同期信号ＶＤとに同期して動作し、画素加算回路１４の出力信号（すなわち、補正された撮像信号）を検波する機能を有する。例えば、画像検波回路８１は、垂直走査周期と同期して、画素加算回路１４の出力信号に含まれる有効画素領域の補正画素値を所定数のフレーム分（例えば、１フレーム分）だけ積算して積算値Σｐを算出する積分機能や、その積算値Σｐを全有効画素数Ｎｐで除算して信号振幅の平均レベルＡＳＡ（＝Σｐ／Ｎｐ）を算出（検出）する平均レベル検出機能を有している。積分値Σｐや平均レベルＡＳＡは、制御回路１９Ｂに与えられる。画像検波回路８１は、画素加算回路１４の出力信号から特定の空間周波数成分を抽出し、抽出された空間周波数成分を積算して積算値Σｐの算出や平均レベルＡＳＡの検出を行うこともできる。なお、全有効画素数Ｎｐが２のｎ乗（ｎは２以上の整数）で与えられる場合には、積算値Σｐを示すビット列にビットシフト演算を施すことで平均レベルＡＳＡを算出（検出）してもよい。
また、画像検波回路８１は、制御回路１９Ｂにより指定された露光制御パラメータと積算値Σｐとから被写体照度の換算値を逆算する機能を有する。露光制御パラメータとしては、例えば、開口絞り１１１の開口度を示す絞り値、プログラマブル利得増幅回路１３Ｐの増幅利得、ＣＣＤ画像センサ１２の電荷蓄積時間、及び、増感倍率Ｌが挙げられる。被写体照度の換算値をＬＸで表すとき、例えば、次の式（１）を用いて被写体照度の換算値ＬＸを逆算することができる。
ＬＸ＝Σｐ／（Ｋ×Ｔｃ×Ｇ×Ｌ） ・・・（１）
上式（１）中、Ｋは、比例定数、Ｔｃは、ＣＣＤ画像センサ１２の電荷蓄積時間、Ｇは、プログラマブル利得増幅回路１３Ｐの増幅利得、Ｌは、画素加算回路１４で使用される増感倍率である。
上式（１）中、Ｋは、比例定数、Ｔｃは、ＣＣＤ画像センサ１２の電荷蓄積時間、Ｇは、プログラマブル利得増幅回路１３Ｐの増幅利得、Ｌは、画素加算回路１４で使用される増感倍率である。
本実施の形態の制御回路１９Ｂは、実施の形態１の制御回路１９の機能に加えて、映像信号レベルが目標とする信号レベルとなるように、画像検波回路８１の出力に応じて露光制御パラメータを制御する機能を有している。具体的には、制御回路１９Ｂは、画像検波回路８１の出力に応じて撮像光学系１１の開口絞り１１１の絞り値を制御することができる。また、タイミング発生回路１７は、駆動タイミング信号ＤＲＴを駆動回路１６に供給してＣＣＤ素子１２２の光電変換素子からの電荷読み出しタイミングや電荷強制排出タイミングを制御することができるので、制御回路１９Ｂは、画像検波回路８１の出力に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することが可能である。また、制御回路１９Ｂは、画像検波回路８１の出力に応じて増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。
映像信号処理回路１５は、垂直走査周期と同期して、画素加算回路１４の出力に含まれるノイズ信号の信号レベル（ノイズレベル）を検出する機能を有している。制御回路１９Ｂは、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。例えば、制御回路１９Ｂは、当該ノイズレベルに応じて、係数可変設定回路４９５を制御して空間フィルタ４１，４２，４３におけるフィルタ係数群を最適なものに設定することが可能である。これにより、ノイズが低減した画像を得ることができる。
なお、上記の例では、信号振幅の平均レベルＡＳＡの算出及びノイズレベルの算出は、垂直走査周期と同期して行うものとして説明されていたが、画像検波回路８１及び映像信号処理回路１５のそれぞれの信号処理時間、並びに、画像検波回路８１及び映像信号処理回路１５から制御回路１９Ｂへの信号伝送時間を考慮して、垂直走査周期の数回に１回の割合で平均レベルＡＳＡの算出及びノイズレベルの算出が行われてもよい。
また、画像検波回路８１は、画素加算回路１４の出力信号に対してピーク検波と平均値検波とを実行する機能を有していてもよい。制御回路１９Ｂは、画像検波回路８１により検出されたピーク値及び平均値を用いて、着目する被写体画像の視認性が高くなるように露光制御を行うことができる。例えば、制御回路１９Ｂは、被写体画像のハイライト部分を白く飽和させないようにピーク値を用いた露光制御を行うことができ、あるいは、ハイライト部分が白く飽和しても中間階調部分が明瞭に視認されるように平均値を用いた露光制御を行うことができる。
次に、画素加算回路１４の出力信号を用いた露光制御の一例を以下に説明する。以下に詳しく述べるように、制御回路１９Ｂは、画素加算回路１４の動作を制御することで露光制御の一環として感度制御を行うことができる。このため、照度環境が変動しても、常に最適な撮影条件で視認性の良好な被写体画像を得ることができるという効果がある。上述したように、画素加算回路１４は、照度環境の変動に応じて増感倍率Ｌを変えることで画素の信号振幅を調整することができる。
制御回路１９Ｂは、上記被写体照度の換算値ＬＸに応じて、画像検波回路８１から得られる平均レベルＡＳＡの検出値が一定となるように自動露光制御を行うことができる。被写体照度の換算値ＬＸが高く、明るい環境での撮像で画素の信号振幅が大きいときは、制御回路１９Ｂは、撮像光学系１１の開口絞り１１１を絞るように制御（すなわち絞り値を制御）してＣＣＤ画像センサ１２への入射光量を減らしたり、タイミング発生回路１７による電荷強制排出タイミングを調整することで、ＣＣＤ画像センサ１２の光電変換素子に蓄積される電荷を強制排出して露光時間（電荷蓄積時間Ｔｃ）を減らしたりすることができる。
一方、被写体照度の換算値ＬＸが低く、暗い環境での撮像で画素の信号振幅が小さくなってきたときは、制御回路１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して撮像信号を増幅することができる。このとき、増幅利得Ｇが大き過ぎると画像中のノイズが目立つようになり視認性の悪い画像となり得るので、増幅利得Ｇに上限を設けることが望ましい。
制御回路１９Ｂは、ＣＣＤ画像センサ１２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間（電荷蓄積時間Ｔｃ）を延ばすこともできる。このとき、露光時間が長すぎると、動く被写体が残像となり視認性の悪い画像が撮像されるので、垂直走査周期単位で欠落する画像の補間（フレーム補間）を行う回路を設けることが望ましい。
上記実施の形態１の場合と同様に、本実施の形態の制御回路１９Ｂは、被写体照度の換算値ＬＸに応じて、画素加算回路１４に対して増感倍率Ｌを１倍から１２倍の範囲内の値に設定することができる。増感倍率Ｌの設定（即ち調整）は、画像検波回路８１の出力と露光制御パラメータとに基づいて行われる。上述したように、加算演算回路２４は、注目画素の近傍領域内に位置する互いに相関の高い複数の画素（例えば、１２画素）を加算して補間画素を生成し、その補間画素の画素値に増感倍率Ｌを乗算する。このため、感度向上を実現することができ、極めて暗い低照度環境での撮像でも撮像画像の視認性を大幅に改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度、水平解像度及び垂直解像度の劣化を最小に抑えることができる。
以下、図１２５３（Ａ）〜（Ｅ）を参照しつつ、被写体照度の換算値ＬＸ（以下、単に「照度ＬＸ」と呼ぶ。）が変化したときの露光制御（感度制御）のための手順の一例を説明する。図１２５３（Ａ）〜（Ｄ）は、照度ＬＸと各種露光制御パラメータとの関係を示すグラフであり、図１２５３（Ｅ）は、照度ＬＸに対する平均レベルＡＳＡの一例を示すグラフである。図１２５３（Ａ）は、照度ＬＸと開口絞り１１１の絞り値（開口量）との関係を示すグラフであり、図１２５３（Ｂ）は、照度ＬＸと増幅利得Ｇとの関係を示すグラフであり、図１２５３（Ｃ）は、照度ＬＸと増感倍率Ｌとの関係を示すグラフであり、図１２５３（Ｄ）は、照度ＬＸと露光時間との関係を示すグラフである。増感倍率Ｌは、１倍から１２倍の範囲内で設定可能であるものとする。
図１２５３（Ｄ）の実線で示されるように露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１倍（下限値）としたときに、画素加算回路１４の出力値が所定レベルとなる照度を高照度側基準値ＨＬとする。また、この高照度基準値ＨＬの１／１２の照度、即ち、露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが４倍としたときに、画素加算回路１４の出力値が所定のレベルとなる照度を低照度側基準値ＬＬとする。
図１２５３（Ａ），（Ｂ），（Ｃ）に示されるように、照度ＬＸが閾値ＵＬを超えていて撮像条件が高照度環境のときには、制御回路１９Ｂは、絞り値を上限値（最大絞り値）に、増幅利得Ｇを下限値ＬＧＬに、増感倍率Ｌを１倍にそれぞれ維持する。このとき、図１２５３（Ｄ）の実線で示されるように露光時間は一定値（標準露光時間）Ｔｒに維持される。また、照度ＬＸが閾値ＵＬ以下で閾値ＭＬ以上の範囲Ｓａ内にある場合には、絞り値は、閾値ＵＬから閾値ＭＬに向かうにつれて上限値から全開値（開放Ｆ値）に連続的又は段階的に低減させられる。露光時間は一定である。このとき、増幅利得Ｇは下限値ＬＧＬに維持され、増感倍率Ｌは１倍に維持される。これにより、照度ＬＸが範囲Ｓａ内にある場合には、図１２５３（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
また、照度ＬＸが閾値ＭＬ未満で高照度側基準値ＨＬ以上の範囲Ｓｂ内にあるときには、図１２５３（Ａ），（Ｃ）に示されるように、絞り値は全開値に維持され、増感倍率Ｌは１倍に維持される。このとき、図１２５３（Ｂ）に示されるように、増幅利得Ｇは、閾値ＭＬから高照度側基準値ＨＬに向かうにつれて下限値ＬＧＬから上限値ＵＧＬに連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｂ内にある場合には、図１２５３（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
また、照度ＬＸが高照度側基準値ＨＬ未満で低照度側基準値ＬＬ以上の範囲Ｓｃ内にあるときには、図１２５３（Ａ），（Ｂ）に示されるように、絞り値は全開値に維持され、増幅利得Ｇは上限値ＵＧＬに維持される。このとき、図１２５３（Ｃ）に示されるように、増感倍率Ｌは、高照度側基準値ＨＬから低照度側基準値ＬＬに向かうにつれて１倍から１２倍に連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｃ内にある場合には、図１２５３（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。そして、照度ＬＸが低照度側基準値ＬＬ未満のときは、図１２５３（Ａ）〜（Ｄ）に示されるように、絞り値は全開値に、増幅利得Ｇは上限値ＵＧＬに、増感倍率Ｌは１２倍に、露光時間は一定値Ｔｒにそれぞれ維持される。
図１２５３（Ａ）〜（Ｄ）の対応関係は、メモリ（図示せず）に保持された設定値テーブル（ルックアップテーブル）で実現されてもよいし、あるいは、１次関数などの関数を用いた演算で露光制御パラメータの値を算出する演算回路で実現されてもよい。制御回路１９Ｂは、図１２５３（Ａ）〜（Ｄ）の対応関係に基づいて信号振幅の平均レベルＡＳＡを所望の目標値に維持することが可能である。
例えば、照度ＬＸが徐々に暗くなり、信号振幅の平均レベルＡＳＡの検出値が下がってくると、制御回路１９Ｂは、撮像光学系１１の開口絞り１１１を開放方向に制御して（図１２５３（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持することができる。また、撮像光学系１１の開口絞り１１１の絞り値が全開値になった後は、制御回路１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して（図１２５３（Ｂ）の範囲Ｓｂ）、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが大きくなり、増幅利得Ｇの所定の上限値ＵＧＬに達した後は、制御回路１９Ｂは、画素加算回路１４の増感倍率Ｌが大きくなるように制御して（図１２５３（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝１２）となるまで可能である。増感倍率Ｌが最大値（＝１２倍）に達した後にさらに照度ＬＸが低下すると、図１２５３（Ｅ）の実線で示されるように、平均レベルＡＳＡは低下を開始する。
また、照度ＬＸが徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路１４における増感倍率Ｌを減らすように制御して（図１２５３（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。増感倍率Ｌが１倍まで小さくなると、制御回路１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを減らすように制御して、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが減少し（図１２５３（Ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬに達した後は、撮像光学系１１の開口絞り１１１を遮光方向に制御して（図１２５３（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持する（図１２５３（Ｅ））。さらに照度ＬＸが高くなると、図１２５３（Ｅ）に示されるように、平均レベルＡＳＡは上昇する。
以上の露光制御により、図１２５３（Ｅ）の実線で示されるように、低照度側基準値ＬＬから閾値ＵＬ（ＵＬ＞ＬＬ）までの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
上記の露光制御では、図１２５３（Ｅ）の実線で示されるように、露光時間は一定とされたが、照度ＬＸに応じて露光時間も可変制御してもよい。例えば、照度ＬＸが低下して、増感倍率Ｌが最大値（＝１２倍）に到達してもなお、平均レベルＡＳＡが十分な値とならないときには、図１２５３（Ｅ）の破線で示されるように、制御回路１９Ｂは、低照度側基準値ＬＬ以下で閾値ＬＬｅ以上の照度範囲Ｓｄ内で露光時間を長くしてもよい。逆に、照度ＬＸが高くなり、開口絞り１１１を最大に絞っても（Ｆ値を最も高くしても）、平均レベルＡＳＡが大きすぎる場合には、図１２５３（Ｅ）の破線で示されるように、制御回路１９Ｂは、閾値ＵＬ以上で閾値ＵＬｅ以下の照度範囲Ｓｅ内で露光時間を短くしてもよい。このような露光時間の制御を実行することにより、図１２５３（Ｅ）の点線で示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
ところで、増幅利得Ｇの上限値ＵＧＬは、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。このとき、照度ＬＸが低下し、これに伴いＣＣＤ画像センサ１２の出力のＳ／Ｎ比が低下する場合に増幅利得Ｇを増加させる必要がある状況が考慮される。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が、許容上限値である所定の割合（以下「第１の所定ノイズ割合」と呼ぶ。）に達したときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を上限値ＵＧＬとして設定することができる。第１の所定ノイズ割合は、例えば、１／５０と定められる。
ノイズレベルの検出値は、例えば、フィルタリング処理により画素加算回路１４の出力からノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで算出される。フィルタリング処理では、まず、画素加算回路１４の出力信号からノイズ成分を低減させたノイズ低減信号を生成し、次に、画素加算回路１４の出力信号からノイズ低減信号を減算することで画素加算回路１４の出力信号からノイズ成分を抽出することができる。
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第１の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。制御回路１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５から制御回路１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの上限値ＵＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第１の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を上限値ＵＧＬとして参照可能な形でメモリ（図示せず）に書き込むことができる。これにより、制御回路１９Ｂは、このメモリに記憶された上限値ＵＧＬを参照し利用することができる。なお、上限値ＵＧＬのデータが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリ（内蔵電池でバックアップされた揮発性メモリ）であればよい。
ところで、増幅利得Ｇの下限値ＬＧＬも、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が所定の割合（以下「第２の所定ノイズ割合」と呼ぶ。）を下回ったときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を下限値ＬＧＬとして設定することができる。第２の所定ノイズ割合は、上記第１の所定ノイズ割合（例えば、１／５０）と増感倍率Ｌの設定値（例えば、１２倍）とに基づいて決めることができる。例えば、第２の所定ノイズ割合は、１／２００（＝｛（１／５０）×（１／１２）｝）の値と定めることができる。
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第２の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。制御回路１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５から制御回路１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの下限値ＬＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第２の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を下限値ＬＧＬとして参照可能なメモリ（図示せず）に書き込むことができる。これにより、制御回路１９Ｂは、このメモリに記憶された下限値ＬＧＬを参照し利用することができる。なお、下限値ＬＧＬが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリであればよい。
以上に説明したように実施の形態２では、制御回路１９Ｂは、画素加算回路１４の出力信号に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。例えば、制御回路１９Ｂは、画像検波回路８１から供給される被写体照度ＬＸや平均レベルＡＳＡの検出値に応じて露光制御パラメータを動的に設定することができる。上述の通り、画素加算回路１４は、画像解像度の劣化を最小限に抑制しつつ感度向上とＳ／Ｎ比の向上とを実現する。このため、画素加算回路１４の出力信号に基づいて適正な自動露光制御を行うことができる。
また、上述の通り、画素加算回路１４は、画素加算処理の過程で増感倍率Ｌを用いた増感処理（乗算処理）を行う機能を有している。制御回路１９Ｂは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置２は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。これにより、画像の明るさの急変などの画質劣化を伴うことなく、視認性の良好な画像を生成することが可能である。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことができる。
また、図１２５３（Ａ）〜（Ｅ）に例示されるように、制御回路１９Ｂは、画像検波回路８１から出力される被写体照度の換算値ＬＸに応じて、増感倍率Ｌを含む露光制御パラメータを制御するので、低照度環境下でも適正な露光制御を行うことができる。絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を出力することができるという効果がある。
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１２５４は、実施の形態３の撮像装置３の概略構成を示すブロック図である。図１２５４において、実施の形態３の撮像装置３の構成は、測光部８２が付加されている点と制御回路１９の代わりに制御回路１９Ｃが設けられている点とを除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
次に、本発明に係る実施の形態３について説明する。図１２５４は、実施の形態３の撮像装置３の概略構成を示すブロック図である。図１２５４において、実施の形態３の撮像装置３の構成は、測光部８２が付加されている点と制御回路１９の代わりに制御回路１９Ｃが設けられている点とを除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
測光部８２は、ＣＣＤ画像センサ１２の撮像面あるいは撮像光学系１１への入射光を測光して被写体照度を検出する機能を有する。測光部８２は、照度センサ（図示せず）を有しており、この照度センサの取り付け及びその位置決めは、撮像光学系１１の光軸に基づいて決められる。
制御回路１９Ｃは、実施の形態１の制御回路１９の機能に加えて、測光部８２から供給される被写体照度の検出値（以下、「照度」と呼ぶ。）に応じて露光制御パラメータを制御する機能を有している。具体的には、制御回路１９Ｃは、照度に応じて、撮像光学系１１の開口絞り１１１の絞り値と増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。また、制御回路１９Ｂは、照度に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することができる。また、制御回路１９Ｃは、実施の形態２の制御回路１９Ｂと同様に、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。
制御回路１９Ｃは、例えば、メモリ（図示せず）に保持された設定値テーブルあるいは演算回路を用いて、照度に対応する露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）の値を取得し、取得した値を用いた露光制御を行う。設定値テーブルは、複数の照度値と露光制御パラメータの値との対応関係が記録されたルックアップテーブルである。
設定値テーブルには、例えば、図１２５３（Ａ）〜（Ｄ）の対応関係を記録することができる。この場合には、例えば、照度が範囲Ｓａ内のときは、制御回路１９Ｃは、ＣＣＤ画像センサ１２の露光時間をフレームレートに基づく標準露光時間Ｔｒに設定し、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬに設定し、画素加算回路１４の増感倍率Ｌを１倍に設定することができる。このときに照度が次第に上昇すると、図１２５３（Ａ）の対応関係に従って、制御回路１９Ｃは、絞り値を連続的又は段階的に上昇させる。絞り値が上限値（最大絞り値）に到達した後に照度がさらに上昇するとき、図１２５３（Ｄ）の点線で示されるように、制御回路１９Ｃは、ＣＣＤ画像センサ１２の露光時間を標準露光時間Ｔｒから短く制御することができる（図１２５３（Ｄ）の範囲Ｓｅ）。
一方、照度が範囲Ｓａ内のときに照度が次第に暗くなると、制御回路１９Ｃは、図１２５３（Ａ）の対応関係に従って、絞り値を連続的又は段階的に低下させる。絞り値が全開値（開放値）に達した後に照度がさらに低下すると、制御回路１９Ｃは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬから増加させる（図１２５３（Ｂ）の範囲Ｓｂ）。増幅利得Ｇが上記の上限値ＵＧＬに達した後に照度がさらに低下すると、制御回路１９Ｃは、増感倍率Ｌを１倍から上昇させる（図１２５３（Ｃ）の範囲Ｓｃ）。増感倍率Ｌが１２倍（上限値）に到達した後に照度がさらに低下すると、図１２５３（Ｄ）の点線で示されるように、制御回路１９Ｃは、露光時間を標準露光時間Ｔｒを長くする（図１２５３（Ｄ）の範囲Ｓｄ）。
以上の露光制御により、図１２５３（Ｅ）に示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
以上に説明したように実施の形態３では、実施の形態２の場合と同様に、制御回路１９Ｃは、照度の測定値に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。また、画素加算回路１４の出力信号に基づいて、低照度環境下でも適正な自動露光制御を行うことができる。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことが可能である。
また、実施の形態２の場合と同様に、制御回路１９Ｃは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置３は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。さらに、絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を含む映像信号を生成することができる。
なお、上記実施の形態２及び３について、増感倍率Ｌを最大にしても信号振幅Ｇが十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（例えば所定の値まで）長くしても信号振幅が十分でない場合に増感倍率Ｌを大きくすることとしてもよい。また、増感倍率Ｇを大きくする制御と露光時間を長くする制御とを並行して行ってもよい。
実施の形態１〜３の変形例．
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。例えば、上記実施の形態１〜３は、固体撮像素子の一例としてＣＣＤ画像センサ１２を使用しているが、これに限定されるものではない。２次元イメージセンサであれば、ＣＭＯＳ画像センサなどのＣＣＤ画像センサ１２以外のいかなる固体撮像素子を使用してもよい。図１２５５は、実施の形態１の変形例である撮像装置４の概略構成を示すブロック図である。この撮像装置４は、上記ＣＣＤ画像センサ１２及びフロントエンド部１３に代えて、色フィルタアレイ１２１Ｃ及びＣＭＯＳ素子１２２ＣからなるＣＭＯＳ画像センサ１２Ｃを有している。また、ＣＣＤ画像センサ１２としては、インターライントランスファーＣＣＤ撮像素子に限らず、フレームトランスファーＣＣＤ撮像素子であってもよく、フレームインターライントランスファーＣＣＤ撮像素子であってもよい。
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。例えば、上記実施の形態１〜３は、固体撮像素子の一例としてＣＣＤ画像センサ１２を使用しているが、これに限定されるものではない。２次元イメージセンサであれば、ＣＭＯＳ画像センサなどのＣＣＤ画像センサ１２以外のいかなる固体撮像素子を使用してもよい。図１２５５は、実施の形態１の変形例である撮像装置４の概略構成を示すブロック図である。この撮像装置４は、上記ＣＣＤ画像センサ１２及びフロントエンド部１３に代えて、色フィルタアレイ１２１Ｃ及びＣＭＯＳ素子１２２ＣからなるＣＭＯＳ画像センサ１２Ｃを有している。また、ＣＣＤ画像センサ１２としては、インターライントランスファーＣＣＤ撮像素子に限らず、フレームトランスファーＣＣＤ撮像素子であってもよく、フレームインターライントランスファーＣＣＤ撮像素子であってもよい。
また、上記実施の形態では、画素加算回路１４は、入力された撮像信号のうち有効画素領域内の画素についてのみ処理してもよいし、あるいは、有効画素領域の外側にある画素を用いて処理を行ってもよい。例えば、注目画素が有効画素領域の端に位置するとき、画素加算回路１４は、有効画素領域外の画素に代えて有効画素領域内の画素を使用してもよいし、有効画素領域外の画素が存在する場合には、その有効画素領域外の画素を使用してよい。
また、上記画素加算回路１４は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのＬＳＩ（Ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）により実現され得る。
また、上記画素加算回路１４の機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。図１２５６は、当該機能の全部または一部をコンピュータプログラムで実現する場合の画像処理ユニット５の構成を概略的に示す図である。図１２５６の画像処理ユニット５は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を含むプロセッサ９１、入出力インタフェース９２、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）９３、不揮発性メモリ９４、記録媒体９５及びバス９０を備えている。記録媒体９５としては、例えば、ハードディスク（磁気ディスク）、光ディスクまたはフラッシュメモリが挙げられる。プロセッサ９１は、不揮発性メモリ９４または記録媒体９５からコンピュータプログラムをロードし実行することによって画素加算回路１４の機能を実現することができる。
上記撮像装置１〜４は、例えば、監視カメラや車載カメラに組み込むことができる。特に、比較的暗い場所を撮像する監視カメラとして上記撮像装置１〜４が使用される場合には、暗所においても良好な視認性を得ることができ、高感度を実現することができる。近年、固体撮像素子の高画素数化に伴い、画素サイズの微細化が進んでおり、画素あたりの集光量が減少することによる感度の低下が課題となっているが、上記撮像装置１〜４は、このような課題を解決し得る構成を有している。
１〜４ 撮像装置、 ５ 画像処理ユニット、 １１ 撮像光学系（レンズ機構）、 １２ ＣＣＤ画像センサ、 １２１，１２１Ｃ 色フィルタアレイ、 １２Ｃ ＣＭＯＳ画像センサ、 １３ フロントエンド部、 １３Ｐ プログラマブル利得増幅回路（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｉｎ Ａｍｐｌｉｆｉｅｒ）、 １３Ｃ 相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理回路、 １３Ａ Ａ／Ｄ変換器（ＡＤＣ）、 １４ 画素加算回路（ＡＤＤ）、 １５ 映像信号処理回路（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、 １６ 駆動回路（ＤＲＶ）、 １７ タイミング発生回路（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、 １８ 同期信号発生回路（ＳＳＧ：Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ）、 １９，１９Ｂ，１９Ｃ 制御回路、 ５０ 画素加算部、 ５１〜５５ 選択回路、 ５６ 加算演算回路、 ６０ 画素パターン検出部、 ６１ 面内パターン検出部、 ７１ 最前方参照パターン検出部、 ７２ 前方参照パターン検出部、 ７４ 後方参照パターン検出部、 ７５ 最後方参照パターン検出部、 ７９ 相関判別部、 ８１ 画像検波回路、 ８２ 測光部、 ５１０，７７０，７７１，８７０ 画素抽出部（サンプリング部）、 ６５０ 主面内パターン検出部、 １６５０ 補助面内パターン検出部、 ７８０ 主前方参照パターン検出部、 １１７０ 補助前方参照パターン検出部、 ７８１ 主後方参照パターン検出部、 １１７１ 補助後方参照パターン検出部、 ８８０ 第１副補助参照パターン検出部、 １８７０ 第２副補助参照パターン検出部、 ８８１ 第３副補助参照パターン検出部、 １８７１ 第４副補助参照パターン検出部。
Claims (26)
- 撮像素子から出力された撮像信号を処理する画像処理装置であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するとともに、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを検出する主面内パターン検出部と、
前記注目画像内において前記面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するとともに、前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出する補助面内パターン検出部と、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するとともに、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出する主参照パターン検出部と、
前記注目画素が選択される毎に、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。 - 請求項１記載の画像処理装置であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記主面内パターン検出部は、
前記注目画像から前記複数の面内画素パターンの画素を選択する画素選択部と、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出し、前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンを前記面内画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。 - 請求項２に記載の画像処理装置であって、
前記主参照パターン検出部は、
前記参照画像から前記複数の参照画素パターンの画素を選択する画素選択部と、
前記複数の参照画素パターンの各々を構成する画素と当該注目画素との画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出し、前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンを前記主参照画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。 - 請求項３に記載の画像処理装置であって、
前記参照画像は、
当該注目画像に対して時間的に前方に位置する前側参照画像と、
当該注目画像に対して時間的に後方に位置する後側参照画像とを含み、
前記複数の参照画素パターンは、
前記前方参照画像から抽出された複数の前方参照画素パターンと、
前記後方参照画像から抽出された複数の後方参照画素パターンとを含み、
前記面間相関評価値は、
前記複数の前方参照画素パターンの各々と当該注目画素との間の相関を表す第１の面間相関評価値と、
前記複数の後方参照画素パターンの各々と当該注目画素との間の相関を表す第２の面間相関評価値とを含み、
前記主参照パターン検出部は、前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から当該注目画素と最も相関が高い第１の参照画素加算パターンを前記参照画素パターンの一部として選択するとともに、前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から当該注目画素と最も相関が高い第２の参照画素加算パターンを前記参照画素パターンの他の一部として選択する
ことを特徴とする画像処理装置。 - 請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記補助面内パターン検出部は、
前記注目画像から前記複数の補助面内画素パターンの画素を選択する画素選択部と、
前記複数の補助面内画素パターンの各々を構成する画素の画素値と当該注目画素とのうちの最大画素値と最小画素値との間の差分を前記補助面内相関評価値として算出し、前記複数の補助面内画素パターンの中から前記補助面内相関評価値の大きさが最小となる画素パターンを前記補助面内画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。 - 請求項１から５のうちのいずれか１項に記載の画像処理装置であって、
前記補助面内画素加算パターンと当該注目画素との間の相関に応じて、前記補助面内画素加算パターンが前記画素加算部で加算されるべき画素パターンであるか否かを判別する相関判別部をさらに備え、
前記画素加算部は、前記相関判別部により前記補助面内画素加算パターンが加算されるべき画素パターンであると判別されたときは、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助面内画素加算パターンの画素とを加算し、前記相関判別部により前記補助面内画素加算パターンが加算されるべき画素パターンではないと判別されたときは、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助面内画素加算パターンの画素を加算しない、
ことを特徴とする画像処理装置。 - 請求項１から５のうちのいずれか１項に記載の画像処理装置であって、
前記参照画像内において前記参照画素加算パターンの周辺に位置する複数の補助参照画素パターンを抽出し、当該抽出された複数の補助参照画素パターンの各々と当該注目画素との間の相関を表す補助面間相関評価値を算出するとともに、前記補助面間相関評価値に基づいて前記複数の補助参照画素パターンの中から当該注目画素と最も相関が高い補助参照画素加算パターンを検出する補助参照パターン検出部と、
前記補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別する相関判別部と
をさらに備え、
前記画素加算部は、前記相関判別部により前記補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。 - 請求項７に記載の画像処理装置であって、
前記一連の画像のうち当該参照画像に対して時間的に隣接する副参照画像から抽出された複数の第１補助参照画素パターンの各々と当該注目画素との間の相関を表す第１補助面間相関評価値を算出するとともに、前記第１補助面間相関評価値に基づいて前記複数の第１補助参照画素パターンの中から当該注目画素と最も相関が高い第１補助参照画素加算パターンを検出する第１の副補助参照パターン検出部をさらに備え、
前記相関判別部は、前記第１補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記第１補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別し、
前記画素加算部は、前記相関判別部により前記第１補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記第１補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。 - 請求項７または８に記載の画像処理装置であって、
前記参照画像は、当該注目画像に対して１フレーム画像分だけ時間的に前方または後方のいずれか一方の側にずれて位置し、
前記副参照画像は、当該注目画像に対して２フレーム画像分だけ前記一方の側にずれて位置する
ことを特徴とする画像処理装置。 - 請求項８または９に記載の画像処理装置であって、
前記副参照画像内において前記第１補助参照画素加算パターンの周辺に位置する複数の第２補助参照画素パターンを抽出し、当該抽出された複数の第２補助参照画素パターンの各々と当該注目画素との間の相関を表す第２補助面間相関評価値を算出するとともに、前記第２補助面間相関評価値に基づいて前記複数の第２補助参照画素パターンの中から当該注目画素と最も相関が高い第２補助参照画素加算パターンを検出する第２の副補助参照パターン検出部をさらに備え、
前記相関判別部は、前記第２補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記第２補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別し、
前記画素加算部は、前記相関判別部により前記第２補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記第２補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。 - 請求項１から１０のうちのいずれか１項に記載の画像処理装置であって、
前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記一連の画像を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記画素加算部は、同色の当該画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。 - 請求項１１に記載の画像処理装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする画像処理装置。
- 請求項１から１２のうちのいずれか１項に記載の画像処理装置であって、
前記複数の参照画素パターンは、
前記面内画素加算パターンと同じ画素配置を有する画素パターンと、
当該同じ画素配置を有する画素パターンを前記参照画像内でシフトすることで得られる画素パターンと
を含むことを特徴とする画像処理装置。 - 請求項１から１３のうちのいずれか１項に記載の画像処理装置であって、
前記撮像信号に含まれるノイズ成分を減衰させてノイズ低減信号を生成し、前記ノイズ低減信号を前記主面内パターン検出部と前記補助面内パターン検出部と前記主参照パターン検出部とに供給するノイズ低減回路をさらに備え、
前記ノイズ低減回路は、
前記撮像信号を遅延させて前記各画像における局所画素領域内の複数画素の信号を並列に出力する遅延回路と、
前記遅延回路により並列に出力された当該局所画素領域内の複数画素の信号に重み係数を個別に乗算して複数の重み付き画素を生成する乗算部と、
前記複数の重み付き画素の総和を演算する総和演算部と、
前記重み係数を被写体照度情報に応じた値に設定する係数可変設定部と
を含むことを特徴とする画像処理装置。 - 請求項１４に記載の画像処理装置であって、前記係数可変設定部は、前記被写体照度情報の値が閾値よりも大きいときに前記重み係数を第１の所定値に設定し、前記被写体照度情報の値が前記閾値以下のときは前記重み係数を前記第１の所定値よりも大きい第２の所定値に設定することを特徴とする画像処理装置。
- 請求項１から１５のうちのいずれか１項に記載の画像処理装置であって、
前記画素加算部は、当該画素加算部による加算結果に増感倍率を乗算して前記補正画素を生成し、
前記増感倍率の値は、可変に設定される
ことを特徴とする画像処理装置。 - 請求項１から１５のうちのいずれか１項に記載の画像処理装置と
前記撮像素子と
を備えることを特徴とする撮像装置。 - 請求項１６に記載の画像処理装置と
前記撮像素子と、
前記画素加算部の出力に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。 - 請求項１８に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。 - 請求項１９に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
- 請求項１８に記載の画像処理装置と
前記撮像素子と、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部と、
前記被写体照度の検出値に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。 - 請求項２１に記載の撮像装置であって、
前記制御部は、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記被写体照度の検出値に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間と前記増感倍率とを個別に設定する
ことを特徴とする撮像装置。 - 請求項１８から２２のうちのいずれか１項に記載の撮像装置であって、前記撮像素子は、固体撮像素子であることを特徴とする撮像装置。
- 撮像素子から出力された撮像信号を処理する画像処理方法であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを検出するステップと、
前記注目画像内において前記面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するステップと、
前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出するステップと、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出するステップと、
前記注目画素が選択される毎に、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成するステップと
を備えることを特徴とする画像処理方法。 - 記録媒体から読み出されて、請求項２４に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
- 請求項２５に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274875A JP5885490B2 (ja) | 2011-12-15 | 2011-12-15 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274875A JP5885490B2 (ja) | 2011-12-15 | 2011-12-15 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013126169A true JP2013126169A (ja) | 2013-06-24 |
| JP2013126169A5 JP2013126169A5 (ja) | 2014-12-04 |
| JP5885490B2 JP5885490B2 (ja) | 2016-03-15 |
Family
ID=48777165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011274875A Expired - Fee Related JP5885490B2 (ja) | 2011-12-15 | 2011-12-15 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5885490B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015035737A (ja) * | 2013-08-09 | 2015-02-19 | 三菱電機株式会社 | 撮像装置 |
| WO2016009940A1 (ja) * | 2014-07-16 | 2016-01-21 | 浜松ホトニクス株式会社 | 固体撮像装置、ｘ線撮像システムおよび固体撮像装置駆動方法 |
| JP2016048821A (ja) * | 2014-08-27 | 2016-04-07 | Hoya株式会社 | ノイズ低減装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007088843A (ja) * | 2005-09-22 | 2007-04-05 | Konica Minolta Photo Imaging Inc | 撮像装置、および撮像素子の駆動方法 |
| JP2007150441A (ja) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | ノイズリダクション装置及びノイズリダクション方法 |
| JP2009021772A (ja) * | 2007-07-11 | 2009-01-29 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム。 |
| JP2009086783A (ja) * | 2007-09-28 | 2009-04-23 | Fujitsu Microelectronics Ltd | フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ |
| JP2009194776A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | ノイズフィルタ |
-
2011
- 2011-12-15 JP JP2011274875A patent/JP5885490B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007088843A (ja) * | 2005-09-22 | 2007-04-05 | Konica Minolta Photo Imaging Inc | 撮像装置、および撮像素子の駆動方法 |
| JP2007150441A (ja) * | 2005-11-24 | 2007-06-14 | Fujifilm Corp | ノイズリダクション装置及びノイズリダクション方法 |
| JP2009021772A (ja) * | 2007-07-11 | 2009-01-29 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム。 |
| JP2009086783A (ja) * | 2007-09-28 | 2009-04-23 | Fujitsu Microelectronics Ltd | フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ |
| JP2009194776A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | ノイズフィルタ |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015035737A (ja) * | 2013-08-09 | 2015-02-19 | 三菱電機株式会社 | 撮像装置 |
| WO2016009940A1 (ja) * | 2014-07-16 | 2016-01-21 | 浜松ホトニクス株式会社 | 固体撮像装置、ｘ線撮像システムおよび固体撮像装置駆動方法 |
| JP2016019708A (ja) * | 2014-07-16 | 2016-02-04 | 浜松ホトニクス株式会社 | 固体撮像装置、ｘ線撮像システムおよび固体撮像装置駆動方法 |
| US10225491B2 (en) | 2014-07-16 | 2019-03-05 | Hamamatsu Photonics K.K. | Solid-state imaging device, X-ray imaging system, and solid-state imaging device driving method |
| JP2016048821A (ja) * | 2014-08-27 | 2016-04-07 | Hoya株式会社 | ノイズ低減装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5885490B2 (ja) | 2016-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5868090B2 (ja) | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 | |
| JP4704913B2 (ja) | 画像補正方法および撮像装置 | |
| JP6096243B2 (ja) | 画像データの処理方法およびシステム | |
| KR20140108100A (ko) | 고체 촬상 장치 및 카메라 모듈 | |
| JP5885490B2 (ja) | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 | |
| KR101665511B1 (ko) | 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치 | |
| TWI437872B (zh) | 影像處理系統 | |
| JP2015144327A (ja) | 撮像装置 | |
| JP2005012479A (ja) | データ処理装置、画像処理装置、カメラおよびデータ処理方法 | |
| CN110476414B (zh) | 控制系统和图像传感器 | |
| KR102412020B1 (ko) | 이미지 센서의 파라미터 제어 방법 | |
| JP2008252397A (ja) | 撮像データの処理方法及び撮像装置 | |
| US20190349513A1 (en) | Image capture apparatus and control method thereof | |
| JP2015032842A (ja) | 固体撮像素子、撮像装置、および補正方法 | |
| US20160119525A1 (en) | Image processing methods and systems based on flash | |
| JP2007189298A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
| JP5988847B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| KR20110123923A (ko) | 영상 신호 처리 방법 및 이를 이용하는 영상 촬영 방법 | |
| JP2012195675A (ja) | 撮像装置 | |
| WO2021059991A1 (ja) | 撮像装置 | |
| WO2024093240A1 (zh) | 亮度变化检测装置及方法、电子设备 | |
| TWI536765B (zh) | 具有透明濾波器像素之成像系統 | |
| JP2011223194A (ja) | カメラ装置 | |
| JP2000050290A (ja) | カラー固体撮像装置 | |
| JP3663105B2 (ja) | ディジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141022 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5885490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |