JP2002010277A - デジタルスチルカメラシステムおよび方法 - Google Patents
デジタルスチルカメラシステムおよび方法Info
- Publication number
- JP2002010277A JP2002010277A JP2000404442A JP2000404442A JP2002010277A JP 2002010277 A JP2002010277 A JP 2002010277A JP 2000404442 A JP2000404442 A JP 2000404442A JP 2000404442 A JP2000404442 A JP 2000404442A JP 2002010277 A JP2002010277 A JP 2002010277A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- array
- color
- green
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000015654 memory Effects 0.000 claims abstract description 112
- 238000007906 compression Methods 0.000 claims abstract description 37
- 230000006835 compression Effects 0.000 claims abstract description 37
- 239000000872 buffer Substances 0.000 claims description 160
- 238000012545 processing Methods 0.000 claims description 60
- 238000001914 filtration Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 33
- 230000003139 buffering effect Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000005315 distribution function Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 abstract description 7
- 238000001444 catalytic combustion detection Methods 0.000 description 114
- 238000012937 correction Methods 0.000 description 42
- 230000000295 complement effect Effects 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 25
- 230000004044 response Effects 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 18
- 238000001228 spectrum Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 14
- 230000006837 decompression Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 238000002156 mixing Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 239000013643 reference control Substances 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 101100532856 Arabidopsis thaliana SDRA gene Proteins 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004513 sizing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 101150115013 DSP1 gene Proteins 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 2
- 230000027311 M phase Effects 0.000 description 2
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- WRFHGDPIDHPWIQ-UHFFFAOYSA-N 2-[4-[(2-butyl-4-oxo-1,3-diazaspiro[4.4]non-1-en-3-yl)methyl]-2-(ethoxymethyl)phenyl]-n-(4,5-dimethyl-1,2-oxazol-3-yl)benzenesulfonamide Chemical compound O=C1N(CC=2C=C(COCC)C(=CC=2)C=2C(=CC=CC=2)S(=O)(=O)NC=2C(=C(C)ON=2)C)C(CCCC)=NC21CCCC2 WRFHGDPIDHPWIQ-UHFFFAOYSA-N 0.000 description 1
- IGRCWJPBLWGNPX-UHFFFAOYSA-N 3-(2-chlorophenyl)-n-(4-chlorophenyl)-n,5-dimethyl-1,2-oxazole-4-carboxamide Chemical compound C=1C=C(Cl)C=CC=1N(C)C(=O)C1=C(C)ON=C1C1=CC=CC=C1Cl IGRCWJPBLWGNPX-UHFFFAOYSA-N 0.000 description 1
- 101100366711 Arabidopsis thaliana SSL13 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 102100021999 Cytosolic Fe-S cluster assembly factor NUBP2 Human genes 0.000 description 1
- 101150043088 DMA1 gene Proteins 0.000 description 1
- 102100032066 EMI domain-containing protein 1 Human genes 0.000 description 1
- 101710133019 EMI domain-containing protein 1 Proteins 0.000 description 1
- 235000009300 Ehretia acuminata Nutrition 0.000 description 1
- 244000046038 Ehretia acuminata Species 0.000 description 1
- 101001107795 Homo sapiens Cytosolic Fe-S cluster assembly factor NUBP2 Proteins 0.000 description 1
- 101000827688 Homo sapiens Fibroblast growth factor receptor 2 Proteins 0.000 description 1
- 101000604592 Homo sapiens Keratin-like protein KRT222 Proteins 0.000 description 1
- 101000857682 Homo sapiens Runt-related transcription factor 2 Proteins 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 102100038184 Keratin-like protein KRT222 Human genes 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 101100366561 Panax ginseng SS11 gene Proteins 0.000 description 1
- 102100025368 Runt-related transcription factor 2 Human genes 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 241001052560 Thallis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- SMDHCQAYESWHAE-UHFFFAOYSA-N benfluralin Chemical compound CCCCN(CC)C1=C([N+]([O-])=O)C=C(C(F)(F)F)C=C1[N+]([O-])=O SMDHCQAYESWHAE-UHFFFAOYSA-N 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- SDJLVPMBBFRBLL-UHFFFAOYSA-N dsp-4 Chemical compound ClCCN(CC)CC1=CC=CC=C1Br SDJLVPMBBFRBLL-UHFFFAOYSA-N 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical compound OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
Abstract
(57)【要約】
【課題】 すべてのカメラ周辺機器を一体化したものか
ら選択される特質を備えたデジタルスチルカメラのアー
キテクチャを提供する。 【解決手段】 デジタルスチルカメラ（ＤＳＣ）に、プ
レビュー・エンジン，バーストモード圧縮／圧縮解除・
エンジン，画像パイプライン，ＣＣＤ＋ＣＣＤコントロ
ーラおよびメモリ＋メモリ・コントローラが個別に含ま
れる。ＡＲＭマイクロプロセッサとＤＳＰとが制御を共
有する。赤と青と補間に加えられた緑高周波とを用いる
ことによるカラーフィルタアレイ補間を行う。
ら選択される特質を備えたデジタルスチルカメラのアー
キテクチャを提供する。 【解決手段】 デジタルスチルカメラ（ＤＳＣ）に、プ
レビュー・エンジン，バーストモード圧縮／圧縮解除・
エンジン，画像パイプライン，ＣＣＤ＋ＣＣＤコントロ
ーラおよびメモリ＋メモリ・コントローラが個別に含ま
れる。ＡＲＭマイクロプロセッサとＤＳＰとが制御を共
有する。赤と青と補間に加えられた緑高周波とを用いる
ことによるカラーフィルタアレイ補間を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、集積回路に関し、
より詳しくは、デジタルカメラで用いる集積回路および
方法に関する。
より詳しくは、デジタルカメラで用いる集積回路および
方法に関する。
【０００２】
【発明が解決しようとする課題】近年、デジタルスチル
カメラ（ＤＳＣ）は、非常に人気のある消費者用電気機
器となっており、写真を趣味とする人，ウェブ製作者，
不動産業者，保険の損害査定人，フォトジャーナリスト
からすべての写真愛好家に渡る広く多様なユーザにアピ
ールしている。低電力デジタル信号プロセッサ（ＤＳ
Ｐ）の有用性と結びついた高解像度ＣＣＤアレイの近年
の進歩により、伝統的なフィルムカメラによって提供さ
れる解像度および品質に極めて近いＤＳＣの開発が行わ
れている。これらのＤＳＣは、データ蓄積，操作性及び
伝送性の点から見て伝統的なフィルムカメラと比べてさ
らにいくつかの利点を提供している。撮られた画像をデ
ジタル表示することにより、ユーザはその画像を任意の
種類の電子媒体に簡単に取り込んだりそれらを任意の種
類のネットワークを介して簡単に伝送することができ
る。撮られた画像を瞬時に見て選択的に蓄積する能力に
より、フィルムの浪費を最小限にするとともにその画像
を再度撮る必要があるかどうかを瞬時に決定する柔軟性
が提供される。デジタル表示することで、画像を撮った
後にそれを訂正したり変更したり修正することができ
る。例えば、ベンカタラマンらの「次世代デジタルカメ
ラの集積化及びソフトウェア開発の問題」，デジタル固
体素子カメラ，設計と応用，３３０２会報，ＳＰＩＥ
（１９９８年）を参照のこと。同様に、ＵＳＰ５，５２
８，２９３およびＵＳＰ５，４１２，４２５には、メモ
リカードへの画像の蓄積およびバッテリーパワーカメラ
用の節電を含むデジタルスチルカメラシステムの態様が
開示されている。
カメラ（ＤＳＣ）は、非常に人気のある消費者用電気機
器となっており、写真を趣味とする人，ウェブ製作者，
不動産業者，保険の損害査定人，フォトジャーナリスト
からすべての写真愛好家に渡る広く多様なユーザにアピ
ールしている。低電力デジタル信号プロセッサ（ＤＳ
Ｐ）の有用性と結びついた高解像度ＣＣＤアレイの近年
の進歩により、伝統的なフィルムカメラによって提供さ
れる解像度および品質に極めて近いＤＳＣの開発が行わ
れている。これらのＤＳＣは、データ蓄積，操作性及び
伝送性の点から見て伝統的なフィルムカメラと比べてさ
らにいくつかの利点を提供している。撮られた画像をデ
ジタル表示することにより、ユーザはその画像を任意の
種類の電子媒体に簡単に取り込んだりそれらを任意の種
類のネットワークを介して簡単に伝送することができ
る。撮られた画像を瞬時に見て選択的に蓄積する能力に
より、フィルムの浪費を最小限にするとともにその画像
を再度撮る必要があるかどうかを瞬時に決定する柔軟性
が提供される。デジタル表示することで、画像を撮った
後にそれを訂正したり変更したり修正することができ
る。例えば、ベンカタラマンらの「次世代デジタルカメ
ラの集積化及びソフトウェア開発の問題」，デジタル固
体素子カメラ，設計と応用，３３０２会報，ＳＰＩＥ
（１９９８年）を参照のこと。同様に、ＵＳＰ５，５２
８，２９３およびＵＳＰ５，４１２，４２５には、メモ
リカードへの画像の蓄積およびバッテリーパワーカメラ
用の節電を含むデジタルスチルカメラシステムの態様が
開示されている。
【０００３】
【課題を解決するための手段】本発明は、プログラム可
能カメラ機能＋短いオーディオ・ビデオ・クリップ能力
とデュアルプロセッサ＋画像コプロセッサとバーストモ
ード圧縮／圧縮解除エンジンとプログラム可能プレビュ
ー・エンジンとＩｒＤＡ，ＵＳＢ，ＮＴＳＣ／ＰＡＬエ
ンコーダ，ＲＧＢ用のＤＡＣ，ＵＡＲＴおよびコンパク
トフラッシュカード／スマートメディアカード・インタ
ーフェースを含むすべてのカメラ周辺機器の一体化とか
ら選択された特質を備えるデジタルスチルカメラ・アー
キテクチャを提供する。これには、柔軟性，適応性およ
び有効性を含む利点がある。
能カメラ機能＋短いオーディオ・ビデオ・クリップ能力
とデュアルプロセッサ＋画像コプロセッサとバーストモ
ード圧縮／圧縮解除エンジンとプログラム可能プレビュ
ー・エンジンとＩｒＤＡ，ＵＳＢ，ＮＴＳＣ／ＰＡＬエ
ンコーダ，ＲＧＢ用のＤＡＣ，ＵＡＲＴおよびコンパク
トフラッシュカード／スマートメディアカード・インタ
ーフェースを含むすべてのカメラ周辺機器の一体化とか
ら選択された特質を備えるデジタルスチルカメラ・アー
キテクチャを提供する。これには、柔軟性，適応性およ
び有効性を含む利点がある。
【０００４】
【発明の実施の形態】システムのあらまし 図１ａおよび図１ｂは、好ましい実施例のデジタルスチ
ルカメラ（ＤＳＣ）およびシステムにおける様々な高レ
ベル機能ブロックを示し、ここで、図１ｂは図１ａより
も詳細なものを提供している。特に、好ましい実施例の
集積回路１００は、以下のアイテムを含む。すなわち、
ＣＣＤまたはＣＭＯＳイメージャ１５０とインターフェ
ースするＣＣＤコントローラ１０２と、ＮＴＳＣ符号器
１０６またはデジタルＬＣＤインターフェースを用いて
ＣＣＤコントローラ１０２からのデータをディスプレイ
に適切なフォーマットに変換するプレビュー・エンジン
ブロック１０４と、損失のない（または、ユーザによっ
て選択された損失のある）圧縮を用いてＣＣＤコントロ
ーラ１０２からの生画像データを圧縮するとともにその
圧縮されたデータをＳＤＲＡＭコントローラ１１０を介
して外部ＳＤＲＡＭ１６０に書き込むバースト・モード
圧縮／圧縮解除エンジン１０８とである。その後、この
データは、ＤＳＰ１２２の制御のもとで圧縮解除エンジ
ンによって圧縮解除され、処理され、表示されるかＳＤ
ＲＡＭ１６０に再び記録される。ＤＳＰサブシステムブ
ロック１２０（ＤＳＰ１２２およびｉＭＸ１２４と可変
長符号器１２６およびバッファ１２８）は、捕獲モード
において画像データのすべての処理を行う。そのデータ
は、ＳＤＲＡＭコントローラ１１０への要求を通してＤ
ＳＰ１２２によってＳＤＲＡＭ１６０から画像バッファ
１２８にフェッチされ、また、ＤＳＰ１２２は、捕獲モ
ードにおいて要求されるすべての画像処理および圧縮を
行う。画像拡大プロセッサ（ｉＭＸ）１２４は、撮像ア
プリケーションのためにＤＳＰ１２２の性能を向上させ
るようＤＳＰ１２２の専用加速器として働く。
ルカメラ（ＤＳＣ）およびシステムにおける様々な高レ
ベル機能ブロックを示し、ここで、図１ｂは図１ａより
も詳細なものを提供している。特に、好ましい実施例の
集積回路１００は、以下のアイテムを含む。すなわち、
ＣＣＤまたはＣＭＯＳイメージャ１５０とインターフェ
ースするＣＣＤコントローラ１０２と、ＮＴＳＣ符号器
１０６またはデジタルＬＣＤインターフェースを用いて
ＣＣＤコントローラ１０２からのデータをディスプレイ
に適切なフォーマットに変換するプレビュー・エンジン
ブロック１０４と、損失のない（または、ユーザによっ
て選択された損失のある）圧縮を用いてＣＣＤコントロ
ーラ１０２からの生画像データを圧縮するとともにその
圧縮されたデータをＳＤＲＡＭコントローラ１１０を介
して外部ＳＤＲＡＭ１６０に書き込むバースト・モード
圧縮／圧縮解除エンジン１０８とである。その後、この
データは、ＤＳＰ１２２の制御のもとで圧縮解除エンジ
ンによって圧縮解除され、処理され、表示されるかＳＤ
ＲＡＭ１６０に再び記録される。ＤＳＰサブシステムブ
ロック１２０（ＤＳＰ１２２およびｉＭＸ１２４と可変
長符号器１２６およびバッファ１２８）は、捕獲モード
において画像データのすべての処理を行う。そのデータ
は、ＳＤＲＡＭコントローラ１１０への要求を通してＤ
ＳＰ１２２によってＳＤＲＡＭ１６０から画像バッファ
１２８にフェッチされ、また、ＤＳＰ１２２は、捕獲モ
ードにおいて要求されるすべての画像処理および圧縮を
行う。画像拡大プロセッサ（ｉＭＸ）１２４は、撮像ア
プリケーションのためにＤＳＰ１２２の性能を向上させ
るようＤＳＰ１２２の専用加速器として働く。
【０００５】ＲＩＳＣマイクロプロセッサ・サブシステ
ム（ＡＲＭ１３０とメモリ１３２）は、インカメラ・オ
ペレーティングシステム（ＯＳ）を支援する。ＶｘＷｏ
ｒｋｓ，Ｍｉｃｒｏｉｔｒｏｎ，Ｎｕｃｌｅｕｓおよび
ＰＳＯＳのような種々のＯＳおよび他のリアルタイム核
も回路１００で支援される。
ム（ＡＲＭ１３０とメモリ１３２）は、インカメラ・オ
ペレーティングシステム（ＯＳ）を支援する。ＶｘＷｏ
ｒｋｓ，Ｍｉｃｒｏｉｔｒｏｎ，Ｎｕｃｌｅｕｓおよび
ＰＳＯＳのような種々のＯＳおよび他のリアルタイム核
も回路１００で支援される。
【０００６】ＳＤＲＡＭコントローラ・ブロック１１０
は、ＳＤＲＡＭ１６０とプロセッサ（ＡＲＭ１３０，Ｄ
ＳＰ１２２），ＣＣＤコントローラ１０２，ＴＶ符号器
１０６，プレビュー・エンジン１０４などのようなすべ
ての機能ブロックとの間の主要インターフェースとして
働く。ＳＤＲＡＭコントローラ１１０は、８０ＭＨｚＳ
ＤＲＡＭのタイミングまでを支援し、また、連続データ
アクセス用の低いオーバーヘッドを提供する。それはま
た、ＣＣＤデータ入力およびＴＶディスプレイ・データ
出力のリアルタイム・データ・ストリームを支援するア
クセスユニットに優先順位を付ける能力を有する。
は、ＳＤＲＡＭ１６０とプロセッサ（ＡＲＭ１３０，Ｄ
ＳＰ１２２），ＣＣＤコントローラ１０２，ＴＶ符号器
１０６，プレビュー・エンジン１０４などのようなすべ
ての機能ブロックとの間の主要インターフェースとして
働く。ＳＤＲＡＭコントローラ１１０は、８０ＭＨｚＳ
ＤＲＡＭのタイミングまでを支援し、また、連続データ
アクセス用の低いオーバーヘッドを提供する。それはま
た、ＣＣＤデータ入力およびＴＶディスプレイ・データ
出力のリアルタイム・データ・ストリームを支援するア
クセスユニットに優先順位を付ける能力を有する。
【０００７】カメラ・ショット・ツー・ショット遅延
は、ＤＳＣエンジン１００がＣＣＤ１５０からデータを
読み、それを処理し、それをＳＤＲＡＭ１６０に書き込
むのにかかる時間である。その処理は、画像パイプライ
ン段を含み、ＪＰＥＧ圧縮も含む。
は、ＤＳＣエンジン１００がＣＣＤ１５０からデータを
読み、それを処理し、それをＳＤＲＡＭ１６０に書き込
むのにかかる時間である。その処理は、画像パイプライ
ン段を含み、ＪＰＥＧ圧縮も含む。
【０００８】リアルタイムプレビューを支援するため
に、ＤＳＣエンジン１００は、ＣＣＤ１５０を「高速読
出し」モードに設定し、データを処理し、データをＮＴ
ＳＣフォーマットに変換し、組込みＬＣＤスクリーン
（図１には示されていない）か場合によってはＴＶモニ
タ上にデータを表示する。
に、ＤＳＣエンジン１００は、ＣＣＤ１５０を「高速読
出し」モードに設定し、データを処理し、データをＮＴ
ＳＣフォーマットに変換し、組込みＬＣＤスクリーン
（図１には示されていない）か場合によってはＴＶモニ
タ上にデータを表示する。
【０００９】オートフォーカス，オート露光およびオー
トホワイトバランス（３Ａ機能）が、ＤＳＣ１００がプ
レビュー・モードの動作状態にある間に、ＤＳＰ１２２
によって行われる。ＤＳＰ１２２は、ＳＤＲＡＭ１６０
から画像データを読み、リアルタイムで３Ａ機能を実行
する。３Ａ機能用のアルゴリズムはプログラム可能であ
る。
トホワイトバランス（３Ａ機能）が、ＤＳＣ１００がプ
レビュー・モードの動作状態にある間に、ＤＳＰ１２２
によって行われる。ＤＳＰ１２２は、ＳＤＲＡＭ１６０
から画像データを読み、リアルタイムで３Ａ機能を実行
する。３Ａ機能用のアルゴリズムはプログラム可能であ
る。
【００１０】インターレースおよびプログレッシブＣＣ
ＤおよびＣＭＯＳイメージャ１５０の双方は、組込みＣ
ＣＤ／ＣＭＯＳコントローラ１０２を用いてＤＳＣエン
ジン１００と直接連係する。
ＤおよびＣＭＯＳイメージャ１５０の双方は、組込みＣ
ＣＤ／ＣＭＯＳコントローラ１０２を用いてＤＳＣエン
ジン１００と直接連係する。
【００１１】Ｍｉｃｒｏｉｔｒｏｎのようなインカメラ
・オペレーティングシステムは、ＤＳＣエンジン１００
ではＡＲＭプロセッサ１３０で効率的に支援される。Ｄ
ＳＣエンジン１００はまた、「バースト・モード」の動
作状態で高速シーケンスの画像を捕獲するのを支援する
能力を有する。２メガピクセル画像の１０フレーム／秒
までのバーストが支援される。バーストシーケンスの持
続期間は、ＤＳＣシステムのＳＤＲＡＭ１６０のサイズ
によってのみ制限される。また、ＭＰＥＧ圧縮がショー
トクリップのために用いられてもよい。また、オーディ
オ−ビデオの再生の能力は巡回バッファリングを含む。
・オペレーティングシステムは、ＤＳＣエンジン１００
ではＡＲＭプロセッサ１３０で効率的に支援される。Ｄ
ＳＣエンジン１００はまた、「バースト・モード」の動
作状態で高速シーケンスの画像を捕獲するのを支援する
能力を有する。２メガピクセル画像の１０フレーム／秒
までのバーストが支援される。バーストシーケンスの持
続期間は、ＤＳＣシステムのＳＤＲＡＭ１６０のサイズ
によってのみ制限される。また、ＭＰＥＧ圧縮がショー
トクリップのために用いられてもよい。また、オーディ
オ−ビデオの再生の能力は巡回バッファリングを含む。
【００１２】ＤＳＣ回路１００はまた、プログラミング
およびＡＲＭ１３０での中断処理用のＵＳＢコア１４２
を備えるＩ／Ｏブロック１４０を含む。
およびＡＲＭ１３０での中断処理用のＵＳＢコア１４２
を備えるＩ／Ｏブロック１４０を含む。
【００１３】ＣＣＤモジュール１５０は、画像を検知す
るＣＣＤイメージャと、必要な信号がＣＣＤをクロック
するためのドライバ電子回路およびタイミング発生器
と、相関二重サンプリングおよび自動利得制御電子回路
とを含む。その後、このＣＣＤデータが、デジタル化さ
れ、ＤＳＣエンジン１００に送り込まれる。
るＣＣＤイメージャと、必要な信号がＣＣＤをクロック
するためのドライバ電子回路およびタイミング発生器
と、相関二重サンプリングおよび自動利得制御電子回路
とを含む。その後、このＣＣＤデータが、デジタル化さ
れ、ＤＳＣエンジン１００に送り込まれる。
【００１４】ＳＤＲＡＭ１６０は、任意の便宜的および
高速ＳＤＲＡＭであってよい。
高速ＳＤＲＡＭであってよい。
【００１５】ＤＳＣシステムは、画像にテキスト／音声
で注釈を付ける能力もあって更により用途が多い。好ま
しい実施例のプログラム可能ＤＳＰにより、モデムおよ
び／またはインターネットへの直接接続用のＴＣＰ／Ｉ
Ｐインターフェースを簡単に含むことが可能となる。Ｄ
ＳＣは、複雑なマルチタスキング・オペレーティングシ
ステムを走らせて種々のリアルタイム・タスクをスケジ
ュールする。
で注釈を付ける能力もあって更により用途が多い。好ま
しい実施例のプログラム可能ＤＳＰにより、モデムおよ
び／またはインターネットへの直接接続用のＴＣＰ／Ｉ
Ｐインターフェースを簡単に含むことが可能となる。Ｄ
ＳＣは、複雑なマルチタスキング・オペレーティングシ
ステムを走らせて種々のリアルタイム・タスクをスケジ
ュールする。
【００１６】このように、好ましい実施例は、プログラ
ム可能カメラ機能と二重プロセッサ（ＡＲＭおよびＤＳ
Ｐ）および画像コンプレッサとバースト・モード圧縮／
圧縮解除エンジンとプログラム可能プレビュー・エンジ
ンとＩｒＤＡ，ＵＳＢ，ＮＴＳＣ／ＰＡＬ符号器，ＲＧ
Ｂ用のＤＡＣ，ＵＡＲＴおよびコンパクトフラッシュカ
ード／スマートメディアカード・インターフェースを含
むすべてのカメラ周辺器の一体化のためのプラットフォ
ームを提供する。また、プラットフォームは、同じ集積
回路上にカメラ機能およびデジタルオーディオ再生の双
方を提供することができる。
ム可能カメラ機能と二重プロセッサ（ＡＲＭおよびＤＳ
Ｐ）および画像コンプレッサとバースト・モード圧縮／
圧縮解除エンジンとプログラム可能プレビュー・エンジ
ンとＩｒＤＡ，ＵＳＢ，ＮＴＳＣ／ＰＡＬ符号器，ＲＧ
Ｂ用のＤＡＣ，ＵＡＲＴおよびコンパクトフラッシュカ
ード／スマートメディアカード・インターフェースを含
むすべてのカメラ周辺器の一体化のためのプラットフォ
ームを提供する。また、プラットフォームは、同じ集積
回路上にカメラ機能およびデジタルオーディオ再生の双
方を提供することができる。
【００１７】以下のセクションは機能およびモジュール
の更なる詳細を提供する。
の更なる詳細を提供する。
【００１８】ＤＳＣ動作モード 好ましい実施例のシステムは、以下の通り、動作の
（１）プレビュー・モード，（２）捕獲モード，（３）
再生モードおよび（４）バースト・モードを有する。
（１）プレビュー・モード，（２）捕獲モード，（３）
再生モードおよび（４）バースト・モードを有する。
【００１９】（１）プレビュー・モードは、図２に例示
されるようなデータ・フローを有する。ＡＲＭ１３０
は、ＣＣＤ１５０を高フレーム速度読出しモード（垂直
解像度が低減される）に設定する。ＡＲＭ１３０は、プ
レビュー・エンジン１０４をイネーブルするとともに、
デフォルト・パラメータのために適切なレジスタを設定
する。生ＣＣＤデータは、プレビュー・エンジン１０４
に流れ込み、プレビュー・エンジン処理の後にＳＤＲＡ
Ｍ１６０に流れ込む。ＡＲＭ１３０は、ＴＶ符号器１０
６をイネーブルしてプレビュー・エンジン出力を表示さ
せる。プレビュー・エンジン１０４の処理（ハードウェ
ア）は、利得制御と、ホワイトバランスと、ＣＦＡ補間
と、ダウンサンプリングと、ガンマ補正と、ＲＧＢから
ＹＵＶへの変換とを含む。ＡＲＭ１３０は、必要なとき
はいつでも、オート露光およびオートホワイトバランス
を行うようにＤＳＰ１２２に指令する。ＤＳＰ１２２の
処理は、オート露光とオートホワイトバランスとオート
フォーカスとを含む。ＡＲＭ１３０は、プレビュー・エ
ンジン１０４のための新しいパラメータを受け取り、こ
れらのパラメータをプレビュー・エンジン・ハードウェ
アにローディングする。出力は、完全解像度ＣＣＩＲ６
０１ＮＴＳＣ／ＰＡＬと、利得，ホワイトバランスおよ
びオートフォーカスのリアルタイム更新とである。
されるようなデータ・フローを有する。ＡＲＭ１３０
は、ＣＣＤ１５０を高フレーム速度読出しモード（垂直
解像度が低減される）に設定する。ＡＲＭ１３０は、プ
レビュー・エンジン１０４をイネーブルするとともに、
デフォルト・パラメータのために適切なレジスタを設定
する。生ＣＣＤデータは、プレビュー・エンジン１０４
に流れ込み、プレビュー・エンジン処理の後にＳＤＲＡ
Ｍ１６０に流れ込む。ＡＲＭ１３０は、ＴＶ符号器１０
６をイネーブルしてプレビュー・エンジン出力を表示さ
せる。プレビュー・エンジン１０４の処理（ハードウェ
ア）は、利得制御と、ホワイトバランスと、ＣＦＡ補間
と、ダウンサンプリングと、ガンマ補正と、ＲＧＢから
ＹＵＶへの変換とを含む。ＡＲＭ１３０は、必要なとき
はいつでも、オート露光およびオートホワイトバランス
を行うようにＤＳＰ１２２に指令する。ＤＳＰ１２２の
処理は、オート露光とオートホワイトバランスとオート
フォーカスとを含む。ＡＲＭ１３０は、プレビュー・エ
ンジン１０４のための新しいパラメータを受け取り、こ
れらのパラメータをプレビュー・エンジン・ハードウェ
アにローディングする。出力は、完全解像度ＣＣＩＲ６
０１ＮＴＳＣ／ＰＡＬと、利得，ホワイトバランスおよ
びオートフォーカスのリアルタイム更新とである。
【００２０】（２）捕獲モードは、図３ａに例示される
ようなデータ・フローを有する。ＡＲＭ１３０は、ＣＣ
Ｄ１５０を「微細」読出しモード、最大限解像度に設定
する。ＣＣＤデータは、ＳＤＲＡＭコントローラ１１０
を通してＳＤＲＡＭ１６０に直接読み込まれる。ＡＲＭ
１３０は、ＤＳＰ１２２（とＩＭＸ１２４およびＶＬＣ
エンジン１２６）に捕獲処理（ブラック・クランプと、
誤りピクセル訂正と、陰影補償と、ホワイトバランシン
グと、ガンマ補正と、ＣＦＡ補間と、色空間変換と、エ
ッジ・エンハンスメントと、誤色抑制と、４：２：０ダ
ウンサンプリングと、ＪＰＥＧ圧縮）を行うように指令
する。ＤＳＰは、圧縮データをＳＤＲＡＭに記憶する。
ＡＲＭ１３０は、圧縮データをコンパクトフラッシュ／
スマートメディア１８２に書き込む。
ようなデータ・フローを有する。ＡＲＭ１３０は、ＣＣ
Ｄ１５０を「微細」読出しモード、最大限解像度に設定
する。ＣＣＤデータは、ＳＤＲＡＭコントローラ１１０
を通してＳＤＲＡＭ１６０に直接読み込まれる。ＡＲＭ
１３０は、ＤＳＰ１２２（とＩＭＸ１２４およびＶＬＣ
エンジン１２６）に捕獲処理（ブラック・クランプと、
誤りピクセル訂正と、陰影補償と、ホワイトバランシン
グと、ガンマ補正と、ＣＦＡ補間と、色空間変換と、エ
ッジ・エンハンスメントと、誤色抑制と、４：２：０ダ
ウンサンプリングと、ＪＰＥＧ圧縮）を行うように指令
する。ＤＳＰは、圧縮データをＳＤＲＡＭに記憶する。
ＡＲＭ１３０は、圧縮データをコンパクトフラッシュ／
スマートメディア１８２に書き込む。
【００２１】計算は、２つのスレッドとしてスケジュー
ルされる。すなわち、１つのスレッドでのｉＭＸと、他
方のスレッドでの他のユニットとである。図３ｂは、バ
ッファＡおよびバッファＢに関係するスレッドでのタイ
ミングおよびデータ・フローを示す。
ルされる。すなわち、１つのスレッドでのｉＭＸと、他
方のスレッドでの他のユニットとである。図３ｂは、バ
ッファＡおよびバッファＢに関係するスレッドでのタイ
ミングおよびデータ・フローを示す。
【００２２】（３）再生モードは、図４に例示されるよ
うなデータ・フローを有する。ＡＲＭ１３０は、ＣＦＣ
／スマートメディア１８２からの圧縮データをＤＭＡ１
６２を用いてＳＤＲＡＭコントローラ１１０を介してＳ
ＤＲＡＭ１６０に読み込む。ＡＲＭは、「再生」を行う
ようにＤＳＰ１２２に指令する。ＤＳＰ処理（ＤＳＰ１
２２とｉＭＸ１２４およびＶＬＣエンジン１２６）は、
ＪＰＥＧ復号（ビットストリーム構文解析，ＩＤＣＴ，
ＶＬＤおよびアスペクト比用のダウンサンプリング）を
含み、非圧縮画像データをＳＤＲＡＭに記憶する。ＡＲ
Ｍは、ＴＶ符号器１０６をイネーブルして画像をＴＶ／
ＬＣＤディスプレイに表示する。オーディオおよびビデ
オ（例えば、ＭＰＥＧ圧縮された）クリップが再生され
てもよいということに留意願いたい。
うなデータ・フローを有する。ＡＲＭ１３０は、ＣＦＣ
／スマートメディア１８２からの圧縮データをＤＭＡ１
６２を用いてＳＤＲＡＭコントローラ１１０を介してＳ
ＤＲＡＭ１６０に読み込む。ＡＲＭは、「再生」を行う
ようにＤＳＰ１２２に指令する。ＤＳＰ処理（ＤＳＰ１
２２とｉＭＸ１２４およびＶＬＣエンジン１２６）は、
ＪＰＥＧ復号（ビットストリーム構文解析，ＩＤＣＴ，
ＶＬＤおよびアスペクト比用のダウンサンプリング）を
含み、非圧縮画像データをＳＤＲＡＭに記憶する。ＡＲ
Ｍは、ＴＶ符号器１０６をイネーブルして画像をＴＶ／
ＬＣＤディスプレイに表示する。オーディオおよびビデ
オ（例えば、ＭＰＥＧ圧縮された）クリップが再生され
てもよいということに留意願いたい。
【００２３】（４）バースト捕獲モードは、図５に例示
されるようなデータ・フローを有し、また、図６は、オ
フラインデータ処理を示す。ＡＲＭ１３０は、ＣＣＤ１
５０を微細解像モードに設定する。ＡＲＭは、バースト
圧縮パラメータ，バースト長，フレーム数／秒，圧縮比
（損失のある、損失のない）などを設定する。ＡＲＭ
は、バースト圧縮エンジン１０８をイネーブルして生Ｃ
ＣＤデータをＳＤＲＡＭ１６０に書き込む。ＡＲＭは、
記憶された生ＣＣＤ画像の各々をバーストにおいて処理
するようにＤＳＰに信号を送る。バースト・モード圧縮
解除エンジン１０８は、バースト捕獲された画像の各々
を圧縮解除する。ＤＳＰは、通常の捕獲にある画像の各
々を処理するとともに、ＪＰＥＧビットストリームをＳ
ＤＲＡＭ１６０に書き込む。
されるようなデータ・フローを有し、また、図６は、オ
フラインデータ処理を示す。ＡＲＭ１３０は、ＣＣＤ１
５０を微細解像モードに設定する。ＡＲＭは、バースト
圧縮パラメータ，バースト長，フレーム数／秒，圧縮比
（損失のある、損失のない）などを設定する。ＡＲＭ
は、バースト圧縮エンジン１０８をイネーブルして生Ｃ
ＣＤデータをＳＤＲＡＭ１６０に書き込む。ＡＲＭは、
記憶された生ＣＣＤ画像の各々をバーストにおいて処理
するようにＤＳＰに信号を送る。バースト・モード圧縮
解除エンジン１０８は、バースト捕獲された画像の各々
を圧縮解除する。ＤＳＰは、通常の捕獲にある画像の各
々を処理するとともに、ＪＰＥＧビットストリームをＳ
ＤＲＡＭ１６０に書き込む。
【００２４】バースト捕獲モードは、毎回ＡＲＭ１３０
による異なるＪＰＥＧビットストリームでの通常の再生
ルーティンへのコールを繰り返すことによって、達成さ
れる。
による異なるＪＰＥＧビットストリームでの通常の再生
ルーティンへのコールを繰り返すことによって、達成さ
れる。
【００２５】好ましい実施例はまた、ＭＰＥＧ１捕獲モ
ードと再生モードとを有する。
ードと再生モードとを有する。
【００２６】画像獲得 ＤＳＣは、通常は、高品質画像が記憶される前に多数の
処理ステップを行わなければならない。最初のステップ
は画像獲得である。場面から反射された強度分布が、光
システムによってイメージャにマッピングされる。好ま
しい実施例はＣＣＤを用いるが、ＣＭＯＳへの移行が画
像処理原理を変えるものではない。カラー画像を提供す
るために、イメージャ（ＣＣＤまたはＣＭＯＳ）は、各
画素を（各ＣＣＤフォトサイト上の蒸着された染料のよ
うな）カラーフィルタによってマスクさせる。この生画
像データは、通常は、カラー・フィルタ・アレイ（ＣＦ
Ａ）と呼ばれる。ＣＣＤにおける画素のアレイのマスキ
ングパターンとフィルタカラー原色とは、異なる製造業
者間で異なっている。ＤＳＣアプリケーションでは、最
も普通に用いられているＣＦＡパターンは、ＣＣＤアレ
イ全体に渡って傾いている２×２セル素子からなるＲＧ
Ｂバイエル（Ｂａｙｅｒ）パターンである。図７ａは、
ＣＣＤカメラに続く行列ブロックにおけるこのバイエル
・パターンの部分集合を示す。画素の半分は緑に対して
感受性があることと、赤と青とは緑とバランスがとられ
ていることとに留意すべきである。図７ｂは、黄，シア
ン，緑およびマゼンタ画素を備える代替の補完カラーＣ
ＦＡパターンの部分集合を示す。
処理ステップを行わなければならない。最初のステップ
は画像獲得である。場面から反射された強度分布が、光
システムによってイメージャにマッピングされる。好ま
しい実施例はＣＣＤを用いるが、ＣＭＯＳへの移行が画
像処理原理を変えるものではない。カラー画像を提供す
るために、イメージャ（ＣＣＤまたはＣＭＯＳ）は、各
画素を（各ＣＣＤフォトサイト上の蒸着された染料のよ
うな）カラーフィルタによってマスクさせる。この生画
像データは、通常は、カラー・フィルタ・アレイ（ＣＦ
Ａ）と呼ばれる。ＣＣＤにおける画素のアレイのマスキ
ングパターンとフィルタカラー原色とは、異なる製造業
者間で異なっている。ＤＳＣアプリケーションでは、最
も普通に用いられているＣＦＡパターンは、ＣＣＤアレ
イ全体に渡って傾いている２×２セル素子からなるＲＧ
Ｂバイエル（Ｂａｙｅｒ）パターンである。図７ａは、
ＣＣＤカメラに続く行列ブロックにおけるこのバイエル
・パターンの部分集合を示す。画素の半分は緑に対して
感受性があることと、赤と青とは緑とバランスがとられ
ていることとに留意すべきである。図７ｂは、黄，シア
ン，緑およびマゼンタ画素を備える代替の補完カラーＣ
ＦＡパターンの部分集合を示す。
【００２７】画像パイプライン 画像が最終的に圧縮または表示用の使用可能なフォーマ
ットで提供される前に、ＣＦＡデータは著しい量の画像
処理を受ける必要がある。これらの処理段のすべては、
まとめて「画像パイプライン」と呼ばれる。好ましい実
施例のＤＳＣは、高品質の画像が記憶される前に、多数
の処理ステップを行う。画像パイプライン処理タスクの
ほとんどは、乗算／累算（ＭＡＣ）集中動作であり、Ｄ
ＳＰを好ましいプラットフォームにする。様々な画像パ
イプライン処理段が以下のセクションで記述される。
ットで提供される前に、ＣＦＡデータは著しい量の画像
処理を受ける必要がある。これらの処理段のすべては、
まとめて「画像パイプライン」と呼ばれる。好ましい実
施例のＤＳＣは、高品質の画像が記憶される前に、多数
の処理ステップを行う。画像パイプライン処理タスクの
ほとんどは、乗算／累算（ＭＡＣ）集中動作であり、Ｄ
ＳＰを好ましいプラットフォームにする。様々な画像パ
イプライン処理段が以下のセクションで記述される。
【００２８】Ａ／Ｄコンバータ ＣＣＤイメージャ・データをデジタル化するＡ／Ｄコン
バータは、１０〜１２ビットの解像度を有する。これに
よって、入力画像値を表すのに良好なダイナミックレン
ジが可能となる。もちろん、より高い解像度は、より高
い品質の画像を意味するが、より多くの計算およびより
遅い処理を意味する。また、より低い解像度はその反対
を意味する。Ａ／ＤコンバータはＣＣＤモジュールの一
部であってもよい。
バータは、１０〜１２ビットの解像度を有する。これに
よって、入力画像値を表すのに良好なダイナミックレン
ジが可能となる。もちろん、より高い解像度は、より高
い品質の画像を意味するが、より多くの計算およびより
遅い処理を意味する。また、より低い解像度はその反対
を意味する。Ａ／ＤコンバータはＣＣＤモジュールの一
部であってもよい。
【００２９】ブラック・クランプ Ａ／Ｄ変換の後、「ブラック」画素は、これらの画素位
置である電流（電荷蓄積）をまだ記録するＣＣＤのため
に、必ずしも０値を有するわけではない。ＣＣＤイメー
ジャによって表される画素値のダイナミックレンジを最
適化するために、ブラックを表す画素は０値を有さなけ
ればならない。ブラック・クランプ機能は、各画素値か
らオフセットを減算することによって、このための調整
を行う。処理のこの段階で画素ごとに１つのカラー・チ
ャンネルのみがあることに留意願いたい。
置である電流（電荷蓄積）をまだ記録するＣＣＤのため
に、必ずしも０値を有するわけではない。ＣＣＤイメー
ジャによって表される画素値のダイナミックレンジを最
適化するために、ブラックを表す画素は０値を有さなけ
ればならない。ブラック・クランプ機能は、各画素値か
らオフセットを減算することによって、このための調整
を行う。処理のこの段階で画素ごとに１つのカラー・チ
ャンネルのみがあることに留意願いたい。
【００３０】誤り画素補間 ＣＣＤアレイ（とりわけ５００，０００を超える素子を
備えるアレイ）は、欠陥のある（失われている）画素を
有しているかもしれない。その失われている画素値は簡
単な補間によって充填される。補間もＣＦＡ補間段で行
われるため、高いオーダの補間が必要なわけではない。
したがって、この予備補間ステップを行う主な理由は、
失われているデータを削除することによって画像処理を
通常のものにすることである。
備えるアレイ）は、欠陥のある（失われている）画素を
有しているかもしれない。その失われている画素値は簡
単な補間によって充填される。補間もＣＦＡ補間段で行
われるため、高いオーダの補間が必要なわけではない。
したがって、この予備補間ステップを行う主な理由は、
失われているデータを削除することによって画像処理を
通常のものにすることである。
【００３１】典型的には、失われている画素の位置はＣ
ＣＤ製造業者から得られる。誤り画素位置はまた、ＤＳ
Ｃエンジンによってオフラインで計算できる。例えば、
カメラ初期化動作の間、レンズのキャップが閉められた
画像が捕獲される。誤り画素は「白いスポット」として
現れ、一方、その画像の残りは黒である。それにより、
誤り画素位置は、簡単な閾値検出器で識別でき、ビット
・マップとしてメモリに記憶できる。
ＣＤ製造業者から得られる。誤り画素位置はまた、ＤＳ
Ｃエンジンによってオフラインで計算できる。例えば、
カメラ初期化動作の間、レンズのキャップが閉められた
画像が捕獲される。誤り画素は「白いスポット」として
現れ、一方、その画像の残りは黒である。それにより、
誤り画素位置は、簡単な閾値検出器で識別でき、ビット
・マップとしてメモリに記憶できる。
【００３２】ＤＳＣの通常動作の間、誤り画素位置の画
像値は、単純な双線形補間技術によって充填される。
像値は、単純な双線形補間技術によって充填される。
【００３３】レンズ歪補償 レンズの不完全性によって導入される非線形性のため
に、画像の明るさは画像の中心から画像の境界にかけて
低減する。これらのレンズ歪の影響は、それの空間的な
位置の機能として各画素の明るさを調整することによっ
て補償される。レンズ歪を記述するパラメータは、最終
システムで測定され、レンズ製造業者によって供給され
る情報によって支援される必要がある。
に、画像の明るさは画像の中心から画像の境界にかけて
低減する。これらのレンズ歪の影響は、それの空間的な
位置の機能として各画素の明るさを調整することによっ
て補償される。レンズ歪を記述するパラメータは、最終
システムで測定され、レンズ製造業者によって供給され
る情報によって支援される必要がある。
【００３４】レンズ調整は、画素強度を定数と乗算する
ことによって達成することができ、その定数の値は画素
位置で異なる。その調整は、水平方向および垂直方向の
双方について行われる必要がある。
ことによって達成することができ、その定数の値は画素
位置で異なる。その調整は、水平方向および垂直方向の
双方について行われる必要がある。
【００３５】ホワイトバランス ホワイトバランシングは、ある光の状態のもとで検知さ
れた３刺激値を、表示されるとするならば白が再び白と
して現れるように変換を試みるものである。一般に、カ
メラによって捕獲される色は、場面を捕獲するときにそ
れらが見られた通りに出力デバイス上に現れることはな
い。それには２，３の理由が考えられる。第１に、スペ
クトラム範囲にわたってカラーフィルタの感度がわずか
に異なる。完全な白色光源（一定の光スペクトラム）で
露光されると、ＣＣＤによって検知される３刺激値はわ
ずかに異なる。第２に、ＣＣＤモジュール全体および光
システムの設計は３刺激値の不均衡に加わる。第３に、
場面を記録する間に存在する典型的な照明体が一定では
ない。照明体はある「カラー」を有しており、それは、
典型的には、「カラー温度」（または、相関カラー温
度）として特徴付けられる。照明体１のもとで捕獲され
た画像が異なる照明体のもとで表示されると、カラーの
見た目が変わる。これによって、ホワイト領域が少し赤
にまたは少し青に変えられる。
れた３刺激値を、表示されるとするならば白が再び白と
して現れるように変換を試みるものである。一般に、カ
メラによって捕獲される色は、場面を捕獲するときにそ
れらが見られた通りに出力デバイス上に現れることはな
い。それには２，３の理由が考えられる。第１に、スペ
クトラム範囲にわたってカラーフィルタの感度がわずか
に異なる。完全な白色光源（一定の光スペクトラム）で
露光されると、ＣＣＤによって検知される３刺激値はわ
ずかに異なる。第２に、ＣＣＤモジュール全体および光
システムの設計は３刺激値の不均衡に加わる。第３に、
場面を記録する間に存在する典型的な照明体が一定では
ない。照明体はある「カラー」を有しており、それは、
典型的には、「カラー温度」（または、相関カラー温
度）として特徴付けられる。照明体１のもとで捕獲され
た画像が異なる照明体のもとで表示されると、カラーの
見た目が変わる。これによって、ホワイト領域が少し赤
にまたは少し青に変えられる。
【００３６】ホワイトバランスのためにいくつかの異な
るアプローチが知られている。それらのほとんどは、ホ
ワイトパッチについての結果として得られる３刺激値が
特定の値を有するように、赤および青チャンネルをある
ファクターと乗算する。
るアプローチが知られている。それらのほとんどは、ホ
ワイトパッチについての結果として得られる３刺激値が
特定の値を有するように、赤および青チャンネルをある
ファクターと乗算する。
【００３７】
【数１】
【００３８】しかしながら、後で説明されるように、こ
のアプローチでは照明体の変化についての補正が得られ
ない。したがって、好ましい実施例のシステムにおける
ホワイトバランシングの実行は、センサ・モジュールの
不均衡を補正する。照明体補正は、カラー補正セクショ
ンにおける後の段で取り扱われる。
のアプローチでは照明体の変化についての補正が得られ
ない。したがって、好ましい実施例のシステムにおける
ホワイトバランシングの実行は、センサ・モジュールの
不均衡を補正する。照明体補正は、カラー補正セクショ
ンにおける後の段で取り扱われる。
【００３９】利得ファクターを計算する典型的な技術
は、
は、
【００４０】
【数２】
【００４１】それらのすべてがあらゆる場合において成
り立つわけではない。したがって、ホワイトバランシン
グを主にイメージャ・モジュール特性の補正として定義
することによって、補正値を得るためのアルゴリズムは
ほとんど場面から独立させることができる。
り立つわけではない。したがって、ホワイトバランシン
グを主にイメージャ・モジュール特性の補正として定義
することによって、補正値を得るためのアルゴリズムは
ほとんど場面から独立させることができる。
【００４２】図８は、プレビュー・エンジンを簡素化し
て実現したものを示しており、ＣＣＤセンサが線形範囲
で作動する限り良好な結果が得られている。以下のホワ
イトバランス・セクションは、より洗練された方法を記
述する。
て実現したものを示しており、ＣＣＤセンサが線形範囲
で作動する限り良好な結果が得られている。以下のホワ
イトバランス・セクションは、より洗練された方法を記
述する。
【００４３】ガンマ補正 画像を表示するのに用いられるディスプレイ装置（ＴＶ
モニタ）および画像を印刷するのに用いられるプリンタ
は、画像灰色値と実際に表示される画素強度との間の非
線形マッピングを有する。それ故に、好ましい実施例の
ＤＳＣにおいては、ガンマ補正段は、ＣＣＤ画像を補償
してそれらを最終的な表示／印刷のために調整する。
モニタ）および画像を印刷するのに用いられるプリンタ
は、画像灰色値と実際に表示される画素強度との間の非
線形マッピングを有する。それ故に、好ましい実施例の
ＤＳＣにおいては、ガンマ補正段は、ＣＣＤ画像を補償
してそれらを最終的な表示／印刷のために調整する。
【００４４】ガンマ補正は非線形動作である。好ましい
実施例は、その補正をテーブル・ルックアップとして実
行する。テーブル・ルックアップの利点は、高速および
高柔軟性である。ルックアップ・テーブル・データはカ
メラ製造業者によって提供されるものであってもよい。
実施例は、その補正をテーブル・ルックアップとして実
行する。テーブル・ルックアップの利点は、高速および
高柔軟性である。ルックアップ・テーブル・データはカ
メラ製造業者によって提供されるものであってもよい。
【００４５】１２ビットのデータでは、最大限ルックア
ップ・テーブルは、各エントリが８〜１２ビットの４Ｋ
エントリを有する。より小さなルックアップ・テーブル
については、補正曲線への区分線形近似（piecewise li
near approximation）を用いることができる。例えば、
６つの最も重要なビットは、エントリがベース値（８〜
１２ビット）とスロープ（６ビット）との値の複数のペ
アである６４エントリ・ルックアップ・テーブルにアド
レスすることができる。そして、６つの最も重要ではな
いビットとスロープとの積がベース値に加算されて、８
〜１２ビットの最終的に補正された値を生成する。図９
ｂは区分線形近似曲線を例示し、図９ｃは対応する動作
を例示する。
ップ・テーブルは、各エントリが８〜１２ビットの４Ｋ
エントリを有する。より小さなルックアップ・テーブル
については、補正曲線への区分線形近似（piecewise li
near approximation）を用いることができる。例えば、
６つの最も重要なビットは、エントリがベース値（８〜
１２ビット）とスロープ（６ビット）との値の複数のペ
アである６４エントリ・ルックアップ・テーブルにアド
レスすることができる。そして、６つの最も重要ではな
いビットとスロープとの積がベース値に加算されて、８
〜１２ビットの最終的に補正された値を生成する。図９
ｂは区分線形近似曲線を例示し、図９ｃは対応する動作
を例示する。
【００４６】ＬＣＤディスプレイは線形であると考える
ことができ、ガンマ補償を不要とすることに留意願いた
い。しかしながら、ＬＣＤディスプレイ・モジュール
は、通常は、ＮＴＳＣ入力（それはすでにガンマ補償さ
れている）を期待しており、それ故に、この期待された
ガンマ補正を補償するために何らかの「ガンマ不補正」
（逆ガンマ補正）を行う。それで、そのようなＬＣＤプ
レビュー・モジュールを用いる好ましい実施例のＤＳＣ
においては、ガンマ補正をなおも行っていて、ＮＴＳＣ
は信号をＬＣＤモジュールに送出する前にそれを符号化
する。
ことができ、ガンマ補償を不要とすることに留意願いた
い。しかしながら、ＬＣＤディスプレイ・モジュール
は、通常は、ＮＴＳＣ入力（それはすでにガンマ補償さ
れている）を期待しており、それ故に、この期待された
ガンマ補正を補償するために何らかの「ガンマ不補正」
（逆ガンマ補正）を行う。それで、そのようなＬＣＤプ
レビュー・モジュールを用いる好ましい実施例のＤＳＣ
においては、ガンマ補正をなおも行っていて、ＮＴＳＣ
は信号をＬＣＤモジュールに送出する前にそれを符号化
する。
【００４７】ガンマ補正は、画像パイプライン処理の全
段の終わりにあって、ディスプレイに行く直前に行われ
る。代わりに、画像パイプラインは、パイプラインにお
いてより早くすなわちＣＦＡ補間段の前にガンマ補正を
行うことができる。
段の終わりにあって、ディスプレイに行く直前に行われ
る。代わりに、画像パイプラインは、パイプラインにお
いてより早くすなわちＣＦＡ補間段の前にガンマ補正を
行うことができる。
【００４８】ＣＦＡ補間 カラーフィルタ・アレイ（ＣＦＡ）を用いることによ
り、各カラー平面の有効解像度が低減される。任意の所
定の画素位置には、１つのカラー画素情報（ＲＧＢ原色
の場合にはＲかＧかＢ）のみがある。しかしながら、Ｄ
ＳＣにおける各画素では最大限カラー解像度（Ｒ，Ｇお
よびＢ）を生成することが要求される。これをすること
ができるために、失われている画素値（Ｇ位置でのＲお
よびＢなど）がＣＦＡ補間において局所的な隣接部の値
から補間によって再構築される。このシステムにおける
ＤＳＰの利点を生かすために、補間フィルタとしてＦＩ
Ｒ核（FIR-kernel）が使用されている。フィルタの長さ
と重みとは実例によって異なる。帯域間の関係もまた考
慮されなければならない。図１０は、ハードワイヤード
・プレビュー・エンジン・モジュールにおけるＣＦＡ補
間の実現を説明する。それは、基本的には、垂直補間が
続く水平補間用の１Ｄ・ＦＩＲ核を使用する。
り、各カラー平面の有効解像度が低減される。任意の所
定の画素位置には、１つのカラー画素情報（ＲＧＢ原色
の場合にはＲかＧかＢ）のみがある。しかしながら、Ｄ
ＳＣにおける各画素では最大限カラー解像度（Ｒ，Ｇお
よびＢ）を生成することが要求される。これをすること
ができるために、失われている画素値（Ｇ位置でのＲお
よびＢなど）がＣＦＡ補間において局所的な隣接部の値
から補間によって再構築される。このシステムにおける
ＤＳＰの利点を生かすために、補間フィルタとしてＦＩ
Ｒ核（FIR-kernel）が使用されている。フィルタの長さ
と重みとは実例によって異なる。帯域間の関係もまた考
慮されなければならない。図１０は、ハードワイヤード
・プレビュー・エンジン・モジュールにおけるＣＦＡ補
間の実現を説明する。それは、基本的には、垂直補間が
続く水平補間用の１Ｄ・ＦＩＲ核を使用する。
【００４９】高品質画像処理用のＤＳＰサブシステムの
実行は、それが完全にプログラム可能であって２Ｄフィ
ルタ核を使用することができるという点で異なってい
る。改良されたＣＦＡ補間技術用のいくつかの背景情報
と提案とが、以下に続くセクションで示される。
実行は、それが完全にプログラム可能であって２Ｄフィ
ルタ核を使用することができるという点で異なってい
る。改良されたＣＦＡ補間技術用のいくつかの背景情報
と提案とが、以下に続くセクションで示される。
【００５０】カラー補正 捕獲と再生／印刷とで異なる照明体によって引き起こさ
れるカラー外観の変化は、赤，緑および青チャンネルを
独立してバランスさせることだけでは補正できない。こ
れを補償するために、色調（カラー）補正行列は、照明
体を考慮に入れた補正ＲＧＢ画素値にＲＧＢ画素値をマ
ッピングする。
れるカラー外観の変化は、赤，緑および青チャンネルを
独立してバランスさせることだけでは補正できない。こ
れを補償するために、色調（カラー）補正行列は、照明
体を考慮に入れた補正ＲＧＢ画素値にＲＧＢ画素値をマ
ッピングする。
【００５１】その原理は以下の通りである。Ｉ１は記録
照明体を示すＮ×Ｎ斜行列を示し、Ｓは各カラーについ
て１列ベクトルを備えるイメージャ・モジュールのスペ
クトラム特性を示すＮ×３行列を示し、Ｒは場面の反射
率を示す１×Ｎ列ベクトルを示すものとする。画素位置
での測定された３刺激値Ｘ１は、次式で与えられる。
照明体を示すＮ×Ｎ斜行列を示し、Ｓは各カラーについ
て１列ベクトルを備えるイメージャ・モジュールのスペ
クトラム特性を示すＮ×３行列を示し、Ｒは場面の反射
率を示す１×Ｎ列ベクトルを示すものとする。画素位置
での測定された３刺激値Ｘ１は、次式で与えられる。
【００５２】
【数３】Ｘ１T＝ＲT＊Ｉ１＊Ｓ ここで、 ＳＳ＝Ｓ＊ＳT
【００５３】場面がＩ２によって照明されているならば
測定されたであろうＸ２に測定された３刺激値Ｘ１を変
換することができる。
測定されたであろうＸ２に測定された３刺激値Ｘ１を変
換することができる。
【００５４】
【数４】 Ｘ２T＝Ｘ１T＊ＳT＊ＳＳ-1＊Ｉ１-1＊Ｉ２＊Ｓ
【００５５】３×３変換行列ＳT＊ＳＳ-1＊Ｉ１-1＊Ｉ
２＊Ｓは、センサのスペクトラム応答が測定されること
ができるものとして、オフラインで計算することができ
る。このように、異なる照明体についての一組のカラー
補正行列をカメラに記憶すれば十分である。カラー外観
の主観的好みはユーザ間で変わるので、これらをカラー
補正行列に含めるか画像処理パイプラインに別のステッ
プを加える（例えば、「色調スケール」）ことは容易に
可能である。
２＊Ｓは、センサのスペクトラム応答が測定されること
ができるものとして、オフラインで計算することができ
る。このように、異なる照明体についての一組のカラー
補正行列をカメラに記憶すれば十分である。カラー外観
の主観的好みはユーザ間で変わるので、これらをカラー
補正行列に含めるか画像処理パイプラインに別のステッ
プを加える（例えば、「色調スケール」）ことは容易に
可能である。
【００５６】カラー空間変換 ＣＦＡ補間およびカラー補正の後、画素は、典型的に
は、ＲＧＢカラー空間にある。圧縮アルゴリズム（ＪＰ
ＥＧ）はＹＣｂＣｒカラー空間に基づいているので、カ
ラー空間変換が実行されなければならない。好ましい実
施例のＤＳＣはまた、ＴＶでの表示のために、また、Ｌ
ＣＤプレビューに送出するために、ＮＴＳＣ信号出力を
生成する。それ故に、ＲＧＢからＹＣｂＣｒへのカラー
空間変換が実行される必要がある。これは線形変換であ
り、Ｙ値，Ｃｂ値およびＣｒ値はそれぞれ、そのピクセ
ル位置でのＲ値，Ｇ値およびＢ値の重付け合計である。
図１１ａは、ハードワイヤード・プレビュー・エンジン
において実現されるカラー変換を例示する。ＤＳＰ（再
生）実行は、原理的には同様であるが、より高い精度の
変換を可能とする。
は、ＲＧＢカラー空間にある。圧縮アルゴリズム（ＪＰ
ＥＧ）はＹＣｂＣｒカラー空間に基づいているので、カ
ラー空間変換が実行されなければならない。好ましい実
施例のＤＳＣはまた、ＴＶでの表示のために、また、Ｌ
ＣＤプレビューに送出するために、ＮＴＳＣ信号出力を
生成する。それ故に、ＲＧＢからＹＣｂＣｒへのカラー
空間変換が実行される必要がある。これは線形変換であ
り、Ｙ値，Ｃｂ値およびＣｒ値はそれぞれ、そのピクセ
ル位置でのＲ値，Ｇ値およびＢ値の重付け合計である。
図１１ａは、ハードワイヤード・プレビュー・エンジン
において実現されるカラー変換を例示する。ＤＳＰ（再
生）実行は、原理的には同様であるが、より高い精度の
変換を可能とする。
【００５７】
【数５】
【００５８】エッジ・エンハンスメント ＣＦＡ補間の後に、画像は補間フィルタのローパスフィ
ルタリング効果により少し「スムーズ」に見える。画像
をシャープにするためには、Ｙ成分のみについて動作す
れば十分である。各画素位置では、典型的には二次元Ｆ
ＩＲフィルタであるエッジ検出器を用いてエッジの大き
さを計算する。好ましい実施例は３×３ラプラス演算子
を用いる。エッジの大きさは、画像のシャープさを高め
るために原輝度（Ｙ）画像に加算される前に、閾値がと
られてスケーリングされる。エッジ強調はハイパスフィ
ルタであり、このハイパスフィルタもノイズを増幅す
る。この増幅されたノイズを回避するために、閾値機構
が用いられてエッジ上にある画像のこれらの部分のみを
強調する。増幅されたエッジの大きさは変えられる。閾
値動作がノイズの増幅を低減するのに必要である。した
がって、エッジの素子であるこれらの画素のみが強調さ
れる。輝度チャンネルに加算される強調信号は図１１ｂ
のようにグラフィックに表すことができ、パラメータｔ
１，ｔ２およびスロープｓ１は最高品質を得るのに必要
であると思われるように選択されることができる。
ルタリング効果により少し「スムーズ」に見える。画像
をシャープにするためには、Ｙ成分のみについて動作す
れば十分である。各画素位置では、典型的には二次元Ｆ
ＩＲフィルタであるエッジ検出器を用いてエッジの大き
さを計算する。好ましい実施例は３×３ラプラス演算子
を用いる。エッジの大きさは、画像のシャープさを高め
るために原輝度（Ｙ）画像に加算される前に、閾値がと
られてスケーリングされる。エッジ強調はハイパスフィ
ルタであり、このハイパスフィルタもノイズを増幅す
る。この増幅されたノイズを回避するために、閾値機構
が用いられてエッジ上にある画像のこれらの部分のみを
強調する。増幅されたエッジの大きさは変えられる。閾
値動作がノイズの増幅を低減するのに必要である。した
がって、エッジの素子であるこれらの画素のみが強調さ
れる。輝度チャンネルに加算される強調信号は図１１ｂ
のようにグラフィックに表すことができ、パラメータｔ
１，ｔ２およびスロープｓ１は最高品質を得るのに必要
であると思われるように選択されることができる。
【００５９】誤りカラー抑制 エッジ強調はＹ画像において行われるのみであることに
留意願いたい。エッジでは、カラー・チャンネルの補間
画像が十分に整列されないかもしれない。これは、シャ
ープなエッジで厄介な虹のような人工物を引き起こす。
したがって、Ｙ成分におけるエッジでカラー成分Ｃｂ，
Ｃｒを抑制することによって、これらの人工物を低減す
ることができる。エッジ検出器の出力に基づいて、カラ
ー成分Ｃｂ，Ｃｒは、画素当りベースで１未満の係数と
乗算され、誤りカラー人工物を抑制する。
留意願いたい。エッジでは、カラー・チャンネルの補間
画像が十分に整列されないかもしれない。これは、シャ
ープなエッジで厄介な虹のような人工物を引き起こす。
したがって、Ｙ成分におけるエッジでカラー成分Ｃｂ，
Ｃｒを抑制することによって、これらの人工物を低減す
ることができる。エッジ検出器の出力に基づいて、カラ
ー成分Ｃｂ，Ｃｒは、画素当りベースで１未満の係数と
乗算され、誤りカラー人工物を抑制する。
【００６０】画像圧縮 画像圧縮ステップは、典型的には、約１０：１から１
５：１に画像を圧縮する。好ましい実施例のＤＳＣはＪ
ＰＥＧ圧縮を用いる。これは、良好な性能を与えるＤＳ
Ｔベース画像圧縮技術である。
５：１に画像を圧縮する。好ましい実施例のＤＳＣはＪ
ＰＥＧ圧縮を用いる。これは、良好な性能を与えるＤＳ
Ｔベース画像圧縮技術である。
【００６１】オート露光 場面の明るさが変化することにより、良好な全体画像品
質を得るのに、ＣＣＤの露光を制御してデジタル化画像
のダイナミックレンジを最大にすることが必要である。
露光制御の主なタスクは、シャッタースピードおよび可
能ならば光学システムの開口を制御することによって、
センサを線形レンジで作動させ続けるものである。虹彩
絞りを閉じることとシャッター速度を遅くすることとは
お互いに補償し合うので、露光が変わらないままである
一定のパラメータ範囲が存在する。高速で動く場面を捕
獲するというような他の制約がユーザによって望まれる
ときにある程度までしかこれを達成することができない
のは明白である。センサを線形レンジで作動させ続けよ
うとすることに加えて、ＡＤＣのダイナミックレンジし
たがってデジタル化画像を最大にすることが望まれる。
これは、ＡＦＥにおけるＰＧＡを制御することによって
行われる。関連する制御パラメータを得るのに必要な処
理は、ＤＳＰで行われる。
質を得るのに、ＣＣＤの露光を制御してデジタル化画像
のダイナミックレンジを最大にすることが必要である。
露光制御の主なタスクは、シャッタースピードおよび可
能ならば光学システムの開口を制御することによって、
センサを線形レンジで作動させ続けるものである。虹彩
絞りを閉じることとシャッター速度を遅くすることとは
お互いに補償し合うので、露光が変わらないままである
一定のパラメータ範囲が存在する。高速で動く場面を捕
獲するというような他の制約がユーザによって望まれる
ときにある程度までしかこれを達成することができない
のは明白である。センサを線形レンジで作動させ続けよ
うとすることに加えて、ＡＤＣのダイナミックレンジし
たがってデジタル化画像を最大にすることが望まれる。
これは、ＡＦＥにおけるＰＧＡを制御することによって
行われる。関連する制御パラメータを得るのに必要な処
理は、ＤＳＰで行われる。
【００６２】オートフォーカス 画像処理を通してＤＳＣにおけるレンズ焦点を自動的に
調整することもできる。オート露光と同様に、これらの
オートフォーカス機構もフィードバックループにおいて
作動する。それらは、レンズ焦点の品質を検出するため
に画像処理を行って、画像がシャープに焦点を結ぶまで
反復してレンズ・モータを動かす。オートフォーカス
は、先に説明されたエッジ強調からのエッジ測定に依存
する。
調整することもできる。オート露光と同様に、これらの
オートフォーカス機構もフィードバックループにおいて
作動する。それらは、レンズ焦点の品質を検出するため
に画像処理を行って、画像がシャープに焦点を結ぶまで
反復してレンズ・モータを動かす。オートフォーカス
は、先に説明されたエッジ強調からのエッジ測定に依存
する。
【００６３】再生 好ましい実施例のＤＳＣはまた、ユーザが捕獲画像をカ
メラのＬＣＤスクリーン上か外部ＴＶモニタ上で見るこ
とができるようにする。捕獲画像はＪＰＥＧビットスト
リームとしてＳＤＲＡＭ（または、コンパクトフラッシ
ュメモリ）に記憶されるので、再生モード・ソフトウェ
アもＤＳＰ上に備えられる。この再生モード・ソフトウ
ェアは、ＪＰＥＧビットストリームを復号し、復号され
た画像を適当な空間解像度に縮小拡大し、それをＬＣＤ
スクリーンおよび／または外部ＴＶモニタ上に表示す
る。
メラのＬＣＤスクリーン上か外部ＴＶモニタ上で見るこ
とができるようにする。捕獲画像はＪＰＥＧビットスト
リームとしてＳＤＲＡＭ（または、コンパクトフラッシ
ュメモリ）に記憶されるので、再生モード・ソフトウェ
アもＤＳＰ上に備えられる。この再生モード・ソフトウ
ェアは、ＪＰＥＧビットストリームを復号し、復号され
た画像を適当な空間解像度に縮小拡大し、それをＬＣＤ
スクリーンおよび／または外部ＴＶモニタ上に表示す
る。
【００６４】ダウンサンプリング 好ましい実施例のＤＳＣシステムでは、ＪＰＥＧデータ
を復号した後の再生モードの間の画像は、ＣＣＤセンサ
の解像度、例えば２メガピクセル（１６００×１２０
０）である。この画像は、ＣＣＤセンサの解像度によっ
てより大きなものとすることもできる。しかしながら、
表示する目的のためには、この復号データは、ＮＴＳＣ
符号器に送出することができるようになる前に、ＮＴＳ
Ｃ解像度（７２０×４８０）にダウンサンプルされなけ
ればならない。それ故に、ＤＳＣは、再生モードの末尾
でダウンサンプリング・フィルタを実現し、それによっ
て、更なるＤＳＰ計算を要求する。好ましい実施例は、
この更なるＤＳＰ計算の問題を、ＪＰＥＧ圧縮解除モジ
ュールの一部として含まれるＤＣＴドメイン・ダウンサ
ンプリング方式によって解決する。ＪＰＥＧ圧縮解除は
本質的に３つの段（すなわち、最初のエントロピー復号
化段，それに続く反量子化段および最後のＩＤＣＴ段）
を含むことに留意願いたい。ＪＰＥＧでは、ＩＤＣＴは
８×８画素のブロックで行われる。好ましい実施例は、
ＩＤＣＴドメインにおいて４×４ＩＤＣＴを（８×８Ｄ
ＣＴ係数ブロックからの）左上４×４ＤＣＴ係数まで使
用することによって、２メガピクセル画像をＮＴＳＣ解
像度（４／８ダウンサンプリング）にダウンサンプル
し、これによって、ＩＤＣＴおよび４／８ダウンサンプ
リングの双方を１つのステップで効率的に達成する。サ
ンプリング比は、１／８（最小画像）と８／８（最大解
像度画像）との間で変えることができる。
を復号した後の再生モードの間の画像は、ＣＣＤセンサ
の解像度、例えば２メガピクセル（１６００×１２０
０）である。この画像は、ＣＣＤセンサの解像度によっ
てより大きなものとすることもできる。しかしながら、
表示する目的のためには、この復号データは、ＮＴＳＣ
符号器に送出することができるようになる前に、ＮＴＳ
Ｃ解像度（７２０×４８０）にダウンサンプルされなけ
ればならない。それ故に、ＤＳＣは、再生モードの末尾
でダウンサンプリング・フィルタを実現し、それによっ
て、更なるＤＳＰ計算を要求する。好ましい実施例は、
この更なるＤＳＰ計算の問題を、ＪＰＥＧ圧縮解除モジ
ュールの一部として含まれるＤＣＴドメイン・ダウンサ
ンプリング方式によって解決する。ＪＰＥＧ圧縮解除は
本質的に３つの段（すなわち、最初のエントロピー復号
化段，それに続く反量子化段および最後のＩＤＣＴ段）
を含むことに留意願いたい。ＪＰＥＧでは、ＩＤＣＴは
８×８画素のブロックで行われる。好ましい実施例は、
ＩＤＣＴドメインにおいて４×４ＩＤＣＴを（８×８Ｄ
ＣＴ係数ブロックからの）左上４×４ＤＣＴ係数まで使
用することによって、２メガピクセル画像をＮＴＳＣ解
像度（４／８ダウンサンプリング）にダウンサンプル
し、これによって、ＩＤＣＴおよび４／８ダウンサンプ
リングの双方を１つのステップで効率的に達成する。サ
ンプリング比は、１／８（最小画像）と８／８（最大解
像度画像）との間で変えることができる。
【００６５】分離可能二次元４ポイントＩＤＣＴが適用
されて、左上（低空間周波数）４×４ＤＣＴ係数から画
像画素の４×４ブロックを得る。この低オーダーＩＤＣ
Ｔによって、反折返し（anti-aliasing）フィルタリン
グと８から４のデシメーション（decimation）とを効率
的に結合する。使用された反折返しフィルタは、保持さ
れたＤＣＴ係数をスケーリングすることなくＤＣＴドメ
インにおいて１６の最低周波数成分のみを保持するとい
う簡単な動作に対応する。この簡単なフィルタは折返し
（aliasing）効果を低減するのに有効であるが、好まし
い実施例は、更に折返しを低減するために、より良好な
周波数応答を備えるローパスフィルタを有する。他のロ
ーパスフィルタの使用は、スケーリング係数が各ＤＣＴ
係数の位置である保持された係数のスケーリングを導
く。ＤＣＴドメイン・ダウンサンプリング技術は計算の
複雑さを増大しないことに留意願いたい。実際、それ
は、エントロピー復号化後のＪＰＥＧ復号化段が左上４
×４係数を除いた８×８ＤＣＴ係数全体を取り扱う必要
はないので、計算を低減する。他の反折返しフィルタの
使用は、係数スケーリング動作が低オーダーＩＤＣＴ動
作にマージされることができるので、複雑さを加えな
い。このＤＣＴドメイン・ダウンサンプリング・アイデ
ア技術は他のＣＣＤセンサ解像度についてｎ／８（ｎ＝
１，…，７）ダウンサンプリング比を提供することがで
きることにも留意願いたい。
されて、左上（低空間周波数）４×４ＤＣＴ係数から画
像画素の４×４ブロックを得る。この低オーダーＩＤＣ
Ｔによって、反折返し（anti-aliasing）フィルタリン
グと８から４のデシメーション（decimation）とを効率
的に結合する。使用された反折返しフィルタは、保持さ
れたＤＣＴ係数をスケーリングすることなくＤＣＴドメ
インにおいて１６の最低周波数成分のみを保持するとい
う簡単な動作に対応する。この簡単なフィルタは折返し
（aliasing）効果を低減するのに有効であるが、好まし
い実施例は、更に折返しを低減するために、より良好な
周波数応答を備えるローパスフィルタを有する。他のロ
ーパスフィルタの使用は、スケーリング係数が各ＤＣＴ
係数の位置である保持された係数のスケーリングを導
く。ＤＣＴドメイン・ダウンサンプリング技術は計算の
複雑さを増大しないことに留意願いたい。実際、それ
は、エントロピー復号化後のＪＰＥＧ復号化段が左上４
×４係数を除いた８×８ＤＣＴ係数全体を取り扱う必要
はないので、計算を低減する。他の反折返しフィルタの
使用は、係数スケーリング動作が低オーダーＩＤＣＴ動
作にマージされることができるので、複雑さを加えな
い。このＤＣＴドメイン・ダウンサンプリング・アイデ
ア技術は他のＣＣＤセンサ解像度についてｎ／８（ｎ＝
１，…，７）ダウンサンプリング比を提供することがで
きることにも留意願いたい。
【００６６】アップサンプリング 画像のズーミング用の切り取られた画像を表示すること
もアップサンプリング方式を用いる。ダウンサンプリン
グと反対のアプローチはエレガント・ツールを提供す
る。最初の場合には、８×８ＤＣＴ係数は、Ｎ×Ｍ係数
（Ｎ，Ｍ＞８）のブロックを形成するようにゼロで（実
質的に）垂直および水平に拡大される。このブロックで
は、サイズがＮ×ＭのＩＤＣＴが実行され、空間ドメイ
ンにＮ×Ｍサンプルを生成する。現在、ほとんどの画像
パイプライン動作は標準化されていない。プログラム可
能ＤＳＣエンジンを持つことは、ソフトウェアをグレー
ドアップして新しい標準を構成したり画像パイプライン
品質を向上する能力を提供する。未使用の性能は、ヒュ
ーマン・インターフェース，音声注釈，オーディオ記録
／圧縮，モデム，ワイヤレス通信などのような他のタス
ク専用とすることもできる。図２７は、ＣＦＡ補間，ホ
ワイトバランス，カラー補正，色調スケーリング，ガン
マ補正，ＲＧＢからＹＣｒＣｂへの変換，エッジ強調，
エッジ検出，カラー・ブーストおよびＪＰＥＧ圧縮の準
備における誤りカラー抑制を含む前処理機能ブロック図
を示す。以下のセクションは、ＣＦＡ補間に関する好ま
しい実施例を説明する。
もアップサンプリング方式を用いる。ダウンサンプリン
グと反対のアプローチはエレガント・ツールを提供す
る。最初の場合には、８×８ＤＣＴ係数は、Ｎ×Ｍ係数
（Ｎ，Ｍ＞８）のブロックを形成するようにゼロで（実
質的に）垂直および水平に拡大される。このブロックで
は、サイズがＮ×ＭのＩＤＣＴが実行され、空間ドメイ
ンにＮ×Ｍサンプルを生成する。現在、ほとんどの画像
パイプライン動作は標準化されていない。プログラム可
能ＤＳＣエンジンを持つことは、ソフトウェアをグレー
ドアップして新しい標準を構成したり画像パイプライン
品質を向上する能力を提供する。未使用の性能は、ヒュ
ーマン・インターフェース，音声注釈，オーディオ記録
／圧縮，モデム，ワイヤレス通信などのような他のタス
ク専用とすることもできる。図２７は、ＣＦＡ補間，ホ
ワイトバランス，カラー補正，色調スケーリング，ガン
マ補正，ＲＧＢからＹＣｒＣｂへの変換，エッジ強調，
エッジ検出，カラー・ブーストおよびＪＰＥＧ圧縮の準
備における誤りカラー抑制を含む前処理機能ブロック図
を示す。以下のセクションは、ＣＦＡ補間に関する好ま
しい実施例を説明する。
【００６７】折返しを低減したＣＦＡ補間 バイエル・パターン（図７ａ）用の好ましい実施例のＣ
ＦＡ補間は、緑チャンネルからの高周波を用いて赤およ
び青チャンネル補間を修正して、他のカラー・チャンネ
ルの信号を用いることによって画像内のエッジでの折返
し成分を低減する。これによって、人工物が低減され、
シャープさが向上し、更なる後処理が避けられる。実
際、以下のような手順である。 （１）緑チャンネルに補間を適用する（いかなる補間方
法でも）。これは緑平面を生成する。 （２）緑チャンネルにおいてエッジを検出する（勾配ま
たは他の方法によって）。 （３）緑チャンネルのハイパス成分を計算する（任意の
ハイパスフィルタを備えたフィルタ）。 （４）赤チャンネルに補間を適用する（いかなる補間方
法でも）。これは赤平面を生成する。 （５）（３）のハイパス成分を（重付け係数で）赤チャ
ンネルに加算する。 （６）青チャンネルに補間を適用する（いかなる補間方
法でも）。これは青平面を生成する。 （７）（３）のハイパス成分を（重付け係数で）青チャ
ンネルに加算する。
ＦＡ補間は、緑チャンネルからの高周波を用いて赤およ
び青チャンネル補間を修正して、他のカラー・チャンネ
ルの信号を用いることによって画像内のエッジでの折返
し成分を低減する。これによって、人工物が低減され、
シャープさが向上し、更なる後処理が避けられる。実
際、以下のような手順である。 （１）緑チャンネルに補間を適用する（いかなる補間方
法でも）。これは緑平面を生成する。 （２）緑チャンネルにおいてエッジを検出する（勾配ま
たは他の方法によって）。 （３）緑チャンネルのハイパス成分を計算する（任意の
ハイパスフィルタを備えたフィルタ）。 （４）赤チャンネルに補間を適用する（いかなる補間方
法でも）。これは赤平面を生成する。 （５）（３）のハイパス成分を（重付け係数で）赤チャ
ンネルに加算する。 （６）青チャンネルに補間を適用する（いかなる補間方
法でも）。これは青平面を生成する。 （７）（３）のハイパス成分を（重付け係数で）青チャ
ンネルに加算する。
【００６８】それで、最終画像は３つのカラー平面から
なる。すなわち、ステップ（１）からの緑平面とステッ
プ（５）からの赤平面とステップ（７）からの青平面と
である。すなわち、最終画像の一画素について、緑の強
度はステップ（３）からの緑平面の対応画素の値となる
ようにとられ、赤の強度はステップ（５）からの修正赤
平面の対応画素の値となるようにとられ、青強度はステ
ップ（７）からの修正青平面の対応画素の値となるよう
にとられる。前記の理論的な分析：各ＣＣＤ画素はその
画素の空間的広がりにわたる入射光信号を平均化し、こ
うして、そのＣＣＤは入射光信号のローパスフィルタリ
ングに画素サイズの逆数であるカットオフ周波数を効率
的に提供する。また、画素についてのカラーフィルタに
よる画素アレイのサブサンプリングは、各カラー平面に
おける折返しに導く。実際、赤と青については、サブサ
ンプリングは各方向において２の係数によるものであ
り、それで、周波数スペクトラムは各方向において最大
周波数の半分で折れる。こうして、赤および青のベース
バンド・スペクトラム領域は原アレイ・スペクトラム領
域の各４分の１である（赤および青サンプリングが原ア
レイの各４分の１であることを反映している）。緑につ
いては、スペクトラムの折れが斜め方向で赤および青と
同じ大きさの２1/2の距離であるという点で、サブサン
プリングは半分だけしか良好ではない。緑のベースバン
ド・スペクトラムは、原アレイ・スペクトラムの２分の
１の領域である。
なる。すなわち、ステップ（１）からの緑平面とステッ
プ（５）からの赤平面とステップ（７）からの青平面と
である。すなわち、最終画像の一画素について、緑の強
度はステップ（３）からの緑平面の対応画素の値となる
ようにとられ、赤の強度はステップ（５）からの修正赤
平面の対応画素の値となるようにとられ、青強度はステ
ップ（７）からの修正青平面の対応画素の値となるよう
にとられる。前記の理論的な分析：各ＣＣＤ画素はその
画素の空間的広がりにわたる入射光信号を平均化し、こ
うして、そのＣＣＤは入射光信号のローパスフィルタリ
ングに画素サイズの逆数であるカットオフ周波数を効率
的に提供する。また、画素についてのカラーフィルタに
よる画素アレイのサブサンプリングは、各カラー平面に
おける折返しに導く。実際、赤と青については、サブサ
ンプリングは各方向において２の係数によるものであ
り、それで、周波数スペクトラムは各方向において最大
周波数の半分で折れる。こうして、赤および青のベース
バンド・スペクトラム領域は原アレイ・スペクトラム領
域の各４分の１である（赤および青サンプリングが原ア
レイの各４分の１であることを反映している）。緑につ
いては、スペクトラムの折れが斜め方向で赤および青と
同じ大きさの２1/2の距離であるという点で、サブサン
プリングは半分だけしか良好ではない。緑のベースバン
ド・スペクトラムは、原アレイ・スペクトラムの２分の
１の領域である。
【００６９】エッジでのカラー縁取りは、折返し問題で
ある。また、たとえ折返しが存在していなくとも、非類
似のベースバンド・スペクトラムもカラー縁取りに導
く。実際、折返しが必ずしも一つのカラー・バンド画像
では見えないが、３つのカラー成分を組み合わせて１つ
のカラー画像にすることに影響があることは明白とな
る。赤と緑と青との間のサンプリング格子のシフトは、
折返し信号成分の位相シフトを引き起こす。一次元の例
はこれを明らかにする。一次元離散信号ｆ(ｎ)と、それ
ぞれ２の係数によるが偶数番目のサンプルの一つと奇数
番目のサンプルの一つの（それで、１つのサンプルによ
ってサンプリング格子のシフトがある）２つのサブサン
プリングとを仮定する。
ある。また、たとえ折返しが存在していなくとも、非類
似のベースバンド・スペクトラムもカラー縁取りに導
く。実際、折返しが必ずしも一つのカラー・バンド画像
では見えないが、３つのカラー成分を組み合わせて１つ
のカラー画像にすることに影響があることは明白とな
る。赤と緑と青との間のサンプリング格子のシフトは、
折返し信号成分の位相シフトを引き起こす。一次元の例
はこれを明らかにする。一次元離散信号ｆ(ｎ)と、それ
ぞれ２の係数によるが偶数番目のサンプルの一つと奇数
番目のサンプルの一つの（それで、１つのサンプルによ
ってサンプリング格子のシフトがある）２つのサブサン
プリングとを仮定する。
【００７０】
【数６】ｆeven(２ｍ)＝ｆ(２ｍ) ｆeven(２ｍ＋１)＝０ ｆodd(２ｍ)＝０ ｆodd(２ｍ＋１)＝ｆ(２ｍ＋１)
【００７１】もちろん、ｆ(ｎ)＝ｆeven(ｎ)＋ｆ
odd(ｎ)である。Ｆ(ｚ)をｆ(ｎ)のｚ変換とし、Ｆ
even(ｚ)をｆeven(ｎ)のｚ変換とし、Ｆodd(ｚ)をｆodd
(ｎ)のｚ変換とする。ここで、Ｆeven(ｚ)はｚの偶数関
数（ｚの偶数乗のみ）でありＦodd(ｚ)はｚの奇数関数
（ｚの奇数乗のみ）であることに留意願いたい。
odd(ｎ)である。Ｆ(ｚ)をｆ(ｎ)のｚ変換とし、Ｆ
even(ｚ)をｆeven(ｎ)のｚ変換とし、Ｆodd(ｚ)をｆodd
(ｎ)のｚ変換とする。ここで、Ｆeven(ｚ)はｚの偶数関
数（ｚの偶数乗のみ）でありＦodd(ｚ)はｚの奇数関数
（ｚの奇数乗のみ）であることに留意願いたい。
【００７２】
【数７】Ｆeven(ｚ)＝｛Ｆ(ｚ)＋Ｆ(−ｚ)｝／２ Ｆodd(ｚ)＝｛Ｆ(ｚ)−Ｆ(−ｚ)｝／２
【００７３】Ｆ(−ｚ)は、折返しに対応し、また、反対
符号すなわちπの位相シフトで現れる。
符号すなわちπの位相シフトで現れる。
【００７４】カラー縁取りは折返し成分のπの位相シフ
トによって低減することができる。しかしながら、これ
を達成するのは非常に困難である。というのは、たった
一つの利用できる信号は原信号と折返し信号との和であ
るからである。したがって、好ましい実施例は別のアプ
ローチを有する。２つ（または、それ以上）のサブサン
プルされた信号（すなわち、赤，緑および青）が同一の
特性（例えば、灰色スケール画像についてのような）を
有している限り、原画像の完全再構築は、サブサンプル
された信号を加えさえすれば達成できる。しかしなが
ら、ＣＦＡ補間においては、一般に、サブサンプルされ
た信号は異なるカラー・バンドから生じている。折返し
のエラーは、異なるカラー・バンドの補間信号が誤って
配列されたエッジで特に目に見えるものとなる。したが
って、好ましい実施例は、サブサンプルされた信号の他
のものを使うことによってエッジのみでの折返し成分を
低減することによって、エッジでのカラー縁取りを阻止
する。これによって、人工物が低減でき、シャープさを
向上し、後処理が加わるのを避けるものとなる。
トによって低減することができる。しかしながら、これ
を達成するのは非常に困難である。というのは、たった
一つの利用できる信号は原信号と折返し信号との和であ
るからである。したがって、好ましい実施例は別のアプ
ローチを有する。２つ（または、それ以上）のサブサン
プルされた信号（すなわち、赤，緑および青）が同一の
特性（例えば、灰色スケール画像についてのような）を
有している限り、原画像の完全再構築は、サブサンプル
された信号を加えさえすれば達成できる。しかしなが
ら、ＣＦＡ補間においては、一般に、サブサンプルされ
た信号は異なるカラー・バンドから生じている。折返し
のエラーは、異なるカラー・バンドの補間信号が誤って
配列されたエッジで特に目に見えるものとなる。したが
って、好ましい実施例は、サブサンプルされた信号の他
のものを使うことによってエッジのみでの折返し成分を
低減することによって、エッジでのカラー縁取りを阻止
する。これによって、人工物が低減でき、シャープさを
向上し、後処理が加わるのを避けるものとなる。
【００７５】とりわけ、バイエル・パターンＣＦＡにつ
いては、緑チャンネルは赤および青チャンネルよりも高
いカットオフ周波数を有しており、それ故に、緑チャン
ネルの折返しはさほど重要なものではない。補償される
べき折返し信号はハイパス信号であり、それは緑チャン
ネルのハイパス成分として見積もられ、これは赤および
青チャンネルに（緑のサブサンプリング格子に関する赤
および青のサブサンプリング格子のオフセットによる位
相シフトにより減算されるよりもむしろ）加算される。
ハイパス緑成分は、赤および青のサブサンプリングに加
算されるに先立って、スケール係数で乗算されることが
できる。信号は、赤，青を補間している間かその後に加
算される。
いては、緑チャンネルは赤および青チャンネルよりも高
いカットオフ周波数を有しており、それ故に、緑チャン
ネルの折返しはさほど重要なものではない。補償される
べき折返し信号はハイパス信号であり、それは緑チャン
ネルのハイパス成分として見積もられ、これは赤および
青チャンネルに（緑のサブサンプリング格子に関する赤
および青のサブサンプリング格子のオフセットによる位
相シフトにより減算されるよりもむしろ）加算される。
ハイパス緑成分は、赤および青のサブサンプリングに加
算されるに先立って、スケール係数で乗算されることが
できる。信号は、赤，青を補間している間かその後に加
算される。
【００７６】中間色相を適応するＣＦＡ補間 代わりのＣＦＡ補間の好ましい実施例は、まず、５×５
ＦＩＲフィルタを使ってバイエル・パターン緑を補間
し、その後、補間された緑を用いてそれぞれ２つのステ
ップで赤および青を補間する。すなわち、まず、斜めに
補間して原緑パターンに類似するパターンを形成し（こ
の補間は緑による正規化を用いて高周波数を見積り）、
その後、４つの最も近い隣接補間を適用して（緑の正規
化を再度用いて高周波数を見積もって）赤または青平面
を完了する。以下のようにｙがアレイの行番号でｘが列
番号である画素位置（ｙ，ｘ）についてのＣＦＡ値をよ
り明白に表わす。すなわち、ｙおよびｘが共に偶数であ
る画素位置（ｙ，ｘ）での赤値Ｒ(ｙ，ｘ)と、ｙおよび
ｘが共に奇数である青値Ｂ(ｙ，ｘ)と、他の位置すなわ
ちｙ＋ｘが奇数である緑値ｇ(ｙ，ｘ)である。
ＦＩＲフィルタを使ってバイエル・パターン緑を補間
し、その後、補間された緑を用いてそれぞれ２つのステ
ップで赤および青を補間する。すなわち、まず、斜めに
補間して原緑パターンに類似するパターンを形成し（こ
の補間は緑による正規化を用いて高周波数を見積り）、
その後、４つの最も近い隣接補間を適用して（緑の正規
化を再度用いて高周波数を見積もって）赤または青平面
を完了する。以下のようにｙがアレイの行番号でｘが列
番号である画素位置（ｙ，ｘ）についてのＣＦＡ値をよ
り明白に表わす。すなわち、ｙおよびｘが共に偶数であ
る画素位置（ｙ，ｘ）での赤値Ｒ(ｙ，ｘ)と、ｙおよび
ｘが共に奇数である青値Ｂ(ｙ，ｘ)と、他の位置すなわ
ちｙ＋ｘが奇数である緑値ｇ(ｙ，ｘ)である。
【００７７】まず、Ｇ＾(ｙ，ｘ)が緑平面補間の結果生
じる画素位置(ｙ，ｘ)での緑値を表わすものとし、これ
はすべての画素位置(ｙ，ｘ)について定義される。この
補間は、以下のセクションのエッジ保存補間を含む様々
な方法によって行うことができる。多くの補間は原緑値
を変えない、すなわち、Ｇが元々定義されると（すなわ
ち、ｙ＋ｘが奇数であると）、Ｇ＾(ｙ，ｘ)＝Ｇ(ｙ，
ｘ)が真であるということに留意願いたい。次に、青に
ついてラベル付けされるとともに補間寄与を示すのに矢
印を用いる図２８に例示されるように、２つのステップ
で赤補間および青補間をそれぞれ定義する。まず、赤ス
テップである。Ｒ(ｙ，ｘ)は、すでに、ｍおよびｎを整
数としてｙ＝２ｍおよびｘ＝２ｎで画素位置(ｙ，ｘ)に
ついて定義されており、それで、第１に、ｙ＝２ｍ＋１
およびｘ＝２ｎ＋１についてＲ＾(ｙ，ｘ)を定義する。
じる画素位置(ｙ，ｘ)での緑値を表わすものとし、これ
はすべての画素位置(ｙ，ｘ)について定義される。この
補間は、以下のセクションのエッジ保存補間を含む様々
な方法によって行うことができる。多くの補間は原緑値
を変えない、すなわち、Ｇが元々定義されると（すなわ
ち、ｙ＋ｘが奇数であると）、Ｇ＾(ｙ，ｘ)＝Ｇ(ｙ，
ｘ)が真であるということに留意願いたい。次に、青に
ついてラベル付けされるとともに補間寄与を示すのに矢
印を用いる図２８に例示されるように、２つのステップ
で赤補間および青補間をそれぞれ定義する。まず、赤ス
テップである。Ｒ(ｙ，ｘ)は、すでに、ｍおよびｎを整
数としてｙ＝２ｍおよびｘ＝２ｎで画素位置(ｙ，ｘ)に
ついて定義されており、それで、第１に、ｙ＝２ｍ＋１
およびｘ＝２ｎ＋１についてＲ＾(ｙ，ｘ)を定義する。
【００７８】
【数８】R^(y, x)=G^(y, x){R(y-1, x-1)/G^(y-1, x-1)
+R(y-1, x+1)/G^(y-1, x+1)+R(y+1, x-1)/G^(y+1, x-1)
+R(y+1, x+1)/G^(y+1, x+1)}/4
+R(y-1, x+1)/G^(y-1, x+1)+R(y+1, x-1)/G^(y+1, x-1)
+R(y+1, x+1)/G^(y+1, x+1)}/4
【００７９】これは、赤平面をＢ(ｙ，ｘ)が定義された
画素に補間する。（図２８は、青についての類似する補
間を例示する。）この補間は本質的には対応緑値によっ
て各位置で正規化された値で（ｙ，ｘ）周りの３×３正
方形の４つの角で赤値を平均化する。緑値に閾値未満の
ものがあれば、正規化を省略して赤値を平均することだ
け行われる。同じ緑値が用いられているので、最初の赤
ステップと並列して最初の青ステップを行う。最初の青
ステップ：Ｂ(ｙ，ｘ)は、ｍおよびｎを整数としてｙ＝
２ｍ＋１およびｘ＝２ｎ＋１で画素位置（ｙ，ｘ）につ
いてすでに定義されているので、まず、ｙ＝２ｍおよび
ｘ＝２ｎについてＢ＾(ｙ，ｘ)を定義する。
画素に補間する。（図２８は、青についての類似する補
間を例示する。）この補間は本質的には対応緑値によっ
て各位置で正規化された値で（ｙ，ｘ）周りの３×３正
方形の４つの角で赤値を平均化する。緑値に閾値未満の
ものがあれば、正規化を省略して赤値を平均することだ
け行われる。同じ緑値が用いられているので、最初の赤
ステップと並列して最初の青ステップを行う。最初の青
ステップ：Ｂ(ｙ，ｘ)は、ｍおよびｎを整数としてｙ＝
２ｍ＋１およびｘ＝２ｎ＋１で画素位置（ｙ，ｘ）につ
いてすでに定義されているので、まず、ｙ＝２ｍおよび
ｘ＝２ｎについてＢ＾(ｙ，ｘ)を定義する。
【００８０】
【数９】B^(y, x)=G^(y, x){B(y-1, x-1)/G^(y-1, x-1)
+B(y-1, x+1)/G^(y-1, x+1)+B(y+1, x-1)/G^(y+1, x-1)
+B(y+1, x+1)/G^(y+1, x+1)}/4
+B(y-1, x+1)/G^(y-1, x+1)+B(y+1, x-1)/G^(y+1, x-1)
+B(y+1, x+1)/G^(y+1, x+1)}/4
【００８１】これは、図２８の左手部分に例示されるよ
うにＲ(ｙ，ｘ)が定義された画素に青平面を補間する。
ここでも、この補間は、本質的に、対応緑値によって各
位置で正規化された値で（ｙ，ｘ）周りの３×３正方形
の４つの角で青値を平均化する。第２の赤ステップ。ｙ
＋ｘが奇数である（ｙ＝２ｍおよびｘ＝２ｎ＋１かｙ＝
２ｍ＋１およびｘ＝２ｎである）場合のＲ＾(ｙ，ｘ)を
定義する。
うにＲ(ｙ，ｘ)が定義された画素に青平面を補間する。
ここでも、この補間は、本質的に、対応緑値によって各
位置で正規化された値で（ｙ，ｘ）周りの３×３正方形
の４つの角で青値を平均化する。第２の赤ステップ。ｙ
＋ｘが奇数である（ｙ＝２ｍおよびｘ＝２ｎ＋１かｙ＝
２ｍ＋１およびｘ＝２ｎである）場合のＲ＾(ｙ，ｘ)を
定義する。
【００８２】
【数１０】R^(y, x)=G^(y, x)[R^(y-1, x)/G^(y-1, x)+
R^(y, x+1)/G^(y, x+1)+R^(y+1, x)/G^(y+1, x)+R^(y,
x+1)/G^(y, x+1)]/4
R^(y, x+1)/G^(y, x+1)+R^(y+1, x)/G^(y+1, x)+R^(y,
x+1)/G^(y, x+1)]/4
【００８３】この第２のステップは、第１のステップに
よって定義された赤平面部分をＧ(ｙ，ｘ)が定義される
画素に補間する。ここでもまた、この補間は、本質的
に、対応緑値によって各位置で正規化された値で（ｙ，
ｘ）の４つの隣接画素での赤値を平均化する。第２の青
ステップ。ｙ＋ｘが奇数（ｙ＝２ｍおよびｘ＝２ｎ＋１
かｙ＝２ｍ＋１およびｘ＝２ｎ）であるものについて定
義する。
よって定義された赤平面部分をＧ(ｙ，ｘ)が定義される
画素に補間する。ここでもまた、この補間は、本質的
に、対応緑値によって各位置で正規化された値で（ｙ，
ｘ）の４つの隣接画素での赤値を平均化する。第２の青
ステップ。ｙ＋ｘが奇数（ｙ＝２ｍおよびｘ＝２ｎ＋１
かｙ＝２ｍ＋１およびｘ＝２ｎ）であるものについて定
義する。
【００８４】
【数１１】B^(y, x)=G^(y, x){B^(y-1, x)/G^(y-1, x)+
B^(y, x+1)/G^(y, x+1)+B^(y+1, x)/G^(y+1, x)+B^(y,
x+1)/G^(y, x+1)}/4
B^(y, x+1)/G^(y, x+1)+B^(y+1, x)/G^(y+1, x)+B^(y,
x+1)/G^(y, x+1)}/4
【００８５】この第２のステップは、第１のステップに
よって定義された青平面部分をＧ(ｙ，ｘ)が定義される
画素に補間する。ここでもまた、この補間は、本質的に
は、対応緑値によって各位置で正規化される値で（ｙ，
ｘ）の４つの隣接画素で青値を平均化する。最終カラー
画像は、３つの補間されたカラー平面Ｇ＾(ｙ，ｘ)，Ｒ
＾(ｙ，ｘ)，Ｂ＾(ｙ，ｘ)によって定義される。Ｇ＾
(ｙ，ｘ)について用いられる特定の補間は、Ｒ＾(ｙ，
ｘ)およびＢ＾(ｙ，ｘ)のために用いられる２ステップ
補間用の正規化において反映される。
よって定義された青平面部分をＧ(ｙ，ｘ)が定義される
画素に補間する。ここでもまた、この補間は、本質的に
は、対応緑値によって各位置で正規化される値で（ｙ，
ｘ）の４つの隣接画素で青値を平均化する。最終カラー
画像は、３つの補間されたカラー平面Ｇ＾(ｙ，ｘ)，Ｒ
＾(ｙ，ｘ)，Ｂ＾(ｙ，ｘ)によって定義される。Ｇ＾
(ｙ，ｘ)について用いられる特定の補間は、Ｒ＾(ｙ，
ｘ)およびＢ＾(ｙ，ｘ)のために用いられる２ステップ
補間用の正規化において反映される。
【００８６】エッジを保存するＣＦＡ補間 代わりのＣＦＡ補間の好ましい実施例は、補間された画
素緑値を最も近い隣接画素緑値と比較し、また、補間さ
れた値が範囲外にあれば補間された値を隣接値と置き換
えることによって、（小さな）ＦＩＲフィルタと保存エ
ッジとでバイエル・パターン緑を補間する。図２９は緑
補間を例示する。この緑補間の後に、赤平面および青平
面を補間する。とりわけ、第１に、各画素（ｙ，ｘ）で
以下の５×５ＦＩＲフィルタをｘ＋ｙが奇数である画素
（ｙ，ｘ）上で定義されるＧ(ｙ，ｘ)に適用し、すべて
の（ｙ，ｘ）について定義されるＧ１(ｙ，ｘ)を生成す
る。
素緑値を最も近い隣接画素緑値と比較し、また、補間さ
れた値が範囲外にあれば補間された値を隣接値と置き換
えることによって、（小さな）ＦＩＲフィルタと保存エ
ッジとでバイエル・パターン緑を補間する。図２９は緑
補間を例示する。この緑補間の後に、赤平面および青平
面を補間する。とりわけ、第１に、各画素（ｙ，ｘ）で
以下の５×５ＦＩＲフィルタをｘ＋ｙが奇数である画素
（ｙ，ｘ）上で定義されるＧ(ｙ，ｘ)に適用し、すべて
の（ｙ，ｘ）について定義されるＧ１(ｙ，ｘ)を生成す
る。
【００８７】
【数１２】
【００８８】２００の中央エントリは、Ｇ(ｙ，ｘ)がＣ
ＦＡにおいて定義される（ｙ，ｘ）についてＧ１(ｙ，
ｘ)＝Ｇ(ｙ，ｘ)を意味するに過ぎない。緑値は０〜２
５５の範囲にあることと負値は０に切り捨てられること
とに留意願いたい。もちろん、他のＦＩＲフィルタを用
いることもできるが、このものが簡単で有効である。次
に、Ｇ１(ｙ，ｘ)が補間される（ｙ，ｘ）について、４
つの最も近い隣接値Ｇ(ｙ±１，ｘ)，Ｇ(ｙ，ｘ±１)を
考慮して、最大および最小の値を破棄する。ＡおよびＢ
を残りの２つの最も近い隣接値であって、ＢがＡ以下で
あるとする。そのとき、最終補間緑値Ｇ＾(ｙ，ｘ)は以
下のように定義される。
ＦＡにおいて定義される（ｙ，ｘ）についてＧ１(ｙ，
ｘ)＝Ｇ(ｙ，ｘ)を意味するに過ぎない。緑値は０〜２
５５の範囲にあることと負値は０に切り捨てられること
とに留意願いたい。もちろん、他のＦＩＲフィルタを用
いることもできるが、このものが簡単で有効である。次
に、Ｇ１(ｙ，ｘ)が補間される（ｙ，ｘ）について、４
つの最も近い隣接値Ｇ(ｙ±１，ｘ)，Ｇ(ｙ，ｘ±１)を
考慮して、最大および最小の値を破棄する。ＡおよびＢ
を残りの２つの最も近い隣接値であって、ＢがＡ以下で
あるとする。そのとき、最終補間緑値Ｇ＾(ｙ，ｘ)は以
下のように定義される。
【数１３】
【００８９】これは、補間された値を隣接画素値の中間
範囲に固定し、一つのエッジを超えた最も近い隣接画素
が補間画素値を薄めないものとする。図２９は緑補間全
体を示す。赤補間および青補間によって画像を完成させ
る。赤補間および青補間はそれぞれ、単一ステップの補
間であってもよいし、エッジ保存された緑値を用いる前
述のセクションにおいて説明したような２ステップ補間
であってもよいし、他の種類の補間であってもよい。
範囲に固定し、一つのエッジを超えた最も近い隣接画素
が補間画素値を薄めないものとする。図２９は緑補間全
体を示す。赤補間および青補間によって画像を完成させ
る。赤補間および青補間はそれぞれ、単一ステップの補
間であってもよいし、エッジ保存された緑値を用いる前
述のセクションにおいて説明したような２ステップ補間
であってもよいし、他の種類の補間であってもよい。
【００９０】ＣＦＡ補間とノイズフィルタリング 好ましい実施例は、一体化されたアプローチでノイズを
制限するローパスフィルタリングが続いて行われるＣＦ
Ａ補間に必要なラインメモリに保存する。とりわけ、Ｃ
ＦＡ補間は、典型的には、図３０に例示されるように、
間にラインメモリを有する水平補間ブロックおよび垂直
補間ブロックを含む。水平補間ブロックは、ＣＦＡ信号
の行の入力と、２つのトグルスイッチと、２つのゼロ挿
入サブブロックと、２つの３タップＦＩＲフィルタ（係
数０．５，１．０，０．５）と、２つの出力（各カラー
につき１つの出力）とを有する。ＦＩＲフィルタの各々
は、入力カラー値を再生するに過ぎず、また、挿入され
たゼロの代わりに連続する入力カラー値の平均を入れ
る。２つのサブブロックのゼロ挿入およびトグル・タイ
ミングは、互いに交互になる。水平補間ブロックのブロ
ック図が図３１に示され、生データＲ／Ｇ／Ｒ／Ｇ／
Ｒ．．．を有し、このブロックにおいて、行補間された
赤および緑信号が出力される。生データ入力の行がＢ／
Ｇ／Ｂ／Ｇ／Ｂ．．．であるならば、補間された青およ
び緑信号が出力される。ライン（行）メモリは、データ
を垂直補間ブロックで補間するために、１ＣＦＡライン
（行）周期だけデータを遅延させる。図３２は、４つの
ラインメモリとそのメモリの入出力データとを示す。行
データが入力するにつれて増大する（偶数）行番号を示
すｍと列番号を示すｎについてのＲ／Ｇ／Ｒ／Ｇ
／．．．生データの入力行の場合には、入力および出力
データは、 Input A=R(m, n) Output A1=Input A=R(m, n) Output A2=G(m-1, n) これは生データＧ／Ｂ／Ｇ／
Ｂ．．．行の前の行からの補間された緑であった。 Output A3=R(m-2, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の２つ前の行からの補間された赤であった。 Input B=G(m, n) Output B1=Input B=G(m, n) Output B2=B(m-1, n) これは生データＧ／Ｂ／Ｇ／
Ｂ．．．行の前の行からの補間された青であった。 Output B3=G(m-2, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の２つ前の行からの補間された緑であった。 これによって、垂直補間のために赤の２行Ｒ(ｍ，ｎ)，
Ｒ(ｍ−２，ｎ)が備わり、赤のｍ−１行を生成し、ま
た、垂直補間を必要としない緑行Ｇ(ｍ，ｎ)，Ｇ(ｍ−
１，ｎ)，Ｇ(ｍ−２，ｎ)も備わるものとなる。
制限するローパスフィルタリングが続いて行われるＣＦ
Ａ補間に必要なラインメモリに保存する。とりわけ、Ｃ
ＦＡ補間は、典型的には、図３０に例示されるように、
間にラインメモリを有する水平補間ブロックおよび垂直
補間ブロックを含む。水平補間ブロックは、ＣＦＡ信号
の行の入力と、２つのトグルスイッチと、２つのゼロ挿
入サブブロックと、２つの３タップＦＩＲフィルタ（係
数０．５，１．０，０．５）と、２つの出力（各カラー
につき１つの出力）とを有する。ＦＩＲフィルタの各々
は、入力カラー値を再生するに過ぎず、また、挿入され
たゼロの代わりに連続する入力カラー値の平均を入れ
る。２つのサブブロックのゼロ挿入およびトグル・タイ
ミングは、互いに交互になる。水平補間ブロックのブロ
ック図が図３１に示され、生データＲ／Ｇ／Ｒ／Ｇ／
Ｒ．．．を有し、このブロックにおいて、行補間された
赤および緑信号が出力される。生データ入力の行がＢ／
Ｇ／Ｂ／Ｇ／Ｂ．．．であるならば、補間された青およ
び緑信号が出力される。ライン（行）メモリは、データ
を垂直補間ブロックで補間するために、１ＣＦＡライン
（行）周期だけデータを遅延させる。図３２は、４つの
ラインメモリとそのメモリの入出力データとを示す。行
データが入力するにつれて増大する（偶数）行番号を示
すｍと列番号を示すｎについてのＲ／Ｇ／Ｒ／Ｇ
／．．．生データの入力行の場合には、入力および出力
データは、 Input A=R(m, n) Output A1=Input A=R(m, n) Output A2=G(m-1, n) これは生データＧ／Ｂ／Ｇ／
Ｂ．．．行の前の行からの補間された緑であった。 Output A3=R(m-2, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の２つ前の行からの補間された赤であった。 Input B=G(m, n) Output B1=Input B=G(m, n) Output B2=B(m-1, n) これは生データＧ／Ｂ／Ｇ／
Ｂ．．．行の前の行からの補間された青であった。 Output B3=G(m-2, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の２つ前の行からの補間された緑であった。 これによって、垂直補間のために赤の２行Ｒ(ｍ，ｎ)，
Ｒ(ｍ−２，ｎ)が備わり、赤のｍ−１行を生成し、ま
た、垂直補間を必要としない緑行Ｇ(ｍ，ｎ)，Ｇ(ｍ−
１，ｎ)，Ｇ(ｍ−２，ｎ)も備わるものとなる。
【００９１】Ｇ／Ｂ／Ｇ／Ｂ／．．．生データの次の入
力行（行ｍ＋１）によって以下の入力および出力データ
が導かれる。 Input A=G(m+1, n) Output A1=Input A=G(m+1, n) Output A2=R(m, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の前の行から補間された赤であった。 Output A3=G(m-1, n) これは生データＧ／Ｂ／Ｇ／Ｂ
／．．．行の２つ前の行から補間された緑であった。 Input B=B(m+1, n) Output B1=Input B=B(m+1, n) Output B2=G(m, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の前の行から補間された緑であった。 Output B3=B(m-1, n) これは生データＧ／Ｂ／Ｇ／Ｂ
／．．．行の２つ前の行から補間された青であった。 これによって、垂直補間のために２つの青の行Ｂ(ｍ＋
１，ｎ)，Ｂ(ｍ−１，ｎ)が備わり、ｍ行の青を定義
し、また、垂直補間を必要としない緑行Ｇ(ｍ＋１，
ｎ)，Ｇ(ｍ，ｎ)，Ｇ(ｍ−１，ｎ)も備わる。
力行（行ｍ＋１）によって以下の入力および出力データ
が導かれる。 Input A=G(m+1, n) Output A1=Input A=G(m+1, n) Output A2=R(m, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の前の行から補間された赤であった。 Output A3=G(m-1, n) これは生データＧ／Ｂ／Ｇ／Ｂ
／．．．行の２つ前の行から補間された緑であった。 Input B=B(m+1, n) Output B1=Input B=B(m+1, n) Output B2=G(m, n) これは生データＲ／Ｇ／Ｒ／Ｇ
／．．．行の前の行から補間された緑であった。 Output B3=B(m-1, n) これは生データＧ／Ｂ／Ｇ／Ｂ
／．．．行の２つ前の行から補間された青であった。 これによって、垂直補間のために２つの青の行Ｂ(ｍ＋
１，ｎ)，Ｂ(ｍ−１，ｎ)が備わり、ｍ行の青を定義
し、また、垂直補間を必要としない緑行Ｇ(ｍ＋１，
ｎ)，Ｇ(ｍ，ｎ)，Ｇ(ｍ−１，ｎ)も備わる。
【００９２】図３３は垂直補間用の組合せを示す。とり
わけ、行ｍ出力（行ｍ＋１入力）については組合せは
（図３３ｂ）、 緑はＧ(ｍ，ｎ) 赤はＲ(ｍ，ｎ) 青は（Ｂ(ｍ−１，ｎ)＋Ｂ(ｍ＋１，ｎ)）／２ である。また、行ｍ−１出力（行ｍ入力）については組
合せは（図３３ａ）、 緑はＧ(ｍ−１，ｎ) 赤は（Ｒ(ｍ，ｎ)＋Ｒ(ｍ−２，ｎ)）／２ 青はＢ(ｍ−１，ｎ) である。
わけ、行ｍ出力（行ｍ＋１入力）については組合せは
（図３３ｂ）、 緑はＧ(ｍ，ｎ) 赤はＲ(ｍ，ｎ) 青は（Ｂ(ｍ−１，ｎ)＋Ｂ(ｍ＋１，ｎ)）／２ である。また、行ｍ−１出力（行ｍ入力）については組
合せは（図３３ａ）、 緑はＧ(ｍ−１，ｎ) 赤は（Ｒ(ｍ，ｎ)＋Ｒ(ｍ−２，ｎ)）／２ 青はＢ(ｍ−１，ｎ) である。
【００９３】図３３が例示するように、垂直ローパスノ
イズフィルタは、３つの緑出力（行ｍ入力に対してＧ
(ｍ−２，ｎ)，Ｇ(ｍ−１，ｎ)およびＧ(ｍ，ｎ)と、行
ｍ＋１入力に対してＧ(ｍ−１，ｎ)，Ｇ(ｍ，ｎ)および
Ｇ(ｍ＋１，ｎ)）に直接適用することができるが、図３
２の４つのラインメモリが十分なライン（行）を出力し
ないので、赤と青とは垂直にフィルタすることができな
い。むしろ、図３４に例示されるように、８つのライン
メモリが必要である。
イズフィルタは、３つの緑出力（行ｍ入力に対してＧ
(ｍ−２，ｎ)，Ｇ(ｍ−１，ｎ)およびＧ(ｍ，ｎ)と、行
ｍ＋１入力に対してＧ(ｍ−１，ｎ)，Ｇ(ｍ，ｎ)および
Ｇ(ｍ＋１，ｎ)）に直接適用することができるが、図３
２の４つのラインメモリが十分なライン（行）を出力し
ないので、赤と青とは垂直にフィルタすることができな
い。むしろ、図３４に例示されるように、８つのライン
メモリが必要である。
【００９４】図３５ａおよび図３５ｂは、緑垂直ノイズ
低減フィルタ・ブロックＡと緑ノイズ・ブロックＢと青
／赤緑ノイズ差分ブロックＣと赤／青緑ノイズ総和ブロ
ックＤとを含む垂直補間およびローパスノイズフィルタ
リングの好ましい実施例の組合せを例示する。図３５ａ
および図３５ｂの好ましい実施例に対する６つの入力
は、図３０から図３２の水平補間および４つのラインメ
モリの出力であり、このように、図３４の公知の垂直補
間フィルタへの入力と同じである。この補間とノイズフ
ィルタリングとをプログラム可能プロセッサ上で実施す
るためには、図３４の８つのラインメモリが図３０から
図３２の４つのラインメモリの２倍のプロセッサ・メモ
リ空間をとり、これは大きなメモリ空間となり得る。２
メガピクセル（１９２０×１０８０画素）ＣＣＤのよう
な大きなＣＦＡについては、ラインメモリは１〜２キロ
バイトであり、差はプロセッサ・メモリの４〜８キロバ
イトとなる。
低減フィルタ・ブロックＡと緑ノイズ・ブロックＢと青
／赤緑ノイズ差分ブロックＣと赤／青緑ノイズ総和ブロ
ックＤとを含む垂直補間およびローパスノイズフィルタ
リングの好ましい実施例の組合せを例示する。図３５ａ
および図３５ｂの好ましい実施例に対する６つの入力
は、図３０から図３２の水平補間および４つのラインメ
モリの出力であり、このように、図３４の公知の垂直補
間フィルタへの入力と同じである。この補間とノイズフ
ィルタリングとをプログラム可能プロセッサ上で実施す
るためには、図３４の８つのラインメモリが図３０から
図３２の４つのラインメモリの２倍のプロセッサ・メモ
リ空間をとり、これは大きなメモリ空間となり得る。２
メガピクセル（１９２０×１０８０画素）ＣＣＤのよう
な大きなＣＦＡについては、ラインメモリは１〜２キロ
バイトであり、差はプロセッサ・メモリの４〜８キロバ
イトとなる。
【００９５】より詳細には、図３５ａは、図３２の水平
補間＋４つのラインメモリへのｍが偶数である入力列ｍ
（生ＣＦＡデータＲ／Ｇ／Ｒ／Ｇ／．．．）の場合のノ
イズ低減および垂直補間を例示する。図３５ａの左手エ
ッジでの６つの（水平に補間された）入力は、Ｒ(ｍ，
ｎ)，Ｇ(ｍ−１，ｎ)，Ｒ(ｍ−２，ｎ)，Ｇ(ｍ，ｎ)，
Ｂ(ｍ−１，ｎ)およびＧ(ｍ−２，ｎ)であり（すなわ
ち、図３２における出力）、また、出力は、行ｍ−１に
ついてノイズ低減されたカラー、すなわち、Ｒ”(ｍ−
１，ｎ)，Ｇ”(ｍ−１，ｎ)およびＢ”(ｍ−１，ｎ)で
ある。まず、垂直補間（図３５ａの左手部分）は、Ｒ
(ｍ，ｎ)およびＲ(ｍ−２，ｎ)を平均化してＲ(ｍ−
１，ｎ)を生成し、Ｇ(ｍ−１，ｎ)およびＢ(ｍ−１，
ｎ)は入力としてすでに存在する。そして、ノイズ低減
フィルタ（図３５ａの右手部分におけるブロックＡ）
は、垂直にローパスフィルタリングされた緑Ｇ”(ｍ−
１，ｎ)を生成して出力する。
補間＋４つのラインメモリへのｍが偶数である入力列ｍ
（生ＣＦＡデータＲ／Ｇ／Ｒ／Ｇ／．．．）の場合のノ
イズ低減および垂直補間を例示する。図３５ａの左手エ
ッジでの６つの（水平に補間された）入力は、Ｒ(ｍ，
ｎ)，Ｇ(ｍ−１，ｎ)，Ｒ(ｍ−２，ｎ)，Ｇ(ｍ，ｎ)，
Ｂ(ｍ−１，ｎ)およびＧ(ｍ−２，ｎ)であり（すなわ
ち、図３２における出力）、また、出力は、行ｍ−１に
ついてノイズ低減されたカラー、すなわち、Ｒ”(ｍ−
１，ｎ)，Ｇ”(ｍ−１，ｎ)およびＢ”(ｍ−１，ｎ)で
ある。まず、垂直補間（図３５ａの左手部分）は、Ｒ
(ｍ，ｎ)およびＲ(ｍ−２，ｎ)を平均化してＲ(ｍ−
１，ｎ)を生成し、Ｇ(ｍ−１，ｎ)およびＢ(ｍ−１，
ｎ)は入力としてすでに存在する。そして、ノイズ低減
フィルタ（図３５ａの右手部分におけるブロックＡ）
は、垂直にローパスフィルタリングされた緑Ｇ”(ｍ−
１，ｎ)を生成して出力する。
【００９６】
【数１４】Ｇ”(m-1, n)＝[Ｇ(m, n)＋２＊Ｇ(m-1, n)
＋Ｇ(m-2, n)]/4
＋Ｇ(m-2, n)]/4
【００９７】次に、ブロックＢは、Delta＿ＧをＧと
Ｇ”との差として生成する、すなわち、Delta＿ＧはＧ
の垂直高周波部分である。
Ｇ”との差として生成する、すなわち、Delta＿ＧはＧ
の垂直高周波部分である。
【００９８】
【数１５】 Delta＿Ｇ(m-1, n)=Ｇ(m-1, n)−Ｇ”(m-1, n)
【００９９】Ｇは、バイエルＣＦＡにおけるＢおよびＲ
の２倍の頻度でサンプルされるので、Ｇの直接高周波見
積りはＢおよびＲのそれよりも良いように思え、このよ
うに、好ましい実施例はノイズ低減用の減算にDelta＿
Ｇを用いる。垂直平均［Ｇ(ｍ＋１，ｎ)−Ｇ(ｍ−１，
ｎ)］／２とＧ”(ｍ，ｎ)との差が−Delta＿Ｇ(ｍ，ｎ)
と等しくなり、それにより、垂直に補間され（平均化さ
れ）かつローパスフィルタリングされるべきＲおよびＢ
について、ＲおよびＢから減算されるべきＧによって提
供される高周波数見積りが反対の符号を有するものとな
ることに留意願いたい。
の２倍の頻度でサンプルされるので、Ｇの直接高周波見
積りはＢおよびＲのそれよりも良いように思え、このよ
うに、好ましい実施例はノイズ低減用の減算にDelta＿
Ｇを用いる。垂直平均［Ｇ(ｍ＋１，ｎ)−Ｇ(ｍ−１，
ｎ)］／２とＧ”(ｍ，ｎ)との差が−Delta＿Ｇ(ｍ，ｎ)
と等しくなり、それにより、垂直に補間され（平均化さ
れ）かつローパスフィルタリングされるべきＲおよびＢ
について、ＲおよびＢから減算されるべきＧによって提
供される高周波数見積りが反対の符号を有するものとな
ることに留意願いたい。
【０１００】このように、ブロックＣは、Delta＿Ｇを
Ｂから減算して行ｍ−１についてＢ”を生成する。とい
うのも、Ｂはｎ−１について垂直に補間されないからで
ある。
Ｂから減算して行ｍ−１についてＢ”を生成する。とい
うのも、Ｂはｎ−１について垂直に補間されないからで
ある。
【０１０１】
【数１６】 Ｂ”(m-1, n)＝Ｂ(m-1, n)−Delta＿Ｇ(m-1, n)
【０１０２】本質的に、Ｇの垂直高周波部はＢの垂直高
周波部についての見積りとして用いられ、Ｂの直接垂直
ローパスフィルタリングは適用されない。
周波部についての見積りとして用いられ、Ｂの直接垂直
ローパスフィルタリングは適用されない。
【０１０３】続いて、ブロックＤは、Delta＿GをＲに加
算して行ｍ−１についてＲ”を生成する。というのも、
Ｒは垂直に補間されなかったからである。
算して行ｍ−１についてＲ”を生成する。というのも、
Ｒは垂直に補間されなかったからである。
【０１０４】
【数１７】 Ｒ”(m-1, n)＝Ｒ(m-1, n)＋Delta＿Ｇ(m-1, n)
【０１０５】ここでも、Ｇの垂直高周波部がＲの高周波
部の代わりに用いられ、垂直平均化がＲ(ｍ−１，ｎ)を
生成するので、Delta＿Ｇの反対符号が高周波数見積り
を減算するのに用いられる。
部の代わりに用いられ、垂直平均化がＲ(ｍ−１，ｎ)を
生成するので、Delta＿Ｇの反対符号が高周波数見積り
を減算するのに用いられる。
【０１０６】このように、ノイズが低減されフィルタリ
ングされた３つのカラー出力行ｍ−１は、先のＧ”(ｍ
−１，ｎ)，Ｒ”(ｍ−１，ｎ)およびＢ”(ｍ−１，ｎ)
である。同様に、入力行ｍ＋１からの出力行ｍ（ここで
もｍは偶数）および生ＣＦＡデータＧ／Ｂ／Ｇ／Ｂ
／．．．について、６つの（水平に補間された）入力
は、Ｇ(ｍ＋１，ｎ)，Ｒ(ｍ，ｎ)，Ｇ(ｍ−１，ｎ)，Ｂ
(ｍ＋１，ｎ)，Ｇ(ｍ，ｎ)およびＢ(ｍ−１，ｎ)であ
り、出力は、行ｍについてノイズの低減されたカラー
Ｒ”(ｍ，ｎ)，Ｇ”(ｍ，ｎ)およびＢ”(ｍ，ｎ)であ
る。垂直補間（図３５ｂの左手部分）は、Ｂ(ｍ＋１，
ｎ)とＢ(ｍ−１，ｎ)とを平均化してＢ(ｍ，ｎ)を生成
し、Ｇ(ｍ，ｎ)とＲ(ｍ，ｎ)とはすでに入力として存在
する。ノイズ低減フィルタ（図３５ｂの右手部分）ブロ
ックＡは、再度垂直にローパスフィルタリングされた緑
Ｇ”(ｍ，ｎ)を次の通り生成する。
ングされた３つのカラー出力行ｍ−１は、先のＧ”(ｍ
−１，ｎ)，Ｒ”(ｍ−１，ｎ)およびＢ”(ｍ−１，ｎ)
である。同様に、入力行ｍ＋１からの出力行ｍ（ここで
もｍは偶数）および生ＣＦＡデータＧ／Ｂ／Ｇ／Ｂ
／．．．について、６つの（水平に補間された）入力
は、Ｇ(ｍ＋１，ｎ)，Ｒ(ｍ，ｎ)，Ｇ(ｍ−１，ｎ)，Ｂ
(ｍ＋１，ｎ)，Ｇ(ｍ，ｎ)およびＢ(ｍ−１，ｎ)であ
り、出力は、行ｍについてノイズの低減されたカラー
Ｒ”(ｍ，ｎ)，Ｇ”(ｍ，ｎ)およびＢ”(ｍ，ｎ)であ
る。垂直補間（図３５ｂの左手部分）は、Ｂ(ｍ＋１，
ｎ)とＢ(ｍ−１，ｎ)とを平均化してＢ(ｍ，ｎ)を生成
し、Ｇ(ｍ，ｎ)とＲ(ｍ，ｎ)とはすでに入力として存在
する。ノイズ低減フィルタ（図３５ｂの右手部分）ブロ
ックＡは、再度垂直にローパスフィルタリングされた緑
Ｇ”(ｍ，ｎ)を次の通り生成する。
【０１０７】
【数１８】Ｇ”(m, n)＝｛Ｇ(m+1, n)＋２＊Ｇ(m, n)＋
Ｇ(m-1, n)｝/4
Ｇ(m-1, n)｝/4
【０１０８】次に、ブロックＢは、再度、Delta＿Ｇと
呼ばれるＧの垂直高周波部分をＧとＧ”との差分として
生成する。
呼ばれるＧの垂直高周波部分をＧとＧ”との差分として
生成する。
【０１０９】
【数１９】Delta＿Ｇ(m, n)=Ｇ(m, n)−Ｇ”(m, n)
【０１１０】その後、ブロックＣは、再度、Delta＿Ｇ
を（行ｍ−１出力についてはＢよりもむしろ）Ｒのみか
ら減算してＲ”を生成する。
を（行ｍ−１出力についてはＢよりもむしろ）Ｒのみか
ら減算してＲ”を生成する。
【０１１１】
【数２０】Ｒ”(m, n)＝Ｒ(m, n)−Delta＿Ｇ(m, n)
【０１１２】このように、Ｇの高周波部分は、再度、Ｒ
のノイズのある部分についての見積りとして用いられ、
また、Ｒの直接のノイズフィルタリングは適用されず、
行ｍについてはDelta＿Ｇが行ｍ−１に対して加算され
るよりはむしろ減算される。実際、奇数行はＲを垂直平
均として定義しているので、Ｒについて、偶数行はDelt
a＿Ｇを減算させ、奇数行はDelta＿Ｇを加算させる。最
後に、ブロックＤは、Delta＿ＧをＢに加算してＢ”を
生成する。
のノイズのある部分についての見積りとして用いられ、
また、Ｒの直接のノイズフィルタリングは適用されず、
行ｍについてはDelta＿Ｇが行ｍ−１に対して加算され
るよりはむしろ減算される。実際、奇数行はＲを垂直平
均として定義しているので、Ｒについて、偶数行はDelt
a＿Ｇを減算させ、奇数行はDelta＿Ｇを加算させる。最
後に、ブロックＤは、Delta＿ＧをＢに加算してＢ”を
生成する。
【０１１３】
【数２１】Ｂ”(m, n)＝Ｂ(m, n)＋Delta＿Ｇ(m, n)
【０１１４】このように、Ｂの直接垂直ローパスフィル
タリングの代わりに、Ｒについて、Delta＿Ｇ垂直高周
波数見積りは、行ごとに交代でＢに加算されまたＢから
減算される。所定の行について、ＲおよびＢの一方は先
行する行および後続する行の平均であるので、Ｒおよび
ＢについてのDelta＿Ｇ項は反対の符号を有することに
留意願いたい。
タリングの代わりに、Ｒについて、Delta＿Ｇ垂直高周
波数見積りは、行ごとに交代でＢに加算されまたＢから
減算される。所定の行について、ＲおよびＢの一方は先
行する行および後続する行の平均であるので、Ｒおよび
ＢについてのDelta＿Ｇ項は反対の符号を有することに
留意願いたい。
【０１１５】要するに、好ましい実施例は、Ｇに基づく
高周波数見積りを用いることによってたった４つのライ
ンメモリでＣＦＡ水平補間，垂直補間およびローパスフ
ィルタリングを模倣することができる。図３６ａから図
３６ｂおよび図３７ａから図３７ｂは、Ｇの垂直ローパ
スフィルタリングが、図３５ａから図３５ｂの好ましい
実施例の１／４，１／２，１／４の重付けとは異なる代
替の実施例を例示している。
高周波数見積りを用いることによってたった４つのライ
ンメモリでＣＦＡ水平補間，垂直補間およびローパスフ
ィルタリングを模倣することができる。図３６ａから図
３６ｂおよび図３７ａから図３７ｂは、Ｇの垂直ローパ
スフィルタリングが、図３５ａから図３５ｂの好ましい
実施例の１／４，１／２，１／４の重付けとは異なる代
替の実施例を例示している。
【０１１６】補色ＣＣＤ用のＣＦＡ補間 補色パターンＣＦＡ（図７ｂに例示される）のための好
ましい実施例のＣＦＡ補間は、単純補間を、それに続く
カラー不均衡の検出および調整による画像品質強調と組
み合わせる。とりわけ、各画素で定義された最初の補間
をすべての４つの補色値とし、色値をＹｅ（黄），Ｃｙ
（シアン），Ｍｇ（マゼンタ）およびＧ（緑）と記す。
最初に、各画素で不均衡ファクターμを計算する。
ましい実施例のＣＦＡ補間は、単純補間を、それに続く
カラー不均衡の検出および調整による画像品質強調と組
み合わせる。とりわけ、各画素で定義された最初の補間
をすべての４つの補色値とし、色値をＹｅ（黄），Ｃｙ
（シアン），Ｍｇ（マゼンタ）およびＧ（緑）と記す。
最初に、各画素で不均衡ファクターμを計算する。
【０１１７】
【数２２】μ＝Ｙｅ＋Ｃｙ−２＊Ｇ−Ｍｇ
【０１１８】この不均衡ファクターは、理想の画素カラ
ー値と実際の画素カラー値との差を現す。実際に、赤値
（Ｒ），緑値（Ｇ）および青値（Ｂ）に関しての補色値
の定義は、Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋ＢおよびＭｇ＝Ｂ
＋Ｇである。それ故に、画素のカラー値について以下の
関係が常に成立する。
ー値と実際の画素カラー値との差を現す。実際に、赤値
（Ｒ），緑値（Ｇ）および青値（Ｂ）に関しての補色値
の定義は、Ｙｅ＝Ｒ＋Ｇ，Ｃｙ＝Ｇ＋ＢおよびＭｇ＝Ｂ
＋Ｇである。それ故に、画素のカラー値について以下の
関係が常に成立する。
【０１１９】
【数２３】Ｙｅ＋Ｃｙ＝２＊Ｇ＋Ｍｇ
【０１２０】このように、不均衡ファクターμは理想的
には消失する。エッジが画素に近いとき、不均衡はＣＦ
Ａにおける４つのカラー・サンプルの各々の空間的差分
により生じ得る。好ましい実施例は、不均衡を検出し、
各カラー値を変更することによって調整する。
には消失する。エッジが画素に近いとき、不均衡はＣＦ
Ａにおける４つのカラー・サンプルの各々の空間的差分
により生じ得る。好ましい実施例は、不均衡を検出し、
各カラー値を変更することによって調整する。
【０１２１】
【数２４】Ｙｅ’＝Ｙｅ−μ／４ Ｃｙ’＝Ｃｙ−μ／４ Ｍｇ’＝Ｍｇ＋μ／４ Ｇ’＝Ｇ＋μ／８
【０１２２】その後、これらの変更された補色は最終画
像を形成するのに用いられる。図３８は、不均衡ファク
ターを用いた強調（エンハンスメント）についての全体
的なフローを明示する。もちろん、Ｙｅ’＋Ｃｙ’＝２
＊Ｇ’＋Ｍｇ’であるならば、−１／４，−１／４，１
／４および１／８以外のスケール因数を不均衡ファクタ
ーに適用することもできる。
像を形成するのに用いられる。図３８は、不均衡ファク
ターを用いた強調（エンハンスメント）についての全体
的なフローを明示する。もちろん、Ｙｅ’＋Ｃｙ’＝２
＊Ｇ’＋Ｍｇ’であるならば、−１／４，−１／４，１
／４および１／８以外のスケール因数を不均衡ファクタ
ーに適用することもできる。
【０１２３】ホワイトバランス 「ホワイトバランシング」という語は、典型的には、ア
ルゴリズムを記述するのに用いられ、それは、カメラが
現在作動している光源に関してカメラのホワイトポイン
トを補正する。真の光スペクトラムの見積りが非常に困
難であるので、たいていのアプローチの目的は、灰色の
対象物についてはすべてのカラー・チャンネルについて
の画素強度がほとんど同じものとなるように、（ＲＧＢ
カラーフィルタに基づくＣＣＤであるとして）赤および
青チャンネルの出力を補正することである。最も普通の
技術は、基本的には、平均エネルギーまたは単純に各チ
ャンネルの中間値を計算する。平均の計算は、赤につい
てはＮ個のローカル・ウインドウＷj（ｊ＝１，
２，．．．，Ｎ）において実行される。
ルゴリズムを記述するのに用いられ、それは、カメラが
現在作動している光源に関してカメラのホワイトポイン
トを補正する。真の光スペクトラムの見積りが非常に困
難であるので、たいていのアプローチの目的は、灰色の
対象物についてはすべてのカラー・チャンネルについて
の画素強度がほとんど同じものとなるように、（ＲＧＢ
カラーフィルタに基づくＣＣＤであるとして）赤および
青チャンネルの出力を補正することである。最も普通の
技術は、基本的には、平均エネルギーまたは単純に各チ
ャンネルの中間値を計算する。平均の計算は、赤につい
てはＮ個のローカル・ウインドウＷj（ｊ＝１，
２，．．．，Ｎ）において実行される。
【０１２４】
【数２５】Ｒj＝Σk∈wjｒ(ｋ)
【０１２５】ここで、ｒ(ｋ)は赤チャンネル用のデジタ
ル信号を示す。青および緑カラー・チャンネルについて
は、同様に、平均Ｂjおよび平均Ｇjが計算される。チャ
ンネル間の不均衡は、緑対赤の比および緑対青の比によ
って与えられる
ル信号を示す。青および緑カラー・チャンネルについて
は、同様に、平均Ｂjおよび平均Ｇjが計算される。チャ
ンネル間の不均衡は、緑対赤の比および緑対青の比によ
って与えられる
【０１２６】
【数２６】ＷＢＲ＝ΣjＧj／ΣjＲj ＷＢＢ＝ΣjＧj／ΣjＢj
【０１２７】が、赤および青チャンネル用の補正乗数と
してそれぞれ用いられる。
してそれぞれ用いられる。
【０１２８】
【数２７】ｒ’(ｋ)＝ＷＢＲｒ(ｋ) ｂ’(ｋ)＝ＷＢＢｂ(ｋ)
【０１２９】このアプローチには多くの異なる種類が存
在し、それらはすべて、強度から独立した乗算因数ＷＢ
Ｒ，ＷＢＢを計算する。
在し、それらはすべて、強度から独立した乗算因数ＷＢ
Ｒ，ＷＢＢを計算する。
【０１３０】このアプローチは、いくつかの仮定が有効
でありさえすれば、成り立つ。第１に、センサ応答は入
力強度範囲全体にわたって良好に配列されると仮定す
る。換言すれば、緑応答曲線は、因数を乗算された赤
（青）応答曲線に等しい。センサ（ＣＣＤ）特性を見る
ことは、この仮定が成立するのではないということを指
示する。高い光強度については、センサは飽和し、一
方、非常に低い光強度では、センサ反応（特に、青チャ
ンネル）は非常に小さい。また、センサの非線形性とセ
ンサ反応に関するカラー・チャンネルの不均衡と光源と
は、同時に取り扱われる。結果としての人工物は、非常
に明るい領域でのマゼンタ・カラーを含み、そこでは、
「カラー」が白くなったり暗い領域で違うカラーになっ
たりする。センサ出力での、例えば赤カラー・チャンネ
ルについての画素強度は、以下のようにモデル化するこ
とができる。
でありさえすれば、成り立つ。第１に、センサ応答は入
力強度範囲全体にわたって良好に配列されると仮定す
る。換言すれば、緑応答曲線は、因数を乗算された赤
（青）応答曲線に等しい。センサ（ＣＣＤ）特性を見る
ことは、この仮定が成立するのではないということを指
示する。高い光強度については、センサは飽和し、一
方、非常に低い光強度では、センサ反応（特に、青チャ
ンネル）は非常に小さい。また、センサの非線形性とセ
ンサ反応に関するカラー・チャンネルの不均衡と光源と
は、同時に取り扱われる。結果としての人工物は、非常
に明るい領域でのマゼンタ・カラーを含み、そこでは、
「カラー」が白くなったり暗い領域で違うカラーになっ
たりする。センサ出力での、例えば赤カラー・チャンネ
ルについての画素強度は、以下のようにモデル化するこ
とができる。
【０１３１】
【数２８】 ｒ(ｋ)＝.Ｉ(λ)β(k, λ)ｆR(λ)α(I, λ)ｄλ
【０１３２】ここで、λは波長を示し、Ｉ(λ)は光源の
スペクトラムを示し、β(ｘ，λ)は観察下にある対象物
の反射率を示し、ｆR(λ)はＣＣＤ画素をカバーする赤
カラーフィルタのスペクトラムの感度を示し、α(Ｉ，
λ)は光子を電子に変換するＣＣＤの強度および波長に
依存する効率を示す。
スペクトラムを示し、β(ｘ，λ)は観察下にある対象物
の反射率を示し、ｆR(λ)はＣＣＤ画素をカバーする赤
カラーフィルタのスペクトラムの感度を示し、α(Ｉ，
λ)は光子を電子に変換するＣＣＤの強度および波長に
依存する効率を示す。
【０１３３】典型的なＣＣＤセンサのカラーフィルタｆ
R(λ)（とｆG(λ)およびｆB(λ)）のスペクトラム応答
曲線に関してのみ、出力信号は異なる。
R(λ)（とｆG(λ)およびｆB(λ)）のスペクトラム応答
曲線に関してのみ、出力信号は異なる。
【０１３４】
【数２９】 ＷＢＲ＝.ｆG(λ)ｄλ／.ｆR(λ)ｄλ＝１．０９ ＷＢＢ＝.ｆG(λ)ｄλ／.ｆB(λ)ｄλ＝１．３４
【０１３５】典型的なＣＣＤの応答を用いて、完全白色
光源（スペクトラムＩ(λ)がフラットである）と完全に
白い対象物（反射光のスペクトラムが照射光のスペクト
ラムと同じであって、β(ｋ，λ)＝１を意味する）とを
想定し、また、α(Ｉ，λ)を無視（波長に依存する量子
効果がない）して、それらの値が得られる。特に、青チ
ャンネルは、同じ強度で緑または赤よりも小さな応答を
示す。センサの非線形量子効果は別の影響である。入力
強度にわたっての典型的なＳ字型のセンサ反応が図３９
ａに示されている。また、各チャンネルにおけるセンサ
反応は光源のスペクトラムに依存する。
光源（スペクトラムＩ(λ)がフラットである）と完全に
白い対象物（反射光のスペクトラムが照射光のスペクト
ラムと同じであって、β(ｋ，λ)＝１を意味する）とを
想定し、また、α(Ｉ，λ)を無視（波長に依存する量子
効果がない）して、それらの値が得られる。特に、青チ
ャンネルは、同じ強度で緑または赤よりも小さな応答を
示す。センサの非線形量子効果は別の影響である。入力
強度にわたっての典型的なＳ字型のセンサ反応が図３９
ａに示されている。また、各チャンネルにおけるセンサ
反応は光源のスペクトラムに依存する。
【０１３６】こうして、好ましい実施例のホワイトバラ
ンシングは非整列および非線形性を考慮する。典型的な
光源は、可視スペクトラムにわたってフラットではな
く、あるスペクトラムの帯域においてより高いエネルギ
ーを有する傾向にある。この効果は、観察されるセンサ
反応に影響し、理想的には、それがホワイトポイント補
償によって補正されるが、それは補正行列に基づく。チ
ャンネルの独立したバランシングは、この効果を先に概
要を述べたように取り扱うことができない。数学的な記
述を簡単にするために、図３９ａのＳ字型応答曲線を区
分線形部分で近似する。３つの部分は光の状態を３つの
カテゴリ（非常に低い強度と通常の強度と非常に明るい
光）に分ける。図３９ｂは単一の乗数を適用する効果を
示す。緑信号に関して、青信号の増幅は、低い光の状態
においてはあまりに小さすぎ、一方、非常に明るい状態
においてはその乗数は大きすぎる。ファクターを低減す
ると、成分間でのオフセットが残り、違う色として目に
見える。したがって、３つのすべての応答曲線を整列す
るための補正条件は、異なって見え、センサ特性を反映
しなければならない。
ンシングは非整列および非線形性を考慮する。典型的な
光源は、可視スペクトラムにわたってフラットではな
く、あるスペクトラムの帯域においてより高いエネルギ
ーを有する傾向にある。この効果は、観察されるセンサ
反応に影響し、理想的には、それがホワイトポイント補
償によって補正されるが、それは補正行列に基づく。チ
ャンネルの独立したバランシングは、この効果を先に概
要を述べたように取り扱うことができない。数学的な記
述を簡単にするために、図３９ａのＳ字型応答曲線を区
分線形部分で近似する。３つの部分は光の状態を３つの
カテゴリ（非常に低い強度と通常の強度と非常に明るい
光）に分ける。図３９ｂは単一の乗数を適用する効果を
示す。緑信号に関して、青信号の増幅は、低い光の状態
においてはあまりに小さすぎ、一方、非常に明るい状態
においてはその乗数は大きすぎる。ファクターを低減す
ると、成分間でのオフセットが残り、違う色として目に
見える。したがって、３つのすべての応答曲線を整列す
るための補正条件は、異なって見え、センサ特性を反映
しなければならない。
【０１３７】好ましい実施例のホワイトバランシング
は、２つの別々の方式に分けられる。一つはイメージャ
に依存する調整を考慮し、他方は光源に関係する。一般
的なものとして制限されるわけではないが、Ｓ字型応答
曲線は、以下の３つの区分線形部分で近似される。より
多くの部分とすれば、制度が向上するが、基本的な概念
は変わらない。第１の領域（非常に低い強度）と青チャ
ンネルについて、ｓを応答としｘを入力強度としてモデ
ルが読み取られる。
は、２つの別々の方式に分けられる。一つはイメージャ
に依存する調整を考慮し、他方は光源に関係する。一般
的なものとして制限されるわけではないが、Ｓ字型応答
曲線は、以下の３つの区分線形部分で近似される。より
多くの部分とすれば、制度が向上するが、基本的な概念
は変わらない。第１の領域（非常に低い強度）と青チャ
ンネルについて、ｓを応答としｘを入力強度としてモデ
ルが読み取られる。
【０１３８】
【数３０】ｓB,1＝ａB,1ｘ
【０１３９】第２の領域をモデル化するには、乗数およ
びオフセットが必要である。
びオフセットが必要である。
【０１４０】
【数３１】ｓB,2＝ａB,2ｘ＋ｂB,2
【０１４１】オフセット項は、応答曲線が領域１から領
域２への移行ポイントｘ1で連続する必要があるという
制約によって決定される。
域２への移行ポイントｘ1で連続する必要があるという
制約によって決定される。
【０１４２】
【数３２】ｓB,1(x1)＝ｓB,2(x1) したがって、ｂB,2＝（ａB,1−ａB,2）ｘ1
【０１４３】領域３の線形モデルについてのパラメータ
【０１４４】
【数３３】ｓB,3＝ａB,3ｘ＋ｂB,3
【０１４５】が完全に決定される。というのも、最大出
力は最大入力ｘmaxと同じでなければならず、また、応
答曲線は接続ポイントｘ2で連続する必要があるからで
ある。
力は最大入力ｘmaxと同じでなければならず、また、応
答曲線は接続ポイントｘ2で連続する必要があるからで
ある。
【０１４６】
【数３４】ｘmax＝ａB,3ｘmax＋ｂB,3 ｓB,2(x2)＝ｓB,3(x2) ａB,3＝（ｓB,2(x2)−ｘmax）／（ｘ2−ｘmax） ｂB,3＝（１−ａB,3）ｘmax
【０１４７】こうして、各カラー成分について応答曲線
の近似を特定するパラメータはａ1，ａ2，ｘ1およびｘ2
である。ｘmaxは、入力信号のビット解像度によって特
定されるので、自由パラメータではない。
の近似を特定するパラメータはａ1，ａ2，ｘ1およびｘ2
である。ｘmaxは、入力信号のビット解像度によって特
定されるので、自由パラメータではない。
【０１４８】好ましい実施例のホワイトバランシング
は、各領域について異なる乗数を適用する。１つの領域
から次の領域への連続する移行については、更なるオフ
セットが要求される。領域の数は任意であるが、一般性
を失うことなく、以下の等式では３つだけの領域が考慮
される。領域１についての緑に関する青の補正項は、
は、各領域について異なる乗数を適用する。１つの領域
から次の領域への連続する移行については、更なるオフ
セットが要求される。領域の数は任意であるが、一般性
を失うことなく、以下の等式では３つだけの領域が考慮
される。領域１についての緑に関する青の補正項は、
【０１４９】
【数３５】
【０１５０】でなければならない。ここで、（Ｇ1およ
びＢ1用の）ウインドウ１は、領域１の強度をもつ画素
を有する。このように、領域１にある入力強度値は、補
正された出力
びＢ1用の）ウインドウ１は、領域１の強度をもつ画素
を有する。このように、領域１にある入力強度値は、補
正された出力
【０１５１】
【数３６】ｂ’(k)＝ＷＢＢ1ｂ(k)
【０１５２】を得る。領域２についてのバランシング乗
数に基づいて、
数に基づいて、
【０１５３】
【数３７】
【０１５４】ホワイト・バランシングは、領域２におけ
る値の更なるオフセットを考慮しなければならず、
る値の更なるオフセットを考慮しなければならず、
【０１５５】
【数３８】ｂ’(k)＝ＷＢＢ2ｂ(k)＋ＷＢＯＢ2 ここで、 ＷＢＯＢ2＝（ＷＢＢ1−ＷＢＢ2）ｘ1
【０１５６】第３の領域について、ＷＢＢ3を明瞭に特
定することができないことを除いて、計算は基本的に同
じであるが、増幅は最大値ｘmaxによって決定される。
定することができないことを除いて、計算は基本的に同
じであるが、増幅は最大値ｘmaxによって決定される。
【０１５７】
【数３９】ｂ’(k)＝ＷＢＢ3ｂ(k)＋ＷＢＯＢ3 ここで、 ＷＢＢ3＝(ｘmax−(ＷＢＢ2ｘ2＋ＷＢＯＢ2))/(ｘmax−
ｘ2) ＷＢＯＢ3＝(１−ａB,3)ｘmax
ｘ2) ＷＢＯＢ3＝(１−ａB,3)ｘmax
【０１５８】実施のために、システムは、Ｎ−１の領域
について適当なホワイトバランシング乗数ＷＢＢiを決
定しなければならない。これらの値に基づいて、残りの
オフセット値ＷＢＯＢおよび最後の領域用の乗数が計算
される。移行ポイントの位置は演繹的に特定される。ホ
ワイトバランシング自体は、入力画素の強度値に基づい
て領域を選択し、適当な利得およびオフセットをその値
に適用する。
について適当なホワイトバランシング乗数ＷＢＢiを決
定しなければならない。これらの値に基づいて、残りの
オフセット値ＷＢＯＢおよび最後の領域用の乗数が計算
される。移行ポイントの位置は演繹的に特定される。ホ
ワイトバランシング自体は、入力画素の強度値に基づい
て領域を選択し、適当な利得およびオフセットをその値
に適用する。
【０１５９】
【数４０】
【０１６０】赤チャンネルについて同様の乗数も加え
る。
る。
【０１６１】ＣＣＤ出力信号の全ダイナミックレンジ
は、ＣＣＤにおいて捕獲される光子の数に影響するの
で、開口およびシャッターから独立である。しかしなが
ら、アナログ利得または処理に先立つデジタル利得は、
信号をシフトさせ、避けられるべきである。利得（デジ
タル）αが適用される必要のある場合は、この利得はホ
ワイトバランシング方法に含まれる。利得は、最大入力
値ｘmaxを出力値α＊ｘmaxにマッピングする。スケーリ
ングされた応答曲線は、スケーリングされていないもの
と同じに振る舞い、スケーリングされた信号がα＊ｘ
maxで飽和することを意味している。
は、ＣＣＤにおいて捕獲される光子の数に影響するの
で、開口およびシャッターから独立である。しかしなが
ら、アナログ利得または処理に先立つデジタル利得は、
信号をシフトさせ、避けられるべきである。利得（デジ
タル）αが適用される必要のある場合は、この利得はホ
ワイトバランシング方法に含まれる。利得は、最大入力
値ｘmaxを出力値α＊ｘmaxにマッピングする。スケーリ
ングされた応答曲線は、スケーリングされていないもの
と同じに振る舞い、スケーリングされた信号がα＊ｘ
maxで飽和することを意味している。
【０１６２】
【数４１】ＷＢＢ1：＝α＊ＷＢＢ1 ＷＢＢ2：＝α＊ＷＢＢ2
【０１６３】を代入のこと。このようにして、先のセク
ションにおける等式は、以下を除いて変わっていない。
ションにおける等式は、以下を除いて変わっていない。
【０１６４】
【数４２】ＷＢＯＢ3＝(α−ａB,3)ｘmax
【０１６５】線形化の後に、信号は光源を反映して調整
を受けることができる。これはまた、ホワイトポイント
調整としても知られている。ここで、入力信号は、異な
る光源の下で捕らえられたかのように見えるように変換
される。例えば、画像は、明るい日光でとられた（Ｄ６
５）が、カラー特性は室内状態（Ｄ５０タングステン）
の下でとられているかのようである。
を受けることができる。これはまた、ホワイトポイント
調整としても知られている。ここで、入力信号は、異な
る光源の下で捕らえられたかのように見えるように変換
される。例えば、画像は、明るい日光でとられた（Ｄ６
５）が、カラー特性は室内状態（Ｄ５０タングステン）
の下でとられているかのようである。
【０１６６】
【数４３】 [Ｒ,Ｇ,Ｂ]Ｄ65 T＝ＩD65 T＊β＊[ｆR,ｆG,ｆB]T [Ｒ,Ｇ,Ｂ]Ｄ50 T＝ＩD50 T＊β＊[ｆR,ｆG,ｆB]T
【０１６７】ここで、ＩDxxは光スペクトラムをサンプ
リングするベクトルを示し、βは対象物の反射率を記述
する斜行列であり、ｆR，ｆGおよびｆBはＣＣＤ光フィ
ルタのスペクトラム応答を示す。これらの等式に基づい
て、Ｄ６５からＤ５０の下での信号に関して３×３変換
行列を計算することができる。
リングするベクトルを示し、βは対象物の反射率を記述
する斜行列であり、ｆR，ｆGおよびｆBはＣＣＤ光フィ
ルタのスペクトラム応答を示す。これらの等式に基づい
て、Ｄ６５からＤ５０の下での信号に関して３×３変換
行列を計算することができる。
【０１６８】
【数４４】[Ｒ,Ｇ,Ｂ]Ｄ50 T＝ＩD50 T＊ＩD65 -T＊[Ｒ,
Ｇ,Ｂ]Ｄ65 T
Ｇ,Ｂ]Ｄ65 T
【０１６９】３×３変換行列
【０１７０】
【数４５】ＭD＝ＩD50 T＊ＩD65 -T
【０１７１】は、オフラインで計算することができる。
現実のシステムでは、異なる応答領域について平均を求
めることはほとんど不可能である。したがって、簡単な
解決策は、先の一体化の比において全体の値を計算し、
それらを所定のセンサ測定に基づいて固定値で変更する
ことである。
現実のシステムでは、異なる応答領域について平均を求
めることはほとんど不可能である。したがって、簡単な
解決策は、先の一体化の比において全体の値を計算し、
それらを所定のセンサ測定に基づいて固定値で変更する
ことである。
【０１７２】
【数４６】ＷＢＢ1＝α1＊ＷＢＢ ＷＢＢ2＝α2＊ＷＢＢ
【０１７３】ＷＢＲについても同様である。移行ポイン
トもまた、前もって固定することができる。移行ポイン
トｘ2いう１つだけの例外がある。稀な状況では、ＷＢ
Ｒ値は非常に大きくて移行ポイントｘ 2で最大出力値を
超える。その状況では、ＷＢＲが低減される必要がある
か移行ポイントが低減される。図４０の図は、この技術
の有効性の例を示す。赤構成要素は、緑構成要素に関し
て調整される。単一の乗数を用いることは、明るい領域
において緑信号を超え、低い光領域において有効ではな
く、一方、区分化されたホワイトバランシングがあらゆ
る強度の緑曲線にマッチする。
トもまた、前もって固定することができる。移行ポイン
トｘ2いう１つだけの例外がある。稀な状況では、ＷＢ
Ｒ値は非常に大きくて移行ポイントｘ 2で最大出力値を
超える。その状況では、ＷＢＲが低減される必要がある
か移行ポイントが低減される。図４０の図は、この技術
の有効性の例を示す。赤構成要素は、緑構成要素に関し
て調整される。単一の乗数を用いることは、明るい領域
において緑信号を超え、低い光領域において有効ではな
く、一方、区分化されたホワイトバランシングがあらゆ
る強度の緑曲線にマッチする。
【０１７４】好ましい実施例のサイズ調整 あるサイズ（例えば、３２０×２４０画素）で捕獲され
た画像は、様々な蓄積または入出力フォーマットにマッ
チするために頻繁に別のサイズ（例えば、約２８８×２
１６）に変換されなければならない。一般に、これには
有理の因数Ｎ／Ｍによる分数のアップサンプリングまた
はダウンサンプリングが必要とされ、例えば、３２０×
２４０から２８８×２１６へのサイズ調整は９／１０の
サイズ調整である。理論的には、サイズ調整は、Ｎによ
る何重もの補間と、反折返しフィルタとＭによるデシメ
ーションとに相当する。特に、サイズ調整は、Ｍ位相の
ＫタップフィルタリングとＭ入力当りＮ出力の選定とで
達成される。例えば、最上の水平線が画素入力を表し、
また、水平長さ−３つの括弧が、指示された３つの入力
に適用されて指示された出力を生成する３タップ・フィ
ルタ核を表わす図４１ａに図示されるような３タップ・
フィルタを用いる６３／６４の比でのサイズ調整を前置
きとして考える。実際、フィルタ核は、長さ３−１／６
３の支持で連続する関数ｆ(ｔ)であり、最大３つの入力
を含むことができるものとする。図４１ｂを参照のこ
と。図４１ａにおいて連続する括弧の右にわずかにシフ
トしていることに留意願いたい。これは、６４入力から
６３出力へのサイズ調整を表わす。というのも、フィル
タ核の中心（それ故に、概数で表されていない出力位
置）が、６３の出力が６４の入力にマッチするために、
各出力について１+１／６３（＝６４／６３）画素位置
だけ増大しなければならないからである。出力［０］
（図４１ａにおいて最も左側の括弧によって表される）
が入力の位置で真中に置かれ、また、それでｏｕｔｐ
ｐｏｓ[ｊ]と記される概数で表されていない出力位置ｊ
が１+ｊ＊６４／６３に等しくなる。
た画像は、様々な蓄積または入出力フォーマットにマッ
チするために頻繁に別のサイズ（例えば、約２８８×２
１６）に変換されなければならない。一般に、これには
有理の因数Ｎ／Ｍによる分数のアップサンプリングまた
はダウンサンプリングが必要とされ、例えば、３２０×
２４０から２８８×２１６へのサイズ調整は９／１０の
サイズ調整である。理論的には、サイズ調整は、Ｎによ
る何重もの補間と、反折返しフィルタとＭによるデシメ
ーションとに相当する。特に、サイズ調整は、Ｍ位相の
ＫタップフィルタリングとＭ入力当りＮ出力の選定とで
達成される。例えば、最上の水平線が画素入力を表し、
また、水平長さ−３つの括弧が、指示された３つの入力
に適用されて指示された出力を生成する３タップ・フィ
ルタ核を表わす図４１ａに図示されるような３タップ・
フィルタを用いる６３／６４の比でのサイズ調整を前置
きとして考える。実際、フィルタ核は、長さ３−１／６
３の支持で連続する関数ｆ(ｔ)であり、最大３つの入力
を含むことができるものとする。図４１ｂを参照のこ
と。図４１ａにおいて連続する括弧の右にわずかにシフ
トしていることに留意願いたい。これは、６４入力から
６３出力へのサイズ調整を表わす。というのも、フィル
タ核の中心（それ故に、概数で表されていない出力位
置）が、６３の出力が６４の入力にマッチするために、
各出力について１+１／６３（＝６４／６３）画素位置
だけ増大しなければならないからである。出力［０］
（図４１ａにおいて最も左側の括弧によって表される）
が入力の位置で真中に置かれ、また、それでｏｕｔｐ
ｐｏｓ[ｊ]と記される概数で表されていない出力位置ｊ
が１+ｊ＊６４／６３に等しくなる。
【０１７５】フィルタ核は、時間０で中央に置かれる対
称な連続関数ｆ(ｔ)として表される。例えば出力［０］
は３つの核値ｆ(−１)，ｆ(０)，ｆ(１)を必要とする。
各出力ポイントは，３つの核係数値の３つの入力画素値
との内積（inner product）として計算される。出力
［ｊ］用の中央入力ポイントはｒｏｕｎｄ（ｏｕｔｐ ｐ
ｏｓ[ｊ]）で位置付けられ、ここで、ｒｏｕｎｄ()は四
捨五入機能である。他の２つの入力ポイントはこの中央
のポイントからの±１だけのオフセットである。中央フ
ィルタ核係数値は、ｆ(ｒｏｕｎｄ（ｏｕｔｐ ｐｏｓ
[ｊ]）−ｏｕｔｐ ｐｏｓ[ｊ]）であり、他のものは、
この中央値ポイントの±１オフセットでのｆ()である。
こうして、以下の表が、各出力に必要なの出力位置，係
数核値および入力ポイントを示す。
称な連続関数ｆ(ｔ)として表される。例えば出力［０］
は３つの核値ｆ(−１)，ｆ(０)，ｆ(１)を必要とする。
各出力ポイントは，３つの核係数値の３つの入力画素値
との内積（inner product）として計算される。出力
［ｊ］用の中央入力ポイントはｒｏｕｎｄ（ｏｕｔｐ ｐ
ｏｓ[ｊ]）で位置付けられ、ここで、ｒｏｕｎｄ()は四
捨五入機能である。他の２つの入力ポイントはこの中央
のポイントからの±１だけのオフセットである。中央フ
ィルタ核係数値は、ｆ(ｒｏｕｎｄ（ｏｕｔｐ ｐｏｓ
[ｊ]）−ｏｕｔｐ ｐｏｓ[ｊ]）であり、他のものは、
この中央値ポイントの±１オフセットでのｆ()である。
こうして、以下の表が、各出力に必要なの出力位置，係
数核値および入力ポイントを示す。
【０１７６】
【表１】
【０１７７】この表は、各出力に関する望ましい係数位
置および入力を示す。ｊ＝６３の場合は、核の中央が入
力と整列するということでｊ＝０の場合と類似するが、
出力位置および入力インデックスは６４だけシフトして
いるということに留意願いたい。ｊ＝３２では入力パタ
ーンに変化があることに注意し、ｊが３１以下では、出
力[ｊ]は入力ｊ，ｊ＋１，ｊ＋２を用い、一方、ｊが３
２以上では、出力[ｊ]は入力ｊ＋１，ｊ＋２，ｊ＋３を
用いる。
置および入力を示す。ｊ＝６３の場合は、核の中央が入
力と整列するということでｊ＝０の場合と類似するが、
出力位置および入力インデックスは６４だけシフトして
いるということに留意願いたい。ｊ＝３２では入力パタ
ーンに変化があることに注意し、ｊが３１以下では、出
力[ｊ]は入力ｊ，ｊ＋１，ｊ＋２を用い、一方、ｊが３
２以上では、出力[ｊ]は入力ｊ＋１，ｊ＋２，ｊ＋３を
用いる。
【０１７８】好ましい実施例は、ｉＭＸ１２４とＤＳＰ
１２２との間で二次元アレイ（画像）のサイズを調整す
るためにフィルタリング計算を分割し、メモリの使用を
以下のように制限する。最初に、ｉＭＸ１２４は、６４
バンクの係数で３タップ行フィルタリングを行い、続い
て、６４バンクの係数で３タップ列フィルタリングを行
う。まず、行フィルタリングを考慮する。ｉＭＸ１２４
での３タップ行フィルタリングは次の入出力関係を有す
る。
１２２との間で二次元アレイ（画像）のサイズを調整す
るためにフィルタリング計算を分割し、メモリの使用を
以下のように制限する。最初に、ｉＭＸ１２４は、６４
バンクの係数で３タップ行フィルタリングを行い、続い
て、６４バンクの係数で３タップ列フィルタリングを行
う。まず、行フィルタリングを考慮する。ｉＭＸ１２４
での３タップ行フィルタリングは次の入出力関係を有す
る。
【０１７９】
【表２】
【０１８０】この表と先の６３／６４サイズ調整表とを
比べると、唯一の違いは、ｉＭＸが一つ余分のポイント
すなわちＩＰＰ ｏｕｔｐｕｔ[３２]を生成するもので
あるということが示されている。このように、好ましい
実施例は、ｉＭＸ１２４で６４出力ポイントを生成し、
続いて、６３有効ポイントを選ぶためにＤＳＰ１２２を
用いる。
比べると、唯一の違いは、ｉＭＸが一つ余分のポイント
すなわちＩＰＰ ｏｕｔｐｕｔ[３２]を生成するもので
あるということが示されている。このように、好ましい
実施例は、ｉＭＸ１２４で６４出力ポイントを生成し、
続いて、６３有効ポイントを選ぶためにＤＳＰ１２２を
用いる。
【０１８１】
【数４７】output[j]＝IPP output[j] j=1,2,…,
31のとき IPP output[j+1] j=32,33,…,62のとき
31のとき IPP output[j+1] j=32,33,…,62のとき
【０１８２】一般に、Ｎ／Ｍが１未満のときのＮ／Ｍサ
イズ調整は、Ｍ出力ごとのＭ−Ｎ出力の削除を含む。こ
うして、好ましい実施例は、一般に、ｉＭＸのような加
速器においてＭ入力ポイントでのフィルタ動作を行い、
続いて、ＤＳＰのようなプロセッサを用いて不必要な出
力を廃棄する。（ｉＭＸはまた、Ｎ／Ｍ＝３までの１単
位より大きなサイズ調整を取り扱うこともできる。）
イズ調整は、Ｍ出力ごとのＭ−Ｎ出力の削除を含む。こ
うして、好ましい実施例は、一般に、ｉＭＸのような加
速器においてＭ入力ポイントでのフィルタ動作を行い、
続いて、ＤＳＰのようなプロセッサを用いて不必要な出
力を廃棄する。（ｉＭＸはまた、Ｎ／Ｍ＝３までの１単
位より大きなサイズ調整を取り扱うこともできる。）
【０１８３】ｉＭＸは、３サイクルで３タップ行フィル
タの８出力を生成できる。基本的には、８つの隣り合う
出力は、８ＭＡＣユニットを用いて並列に計算される。
時間０では、入力ポイント０，１，２，３，．．．７を
引き出し、適当な係数（各々異なり得る）と乗算して８
つのアキュミュレータに累積する。時間１では、入力ポ
イント１，２，．．．８を引き出して同じことを行い、
時間２では、入力ポイント２，３，．．．９を引き出し
て積を累積し、８つの出力ｊ＝０，１，．．．７を書き
出す。続いて、８つの入力ポイントにわたってシフト
し、ｊ＝８，９，．．．１５を計算する。垂直方向につ
いては、ｉＭＸは８つの出力を同じように並列に計算す
る。これらは、８つの水平に隣接する出力ポイントであ
って、入力アレイのすべてのフェッチも、８つの水平に
隣接する出力ポイントをひと括りにする。したがって、
すべての８ＭＡＣユニットは、各サイクルについて同じ
係数値を共有する。垂直方向については、ｉＭＸでのデ
ータ再使用はより少なく、それで、入出力メモリの衝突
が４サイクル／８出力に計算をスローダウンする。フィ
ルタリング時間の合計は、７サイクル／８出力または出
力当り７／８サイクルである。入力データは、サイズが
３２０×２４０×３である。このように、ｉＭＸのフィ
ルタリングは、ｉＭＸが１２０ＭＨｚで走るときには３
２０×２４０×３×７／８であり、２０１，６００サイ
クルまたは１．７ミリ秒かかる。
タの８出力を生成できる。基本的には、８つの隣り合う
出力は、８ＭＡＣユニットを用いて並列に計算される。
時間０では、入力ポイント０，１，２，３，．．．７を
引き出し、適当な係数（各々異なり得る）と乗算して８
つのアキュミュレータに累積する。時間１では、入力ポ
イント１，２，．．．８を引き出して同じことを行い、
時間２では、入力ポイント２，３，．．．９を引き出し
て積を累積し、８つの出力ｊ＝０，１，．．．７を書き
出す。続いて、８つの入力ポイントにわたってシフト
し、ｊ＝８，９，．．．１５を計算する。垂直方向につ
いては、ｉＭＸは８つの出力を同じように並列に計算す
る。これらは、８つの水平に隣接する出力ポイントであ
って、入力アレイのすべてのフェッチも、８つの水平に
隣接する出力ポイントをひと括りにする。したがって、
すべての８ＭＡＣユニットは、各サイクルについて同じ
係数値を共有する。垂直方向については、ｉＭＸでのデ
ータ再使用はより少なく、それで、入出力メモリの衝突
が４サイクル／８出力に計算をスローダウンする。フィ
ルタリング時間の合計は、７サイクル／８出力または出
力当り７／８サイクルである。入力データは、サイズが
３２０×２４０×３である。このように、ｉＭＸのフィ
ルタリングは、ｉＭＸが１２０ＭＨｚで走るときには３
２０×２４０×３×７／８であり、２０１，６００サイ
クルまたは１．７ミリ秒かかる。
【０１８４】フィルタリングの後に、ＤＳＰは正しい出
力を選ぶ。基本的には、６４行ごとに１行および６４列
ごとに１列が廃棄される。ＤＳＰアセンブリ・ループ
は、有効なｉＭＸ出力ポイントを別々の出力領域に動か
す。充分なローカル・メモリが双方のためにあるなら
ば、ｉＭＸとＤＳＰとは並列して走行する。入力画像全
体は大きすぎてローカル・メモリに入らないように思え
る。自然な選択でさえ、６３×６３出力ポイントで大き
過ぎる。そのような場合は、幅６３×高さ１６に画像を
分割して垂直方向に余分な簿記（bookkeeping）を取り
扱う。３×６４＝１９２の係数だけであれば、前もって
計算してそれらを記憶するのが経済的である。ＤＳＰ
は、各処理ブロックの位相の経過を追い、ｉＭＸを係数
の正しい開始アドレスに向ける。カラーがインターリー
ブされるならば、これはインターリーブされたフィルタ
リングも可能とする。ｉＭＸは入力ポイントを得るのに
ストライド（strides）を取り扱う。以下の表は、イン
ターリーブされた３タップ・フィルタリングを示す。
力を選ぶ。基本的には、６４行ごとに１行および６４列
ごとに１列が廃棄される。ＤＳＰアセンブリ・ループ
は、有効なｉＭＸ出力ポイントを別々の出力領域に動か
す。充分なローカル・メモリが双方のためにあるなら
ば、ｉＭＸとＤＳＰとは並列して走行する。入力画像全
体は大きすぎてローカル・メモリに入らないように思え
る。自然な選択でさえ、６３×６３出力ポイントで大き
過ぎる。そのような場合は、幅６３×高さ１６に画像を
分割して垂直方向に余分な簿記（bookkeeping）を取り
扱う。３×６４＝１９２の係数だけであれば、前もって
計算してそれらを記憶するのが経済的である。ＤＳＰ
は、各処理ブロックの位相の経過を追い、ｉＭＸを係数
の正しい開始アドレスに向ける。カラーがインターリー
ブされるならば、これはインターリーブされたフィルタ
リングも可能とする。ｉＭＸは入力ポイントを得るのに
ストライド（strides）を取り扱う。以下の表は、イン
ターリーブされた３タップ・フィルタリングを示す。
【０１８５】
【表３】
【０１８６】しかしながら、インターリーブするには、
各カラーにつき同じ出力ブロックサイズ用に３倍より多
くメモリを費やす。このように、タスクを各カラー平面
上で６３×５のようなより小さなサイズに分割し、ま
た、垂直方向で余分のオーバーヘッドを取り扱うことが
可能である。カラーフォーマットが４：４：４ではなく
（例えば、４：２：２）かつ入力がカラーインターリー
ブされているならば、ＤＳＰはカラー平面を分けるのに
更なる時間を費やす必要がある。
各カラーにつき同じ出力ブロックサイズ用に３倍より多
くメモリを費やす。このように、タスクを各カラー平面
上で６３×５のようなより小さなサイズに分割し、ま
た、垂直方向で余分のオーバーヘッドを取り扱うことが
可能である。カラーフォーマットが４：４：４ではなく
（例えば、４：２：２）かつ入力がカラーインターリー
ブされているならば、ＤＳＰはカラー平面を分けるのに
更なる時間を費やす必要がある。
【０１８７】ＤＳＰ１２２において全体的にサイズ調整
を行うには、直接分数アドレシングで実行されるなら
ば、時間が費やされる。好ましい実施例は、フィルタ係
数を再オーダーしダミー・ワードで膨らますことを要求
することによって、計算を簡素化する。ｉＭＸ１２４
は、ＤＳＰ１２２が係数を計算するのと同時に主処理を
行う。これは高スループット・サイズ調整を効率的に実
現する。さらに詳しくは、好ましい実施例は、ｉＭＸ１
２４を用いてＭ位相のＫタップ・フィルタリング（冗長
の出力ポイントを生成する）を行い、また、ＤＳＰ１２
２を用いて正しい出力ポイントを選択することによっ
て、画像のＮ／Ｍサイズ調整を行う。また、ＤＳＰ１２
２は、メモリ使用を８＊Ｋに低減するのに、より少ない
サブサンプル係数テンプレートから必要な係数を計算す
る。そうでなければ、２＊Ｍ＊Ｋ係数ワードまでのメモ
リ使用が必要となる。ＤＳＰ１２２は、係数用のおよそ
の位置を計算し、ｉＭＸ１２４用の係数メモリを築き上
げることができる。
を行うには、直接分数アドレシングで実行されるなら
ば、時間が費やされる。好ましい実施例は、フィルタ係
数を再オーダーしダミー・ワードで膨らますことを要求
することによって、計算を簡素化する。ｉＭＸ１２４
は、ＤＳＰ１２２が係数を計算するのと同時に主処理を
行う。これは高スループット・サイズ調整を効率的に実
現する。さらに詳しくは、好ましい実施例は、ｉＭＸ１
２４を用いてＭ位相のＫタップ・フィルタリング（冗長
の出力ポイントを生成する）を行い、また、ＤＳＰ１２
２を用いて正しい出力ポイントを選択することによっ
て、画像のＮ／Ｍサイズ調整を行う。また、ＤＳＰ１２
２は、メモリ使用を８＊Ｋに低減するのに、より少ない
サブサンプル係数テンプレートから必要な係数を計算す
る。そうでなければ、２＊Ｍ＊Ｋ係数ワードまでのメモ
リ使用が必要となる。ＤＳＰ１２２は、係数用のおよそ
の位置を計算し、ｉＭＸ１２４用の係数メモリを築き上
げることができる。
【０１８８】広くて短い画素のブロック（すなわち、１
６×６４）を処理するために、水平方向は、水平係数が
垂直係数よりもより頻繁に更新されるという点で、より
多くの計算が必要となる。しかしながら、ＤＳＰ１２２
によって構築された係数は、短いブロック内で何度も再
使用することができ、それにより、ＤＳＰ１２２上の負
荷は過剰ではない。
６×６４）を処理するために、水平方向は、水平係数が
垂直係数よりもより頻繁に更新されるという点で、より
多くの計算が必要となる。しかしながら、ＤＳＰ１２２
によって構築された係数は、短いブロック内で何度も再
使用することができ、それにより、ＤＳＰ１２２上の負
荷は過剰ではない。
【０１８９】とりわけ、好ましい実施例は、３タップ・
フィルタおよび１０から９へのサイズ調整（例えば、３
０フレーム／秒における３２０×２４０から２８８×２
１６へのサイズ調整）（４：２：２または４：１：１に
ついて４：４：４にインターリーブされるものとしてサ
イズ調整の後にサブサンプリングを行う）について、図
４２ａから図４２ｅに図示される以下のステップで進行
する。１．入出力パターンを選ぶ：１０入力ごとに図４
２ａのとおり９つの出力が導入される。２．処理ユニッ
トについて係数パターンをあるカラーで最初に描く。入
力ポイントを指示する図４２ｂにおける矢印が用いられ
る：結び付けられた矢印は同じ出力ポイントを形成し、
また、灰色（オープン・ヘッド）の矢印はゼロ係数を指
示する。こうして、３つの入力ポイントが第１の出力ポ
イントを決定し、２つの入力ポイントのみが次の８つの
出力ポイントの各々と９番目の無視される出力（非ゼロ
入力ポイントはない）とを決定し、これが１０ごとに繰
り返される。このパターンは、多位相３タップ・フィル
タの使用を示唆し、また、１０の出力のグループごとに
最後の出力をドロップする。３．インターリーブされた
入出力を考慮する。図４２ｃを参照すると、インターリ
ーブされた１０の入力ポイントの３つのグループの組が
示されており、１０の入力ポイントの原第１のグループ
から第１の出力ポイントを決定する３つの入力ポイント
が位置１，４，７に現在あり、１０の入力ポイントの原
第２のグループから第１の出力ポイントを決定する３つ
の入力ポイントが位置２，５，８に現在あり、１０の入
力ポイントの原第３のグループから第１の出力ポイント
を決定する３つの入力ポイントが位置３，６，９に現在
あり、以下同様であるものとされる。このインターリー
ブは、３つの隣接出力ポイントの組がすべての異なる入
力ポイントを用いるとともに同時メモリアクセスを必要
としないということを意味する。４．８重の並列処理と
ｉＭＸとを考慮し、必要ならばさらにダミーの出力を加
える。図４２ｄを参照すると、並列計算用の８からなる
４つのグループに分割された出力ポイントが示されてい
る。５．グループ分けされた係数およびオーダーを計算
する。ｉＭＸは、左から右へのそして上から下への係数
オーダーを用いて１度に１つのグループを処理し、その
後、次のグループへと進む。係数は同じオーダーに整列
される必要がある。ｉＭＸ係数メモリとフラッシュメモ
リとがこれらすべての係数を収容できるならば、これら
の係数はＤＳＰコードに一定のデータとして含むことが
でき、また、このステップはソフトウェア開発において
１度に行われる。ｉＭＸ係数メモリがこれらの係数をず
っと保持することができるがこれらがフラッシュメモリ
においてあまりにも大きな場所を占めるならば、このス
テップはシステムの初期化の間に１度行われる。同様
に、ＳＤＲＡＭはこれらのすべての係数を保持できる
が、ｉＭＸ係数メモリはそれらをずっと保持できない。
このステップはシステムの初期化において１度行われ、
また、係数画像はＳＤＲＡＭに記憶される。必要なとき
は、これらの係数はＳＤＲＡＭから交換される。これら
すべての係数をいかなるときにも記憶するのは望ましく
なく、とりわけ、Ｍが非常に大きい（１００＋）とき
は、係数の必要な「ウインドウ」をｉＭＸ処理と同時に
ＤＳＰで計算する。ｉＭＸ係数メモリが計算ブロックの
ために必要な係数を保持できることを確認だけするこ
と。６．ｉＭＸで計算を始める。この場合、２７有効出
力ポイントを生成するのにインナーループで約１２サイ
クル掛かる。各ｉＭＸコマンドは、２−Ｄ出力ブロック
を生成でき、それにより、１６×２７出力ポイントを生
成するのに約１０＋１６＊１２＝２０２サイクル掛か
る。７．ｉＭＸが行われたとき、ＤＳＰに正しい出力ポ
イントを選ばさせる。この例では、２７６ポイントが３
２出力ポイントの全グループから選ばれる。このタスク
は、出力の幅が３＊Ｍにマッチするかその倍数であるな
らば、符号化するのがより簡単である。ＤＳＰは、各有
効出力に１度触れることのみしなければならず、それに
より、ＤＳＰのローディングは重要なものとはならない
フィルタおよび１０から９へのサイズ調整（例えば、３
０フレーム／秒における３２０×２４０から２８８×２
１６へのサイズ調整）（４：２：２または４：１：１に
ついて４：４：４にインターリーブされるものとしてサ
イズ調整の後にサブサンプリングを行う）について、図
４２ａから図４２ｅに図示される以下のステップで進行
する。１．入出力パターンを選ぶ：１０入力ごとに図４
２ａのとおり９つの出力が導入される。２．処理ユニッ
トについて係数パターンをあるカラーで最初に描く。入
力ポイントを指示する図４２ｂにおける矢印が用いられ
る：結び付けられた矢印は同じ出力ポイントを形成し、
また、灰色（オープン・ヘッド）の矢印はゼロ係数を指
示する。こうして、３つの入力ポイントが第１の出力ポ
イントを決定し、２つの入力ポイントのみが次の８つの
出力ポイントの各々と９番目の無視される出力（非ゼロ
入力ポイントはない）とを決定し、これが１０ごとに繰
り返される。このパターンは、多位相３タップ・フィル
タの使用を示唆し、また、１０の出力のグループごとに
最後の出力をドロップする。３．インターリーブされた
入出力を考慮する。図４２ｃを参照すると、インターリ
ーブされた１０の入力ポイントの３つのグループの組が
示されており、１０の入力ポイントの原第１のグループ
から第１の出力ポイントを決定する３つの入力ポイント
が位置１，４，７に現在あり、１０の入力ポイントの原
第２のグループから第１の出力ポイントを決定する３つ
の入力ポイントが位置２，５，８に現在あり、１０の入
力ポイントの原第３のグループから第１の出力ポイント
を決定する３つの入力ポイントが位置３，６，９に現在
あり、以下同様であるものとされる。このインターリー
ブは、３つの隣接出力ポイントの組がすべての異なる入
力ポイントを用いるとともに同時メモリアクセスを必要
としないということを意味する。４．８重の並列処理と
ｉＭＸとを考慮し、必要ならばさらにダミーの出力を加
える。図４２ｄを参照すると、並列計算用の８からなる
４つのグループに分割された出力ポイントが示されてい
る。５．グループ分けされた係数およびオーダーを計算
する。ｉＭＸは、左から右へのそして上から下への係数
オーダーを用いて１度に１つのグループを処理し、その
後、次のグループへと進む。係数は同じオーダーに整列
される必要がある。ｉＭＸ係数メモリとフラッシュメモ
リとがこれらすべての係数を収容できるならば、これら
の係数はＤＳＰコードに一定のデータとして含むことが
でき、また、このステップはソフトウェア開発において
１度に行われる。ｉＭＸ係数メモリがこれらの係数をず
っと保持することができるがこれらがフラッシュメモリ
においてあまりにも大きな場所を占めるならば、このス
テップはシステムの初期化の間に１度行われる。同様
に、ＳＤＲＡＭはこれらのすべての係数を保持できる
が、ｉＭＸ係数メモリはそれらをずっと保持できない。
このステップはシステムの初期化において１度行われ、
また、係数画像はＳＤＲＡＭに記憶される。必要なとき
は、これらの係数はＳＤＲＡＭから交換される。これら
すべての係数をいかなるときにも記憶するのは望ましく
なく、とりわけ、Ｍが非常に大きい（１００＋）とき
は、係数の必要な「ウインドウ」をｉＭＸ処理と同時に
ＤＳＰで計算する。ｉＭＸ係数メモリが計算ブロックの
ために必要な係数を保持できることを確認だけするこ
と。６．ｉＭＸで計算を始める。この場合、２７有効出
力ポイントを生成するのにインナーループで約１２サイ
クル掛かる。各ｉＭＸコマンドは、２−Ｄ出力ブロック
を生成でき、それにより、１６×２７出力ポイントを生
成するのに約１０＋１６＊１２＝２０２サイクル掛か
る。７．ｉＭＸが行われたとき、ＤＳＰに正しい出力ポ
イントを選ばさせる。この例では、２７６ポイントが３
２出力ポイントの全グループから選ばれる。このタスク
は、出力の幅が３＊Ｍにマッチするかその倍数であるな
らば、符号化するのがより簡単である。ＤＳＰは、各有
効出力に１度触れることのみしなければならず、それに
より、ＤＳＰのローディングは重要なものとはならない
【０１９０】垂直サイズ調整では、ｉＭＸはＳＩＭＤモ
ードで働く。８つの隣接データ入力の各グループが並列
に処理される。係数はサイクルごとに１つの値で用いら
れ、この値はすべてのカラー成分に適応される。サイズ
調整ファクターが水平および垂直で同じであるとして
も、どのようにｉＭＸが係数を用いるかは異なってお
り、それにより、別々の垂直サイズ調整係数記憶である
（それには水平係数の１／３掛かる）必要がある。図４
２ｅを参照のこと。ここでも、ｉＭＸにおけるすべての
垂直係数をスワップ・インおよびスワップ・アウトに保
つか、ＤＳＰに休む間もなく計算させるというオプショ
ンがある。ＤＳＰは、ｉＭＸが処理を完了した後に、有
効出力行を選ぶ必要がある。
ードで働く。８つの隣接データ入力の各グループが並列
に処理される。係数はサイクルごとに１つの値で用いら
れ、この値はすべてのカラー成分に適応される。サイズ
調整ファクターが水平および垂直で同じであるとして
も、どのようにｉＭＸが係数を用いるかは異なってお
り、それにより、別々の垂直サイズ調整係数記憶である
（それには水平係数の１／３掛かる）必要がある。図４
２ｅを参照のこと。ここでも、ｉＭＸにおけるすべての
垂直係数をスワップ・インおよびスワップ・アウトに保
つか、ＤＳＰに休む間もなく計算させるというオプショ
ンがある。ＤＳＰは、ｉＭＸが処理を完了した後に、有
効出力行を選ぶ必要がある。
【０１９１】色調スケーリングの好ましい実施例 色調スケーリングは、細部をより明瞭にするために、画
像の輝度信号（または、カラー信号）のダイナミックレ
ンジについて作動する。例えば、逆光でまたは非常に明
るい環境で撮られた写真は、典型的には、高い明るさレ
ベルを有する。色調スケーリングは、通常、図４３によ
ってブロック形状で図示される輝度（または、カラー）
ヒストグラム均一化に依存する。実際、コンバータ・ブ
ロック４３０は、入力輝度レベルを（８ビットについて
は０〜２５５の範囲において、または、１２ビットにつ
いては０〜４０９５の範囲において）ルックアップ・テ
ーブルを用いて同じ範囲における出力輝度レベルに変換
する。ルックアップ・テーブルは、入力レベルと、ヒス
トグラム均一化ブロック４３２において以下のように計
算される出力レベルを有する対応出力レベルとのペアで
ある。まず、色調スケーリングが適応される画像の入力
輝度レベルの累積分布関数を求める。すなわち、Ｆ(ｒ)
＝（レベルがｒ以下である画素の数）／（画像における
画素の合計数）であるようなＦ(ｒ)を求める。次に、Ｆ
(ｒ)を最大画素レベルと乗算し最も近い整数に四捨五入
することにより、ルックアップ・テーブル関数Ｔ(ｒ)を
生成する。そのとき、ルックアップ・テーブルは、ｓ＝
Ｔ(ｒ)であるレベル（ｒ，ｓ）のペアにすぎない。図４
５は、暗部の細かな細部は認識するのが困難である現像
下の画像（画素の大半は、小さなｒについてのＴ(ｒ)の
大きなスロープによって反射されるので、低レベルを有
する）についてのＴ(ｒ)を例示する。また、この現像下
の画像については、図４５に示されるように、色調スケ
ーリングはレベルｒ＝５００をｓ＝２０００に変換し、
したがって、色調スケーリングされた画像においては、
輝度レベルの相違が低レベルについては強調され高レベ
ルについては強調されない。こうして、色調スケーリン
グは暗部における細部を強調する。
像の輝度信号（または、カラー信号）のダイナミックレ
ンジについて作動する。例えば、逆光でまたは非常に明
るい環境で撮られた写真は、典型的には、高い明るさレ
ベルを有する。色調スケーリングは、通常、図４３によ
ってブロック形状で図示される輝度（または、カラー）
ヒストグラム均一化に依存する。実際、コンバータ・ブ
ロック４３０は、入力輝度レベルを（８ビットについて
は０〜２５５の範囲において、または、１２ビットにつ
いては０〜４０９５の範囲において）ルックアップ・テ
ーブルを用いて同じ範囲における出力輝度レベルに変換
する。ルックアップ・テーブルは、入力レベルと、ヒス
トグラム均一化ブロック４３２において以下のように計
算される出力レベルを有する対応出力レベルとのペアで
ある。まず、色調スケーリングが適応される画像の入力
輝度レベルの累積分布関数を求める。すなわち、Ｆ(ｒ)
＝（レベルがｒ以下である画素の数）／（画像における
画素の合計数）であるようなＦ(ｒ)を求める。次に、Ｆ
(ｒ)を最大画素レベルと乗算し最も近い整数に四捨五入
することにより、ルックアップ・テーブル関数Ｔ(ｒ)を
生成する。そのとき、ルックアップ・テーブルは、ｓ＝
Ｔ(ｒ)であるレベル（ｒ，ｓ）のペアにすぎない。図４
５は、暗部の細かな細部は認識するのが困難である現像
下の画像（画素の大半は、小さなｒについてのＴ(ｒ)の
大きなスロープによって反射されるので、低レベルを有
する）についてのＴ(ｒ)を例示する。また、この現像下
の画像については、図４５に示されるように、色調スケ
ーリングはレベルｒ＝５００をｓ＝２０００に変換し、
したがって、色調スケーリングされた画像においては、
輝度レベルの相違が低レベルについては強調され高レベ
ルについては強調されない。こうして、色調スケーリン
グは暗部における細部を強調する。
【０１９２】しかしながら、色調スケーリングされた画
像は、カラーが明瞭でありすぎて、色調スケーリングさ
れた画像が油絵で描かれたものであるかのように、不自
然に見える。このように、医療やナイト・ビジョンのよ
うな他の応用は不自然ながらも細かい細部を要求するけ
れども、この色調スケーリングは、たとえ細かな細部が
より明瞭であっても、不自然な特徴のために消費者用に
は強すぎるものとなることがある。
像は、カラーが明瞭でありすぎて、色調スケーリングさ
れた画像が油絵で描かれたものであるかのように、不自
然に見える。このように、医療やナイト・ビジョンのよ
うな他の応用は不自然ながらも細かい細部を要求するけ
れども、この色調スケーリングは、たとえ細かな細部が
より明瞭であっても、不自然な特徴のために消費者用に
は強すぎるものとなることがある。
【０１９３】好ましい実施例は、ヒストグラム均等化関
数Ｔ(ｒ)と原画像レベルｒとの線形組合せを用いること
によって色調スケーリングを提供する。すなわち、０以
上１以下のパラメータαについて、色調スケーリング関
数は次式で定義される。
数Ｔ(ｒ)と原画像レベルｒとの線形組合せを用いること
によって色調スケーリングを提供する。すなわち、０以
上１以下のパラメータαについて、色調スケーリング関
数は次式で定義される。
【０１９４】
【数４８】ｓ＝Ｒｏｕｎｄ(αＴ(ｒ)＋（１−α）ｒ)
【０１９５】ここで、続くαとの乗算，（１−α）ｒと
の加算および四捨五入のために、最も近い整数に四捨五
入することがＴ(ｒ)の定義においては必要でないという
点を除いて、Ｔ(ｒ)は先に説明したとおりである。図４
５は、曲線ｓ＝Ｔ(ｒ)と恒等線ｓ＝ｒとの間のα＝０．
３についての好ましい実施例を例示する。
の加算および四捨五入のために、最も近い整数に四捨五
入することがＴ(ｒ)の定義においては必要でないという
点を除いて、Ｔ(ｒ)は先に説明したとおりである。図４
５は、曲線ｓ＝Ｔ(ｒ)と恒等線ｓ＝ｒとの間のα＝０．
３についての好ましい実施例を例示する。
【０１９６】図４４は、機能ブロック形状における好ま
しい実施例の色調スケーリングを示し、ここでも、ブロ
ック４４２において輝度（または、カラー）レベルにつ
いてヒストグラム均等関数Ｔ()を定義し、Ｔ()の重みα
とブロック４４４における恒等式との四捨五入された線
形組合せを定義して、コンバータ４４０における色調ス
ケーリング用の最終ルックアップ・テーブルを得る。重
みαが０に等しいときは、色調スケーリングはなく見た
目も自然ではないが、重みαが１に等しいときは、色調
スケーリングがＴ()で行われ細かい細部が強調される。
重みαの値は応用に従って選択できる。計算のすべては
プログラム可能である。
しい実施例の色調スケーリングを示し、ここでも、ブロ
ック４４２において輝度（または、カラー）レベルにつ
いてヒストグラム均等関数Ｔ()を定義し、Ｔ()の重みα
とブロック４４４における恒等式との四捨五入された線
形組合せを定義して、コンバータ４４０における色調ス
ケーリング用の最終ルックアップ・テーブルを得る。重
みαが０に等しいときは、色調スケーリングはなく見た
目も自然ではないが、重みαが１に等しいときは、色調
スケーリングがＴ()で行われ細かい細部が強調される。
重みαの値は応用に従って選択できる。計算のすべては
プログラム可能である。
【０１９７】実施の詳細 先の機能を支援する好ましい実施例のハードウェア構造
は以下のものを含む。
は以下のものを含む。
【０１９８】ＳＤＲＡＭコントローラ ＳＤＲＡＭコントローラ・ブロック１１０は、ＳＤＲＡ
Ｍ１１０とプロセッサ（ＡＲＭ１３０，ＤＳＰ１２
２），ＣＣＤコントローラ１０２，ＴＶ符号器１０６，
プレビュー・エンジン１０４などのようなすべての機能
ブロックとの間のメイン・インターフェイスとして動作
する。それは８０ＭＨｚまでのＳＤＲＡＭタイミングを
支援する。それはまた、連続データ・アクセス用の低オ
ーバーヘッドを提供する。それはまた、ＣＣＤデータ入
力およびＴＶ表示データ出力の実時間データストリーム
を支援するためにアクセスユニットを優先付ける能力を
有する。それはまた、外部ＳＤＲＡＭ用のパワーダウン
制御を提供する。ＤＳＰ１２２は、データ・アクセスが
ない間にＳＤＲＡＭ１６０のＣＫＥ信号を禁止すること
ができる。ＳＤＲＡＭコントローラ・ブロック１１０
は、１６／６４／１２８／２５６ＭＢ・ＳＤＲＡＭと、
３２ビット幅または２×１６ビット幅ＳＤＲＡＭと、最
大８０ＭＨｚ（例えば、１０〜８０ＭＨｚ）動作と、ワ
ード，ハーフ・ワードまたはバイト・アクセス（ＡＲ
Ｍ）の利用可能性とを支援し、モード設定とパワーダウ
ンおよび自己リフレッシュ・プログラム可能リフレッシ
ュ間隔とをコマンドし、２または３のＣＡＳ待ち時間を
選択可能とすることができ、２チップ選択出力（最大Ｓ
ＤＲＡＭサイズが１Ｇビット）をコマンドし、ＤＭＡ転
送を許可および管理し、プロセッサとＳＤＲＡＭとの間
の、ＣＣＤデータバッファからＳＤＲＡＭへの、プレビ
ュー・エンジンからＳＤＲＡＭへの、バースト圧縮から
ＳＤＲＡＭへのまたはその反対の、ＳＤＲＡＭからビデ
オ符号器への、ＳＤＲＡＭからＯＳＤへの、ＡＲＭから
ＳＤＲＡＭへのまたはその反対の、ＤＳＰ画像バッファ
からＳＤＲＡＭへのまたはその反対の、データ・フロー
を管理する。図１２ａはＳＤＲＡＭコントローラによっ
て管理されるデータ・フローを示す。信号および優先順
位は以下のとおりである。
Ｍ１１０とプロセッサ（ＡＲＭ１３０，ＤＳＰ１２
２），ＣＣＤコントローラ１０２，ＴＶ符号器１０６，
プレビュー・エンジン１０４などのようなすべての機能
ブロックとの間のメイン・インターフェイスとして動作
する。それは８０ＭＨｚまでのＳＤＲＡＭタイミングを
支援する。それはまた、連続データ・アクセス用の低オ
ーバーヘッドを提供する。それはまた、ＣＣＤデータ入
力およびＴＶ表示データ出力の実時間データストリーム
を支援するためにアクセスユニットを優先付ける能力を
有する。それはまた、外部ＳＤＲＡＭ用のパワーダウン
制御を提供する。ＤＳＰ１２２は、データ・アクセスが
ない間にＳＤＲＡＭ１６０のＣＫＥ信号を禁止すること
ができる。ＳＤＲＡＭコントローラ・ブロック１１０
は、１６／６４／１２８／２５６ＭＢ・ＳＤＲＡＭと、
３２ビット幅または２×１６ビット幅ＳＤＲＡＭと、最
大８０ＭＨｚ（例えば、１０〜８０ＭＨｚ）動作と、ワ
ード，ハーフ・ワードまたはバイト・アクセス（ＡＲ
Ｍ）の利用可能性とを支援し、モード設定とパワーダウ
ンおよび自己リフレッシュ・プログラム可能リフレッシ
ュ間隔とをコマンドし、２または３のＣＡＳ待ち時間を
選択可能とすることができ、２チップ選択出力（最大Ｓ
ＤＲＡＭサイズが１Ｇビット）をコマンドし、ＤＭＡ転
送を許可および管理し、プロセッサとＳＤＲＡＭとの間
の、ＣＣＤデータバッファからＳＤＲＡＭへの、プレビ
ュー・エンジンからＳＤＲＡＭへの、バースト圧縮から
ＳＤＲＡＭへのまたはその反対の、ＳＤＲＡＭからビデ
オ符号器への、ＳＤＲＡＭからＯＳＤへの、ＡＲＭから
ＳＤＲＡＭへのまたはその反対の、ＤＳＰ画像バッファ
からＳＤＲＡＭへのまたはその反対の、データ・フロー
を管理する。図１２ａはＳＤＲＡＭコントローラによっ
て管理されるデータ・フローを示す。信号および優先順
位は以下のとおりである。
【０１９９】
【表４】
【０２００】アクセス・ユニットの優先順位表は以下の
とおりである。
とおりである。
【０２０１】
【表５】
【０２０２】プレビュー・エンジン 図１４は、ＣＣＤ生データからの４：２：２フォーマッ
トのＹＣｂＣｒをＣＣＤコントローラ１０２から画像デ
ータに提供するとともに以下のメイン機能を有する好ま
しい実施例のプレビュー・エンジン１０４のブロック図
である。ＲＧＢ・ＣＣＤおよび相補（ＹｅＣｙＭｇＧ）
ＣＣＤの双方について利用可能である（図７ａおよび図
７ｂがこれらのＣＣＤパターンを示す） デジタル利得調整 ホワイトバランス 垂直および水平ノイズフィルタ 相補ＣＣＤ用のＲＧＢ利得調整 ＲＧＢカラー用の独立ガンマ補正 ＹＣｂＣｒ−４：２：２でフォーマットされたデータ出
力
トのＹＣｂＣｒをＣＣＤコントローラ１０２から画像デ
ータに提供するとともに以下のメイン機能を有する好ま
しい実施例のプレビュー・エンジン１０４のブロック図
である。ＲＧＢ・ＣＣＤおよび相補（ＹｅＣｙＭｇＧ）
ＣＣＤの双方について利用可能である（図７ａおよび図
７ｂがこれらのＣＣＤパターンを示す） デジタル利得調整 ホワイトバランス 垂直および水平ノイズフィルタ 相補ＣＣＤ用のＲＧＢ利得調整 ＲＧＢカラー用の独立ガンマ補正 ＹＣｂＣｒ−４：２：２でフォーマットされたデータ出
力
【０２０３】同期モジュール１４０２は、画像の開始ポ
イント用の同期信号およびダウンサンプリング用のイネ
ーブル信号のような他のモジュール用の制御信号を生成
する。このモジュールでは、画像処理は行われない。ホ
ワイトバランス・モジュール１４０４は、ＣＣＤ生デー
タについてデジタル利得調整およびホワイトバランスを
行う。ＣＦＡ補間モジュール１４０６は、水平ノイズフ
ィルタ，水平補間，垂直ノイズフィルタ，垂直補間，ダ
ウンサンプリングなどのような多くの重要なサブモジュ
ールを有する。このモジュールは、ＣＣＤモード（ＲＧ
Ｂ ＣＣＤまたは相補ＣＣＤ）に関係なくＲＧＢフォー
マットされたデータを出力する。相補ＣＣＤ用のＲＧＢ
利得モジュール１４０８は、相補ＣＣＤ用のＲＧＢカラ
ー・フォーマットによってホワイトバランスを行う調整
を可能とする。ガンマ補正モジュール１４１０は、４つ
の線形セグメントを有する近似ガンマ曲線でガンマ補正
を行う。このモジュールは、各カラーについて存在して
ＲＧＢへの独立調整を可能とする。ＲＧＢ２ＹＣｂＣｒ
変換モジュール１４１２は、ＲＧＢフォーマットされた
データをＹＣｂＣｒフォーマットされたデータに変換
し、ＣｂおよびＣｒのオフセットを調整する。４：２：
２変換モジュール１４１４は、ＹＣｂＣｒ−４：４：４
フォーマットされたデータを２：２：２フォーマットに
変換し、それらを３２ビット・データ・バスに出力す
る。ＳＤＲＡＭインターフェイス・モジュール１４１６
は、ＳＤＲＡＭコントローラ１１０（図１ｂ）と通信
し、それにＹＣｂＣｒ−４：２：２フォーマットされた
画像データを記憶するように要求する。
イント用の同期信号およびダウンサンプリング用のイネ
ーブル信号のような他のモジュール用の制御信号を生成
する。このモジュールでは、画像処理は行われない。ホ
ワイトバランス・モジュール１４０４は、ＣＣＤ生デー
タについてデジタル利得調整およびホワイトバランスを
行う。ＣＦＡ補間モジュール１４０６は、水平ノイズフ
ィルタ，水平補間，垂直ノイズフィルタ，垂直補間，ダ
ウンサンプリングなどのような多くの重要なサブモジュ
ールを有する。このモジュールは、ＣＣＤモード（ＲＧ
Ｂ ＣＣＤまたは相補ＣＣＤ）に関係なくＲＧＢフォー
マットされたデータを出力する。相補ＣＣＤ用のＲＧＢ
利得モジュール１４０８は、相補ＣＣＤ用のＲＧＢカラ
ー・フォーマットによってホワイトバランスを行う調整
を可能とする。ガンマ補正モジュール１４１０は、４つ
の線形セグメントを有する近似ガンマ曲線でガンマ補正
を行う。このモジュールは、各カラーについて存在して
ＲＧＢへの独立調整を可能とする。ＲＧＢ２ＹＣｂＣｒ
変換モジュール１４１２は、ＲＧＢフォーマットされた
データをＹＣｂＣｒフォーマットされたデータに変換
し、ＣｂおよびＣｒのオフセットを調整する。４：２：
２変換モジュール１４１４は、ＹＣｂＣｒ−４：４：４
フォーマットされたデータを２：２：２フォーマットに
変換し、それらを３２ビット・データ・バスに出力す
る。ＳＤＲＡＭインターフェイス・モジュール１４１６
は、ＳＤＲＡＭコントローラ１１０（図１ｂ）と通信
し、それにＹＣｂＣｒ−４：２：２フォーマットされた
画像データを記憶するように要求する。
【０２０４】以下にモジュールを説明する。ホワイトバ
ランス・モジュール１４０４は、ＣＣＤ生データについ
てデジタル利得調整およびホワイトバランスを行う。デ
ジタル利得は画像の全体明るさを調整し、ホワイトバラ
ンスはＣＦＡパターンで存在するカラーの比を調整す
る。図８は、ホワイトバランス・モジュール１４０４の
ブロック図である。２つの利得調整のために２つの乗算
器があり、また、回路のサイズを低減するためにクリッ
プ回路がある。この図でＰＶＧＡＩＮと名付けられたデ
ジタル利得用の利得値はＰＶＧＡＩＮレジスタのデータ
を用い、また、ホワイトバランスはＣＦＡパターン・レ
ジスタを設定することによって自動的に選択される。
ランス・モジュール１４０４は、ＣＣＤ生データについ
てデジタル利得調整およびホワイトバランスを行う。デ
ジタル利得は画像の全体明るさを調整し、ホワイトバラ
ンスはＣＦＡパターンで存在するカラーの比を調整す
る。図８は、ホワイトバランス・モジュール１４０４の
ブロック図である。２つの利得調整のために２つの乗算
器があり、また、回路のサイズを低減するためにクリッ
プ回路がある。この図でＰＶＧＡＩＮと名付けられたデ
ジタル利得用の利得値はＰＶＧＡＩＮレジスタのデータ
を用い、また、ホワイトバランスはＣＦＡパターン・レ
ジスタを設定することによって自動的に選択される。
【０２０５】ＣＦＡ補間モジュール１４０６は、水平お
よび垂直補間，水平および垂直ノイズフィルタリング，
ダウンサンプリング，カラー調整およびＲＧＢカラー変
換への相補カラー用のサブモジュールを含む。図１０ａ
は、ＣＦＡ補間モジュール１４０６のブロック図であ
る。水平ノイズフィルタ・サブモジュール１００２は、
３タップ・ローパスフィルタ水平フィルタを行う。図１
０ｂを参照。水平補間フィルタ・サブモジュール１００
４は、２種類のフィルタを用意しており、それらの１つ
を用いて水平に補間する。出力信号「Ｌ」および「Ｒ」
はライン上の左データおよび右データを意味する。例え
ば、処理されたラインは次のＣＦＡパターンＧＢＧＢＧ
ＢＧＢＧＢ．．．で始まり、出力信号「Ｌ」はＧであ
り、出力信号「Ｒ」はＢである。したがって、これらの
２つの出力は各ラインでカラーを変える。水平ダウンサ
ンプリング・サブモジュール１００６は、水平デシメー
ション・パターンのレジスタ設定に基づいて有効画素上
のデータのみを出力する。垂直補間サブモジュール１０
０８は、プレビュー・エンジン・モジュールの外で２つ
のラインメモリ１０１０を用いて３タップ垂直補間フィ
ルタを処理するとともに、ＣＦＡパターンに存在するす
べてのカラーのデータを出力する。そして、このサブモ
ジュールは垂直ノイズフィルタも実行する。カラー選択
サブモジュール１０１２は、ＣＦＡパターンでカラーご
とにデータを抽出するとともに、ＲＧＢカラー・フォー
マットされたデータをＲＧＢ ＣＣＤモードで出力する
か相補カラー・フォーマットされたデータを相補ＣＣＤ
モードで出力する。この図では、「ｇ」信号は、Ｇに関
する一時データであり、次のカラー調整サブモジュール
１０１４においてＲおよびＢを再計算するのに用いられ
る。カラー・フォーマットされたデータはカラー調整サ
ブモジュール１０１４でカラー調整処理され、また、そ
の処理はＣＣＤモードによって異なる。垂直補間サブモ
ジュール１００８からカラー調整サブモジュール１０１
４へのこの画像処理は、ＣＣＤモードおよび垂直補間モ
ードに依存して強い相関関係を有する。したがって、そ
の処理は、以下で説明される一連の垂直補間処理として
考慮される。Ｃｏｍｐ２ＲＧＢ変換サブモジュール１０
１６は、相補ＣＣＤモードにおいて補色フォーマットを
ＲＧＢカラー・フォーマットに変換する。ＲＧＢ ＣＣ
Ｄモードでは、データはこのサブモジュールを迂回す
る。
よび垂直補間，水平および垂直ノイズフィルタリング，
ダウンサンプリング，カラー調整およびＲＧＢカラー変
換への相補カラー用のサブモジュールを含む。図１０ａ
は、ＣＦＡ補間モジュール１４０６のブロック図であ
る。水平ノイズフィルタ・サブモジュール１００２は、
３タップ・ローパスフィルタ水平フィルタを行う。図１
０ｂを参照。水平補間フィルタ・サブモジュール１００
４は、２種類のフィルタを用意しており、それらの１つ
を用いて水平に補間する。出力信号「Ｌ」および「Ｒ」
はライン上の左データおよび右データを意味する。例え
ば、処理されたラインは次のＣＦＡパターンＧＢＧＢＧ
ＢＧＢＧＢ．．．で始まり、出力信号「Ｌ」はＧであ
り、出力信号「Ｒ」はＢである。したがって、これらの
２つの出力は各ラインでカラーを変える。水平ダウンサ
ンプリング・サブモジュール１００６は、水平デシメー
ション・パターンのレジスタ設定に基づいて有効画素上
のデータのみを出力する。垂直補間サブモジュール１０
０８は、プレビュー・エンジン・モジュールの外で２つ
のラインメモリ１０１０を用いて３タップ垂直補間フィ
ルタを処理するとともに、ＣＦＡパターンに存在するす
べてのカラーのデータを出力する。そして、このサブモ
ジュールは垂直ノイズフィルタも実行する。カラー選択
サブモジュール１０１２は、ＣＦＡパターンでカラーご
とにデータを抽出するとともに、ＲＧＢカラー・フォー
マットされたデータをＲＧＢ ＣＣＤモードで出力する
か相補カラー・フォーマットされたデータを相補ＣＣＤ
モードで出力する。この図では、「ｇ」信号は、Ｇに関
する一時データであり、次のカラー調整サブモジュール
１０１４においてＲおよびＢを再計算するのに用いられ
る。カラー・フォーマットされたデータはカラー調整サ
ブモジュール１０１４でカラー調整処理され、また、そ
の処理はＣＣＤモードによって異なる。垂直補間サブモ
ジュール１００８からカラー調整サブモジュール１０１
４へのこの画像処理は、ＣＣＤモードおよび垂直補間モ
ードに依存して強い相関関係を有する。したがって、そ
の処理は、以下で説明される一連の垂直補間処理として
考慮される。Ｃｏｍｐ２ＲＧＢ変換サブモジュール１０
１６は、相補ＣＣＤモードにおいて補色フォーマットを
ＲＧＢカラー・フォーマットに変換する。ＲＧＢ ＣＣ
Ｄモードでは、データはこのサブモジュールを迂回す
る。
【０２０６】以下のセクションはこれらのサブモジュー
ルを説明する。水平ノイズフィルタ１００２は、３タッ
プ水平ローパスフィルタを実行し、ランダムノイズを効
率的に低減することができる。実際、データの中心がＸ
0に設定されるとき、ＣＦＡパターンおよびそれの処理
されたラインに依存して以下の計算が実行される。
ルを説明する。水平ノイズフィルタ１００２は、３タッ
プ水平ローパスフィルタを実行し、ランダムノイズを効
率的に低減することができる。実際、データの中心がＸ
0に設定されるとき、ＣＦＡパターンおよびそれの処理
されたラインに依存して以下の計算が実行される。
【０２０７】
【数４９】
【０２０８】このフィルタのオン／オフ・スイッチング
はレジスタ設定によって制御できる。
はレジスタ設定によって制御できる。
【０２０９】図１０ｂは、水平ノイズフィルタ・サブモ
ジュール１００２のブロック図である。２種類のフィル
タが、２つの加算器とこの図で「three taps sw」と
名付けられたスイッチとを用いて実行される。処理ライ
ンに１つのカラーがあるならば、スイッチはオンに設定
される（図においてハイ）。このスイッチは、ＣＦＡパ
ターンのレジスタ設定と処理画像のラインの位置とに依
存して自動的に制御される。出力の前に、ノイズフィル
タリングされたデータまたは迂回されたデータがレジス
タ設定によって選択される。
ジュール１００２のブロック図である。２種類のフィル
タが、２つの加算器とこの図で「three taps sw」と
名付けられたスイッチとを用いて実行される。処理ライ
ンに１つのカラーがあるならば、スイッチはオンに設定
される（図においてハイ）。このスイッチは、ＣＦＡパ
ターンのレジスタ設定と処理画像のラインの位置とに依
存して自動的に制御される。出力の前に、ノイズフィル
タリングされたデータまたは迂回されたデータがレジス
タ設定によって選択される。
【０２１０】水平補間サブモジュール１００４では、２
つのモードのフィルタリングがあり、水平ノイズフィル
タ１００２からのデータは２タップか５タップかのいず
れかの補間フィルタによって水平に補間される。２タッ
プ・フィルタは、中央のデータを補間するために、左お
よび右の隣接画素での２つのデータの平均を用いる。こ
のモードは「単純モード」と呼ばれる。５タップ水平補
間フィルタは、処理画像におけるエッジの周りの誤りカ
ラーを効率的に低減することができるように、処理ライ
ン上で別のカラーの情報を使用する。このモードは「通
常モード」と呼ばれる。これらのモードはレジスタ設定
によって選択可能である。実際、データの中央がＸ0に
設定されるとき、補間モードに依存して以下の計算が実
行される。
つのモードのフィルタリングがあり、水平ノイズフィル
タ１００２からのデータは２タップか５タップかのいず
れかの補間フィルタによって水平に補間される。２タッ
プ・フィルタは、中央のデータを補間するために、左お
よび右の隣接画素での２つのデータの平均を用いる。こ
のモードは「単純モード」と呼ばれる。５タップ水平補
間フィルタは、処理画像におけるエッジの周りの誤りカ
ラーを効率的に低減することができるように、処理ライ
ン上で別のカラーの情報を使用する。このモードは「通
常モード」と呼ばれる。これらのモードはレジスタ設定
によって選択可能である。実際、データの中央がＸ0に
設定されるとき、補間モードに依存して以下の計算が実
行される。
【０２１１】
【数５０】
【０２１２】図１０ｃは、ＲＧＢバイエルＣＣＤモード
におけるこの水平補間処理の一例を示す。この図におい
て、補間されるデータは小文字によって表されている。
におけるこの水平補間処理の一例を示す。この図におい
て、補間されるデータは小文字によって表されている。
【０２１３】図１０ｄは、水平補間モジュール１００４
のブロック図である。２つの加算器，１つの減算器およ
びフィルタ・モード・スイッチが、これら２種類のフィ
ルタの１つを実行するために実現される。フィルタ・モ
ード・スイッチは、レジスタを設定することによって制
御される。
のブロック図である。２つの加算器，１つの減算器およ
びフィルタ・モード・スイッチが、これら２種類のフィ
ルタの１つを実行するために実現される。フィルタ・モ
ード・スイッチは、レジスタを設定することによって制
御される。
【０２１４】垂直補間サブモジュール１００８は、プレ
ビュー・エンジン・モジュールの外の２つのラインメモ
リを用いて２タップか３タップかのいずれかの垂直補間
フィルタを処理し、ＣＦＡパターンに存在するすべての
カラーの情報を出力する。そして、このサブモジュール
は垂直ノイズフィルタも実行する。このモジュールにお
ける画像処理は少し複雑であり、このサブモジュールか
らの出力は処理ライン，ＣＣＤモード，ＣＦＡパター
ン，フィルタ・モードおよびノイズフィルタ・オン／オ
フによって変化する。以下で説明されるように、垂直補
間サブモジュール１００８からカラー調整サブモジュー
ル１０１４までの画像処理は強い相関関係を有してお
り、それらのこの処理フローは一連の垂直補間処理と考
えられる。したがって、この一連の垂直補間処理がまず
説明される。そのシーケンスは「垂直補間シーケンス」
と呼ばれる。
ビュー・エンジン・モジュールの外の２つのラインメモ
リを用いて２タップか３タップかのいずれかの垂直補間
フィルタを処理し、ＣＦＡパターンに存在するすべての
カラーの情報を出力する。そして、このサブモジュール
は垂直ノイズフィルタも実行する。このモジュールにお
ける画像処理は少し複雑であり、このサブモジュールか
らの出力は処理ライン，ＣＣＤモード，ＣＦＡパター
ン，フィルタ・モードおよびノイズフィルタ・オン／オ
フによって変化する。以下で説明されるように、垂直補
間サブモジュール１００８からカラー調整サブモジュー
ル１０１４までの画像処理は強い相関関係を有してお
り、それらのこの処理フローは一連の垂直補間処理と考
えられる。したがって、この一連の垂直補間処理がまず
説明される。そのシーケンスは「垂直補間シーケンス」
と呼ばれる。
【０２１５】水平補間のように、垂直補間処理も、２種
類の補間モードすなわち「単純モード」と「通常モー
ド」とを有する。単純モードにおける補間フィルタは、
上および下の隣の画素での２つのデータの平均を使用し
てデータの中央を補間する。通常モードでは、処理はＲ
ＧＢ ＣＣＤモードと相補ＣＣＤモードとの間で異な
る。ＲＧＢ ＣＣＤモードにおける通常モードでの補間
フィルタは、水平補間フィルタと同じ他のカラーの１つ
のデータを使用する。実際、補間されるべきあるカラー
のデータがＸ（主に、Ｒ，Ｂ）に設定されるとともに基
準として用いられるカラーのデータがＹ（主に、Ｇ）に
設定されるとき、この垂直補間シーケンスを通して補間
モードに依存して以下の計算が実行され、そして、それ
はカラー調整サブモジュールからの出力である。
類の補間モードすなわち「単純モード」と「通常モー
ド」とを有する。単純モードにおける補間フィルタは、
上および下の隣の画素での２つのデータの平均を使用し
てデータの中央を補間する。通常モードでは、処理はＲ
ＧＢ ＣＣＤモードと相補ＣＣＤモードとの間で異な
る。ＲＧＢ ＣＣＤモードにおける通常モードでの補間
フィルタは、水平補間フィルタと同じ他のカラーの１つ
のデータを使用する。実際、補間されるべきあるカラー
のデータがＸ（主に、Ｒ，Ｂ）に設定されるとともに基
準として用いられるカラーのデータがＹ（主に、Ｇ）に
設定されるとき、この垂直補間シーケンスを通して補間
モードに依存して以下の計算が実行され、そして、それ
はカラー調整サブモジュールからの出力である。
【０２１６】
【数５１】
【０２１７】図１０ｅは、ＲＧＢバイエルＣＣＤパター
ンについてのこの垂直補間シーケンスの一例を示す。
ンについてのこの垂直補間シーケンスの一例を示す。
【０２１８】相補ＣＣＤモードでは、通常モードとは
「カラー調整のある単純補間」を意味する。すなわち、
単純垂直補間によって処理されるすべてのカラーのデー
タが、補色空間における公式に基づいて調整される。実
際、補間されるべきあるカラーのデータがＸに設定さ
れ、他のカラーのデータがＷ，ＹおよびＺに設定される
とき、相補ＣＣＤモードにおける通常モードでは以下の
計算が実行される。
「カラー調整のある単純補間」を意味する。すなわち、
単純垂直補間によって処理されるすべてのカラーのデー
タが、補色空間における公式に基づいて調整される。実
際、補間されるべきあるカラーのデータがＸに設定さ
れ、他のカラーのデータがＷ，ＹおよびＺに設定される
とき、相補ＣＣＤモードにおける通常モードでは以下の
計算が実行される。
【０２１９】
【数５２】
【０２２０】ａ＝ａ(ｗ0,ｘ0,ｙ0,ｚ0)の計算について
は、以下を参照のこと。
は、以下を参照のこと。
【０２２１】この垂直補間シーケンスでは、垂直補間サ
ブモジュール１００８の主な役割は垂直補間シーケンス
の一部および垂直ノイズフィルタを実行することであ
る。垂直補間シーケンスの一部とは通常の垂直補間モー
ド用のデータを準備することを意味する。図１０ｅおよ
び図１０ｂに示されるように（それぞれＲＧＢおよび相
補ＣＣＤパターンについて）、単純モードでは、この垂
直補間サブモジュールの出力データはカラー調整サブモ
ジュールを迂回する。したがって、単純モードでは、こ
のサブモジュールからの出力が垂直補間シーケンスの出
力として用いられる。補間モードのいずれの場合におい
ても、このサブモードは垂直補間シーケンスについて以
下の等式を計算する。
ブモジュール１００８の主な役割は垂直補間シーケンス
の一部および垂直ノイズフィルタを実行することであ
る。垂直補間シーケンスの一部とは通常の垂直補間モー
ド用のデータを準備することを意味する。図１０ｅおよ
び図１０ｂに示されるように（それぞれＲＧＢおよび相
補ＣＣＤパターンについて）、単純モードでは、この垂
直補間サブモジュールの出力データはカラー調整サブモ
ジュールを迂回する。したがって、単純モードでは、こ
のサブモジュールからの出力が垂直補間シーケンスの出
力として用いられる。補間モードのいずれの場合におい
ても、このサブモードは垂直補間シーケンスについて以
下の等式を計算する。
【０２２２】
【数５３】Ｘ0＝（Ｘ-1−Ｘ1）／２
【０２２３】次の３タップ垂直ローパスフィルタを実行
する垂直ノイズフィルタはまた、ＣＦＡパターンに依存
してこのサブモジュールで処理される。
する垂直ノイズフィルタはまた、ＣＦＡパターンに依存
してこのサブモジュールで処理される。
【０２２４】
【数５４】Ｘ0＝（Ｘ-1−２Ｘ0−Ｘ1）４
【０２２５】しかしながら、このフィルタリングについ
て、処理される３つのライン上の同じカラーのデータが
準備されなければならない。したがって、垂直ノイズフ
ィルタの機能は、主に、ＲＧＢバイエルＣＣＤにおいて
Ｇのみを実行する。図１０ｇは、ＲＧＢバイエルＣＣＤ
についてのこの垂直補間サブモジュールの出力の一例を
示す。垂直ノイズフィルタが適用できてかつそれがオン
に設定されるとき、原データ（この図ではＲ）も、他の
カラー（この図ではＧ）との相関関係を保つために調整
される。
て、処理される３つのライン上の同じカラーのデータが
準備されなければならない。したがって、垂直ノイズフ
ィルタの機能は、主に、ＲＧＢバイエルＣＣＤにおいて
Ｇのみを実行する。図１０ｇは、ＲＧＢバイエルＣＣＤ
についてのこの垂直補間サブモジュールの出力の一例を
示す。垂直ノイズフィルタが適用できてかつそれがオン
に設定されるとき、原データ（この図ではＲ）も、他の
カラー（この図ではＧ）との相関関係を保つために調整
される。
【０２２６】図１０ｈは、垂直補間サブモジュール１０
０８のブロック図である。垂直補間およびノイズフィル
タリングを実行するために、６つの加算器と２つの減算
器とが実現される。特に、Ｌ １２１およびＲ １２１
の計算処理は非常に複雑であって、Ｌ １２１およびＲ
１２１用のスイッチング動作はこの図を単純化するた
めに示されていない。カラー選択サブモジュール１０１
２は、カラー・フォーマットのオーダーに、すなわち、
ＲＧＢ ＣＣＤモードにおいてはＲ，ＧおよびＢに、相
補ＣＣＤモードにおいてはＹｅ，Ｃｙ，Ｍｇ，Ｇに、垂
直補間サブモジュールからの入力を整列する。この整列
はＣＦＡパターンのレジスタを設定することによって自
動的に実行される。図１０ｉは、図１０ｇのＲＧＢバイ
エルＣＣＤにおけるこのカラー選択処理の一例を示す。
この図において「ｇ」と名付けられた出力は、Ｇの一時
データであって、カラー調整サブモジュールにおけるＲ
ＧＢ ＣＣＤモードでのＲまたはＢの再計算のために用
いられる。
０８のブロック図である。垂直補間およびノイズフィル
タリングを実行するために、６つの加算器と２つの減算
器とが実現される。特に、Ｌ １２１およびＲ １２１
の計算処理は非常に複雑であって、Ｌ １２１およびＲ
１２１用のスイッチング動作はこの図を単純化するた
めに示されていない。カラー選択サブモジュール１０１
２は、カラー・フォーマットのオーダーに、すなわち、
ＲＧＢ ＣＣＤモードにおいてはＲ，ＧおよびＢに、相
補ＣＣＤモードにおいてはＹｅ，Ｃｙ，Ｍｇ，Ｇに、垂
直補間サブモジュールからの入力を整列する。この整列
はＣＦＡパターンのレジスタを設定することによって自
動的に実行される。図１０ｉは、図１０ｇのＲＧＢバイ
エルＣＣＤにおけるこのカラー選択処理の一例を示す。
この図において「ｇ」と名付けられた出力は、Ｇの一時
データであって、カラー調整サブモジュールにおけるＲ
ＧＢ ＣＣＤモードでのＲまたはＢの再計算のために用
いられる。
【０２２７】図１０ｊは、カラー選択サブモジュール１
０１２のブロック図である。４つのカラー抽出器が、垂
直補間サブモジュール１００８からの４つの入力から正
しいカラーに独立して切り替えて選択する。カラー調整
サブモジュール１０１４は垂直補間シーケンスについて
の残りの計算を行う。ＲＧＢバイエルＣＣＤのようなＲ
ＧＢ ＣＣＤモードでは、ＲまたはＢはＧの一時データ
を用いて再び計算される。カラー選択サブモジュールか
らのＲまたはＢのデータがＸに設定されるとき、ＲＧＢ
ＣＣＤモードにおいて以下の計算が行われる。
０１２のブロック図である。４つのカラー抽出器が、垂
直補間サブモジュール１００８からの４つの入力から正
しいカラーに独立して切り替えて選択する。カラー調整
サブモジュール１０１４は垂直補間シーケンスについて
の残りの計算を行う。ＲＧＢバイエルＣＣＤのようなＲ
ＧＢ ＣＣＤモードでは、ＲまたはＢはＧの一時データ
を用いて再び計算される。カラー選択サブモジュールか
らのＲまたはＢのデータがＸに設定されるとき、ＲＧＢ
ＣＣＤモードにおいて以下の計算が行われる。
【０２２８】
【数５５】ｘ＝Ｘ−Ｇtemp＋Ｇ
【０２２９】図１０ｉの例では、ノイズフィルタがオフ
であるとき、
であるとき、
【０２３０】
【数５６】Ｘ＝（ｂ02−ｂ22）／２ Ｇtemp＝（Ｇ02＋Ｇ22）／２ Ｇ＝ｇ12 したがって、 ｘ＝Ｂ ＝（ｂ02−ｂ22）／２−（Ｇ02＋Ｇ22）／２＋ｇ12 ＝（（ｂ02−Ｇ02）＋（ｂ22−Ｇ22））／２＋ｇ12
【０２３１】これは、カラー調整モジュールの出力Ｂで
あり、また、垂直補間シーケンスの出力でもある。すな
わち、ＲＧＢ ＣＣＤモードにおける垂直補間シーケン
スは、補間されるべきカラーのデータと他のカラーの基
準データとの間の差の平均を用いる。
あり、また、垂直補間シーケンスの出力でもある。すな
わち、ＲＧＢ ＣＣＤモードにおける垂直補間シーケン
スは、補間されるべきカラーのデータと他のカラーの基
準データとの間の差の平均を用いる。
【０２３２】相補ＣＣＤモジュールでは、カラー調整は
カラー選択サブモジュールからのすべてのデータに対し
て処理される。まず、値ａが、相補カラー空間における
公式Ｙｅ＋Ｃｙ＝Ｇ＋Ｍｇに基づいて各画素で計算され
る。
カラー選択サブモジュールからのすべてのデータに対し
て処理される。まず、値ａが、相補カラー空間における
公式Ｙｅ＋Ｃｙ＝Ｇ＋Ｍｇに基づいて各画素で計算され
る。
【０２３３】
【数５７】ａ＝Ｇ＋Ｍｇ−Ｙｅ−Ｃｙ
【０２３４】すなわち、値ａは４つのカラーのエラー値
の量と考えることができる。したがって、相補ＣＣＤモ
ードでは、すべてのカラーＹｅ，Ｃｙ，Ｍｇ，Ｇに対し
て上記公式を満たすために、以下の調整が処理される。
の量と考えることができる。したがって、相補ＣＣＤモ
ードでは、すべてのカラーＹｅ，Ｃｙ，Ｍｇ，Ｇに対し
て上記公式を満たすために、以下の調整が処理される。
【０２３５】
【数５８】ｙｅ＝Ｙｅ＋ａ／４ ｃｙ＝Ｃｙ＋ａ／４ ｇ＝Ｇ−ａ／４ ｍｇ＝Ｍｇ−ａ／４
【０２３６】図１０ｋは、カラー調整サブモジュール１
０１４のブロック図である。上述した２種類の計算を行
うために、６つの加算器と３つの減算器とが実現され
る。この図において、ＣＣＤＭＯＤと名付けられたスイ
ッチャーが、ＣＣＤモードに依存して正しい出力を選択
し、レジスタを設定することによって制御される。
０１４のブロック図である。上述した２種類の計算を行
うために、６つの加算器と３つの減算器とが実現され
る。この図において、ＣＣＤＭＯＤと名付けられたスイ
ッチャーが、ＣＣＤモードに依存して正しい出力を選択
し、レジスタを設定することによって制御される。
【０２３７】ｃｏｍｐ２ＲＧＢ変換サブモジュール１０
１６は、相補ＣＣＤモードでは相補カラー・フォーマッ
トされたデータをＲＧＢフォーマットされたデータに変
換する。特に、Ｇについては、カラー調整からのデータ
および変換公式によって計算されるデータは、５種類の
混合比で混合することができる。実際、以下の計算が変
換公式に基づいて行われる。
１６は、相補ＣＣＤモードでは相補カラー・フォーマッ
トされたデータをＲＧＢフォーマットされたデータに変
換する。特に、Ｇについては、カラー調整からのデータ
および変換公式によって計算されるデータは、５種類の
混合比で混合することができる。実際、以下の計算が変
換公式に基づいて行われる。
【０２３８】
【数５９】Ｒ＝Ｙｅ−Ｃｙ＋Ｍｇ Ｇ＝ｒＧinput＋（１−ｒ）（Ｙｅ＋Ｃｙ−Ｍｇ） （ｒ＝０，１／４，２／４，３／４，１） Ｂ＝Ｍｇ−Ｙｅ＋Ｃｙ
【０２３９】ＲＧＢ ＣＣＤモードでは、カラー調整サ
ブモジュールからのデータはこのサブモジュールを迂回
する。
ブモジュールからのデータはこのサブモジュールを迂回
する。
【０２４０】図１０ｌは、ｃｏｍｐ２ＲＧＢ変換サブモ
ジュール１０１６のブロック図である。上の計算を行う
ために、３つの加算器と３つの減算器と２つの乗算器と
が実現される。この図において「green＿ratio」と名づ
けられたＧについての利得調整器はレジスタを設定する
ことによって調整可能である。ＲＧＢ ＣＣＤモードで
は、ＣＣＤＭＯＤスイッチャ−は、このモジュールを迂
回するためにオフ（この図ではハイ）を選択する。相補
ＣＣＤモジュールについてのＲＧＢ利得は、相補ＣＣＤ
モジュールのためでさえあるＲＧＢカラー・フォーマッ
トによってホワイトバランスの調整を可能とする。この
モジュールはＲＧＢ ＣＣＤモードにおいても利用でき
る。
ジュール１０１６のブロック図である。上の計算を行う
ために、３つの加算器と３つの減算器と２つの乗算器と
が実現される。この図において「green＿ratio」と名づ
けられたＧについての利得調整器はレジスタを設定する
ことによって調整可能である。ＲＧＢ ＣＣＤモードで
は、ＣＣＤＭＯＤスイッチャ−は、このモジュールを迂
回するためにオフ（この図ではハイ）を選択する。相補
ＣＣＤモジュールについてのＲＧＢ利得は、相補ＣＣＤ
モジュールのためでさえあるＲＧＢカラー・フォーマッ
トによってホワイトバランスの調整を可能とする。この
モジュールはＲＧＢ ＣＣＤモードにおいても利用でき
る。
【０２４１】図９ａは、相補ホワイトバランス・モジュ
ール１４０８のブロック図である。この動作のために、
１つの乗算器とクリップ回路とが実現される。ＲＧＢに
ついての各利得がレジスタによって設定される。ガンマ
補正モジュール１４１０は、ＲＧＢカラー・フォーマッ
トで各カラー・データについてガンマ補正を行う。この
動作のために、４つの線形セグメントでガンマ曲線を近
似するために、前もって３種類のデータを用意する。こ
れらは、図９ｂに示される領域，オフセットおよび利得
である。図１４に示されるように、このモジュールは、
ＲＧＢへの独立調整が行われるように、各カラーについ
て存在する。図９ｃは、ガンマ補正モジュール１４１０
のブロック図である。領域検出器は、領域データに基づ
いて入力データ用の正しい利得およびオフセットを選択
する。利得，オフセットおよび領域に関するデータは３
つのレジスタで設定される。
ール１４０８のブロック図である。この動作のために、
１つの乗算器とクリップ回路とが実現される。ＲＧＢに
ついての各利得がレジスタによって設定される。ガンマ
補正モジュール１４１０は、ＲＧＢカラー・フォーマッ
トで各カラー・データについてガンマ補正を行う。この
動作のために、４つの線形セグメントでガンマ曲線を近
似するために、前もって３種類のデータを用意する。こ
れらは、図９ｂに示される領域，オフセットおよび利得
である。図１４に示されるように、このモジュールは、
ＲＧＢへの独立調整が行われるように、各カラーについ
て存在する。図９ｃは、ガンマ補正モジュール１４１０
のブロック図である。領域検出器は、領域データに基づ
いて入力データ用の正しい利得およびオフセットを選択
する。利得，オフセットおよび領域に関するデータは３
つのレジスタで設定される。
【０２４２】ＲＧＢ２ＹＣｂＣｒ変換モジュール１４１
２は、ＲＧＢフォーマットされたデータをＹＣｂＣｒフ
ォーマットされたデータに変換し、以下の行列計算に基
づいてＣｂおよびＣｒに対してオフセットを調整する。
２は、ＲＧＢフォーマットされたデータをＹＣｂＣｒフ
ォーマットされたデータに変換し、以下の行列計算に基
づいてＣｂおよびＣｒに対してオフセットを調整する。
【０２４３】
【数６０】
【０２４４】この行列の各係数は、この変換用の可変設
定が利用できるように、レジスタで設定される。
定が利用できるように、レジスタで設定される。
【０２４５】図１１は、このＲＧＢ２ＹＣｂＣｒ変換モ
ジュール１４１２のブロック図である。前述した行列計
算のために、９つの乗算器と５つの加算器とが実現され
る。ＲＧＢデータを係数と乗算した後に、乗算器からの
各データの最も重要でない６つのビットが、回路のサイ
ズを低減するために、カットされる。ＣｂおよびＣｒに
ついては、オフセット調整用の更なる回路に、ＹＣｂＣ
ｒ変換回路が続けられる。ＣｂおよびＣｒ用のクリップ
回路には、２者の相補からオフセット・バイナリへの変
換回路が含まれる。
ジュール１４１２のブロック図である。前述した行列計
算のために、９つの乗算器と５つの加算器とが実現され
る。ＲＧＢデータを係数と乗算した後に、乗算器からの
各データの最も重要でない６つのビットが、回路のサイ
ズを低減するために、カットされる。ＣｂおよびＣｒに
ついては、オフセット調整用の更なる回路に、ＹＣｂＣ
ｒ変換回路が続けられる。ＣｂおよびＣｒ用のクリップ
回路には、２者の相補からオフセット・バイナリへの変
換回路が含まれる。
【０２４６】バースト・モード圧縮／圧縮解除エンジン 好ましい実施例のＤＳＣエンジンには、通常の捕獲モー
ドと比較して画像の解像度において妥協のない、リアル
タイム処理を行う改良されたバースト捕獲機能が含まれ
る。バースト捕獲モードは、増大されたバースト捕獲シ
ーケンス長用の専用の圧縮および圧縮解除エンジン１０
８を使用するものである。ＣＣＤ生画像フレームのシー
ケンスが、圧縮エンジン１０８を用いて、ＳＤＲＡＭ１
６０にまず記憶される。その後、オフライン処理とし
て、通常の捕獲モードの画像パイプラインが、ＣＣＤ生
画像をＳＤＲＡＭ１６０から検索し、それらを連続して
処理し、最後にそれらをＪＰＥＧファイルとしてＳＤＲ
ＡＭに記憶し直す。動画再生モードはこれらのＪＰＥＧ
ファイルを表示することができる。
ドと比較して画像の解像度において妥協のない、リアル
タイム処理を行う改良されたバースト捕獲機能が含まれ
る。バースト捕獲モードは、増大されたバースト捕獲シ
ーケンス長用の専用の圧縮および圧縮解除エンジン１０
８を使用するものである。ＣＣＤ生画像フレームのシー
ケンスが、圧縮エンジン１０８を用いて、ＳＤＲＡＭ１
６０にまず記憶される。その後、オフライン処理とし
て、通常の捕獲モードの画像パイプラインが、ＣＣＤ生
画像をＳＤＲＡＭ１６０から検索し、それらを連続して
処理し、最後にそれらをＪＰＥＧファイルとしてＳＤＲ
ＡＭに記憶し直す。動画再生モードはこれらのＪＰＥＧ
ファイルを表示することができる。
【０２４７】バースト・モード圧縮／圧縮解除エンジン
１０８は、差分パルス符号変調（ＤＰＣＭ）と、ベース
ラインＪＰＥＧ圧縮におけるＤＣ係数のエントロピー符
号化と同じ表を用いたハフマン（Ｈｕｆｆｍａｎ）符号
化とを含む。エンジン１０８は、クロミナンスＤＣ差分
データ用のＪＰＥＧ基準におけるサンプル・ハフマン表
を用いる。エンジン１０８は、図１３に例示される逆変
換も提供する。固定ハフマン表（クロミナンスＤＣ係数
用のＪＰＥＧハフマン表）を以下に示す。
１０８は、差分パルス符号変調（ＤＰＣＭ）と、ベース
ラインＪＰＥＧ圧縮におけるＤＣ係数のエントロピー符
号化と同じ表を用いたハフマン（Ｈｕｆｆｍａｎ）符号
化とを含む。エンジン１０８は、クロミナンスＤＣ差分
データ用のＪＰＥＧ基準におけるサンプル・ハフマン表
を用いる。エンジン１０８は、図１３に例示される逆変
換も提供する。固定ハフマン表（クロミナンスＤＣ係数
用のＪＰＥＧハフマン表）を以下に示す。
【０２４８】
【表６】
【０２４９】符号器は４つのルックアップ・テーブルを
有する。すなわち、ハフマン符号（１３×２バイト・エ
ントリ）とハフマン符号長表（１３×１バイト・エント
リ）と可変長ビットストリームを生成する低ビット・マ
スク（３２×４バイト・エントリ）とログ・テーブル
（２５６×１バイト・エントリ）とである。ハフマン表
は、簡略化のためプログラム可能ではないが、代わりの
実施例はプログラム可能ハフマン表を含むこともでき
る。
有する。すなわち、ハフマン符号（１３×２バイト・エ
ントリ）とハフマン符号長表（１３×１バイト・エント
リ）と可変長ビットストリームを生成する低ビット・マ
スク（３２×４バイト・エントリ）とログ・テーブル
（２５６×１バイト・エントリ）とである。ハフマン表
は、簡略化のためプログラム可能ではないが、代わりの
実施例はプログラム可能ハフマン表を含むこともでき
る。
【０２５０】ハフマン復号器は、ハフマン符号器の逆関
数を行い、５つのルックアップ・テーブルを有する。す
なわち、最大符号比較表（１３×２バイト・エントリ）
と最小符号比較表（１３×２バイト・エントリ）と復号
化ハフマン符号ポインタ（１３×１バイト・エントリ）
と復号化ハフマン符号表（１３×１バイト・エントリ）
とビット位置マスク（３２×４バイト・エントリ）とで
ある。損失のあるモード圧縮は、各係数の最も重要でな
いビット（ＬＳＢ）または２つの最も重要でないビット
を単に廃棄する。
数を行い、５つのルックアップ・テーブルを有する。す
なわち、最大符号比較表（１３×２バイト・エントリ）
と最小符号比較表（１３×２バイト・エントリ）と復号
化ハフマン符号ポインタ（１３×１バイト・エントリ）
と復号化ハフマン符号表（１３×１バイト・エントリ）
とビット位置マスク（３２×４バイト・エントリ）とで
ある。損失のあるモード圧縮は、各係数の最も重要でな
いビット（ＬＳＢ）または２つの最も重要でないビット
を単に廃棄する。
【０２５１】再生同期 オーディオ・ビジュアル・ビットストリームを再生する
上での問題は、オーディオをビデオ信号といかにして同
期させるかということである。好ましい実施例は、リア
ルタイムでバックグラウンドにおいて継ぎ目なくオーデ
ィオ・ビットストリームを再生するが、オーディオはＩ
ＴＵ−ＴＧ．７１１およびマイクロソフト１６ビットＰ
ＣＭのような簡単な符号化標準を用いて符号化されてい
る。中断サービス・ルーチンを用いることによって、Ｄ
ＳＰ源の約０．１％が（マルチチャンネルの）バッファ
されたシリアルポートを通してリアルタイムでオーディ
オを出力するのに十分である。図１ｂを参照のこと。し
たがって、好ましい実施例は、オーディオ再生に同期し
てビデオ復号化を実現しなければならない。明瞭化のた
め、オーディオおよびビデオの双方が最高スピードで
（オーディオについては８Ｋサンプル／秒およびビデオ
については３０フレーム／秒のリアルタイムで）捕獲さ
れるとする。オーディオはサンプルとして再生される。
しかしながら、ビデオはフレームの粒子において表示さ
れる。こうして、同期の問題が、ビデオ復号化がリアル
タイム要請よりも早いか遅いかという事実によって引き
起こされる。ビデオ復号化が早すぎるならば、ある量の
遅延スロットが挿入されて、復号化をスローダウンしな
ければならない。反対に、ビデオ復号化が遅過ぎるなら
ば、リアルタイム・オーディオ再生に追いつくように、
いくつかのビデオ・フレームがスキップされなければな
らない。
上での問題は、オーディオをビデオ信号といかにして同
期させるかということである。好ましい実施例は、リア
ルタイムでバックグラウンドにおいて継ぎ目なくオーデ
ィオ・ビットストリームを再生するが、オーディオはＩ
ＴＵ−ＴＧ．７１１およびマイクロソフト１６ビットＰ
ＣＭのような簡単な符号化標準を用いて符号化されてい
る。中断サービス・ルーチンを用いることによって、Ｄ
ＳＰ源の約０．１％が（マルチチャンネルの）バッファ
されたシリアルポートを通してリアルタイムでオーディ
オを出力するのに十分である。図１ｂを参照のこと。し
たがって、好ましい実施例は、オーディオ再生に同期し
てビデオ復号化を実現しなければならない。明瞭化のた
め、オーディオおよびビデオの双方が最高スピードで
（オーディオについては８Ｋサンプル／秒およびビデオ
については３０フレーム／秒のリアルタイムで）捕獲さ
れるとする。オーディオはサンプルとして再生される。
しかしながら、ビデオはフレームの粒子において表示さ
れる。こうして、同期の問題が、ビデオ復号化がリアル
タイム要請よりも早いか遅いかという事実によって引き
起こされる。ビデオ復号化が早すぎるならば、ある量の
遅延スロットが挿入されて、復号化をスローダウンしな
ければならない。反対に、ビデオ復号化が遅過ぎるなら
ば、リアルタイム・オーディオ再生に追いつくように、
いくつかのビデオ・フレームがスキップされなければな
らない。
【０２５２】好ましい実施例は双方の場合を取り扱う。
特に、遅いビデオ復号化の場合には、好ましい実施例は
最適なやり方でフレームを適切に選択およびスキップす
ることができる。好ましい実施例は、２方向符号化フレ
ーム（Ｂフレーム）なしのビデオ・ビットストリームに
ついて説明されることに注意すること。図４６ａは、オ
ーディオとビデオとの間の同期を図示する。最初のビデ
オ・フレームは、オーディオ・ビデオ再生を始める前に
予め復号化される。ビデオはフレームの粒子において表
示されるので、同期ポイントはビデオ・フレーム境界す
なわち｛ｔ＝０，ΔＴ，２ΔＴ，３ΔＴ．．．｝に位置
する。ここで、ΔＴはフレームの期間であり、それは次
式で定義される。
特に、遅いビデオ復号化の場合には、好ましい実施例は
最適なやり方でフレームを適切に選択およびスキップす
ることができる。好ましい実施例は、２方向符号化フレ
ーム（Ｂフレーム）なしのビデオ・ビットストリームに
ついて説明されることに注意すること。図４６ａは、オ
ーディオとビデオとの間の同期を図示する。最初のビデ
オ・フレームは、オーディオ・ビデオ再生を始める前に
予め復号化される。ビデオはフレームの粒子において表
示されるので、同期ポイントはビデオ・フレーム境界す
なわち｛ｔ＝０，ΔＴ，２ΔＴ，３ΔＴ．．．｝に位置
する。ここで、ΔＴはフレームの期間であり、それは次
式で定義される。
【０２５３】
【数６１】
【０２５４】ここで、ｆｐは、ビデオ・シーケンスに用
いられるフレーム速度である。
いられるフレーム速度である。
【０２５５】ビデオ復号化スピードが十分に速くないと
き、オーディオおよびビデオは同期を失い得る。図４６
ａに例示される通り、ビデオ・フレーム２の復号化が時
間内で終わらない（Ｔｄ２＞ΔＴ）とき、オーディオ・
ビデオ再生は、ビデオ・フレーム１を表示した後に、同
期を失う。ここで、｛Ｔｄｍ，ｍ＝０，１，
２，．．．｝は、ビデオ・フレームｍを復号するのに用
いられる復号化時間を示す。ビデオの再生スピードが十
分でないとき、オーディオとビデオとの間の適切な同期
を維持する唯一の方法はビデオ・フレームを適当にスキ
ップすることである。図４６ｂにおいて、ビデオ・フレ
ーム２は、同期がフレーム３で再び得ることができるよ
うに、スキップされる（かつ、フレーム１は繰り返され
る）。
き、オーディオおよびビデオは同期を失い得る。図４６
ａに例示される通り、ビデオ・フレーム２の復号化が時
間内で終わらない（Ｔｄ２＞ΔＴ）とき、オーディオ・
ビデオ再生は、ビデオ・フレーム１を表示した後に、同
期を失う。ここで、｛Ｔｄｍ，ｍ＝０，１，
２，．．．｝は、ビデオ・フレームｍを復号するのに用
いられる復号化時間を示す。ビデオの再生スピードが十
分でないとき、オーディオとビデオとの間の適切な同期
を維持する唯一の方法はビデオ・フレームを適当にスキ
ップすることである。図４６ｂにおいて、ビデオ・フレ
ーム２は、同期がフレーム３で再び得ることができるよ
うに、スキップされる（かつ、フレーム１は繰り返され
る）。
【０２５６】好ましい実施例の循環バッファ構成が図４
７に例示されている。ビデオ復号器は、循環バッファの
一方の側に接続され、ディスプレイが他方の側に接続さ
れる。循環バッファは、サイズＮのビデオ・フレームを
有する。循環バッファの各フレーム・バッファに関連す
る２つのレジスタがある。すなわち、バッファｎに記憶
されるビデオ・フレームの推定表示時間を指示するＴＰ
n（ｎ＝０，１，２，３，．．．，Ｎ−１）を含む第１
のレジスタと、バッファｎにおけるフレームが表示のた
めの用意ができているかどうかを信号で知らせる（準備
できているときは１，準備できていないときは０）Ｓn
（ｎ＝０，１，２，３，．．．，Ｎ−１）を含む第２の
レジスタとである。もちろん、ＴＰnの値はΔＴの倍数
である。ディスプレイ用のバッファスイッチングもフレ
ームの境界（すなわち、時間ｔ＝ｍΔＴ，ｍ＝０，１，
２，．．．）で生じる。好ましい実施例はＮフレームを
含む循環バッファを用いるので、すべてのインデックス
（．．．，ｎ−１，ｎ，ｎ＋１，．．．）はモジュロＮ
インデックスとみなされる。現在のビデオ・フレームを
復号化した後の時間がＴであるとする。復号化された現
在のフレームは図４７のバッファｎ−１に記憶される。
したがって、図４７の次のフレームを記憶するのに用い
られるバッファはバッファｎである。
７に例示されている。ビデオ復号器は、循環バッファの
一方の側に接続され、ディスプレイが他方の側に接続さ
れる。循環バッファは、サイズＮのビデオ・フレームを
有する。循環バッファの各フレーム・バッファに関連す
る２つのレジスタがある。すなわち、バッファｎに記憶
されるビデオ・フレームの推定表示時間を指示するＴＰ
n（ｎ＝０，１，２，３，．．．，Ｎ−１）を含む第１
のレジスタと、バッファｎにおけるフレームが表示のた
めの用意ができているかどうかを信号で知らせる（準備
できているときは１，準備できていないときは０）Ｓn
（ｎ＝０，１，２，３，．．．，Ｎ−１）を含む第２の
レジスタとである。もちろん、ＴＰnの値はΔＴの倍数
である。ディスプレイ用のバッファスイッチングもフレ
ームの境界（すなわち、時間ｔ＝ｍΔＴ，ｍ＝０，１，
２，．．．）で生じる。好ましい実施例はＮフレームを
含む循環バッファを用いるので、すべてのインデックス
（．．．，ｎ−１，ｎ，ｎ＋１，．．．）はモジュロＮ
インデックスとみなされる。現在のビデオ・フレームを
復号化した後の時間がＴであるとする。復号化された現
在のフレームは図４７のバッファｎ−１に記憶される。
したがって、図４７の次のフレームを記憶するのに用い
られるバッファはバッファｎである。
【０２５７】ビットストリームにおける現在の位置を決
定する。現在復号化されているフレームのフレーム・イ
ンデックスｍは次式のように定義される。
定する。現在復号化されているフレームのフレーム・イ
ンデックスｍは次式のように定義される。
【０２５８】
【数６２】
【０２５９】次のフレームの復号開始時間を決定する。
バッファｎにおけるフレームは｛ＴＰ n以上ＴＰn+1以下
のｔ｝の時間間隔の間表示されることになるので、バッ
ファｎはＴＰn+1まで次のフレームを復号化するのに利
用できない。したがって、次のフレームＴｓの復号化開
始時間は、次式で表わされる。
バッファｎにおけるフレームは｛ＴＰ n以上ＴＰn+1以下
のｔ｝の時間間隔の間表示されることになるので、バッ
ファｎはＴＰn+1まで次のフレームを復号化するのに利
用できない。したがって、次のフレームＴｓの復号化開
始時間は、次式で表わされる。
【０２６０】
【数６３】
【０２６１】復号化されるべき次のフレームを決定す
る。
る。
【外１】 を次のフレームを復号するための見積り時間であるとす
ると、次のフレームの表示時間は次式を満足しなければ
ならない。
ると、次のフレームの表示時間は次式を満足しなければ
ならない。
【０２６２】
【数６４】
【０２６３】上記の条件は、次のフレームの復号化がそ
れの表示時間の前に終わることを意味し、また、次のフ
レームは、少なくともビットストリームにある現在のフ
レームの後のフレームに位置する。ＴＰnはΔＴの倍数
でなければならないので、オーディオに同期できる次の
フレームは、次の条件を満たす。
れの表示時間の前に終わることを意味し、また、次のフ
レームは、少なくともビットストリームにある現在のフ
レームの後のフレームに位置する。ＴＰnはΔＴの倍数
でなければならないので、オーディオに同期できる次の
フレームは、次の条件を満たす。
【０２６４】
【数６５】
【０２６５】ここで、［・］は、切り捨てによる整数部
分を示す。
分を示す。
【０２６６】したがって、次のフレームの表示時間は、
次式によって決定される。
次式によって決定される。
【数６６】
【０２６７】
【外２】 を見積もるために、先の復号化またはフレーム・パラメ
ータに基づいた統計的な見積りのような異なる方法があ
る。ある好ましい実施例は、単純に、同じ写真符号化タ
イプ（ＩフレームまたはＰフレーム）の最も新しく符号
化されたフレームの実際の復号化時間＋次のフレームに
ついての見積り復号化時間としてある量の安全マージン
を用いる。
ータに基づいた統計的な見積りのような異なる方法があ
る。ある好ましい実施例は、単純に、同じ写真符号化タ
イプ（ＩフレームまたはＰフレーム）の最も新しく符号
化されたフレームの実際の復号化時間＋次のフレームに
ついての見積り復号化時間としてある量の安全マージン
を用いる。
【０２６８】こうして、復号されるべき次のフレームの
フレーム・インデックスｍ’は、次式のように計算する
ことができる。
フレーム・インデックスｍ’は、次式のように計算する
ことができる。
【０２６９】
【数６７】
【０２７０】続いて、現在の位置からスキップされるべ
きフレームの数Δｍが、次式によって決定される。
きフレームの数Δｍが、次式によって決定される。
【０２７１】
【数６８】
【０２７２】式（２）から式（６）は、環状バッファを
更新するための基礎制御動作を構成する。
更新するための基礎制御動作を構成する。
【０２７３】好ましい実施例は、同期を実現するのに環
状バッファ構成を用いる。２つの部分（すなわち、ビデ
オ復号器バッファスイッチ制御およびディスプレイバッ
ファスイッチ制御）がある。図４８は、ビデオ復号器バ
ッファスイッチ制御のフローチャートを示しており、そ
れは２つの段階（すなわち、初期化および再生）を含
む。
状バッファ構成を用いる。２つの部分（すなわち、ビデ
オ復号器バッファスイッチ制御およびディスプレイバッ
ファスイッチ制御）がある。図４８は、ビデオ復号器バ
ッファスイッチ制御のフローチャートを示しており、そ
れは２つの段階（すなわち、初期化および再生）を含
む。
【０２７４】初期化：循環バッファの初期化では、Ｎf
（Ｎfは１以上でＮ以下）のビデオ・フレームが再生を
開始する前に復号される。図４８にダッシュ線の囲みで
示されるように、初期化には４つのステップがある。・
ステップ０：すべての表示時間レジスタ｛ＴＰn，ｎ＝
０，１，２，３，．．．，Ｎ−１｝および状態レジスタ
｛Ｓn，ｎ＝０，１，２，３，．．．，Ｎ−１｝をゼロ
に設定し、ビデオ復号器をバッファ０（すなわち、ｎ＝
０）に切り替え、ビデオ・ビットストリームの始まりを
指し示し（すなわち、ｍ’＝Δｍ＝０）、時間をゼロに
設定する（すなわち、ｔ＝０）。 ・ステップ１：関連する状態レジスタＳnを１に設定
し、Δｍビデオ・フレームをスキップし、フレームｍ’
を復号し、バッファｎに復号されたフレームを記憶す
る。（ループを通る最初の経路でｎ＝０，ｍ’＝０を呼
び戻し、それで最初のフレームが復号されてバッファ０
に記憶される。） ・ステップ２：復号化開始時間Ｔｓをｔに設定し、次の
バッファ（すなわち、ｎ＋＋）に切り替え、式（４），
（５），（６）に従ってＴＰn，ｍ’，Δｍを更新す
る。 ・ステップ３：復号フレームの数が前もって設定された
フレームの数Ｎfに到達したかどうかをチェックする。
そうであるならば再生に移り、そうでなければステップ
１に戻る。
（Ｎfは１以上でＮ以下）のビデオ・フレームが再生を
開始する前に復号される。図４８にダッシュ線の囲みで
示されるように、初期化には４つのステップがある。・
ステップ０：すべての表示時間レジスタ｛ＴＰn，ｎ＝
０，１，２，３，．．．，Ｎ−１｝および状態レジスタ
｛Ｓn，ｎ＝０，１，２，３，．．．，Ｎ−１｝をゼロ
に設定し、ビデオ復号器をバッファ０（すなわち、ｎ＝
０）に切り替え、ビデオ・ビットストリームの始まりを
指し示し（すなわち、ｍ’＝Δｍ＝０）、時間をゼロに
設定する（すなわち、ｔ＝０）。 ・ステップ１：関連する状態レジスタＳnを１に設定
し、Δｍビデオ・フレームをスキップし、フレームｍ’
を復号し、バッファｎに復号されたフレームを記憶す
る。（ループを通る最初の経路でｎ＝０，ｍ’＝０を呼
び戻し、それで最初のフレームが復号されてバッファ０
に記憶される。） ・ステップ２：復号化開始時間Ｔｓをｔに設定し、次の
バッファ（すなわち、ｎ＋＋）に切り替え、式（４），
（５），（６）に従ってＴＰn，ｍ’，Δｍを更新す
る。 ・ステップ３：復号フレームの数が前もって設定された
フレームの数Ｎfに到達したかどうかをチェックする。
そうであるならば再生に移り、そうでなければステップ
１に戻る。
【０２７５】再生：再生の間に循環バッファを更新する
のに、６つのステップが含まれる。 ・ステップ０：ディスプレイをバッファ０に切り替え、
ディスプレイをイネーブルし、時間を０にリセット（す
なわち、ｔ＝Ｔ＝０）し、ビデオ復号器をバッファＮf
（すなわち、ｎ＝Ｎf）に切り替える。 ・ステップ１：全ビデオ・シーケンスが復号されるなら
ば、復号をやめるか、さもなければステップ２に移る。 ・ステップ２：式（３），（４），（５），（６）に従
ってＴｓ，ＴＰn，ｍ’およびΔｍを更新する。 ・ステップ３：時間がＴｓ（すなわち、Ｔｓはｔ以下）
に到達するまで待機し、ステップ４に移る。 ・ステップ４：関係する状態レジスタＳnを０に設定
し、Δｍビデオ・フレームをスキップし、フレームｍ’
を復号し、復号されたフレームをバッファｎに記憶す
る。 ・ステップ５：フレーム復号化が時間内で終わるならば
（すなわち、ｔ＜ＴＰn）、Ｓnを１に設定して、復号フ
レームがディスプレイする準備のできていることを指示
し、Ｔをｔに設定し、ビデオ復号器を次のバッファ（す
なわち、ｎ＋＋）に切り替える。さもなければ、Ｔをｔ
に設定し、ＤＴを見積もられた
のに、６つのステップが含まれる。 ・ステップ０：ディスプレイをバッファ０に切り替え、
ディスプレイをイネーブルし、時間を０にリセット（す
なわち、ｔ＝Ｔ＝０）し、ビデオ復号器をバッファＮf
（すなわち、ｎ＝Ｎf）に切り替える。 ・ステップ１：全ビデオ・シーケンスが復号されるなら
ば、復号をやめるか、さもなければステップ２に移る。 ・ステップ２：式（３），（４），（５），（６）に従
ってＴｓ，ＴＰn，ｍ’およびΔｍを更新する。 ・ステップ３：時間がＴｓ（すなわち、Ｔｓはｔ以下）
に到達するまで待機し、ステップ４に移る。 ・ステップ４：関係する状態レジスタＳnを０に設定
し、Δｍビデオ・フレームをスキップし、フレームｍ’
を復号し、復号されたフレームをバッファｎに記憶す
る。 ・ステップ５：フレーム復号化が時間内で終わるならば
（すなわち、ｔ＜ＴＰn）、Ｓnを１に設定して、復号フ
レームがディスプレイする準備のできていることを指示
し、Ｔをｔに設定し、ビデオ復号器を次のバッファ（す
なわち、ｎ＋＋）に切り替える。さもなければ、Ｔをｔ
に設定し、ＤＴを見積もられた
【外３】 に加え（すなわち、
【外４】 ＋＝ＤＴ（ＤＴ＝ＮdΔＴ）、次の段階で意図的にもう
Ｎd（Ｎdは０以上）だけのフレームをスキップし）、現
在のフレーム・インデックスｍをｍ’に設定する。ステ
ップ１に移る。Ｎdは同期を再開する前に画面がフリー
ズする時間を制御するためのパラメータであることに留
意願いたい。
Ｎd（Ｎdは０以上）だけのフレームをスキップし）、現
在のフレーム・インデックスｍをｍ’に設定する。ステ
ップ１に移る。Ｎdは同期を再開する前に画面がフリー
ズする時間を制御するためのパラメータであることに留
意願いたい。
【０２７６】ユーザーは、環状バッファ・サイズ（Ｎ）
と再生用の初期遅延時間（Ｎf）と画面フリーズ時間
（Ｎd）とを自由に決定できる。明らかに、最小バッフ
ァ・サイズは３ビデオ・フレーム（すなわち、Ｎ=３）
であり、最も小さな遅延時間は１ビデオ・フレーム（す
なわち、Ｎf＝１）である。しかしながら、ビデオ復号
スピードが不充分な場合には、循環バッファ初期化の間
にＮ−１フレーム（すなわち、Ｎf=Ｎ−１）を復号する
ことが強く推奨される結果、ビデオ復号器がオーディオ
実時間再生に追いつくために最大の余地を得ることがで
きる。
と再生用の初期遅延時間（Ｎf）と画面フリーズ時間
（Ｎd）とを自由に決定できる。明らかに、最小バッフ
ァ・サイズは３ビデオ・フレーム（すなわち、Ｎ=３）
であり、最も小さな遅延時間は１ビデオ・フレーム（す
なわち、Ｎf＝１）である。しかしながら、ビデオ復号
スピードが不充分な場合には、循環バッファ初期化の間
にＮ−１フレーム（すなわち、Ｎf=Ｎ−１）を復号する
ことが強く推奨される結果、ビデオ復号器がオーディオ
実時間再生に追いつくために最大の余地を得ることがで
きる。
【０２７７】ディスプレイバッファスイッチ制御：ディ
スプレイバッファ制御がビデオ復号器バッファスイッチ
と並列に実行される。好ましい実施例は、ディスプレイ
バッファスイッチをビデオ・フレーム境界でチェックす
る。ｔ＝ｍΔＴ，ｍ＝０，１，２，．．．。ディスプレ
イがバッファｎ−１におけるビデオ・フレームを現在示
しているとすると、現在時間（ＴＰn以上のｔ）および
（Ｓn＝１）が保たれればかつ保たれさえすれば、それ
は次のバッファすなわちバッファｎに切り替わる。そう
でなければ、それはバッファｎ−１に接続される。ここ
で、（ｔがＴＰn以上）かつ（Ｓn＝０）ならば、それ
は、復号器が時間内でフレームの復号を終えられなかっ
たことを意味する。この場合、バッファｎにおけるビデ
オ・フレームは廃棄されており、復号器は、バッファｎ
を再度更新するために、内輪で選択された次のフレーム
を復号しており、ディスプレイは、（ｔがＴＰn以上）
および（Ｓn＝１）が成り立つまで、バッファｎ−１に
おけるフレームを表示し続ける。要するに、好ましい実
施例は、ソフトウェアまたはファームウェアを用いて再
生するときオーディオとビデオとの間の同期を実現する
一方法を提供する。
スプレイバッファ制御がビデオ復号器バッファスイッチ
と並列に実行される。好ましい実施例は、ディスプレイ
バッファスイッチをビデオ・フレーム境界でチェックす
る。ｔ＝ｍΔＴ，ｍ＝０，１，２，．．．。ディスプレ
イがバッファｎ−１におけるビデオ・フレームを現在示
しているとすると、現在時間（ＴＰn以上のｔ）および
（Ｓn＝１）が保たれればかつ保たれさえすれば、それ
は次のバッファすなわちバッファｎに切り替わる。そう
でなければ、それはバッファｎ−１に接続される。ここ
で、（ｔがＴＰn以上）かつ（Ｓn＝０）ならば、それ
は、復号器が時間内でフレームの復号を終えられなかっ
たことを意味する。この場合、バッファｎにおけるビデ
オ・フレームは廃棄されており、復号器は、バッファｎ
を再度更新するために、内輪で選択された次のフレーム
を復号しており、ディスプレイは、（ｔがＴＰn以上）
および（Ｓn＝１）が成り立つまで、バッファｎ−１に
おけるフレームを表示し続ける。要するに、好ましい実
施例は、ソフトウェアまたはファームウェアを用いて再
生するときオーディオとビデオとの間の同期を実現する
一方法を提供する。
【０２７８】可変長復号 可変長復号（ＶＬＤ）は、符号器で可変長符号（ＶＬ
Ｃ）を用いて生成される復号ビットストリームに含まれ
ている。図１ｂのアイテム１２６を参照のこと。ＶＬＣ
のために、符号化ユニットに用いられるビットの数がユ
ニットごとに変わる。したがって、復号器は、それを復
号するまで符号ユニットに用いられるビットの数が分か
らない。これにより、復号器が復号処理の間にビットス
トリーム・バッファを用いることが不可欠になる。ビデ
オの符号化では、例えば、符号化されるべきフレームは
一組のマクロブロックに分解される（図４９を参照）。
最も小さなメモリ要件を考慮するとき、ここでの符号化
ユニットは、通常、マクロブロックとして定義される。
それは、１６×１６画素輝度領域と、クロマ・フォーマ
ット（４：２：０，４：２：２または４：４：４）に依
存する対応クロミナンス領域とからなる。確かに、スラ
イス（フレームにおけるマクロブロックの行）またはフ
レームそれ自体さえも、充分なメモリがあるならば、符
号化ユニットとして取り扱うことができる。
Ｃ）を用いて生成される復号ビットストリームに含まれ
ている。図１ｂのアイテム１２６を参照のこと。ＶＬＣ
のために、符号化ユニットに用いられるビットの数がユ
ニットごとに変わる。したがって、復号器は、それを復
号するまで符号ユニットに用いられるビットの数が分か
らない。これにより、復号器が復号処理の間にビットス
トリーム・バッファを用いることが不可欠になる。ビデ
オの符号化では、例えば、符号化されるべきフレームは
一組のマクロブロックに分解される（図４９を参照）。
最も小さなメモリ要件を考慮するとき、ここでの符号化
ユニットは、通常、マクロブロックとして定義される。
それは、１６×１６画素輝度領域と、クロマ・フォーマ
ット（４：２：０，４：２：２または４：４：４）に依
存する対応クロミナンス領域とからなる。確かに、スラ
イス（フレームにおけるマクロブロックの行）またはフ
レームそれ自体さえも、充分なメモリがあるならば、符
号化ユニットとして取り扱うことができる。
【０２７９】図５０は、好ましい実施例のデジタルスチ
ルカメラ（ＤＳＣ）でのビデオ再生を示す。ＤＳＣ応用
では、ビデオ・ビットストリームは、前もって捕獲さ
れ、高容量ＳＤＲＡＭに記憶され、また、ビデオ復号器
がＤＳＰ上に築かれる。復号器がＳＤＲＡＭに直接アク
セスするのは極端に高価であるので、オンチップ・ビッ
トストリーム・バッファがＤＳＰ内部メモリで開放され
る。ビットストリームは、まず、ＳＤＲＡＭからビット
ストリーム・バッファにＳＤＲＡＭを通ってローディン
グされ、その後、復号器は、ビットストリーム・バッフ
ァにおけるビットストリームを用いてビデオを再構築す
る。ＣＰＵの介入なしでバックグラウンドにおいて走行
できるＤＭＡ（直接メモリ・アクセス）を用いてビット
ストリーム・ローディングが達成されるため、ビットス
トリーム・ローディング・オーバーヘッドは、主に、Ｄ
ＭＡ転送用のレジスタをセットアップするのに用いられ
る時間に起因するものとなる。
ルカメラ（ＤＳＣ）でのビデオ再生を示す。ＤＳＣ応用
では、ビデオ・ビットストリームは、前もって捕獲さ
れ、高容量ＳＤＲＡＭに記憶され、また、ビデオ復号器
がＤＳＰ上に築かれる。復号器がＳＤＲＡＭに直接アク
セスするのは極端に高価であるので、オンチップ・ビッ
トストリーム・バッファがＤＳＰ内部メモリで開放され
る。ビットストリームは、まず、ＳＤＲＡＭからビット
ストリーム・バッファにＳＤＲＡＭを通ってローディン
グされ、その後、復号器は、ビットストリーム・バッフ
ァにおけるビットストリームを用いてビデオを再構築す
る。ＣＰＵの介入なしでバックグラウンドにおいて走行
できるＤＭＡ（直接メモリ・アクセス）を用いてビット
ストリーム・ローディングが達成されるため、ビットス
トリーム・ローディング・オーバーヘッドは、主に、Ｄ
ＭＡ転送用のレジスタをセットアップするのに用いられ
る時間に起因するものとなる。
【０２８０】ビットストリーム・バッファの管理に関し
ては、２つの基礎的要件がある。第１に、バッファ・サ
イズは最悪の場合をカバーするのに充分な大きさである
こと。例えば、ビデオの符号化では、マクロブロックを
符号化するための理論上の最大ビット数は２５６ワード
であり得る（ここでの１ワードは２バイトとして定義さ
れる）。この最悪の場合は非常にまれではあるけれど
も、安全サイドにあるためには、ビットストリーム・バ
ッファ・サイズは２５６ワードでなければならない。第
２に、ビットストリーム・バッファは決してアンダーフ
ローしてはならない。すなわち、バッファ管理は、符号
化ユニット用のビットストリームが復号されるときそれ
が利用可能であることが保証されなければならない。
ては、２つの基礎的要件がある。第１に、バッファ・サ
イズは最悪の場合をカバーするのに充分な大きさである
こと。例えば、ビデオの符号化では、マクロブロックを
符号化するための理論上の最大ビット数は２５６ワード
であり得る（ここでの１ワードは２バイトとして定義さ
れる）。この最悪の場合は非常にまれではあるけれど
も、安全サイドにあるためには、ビットストリーム・バ
ッファ・サイズは２５６ワードでなければならない。第
２に、ビットストリーム・バッファは決してアンダーフ
ローしてはならない。すなわち、バッファ管理は、符号
化ユニット用のビットストリームが復号されるときそれ
が利用可能であることが保証されなければならない。
【０２８１】２番目の要件を満足するために、異なる構
成がある。最も簡単なものは、各バッファ・アクセスで
ビットストリーム・バッファにおける復号位置をチェッ
クするというものである。ビットストリーム・バッファ
は、復号位置が有効バッファ範囲の外にあるときはいつ
でも、再充填される。復号化はビットごとの動作である
ので、この構成は現実的ではなく、それはバッファをい
つ充填するのかを決めるのにオーバーヘッドを費やし過
ぎる。現実的な構成は、図５１ａに示されるような線形
シフト・バッファ方式である。この方式では、ビットス
トリーム・バッファは復号器によって左から右へと線形
にアクセスされ、また、ユニットを復号した後は、ビッ
トストリームの残りはバッファの始めに前方にシフトさ
れ、その後、バッファは次のユニットを復号する前に
「フル」に再充填される。図５１ａにおいて、Ｐｓおよ
びＰｄは、ビットストリーム・バッファにおける現在の
復号位置およびビットストリーム最終位置をそれぞれ示
す。このバッファ方式は２つの不利益を有する。第１
に、バッファ・サイズが復号ユニットのビットの平均数
よりも大き過ぎるので、ビットストリーム・シフトに多
くの時間が費やされる。例えば、ビデオ復号では、バッ
ファ・サイズは最悪の場合をカバーするのに２５６ワー
ドであるが、平均すると、ユニットは１６ワードしか使
っておらず、これは各ユニットについて約２４０ワード
のシフトがあることを意味する。第２の不利益は、各ユ
ニットを復号した後にビットストリームのローディング
を必要とするというものであり、ＤＭＡ転送を発するの
に時間を費やさなければならないので、これには更なる
オーバーヘッドが費やされる。
成がある。最も簡単なものは、各バッファ・アクセスで
ビットストリーム・バッファにおける復号位置をチェッ
クするというものである。ビットストリーム・バッファ
は、復号位置が有効バッファ範囲の外にあるときはいつ
でも、再充填される。復号化はビットごとの動作である
ので、この構成は現実的ではなく、それはバッファをい
つ充填するのかを決めるのにオーバーヘッドを費やし過
ぎる。現実的な構成は、図５１ａに示されるような線形
シフト・バッファ方式である。この方式では、ビットス
トリーム・バッファは復号器によって左から右へと線形
にアクセスされ、また、ユニットを復号した後は、ビッ
トストリームの残りはバッファの始めに前方にシフトさ
れ、その後、バッファは次のユニットを復号する前に
「フル」に再充填される。図５１ａにおいて、Ｐｓおよ
びＰｄは、ビットストリーム・バッファにおける現在の
復号位置およびビットストリーム最終位置をそれぞれ示
す。このバッファ方式は２つの不利益を有する。第１
に、バッファ・サイズが復号ユニットのビットの平均数
よりも大き過ぎるので、ビットストリーム・シフトに多
くの時間が費やされる。例えば、ビデオ復号では、バッ
ファ・サイズは最悪の場合をカバーするのに２５６ワー
ドであるが、平均すると、ユニットは１６ワードしか使
っておらず、これは各ユニットについて約２４０ワード
のシフトがあることを意味する。第２の不利益は、各ユ
ニットを復号した後にビットストリームのローディング
を必要とするというものであり、ＤＭＡ転送を発するの
に時間を費やさなければならないので、これには更なる
オーバーヘッドが費やされる。
【０２８２】より良いバッファ管理方式は、図５１ｂに
示されるようないわゆる擬似循環バッファ方式である。
この方式では、復号器はビットストリーム・バッファを
循環してアクセスする。これにより、線形バッファ方式
に必要とされるビットストリーム・シフトは避けられ
る。ユニットを復号した後に２つの場合がある。この最
初の場合は図５１ｂの左手部分のものであり、ビットス
トリームの残りがバッファの真中に位置する。この場合
には、バッファはビットストリームを２回ローディング
することによって充填され、１回は右端用で、それに続
いてもう１回が左端をローディングするためである。
（注意：ビットストリーム・ローディングがビットスト
リームをビットストリーム・バッファに循環して書き込
むことができるならば、１回のみのローディングが必要
である。しかしながら、いつもこのような場合ではな
い。）第２の場合は、図５１ｂの右手部分に示されてお
り、そこではバッファの真中のみを充填する必要があ
る。擬似環状バッファ方式は、ビットストリーム・シフ
トを避けることができるので線形シフティング・バッフ
ァよりもより効率的であるが、各ユニットを復号した後
に１つまたは２つのビットストリーム負荷が必要となる
という不利益をなおも被る。以下の好ましい実施例のハ
イブリッド環状二重バッファ方式はこの問題を解決す
る。
示されるようないわゆる擬似循環バッファ方式である。
この方式では、復号器はビットストリーム・バッファを
循環してアクセスする。これにより、線形バッファ方式
に必要とされるビットストリーム・シフトは避けられ
る。ユニットを復号した後に２つの場合がある。この最
初の場合は図５１ｂの左手部分のものであり、ビットス
トリームの残りがバッファの真中に位置する。この場合
には、バッファはビットストリームを２回ローディング
することによって充填され、１回は右端用で、それに続
いてもう１回が左端をローディングするためである。
（注意：ビットストリーム・ローディングがビットスト
リームをビットストリーム・バッファに循環して書き込
むことができるならば、１回のみのローディングが必要
である。しかしながら、いつもこのような場合ではな
い。）第２の場合は、図５１ｂの右手部分に示されてお
り、そこではバッファの真中のみを充填する必要があ
る。擬似環状バッファ方式は、ビットストリーム・シフ
トを避けることができるので線形シフティング・バッフ
ァよりもより効率的であるが、各ユニットを復号した後
に１つまたは２つのビットストリーム負荷が必要となる
という不利益をなおも被る。以下の好ましい実施例のハ
イブリッド環状二重バッファ方式はこの問題を解決す
る。
【０２８３】図５２の状態０は、サイズの等しい２つの
バッファ（すなわち、左バッファおよび右バッファ）を
含むハイブリッド環状二重バッファを示す。各バッファ
には、バッファ充満（「フル」／「非フル」）を指示す
るフラッグがある。Ｐｓは、ユニットを復号した後の現
在の復号位置を指し示す。バッファ・サイズについて
は、各バッファは符号化ユニットを復号する最悪の場合
をカバーし、これによって、ハイブリッド・バッファ・
サイズが線形シフティング・バッファまたは擬似環状バ
ッファの２倍になっている。伝統的な２重バッファとは
異なり、ここの２つのバッファは、連続するメモリ割当
てを有する。すなわち、左バッファがメモリ・マップに
おいて右バッファに直接続けられている。復号器は、環
状にハイブリッド・バッファにアクセスする。
バッファ（すなわち、左バッファおよび右バッファ）を
含むハイブリッド環状二重バッファを示す。各バッファ
には、バッファ充満（「フル」／「非フル」）を指示す
るフラッグがある。Ｐｓは、ユニットを復号した後の現
在の復号位置を指し示す。バッファ・サイズについて
は、各バッファは符号化ユニットを復号する最悪の場合
をカバーし、これによって、ハイブリッド・バッファ・
サイズが線形シフティング・バッファまたは擬似環状バ
ッファの２倍になっている。伝統的な２重バッファとは
異なり、ここの２つのバッファは、連続するメモリ割当
てを有する。すなわち、左バッファがメモリ・マップに
おいて右バッファに直接続けられている。復号器は、環
状にハイブリッド・バッファにアクセスする。
【０２８４】好ましい実施例のハイブリッド・バッファ
は、以下の４つの状態を通って動作する。 ・状態０：初期化状態であって、左バッファおよび右バ
ッファの双方が完全にローディングされて「フル」に設
定され、Ｐｓはハイブリッド・バッファの開始を指し示
す。 ・状態１：第１のユニットを復号した後に、左バッファ
・フラッグを「非フル」に変更する。 ・状態２：ユニットを復号した後に、現在の復号位置Ｐ
ｓが右バッファにあり、かつ、左バッファ・フラッグが
「非フル」であるならば、左バッファを完全にローディ
ングして、左バッファ・フラッグを「フル」に設定す
る。また、右バッファ・フラッグが「フル」であるなら
ば、それを「非フル」に変更する。そうでなければ、何
の動作もとられない。 ・状態３：ユニットを復号した後に、現在の復号位置Ｐ
ｓが左バッファにあり、かつ、右バッファ・フラッグが
「非フル」であるならば、右バッファを完全にローディ
ングして、右バッファ・フラッグを「フル」に設定す
る。左バッファ・フラッグが「フル」であるならば、そ
れを「非フル」に変更する。そうでなければ、何の動作
もとられない。好ましい実施例のプラットフォーム（例
えば、図１ｂ）を例（ここで、データは１６ビット・ユ
ニットにある）として挙げて、以下のデータ種類を定義
する。
は、以下の４つの状態を通って動作する。 ・状態０：初期化状態であって、左バッファおよび右バ
ッファの双方が完全にローディングされて「フル」に設
定され、Ｐｓはハイブリッド・バッファの開始を指し示
す。 ・状態１：第１のユニットを復号した後に、左バッファ
・フラッグを「非フル」に変更する。 ・状態２：ユニットを復号した後に、現在の復号位置Ｐ
ｓが右バッファにあり、かつ、左バッファ・フラッグが
「非フル」であるならば、左バッファを完全にローディ
ングして、左バッファ・フラッグを「フル」に設定す
る。また、右バッファ・フラッグが「フル」であるなら
ば、それを「非フル」に変更する。そうでなければ、何
の動作もとられない。 ・状態３：ユニットを復号した後に、現在の復号位置Ｐ
ｓが左バッファにあり、かつ、右バッファ・フラッグが
「非フル」であるならば、右バッファを完全にローディ
ングして、右バッファ・フラッグを「フル」に設定す
る。左バッファ・フラッグが「フル」であるならば、そ
れを「非フル」に変更する。そうでなければ、何の動作
もとられない。好ましい実施例のプラットフォーム（例
えば、図１ｂ）を例（ここで、データは１６ビット・ユ
ニットにある）として挙げて、以下のデータ種類を定義
する。
【０２８５】
【表７】
【０２８６】表１に示される擬似符号はハイブリッド環
状二重バッファ方式を説明する。バッファ初期化機
能（）は復号の開始時に一度だけ呼ばれ、一方、ビット
ストリーム・バッファ更新機能（）は各符号化ユニット
を復号した後に呼ばれ、それは、条件が真になるなら
ば、バッファ・フラッグを自動的に更新し、バッファを
再ローディングする。表１において、ＢＵＦＳＩＺＥは
ハイブリッド環状二重バッファのバッファ・サイズを表
す。
状二重バッファ方式を説明する。バッファ初期化機
能（）は復号の開始時に一度だけ呼ばれ、一方、ビット
ストリーム・バッファ更新機能（）は各符号化ユニット
を復号した後に呼ばれ、それは、条件が真になるなら
ば、バッファ・フラッグを自動的に更新し、バッファを
再ローディングする。表１において、ＢＵＦＳＩＺＥは
ハイブリッド環状二重バッファのバッファ・サイズを表
す。
【０２８７】
【表８】
【０２８８】表１におけるBitstreamBufferUpdate()に
見ることができるように、左バッファまたは右バッファ
は、各ユニットを復号した後に再ローディングされない
が、反対バッファ（左／右）が用いられていて、かつ、
それのバッファ・フラッグが「非フル」でありさえすれ
ば、ローディングされる。これはバッファ負荷の数を大
きく低減する。ビデオ符号化を一例として考える。これ
は、マクロブロックがユニットであって、ユニットの平
均ビットストリーム・サイズが１６ワードであるとする
ならば、５１２ワードのBUFSIZEを必要とする。線形シ
フティング・バッファおよび擬似環状バッファが各ユニ
ットを復号した後にバッファを再充填するので、これら
の２つの方式の平均ローディング長も１６ワードであ
る。ハイブリッド環状二重バッファ方式における２５６
ワードの固定ローディング長と比較して、好ましい実施
例は約１６のファクターでローディング・オーバーヘッ
ドを低減する（すなわち、２５６／１６）。
見ることができるように、左バッファまたは右バッファ
は、各ユニットを復号した後に再ローディングされない
が、反対バッファ（左／右）が用いられていて、かつ、
それのバッファ・フラッグが「非フル」でありさえすれ
ば、ローディングされる。これはバッファ負荷の数を大
きく低減する。ビデオ符号化を一例として考える。これ
は、マクロブロックがユニットであって、ユニットの平
均ビットストリーム・サイズが１６ワードであるとする
ならば、５１２ワードのBUFSIZEを必要とする。線形シ
フティング・バッファおよび擬似環状バッファが各ユニ
ットを復号した後にバッファを再充填するので、これら
の２つの方式の平均ローディング長も１６ワードであ
る。ハイブリッド環状二重バッファ方式における２５６
ワードの固定ローディング長と比較して、好ましい実施
例は約１６のファクターでローディング・オーバーヘッ
ドを低減する（すなわち、２５６／１６）。
【０２８９】ミニ実験をして、上述した３つのバッファ
方式を比較した。使われたビデオ・シーケンスは、コー
ストガード（３５２×２８８，３００フレーム、４：
２：０）であった。ビットストリームはＭＰＥＧ１ビデ
オ符号器を用いて生成されている。目標ビット速度は３
メガビット／秒，Ｉフレームのみである。３つの異なる
バッファ方式の同じ復号器が同じビットストリームを復
号するために用いられ、バッファ・ローディング・カウ
ントおよびワード・シフティング・カウントが復号化の
間に記録される。３つのバッファ方式の間の性能の比較
が表２に列挙されている。表２に示されるとおり、各マ
クロ・ブロックについて、線形シフティング・バッファ
方式は、１つのバッファ負荷と、平均で約２４０ワード
のシフティングとを必要とする。擬似環状バッファ方式
は、わずかに多くのバッファ負荷を必要とするが（１．
０６負荷／マクロブロック）、シフティングを必要とし
ない。好ましい実施例のハイブリッド環状二重バッファ
方式は、マクロブロック当り約０．０６１９バッファ負
荷だけを用いた。特に、図１ｂの好ましい実施例のプラ
ットフォームでは、好ましい実施例の方式は、線形シフ
ティング・バッファ方式および擬似環状バッファ方式と
比較して約１１３および１７のサイクル・カウント低減
比をそれぞれ提供する。
方式を比較した。使われたビデオ・シーケンスは、コー
ストガード（３５２×２８８，３００フレーム、４：
２：０）であった。ビットストリームはＭＰＥＧ１ビデ
オ符号器を用いて生成されている。目標ビット速度は３
メガビット／秒，Ｉフレームのみである。３つの異なる
バッファ方式の同じ復号器が同じビットストリームを復
号するために用いられ、バッファ・ローディング・カウ
ントおよびワード・シフティング・カウントが復号化の
間に記録される。３つのバッファ方式の間の性能の比較
が表２に列挙されている。表２に示されるとおり、各マ
クロ・ブロックについて、線形シフティング・バッファ
方式は、１つのバッファ負荷と、平均で約２４０ワード
のシフティングとを必要とする。擬似環状バッファ方式
は、わずかに多くのバッファ負荷を必要とするが（１．
０６負荷／マクロブロック）、シフティングを必要とし
ない。好ましい実施例のハイブリッド環状二重バッファ
方式は、マクロブロック当り約０．０６１９バッファ負
荷だけを用いた。特に、図１ｂの好ましい実施例のプラ
ットフォームでは、好ましい実施例の方式は、線形シフ
ティング・バッファ方式および擬似環状バッファ方式と
比較して約１１３および１７のサイクル・カウント低減
比をそれぞれ提供する。
【０２９０】
【表９】
【０２９１】画面上表示およびグラフィック加速 画面上表示（ＯＳＤ）モジュール１０５は、異なるＯＳ
ＤウインドウからのＯＳＤデータを管理する責任があ
り、また、それをビデオと混合する。それは、ＯＳＤデ
ータをＳＤＲＡＭ１６０から読み出し、ＮＴＳＣ／ＰＡ
Ｌ符号器１０６に出力する。ＯＳＤモジュールはスタン
バイ・モジュールにデフォルトし、そこでは、それはビ
デオをＮＴＳＣ／ＰＡＬ符号器１０６に単純に送る。Ａ
ＲＭ ＣＰＵ１３０によって構成され活性化された後
に、ＯＳＤモジュールはＯＳＤデータを読み出して、そ
れをビデオ出力と混合する。ＡＲＭ ＣＰＵ１３０は、
ＯＳＤ動作をオン／オフするとともにＯＳＤデータをＳ
ＤＲＡＭに書き込む責任がある。図１５は、ＯＳＤモジ
ュールのブロック図および関係する他のアイテムを示
す。ＯＳＤの様々な機能が、以下の段落で説明される。
ＤウインドウからのＯＳＤデータを管理する責任があ
り、また、それをビデオと混合する。それは、ＯＳＤデ
ータをＳＤＲＡＭ１６０から読み出し、ＮＴＳＣ／ＰＡ
Ｌ符号器１０６に出力する。ＯＳＤモジュールはスタン
バイ・モジュールにデフォルトし、そこでは、それはビ
デオをＮＴＳＣ／ＰＡＬ符号器１０６に単純に送る。Ａ
ＲＭ ＣＰＵ１３０によって構成され活性化された後
に、ＯＳＤモジュールはＯＳＤデータを読み出して、そ
れをビデオ出力と混合する。ＡＲＭ ＣＰＵ１３０は、
ＯＳＤ動作をオン／オフするとともにＯＳＤデータをＳ
ＤＲＡＭに書き込む責任がある。図１５は、ＯＳＤモジ
ュールのブロック図および関係する他のアイテムを示
す。ＯＳＤの様々な機能が、以下の段落で説明される。
【０２９２】ＯＳＤデータ記憶。ＯＳＤデータは様々な
サイズを有する。ビットマップ・ウインドウでは、各画
素は１，２，４または８ビット幅であり得る。ＹＣｒＣ
ｂ４：２：２ウインドウでは、それは成分当り８ビット
を取り、その成分は４：２：２（Ｃｂ／Ｙ／Ｃｒ／
Ｙ．．．）フォーマットに従って配列される。ＲＧＢグ
ラフィック・データがＯＳＤとして用いられる必要があ
る場合には、アプリケーションは、それを記憶する前に
Ｙ／Ｃｒ／Ｃｂへのソフトウェア変換を行う。ＯＳＤデ
ータは、常に、３２ビット・ワードにパックされ、正し
いままとされる。ＯＳＤウインドウの左上角から始め
て、すべてのデータは隣接３２ビット・ワードにパック
される。
サイズを有する。ビットマップ・ウインドウでは、各画
素は１，２，４または８ビット幅であり得る。ＹＣｒＣ
ｂ４：２：２ウインドウでは、それは成分当り８ビット
を取り、その成分は４：２：２（Ｃｂ／Ｙ／Ｃｒ／
Ｙ．．．）フォーマットに従って配列される。ＲＧＢグ
ラフィック・データがＯＳＤとして用いられる必要があ
る場合には、アプリケーションは、それを記憶する前に
Ｙ／Ｃｒ／Ｃｂへのソフトウェア変換を行う。ＯＳＤデ
ータは、常に、３２ビット・ワードにパックされ、正し
いままとされる。ＯＳＤウインドウの左上角から始め
て、すべてのデータは隣接３２ビット・ワードにパック
される。
【０２９３】ＯＳＤウインドウを設定する。ＯＳＤウイ
ンドウはそれの属性によって定義される。ウインドウ用
のＯＳＤデータをＡＲＭ ＣＰＵ１３０によってＳＤＲ
ＡＭに記憶することに加えて、アプリケーション・プロ
グラムも、以下のサブセクションで説明される通り、ウ
インドウ属性およびＯＳＤモジュールにおける他の設定
を更新する必要がある。
ンドウはそれの属性によって定義される。ウインドウ用
のＯＳＤデータをＡＲＭ ＣＰＵ１３０によってＳＤＲ
ＡＭに記憶することに加えて、アプリケーション・プロ
グラムも、以下のサブセクションで説明される通り、ウ
インドウ属性およびＯＳＤモジュールにおける他の設定
を更新する必要がある。
【０２９４】位置レジスタ。位置レジスタは各ウインド
ウの左上角および右下角のＸおよびＹの位置を含む。ア
プリケーション・プログラムは、ＣＡＭを設定し、選択
されたＯＳＤウインドウをイネーブルする必要がある。
図１６を参照。
ウの左上角および右下角のＸおよびＹの位置を含む。ア
プリケーション・プログラムは、ＣＡＭを設定し、選択
されたＯＳＤウインドウをイネーブルする必要がある。
図１６を参照。
【０２９５】カラー・ルックアップ・テーブル。ＯＳＤ
は固定２５６エントリ・カラー・ルックアップ・テーブ
ル（ＣＬＵＴ）を有する。ＣＬＵＴはビットマップ・デ
ータをＹ／Ｃｒ／Ｃｂ成分に変換するのに用いられる。
１，２または４ビットマップ画素の場合には、ＣＬＵＴ
はＣＬＵＴレジスタによって決定することができる。
は固定２５６エントリ・カラー・ルックアップ・テーブ
ル（ＣＬＵＴ）を有する。ＣＬＵＴはビットマップ・デ
ータをＹ／Ｃｒ／Ｃｂ成分に変換するのに用いられる。
１，２または４ビットマップ画素の場合には、ＣＬＵＴ
はＣＬＵＴレジスタによって決定することができる。
【０２９６】混合および透明性。画素レベルでのカラー
混合がまた支援される。この特徴はビットマップ表示の
ためだけに利用できる（ウインドウ１，２）。ウインド
ウ・カラー混合がイネーブルされるならば、各画素の混
合量は混合ファクターによって決定される。以下の表に
示される通り、ウインドウ混合は、選択された混合ファ
クターに従って５つの異なるレベルを支援する。ハード
ウェアはビットマップで透明性モードを支援する。透明
性がイネーブルされるならば、０の値を有するビットマ
ップ表示上のいかなる画素も、ビデオが表示されること
を可能とする。本質的に、０の値の画素は、透明なカラ
ー（すなわち、背景カラーがビットマップを通して示さ
れる）と考えられる。表には、同じウインドウ上の透明
性と混合との間の接続が示されている。
混合がまた支援される。この特徴はビットマップ表示の
ためだけに利用できる（ウインドウ１，２）。ウインド
ウ・カラー混合がイネーブルされるならば、各画素の混
合量は混合ファクターによって決定される。以下の表に
示される通り、ウインドウ混合は、選択された混合ファ
クターに従って５つの異なるレベルを支援する。ハード
ウェアはビットマップで透明性モードを支援する。透明
性がイネーブルされるならば、０の値を有するビットマ
ップ表示上のいかなる画素も、ビデオが表示されること
を可能とする。本質的に、０の値の画素は、透明なカラ
ー（すなわち、背景カラーがビットマップを通して示さ
れる）と考えられる。表には、同じウインドウ上の透明
性と混合との間の接続が示されている。
【０２９７】
【表１０】
【０２９８】ハードウェア・カーソル。長方形がハード
ウェア・ウインドウ１を用いて提供される。ウインドウ
１では、カーソルは，常に，他のＯＳＤウインドウ上に
現れる。ユーザは、その形のサイズおよびカラーを特定
できる。ハードウェア・ウインドウ１がカーソルとして
指定されるとき、２つのウインドウのみがＯＳＤアプリ
ケーションに利用できる。ハードウェア・カーソルが用
いられないならば、アプリケーションはウインドウ１を
通常のハードウェア・ウインドウとして用いることがで
きる。図１７は、ハードウェア・カーソルの一例を示
す。
ウェア・ウインドウ１を用いて提供される。ウインドウ
１では、カーソルは，常に，他のＯＳＤウインドウ上に
現れる。ユーザは、その形のサイズおよびカラーを特定
できる。ハードウェア・ウインドウ１がカーソルとして
指定されるとき、２つのウインドウのみがＯＳＤアプリ
ケーションに利用できる。ハードウェア・カーソルが用
いられないならば、アプリケーションはウインドウ１を
通常のハードウェア・ウインドウとして用いることがで
きる。図１７は、ハードウェア・カーソルの一例を示
す。
【０２９９】ＤＳＰサブシステム ＤＳＰサブシステムは、Ｃ５４ｘＤＳＰと、ローカルメ
モリ・ブロックと、ｉＭＸおよびＶＬＣ加速器と、共有
される画像バッファと、共有を実行する乗算器とからな
る。Ｃ５４ｘは、高性能，低電力および市場で証明され
たＤＳＰである。Ｃ５４ｘ用のｃＤＳＰハードウェアお
よびソフトウェア開発ツールも非常に円熟している。Ｄ
ＳＰは、オート露光，オートフォーカスおよびオートホ
ワイトバランシング（ＡＥ／ＡＦ／ＡＷＢ）と画像パイ
プライン・タスクの一部とを実行する。それはまた、Ｓ
ＤＲＡＭ転送を取り扱い、加速器を駆動して画像処理の
残りおよび画像圧縮タスクを実行する。ＤＳＰにおける
プログラミングの柔軟性および簡易性により、カメラ製
造業者が、画像処理フローを洗練させ、品質および性能
のトレードオフを調整し、カメラに更なる特徴を導入す
ることが可能となる。
モリ・ブロックと、ｉＭＸおよびＶＬＣ加速器と、共有
される画像バッファと、共有を実行する乗算器とからな
る。Ｃ５４ｘは、高性能，低電力および市場で証明され
たＤＳＰである。Ｃ５４ｘ用のｃＤＳＰハードウェアお
よびソフトウェア開発ツールも非常に円熟している。Ｄ
ＳＰは、オート露光，オートフォーカスおよびオートホ
ワイトバランシング（ＡＥ／ＡＦ／ＡＷＢ）と画像パイ
プライン・タスクの一部とを実行する。それはまた、Ｓ
ＤＲＡＭ転送を取り扱い、加速器を駆動して画像処理の
残りおよび画像圧縮タスクを実行する。ＤＳＰにおける
プログラミングの柔軟性および簡易性により、カメラ製
造業者が、画像処理フローを洗練させ、品質および性能
のトレードオフを調整し、カメラに更なる特徴を導入す
ることが可能となる。
【０３００】適合性のあるＤＳＰ（ｃＤＳＰ）設計フロ
ーは、柔軟性および設計再使用を可能とするように採用
される。ＤＳＰと加速器との間でタイム・シェアリング
されるメモリ・ブロックは、１つの処理ユニット（１６
×１６画素）のために十分大きく、また、ＤＳＰへのゼ
ロ待機状態アクセスを提供する。 特徴 固定小数点デジタル信号プロセッサ １００ＭＩＰｓＬＥＡＤ２．０ＣＰＵ オンモジュールＲＡＭ３２Ｋ×１６ビット （４ブロックの８Ｋ×１６ビット二重アクセス・プログ
ラム／データＲＡＭ） マルチチャンネルバッファされたシリアルポート（Ｍｃ
ＢＳＰｓ） ＡＲＭは拡張８ビット・ホスト・ポート・インターフェ
ースを介してＲＡＭにアクセスすることができる。 １つのハードウェア・タイマー オンチップ・プログラム可能ＰＬＬ ソフトウェア・プログラム可能待機状態生成器 スキャン・ベース・エミュレーションおよびＪＴＡＧ境
界スキャン・ロジック
ーは、柔軟性および設計再使用を可能とするように採用
される。ＤＳＰと加速器との間でタイム・シェアリング
されるメモリ・ブロックは、１つの処理ユニット（１６
×１６画素）のために十分大きく、また、ＤＳＰへのゼ
ロ待機状態アクセスを提供する。 特徴 固定小数点デジタル信号プロセッサ １００ＭＩＰｓＬＥＡＤ２．０ＣＰＵ オンモジュールＲＡＭ３２Ｋ×１６ビット （４ブロックの８Ｋ×１６ビット二重アクセス・プログ
ラム／データＲＡＭ） マルチチャンネルバッファされたシリアルポート（Ｍｃ
ＢＳＰｓ） ＡＲＭは拡張８ビット・ホスト・ポート・インターフェ
ースを介してＲＡＭにアクセスすることができる。 １つのハードウェア・タイマー オンチップ・プログラム可能ＰＬＬ ソフトウェア・プログラム可能待機状態生成器 スキャン・ベース・エミュレーションおよびＪＴＡＧ境
界スキャン・ロジック
【０３０１】図１８ａは、ＤＳＰサブシステムについて
の更なる詳細、特に、ＤＳＰとｉＭＸおよびＶＬＣとの
間の接続の詳細を示す。図１８ｂは、メモリ・マップで
ある。共有されたメモリ・ブロックＡ，Ｂは、ＤＳＰの
データ・メモリ空間上で２つの２Ｋワード・バンクを占
める。各ブロックは、ＤＳＰによって制御される状態ス
イッチングに依存してＤＳＰ，ｉＭＸ，ＶＣＬおよびＳ
ＤＲＡＭコントローラによってアクセスすることができ
る。ダイナミックなサイクルごとのメモリ仲裁は計画さ
れない。ＤＳＰのプログラムは、ゼロ待機状態外部メモ
リ・インターフェースを通してこれらのメモリ・ブロッ
クの継ぎ目のないアクセスを得る。ｉＭＸ係数，ｉＭＸ
コマンド，ＶＬＣ Ｑ行列およびＶＬＣハフマン表用の
構成メモリ・ブロックもＤＳＰの外部メモリ・インター
フェースに接続する。それらはまた、特定のモジュール
とＤＳＰとの間で静的に切り替えられる。典型的には、
パワーアップでまたはカメラ動作モードの初期の段階
で、これらのメモリ・ブロックはＤＳＰ側に切り替えら
れ、ＤＳＰが動作のために適切な構成情報を設定するこ
とができるものとなっている。その後、それらは、動作
の期間中にｉＭＸおよびＶＬＣに切り替えられる。
の更なる詳細、特に、ＤＳＰとｉＭＸおよびＶＬＣとの
間の接続の詳細を示す。図１８ｂは、メモリ・マップで
ある。共有されたメモリ・ブロックＡ，Ｂは、ＤＳＰの
データ・メモリ空間上で２つの２Ｋワード・バンクを占
める。各ブロックは、ＤＳＰによって制御される状態ス
イッチングに依存してＤＳＰ，ｉＭＸ，ＶＣＬおよびＳ
ＤＲＡＭコントローラによってアクセスすることができ
る。ダイナミックなサイクルごとのメモリ仲裁は計画さ
れない。ＤＳＰのプログラムは、ゼロ待機状態外部メモ
リ・インターフェースを通してこれらのメモリ・ブロッ
クの継ぎ目のないアクセスを得る。ｉＭＸ係数，ｉＭＸ
コマンド，ＶＬＣ Ｑ行列およびＶＬＣハフマン表用の
構成メモリ・ブロックもＤＳＰの外部メモリ・インター
フェースに接続する。それらはまた、特定のモジュール
とＤＳＰとの間で静的に切り替えられる。典型的には、
パワーアップでまたはカメラ動作モードの初期の段階
で、これらのメモリ・ブロックはＤＳＰ側に切り替えら
れ、ＤＳＰが動作のために適切な構成情報を設定するこ
とができるものとなっている。その後、それらは、動作
の期間中にｉＭＸおよびＶＬＣに切り替えられる。
【０３０２】イメージング拡張（ｉＭＸ） ｉＭＸ（イメージング拡張）は、プログラム可能なＤＳ
Ｐの画像処理性能を拡張するための柔軟な制御およびメ
モリ・インターフェースをもつ並列ＭＡＣエンジンであ
る。ｉＭＸは、柔軟性，メモリ使用およびプログラミン
グの簡易性が達成されるように、ＤＳＰプロセッサを備
えた共有メモリ構成において良好に作動するものと考え
られる。そのアーキテクチャは、一般の１−Ｄおよび２
−Ｄ ＦＩＲフィルタリング，アレイ・スケーリング／
付加，（カラー空間変換用の）行列乗算，クリッピング
および閾値動作をカバーする。デジタルスチルカメラで
は、ｉＭＸは、以下のものをスピードアップするのに用
いることができる。 ＣＦＡ補間 カラー空間変換 クロマ・ダウンサンプリング エッジ強調 カラー抑制 ＤＣＴおよびＩＤＣＴ テーブル・ルックアップ
Ｐの画像処理性能を拡張するための柔軟な制御およびメ
モリ・インターフェースをもつ並列ＭＡＣエンジンであ
る。ｉＭＸは、柔軟性，メモリ使用およびプログラミン
グの簡易性が達成されるように、ＤＳＰプロセッサを備
えた共有メモリ構成において良好に作動するものと考え
られる。そのアーキテクチャは、一般の１−Ｄおよび２
−Ｄ ＦＩＲフィルタリング，アレイ・スケーリング／
付加，（カラー空間変換用の）行列乗算，クリッピング
および閾値動作をカバーする。デジタルスチルカメラで
は、ｉＭＸは、以下のものをスピードアップするのに用
いることができる。 ＣＦＡ補間 カラー空間変換 クロマ・ダウンサンプリング エッジ強調 カラー抑制 ＤＣＴおよびＩＤＣＴ テーブル・ルックアップ
【０３０３】ｉＭＸ方法論は、並列処理および高性能コ
ンピュータ・アーキテクチャの研究から生じている。設
計は、スケーラブルＭＡＣエンジンの必要性を含む。第
１の好ましい実施例におけるｉＭＸは４つのＭＡＣユニ
ットを組み込んでいる。図１９を参照。代替の好ましい
実施例は８以上のＭＡＣユニットにグレードアップして
いる。ソフトウェアは、ハードウェア・グレードアップ
が実質的なソフトウェア変更を生じないように、構成す
ることができる。ｉＭＸの大きな柔軟性は、パラメータ
起動アドレス生成およびルーピング制御によるものであ
る。全体の効率は、ｉＭＸ内の効率的なパイプライン制
御およびシステム・レベル・メモリ・バッファリング方
式から生じている。ｉＭＸはブロック・ベース処理のた
めに最もよく作動する。これを容易とするために、デー
タパスはデータ入出力および係数メモリに接続する必要
がある。ｉＭＸは、データ入力ポート，データ出力ポー
トおよび係数メモリ・ポートを含み、また、これらのポ
ート間の仲裁を可能とする。これは、専用メモリ・ブロ
ックの必要性を削除し、システムレベルに更なる柔軟性
とより良いメモリ使用とをもたらす。これらのメモリ・
ブロックは、データ交換を容易とするために、ＤＳＰデ
ータ・メモリとしてアクセス可能である。ｉＭＸにコマ
ンド復号ユニットを送出する別のコマンド・メモリがあ
る。そのコマンド・メモリが、自らの基準画像パイプラ
イン・アルゴリズムにおいて、すべての加速されたステ
ップに適合するよう指定され、このコマンドのシーケン
スがＤＳＰからの介入をほとんどなしに実行することが
できるものとされる。
ンピュータ・アーキテクチャの研究から生じている。設
計は、スケーラブルＭＡＣエンジンの必要性を含む。第
１の好ましい実施例におけるｉＭＸは４つのＭＡＣユニ
ットを組み込んでいる。図１９を参照。代替の好ましい
実施例は８以上のＭＡＣユニットにグレードアップして
いる。ソフトウェアは、ハードウェア・グレードアップ
が実質的なソフトウェア変更を生じないように、構成す
ることができる。ｉＭＸの大きな柔軟性は、パラメータ
起動アドレス生成およびルーピング制御によるものであ
る。全体の効率は、ｉＭＸ内の効率的なパイプライン制
御およびシステム・レベル・メモリ・バッファリング方
式から生じている。ｉＭＸはブロック・ベース処理のた
めに最もよく作動する。これを容易とするために、デー
タパスはデータ入出力および係数メモリに接続する必要
がある。ｉＭＸは、データ入力ポート，データ出力ポー
トおよび係数メモリ・ポートを含み、また、これらのポ
ート間の仲裁を可能とする。これは、専用メモリ・ブロ
ックの必要性を削除し、システムレベルに更なる柔軟性
とより良いメモリ使用とをもたらす。これらのメモリ・
ブロックは、データ交換を容易とするために、ＤＳＰデ
ータ・メモリとしてアクセス可能である。ｉＭＸにコマ
ンド復号ユニットを送出する別のコマンド・メモリがあ
る。そのコマンド・メモリが、自らの基準画像パイプラ
イン・アルゴリズムにおいて、すべての加速されたステ
ップに適合するよう指定され、このコマンドのシーケン
スがＤＳＰからの介入をほとんどなしに実行することが
できるものとされる。
【０３０４】ｉＭＸブロック図が図２０に示されてい
る。コマンド復号サブブロックは、コマンドを読み出し
復号し、また、静的パラメータをコマンド当り一組だけ
アドレス生成器に押しやる。その後、アドレス生成器
は、ルーピング変数およびデータ／係数／出力ポインタ
を計算し、サイクルごとのパイプライン制御を取り扱う
実行制御と整合する。アドレス生成器は、データおよび
係数読出し要求をアービタ（arbiter）に送る。アービ
タはその要求をデータ／係数メモリに転送する。メモリ
から読み戻されたデータは入力フォーマッタに行き、そ
れはデータの整列および複製を行う。その後、フォーマ
ットされたデータおよび係数はデータパスに提供され、
それは、主として、４つのＭＡＣユニットからなる。デ
ータパスからの出力は、メモリ書込み用のアービタへの
経路をたどる。ｉＭＸは、共有メモリを介して（データ
入力，係数，データ出力，コマンドのために）およびメ
モリ・マップされたレジスタ（開始コマンド，終了状
態）を介してＤＳＰと通信する。すべてのデータ・バッ
ファおよびメモリ・ブロックは、シングル・ポートであ
り、オンライン仲裁よりもむしろ静的制御を介して１つ
のものから別のものへと切り替えられる。
る。コマンド復号サブブロックは、コマンドを読み出し
復号し、また、静的パラメータをコマンド当り一組だけ
アドレス生成器に押しやる。その後、アドレス生成器
は、ルーピング変数およびデータ／係数／出力ポインタ
を計算し、サイクルごとのパイプライン制御を取り扱う
実行制御と整合する。アドレス生成器は、データおよび
係数読出し要求をアービタ（arbiter）に送る。アービ
タはその要求をデータ／係数メモリに転送する。メモリ
から読み戻されたデータは入力フォーマッタに行き、そ
れはデータの整列および複製を行う。その後、フォーマ
ットされたデータおよび係数はデータパスに提供され、
それは、主として、４つのＭＡＣユニットからなる。デ
ータパスからの出力は、メモリ書込み用のアービタへの
経路をたどる。ｉＭＸは、共有メモリを介して（データ
入力，係数，データ出力，コマンドのために）およびメ
モリ・マップされたレジスタ（開始コマンド，終了状
態）を介してＤＳＰと通信する。すべてのデータ・バッ
ファおよびメモリ・ブロックは、シングル・ポートであ
り、オンライン仲裁よりもむしろ静的制御を介して１つ
のものから別のものへと切り替えられる。
【０３０５】典型的な応用では、ＤＳＰは、フィルタ係
数，ＤＣＴ／ＩＤＣＴコサイン定数およびルックアップ
・テーブルを係数メモリに置き、また、ｉＭＸコマンド
をコマンド・メモリに置く。その後、ＤＳＰはこれらの
メモリ・ブロックへのアクセスをｉＭＸに引き渡す。こ
れらのメモリ・ブロックは、主要なカメラ動作モード
（例えば、画像捕獲）のために必要なすべての係数およ
びコマンドに適合するために、基準設計に適切なサイズ
とされる。いかなる更新／再ローディングも非常に低い
頻度で起こるべきである。いずれかのまたは双方のメモ
リ・ブロックの空間がなくなる場合には、ページングを
行うことができる。ＤＳＰは、ｉＭＸに１つのデータ・
バッファだけがあるように、スイッチ・ネットワークを
管理する。走行時間の間、ＤＳＰは、Ａ／Ｂバッファを
それ自体，ｉＭＸ，ＶＬＸおよびＳＤＲＡＭコントロー
ラの間で切り替えて、データの受け渡しを実行した。図
２１は、ＤＳＰ上の画像パイプラインをスピードアップ
するのに用いられる入力切上げ／クリッピング能力を備
えた単純テーブル・ルックアップ加速器を図示する。こ
れは非常に単純な制御構造およびデータパスで実行され
る。
数，ＤＣＴ／ＩＤＣＴコサイン定数およびルックアップ
・テーブルを係数メモリに置き、また、ｉＭＸコマンド
をコマンド・メモリに置く。その後、ＤＳＰはこれらの
メモリ・ブロックへのアクセスをｉＭＸに引き渡す。こ
れらのメモリ・ブロックは、主要なカメラ動作モード
（例えば、画像捕獲）のために必要なすべての係数およ
びコマンドに適合するために、基準設計に適切なサイズ
とされる。いかなる更新／再ローディングも非常に低い
頻度で起こるべきである。いずれかのまたは双方のメモ
リ・ブロックの空間がなくなる場合には、ページングを
行うことができる。ＤＳＰは、ｉＭＸに１つのデータ・
バッファだけがあるように、スイッチ・ネットワークを
管理する。走行時間の間、ＤＳＰは、Ａ／Ｂバッファを
それ自体，ｉＭＸ，ＶＬＸおよびＳＤＲＡＭコントロー
ラの間で切り替えて、データの受け渡しを実行した。図
２１は、ＤＳＰ上の画像パイプラインをスピードアップ
するのに用いられる入力切上げ／クリッピング能力を備
えた単純テーブル・ルックアップ加速器を図示する。こ
れは非常に単純な制御構造およびデータパスで実行され
る。
【０３０６】ＶＬＣエンジン ＶＬＣ加速器は、ＪＰＥＧ圧縮およびＭＰＥＧ圧縮の場
面における量子化およびハフマン符号化のために最適化
されたコプロセッサである。それは、ＤＳＰによってプ
レローディングされた量子化行列およびハフマン表で共
有メモリ・ブロックを介して動作する。設計における積
極的なパイプラインは、圧縮用の３千万のＤＣＴ係数を
超える非常に高いスループット速度を達成する。量子化
行列，ハフマン表およびデータ入出力メモリを含むＶＬ
Ｃの作動メモリはすべて共有メモリ・ブロックである。
面における量子化およびハフマン符号化のために最適化
されたコプロセッサである。それは、ＤＳＰによってプ
レローディングされた量子化行列およびハフマン表で共
有メモリ・ブロックを介して動作する。設計における積
極的なパイプラインは、圧縮用の３千万のＤＣＴ係数を
超える非常に高いスループット速度を達成する。量子化
行列，ハフマン表およびデータ入出力メモリを含むＶＬ
Ｃの作動メモリはすべて共有メモリ・ブロックである。
【０３０７】ＶＬＣ機能性 基本的に、ＶＬＣは、量子化，ジグザグ・スキャンおよ
びＪＰＥＧ符号用のハフマン符号（ベースラインＤＣ
Ｔ，８ビット・サンプル）を４つまでの量子化行列（in
vq[i, j]＝２16／q[i, j]）およびすべてローディング
可能な２つの符号化ハフマン表でカバーする。１０ブロ
ックまでを含む１つのＭＣＵを処理することができる。
各ブロックは８×８＝６４サンプルからなる。量子化，
ジグザグ・スキャンおよびＭＰＥＧ−１ビデオ符号化用
のハフマン符号化。６つまでの８×８ブロックで１つの
マクロブロックを処理することができる。ブロックの数
およびそれらの中の輝度ブロック数を指定することがで
きる。ハフマン符号化は、量子化されジグザグに順位付
けられたレベルを生成するのに迂回することができる。
加速器は、入出力バッファ，量子化行列およびハフマン
符号化表用のメモリ・ブロックを要求する。メモリ構成
は、通常の符号化動作，１つのＪＰＥＧ ＭＣＵ（最小
符号化ユニット）または呼出し当りのＭＰＥＧマクロブ
ロックを支援するのに十分なものである。
びＪＰＥＧ符号用のハフマン符号（ベースラインＤＣ
Ｔ，８ビット・サンプル）を４つまでの量子化行列（in
vq[i, j]＝２16／q[i, j]）およびすべてローディング
可能な２つの符号化ハフマン表でカバーする。１０ブロ
ックまでを含む１つのＭＣＵを処理することができる。
各ブロックは８×８＝６４サンプルからなる。量子化，
ジグザグ・スキャンおよびＭＰＥＧ−１ビデオ符号化用
のハフマン符号化。６つまでの８×８ブロックで１つの
マクロブロックを処理することができる。ブロックの数
およびそれらの中の輝度ブロック数を指定することがで
きる。ハフマン符号化は、量子化されジグザグに順位付
けられたレベルを生成するのに迂回することができる。
加速器は、入出力バッファ，量子化行列およびハフマン
符号化表用のメモリ・ブロックを要求する。メモリ構成
は、通常の符号化動作，１つのＪＰＥＧ ＭＣＵ（最小
符号化ユニット）または呼出し当りのＭＰＥＧマクロブ
ロックを支援するのに十分なものである。
【０３０８】入力および出力の双方は２Ｋワード（１ワ
ード＝１６ビット）共有メモリ・バッファ（Ａまたは
Ｂ）に適合しなければならない。ＭＣＵまたはマクロブ
ロックは、最大１０の８×８ブロックまたは６４０入力
ワードを有する。圧縮された出力データは、典型的に
は、入力サイズよりも小さい。ＪＰＥＧハフマン符号化
表は、表当り（１２×１７６）×３２ビットまたは３８
４ワードを費やす。ＪＰＥＧ標準は、２つの表を可能と
し、合計で７６８メモリ・ワードを費やす。ＭＰＥＧ表
は、ＶＬＣに回路接続され、メモリを費やさない。ハフ
マン表には２Ｋワードを割り当てている。１６ビットに
よる５１２ワードの量子化行列メモリは、各々が６４×
１６ビットを費やす８つの量子化行列が同時に存在する
ことを可能とする。ＪＰＥＧは、４つの行列を可能と
し、ＭＰＥＧ符号化は２つの行列を必要とする。図２２
はＶＬＣの主なサブブロックを示す。符号化経路のみが
１つの好ましい実施例のＶＬＣモジュールで実現され、
代替の好ましい実施例では、復号化経路はモジュールに
組み込まれる。
ード＝１６ビット）共有メモリ・バッファ（Ａまたは
Ｂ）に適合しなければならない。ＭＣＵまたはマクロブ
ロックは、最大１０の８×８ブロックまたは６４０入力
ワードを有する。圧縮された出力データは、典型的に
は、入力サイズよりも小さい。ＪＰＥＧハフマン符号化
表は、表当り（１２×１７６）×３２ビットまたは３８
４ワードを費やす。ＪＰＥＧ標準は、２つの表を可能と
し、合計で７６８メモリ・ワードを費やす。ＭＰＥＧ表
は、ＶＬＣに回路接続され、メモリを費やさない。ハフ
マン表には２Ｋワードを割り当てている。１６ビットに
よる５１２ワードの量子化行列メモリは、各々が６４×
１６ビットを費やす８つの量子化行列が同時に存在する
ことを可能とする。ＪＰＥＧは、４つの行列を可能と
し、ＭＰＥＧ符号化は２つの行列を必要とする。図２２
はＶＬＣの主なサブブロックを示す。符号化経路のみが
１つの好ましい実施例のＶＬＣモジュールで実現され、
代替の好ましい実施例では、復号化経路はモジュールに
組み込まれる。
【０３０９】ＡＲＭサブシステム ＡＲＭマイクロプロセッサ１３０は、システムレベル初
期化，構成，ユーザ・インターフェース，ユーザコマン
ド実行，接続性機能および全体のシステム制御を取り扱
う。ＡＲＭ１３０は、大きなメモリ空間，より良いコン
テクスト切替え能力を有しており、それにより、ＤＳＰ
１２２よりも複雑な処理，マルチ・タスキング処理およ
び一般の処理に適当である。好ましい実施例は、ＡＲＭ
７ｃＴＤＭＩコアを一体化する。図１ｂを参照。ＡＲＭ
７コアは少なくとも４０ＭＨｚまで指定される。ＡＲＭ
サブシステムはまた、３２Ｋバイト・ローカル・スタテ
ィックＲＡＭ１３２を有する。ＡＲＭプロセッサ１３０
は、ＣＣＤコントローラ，ＴＶ符号器，プレビュー・エ
ンジン，ＩｒＤＡ，ＵＳＢ，コンパクトフラッシュ（登
録商標）／スマートメディア，ＵＡＲＴなどを含むすべ
てのＤＳＣ周辺機器に接続される。
期化，構成，ユーザ・インターフェース，ユーザコマン
ド実行，接続性機能および全体のシステム制御を取り扱
う。ＡＲＭ１３０は、大きなメモリ空間，より良いコン
テクスト切替え能力を有しており、それにより、ＤＳＰ
１２２よりも複雑な処理，マルチ・タスキング処理およ
び一般の処理に適当である。好ましい実施例は、ＡＲＭ
７ｃＴＤＭＩコアを一体化する。図１ｂを参照。ＡＲＭ
７コアは少なくとも４０ＭＨｚまで指定される。ＡＲＭ
サブシステムはまた、３２Ｋバイト・ローカル・スタテ
ィックＲＡＭ１３２を有する。ＡＲＭプロセッサ１３０
は、ＣＣＤコントローラ，ＴＶ符号器，プレビュー・エ
ンジン，ＩｒＤＡ，ＵＳＢ，コンパクトフラッシュ（登
録商標）／スマートメディア，ＵＡＲＴなどを含むすべ
てのＤＳＣ周辺機器に接続される。
【０３１０】ＡＲＭプロセッサ１３０は、ＳＤＲＡＭお
よびＬＣＤＮへのＣＣＤ入力生データおよび中間データ
の管理をする。すべてのＩ／Ｏデバイスに接続されて、
ＡＲＭは、ＵＳＢ，ＩｒＤＡ，コンパクトフラッシュ／
スマートメディアおよびＵＡＲＴＳのようなスマートデ
バイスを管理し、それらに対して責任がある。ＰＲＥＶ
ＩＥＷ，ＣＡＰＴＵＲＥ，ＰＬＡＹＢＡＣＫおよびＢＵ
ＲＳＴの４つの基礎動作モードはＡＲＭからの要求によ
って開始される。その後、ＡＲＭは、その要求を完了す
るためにデバイスをモニタし、場合によっては、その要
求が完了した後にデータを管理する。ＲＥＳＥＴの後で
かついかなるカメラ動作が起こり得る前に、ＡＲＭはい
くつかのハウスキーピング・タスクを行わなければなら
ない。最初のタスクはＢＯＯＴ動作タスクとして知られ
ている。この機能はＩ／Ｏおよび周辺機器を周知の状態
に初期化するだけではなく、それはまたＤＳＰ１２２を
用意しローディングし開始しなければならない。このシ
ーケンスは、フラッシュからＤＳＰブート符号を読み出
し、ＤＳＰ符号メモリをローディングし、続いてそれの
ＨＯＬＤ状態からＤＳＰを放出することによって、開始
する。更なるＤＳＰ符号があるフォーマットでＳＤＲＡ
Ｍにロードされ、その後、ＤＳＰは、ＡＲＭ介入なしに
それの符号空間を読み出しオーバーレイすることができ
る。
よびＬＣＤＮへのＣＣＤ入力生データおよび中間データ
の管理をする。すべてのＩ／Ｏデバイスに接続されて、
ＡＲＭは、ＵＳＢ，ＩｒＤＡ，コンパクトフラッシュ／
スマートメディアおよびＵＡＲＴＳのようなスマートデ
バイスを管理し、それらに対して責任がある。ＰＲＥＶ
ＩＥＷ，ＣＡＰＴＵＲＥ，ＰＬＡＹＢＡＣＫおよびＢＵ
ＲＳＴの４つの基礎動作モードはＡＲＭからの要求によ
って開始される。その後、ＡＲＭは、その要求を完了す
るためにデバイスをモニタし、場合によっては、その要
求が完了した後にデータを管理する。ＲＥＳＥＴの後で
かついかなるカメラ動作が起こり得る前に、ＡＲＭはい
くつかのハウスキーピング・タスクを行わなければなら
ない。最初のタスクはＢＯＯＴ動作タスクとして知られ
ている。この機能はＩ／Ｏおよび周辺機器を周知の状態
に初期化するだけではなく、それはまたＤＳＰ１２２を
用意しローディングし開始しなければならない。このシ
ーケンスは、フラッシュからＤＳＰブート符号を読み出
し、ＤＳＰ符号メモリをローディングし、続いてそれの
ＨＯＬＤ状態からＤＳＰを放出することによって、開始
する。更なるＤＳＰ符号があるフォーマットでＳＤＲＡ
Ｍにロードされ、その後、ＤＳＰは、ＡＲＭ介入なしに
それの符号空間を読み出しオーバーレイすることができ
る。
【０３１１】ＡＲＭ ＳＤＲＡＭインターフェース ＡＲＭは、（１）ＳＤＲＡＭバッファ（バースト読出し
／書込み）を通して、（２）より長い待機時間−４サイ
クルＲＥＡＤ，６サイクルＷＲＩＴＥでのＳＤＲＡＭへ
の直接アクセスという、ＳＤＲＡＭへの２種類のアクセ
スを有する。メモリへの直接アクセスはワード，半ワー
ドまたはバイト・アクセスであり得る。ＡＲＭ／ＳＤＲ
ＡＭコントローラ・インターフェースはまた、３２バイ
トのバッファを有する。ＳＤＲＡＭバースト要求は最初
にこのバッファを充填し、ＡＲＭはこのバッファからの
読出しとそれへの書込みとを行う。
／書込み）を通して、（２）より長い待機時間−４サイ
クルＲＥＡＤ，６サイクルＷＲＩＴＥでのＳＤＲＡＭへ
の直接アクセスという、ＳＤＲＡＭへの２種類のアクセ
スを有する。メモリへの直接アクセスはワード，半ワー
ドまたはバイト・アクセスであり得る。ＡＲＭ／ＳＤＲ
ＡＭコントローラ・インターフェースはまた、３２バイ
トのバッファを有する。ＳＤＲＡＭバースト要求は最初
にこのバッファを充填し、ＡＲＭはこのバッファからの
読出しとそれへの書込みとを行う。
【０３１２】ＡＲＭ外部メモリ・インターフェース ＡＲＭ１３０は、外部メモリ・インターフェース・モジ
ュールを通して外部メモリに接続する。ＡＲＭ１３０
は、このインターフェースを通してコンパクトフラッシ
ュ／スマートメディアに接続する。ＡＲＭ１３０はま
た、このインターフェースを通してオフチップのフラッ
シュメモリに接続する。ＤＭＡブロック（図１ｂ）は、
ＡＲＭをＣＦ／スマートメディア転送に高める。
ュールを通して外部メモリに接続する。ＡＲＭ１３０
は、このインターフェースを通してコンパクトフラッシ
ュ／スマートメディアに接続する。ＡＲＭ１３０はま
た、このインターフェースを通してオフチップのフラッ
シュメモリに接続する。ＤＭＡブロック（図１ｂ）は、
ＡＲＭをＣＦ／スマートメディア転送に高める。
【０３１３】ＡＲＭ／ＤＳＰ ＢＯＯＴシーケンス ＤＳＰ ＢＯＯＴシーケンスは電源立上げの後かＣＯＬ
Ｄ ＳＴＡＲＴの後に開始する。この状態で、ＤＳＰ１
２２は、ＡＲＭ１３０からの初期化を待機するＨＯＬＤ
状態にある。ＡＲＭは、ＤＳＰ状態レジスタをチェック
して、ＤＳＰがＨＯＬＤ状態にあることを確認する。Ａ
ＲＭは、ＤＳＰブート符号データをＦＬＡＳＨからのＤ
ＳＰ符号メモリにプログラムする。その符号は、必要と
される機能のために適当な符号（この場合には、ＢＯＯ
Ｔ符号）をＡＲＭが選択するのを可能とする論理オーバ
ーレイにおいて整理される。ＡＲＭは、ＨＰＩブリッジ
（ＨＰＩＢ）インターフェースを用いてＤＳＰ符号をロ
ーディングする。このインターフェースは、８ビット幅
か１６ビット幅でアクセスするようにプログラムでき
る。ＢＯＯＴの目的のために、これは常に１６ビット・
アクセスである。符号がロードされた後に、ＡＲＭは、
ＤＳＰに信号を送ってＨＯＬＤを開放することによって
開始させる。その後、ＤＳＰは、ＤＳＰ ＲＥＳＥＴベ
クトル領域にあるＤＳＰ ７Ｆ８０ｈのアドレスからそ
れのリセット・シーケンスを開始する。ＲＥＳＥＴシー
ケンスを完了すると、ＤＳＰは、ＡＲＭによってロード
されたＢＯＯＴプログラムの開始であるＤＳＰ ＦＦ８
０ｈに分岐する。図２３ａは、ＡＲＭ／ＤＳＰブート・
シーケンスで用いられるデータパスと、後述されるデー
タ，要求およびコマンド交換とを示す。
Ｄ ＳＴＡＲＴの後に開始する。この状態で、ＤＳＰ１
２２は、ＡＲＭ１３０からの初期化を待機するＨＯＬＤ
状態にある。ＡＲＭは、ＤＳＰ状態レジスタをチェック
して、ＤＳＰがＨＯＬＤ状態にあることを確認する。Ａ
ＲＭは、ＤＳＰブート符号データをＦＬＡＳＨからのＤ
ＳＰ符号メモリにプログラムする。その符号は、必要と
される機能のために適当な符号（この場合には、ＢＯＯ
Ｔ符号）をＡＲＭが選択するのを可能とする論理オーバ
ーレイにおいて整理される。ＡＲＭは、ＨＰＩブリッジ
（ＨＰＩＢ）インターフェースを用いてＤＳＰ符号をロ
ーディングする。このインターフェースは、８ビット幅
か１６ビット幅でアクセスするようにプログラムでき
る。ＢＯＯＴの目的のために、これは常に１６ビット・
アクセスである。符号がロードされた後に、ＡＲＭは、
ＤＳＰに信号を送ってＨＯＬＤを開放することによって
開始させる。その後、ＤＳＰは、ＤＳＰ ＲＥＳＥＴベ
クトル領域にあるＤＳＰ ７Ｆ８０ｈのアドレスからそ
れのリセット・シーケンスを開始する。ＲＥＳＥＴシー
ケンスを完了すると、ＤＳＰは、ＡＲＭによってロード
されたＢＯＯＴプログラムの開始であるＤＳＰ ＦＦ８
０ｈに分岐する。図２３ａは、ＡＲＭ／ＤＳＰブート・
シーケンスで用いられるデータパスと、後述されるデー
タ，要求およびコマンド交換とを示す。
【０３１４】捕獲モード ＡＲＭ１３０は、画像を捕獲するようにＣＣＤコントロ
ーラ１０２をプログラムする。ＣＣＤコントローラは、
画像データをＳＤＲＡＭに自動的に転送し、その転送が
完了したときにＩＲＱ１を用いてＡＲＭを中断する。そ
の後、ＡＲＭは、生映像データがクランチするのに利用
可能であるということをＤＳＰに通知する。生データの
処理が完了したとき、ＤＳＰは、タスクが終了されたと
いう信号をＡＲＭに送る。
ーラ１０２をプログラムする。ＣＣＤコントローラは、
画像データをＳＤＲＡＭに自動的に転送し、その転送が
完了したときにＩＲＱ１を用いてＡＲＭを中断する。そ
の後、ＡＲＭは、生映像データがクランチするのに利用
可能であるということをＤＳＰに通知する。生データの
処理が完了したとき、ＤＳＰは、タスクが終了されたと
いう信号をＡＲＭに送る。
【０３１５】プレビュー・モード ＣＣＤは、３０ｆｐｓの高フレーム速度用にプログラム
されているが、垂直の解像度が低減されている。ＣＣＤ
およびＴＧ（タイミング生成器）の再構成は、生映像デ
ータをプレビュー・エンジン１０４に行かせる。ＤＳＰ
は、ＳＤＲＡＭにおいてデータを後処理し、ＦＯＣＵ
Ｓ，ＥＸＰＯＳＵＲＥおよびＷＨＩＴＥＢＡＬＡＮＣＥ
用のパラメータを用意する。ＡＲＭは、新しい調整パラ
メータが準備できるとともにこれらの補正がＡＲＭによ
って適用されるときに、ＤＳＰによって信号で知らされ
る。補正パラメータの転送は、前述したのと同じ通信中
断アーキテクチャを用い、また、現在のフレーム速度で
あることが期待される。
されているが、垂直の解像度が低減されている。ＣＣＤ
およびＴＧ（タイミング生成器）の再構成は、生映像デ
ータをプレビュー・エンジン１０４に行かせる。ＤＳＰ
は、ＳＤＲＡＭにおいてデータを後処理し、ＦＯＣＵ
Ｓ，ＥＸＰＯＳＵＲＥおよびＷＨＩＴＥＢＡＬＡＮＣＥ
用のパラメータを用意する。ＡＲＭは、新しい調整パラ
メータが準備できるとともにこれらの補正がＡＲＭによ
って適用されるときに、ＤＳＰによって信号で知らされ
る。補正パラメータの転送は、前述したのと同じ通信中
断アーキテクチャを用い、また、現在のフレーム速度で
あることが期待される。
【０３１６】バースト・モード バースト・モード・タイミングは、アプリケーション・
パラメータからの映像速度をクロックするＡＲＭに基づ
く。捕獲モードとプレビュー・モードとの間の交差と同
様に、ＡＲＭは、圧縮エンジンを通してＳＤＲＡＭに圧
縮画像を記憶する捕獲のためにＣＣＤをプログラムす
る。プレビュー・モードと同様に、ＡＲＭは、ＤＳＰか
ら調整パラメータを受け取ってＦＯＣＵＳ，ＥＸＰＯＳ
ＵＲＥおよびＷＨＩＴＥ ＢＡＬＡＮＣＥの補正を行
う。
パラメータからの映像速度をクロックするＡＲＭに基づ
く。捕獲モードとプレビュー・モードとの間の交差と同
様に、ＡＲＭは、圧縮エンジンを通してＳＤＲＡＭに圧
縮画像を記憶する捕獲のためにＣＣＤをプログラムす
る。プレビュー・モードと同様に、ＡＲＭは、ＤＳＰか
ら調整パラメータを受け取ってＦＯＣＵＳ，ＥＸＰＯＳ
ＵＲＥおよびＷＨＩＴＥ ＢＡＬＡＮＣＥの補正を行
う。
【０３１７】アイドル・モード ＡＲＭは、アイドル・モードを用いて、他のカメラ・モ
ードに先行する間にＤＳＰから補正パラメータを受け取
る。電源ダウン状態になければ、１０〜１５フレームの
この時間は、ＤＳＰからＡＲＭへの補正ループがＦＯＣ
ＵＳ，ＥＸＰＯＳＵＲＥおよびＷＨＩＴＥ ＢＡＬＡＮ
ＣＥについて自動補正を行うことを可能とする。このア
イドル・モードは、安定した補正を得るという目的でプ
レビュー・モードをシミュレーションする。
ードに先行する間にＤＳＰから補正パラメータを受け取
る。電源ダウン状態になければ、１０〜１５フレームの
この時間は、ＤＳＰからＡＲＭへの補正ループがＦＯＣ
ＵＳ，ＥＸＰＯＳＵＲＥおよびＷＨＩＴＥ ＢＡＬＡＮ
ＣＥについて自動補正を行うことを可能とする。このア
イドル・モードは、安定した補正を得るという目的でプ
レビュー・モードをシミュレーションする。
【０３１８】ＡＲＭ／ＤＳＰコミュニケーション ＡＲＭ１３０とＤＳＰ１２２との間の通信は、ＨＰＩＢ
（ホスト・ポート・インターフェース・ブリッジ）を介
する。ＨＰＩＢは、ＤＳＰ（Ｃ５４０９タイプのＤＳ
Ｐ）ポートとＢＵＳＣ（ＢＵＳコントローラ）１３４と
を物理的に接続する。ＡＲＭは、ＨＰＩＢをプログラム
するとともにＤＳＰメモリ・マップに３２ｋワード・ウ
インドウを開けることによって、ＤＳＰメモリにアクセ
スする。マップは、コマンド要求，アクノリッジおよび
データグラム（datagram）のためにＡＲＭおよびＤＳＰ
によって共有されるデータ構造を含む。ＨＰＩＢは５つ
のサブブロックを含む。それらは、インターフェース
と、タイミング生成器と、ＤＳＰ制御レジスタと、中断
保持セクションとである。インターフェース・セクショ
ンは、ＢＵＳＣ１３４からのデータを受信して記憶し、
それをＣ５４０９におよびそこから転送する。このイン
ターフェースは、Ｃ５４０９への８ビットまたは１６ビ
ット・データパスであり得、また、ＢＵＳＣへの１６ビ
ットである。付加された特徴は、そのようにプログラム
されるならば、上部バイトおよび下部バイトを交換する
能力である。タイミング生成器は、信号ＨＢＩＬおよび
信号ＨＤＳを作り、信号ＨＲＤＹを検出する。ＨＢＩＬ
はＣ５４０９へのＨＰＩバイト識別信号である。ＨＤＳ
はＣ５４０９へのデータ・ストローブ信号であり、ＨＲ
ＤＹはＣ５４０９から読み出されたレディ信号である。
中断保持セクションは、ＨＩＮＴレベルを検出し、ＩＮ
ＴＣパルスをＡＲＭクロックと同期させる。モジュール
はまた、Ｃ５４０９のＨＯＬＤポートを設定し、ＨＯＬ
ＤＡを検出する。
（ホスト・ポート・インターフェース・ブリッジ）を介
する。ＨＰＩＢは、ＤＳＰ（Ｃ５４０９タイプのＤＳ
Ｐ）ポートとＢＵＳＣ（ＢＵＳコントローラ）１３４と
を物理的に接続する。ＡＲＭは、ＨＰＩＢをプログラム
するとともにＤＳＰメモリ・マップに３２ｋワード・ウ
インドウを開けることによって、ＤＳＰメモリにアクセ
スする。マップは、コマンド要求，アクノリッジおよび
データグラム（datagram）のためにＡＲＭおよびＤＳＰ
によって共有されるデータ構造を含む。ＨＰＩＢは５つ
のサブブロックを含む。それらは、インターフェース
と、タイミング生成器と、ＤＳＰ制御レジスタと、中断
保持セクションとである。インターフェース・セクショ
ンは、ＢＵＳＣ１３４からのデータを受信して記憶し、
それをＣ５４０９におよびそこから転送する。このイン
ターフェースは、Ｃ５４０９への８ビットまたは１６ビ
ット・データパスであり得、また、ＢＵＳＣへの１６ビ
ットである。付加された特徴は、そのようにプログラム
されるならば、上部バイトおよび下部バイトを交換する
能力である。タイミング生成器は、信号ＨＢＩＬおよび
信号ＨＤＳを作り、信号ＨＲＤＹを検出する。ＨＢＩＬ
はＣ５４０９へのＨＰＩバイト識別信号である。ＨＤＳ
はＣ５４０９へのデータ・ストローブ信号であり、ＨＲ
ＤＹはＣ５４０９から読み出されたレディ信号である。
中断保持セクションは、ＨＩＮＴレベルを検出し、ＩＮ
ＴＣパルスをＡＲＭクロックと同期させる。モジュール
はまた、Ｃ５４０９のＨＯＬＤポートを設定し、ＨＯＬ
ＤＡを検出する。
【０３１９】８ビット・モードでは、ＡＲＭからのアド
レス・データはＣ５４０９に到達しない。アドレスは、
Ｃ５４０９内部メモリが選択されていさえすれば、用い
られる。したがって、ＡＲＭは、３２ＫワードＤＡＲＡ
Ｍにデータを送るか受け取るかする前にＨＰＩＡレジス
タにアドレスを設定しなければならない。８ビット・モ
ードはまた、ＡＲＭとＤＳＰとの間のハンドシェーキン
グのために用いられる。ＡＲＭは、ＨＰＩＣレジスタに
おけるＨＩＮＴビットを用いてＣ５４０９を中断する。
１６ビット・モードでは、ＨＰＩＡ／ＨＰＩＣ／ＨＰＩ
Ｄは用いられない。ＡＲＭは、あたかもそれがＨＰＩＢ
モジュールに存在するかのように、Ｃ５４０９内部メモ
リにアクセスできる。このモードは、より速いパフォー
マンスを行うが、ＨＡＮＤＳＨＡＫＥ信号はＨＰＩＣレ
ジスタに経路付けられているのでＨＡＮＤＳＨＡＫＥ信
号を支援しない。
レス・データはＣ５４０９に到達しない。アドレスは、
Ｃ５４０９内部メモリが選択されていさえすれば、用い
られる。したがって、ＡＲＭは、３２ＫワードＤＡＲＡ
Ｍにデータを送るか受け取るかする前にＨＰＩＡレジス
タにアドレスを設定しなければならない。８ビット・モ
ードはまた、ＡＲＭとＤＳＰとの間のハンドシェーキン
グのために用いられる。ＡＲＭは、ＨＰＩＣレジスタに
おけるＨＩＮＴビットを用いてＣ５４０９を中断する。
１６ビット・モードでは、ＨＰＩＡ／ＨＰＩＣ／ＨＰＩ
Ｄは用いられない。ＡＲＭは、あたかもそれがＨＰＩＢ
モジュールに存在するかのように、Ｃ５４０９内部メモ
リにアクセスできる。このモードは、より速いパフォー
マンスを行うが、ＨＡＮＤＳＨＡＫＥ信号はＨＰＩＣレ
ジスタに経路付けられているのでＨＡＮＤＳＨＡＫＥ信
号を支援しない。
【０３２０】図２３ｂは、ＡＲＭがＣ５４０９ＤＡＲＡ
Ｍに到達する信号および経路を示す。図２３ｃは、ＡＲ
Ｍ（ＨＯＳＴ）とＣ５４０９プロセッサとの間の共有メ
モリ・マップを示す。ＡＲＭがメモリ領域「ＤＳＰメモ
リ」を選択するとき、ＢＵＳＣは、ｃｓ ｈｐｉｂ信号
をアクティブにする。ここで、ＡＲＭはＤＳＰ内部メモ
リ（３２ｋワードＤＡＲＡＭ＋ＨＰＩＡ＋ＨＰＩＣ＋Ｈ
ＰＩＤ）にアクセスすることができる。ＡＲＭが、「Ｄ
ＳＰコントローラ」領域を選択するとき、ＢＵＳＣはｃ
ｓ ｄｓｐｃ信号をアクティブにする。ここで、ＡＲＭ
は、Ｃ５４０９に関係するレジスタにアクセスしてい
る。
Ｍに到達する信号および経路を示す。図２３ｃは、ＡＲ
Ｍ（ＨＯＳＴ）とＣ５４０９プロセッサとの間の共有メ
モリ・マップを示す。ＡＲＭがメモリ領域「ＤＳＰメモ
リ」を選択するとき、ＢＵＳＣは、ｃｓ ｈｐｉｂ信号
をアクティブにする。ここで、ＡＲＭはＤＳＰ内部メモ
リ（３２ｋワードＤＡＲＡＭ＋ＨＰＩＡ＋ＨＰＩＣ＋Ｈ
ＰＩＤ）にアクセスすることができる。ＡＲＭが、「Ｄ
ＳＰコントローラ」領域を選択するとき、ＢＵＳＣはｃ
ｓ ｄｓｐｃ信号をアクティブにする。ここで、ＡＲＭ
は、Ｃ５４０９に関係するレジスタにアクセスしてい
る。
【０３２１】多重処理デバギング環境 好ましい実施例は、ＡＲＭ１３０とＤＳＰ１２２したが
って多重処理を一体化し、それにより、デバギングおよ
び開発支援を必要とする。好ましい実施例は、図２４に
例示される付加的なエミュレーション論理を備えた一つ
のＪＴＡＧコネクタ１７０でこれを達成する。
って多重処理を一体化し、それにより、デバギングおよ
び開発支援を必要とする。好ましい実施例は、図２４に
例示される付加的なエミュレーション論理を備えた一つ
のＪＴＡＧコネクタ１７０でこれを達成する。
【０３２２】入力／出力モジュール 入力／出力モジュールは、以下のようにＤＳＣ周辺機器
に異なるインターフェースを提供する。ＴＶ符号器１０
６は、ＬＣＤディスプレイおよびＴＶ用のＮＴＳＣ／Ｐ
ＡＬおよびＲＧＢ出力を生成する。ＣＣＤ／ＣＭＯＳコ
ントローラ１０２は、タイミング信号ＶＤ／ＨＤを生成
し、外部で生成されたＨＤ／ＶＤ信号（ＭＯＤＥＳＥＴ
レジスタの＃０、ＳＹＮＣＥＮレジスタの＃０）につい
て同期し、プログレッシブ・スキャンおよびインターレ
ースＣＣＤを支援し、ブラック・クランピング制御信
号，プログラム可能なｃｕｌｉｎｇパターン（９ＣＵＬ
Ｈ，ＣＵＬＶレジスタ），１ライン／２ライン交代フィ
ールド，（ＣＣＤモジュールによって生成される）ＭＣ
ＬＫを生成し、ＷＥＮ（ＴＧ上のＷＲＱ、アクティブ−
ハイ）は、ＳＤＲＡＭにデータを書き込むＣＣＤコント
ローラを指示し、ＴＧシリアル・ポート・インターフェ
ースはＧＩＯピンによって制御され、アイリス，機械シ
ャッター，焦点およびズームはＧＩＯピンによって制御
される。
に異なるインターフェースを提供する。ＴＶ符号器１０
６は、ＬＣＤディスプレイおよびＴＶ用のＮＴＳＣ／Ｐ
ＡＬおよびＲＧＢ出力を生成する。ＣＣＤ／ＣＭＯＳコ
ントローラ１０２は、タイミング信号ＶＤ／ＨＤを生成
し、外部で生成されたＨＤ／ＶＤ信号（ＭＯＤＥＳＥＴ
レジスタの＃０、ＳＹＮＣＥＮレジスタの＃０）につい
て同期し、プログレッシブ・スキャンおよびインターレ
ースＣＣＤを支援し、ブラック・クランピング制御信
号，プログラム可能なｃｕｌｉｎｇパターン（９ＣＵＬ
Ｈ，ＣＵＬＶレジスタ），１ライン／２ライン交代フィ
ールド，（ＣＣＤモジュールによって生成される）ＭＣ
ＬＫを生成し、ＷＥＮ（ＴＧ上のＷＲＱ、アクティブ−
ハイ）は、ＳＤＲＡＭにデータを書き込むＣＣＤコント
ローラを指示し、ＴＧシリアル・ポート・インターフェ
ースはＧＩＯピンによって制御され、アイリス，機械シ
ャッター，焦点およびズームはＧＩＯピンによって制御
される。
【０３２３】プログラマーの視野からのＵＳＢ１４２
は、３つの主要部分（ＦＩＦＯコントローラ，ＵＤＣコ
ントローラおよびＵＤＣコア）からなる。ＵＳＢ構成：
ＩＮＴＥＲＦＡＣＥＤ０ ＡＬＴ０ ＥＮＤＰＯＩＮＴ
０： ＣＯＮＴＲＯＬ； ＩＮＴＥＲＦＡＣＥ０ ＡＬ
Ｔ０ ＥＮＤＰＯＩＮＴ１： ＢＵＬＫＩＮ； ＩＮＴ
ＥＲＦＡＣＥ０ ＡＬＴ０ ＥＮＤＰＯＩＮＴ１： Ｂ
ＵＬＫＯＵＴ； ＩＮＴＥＲＦＡＣＥ１ ＡＬＴ０ Ｅ
ＮＤＰＯＩＮＴ２： ＩＳＯＩＮ； ＩＮＴＥＲＦＡＣ
Ｅ２ ＡＬＴ０ ＥＮＤＰＯＩＮＴ３： ＩＮＴＥＲＲ
ＵＰＴ ＩＮ。バッファ構成：ＳＵＢモジュールは６つ
のＦＩＦＯを内部に有する。各ＦＩＦＯは、方向および
バッファ・サイズを除いて、同じ構造である。ＵＳＢモ
ジュールは、すべての終点についてひとつだけの統一メ
モリを有する。バッファ・サイズは、すべてのバッファ
がメモリ内部に設けられている限り、プログラム可能で
ある。
は、３つの主要部分（ＦＩＦＯコントローラ，ＵＤＣコ
ントローラおよびＵＤＣコア）からなる。ＵＳＢ構成：
ＩＮＴＥＲＦＡＣＥＤ０ ＡＬＴ０ ＥＮＤＰＯＩＮＴ
０： ＣＯＮＴＲＯＬ； ＩＮＴＥＲＦＡＣＥ０ ＡＬ
Ｔ０ ＥＮＤＰＯＩＮＴ１： ＢＵＬＫＩＮ； ＩＮＴ
ＥＲＦＡＣＥ０ ＡＬＴ０ ＥＮＤＰＯＩＮＴ１： Ｂ
ＵＬＫＯＵＴ； ＩＮＴＥＲＦＡＣＥ１ ＡＬＴ０ Ｅ
ＮＤＰＯＩＮＴ２： ＩＳＯＩＮ； ＩＮＴＥＲＦＡＣ
Ｅ２ ＡＬＴ０ ＥＮＤＰＯＩＮＴ３： ＩＮＴＥＲＲ
ＵＰＴ ＩＮ。バッファ構成：ＳＵＢモジュールは６つ
のＦＩＦＯを内部に有する。各ＦＩＦＯは、方向および
バッファ・サイズを除いて、同じ構造である。ＵＳＢモ
ジュールは、すべての終点についてひとつだけの統一メ
モリを有する。バッファ・サイズは、すべてのバッファ
がメモリ内部に設けられている限り、プログラム可能で
ある。
【０３２４】Ｉ／Ｏブロック１４０のＵＡＲＴ部は、ス
タート／ストップ通信プロトコルを支援し、（偶数，奇
数パリティまたはパリティなしで７または８ビットのお
よび１または２ストップ・ビットのデータ長を支援す
る）パリティ・エラーを検出し、送信機および受信機の
双方用のＦＩＦＯの３２バイトを有し、ＦＩＦＯオーバ
ーフロー用の中断を生成するかタイムアウトがデータ受
信で検出される。ＡＲＭ１３０はＵＡＲＴモジュールを
制御する。ＡＲＭ１３０からアクセス可能な７つの１６
ビット幅レジスタがある。データ送信機／受信機レジス
タ（ＦＩＦＯ）と、ビット速度レジスタと、モード・レ
ジスタと、受信機用ＦＩＦＯ制御レジスタと、送信機用
ＦＩＦＯ制御レジスタと、ライン制御レジスタと、状態
レジスタとである。図２５はブロック図である。
タート／ストップ通信プロトコルを支援し、（偶数，奇
数パリティまたはパリティなしで７または８ビットのお
よび１または２ストップ・ビットのデータ長を支援す
る）パリティ・エラーを検出し、送信機および受信機の
双方用のＦＩＦＯの３２バイトを有し、ＦＩＦＯオーバ
ーフロー用の中断を生成するかタイムアウトがデータ受
信で検出される。ＡＲＭ１３０はＵＡＲＴモジュールを
制御する。ＡＲＭ１３０からアクセス可能な７つの１６
ビット幅レジスタがある。データ送信機／受信機レジス
タ（ＦＩＦＯ）と、ビット速度レジスタと、モード・レ
ジスタと、受信機用ＦＩＦＯ制御レジスタと、送信機用
ＦＩＦＯ制御レジスタと、ライン制御レジスタと、状態
レジスタとである。図２５はブロック図である。
【０３２５】コンパクトフラッシュ／スマートメディア
・インターフェース１８０は、画像またはユーザのデー
タをコンパクトフラッシュカードまたはスマートメディ
アに保存／記憶するのに用いられる。図２６参照。イン
ターフェースは、レジスタ設定およびデータ転送用の２
種類の動作モードを支援する。すなわち、メモリ・マッ
プド・モードとＩ／Ｏモードとである。コンパクトフラ
ッシュカードがプラグに差し込まれつつあるかプラグか
ら抜かれつつあるかする間、ＡＲＭ１３０中断がカード
検出のために生成される。スマートメディアおよびコン
パクトフラッシュ制御インターフェースの双方用のピン
は、オーバーラップされ、製品ニーズに依存してＡＲＭ
１３０によって切り替えることができる。図２６を参
照。特に、コンパクトフラッシュコントローラは、ＡＲ
Ｍメモリ空間にマップされたレジスタを有する。コンパ
クトフラッシュコントローラは、インターフェースピン
に関連制御信号を生成する責務があり、４２０ＫＢ／秒
で書き込み、２．０ＭＢ／秒で読み出す。ＳＤＲＡＭは
少なくとも１つの映像を記憶するのに使用することがで
き、また、ＤＯＳマシーンで行われるように大きなセク
タ・カウントでコンパクトフラッシュへの書込みを試み
ることは高速書込みパフォーマンスを引き起こす。反対
に、スマートメディアコントローラは５つのレジスタ設
定を有する。すなわち、コマンドレジスタと、アドレス
１レジスタと、アドレス２レジスタと、アドレス３レジ
スタと、データポートレジスタとである。これらの５つ
のレジスタはＡＲＭメモリ空間にマップされ、また、ス
マートメディアコントローラは異なるレジスタアクセス
用の関連信号を自動的に生成する。
・インターフェース１８０は、画像またはユーザのデー
タをコンパクトフラッシュカードまたはスマートメディ
アに保存／記憶するのに用いられる。図２６参照。イン
ターフェースは、レジスタ設定およびデータ転送用の２
種類の動作モードを支援する。すなわち、メモリ・マッ
プド・モードとＩ／Ｏモードとである。コンパクトフラ
ッシュカードがプラグに差し込まれつつあるかプラグか
ら抜かれつつあるかする間、ＡＲＭ１３０中断がカード
検出のために生成される。スマートメディアおよびコン
パクトフラッシュ制御インターフェースの双方用のピン
は、オーバーラップされ、製品ニーズに依存してＡＲＭ
１３０によって切り替えることができる。図２６を参
照。特に、コンパクトフラッシュコントローラは、ＡＲ
Ｍメモリ空間にマップされたレジスタを有する。コンパ
クトフラッシュコントローラは、インターフェースピン
に関連制御信号を生成する責務があり、４２０ＫＢ／秒
で書き込み、２．０ＭＢ／秒で読み出す。ＳＤＲＡＭは
少なくとも１つの映像を記憶するのに使用することがで
き、また、ＤＯＳマシーンで行われるように大きなセク
タ・カウントでコンパクトフラッシュへの書込みを試み
ることは高速書込みパフォーマンスを引き起こす。反対
に、スマートメディアコントローラは５つのレジスタ設
定を有する。すなわち、コマンドレジスタと、アドレス
１レジスタと、アドレス２レジスタと、アドレス３レジ
スタと、データポートレジスタとである。これらの５つ
のレジスタはＡＲＭメモリ空間にマップされ、また、ス
マートメディアコントローラは異なるレジスタアクセス
用の関連信号を自動的に生成する。
【０３２６】オーディオ入力／出力は、ＤＳＰバッファ
リングを備えたＩ／Ｏブロック１４０のシリアル・ポー
トを通る。赤外データ・アクセス（ＩｒＤＡ）は高速Ｆ
ＩＲコアとＩ／Ｏブロック１４０の一部とによって支援
される。ブロック１４０はまた、ＡＧＣ利得および電子
シャッターを調整するためのＣＣＤ／ＣＭＯＳイメージ
ャ・モジュール制御，ＲＴＣ制御，適切なシステム応答
のためにＡＲＭに内部中断を生成できるバッテリー電源
検出，焦点およびズーム用のカメラレンズモーター制
御，ユーザキーパッド入力，ＬＥＤインディケータ，フ
ラッシュライト制御および電源管理制御のようなアイテ
ムを支援できる汎用入力／出力を含む。
リングを備えたＩ／Ｏブロック１４０のシリアル・ポー
トを通る。赤外データ・アクセス（ＩｒＤＡ）は高速Ｆ
ＩＲコアとＩ／Ｏブロック１４０の一部とによって支援
される。ブロック１４０はまた、ＡＧＣ利得および電子
シャッターを調整するためのＣＣＤ／ＣＭＯＳイメージ
ャ・モジュール制御，ＲＴＣ制御，適切なシステム応答
のためにＡＲＭに内部中断を生成できるバッテリー電源
検出，焦点およびズーム用のカメラレンズモーター制
御，ユーザキーパッド入力，ＬＥＤインディケータ，フ
ラッシュライト制御および電源管理制御のようなアイテ
ムを支援できる汎用入力／出力を含む。
【０３２７】ｉＭＸプログラミング ＤＳＰ１２２は、ｉＭＸ１２４を指示して、ｉＭＸコマ
ンドを送ることによってタスクを行わせる。これらのコ
マンドは、理解するのが複雑で、内部ループに固定され
る多くのパラメータを含む。ダイヤルモデルが別々のコ
マンド構成およびコマンド転送経路をＤＳＰプログラマ
ーに提供し、その結果、コマンドがループ外に前もって
構築され、一般データメモリがループ内で動くときにｉ
ＭＸに転送される。通常用いられるｉＭＸコマンドは、
Ｃ符号に前もってパッケージされており、プログラミン
グを容易としている。
ンドを送ることによってタスクを行わせる。これらのコ
マンドは、理解するのが複雑で、内部ループに固定され
る多くのパラメータを含む。ダイヤルモデルが別々のコ
マンド構成およびコマンド転送経路をＤＳＰプログラマ
ーに提供し、その結果、コマンドがループ外に前もって
構築され、一般データメモリがループ内で動くときにｉ
ＭＸに転送される。通常用いられるｉＭＸコマンドは、
Ｃ符号に前もってパッケージされており、プログラミン
グを容易としている。
【０３２８】ＡＲＭ／ＤＳＰタスク割り当て ＡＲＭ１３０は、ウインドウズＣＥのようなオペレーテ
ィングシステムを走らせ、（コンパクトフラッシュカー
ド（ＣＦＣ）へのような）低周波数，同期入力／出力を
制御するとともに、やはり低速であるユーザ交流を制御
し、また、すべての周辺モジュールは、プレビュー・エ
ンジン，バーストモード圧縮，ＴＶ符号器，ＣＣＤコン
トローラ，ＵＳＢ，ＣＦ，ＩｒＤＡなどを制御する。Ｄ
ＳＰ１２２は、ＳＰＯＸのようなオペレーティングシス
テムを走らせ、すべてのリアルタイム機能（オートフォ
ーカス，オート露光，オートホワイトバランス），リア
ルタイム入力／出力（オーディオＩＯ，モデムＩＯ），
リアルタイムアプリケーション（例えば、オーディオプ
レイヤー），コンピュータを使用する高価な信号処理タ
スク（画像パイプライン，ＪＰＥＧ２０００，画像の縫
合）を制御する。
ィングシステムを走らせ、（コンパクトフラッシュカー
ド（ＣＦＣ）へのような）低周波数，同期入力／出力を
制御するとともに、やはり低速であるユーザ交流を制御
し、また、すべての周辺モジュールは、プレビュー・エ
ンジン，バーストモード圧縮，ＴＶ符号器，ＣＣＤコン
トローラ，ＵＳＢ，ＣＦ，ＩｒＤＡなどを制御する。Ｄ
ＳＰ１２２は、ＳＰＯＸのようなオペレーティングシス
テムを走らせ、すべてのリアルタイム機能（オートフォ
ーカス，オート露光，オートホワイトバランス），リア
ルタイム入力／出力（オーディオＩＯ，モデムＩＯ），
リアルタイムアプリケーション（例えば、オーディオプ
レイヤー），コンピュータを使用する高価な信号処理タ
スク（画像パイプライン，ＪＰＥＧ２０００，画像の縫
合）を制御する。
【０３２９】集積回路チップのピンの説明 好ましい実施例のピンは以下の通りである。
【０３３０】
【表１１】 ＣＣＤセンサ ピン総数：１６ １．Ｃ ＰＣＬＫ （Ｉ） 画素クロック ２．Ｃ ＶＳＹＮＣ （Ｉ／Ｏ） 垂直同期 ３．Ｃ ＨＳＹＮＣ （Ｉ／Ｏ） 水平同期 ４．Ｃ ＦＩＥＬＤ （Ｉ／Ｏ） フィールドインディケータ ５．Ｃ ＷＥＮ （Ｉ） ＣＣＤＣ書込みイネーブル ６：１７．Ｃ ＤＡＴＡ （Ｉ） 画像データ１２ビット ＳＤＲＡＭインターフェース ピン総数：５８ １．ＳＤＲ ＣＬＫ （Ｏ） マスタークロック ２．ＳＤＲ ＣＫＥ （Ｏ） クロックイネーブル ３．ＳＤＲ ＷＥ （Ｏ） 書込みイネーブル ４．ＳＤＲ ＣＡＳ （Ｏ） 列アドレスストローブ ５．ＳＤＲ ＲＡＳ （Ｏ） 生アドレスストローブ ６．ＳＤＲ ＣＳ０ （Ｏ） ＲＡＭの支援２ｐｃ ７．ＳＤＲ ＣＳ１ （Ｏ） ＲＡＭの支援４ｐｃ ８：３９．ＤＱ[31：0] （Ｉ／Ｏ） データバス ４０：５４．ＳＤＲ Ａ[14：0] （Ｏ） アドレスバス ５５．ＳＤＲ ＤＱＭＨＨ （Ｏ） ＤＱ[31：24]用のＤＱＭＨ ５６．ＳＤＲ ＤＱＭＨＬ （Ｏ） ＤＱ[23：16]用のＤＱＭＨ ５７．ＳＤＲ ＤＱＭＬＨ （Ｏ） ＤＱ[15：8]用のＤＱＭＨ ５８．ＳＤＲ ＤＱＭＬＬ （Ｏ） ＤＱ[7：0]用のＤＱＭＨ ＡＲＭバス ピン総数：３９ １：２３．ＡＲＭ Ａ[22：0] （Ｏ） アドレスバス ２４：３９．ＡＲＭ Ｄ[15：0] （Ｏ） データバス オーディオインターフェース ピン総数：６ １．ＤＳＰ ＢＤＸ （Ｏ） シリアルポート送信 ２．ＤＳＰ ＢＣＬＫＸ （Ｉ／Ｏ） 送信クロック ３．ＤＳＰ ＢＦＳＸ （Ｉ／Ｏ） フレーム同期パルス ４．ＤＳＰ ＢＤＲ （Ｉ） シリアルデータ受信 ５．ＤＳＰ ＢＣＬＫＲ （Ｉ） 受信クロック ６．ＤＳＰ ＢＦＳＲ （Ｉ） フレーム同期パルス受信 外部フラッシュインターフェース ピン総数：５ １．ＦＬＳＨ ＷＥ （Ｏ） 書込みイネーブル ２．ＦＬＳＨ ＣＥ （Ｏ） チップ選択 ３．ＦＬＳＨ ＯＥ （Ｏ） 出力イネーブル ４．ＦＬＳＨ ＳＩＺＥ （Ｉ） ８ビット／１６ビット選択 ５．ＦＬＳＨ ＢＳＹ （Ｉ） ビジー入力 ＵＳＢ（Ｔ．Ｂ．Ｄ） ピン総数：１０ １．Ｍ４８ＸＯ （Ｏ） ４８ＭＨｚクロック出力 ２．Ｍ４８ＸＩ （Ｉ） ４８ＭＨｚクロック入力 ３．ＵＳＢ ＤＰ （Ｉ／Ｏ） 差分データ+ ４．ＵＳＢ ＤＭ （Ｉ／Ｏ） 差分データ− ５．ＡＴＴＡＣＨ （Ｉ） 付着検出 ＵＡＲＴ ピン総数：５ １．ＲＸＤ （Ｉ） ＵＡＲＴ ＲＸ ２．ＴＸＤ （Ｏ） ＵＡＲＴ ＴＸ ３．ＥＲＸＤ （Ｉ） 外部ＣＰＵ用のＵＡＲＴ Ｒｘ ４．ＥＴＸＤ （Ｏ） 外部ＣＰＵ用のＵＡＲＴ ＴＸ ５．ＳＩＦＤＯ （Ｏ） シリアルＩ／Ｆデータ出力 ＩｒＤＡ ピン総数：２ １．ＩＲＸＤ （Ｉ） ＩｒＤＡ ＲＸ ２．ＩＴＸＤ （Ｏ） ＩｒＤＡ ＴＸ コンパクトフラッシュ ピン総数：９ １．ＣＦＥ１ （Ｏ） カードイネーブル＃１ ２．ＣＦＥ２ （Ｏ） カードイネーブル＃２ ３．ＩＯＩＳ１６ （Ｏ） Ｉ／Ｏ選択 ４．ＳＴＳＣＨＧ （Ｉ／Ｏ） 状態変化 ５．ＣＦＷＡＩＴ （Ｉ） 待機信号入力 ６．ＣＦＲＳＴ （Ｏ） リセット ７．ＣＦＤ１ （Ｉ） カード検出ピン＃１ ８．ＣＦＤ２ （Ｉ） カード検出ピン＃２ ９．ＣＦＲＤＹ （Ｉ） レディ ＴＶ／ＲＧＢ ＤＡＣアナログ出力 ピン総数：２７ １．ＩＲＥＦ（Ｒ） （Ｉ） Ｒ−ｃｈ電流基準制御 ２．ＤＡＯＵＴ（Ｒ） （Ｏ） アナログ出力Ｒ−ｃｈ ３．ＧＮＤＡ アナログＧＮＤ ４．ＶＣＣＡ アナログＶＣＣ ５．ＢＩＡＳ （Ｉ） 位相補償ｃａｐ．Ｒ−ｃｈ ６．ＶＲＥＦ （Ｉ） ＲＧＢ共通基準電圧 ７．ＩＲＥＦ（Ｇ） （Ｉ） Ｇ−ｃｈ電流基準制御 ８．ＤＡＯＵＴ（Ｇ） （Ｏ） アナログ出力Ｇ−ｃｈ ９．ＧＮＤＡ アナログＧＮＤ １０．ＶＣＣＡ アナログＶＣＣ １１．ＢＩＡＳ （Ｉ） 位相補償ｃａｐ．Ｇ−ｃｈ １２．ＩＲＥＦ（Ｂ） （Ｉ） Ｂ−ｃｈ電流基準制御 １３．ＤＡＯＵＴ（Ｂ） （Ｏ） アナログ出力Ｂ−ｃｈ １４．ＧＮＤＡ アナログＧＮＤ １５．ＶＣＣＡ アナログＶＣＣ １６．ＢＩＡＳ （Ｉ） 位相補償ｃａｐ．Ｂ−ｃｈ １７．ＩＲＥＦ（Ｃ） （Ｉ） コンポジット電流基準制御 １８．ＤＡＯＵＴ（Ｃ） （Ｏ） アナログ出力コンポジット １９．ＧＮＤＡ アナログＧＮＤ ２０．ＶＣＣＡ アナログＶＣＣ ２１．ＶＲＥＦ （Ｉ） コンポジット基準電圧 ２２．ＢＩＡＳ （Ｉ） 位相補償ｃａｐ．コンポジット ２３．ＤＶＣＣ ＤＡＣ用のデジタルＶＣＣ ２４．ＤＧＮＤ ＤＡＣ用のデジタルＧＮＤ ２５．ＨＳＹＮＣ （Ｏ） ＲＧＢ出力用のＨ同期出力 ２６．ＶＣＳＹＮＣ （Ｏ） Ｖ同期／コンポジット同期（レジス タによって選択） ＧＩＯ ピン総数：３２［３１：０］ １：３２：ＧＩＯ （Ｉ／Ｏ） 汎用Ｉ／Ｏ その他 ピン総数：１５ １．ＲＥＳＥＴ （Ｉ） リセットをパワー・オン ２．Ｍ２７ＸＩ （Ｉ） ２７ＭＨｚ入力 ３．Ｍ２７ＸＯ （Ｏ） ２７ＭＨｚ出力 ４．ＴＣＫ （Ｉ） ＪＴＡＧクロック ５．ＴＤＩ （Ｉ） ＪＴＡＧデータ入力 ６．ＴＤＯ （Ｏ） ＪＴＡＧデータ出力 ７．ＴＭＳ （Ｉ） ＪＴＡＧテストモード選択 ８．ＴＲＳＴ （Ｉ） ＪＴＡＧテストリセット ９．ＥＭＵ０ （Ｉ／Ｏ） エミュレータ割込み０ピン １０．ＥＭＵ１ （Ｉ／Ｏ） エミュレータ割込み１ピン １１．ＴＥＳＴ０ （Ｉ） テスト入力０ １２．ＴＥＳＴ１ （Ｉ） テスト入力１ １３．ＳＣＡＮ （Ｉ） テスト入力 １４．ＴＥＳＴＳＬ０ （Ｉ） テスト・モード選択０ １５．ＴＥＳＴＳＬ１ （Ｉ） テスト・モード選択１ 合計ピン総数 ＣＣＤセンサ １７ ＳＤＲＡＭ Ｉ／Ｆ ５８ ＡＲＭバス ３９ オーディオＩ／Ｆ ６ フラッシュメモリＩ／Ｆ ５ ＵＳＢ ５ ＵＡＲＴ ５ ＩｒＤＡ ２ コンパクトフラッシュＩ／Ｆ ９ ４ＤＡＣ ２６ ＧＩＯ ３２ その他 １５ サブ合計 ２１９ピン 電源 ３７ピン（１４％） 合計 ２５６ピン
【０３３１】オーディオプレイヤー 携帯デジタルオーディオプレイヤーは、最も人気のある
消費者用の製品の１つであることが期待される。現在、
ＭＰＥＧ−１レイヤー３オーディオ圧縮標準に基づいた
ＭＰ−３プレイヤーは携帯オーディオ市場で急速に成長
しているが、ＭＰＥＧ−２ＡＡＣおよびＤｏｂｙＡＣ−
３が、標準として定着しつつあると考えられる代替デジ
タルオーディオ符号化フォーマットである。このよう
に、好ましい実施例のプログラム可能性は、デジタルオ
ーディオプレイヤーの機能を含ませることを可能とす
る。オーディオは、フラッシュメモリやＰＣなどを介し
て入力することができ、また、復号されたものはシリア
ルポートで出力することができる。復号化プログラム
は、フラッシュメモリやＲＯＭなどからロードすること
ができる。
消費者用の製品の１つであることが期待される。現在、
ＭＰＥＧ−１レイヤー３オーディオ圧縮標準に基づいた
ＭＰ−３プレイヤーは携帯オーディオ市場で急速に成長
しているが、ＭＰＥＧ−２ＡＡＣおよびＤｏｂｙＡＣ−
３が、標準として定着しつつあると考えられる代替デジ
タルオーディオ符号化フォーマットである。このよう
に、好ましい実施例のプログラム可能性は、デジタルオ
ーディオプレイヤーの機能を含ませることを可能とす
る。オーディオは、フラッシュメモリやＰＣなどを介し
て入力することができ、また、復号されたものはシリア
ルポートで出力することができる。復号化プログラム
は、フラッシュメモリやＲＯＭなどからロードすること
ができる。
【図１ａ】機能ブロック・フォーマットの好ましい実施
例システムを示す。
例システムを示す。
【図１ｂ】機能ブロック・フォーマットの好ましい実施
例システムを示す。
例システムを示す。
【図２】データ・フローを例示する。
【図３ａ】データ・フローを例示する。
【図３ｂ】データ・フローを例示する。
【図４】データ・フローを例示する。
【図５】データ・フローを例示する。
【図６】データ・フローを例示する。
【図７ａ】ＣＦＡ配列を示す。
【図７ｂ】ＣＦＡ配列を示す。
【図８】ホワイトバランスのための機能図である。
【図９ａ】ガンマ補正を示す。
【図９ｂ】ガンマ補正を示す。
【図９ｃ】ガンマ補正を示す。
【図１０ａ】ＣＦＡ補間を例示する。
【図１０ｂ】ＣＦＡ補間を例示する。
【図１０ｃ】ＣＦＡ補間を例示する。
【図１０ｄ】ＣＦＡ補間を例示する。
【図１０ｅ】ＣＦＡ補間を例示する。
【図１０ｆ】ＣＦＡ補間を例示する。
【図１０ｇ】ＣＦＡ補間を例示する。
【図１０ｈ】ＣＦＡ補間を例示する。
【図１０ｉ】ＣＦＡ補間を例示する。
【図１０ｊ】ＣＦＡ補間を例示する。
【図１０ｋ】ＣＦＡ補間を例示する。
【図１０ｌ】ＣＦＡ補間を例示する。
【図１１ａ】カラー変換を示す。
【図１１ｂ】カラー変換を示す。
【図１２ａ】メモリ・コントローラ・データ・フローを
示す。
示す。
【図１２ｂ】メモリ・コントローラ・データ・フローを
示す。
示す。
【図１３ａ】バースト圧縮／圧縮解除エンジンの機能ブ
ロック図である。
ロック図である。
【図１３ｂ】バースト圧縮／圧縮解除エンジンの機能ブ
ロック図である。
ロック図である。
【図１４】プレビュー・エンジンの機能ブロック図であ
る。
る。
【図１５】オンスクリーン・ディスプレイ・ブロック図
である。
である。
【図１６】オンスクリーン・ディスプレイ・ウインドウ
である。
である。
【図１７】ハードウェア・カーソルを示す。
【図１８ａ】ＤＳＰサブシステムを示す。
【図１８ｂ】ＤＳＰサブシステムを示す。
【図１９】並列乗算−累算データパスを示す。
【図２０】コプロセッサ・アーキテクチャを示す。
【図２１】ルックアップ・テーブル・加速器を例示す
る。
る。
【図２２】可変長符号器のブロック図である。
【図２３ａ】ブリッジを示す。
【図２３ｂ】ブリッジを示す。
【図２３ｃ】ブリッジを示す。
【図２４】マルチプロセッサ・デバグ支持を示す。
【図２５】ＵＡＲＴ接続を例示する。
【図２６】フラッシュカード／スマートカード・インタ
ーフェースのブロック図である。
ーフェースのブロック図である。
【図２７】カラーフィルタ・アレイ補間を例示する。
【図２８】カラーフィルタ・アレイ補間を例示する。
【図２９】カラーフィルタ・アレイ補間を例示する。
【図３０】カラーフィルタ・アレイ補間を例示する。
【図３１】カラーフィルタ・アレイ補間を例示する。
【図３２】カラーフィルタ・アレイ補間を例示する。
【図３３ａ】カラーフィルタ・アレイ補間を例示する。
【図３３ｂ】カラーフィルタ・アレイ補間を例示する。
【図３４】カラーフィルタ・アレイ補間を例示する。
【図３５ａ】カラーフィルタ・アレイ補間を例示する。
【図３５ｂ】カラーフィルタ・アレイ補間を例示する。
【図３６ａ】カラーフィルタ・アレイ補間を例示する。
【図３６ｂ】カラーフィルタ・アレイ補間を例示する。
【図３７ａ】カラーフィルタ・アレイ補間を例示する。
【図３７ｂ】カラーフィルタ・アレイ補間を例示する。
【図３８】カラーフィルタ・アレイ補間を例示する。
【図３９ａ】ホワイトバランシングを示す。
【図３９ｂ】ホワイトバランシングを示す。
【図４０】ホワイトバランシングを示す。
【図４１ａ】画像サイズ調整を指示する。
【図４１ｂ】画像サイズ調整を指示する。
【図４２ａ】画像のサイズ調整を指示する。
【図４２ｂ】画像サイズ調整を指示する。
【図４２ｃ】画像サイズ調整を指示する。
【図４２ｄ】画像サイズ調整を指示する。
【図４２ｅ】画像サイズ調整を指示する。
【図４３】色調スケーリングを例示する。
【図４４】色調スケーリングを例示する。
【図４５】色調スケーリングを例示する。
【図４６ａ】同期を示す。
【図４６ｂ】同期を示す。
【図４７】同期を示す。
【図４８】同期を示す。
【図４９】復号化バッファリングを示す。
【図５０】復号化バッファリングを示す。
【図５１ａ】復号化バッファリングを示す。
【図５１ｂ】復号化バッファリングを示す。
【図５２】復号化バッファリングを示す。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/393 Ｈ０４Ｎ 1/393 ５Ｃ０６５ 1/48 5/232 Ｚ ５Ｃ０７６ 5/232 9/04 Ｂ ５Ｃ０７９ 5/91 101:00 7/24 9/79 Ｇ 9/04 5/91 Ｊ 9/79 1/46 Ａ // Ｈ０４Ｎ 101:00 7/13 Ｚ (31)優先権主張番号 ６３２５４３ (32)優先日 平成12年８月４日(2000．8．4) (33)優先権主張国 米国（ＵＳ） (72)発明者 アキラ オサモト 茨城県稲敷郡東町幸田972−２ (72)発明者 小柴 修 茨城県つくば市高野台３−11−２−402 (72)発明者 山内 暁 茨城県土浦市乙戸1022−17 (72)発明者 ミンファ ゾウ アメリカ合衆国 テキサス、プラノ、 オ ハイオ ドライブ 2523、ナンバー108 (72)発明者 クラウス イルグナー ドイツ連邦共和国 ミュンヘン、 マルク アルトシュタイナー シュトラーセ 12 (72)発明者 ラジェンドラ タルリ アメリカ合衆国 テキサス、プラノ、 フ ァンテン ヘッド ドライブ 2220 (72)発明者 ヤウンジュン ヨー アメリカ合衆国 テキサス、リチャードソ ン、 ダブリュ、レンナー ロード 800、 ナンバー1418 (72)発明者 ジー リアン アメリカ合衆国 テキサス、プラノ、 フ ロステッド グリーン レーン 2505 (72)発明者 マンディ ツァイ 台湾、台北、ファ リン ストリート 72、４エフ (72)発明者 キヨシ ツノダ 神奈川県横浜市港北区篠原台町36−33 (72)発明者 シンリ イナモリ 神奈川県横浜市金沢区釜利谷東２−18−22 −404 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD06 CE17 CE18 CH02 CH08 CH09 CH14 5C022 AA13 AB00 AC69 5C053 FA08 GB36 KA01 KA21 KA24 KA25 KA26 5C055 AA07 BA06 EA01 GA00 HA18 HA31 HA35 HA37 5C059 KK50 LB11 ME05 ME17 PP15 PP16 SS11 UA02 UA11 UA34 UA38 5C065 AA03 BB02 GG13 GG15 GG18 GG29 GG31 GG32 5C076 AA21 AA26 BA05 BA06 BB04 5C079 HB01 HB04 JA23 LA17 LA23 LA28 LA37 LB02 MA02 MA11 NA03 NA09
Claims (11)
- 【請求項１】 デジタルスチルカメラ用の集積回路であ
って、（ａ）制御機能を走らせるようプログラムされた
第１のプログラム可能なプロセッサであって、ユーザイ
ンターフェース，メモリ用コントローラおよび画像獲得
用コントローラに結合された第１のプロセッサと、
（ｂ）画像処理および圧縮機能を走らせるようプログラ
ムされた第２のプログラム可能プロセッサであって、前
記第１のプロセッサに結合された第２のプロセッサと、
（ｃ）前記第２のプロセッサに結合された第３のプロセ
ッサであって、少なくとも４つの並列乗算および累算ユ
ニットを含む第３のプロセッサと、を具備する、集積回
路。 - 【請求項２】 デジタル画像のサイズを調整する方法で
あって、（ａ）Ｍ１×Ｍ２画素画像（Ｍ１およびＭ２は
正の整数）を提供するステップと、（ｂ）画素位置に依
存する一組のフィルタ係数で前記画像のＭ１画素の行を
フィルタリングしてＭ１フィルタリング出力を生成する
ステップと、（ｃ）ステップ（ｂ）のフィルタリング出
力のＭ１−Ｎ１を廃棄するステップと、（ｄ）Ｍ１×Ｍ
２画像の他のすべての行についてステップ（ｂ）および
ステップ（ｃ）を繰り返してＮ１×Ｍ２画像を生成する
ステップと、（ｅ）画素位置に依存する一組のフィルタ
係数でＮ１×Ｍ２画像のＭ２画素の列をフィルタリング
してＭ２フィルタリング出力を生成するステップと、
（ｆ）ステップ（ｅ）のフィルタリング出力のＭ２−Ｎ
２を廃棄するステップと、（ｇ）Ｎ１×Ｍ２画像の他の
すべての行についてステップ（ｅ）およびステップ
（ｆ）を繰り返してＮ１×Ｎ２画像を生成するステップ
と、を具備する、方法。 - 【請求項３】 カラーフィルタリングアレイ補間の方法
であって、 第１のカラー・サブアレイを補間して第１のカラー・ア
レイを生成するステップと、 前記先行のステップからの前記第１のカラー・アレイを
ハイパスフィルタリングしてハイパス・第１のカラー・
アレイを生成するステップと、 第２のカラー・サブアレイを補間して第２のカラー・ア
レイを生成するステップと、 前記ハイパス・第１のカラー・アレイを重み付けして前
記第２のカラー・アレイに加算して修正・第２のカラー
・アレイを生成するステップと、 第３のカラー・サブアレイを補間して第３のカラー・ア
レイを生成するステップと、 前記ハイパス・第１のカラー・アレイを重み付けして前
記第３のカラー・アレイに加算して修正・第３のカラー
・アレイを生成するステップと、 前記第１のカラー・アレイ，前記修正・第２のカラー・
アレイおよび前記修正・第３のカラー・アレイで３色画
像を画定するステップと、 を具備する、方法。 - 【請求項４】 画像を色調スケーリングする方法であっ
て、（ａ）Ｍ×Ｎ画素画像を提供するステップであっ
て、ＭおよびＮは正の整数であり、各画素が０からＫの
範囲の強度を有する、ステップと、（ｂ）スケーリング
された累積分布関数Ｔ(Ｘ)を０からＫの範囲のＸについ
て決定するステップであって、０からＫの範囲の値で、
Ｔ(Ｘ)は、Ｘ以下の強度を持つ画素の数を乗算されたの
ちにＭＮで割られたＫに等しい、ステップと、（ｃ）０
から１の範囲のパラメータＡを選択するステップと、
（ｄ）ステップ（ａ）の画素の強度ＺをＡＴ(Ｚ)＋(１
−Ａ)Ｚに調整するステップと、を具備する、方法。 - 【請求項５】 バイエル・カラーフィルタリングアレイ
用の補間の方法であって、 緑サブアレイを補間して一時的緑アレイを形成するステ
ップと、 該一時的緑アレイの補間された画素値をクランプし前記
緑サブアレイの４つの隣接値のうちの２つの真中の値の
範囲にあるようにして緑アレイを形成するステップと、 赤および青サブアレイを補間するステップと、 を具備する、方法。 - 【請求項６】 バイエル・カラーフィルタリングアレイ
画像用の補間の方法であって、 緑サブアレイを補間して緑アレイを形成するステップ
と、 赤サブアレイを斜めに補間して第２の赤サブアレイを形
成するステップと、 該第２の赤サブアレイを水平および垂直に補間して第２
の赤アレイを形成するステップと、 青サブアレイを斜めに補間して第２の青サブアレイを形
成するステップと、 該第２の青アレイを水平および垂直に補間して青アレイ
を形成するステップと、 を具備し、 前記斜めの補間は、前記緑アレイにおける対応画素の値
による重み付けを含み、 前記水平および垂直の補間は、前記緑アレイにおける対
応画素の値による重み付けを含み、 前記緑アレイ，前記赤アレイおよび前記青アレイがカラ
ー画像を画定する、 方法。 - 【請求項７】 カラー画像センサ用のホワイトバランシ
ングの方法であって、（ａ）白色光で照明されたカラー
画像センサに出力緑，赤および青画素強度を提供するス
テップと、（ｂ）ステップ（ａ）の出力について緑画素
強度の青画素強度に対する比を決定するステップと、
（ｃ）ステップ（ｂ）の比を乗算したものとステップ
（ａ）における画素強度に依存するオフセットの加算と
の和として青画素強度を調整するステップと、（ｄ）ス
テップ（ａ）の出力について緑画素強度の赤画素強度に
対する比を決定するステップと、（ｃ）ステップ（ｂ）
の比を乗算したものとステップ（ａ）における画素強度
に依存するオフセットの加算との和として赤画素強度を
調整するステップと、を具備する、方法。 - 【請求項８】 ビデオ復号および表示の方法であって、
（ａ）符号化されたビデオフレームのシーケンス，ビデ
オフレーム境界時間のシーケンスおよびフレームの復号
されたものについての蓄積位置を提供するステップと、
（ｂ）前記シーケンスのｍ番目のフレームが復号されて
いると、ＴＰnをＤｅｌｔａ Ｔで割ったものとして決定
されるｍ’で前記シーケンスのｍ’番目のフレームを復
号するステップであって、Ｄｅｌｔａ Ｔがステップ
（ａ）のビデオフレーム境界時間の連続するものの間の
時間間隔であり、ＴＰnが、（ｉ）ｍ番目のフレームの
表示時間ＴＰn-1とＤｅｌｔａ Ｔとの和と（ｉｉ）ｍ番
目のフレーム後に次に現れるべきフレームを復号するた
めの開始時間Ｔsとフレームを復号するための見積り時
間との和（該和はＤｅｌｔａ Ｔの倍数まで切り上げら
れている）とのうちの大きい方として決定される表示時
間であり、開始時間Ｔsが、（ｉ）現在時間と（ｉｉ）
復号されたｍ’番目のフレームが含まれる蓄積場所が表
示されている先に復号されたフレームにより利用できる
ものとなる時間とのうちの大きな方である、ステップ
と、（ｃ）復号されたフレームを表示するステップと、
（ｄ）インクリメントされたインデックスでステップ
（ｂ）およびステップ（ｃ）を繰り返すステップと、を
具備する、方法。 - 【請求項９】 補償カラーフィルタリングアレイ画像用
の補間の方法であって、（ａ）第１のサブアレイ上のイ
エロー画素値Ｙｅ，第２のサブアレイ上のシアン画素値
Ｃｙ，第３のサブアレイ上のマゼンタ画素値Ｍｇおよび
第４のサブアレイ上の緑画素値Ｇを画素値の補償カラー
フィルタリングアレイに提供するステップと、（ｂ）前
記イエロー画素値を前記アレイ中のすべての画素に補間
するステップと、（ｃ）前記シアン画素値を前記アレイ
中のすべての画素に補間するステップと、（ｄ）前記マ
ゼンタ画素値を前記アレイ中のすべての画素に補間する
ステップと、（ｅ）前記緑画素値を前記アレイ中のすべ
ての画素に補間するステップと、（ｆ）ステップ（ｂ）
からの画素イエロー値から量（Ｙｅ＋Ｃｙ−２＊Ｇ−Ｍ
ｇ）／４を減算することによって画素イエロー値を調整
するステップであって、Ｙｅがステップ（ｂ）からの画
素イエロー値であり、Ｃｙがステップ（ｃ）からの画素
シアン値であり、Ｍｇがステップ（ｄ）からの画素マゼ
ンタ値であり、Ｇがステップ（ｅ）からの画素緑値であ
る、ステップと、（ｇ）ステップ（ｃ）からの画素シア
ン値から量（Ｙｅ＋Ｃｙ−２＊Ｇ−Ｍｇ）／４を減算す
ることによって画素シアン値を調整するステップであっ
て、Ｙｅがステップ（ｂ）からの画素イエロー値であ
り、Ｃｙがステップ（ｃ）からの画素シアン値であり、
Ｍｇがステップ（ｄ）からの画素マゼンタ値であり、Ｇ
がステップ（ｅ）からの画素緑値である、ステップと、
（ｈ）ステップ（ｄ）からの画素マゼンタ値に量（Ｙｅ
＋Ｃｙ−２＊Ｇ−Ｍｇ）／４を加算することによって画
素マゼンタ値を調整するステップであって、Ｙｅがステ
ップ（ｂ）からの画素イエロー値であり、Ｃｙがステッ
プ（ｃ）からの画素シアン値であり、Ｍｇがステップ
（ｄ）からの画素マゼンタ値であり、Ｇがステップ
（ｅ）からの画素緑値である、ステップと、（ｉ）ステ
ップ（ｅ）からの画素緑値に量（Ｙｅ＋Ｃｙ−２＊Ｇ−
Ｍｇ）／４を加算することによって画素緑値を調整する
ステップであって、Ｙｅがステップ（ｂ）からの画素イ
エロー値であり、Ｃｙがステップ（ｃ）からの画素シア
ン値であり、Ｍｇがステップ（ｄ）からの画素マゼンタ
値であり、Ｇがステップ（ｅ）からの画素緑値である、
ステップと、を具備する、方法。 - 【請求項１０】 カラーフィルタリングアレイ画像用の
補間の方法であって、（ａ）画素値のカラーフィルタリ
ングアレイに、ｊおよびｋが偶数であるときにはｊ番目
の行およびｋ番目の列に位置する画素用の赤画素値Ｒ
(ｊ，ｋ)を、ｊおよびｋが奇数であるときにはｊ番目の
行およびｋ番目の列に位置する画素用の青画素値Ｂ
(ｊ，ｋ)を、ｊおよびｋの一方が偶数で他方が奇数であ
るときにはｊ番目の行およびｋ番目の列に位置する画素
用の緑画素値Ｇ(ｊ，ｋ)を提供するステップと、（ｂ）
画素値の行を水平に補間して、ｊが偶数であるときには
すべてのｋについて赤値Ｒ(ｊ，ｋ)および緑値Ｇ(ｊ，
ｋ)の行を生成し、ｊが奇数であるときにはすべてのｋ
について緑値Ｇ(ｊ，ｋ)および青値Ｂ(ｊ，ｋ)を生成す
るステップと、（ｃ）ｊが偶数であるときには、ステッ
プ（ｂ）からの水平補間された赤行を垂直に補間して赤
値Ｒ(ｊ−１，ｋ)を生成し、ｊが奇数であるときには、
水平補間された青を垂直に補間して青値Ｂ(ｊ−１，ｋ)
を生成するステップと、（ｄ）ステップ（ｂ）からの水
平補間された緑画素行を垂直にフィルタリングして、フ
ィルタリングされた緑出力値Ｇ”(ｊ，ｋ)を生成するス
テップと、（ｅ）緑値Ｇ(ｊ，ｋ)とフィルタリングされ
た緑値Ｇ”(ｊ，ｋ)との差値Ｄ(ｊ，ｋ)を定めるステッ
プと、（ｆ）ｊが偶数であるときには、Ｄ(ｊ，ｋ)を赤
値Ｒ(ｊ，ｋ)から減算して赤出力値Ｒ”(ｊ，ｋ)を生成
し、ｍが奇数であるときには、Ｄ(ｊ，ｋ)を赤値Ｒ
(ｊ，ｋ)に加算して赤出力値Ｒ”(ｊ，ｋ)を生成するス
テップと、（ｇ）ｍが偶数であるときには、Ｄ(ｊ，ｋ)
を青値Ｂ(ｊ，ｋ)に加算して青出力値Ｂ”(ｊ，ｋ)を生
成し、ｍが奇数であるときには、Ｄ(ｊ，ｋ)を青値Ｂ
(ｊ，ｋ)から減算して青出力値Ｂ”(ｊ，ｋ)を生成する
ステップと、を具備する、方法。 - 【請求項１１】 再生バッファリングの方法であって、
（ａ）第１および第２のバッファを備えるステップであ
って、これらのバッファがフル／非フル・指示器をそれ
ぞれ備え、位置指示器が前記第１および第２のバッファ
内の位置を指示する、ステップと、（ｂ）前記第１のバ
ッファについての前記フル／非フル・指示器が非フルを
指示し、前記位置指示器が前記第２のバッファにおける
位置を指示するときには、前記第１のバッファを符号化
されたビットで充填するステップと、（ｃ）前記第２の
バッファについての前記フル／非フル・指示器が非フル
を指示し、前記位置指示器が前記第１のバッファにおけ
る位置を指示するときには、前記第２のバッファを符号
化されたビットで充填するステップと、（ｄ）前記位置
指示器によって指示される位置で開始する前記第１およ
び第２のバッファにおける１群のビットを復号するとと
もに、前記第１および第２のバッファを一つの巡回バッ
ファを形成するように取り扱うステップと、（ｅ）ステ
ップ（ｄ）によって取り除かれたビットに従って前記フ
ル／非フル・指示器を更新するステップと、（ｆ）ステ
ップ（ｂ）からステップ（ｅ）を繰り返すステップと、
を具備する、方法。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US632543 | 1996-04-19 | ||
| US17278099P | 1999-12-20 | 1999-12-20 | |
| US21500000P | 2000-06-29 | 2000-06-29 | |
| US21495100P | 2000-06-29 | 2000-06-29 | |
| US63254300A | 2000-08-04 | 2000-08-04 | |
| US172780 | 2000-08-04 | ||
| US214951 | 2000-08-04 | ||
| US215000 | 2000-08-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002010277A true JP2002010277A (ja) | 2002-01-11 |
Family
ID=27497025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000404442A Abandoned JP2002010277A (ja) | 1999-12-20 | 2000-12-20 | デジタルスチルカメラシステムおよび方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002010277A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006187004A (ja) * | 2004-12-24 | 2006-07-13 | Sony Taiwan Ltd | 画像信号処理装置 |
| JP2007066142A (ja) * | 2005-09-01 | 2007-03-15 | Shinsedai Kk | ダイレクトメモリアクセスコントローラ |
| US7197581B2 (en) | 2003-04-21 | 2007-03-27 | Matsushita Electric Industrial Co., Ltd. | Integrated circuit, device and method for inputting/outputting images |
| JP2007124434A (ja) * | 2005-10-31 | 2007-05-17 | Renesas Technology Corp | 画像処理用半導体集積回路 |
| JP2008543203A (ja) * | 2005-06-03 | 2008-11-27 | ノキア コーポレイション | 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ |
| US7822296B2 (en) | 2002-02-13 | 2010-10-26 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| JP2011010331A (ja) * | 2003-01-30 | 2011-01-13 | Qualcomm Inc | ディジタルビデオデータを処理するための繰り返し使用可能なフロントエンドを有するモジュラアーキテクチャ |
| JP2011113182A (ja) * | 2009-11-25 | 2011-06-09 | Toshiba Corp | 画像処理装置 |
| US8049923B2 (en) | 2005-05-31 | 2011-11-01 | Ricoh Company Ltd. | Method and apparatus for image processing capable of efficiently interfacing with different digital signal processors |
| CN108259742A (zh) * | 2018-01-12 | 2018-07-06 | 北京图森未来科技有限公司 | 一种图像采集方法和装置 |
| USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
-
2000
- 2000-12-20 JP JP2000404442A patent/JP2002010277A/ja not_active Abandoned
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8867864B2 (en) | 2002-02-13 | 2014-10-21 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US8165427B2 (en) | 2002-02-13 | 2012-04-24 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US7889935B2 (en) | 2002-02-13 | 2011-02-15 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US7899275B2 (en) | 2002-02-13 | 2011-03-01 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US9361664B2 (en) | 2002-02-13 | 2016-06-07 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| US7822296B2 (en) | 2002-02-13 | 2010-10-26 | Canon Kabushiki Kaisha | Data processing apparatus, image processing apparatus, and method therefor |
| USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
| US8804000B2 (en) | 2003-01-30 | 2014-08-12 | Qualcomm Incorporated | Modular architecture having reusable front end for processing digital video data |
| JP2011010331A (ja) * | 2003-01-30 | 2011-01-13 | Qualcomm Inc | ディジタルビデオデータを処理するための繰り返し使用可能なフロントエンドを有するモジュラアーキテクチャ |
| US7197581B2 (en) | 2003-04-21 | 2007-03-27 | Matsushita Electric Industrial Co., Ltd. | Integrated circuit, device and method for inputting/outputting images |
| JP2006187004A (ja) * | 2004-12-24 | 2006-07-13 | Sony Taiwan Ltd | 画像信号処理装置 |
| US8049923B2 (en) | 2005-05-31 | 2011-11-01 | Ricoh Company Ltd. | Method and apparatus for image processing capable of efficiently interfacing with different digital signal processors |
| JP2008543203A (ja) * | 2005-06-03 | 2008-11-27 | ノキア コーポレイション | 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ |
| JP2007066142A (ja) * | 2005-09-01 | 2007-03-15 | Shinsedai Kk | ダイレクトメモリアクセスコントローラ |
| JP4625929B2 (ja) * | 2005-09-01 | 2011-02-02 | 新世代株式会社 | ダイレクトメモリアクセスコントローラ |
| JP2007124434A (ja) * | 2005-10-31 | 2007-05-17 | Renesas Technology Corp | 画像処理用半導体集積回路 |
| JP4641926B2 (ja) * | 2005-10-31 | 2011-03-02 | ルネサスエレクトロニクス株式会社 | 画像処理用半導体集積回路 |
| JP2011113182A (ja) * | 2009-11-25 | 2011-06-09 | Toshiba Corp | 画像処理装置 |
| CN108259742A (zh) * | 2018-01-12 | 2018-07-06 | 北京图森未来科技有限公司 | 一种图像采集方法和装置 |
| CN108259742B (zh) * | 2018-01-12 | 2020-08-25 | 北京图森未来科技有限公司 | 一种图像采集方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6791609B2 (en) | Digital still camera system and method | |
| US6829016B2 (en) | Digital still camera system and method | |
| US7330209B2 (en) | Digital still camera system and complementary-color-filtered array interpolation method | |
| US6933970B2 (en) | Digital still camera system and method | |
| US6754279B2 (en) | Digital still camera system and method | |
| US6873658B2 (en) | Digital still camera system and method | |
| US20020135683A1 (en) | Digital still camera system and method | |
| US20030222998A1 (en) | Digital still camera system and method | |
| US6975354B2 (en) | Digital still camera color filter array interpolation system and method | |
| US7142251B2 (en) | Video input processor in multi-format video compression system | |
| EP1111904A2 (en) | Digital camera system and method | |
| US7787026B1 (en) | Continuous burst mode digital camera | |
| US8619866B2 (en) | Reducing memory bandwidth for processing digital image data | |
| US20120301102A1 (en) | Video camera | |
| WO2001049026A1 (fr) | Camera numerique, dispositif de commande de memoire utilisable dans ce cas, procede et dispositif de traitement d'image | |
| KR100997619B1 (ko) | 소형 또는 대형 화상의 처리를 위한 소형 라인 버퍼의 사용을 용이하게 하는 기술 | |
| US6697106B1 (en) | Apparatus for processing image signals representative of a still picture and moving pictures picked up | |
| JP2002157111A (ja) | 画像制御装置およびその制御方法ならびにディジタルカメラ | |
| JP2002010277A (ja) | デジタルスチルカメラシステムおよび方法 | |
| KR100695839B1 (ko) | 디지털 스틸 카메라 동작 방법 | |
| JP3812264B2 (ja) | 撮像装置 | |
| JP4302661B2 (ja) | 画像処理システム | |
| EP1175101B1 (en) | Digital still camera system and method. | |
| JP4281161B2 (ja) | 電子カメラ | |
| US7362362B2 (en) | Reformatter and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071220 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20090113 |