JP2002532810A

JP2002532810A - 画像処理機能および制御のためのプログラム式並列コンピュータ

Info

Publication number: JP2002532810A
Application number: JP2000588733A
Authority: JP
Inventors: トッドイー．ロックオフ，; ロバートラング，; マリーワレス，
Original assignee: インテンシス・コーポレーション
Priority date: 1998-12-15
Filing date: 1999-12-15
Publication date: 2002-10-02
Also published as: TW429331B; WO2000036562A1; WO2000036562A9; EP1141891A1; CN1338090A; AU2362200A

Abstract

(57)【要約】画像データを生成するセンサを含むデジタルカメラ。この装置は、感受された画像データを処理するための並列プロセッサをさらに含む。プログラム式並列計算回路は、生成された画像データに対する計算集約的画像処理機能を達成する。半導体効率的プログラム式並列計算構成を使用して、性能対ハードウェアコスト比をデジタル画像装置において最大化し、同時にデジタル画像製品の範疇内またはそれをまたがる範疇において高度な機能的柔軟性および製品多様性を可能にする。

Description

【発明の詳細な説明】

【０００１】（関連出願）本出願は、１９９８年１２月１５日に出願された、ＴｏｄｄＥ．Ｒｏｃｋｏ
ｆｆによる「Ｉ−ＣａｓｈｅｄＳＩＭＤＢａｓｅｄＤｉｇｉｔａｌＩｍ
ａｇｉｎｇＡｐｐａｒａｔｕｓ」という名称の米国仮特許出願第６０／１１２
，４１０号に対する優先権を主張する。

【０００２】（技術分野）本発明は、デジタルカメラに関し、特に、プログラムされた並列コンピュータ
を用いて、画像操作機能を達成するデジタルカメラに関する。

【０００３】（背景）デジタルカメラは、アマチュアにもプロにも、機能性、信頼性、利便性、およ
びコスト性において有意な利益を提供している。例えば、感光フィルムの場合は
典型的には、画像を見るためにはフィルムを化学的に現像しなければならず、処
理に時間およびコストがかかる。一方、デジタルカメラの場合、カメラ上のＬＣ
Ｄを通じて画像を直接見ることができ、画像をコンピュータで見てカラープリン
タで印刷し、またはインターネットで画像を共有することもできる。このような
利点があるのにも関わらず、デジタルカメラは、カメラの全販売量のごくわずか
だけを占めているに過ぎず、消費者に行き渡っている商品というよりも、まだま
だ目新しい商品のままでいる。このようなデジタルカメラ技術の採用が伸び悩ん
でいる状況は、現在のデジタルカメラの特徴である、かなり高額のコストおよび
低画質に起因している。

【０００４】画像シーケンス（映像）のデジタル処理は、静止画像を処理する場合よりも、
さらにコンピュータ集約型である。リアルタイムでデジタル映像の処理を行う場
合、１秒あたり３０フレームを処理することとなり、これは、静止画像を処理す
る場合よりも数十倍の能力がコンピュータに要求される。今日、デジタル映像は
、遠隔会議と、ＤＶＤおよびカムコーダー等の消費者製品に用いられているもの
の、比較的低画質でありまたコストも高いため、デジタル映像が主流となるのは
、静止画像のデジタル写真技術が主流となる将来よりも、ずっと先のことになり
そうである。

【０００５】同様に、一般的なデジタル画像アプリケーションの場合、従来からのソリュー
ションは場当たり的であり、通常はアプリケーション専用の高価なハードウェア
回路を用いて、特定のコンピュータ集約型の画像機能を行う。例えば、図１は、
Ｍｉｌｐｉｔａｓ，ＣａｌｉｆｏｒｎｉａのＬＳＩＬｏｇｉｃによって製造さ
れた「ＳｉｎｇｌｅＣｈｉｐｆｏｒＤｉｇｉｔａｌＣａｍｅｒａ」（Ｄ
ＣＡＭ−１０１）のブロック図である。図１から分かるように、ＤＣＡＭ−１０
１では、γ補正、色スペース変換およびＪＰＥＧ符号化および復号化に対し、別
個のハードウェア回路を用いている。図２は、別の（汎用）デジタルカメラ画像
処理ソリューションのブロック図であり、図２では、複数の画像処理機能の各々
に対し、別個のハードウェア回路が備えられている。このようなデジタル画像機
能間における「裂け目」は、デジタルカメラの普及の足かせとなっている。なぜ
ならば、このような「裂け目」のために、製品同士で画像データを交換すること
ができず、また、製品の製造業者も、規模の経済による利益のほんの一部分のみ
しか享受できないでいるからである。

【０００６】さらに、デジタルカメラ画像処理機能が（特定のハードウェア回路とは対照的
に）プログラムされ、かつ、デジタル画像処理機能が並列コンピュータ用にプロ
グラムされたとしても、従来のプログラムされた画像プロセッサでは、１つの画
像の走査線において画素毎に１つの処理素子を用いている。例えば、Ａｌｌａｎ
Ｌ．Ｆｉｓｈｅｒ、ＰｅｔｅｒＴ．ＨｉｇｈｎａｍおよびＴｏｄｄＥ．Ｒ
ｏｃｋｏｆｆによる「ＡＦｏｕｒ−ＰｒｏｃｅｓｓｏｒＢｕｉｌｄｉｎｇ
ＢｌｏｃｋｆｏｒＳＩＭＤＰｒｏｃｅｓｓｏｒＡｒｒａｙｓ」（ＩＥＥ
ＥＪｏｕｒｎａｌｏｆＳｏｌｉｄＳｔａｔｅＣｉｒｃｕｉｔｓ、ｖｏ
ｌ．２５、Ｎｏ．２）（１９９０年４月、３６９〜３７５ページ）を参照された
い。このＦｉｓｈｅｒによる論文では、走査線アレイプロセッサ（ＳＬＡＰ）ア
ークテクチャが開示されている。このＳＬＡＰは、デジタルカメラ用途ではない
ものの、同報通信命令によって単一命令多重データ（ＳＭＩＤ）様式で制御され
る、プロセッサ（処理素子または「ＰＥ」）の線状アレイからなる。図３は、Ｓ
ＬＡＰのトポロジーをまとめたブロック図である。走査線データは、走査線内の
各画素の１段について、画素データシフトレジスタ３０２の段に連続的にシフト
され、次いで、同報通信命令に基づいて並列に動作するＰＥのうちＰＥ１からＰ
ＥＰまで、並列に転送される。

【０００７】図４は、画像データをＳＬＡＰ内のＰＥに割り当てる様子を示すブロック図で
あり、図５Ａ〜５Ｅは、ＳＬＡＰ内の３段のパイプライン動作を示す。従来のＳ
ＬＡＰトポロジーでは、残念ながら、処理対象の画像の解像度が高いほど、必要
なプロセッサの数も多くなり、しかも、多くのプロセッサは、デジタルカメラの
ような携帯型デバイスの用途において供されていない。

【０００８】（要旨）本発明は、デジタルカメラ装置である。本装置は、画像データを生成するセン
サを含み、感知した画像データを処理する並列プロセッサも含む。コンピュータ
集約型画像処理機能を達成する、プログラムされた並列計算回路は、生成された
画像データ上で機能する。プログラムされた、半導体を用いた効率的な並列計算
構造を用いて，本発明は、デジタル画像処理装置におけるハードウェアのコスト
に対する性能比を最大限に高め、また、デジタル画像処理製品のカテゴリにわた
って、機能の柔軟性と製品の多様性とを可能にする。特定の実施形態において、
プログラムされた並列計算構造は、命令キャッシュ型のＳＩＭＤコンピュータで
ある。

【０００９】本発明の別の局面によれば、画像データを処理する並列コンピュータは、画像
の走査線中の画素よりも少ない処理素子で、画像データの処理を行う。

【００１０】（詳細な説明）本発明の大まかな局面によると、デジタルカメラの画像処理機能は、プログラ
ムされた並列コンピュータによって行われる。本発明のこの局面の基礎をなすが
、これまで完全には利用されてこなかった重要な観測結果は、デジタル撮像機能
が、スケーラブルな並列データ（ｓｃａｌａｂｌｅｄａｔａ−ｐａｒａｌｌｅ
ｌ）であるということである。撮像機能は、この特性によって、何ダース、また
は何千もの処理素子（ＰＥ）を組み込むプログラムされた並列コンピュータの効
率的な実現に適用されるようになる。効率の１つの尺度として、並列コンピュー
タによって表される単一のプロセッサにわたるスピードアップがある。Ｎ−ＰＥ
並列コンピュータの最大効率は、Ｎである。

【００１１】画像処理機能のために、プログラムされた並列コンピュータを採用するデジタ
ルカメラの実施形態を、図６に示す。図６を参照すると、画像は、レンズ６０２
を通って、画像に対応する複数のアナログ信号を発生する電荷結合デバイス（Ｃ
ＣＤ）のようなセンサ６０４にフォーカスされる。アナログ信号は、Ａ／Ｄコン
バータ回路６０６を通過して、デジタル化されたバーションの画像を生成する。
Ａ／Ｄコンバータ回路６０６からのデジタル画像（画素）データは、マルチプレ
クサ６１０を介して並列コンピュータ６０８の入力データポート６１２に提供さ
れる。デジタル化された画素データは、並列コンピュータ６０８によって処理さ
れ、その後、並列コンピュータ６０８は、処理されたデータを、並列コンピュー
タ６０８の画像データ出力ポート６１４に提供する。さらに、画素データは、並
列コンピュータ６０８によって処理されて、画像獲得を制御するように、デジタ
ルカメラ自体を制御し得る。

【００１２】並列コンピュータ６０８の出力データポート６１４、および並列コンピュータ
６０８の入力データポート６１２（マルチプレクサ６１０を介する）は、バス６
１６に接続されている。様々な他の回路も、バス６１６から提供される。これら
の回路には、マイクロプロセッサ６１８（ＲＯＭ６２０およびＲＡＭ６２１が関
連付けられている）、外部デバイスへの汎用Ｉ／Ｏ回路６２２、パーソナルコン
ピュータのシリアルポートへのシリアルＩ／Ｏ回路６２４、液晶ディスプレイ６
３２への電気的インターフェース６３０、およびテレビへのＮＴＳＣ／ＰＡＬ映
像デジタル−アナログコンバータインターフェース６３４が含まれる。また、バ
ス６１６は、並列コンピュータ６０８の制御／ステータスポートに接続され、画
像センサ６０４を制御するため、電気的インターフェース６３６にも接続されて
いる。

【００１３】最終的に、また、並列コンピュータ６０８は、ＤＲＡＭ６４０（または、他の
ＲＡＭ）にインターフェースするメモリコントローラ６３８、ならびにマルチチ
ップＰＥ間（「ＰＥ」は処理素子）通信ネットワークにインターフェースするＰ
Ｅ間通信インターフェース６４２を含む。概して、並列コンピュータ６０８は、
ＰＥ間通信ネットワークによって接続される多数の処理素子ＰＥからなる。並列
コンピュータ６０８の範囲内のＰＥ間通信ネットワークの特定のトポロジーは、
通常、並列コンピュータアーキテクチャの重要な特性として考えられるが、本発
明のこの局面の中心ではない。しかし、デジタル撮像アプリケーションにおいて
、並列コンピュータ６０８にとって適切であると思われるトポロジーは、例えば
、走査線アレイプロセッサ（ＳＬＡＰ）のような線状のアレイである。再度、Ｓ
ＬＡＰの背景について、ＡｌｌａｎＬ．Ｆｉｓｈｅｒ、ＰｅｔｅｒＴ．Ｈｉ
ｇｈｎａｍ、ＴｏｄｄＥ．Ｒｏｃｋｏｆｆ、「ＡＦｏｕｒ−Ｐｒｏｃｅｓｓ
ｏｒＢｕｉｌｄｉｎｇＢｌｏｃｋｆｏｒＳＩＭＤＰｒｏｃｅｓｓｏｒ
Ａｒｒａｙｓ」、ＩＥＥＥＪｏｕｒｎａｌｏｆＳｏｌｉｄＳｔａｔｅ
Ｃｉｒｃｕｉｔｓ、Ｖｏｌ．２５、Ｎｏ．２、１９９０年、４月、３６９〜３
７５頁を参照されたい。

【００１４】並列コンピュータ６０８は、様々な画像解析、操作および拡張した機能を実現
し得る。提供される機能の組、画像のサイズ、機能アプリケーションの速度が、
デジタル撮像製品を区別するための主な基準となる。並列コンピュータ６０８が
（例えば、ハードウェアにより実現されるＡＳＩＣとは異なり）プログラムされ
るので、デジタルカメラの画像処理機能が効率的に実行されるだけでなく、デジ
タルカメラ機能の開発およびアップグレードが、ずっと簡略化される。

【００１５】供給され得る撮像タスクには、画像センサ特性（解像度、アスペクト比、画素
の形、その他を含む）の補償、画像ディスプレイ特性（解像度、アスペクト比、
画素の形、その他を含む）の補償、色補正および色空間変換、画質の向上、向上
したビューファインダディスプレイの発生、格納および／または通信のための圧
縮および解凍、画像通信のための暗号化および解読、その他が含まれる。

【００１６】背景において説明されたように、ＳＬＡＰは、水平画像次元に沿って画素ごと
に１つの段が提供される、画像データシフタを提供する。ＳＬＡＰの概念は、画
像センサのシリアル走査出力特性に、十分に適合する。ＳＬＡＰの概念によって
、１つの出力画素の走査線がシフトアウトされ、第２の走査線の出力値が計算さ
れ、画像センサデータの第３の走査線が並列コンピュータにシフトされて処理さ
れる、安価な３段画像データパイプラインが作製される。

【００１７】並列コンピュータ６０８を有するデジタル撮像装置において実行され得るいく
つかの関数を、以下に挙げる。例示した関数の順序がプロセッサ出力６１４での
処理された画像データへのセンサ６０４の出力に影響するので、その順序で挙げ
られる。

【００１８】１）画素データ補正画像センサ６０４から受信したデジタル画素データに適用される関数ａ）画素トリミング画素トリミングは、個別の画素について既知の較正値を必要とする。画素ト
リミングは、センサアレイにおける個別の素子について不完全な応答特性を補償
する、感知した画素値を変換する。較正情報は、既知の画像（例えば、レンズキ
ャップの内部に提供され得るような画像）への応答を測定することによって入手
される。画像における各画素についての画素トリミングは、対応する画像センサ
素子についての感知された画素値および較正値のみの関数である。

【００１９】ｂ）ガンマ補正ダイナミックレンジにわたる画像センサの応答特性は、人間の眼の応答特性
とは異なる。ガンマ補正によって、測定された画素値を、非線形的に変換して、
画素値の最下位ビットの主観的な大きさを最大化する。画像における各画素につ
いてのガンマ補正は、感知された画素値および応答曲線の所望の形のみの関数で
ある。目標応答曲線は、全ての画素の間で共通であり、画像ごとに異ならない。

【００２０】ｃ）色空間変換画像センサは、典型的には、原色（ＲＧＢ）のそれぞれの強度の整数の値を
表す。線形代数の観点から見ると、「基準ベクトル」Ｒ、Ｇ、およびＢは、直交
しない。この観測結果は、画素のＲ値を変化させることによって、ＧおよびＢ値
が変化することを意味する。画像処理について、一般的に利用される、より効率
的な表現は、ＹＣ_bＣ_r空間に基づく。ただし、Ｙは、画素の純粋な輝度（明度）
を表し、Ｃ_bおよびＣ_rは、２次元カラー平面における画素の位置を表す。ＹＣ_b
Ｃ_rは、直交基準ベクトルである。ＲＧＢ画像からＹＣ_bＣ_r画像への変換は、画
像における各画素で、３×１ベクトルを３×３変換マトリクスで掛けることを必
要とする。各画素についての色空間変換は、感知された画素値および変換マトリ
クスにおける値のみの関数である。変換マトリクス値は固定され、全ての画素に
ついて共通である。

【００２１】２）画像最適化：シーン分析（ｓｃｅｎｅａｎａｌｙｓｉｓ）および操作出力画像の質を改善するための知覚した画像の調整ａ）オーバーサンプリング（デジタルズーム）画像センサから得られる解像度よりも高度の解像度の画像が所望される場合、
補間プロセスにより、知覚した画素の間にある「画素」に対する値を生成するこ
とが可能である。従来のデジタルカメラは、一次補間を適用するので、各画素が
近傍の画素の重みつき平均により置換される。本発明の１つの局面は、並列コン
ピュータの能力を利用して、より高次の補間アルゴリズムを適用することである
。

【００２２】ｂ）デジタル画像の安定化デジタル画像の安定化により、静止シーンをフレーミングする場合のビデオカ
メラの動きを補償する。ビデオカメラの動きにより、画素をフレームからフレー
ムへとシフトすることで補償することができるオフセットが作成される。フレー
ムからフレームへの動きの推定については、ＭＰＥＧ機能の項目において下記で
述べる。動きベクトルがある場合、各画素に関するデジタル画像の安定化は、動
きベクトル、および前のフレーム内の対応する画素を中心とする限られた範囲の
近隣の画素の値の集合のみの関数である。

【００２３】ｃ）高度な機能（例えば、ブリンキングの除去およびフレーミング）画像を理想的な瞬間および理想的な方法で捕捉することを可能にする機能は、
画像をメモリに記録する電子シャッターの起動前に、撮像デバイス内で実行され
る。このような機能は、特定のシーンの種々の特性を分析し、画像の捕捉方法を
決定する。このような機能自体の定義は本発明の範囲を越え、このような機能が
、計算集約的スケーラブルデータ並列計算（ｃｏｍｐｕｔｅ−ｉｎｔｅｎｓｉｖ
ｅｓｃａｌａｂｌｅｄａｔａｐａｒａｌｌｅｌｃｏｍｐｕｔａｔｉｏｎ
ｓ）を高速で実行することを必要とする場合がそれに当たるであろう。

【００２４】３）ＪＰＥＧ圧縮ビットで測定される画像表現を最小化する、広く採用された基準を意味する。
ＪＰＥＧには、いくつかの動作モードがあり、元の画像センサのデータの全てを
保持する「無損失」のもの、およびなんらかの情報を取り除くために、復元され
た圧縮画像が元の画像とは異なる「損失」のものがある。ＪＰＥＧの損失モード
の基礎をなす精神−視覚原理（ｐｓｙｃｈｏ−ｖｉｓｕａｌｐｒｉｎｃｉｐｌ
ｅ）とは、人間の目が、画像の高い空間周波数成分に対しては感度が低いことで
ある。換言すれば、いくぶんしみがある画像が提示された場合、人間の目は端部
の情報を強調する。ＪＰＥＧ基準の損失モードは、画像の空間周波数スペクトル
を解析し、次いで、より高い周波数成分から分解能（ｒｅｓｏｌｕｔｉｏｎ）を
選択的に取り除くことにより機能するので、画像のより簡潔な表現を可能にする
。所与の画素に関するＪＰＥＧ圧縮時に生成される中間結果が、その所与の画素
が存在する範囲の８×８個の画素ブロックのみの関数として判断されるように、
ＪＰＥＣ圧縮における計算作業の大半が、８×８個の画素ブロックに適用される
。

【００２５】ａ）ラスター−ブロック変換第１の工程では、画像センサからの線ごとの（ラスター）走査出力を、ＪＰＥ
Ｇ演算（ＪＰＥＧｏｐｅｒａｔｉｏｎｓ）に適した８×８個のブロック表現に
割り当てる。画像全体がメモリ内に格納されていれば、ラスターブロック変換が
、格納された画素の値に適切にアクセスすることにより達成される。オンライン
でのラスターブロック変換は、１６本の走査線の画素の値をバッファリングする
ことを必要とし、８×８個のブロックが、８本の走査線のラスターデータが受信
後にのみ、変換器の出力で利用可能となる。このようなバッファリングは、ＳＬ
ＡＰスタイルの線形アレイコンピュータで容易に達成される。

【００２６】ｂ）ブロック離散コサイン変換（ＤＣＴ）８×８個の画素ブロックに適用されるＤＣＴは、信号処理機能に類似しており
、最も計算集約的な機能のうちの１つである。ＤＣＴは、色の空間表現の値を周
波数表現に変換する。この周波数表現は、高周波数情報の解像度が人間の目にと
っては、低周波数情報ほど重要ではないというＪＰＥＧ圧縮の精神−物理原理を
適用するキーである。

【００２７】８×８のＤＣＴは、以下の等式により求められる。

【００２８】

【数１】ＧｒｅｇｏｒｙＫ．Ｗａｌｌａｃｅの「ＴｈｅＪＰＥＧＳｔｉｌｌＰ
ｉｃｔｕｒｅＣｏｍｐｒｅｓｓｉｏｎＳｔａｎｄａｒｄ」、Ｃｏｍｍｕｎｉ
ｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ、ｖｏｌ．３４、ｎｏ．４、１９９１年
４月、３０〜４４頁を参照。

【００２９】２−ＤのＦＦＴと同様に、ブロックのＤＣＴは分離変換である。これは、８×
８のＤＣＴが、コラム上の８個の１−ＤのＤＣＴと、ロー上の別の８個の１−Ｄ
ＤＣＴから構成されることを意味する。８個のエレメントから成る１−ＤのＤ
ＣＴは、約２０の乗算／加算工程を必要とすることが推測される。それゆえ、８
×８のＤＣＴ内の乗算／加算工程の数は、以下の等式で求められる。

【００３０】

【数２】ｃ）量子化量子化工程では、ＪＰＥＧアルゴリズムが、正確な判断により、破損させない
方法で圧縮画像から情報を取り除く。画像内の全てのブロックに共通する量子化
パラメータＱ（ｕ，ｖ）の集合が与えられると仮定し、量子化が、各８×８個の
画素ブロックの各係数に適用される。この量子化アルゴリズムは、以下のとおり
求められる。

【００３１】

【数３】この等式は、量子化が画素ごとに１つの除算を必要とすることを示唆する。

【００３２】ｄ）差分パルス−コード変調ＤＣＴのＤＣ（ゼロ周波数）パラメータＦ（０，０）は、画像全体に渡って異
なってコード化される。この工程は、隣接する画素ブロック内の相互連絡（ｃｏ
ｍｍｕｎｉｃａｔｉｏｎ）を必要とする。

【００３３】ｅ）エントロピーコーディング量子化ＤＣＴ係数は、例えば、ハフマンコードを適用することにより、簡潔に
表わされる。エントロピーコーディングには２つの工程があり、第１のブロック
内の工程では、係数が割り当てられたシンボルであり、ブロック内およびブロッ
ク間の工程では、シンボルがビットの可変長シーケンスに変換される。第１の工
程が画素ブロック間での相互連絡を必要としない一方で、第２の工程は隣接する
画素ブロック内での相互連絡を必要とする。

【００３４】４）ＭＰＥＧ圧縮ＭＰＥＧは、ビデオ画像に通常適用される圧縮基準である。ＭＰＥＧの中核は
、ＪＰＥＧアルゴリズムと同一のものであり、ＤＣＴにより達成される周波数領
域情報の量子化に依存し、目につかない方法で、圧縮画像から情報を取り除く。
ＭＰＥＧは、単一のシーンの一連のビデオ画像が大量の共通情報を共有するとい
う見解を採用する以下のさらなる機能を定義する。

【００３５】ａ）動き推定動き推定の目的は、所与のビデオフレーム内の、所与の画素ブロックについて
、その画素ブロックが、先行するフレーム内の「どこから来た」のか、および、
以降のフレーム内の「どこに行く」のかを判定することである。オブジェクトが
オクルージョンを起こすことなく移動するか、またはカメラが移動する場合、画
像内の可視オブジェクトのパッチに関連する画素ブロックが動いているように見
える。

【００３６】動き推定は、概して、６４×６４マクロブロックに基づいて行われ、現在のフ
レーム内の所与のマクロブロックと隣接するフレーム内の隣接するマクロブロッ
クとの間の最小差分の計算を試みる。空間的（１つの隣接フレーム内）および時
間的（検索されるフレームの数）の両方について、検索の範囲は、利用可能な処
理能力によって制限される。

【００３７】動き推定は、画素間の局所的な伝達のみを必要とし、その有効性は、充当され
た処理能力に比例する。

【００３８】したがって、（今後２０年内に消費者が利用可能な）いかなる処理能力も、そ
の要件を満たさないであろうという点で、ＭＰＥＧ圧縮は、任意に計算上要求さ
れるアプリケーションのうちの１つであるようといえる。

【００３９】５）表示インターフェース６３０いくつかの従来のデジタルカメラは、ＬＣＤパネル６３２等のＬＣＤパネルを
管理する回路を含む。

【００４０】ａ）アンダーサンプリング（Ｕｎｄｅｒ−Ｓａｍｐｌｉｎｇ）利用可能なＬＣＤの画素解像度は、しばしば、画像解像度よりも低い。従
来のカメラは、センサ６０４の出力内のさらなる画素を無視することによって、
または、おそらく単純平均を行うことによって、画像のアンダーサンプリングを
行う。アンダーサンプリングは、隣接する画素間のみの伝達を要求する局所アル
ゴリズムである。

【００４１】ｂ）色空間変換ＬＣＤパネルは、画像操作アルゴリズムに便利なＹＣ_bＣ_r値を入力としな
い。したがって、表示のために画素値を変換してＲＧＢ表示に戻すために、逆変
換を行う。この変換は、各画素について、３×１ベクトルに３×３マトリクスを
乗算することを要求する。

【００４２】ｃ）ＬＣＤディスプレイは、しばしば、エイリアジング（「ギザギザ線」
）が多く見られる。アンチエイリアジングアルゴリズムを適用して、「最もよく
見える」ＬＣＤパネル画像を達成する。

【００４３】上の説明は、従来のスチルデジタルカメラおよびムービングデジタルカメラに
おいて有用なデジタル撮像アルゴリズムの（もし全てでないなら）多くは、拡張
可能であり、かつ、データパラレルであるという前提を築く。この所見は、デジ
タル撮像製品の広範な多様性が、拡張可能で、データパラレルなアルゴリズムを
実現するという主張の根拠となる。そのようなアルゴリズムは、パラレルインプ
リメンテーションに対して忠実である。

【００４４】１群の固定関数（ｆｉｘｅｄ−ｆｕｎｃｔｉｏｎ）回路を、プログラムされた
並列コンピュータと置換することにより、カメラの機能の柔軟性が向上し、さら
なる機能を開発するのに必要な時間が最小化される。

【００４５】固定関数回路におそらく対費用効果の高い代替物を提供することに加えて、本
発明は、以下の価値ある機能上の性能を可能にする：１）画像品質に欠損のない完璧な画像センサよりも製造費用の低い完璧で
ない画像センサを受容することによる、最適な画像品質のための自動センサ較正
。したがって、カメラ製造者は、比較的低コストの画像センサを組み込むことに
よりコストを低減できる。

【００４６】２）広範なセンササイズおよび画像フォーマットを受容する性能。

【００４７】３）カメラのユーザに、広範囲の値にわたって、画像解像度よりも圧縮比
を優先させる性能。

【００４８】４）コンピュータグラフィクスの分野からの補間アルゴリズムを適用して
、（従来のデジタルカメラにおいて使用される比較的品質の低い最近傍線形補間
と比べて）比較的高い品質のデジタルズームを達成する性能。

【００４９】５）スチルカメラおよびビデオカメラについての機能を、高い対費用効果
で実行する性能。スチルカメラのアプリケーションにおいて、ビデオカメラにお
ける多量のデータ処理に割り当てられるはずのさらなる処理能力を、画像品質を
最適化するために使用する。１つの例として、圧縮、解凍、および誤差計算から
なる背景処理を連続して実行して、現在の撮影コンテクストについての最適な量
子化テーブルを経験的に決定することが挙げられる。

【００５０】６）最もよく見えるＬＣＤパネル画像を達成すること。

【００５１】７）汎用の表示装置に必要とされるような、任意のデジタル画像ファイル
もしくはストリームフォーマットおよび圧縮規格をインポートする一般的な手段
を提供すること。

【００５２】８）汎用の画像キャプチャ装置に必要とされるような、任意のデジタル画
像ファイルもしくはストリームフォーマットおよび圧縮規格をエクスポートする
一般的な手段を提供すること。

【００５３】９）所与のデジタル撮像製品のカテゴリーにおいて、急速に発展する規格
を、製品の製造者が素早く受容する一般的な手段を提供すること。

【００５４】１０）製品の製造者がソフトウェア内の製品機能の追加または削除を行う
一般的な手段を提供すること。それにより、製品系列の製造者における規模の経
済の増大について、関連するデジタル撮像製品の完全な製品系列が、１つのデジ
タル撮像チップに影響を及ぼすことができる。

【００５５】本発明の別の局面（その実施形態を図７および図８に示す）によると、米国特
許第５，５１１，２１２号（「‘２１２号特許」）に記載されるように、並列コ
ンピュータ６０８は、命令キャッシュを有するＳＩＭＤコンピュータとして設け
られる。本明細書中、‘２１２号特許全体を参考として援用する。‘２１２号特
許は、ＳＩＭＤコンピュータを設けて性能（１秒あたりの集合画素動作数で測定
）対ハードウェアコスト（チップ面積単位で測定）の比を最大化する１つの方法
を開示している。

【００５６】概して、小型デジタル撮像製品は、マイクロコントローラ６１８（図６参照）
を内蔵し、さまざまなシステム機能を調整する。この局面によると、マイクロコ
ントローラ６１８（場合によっては「マイクロプロセッサ」または「埋込型マイ
クロプロセッサ」と呼ばれる）は、命令キャッシュ型ＳＩＭＤコンピュータ用の
システムコントローラとして機能する。マイクロコントローラバス６１６は、グ
ローバル命令同報通信ネットワークおよび応答ネットワークの両方として機能す
る。‘２１２号特許および図７および図８に開示されているように、１つのＰＥ
モジュールに対して、ローカルコントローラ７０５が１つ設けられる。ここで、
各ＰＥモジュールは複数のＰＥを内蔵している。システムにおけるＰＥモジュー
ルの数は、デジタルカメラ処理装置を実現するために使用されるＶＬＳＩ実装技
術によって規定される、要求されるＰＥの合計数、ＰＥの論理的な複雑度、およ
び等時領域（ｉｓｏｃｈｒｏｎｏｕｓｒｅｇｉｏｎ）のサイズ等のパラメータ
に依存する。

【００５７】図７は、単一モジュール命令キャッシュ化ＳＩＭＤコンピュータを示し、図８
は、マルチモジュール命令キャッシュ化ＳＩＭＤコンピュータを示す。（図７の
コンピュータの要素を図８中において繰り返しており、複数の要素を添字「ａ」
および「ｂ」によって示している）。

【００５８】以下の有用な能力が可能になる。

【００５９】１）本装置は、単一チップまたは複数チップのいずれにおいても実現可能であ
る。単一チップは、静止画カメラまたはローエンドのビデオカメラに適しており
、一方、非常に高性能なカメラにおいては単一チップを複数用い得る。

【００６０】２）本装置は、デジタルカメラ処理装置を実現するために用いられる任意のＶ
ＬＳＩインプリメンテーション技術において、性能対ハードウェアコスト比を最
大化する。

【００６１】３）本装置は、低コストＣＭＯＳ画像センサとの一体化に適している。

【００６２】命令キャッシュ化ＳＩＭＤコンピュータは、’２１２号特許によく記載されて
いるため、図７および８の大部分は詳細には示していない。画素データシフタ７
０２には、本チップを複数有するシステムの作製を容易にするために、外部イン
ターフェース（例えばローカル外部メモリインターフェース７０４）を追加して
いる。各ＰＥは画像演算に対して特化されている。適切なＰＥの一例は、ＳＩＭ
Ｄ動作に必要なコンテキスト管理および通信インターフェース回路ならびに１２
８ワードレジスタファイルとともに１６ビットＡＬＵを有するものである。

【００６３】計算集約的機能（上記「背景」部分において列挙したもののすべてを含む）の
大部分の特徴は、各画素がその空間的に近隣に位置する画素の関数として決定さ
れるように、出力画像の生成を行うことである。このような関数は、各画素にお
いて適用される（通常かなり簡潔な）命令のシーケンスとして記述される。この
場合、ローカル命令ブロードキャストネットワーク７０６を介してＰＥのアレイ
に送信される命令ストリームは、かなり繰り返しが多くなる。なぜなら、各画素
において共通の命令シーケンスが繰り返されるからである。ＳＩＭＤ命令キャッ
シュ７０８の使用は、このような場合において非常に効果的である。

【００６４】ＰＥ間の通信のためのリニアアレイトポロジーは、シリアル出力を有するよう
に構成されたセンサデバイスから散集した画像データによく適合する。しかし、
リニアアレイトポロジーは必ずしも必要な選択ではない。単一チップ内において
センサが処理装置とともに集積化されれば（これは半導体製造技術の進歩により
可能となるであろう）、チップ内により広いインターフェースが可能になること
により、２次元ＰＥ間通信ネットワークトポロジーが好ましくなる。

【００６５】引き続き図７および８を参照して（図６も参照する）、埋め込みマイクロプロ
セッサ６１８は、命令キャッシュ化ＳＩＭＤコンピュータのシステムコントロー
ラとして機能する。図示した命令キャッシュ化ＳＩＭＤコンピュータは、図３に
示すリニアアレイＰＥ間通信トポロジーを仮定しているが、リニアアレイトポロ
ジーは不可欠な選択というわけではない。本発明の一実施形態によれば、画素デ
ータシフタ７０２は１走査線の画素毎につき１つの段を有する一方で、図７およ
び８の「走査線アレイプロセッサ」部分（図９により詳細に示す）は、１走査線
の画素毎につき１つ未満のＰＥを有する。換言すれば、各ＰＥは、１走査線のう
ち１つ以上の画素−−画素「刈り取り列（ｓｗａｔｈ）」−−を処理する。

【００６６】図９を例として用いて、画素データシフタ９０２は、対応するＰＥ（ＰＥ１、
ＰＥ２およびＰＥＰ）の刈り取り列（９０４ａ〜９０４ｃ）に分割され、各刈
り取り列の画素データは、対応する刈り取り列バッファ（それぞれ９０６ａ〜９
０６ｃ）に転送される。次に、各ＰＥ（ＰＥ１〜ＰＥＰ）は、対応する刈り取
り列の画素に対して動作する。いくつかの実施形態において、各ＰＥに割り当て
られる画素刈り取り列の幅をアプリケーションに応じてプログラミング可能にす
るために、パラメータＬ（ＰＥ毎についての走査線毎の画素数）は変更可能にさ
れる。

【００６７】図７および図８の実施形態におけるＰＥへの画素データの割り当てを理解する
ために、例えばセンサ走査線毎につき１０２４個の画素が存在し、かつ命令キャ
ッシュ化ＳＩＭＤコンピュータ中に１６個のＰＥが存在すると仮定する。この場
合、各ＰＥに対して、８画素ブロック（６４画素）幅である画像刈り取り列が割
り当てられる。この例において、メガピクセル画像を格納できるためには、毎画
素２バイトとして、１２８ＫＢのＰＥ毎オンチップＤＲＡＭが必要である。チッ
プ上に１６個のそのような画像フレームを格納するためには（これは単一チップ
ＭＰＥＧ符号化に必要であり得る）、計３２ＭＢ（２５６Ｍｂ）のオンチップＲ
ＡＭが必要となる。

【００６８】１走査線の処理用に画素数よりも少ない数のＰＥを設けた別の実施形態を、図
１１に示す。図１１の実施形態の画素データシフタ１００２は、各ＰＥに対応し
て（図７および図８の実施形態におけるように各画素に対応するのではなく）１
つの段を有する。各段は１画素を保持し得る。大部分の場合において、走査線幅
は、その走査線についてのＰＥの数を超えるため、各ＰＥは複数の画素を処理す
る。これは、受け取った各画素を別の画素を受け取る前に処理することか、必要
な数の画素が到着するまで画素をローカル的に格納（すなわちＰＥがローカル的
に利用可能であるように）することによってなされる。

【００６９】引き続き図１１を参照して、画素データシフタ１１０２は、その前段において
入力走査線配列バッファ（ＳＬＯＢ）１１０３を有し、その後段において出力Ｓ
ＬＯＢ１１０４を有する。各ＳＬＯＢ１１０３、１１０４は、少なくとも２走査
線分の画素を保持するために十分なメモリを有している。第１の走査線が入力Ｓ
ＬＯＢ１１０３のメモリにセーブされた後、入力ＳＬＯＢ１１０３はこれに対し
て再配列を行う。再配列中に、第２の走査線が入力ＳＬＯＢ１１０３のメモリに
セーブされる。一実施形態において、走査線の画素は連続的なメモリ位置にセー
ブされ、メモリは「順番と異なって（ｏｕｔｏｆｏｒｄｅｒ）」読み出され
ることにより、同一ＰＥに全ての近隣画素が供給されるようにする。

【００７０】例えば、一実施形態において、４つのＰＥが１６個の画素走査線を処理するの
であれば、ＰＥ０は番号０〜３の画素を得、ＰＥ１は番号４〜７の画素を得、Ｐ
Ｅ２は番号８〜１１の画素を得、ＰＥ３は番号１２〜１５の画素を得ることにな
る。しかし、入力ＳＬＯＢ１１０３が画素を再配列することにより、画素データ
シフタ１１０２は、画素を０、４、８、１２；１、５、９、１３；２、６、１０
、１４；３、７、１１、１５の順番で保持する（これがＰＥに画素が供給される
べき順番であるため）。各ＰＥについて「進み幅（ｓｔｒｉｄｅ）」は一貫して
４であることに留意されたい。画素データはＰＥによって処理された後、画素デ
ータシフタ１１０２の出力に設けられた出力ＳＬＯＢ１１０４によって再配列さ
れる。

【００７１】ＰＥの数が均等に走査線毎の画素数に分割され得ない場合には再配列はより複
雑になる。この場合、「余分な」画素は１つ以上のＰＥに分配され得る。一実施
形態において、Ｎ個の余分な画素が存在するとすれば、Ｎ個の余分な画素は、最
初のＮ個のＰＥに１つずつ分配される。例えば４つのＰＥが１８画素の走査線を
処理する場合には、ＰＥ０は番号０〜４の画素を得、ＰＥ１は番号５〜９の画素
を得、ＰＥ２は番号１０〜１３の画素を得、ＰＥ３は番号１４〜１７の画素を得
ることになる。しかし、画素データシフタ１１０２は、画素を０、５、１９、１
４；１、６、１１、１５；２、７、１２、１６；３、７、１３、１７；４、９の
順番で保持する（これがＰＥに画素が供給されるべき順番であるため）。この場
合、進み幅は４の場合と５の場合とがあり、各ＰＥについて一貫しない。シフト
される最後の２つの画素は２つのＰＥによって受け取られ、他のＰＥは何も受け
取らない。

【００７２】本発明の一目的は、演算に対応するために提供された演算リソースを最大化す
ることにある。これは通常は、利用可能なチップ面積内において可能な限り多く
のＰＥを設けることを必要とする。チップサイズが増大し、回路寸法が縮小する
につれ、等時的領域（ｉｓｏｃｈｒｏｎｏｕｓｒｅｇｉｏｎ）の直径は、チッ
プの線形寸法よりもずっと小さくなる。従って、ＶＬＳＩスケーリング傾向の経
緯を踏まえれると、命令キャッシュ化ＳＩＭＤコンピュータを含むデジタル撮像
チップは、複数のＰＥモジュールを必要とし、従って、ローカルコントローラ回
路を複数必要とすることになる。マルチコントローラチップを実現させるために
必要な単一コントローラチップとの違いは、応答仲裁器（ｒｅｓｐｏｎｓｅａ
ｒｂｉｔｒａｔｏｒ）を含んでいる点である。応答仲裁器は、複数の命令キャッ
シュ化ＳＩＭＤローカルコントローラを、マイクロプロセッサバスに接続する制
御／ステータスポートに接続することにより、ＰＥ群中のある条件の存在／不在
を埋め込みマイクロプロセッサによって検出することを可能にする。

【００７３】ハイエンドビデオカメラアプリケーションに適したシステムを作製するために
、これらの命令キャッシュ化ＳＩＭＤ型デジタル撮像チップを複数含む装置を、
図１０に示す。チップ群を通じて画像データシフトレジスタは連結されており、
単一チップソリューションに由来する機能が、チップ群中の各それぞれに割り付
けられている点に留意されたい。ＰＥ間の通信ネットワークトポロジーは１つの
パラメータである。しかし、ある好適な実施形態においては、単一チップの好適
な実施形態内に用いられるリニアアレイトポロジーを拡張する。

【図面の簡単な説明】

【図１】図１は、デジタルカメラにおいて用いられる従来の単一チッププロセッサを示
すブロック図である。

【図２】図２は、デジタルカメラ用の従来のデジタル画像処理装置の機能を示すブロッ
ク図である。

【図３】図３は、多種多様な画像計算に適した、従来の走査線アレイプロセッサのトポ
ロジーを示すブロック図である。

【図４】図４は、図３のＳＬＡＰのような従来の走査線アレイプロセッサ内のＰＥに画
像データを割り当てる様子を示す図である。

【図５】図５Ａ〜Ｅは、走査線アレイプロセッサの３段型画像データパイプラインの従
来の動作を示す。

【図６】図６は、本発明の実施形態によるデジタル画像装置の機能的ブロック図であり
、この装置は、デジタルカメラに適用されるような、プログラムされた並列コン
ピュータを取り入れている。

【図７】図７は、単一のデジタル画像チップの機能的ブロック図であり、このチップは
、走査線の画素よりもＰＥの方が少ない、単一の命令キャッシュ型ＳＩＭＤＰ
Ｅモジュールを備える。

【図８】図８は、単一のデジタル画像チップの機能的ブロック図であり、このチップは
、複数の命令キャッシュ型ＳＩＭＤＰＥモジュールを備え、これらのモジュー
ルの少なくともいくつかは、当該モジュールに割り当てられた走査線画像の数よ
りもＰＥ数が少ない。

【図９】図９は、デジタル画像システムの機能的ブロック図であり、このシステムでは
、例えば上位デジタルビデオカメラにおいて用いられるような、多重インスタン
ス（ｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅ）の命令キャッシュ型ＳＩＭＤチップ
を取り入れている。

【図１０】図１０は、走査線アレイプロセッサ画像データパイプラインの拡張の１つの実
施形態を示し、このパイプラインは、走査線当たりの画素数よりも少ない数のＰ
Ｅを含む。

【図１１】図１１は、走査線アレイプロセッサ画像データパイプラインの拡張の第２の実
施形態を示し、このパイプラインは、走査線当たりの画素数よりも少ない数のＰ
Ｅを含む。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 9/07 Ｃ５Ｃ０５３ 7/24 101:00 ５Ｃ０５９ 9/07 5/92 Ｈ５Ｃ０６５ // Ｈ０４Ｎ 101:00 7/13 Ｚ (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者ワレス，マリーアメリカ合衆国カリフォルニア 95018，フェルトン，ファーンアベニュー 1285 Ｆターム(参考） 5B013 DD01 5B045 AA01 BB04 DD12 GG14 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD00 CE00 CG00 CH04 5C022 AA12 AA13 AC03 AC54 AC79 AC80 5C052 GA02 GA04 GA07 GA08 GA09 GB06 GC05 GC07 GC10 GD03 GE06 5C053 FA08 FA09 FA14 FA21 FA27 FA29 GA11 GB06 GB07 GB19 GB26 GB32 GB36 GB37 HA22 HA29 HA33 JA21 KA01 KA08 KA21 KA24 LA02 LA11 LA15 5C059 MA00 MA23 MC11 ME02 NN01 SS15 UA31 5C065 AA01 AA03 BB14 BB40 BB48 CC02 CC03 CC10 DD02 DD15 FF02 FF03 GG18 GG29 GG32 GG49 HH01

Claims

【特許請求の範囲】

【請求項１】画像に対応する画像データを生成するためのセンサと、該画像データを処理するためのプロセッサであって、プロセッサエレメント（
ＰＥ）間ネットワークによって接続された複数のＰＥを含み、該取得画像の処理
をするように並列に作用するように構成された、該プロセッサと、該処理された取得画像を保持するためのメモリとを含むデジタルカメラ装置。
【請求項２】前記プロセッサはＮ画素走査線の画像画素データを処理する
ためのものであり、該プロセッサはＭ個のＰＥを含み、ここでＭ＜Ｎであり、該プロセッサは画素データバッファを含み、該画素データバッファを介して該
Ｎ個の画素が該ＰＥに提供され、該Ｍ個のＰＥは少なくとも部分的に並列に作用して該画素データバッファから
の該走査線の該Ｎ個の画素を処理し、該Ｍ個のＰＥの少なくともいくつかは該走査線の１つより多い画素に作用し、これにより、該Ｎ画素走査線を処理するために必要となる処理エレメントがＮ
個より少ない、請求項１に記載のデジタルカメラ装置。
【請求項３】前記プロセッサが、復号化された命令を出力するローカルコントローラと、ローカル命令同報通信ネットワークであって、該ローカル命令同報通信ネット
ワークを介して該復号化された命令が前記画素に並列に作用する前記ＰＥによる
実行のために該ＰＥに同報通信される、ローカル命令同報通信ネットワークとをさらに含む、請求項２に記載のデジタルカメラ装置。
【請求項４】前記プロセッサの各ＰＥは命令キャッシュを含み、そして該命令キャッシュは前記復号化された命令を受け取るように前記ローカル命令
同報通信ネットワークに結合される、請求項３に記載のデジタルカメラ装置。
【請求項５】前記画素データバッファがＮ個の段を含み、そして前記ＰＥのうちの少なくともいくつかの特定のＰＥは、前記走査線の１つより
多くの画素を受け取るように構成させるために該Ｎ個の段のうちの１つより多く
の段に結合され、該ＰＥのうちの該特定のＰＥが該走査線の１つより多くの画素
に作用する、請求項３に記載のデジタルカメラ装置。
【請求項６】前記プロセッサが、前記ＰＥのうちの少なくともいくつかに関連し、かつ前記画素データバッファ
に結合されたローカルバッファであって、特定のＰＥに対してそのＰＥによって
作用される前記走査線の１つより多くの画素を一時的に保持するためのローカル
バッファ、をさらに含む、請求項２に記載のデジタルカメラ装置。
【請求項７】画素データシフタはＭ個の段を含み、前記プロセッサは前記入力された画素データを再度配列づける該画素データシ
フタの前に付加される走査線配列回路を含み、該入力された画素データが、該画
素が該走査線中に位置するような配列以外の配列で該画素データシフタに与えら
れ、該画素データシフタの該Ｍ個の段の各々は、該再度配列づけられた画素データ
が該画素データシフタを介してシフトされる際に前記ＰＥの１つに１つの画素を
提供するように構成される、請求項２に記載のデジタルカメラ装置。
【請求項８】前記走査線配列回路は第１の走査線配列回路であり、そして前記プロセッサは、前記処理された画素データを再配列する前記画素データシ
フタに付加された第２の走査線配列回路をさらに含む、請求項７に記載のデジタ
ルカメラ装置。
【請求項９】前記第２の走査線配列回路は、前記走査線中の前記入力され
た画素データの元の配列に対応するように前記処理された画素データを再配列す
る、請求項８に記載のデジタルカメラ装置。
【請求項１０】Ｎ画素走査線の画像画素データを処理するためデジタル画
像プロセッサであり、該デジタル画像プロセッサは、複数（Ｍ個）のプロセッサエレメント（ＰＥ）、ここでＭ＜Ｎであり、と、画素データバッファであって、該画素データバッファを介して該画素が該ＰＥ
に提供される、画素バッファとを含み、該Ｍ個のＰＥは少なくとも部分的に並列に作用して該画素データバッファから
の該走査線の該画素を処理し、該ＰＥの少なくともいくつかは該走査線の１つより多い画素に作用し、これにより、該Ｎ画素走査線を処理するために必要となる処理エレメントがＮ
個より少ない、デジタル画像プロセッサ。
【請求項１１】復号化された命令を出力するローカルコントローラと、ローカル命令同報通信ネットワークであって、該ローカル命令同報通信ネット
ワークを介して該復号化された命令が前記画素に並列に作用する前記ＰＥによる
実行のために該ＰＥに同報通信される、ローカル命令同報通信ネットワークとをさらに含む、請求項１０に記載のデジタル画像プロセッサ。
【請求項１２】各ＰＥは命令キャッシュを含み、そして該命令キャッシュは前記復号化された命令を受け取るように前記ローカル命令
同報通信ネットワークに結合される、請求項１１に記載のデジタル画像プロセッ
サ。
【請求項１３】前記画素データバッファがＮ個の段を含み、そして前記ＰＥのうちの少なくともいくつかの特定のＰＥは、前記走査線の１つより
多くの画素を受け取るように構成させるために該Ｎ個の段のうちの１つより多く
の段に結合され、該ＰＥのうちの該特定のＰＥが該走査線の１つより多くの画素
に作用する、請求項１０に記載のデジタル画像プロセッサ。
【請求項１４】前記ＰＥのうちの少なくともいくつかに関連し、かつ前記
画素データバッファに結合されたローカルバッファであって、特定のＰＥに対し
てそのＰＥによって作用される前記走査線の１つより多くの画素を一時的に保持
するためのローカルバッファをさらに含む、請求項１３に記載のデジタル画像プ
ロセッサ。
【請求項１５】画素データシフタはＭ個の段を含み、前記デジタル画像プロセッサは前記入力された画素データを再度配列づける該
画素データシフタの前に付加される走査線配列回路をさらに含み、該入力された
画素データが、該画素が該走査線中に位置するような配列以外の配列で該画素デ
ータシフタに与えられ、該画素データシフタの該Ｍ個の段の各々は、該再度配列づけられた画素データ
が該画素データシフタを介してシフトされる際に前記ＰＥの１つに１つの画素を
提供するように構成される、請求項１０に記載のデジタル画像プロセッサ。
【請求項１６】前記走査線配列回路は第１の走査線配列回路であり、そし
て前記デジタル画像プロセッサは、前記処理された画素データを再配列する前記
画素データシフタに付加された第２の走査線配列回路をさらに含む、請求項１４
に記載のデジタル画像プロセッサ。
【請求項１７】前記第２の走査線配列回路は、前記走査線中の前記入力さ
れた画素データの元の配列に対応するように前記処理された画素データを再配列
する、請求項１６に記載のデジタル画像プロセッサ。