JP2003516700A - 並列データの処理及びシャッフリング - Google Patents
並列データの処理及びシャッフリングInfo
- Publication number
- JP2003516700A JP2003516700A JP2001544127A JP2001544127A JP2003516700A JP 2003516700 A JP2003516700 A JP 2003516700A JP 2001544127 A JP2001544127 A JP 2001544127A JP 2001544127 A JP2001544127 A JP 2001544127A JP 2003516700 A JP2003516700 A JP 2003516700A
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- parallel
- array
- tsmm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 84
- 230000015654 memory Effects 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 2
- 101000966782 Homo sapiens Lysophosphatidic acid receptor 1 Proteins 0.000 abstract description 11
- 102100040607 Lysophosphatidic acid receptor 1 Human genes 0.000 abstract description 11
- 238000012432 intermediate storage Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 101001038001 Homo sapiens Lysophosphatidic acid receptor 2 Proteins 0.000 description 2
- 102100040387 Lysophosphatidic acid receptor 2 Human genes 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101710190443 Acetyl-CoA carboxylase 1 Proteins 0.000 description 1
- 102100021334 Bcl-2-related protein A1 Human genes 0.000 description 1
- 101100434411 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ADH1 gene Proteins 0.000 description 1
- LUTSRLYCMSCGCS-BWOMAWGNSA-N [(3s,8r,9s,10r,13s)-10,13-dimethyl-17-oxo-1,2,3,4,7,8,9,11,12,16-decahydrocyclopenta[a]phenanthren-3-yl] acetate Chemical compound C([C@@H]12)C[C@]3(C)C(=O)CC=C3[C@@H]1CC=C1[C@]2(C)CC[C@H](OC(=O)C)C1 LUTSRLYCMSCGCS-BWOMAWGNSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 101150102866 adc1 gene Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 206010016531 fetishism Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
- G06F7/762—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data having at least two separately controlled rearrangement levels, e.g. multistage interconnection networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/76—Arrangements for rearranging, permuting or selecting data according to predetermined rules, independently of the content of the data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
(57)【要約】
本発明は、データの並列ストリームを得るために信号を処理するための並列処理要素（ＬＰＡ１．．．３２０）の配列を有する並列データ処理装置と、ブロックに関するデータの並列ストリームのシャッフリングのための手段（ＴＳＭＭ１．．．８０）を提供する。データシャッフリング手段（ＴＳＭＭ１．．．８０）は、予め定められた数の処理要素（ＬＰＡ１．．．３２０）に各々が接続されたアドレス可能なスイッチメモリマトリクス（ＴＳＭＭ１．．．８０）の配列を有する。スイッチメモリマトリクスの配列（ＴＳＭＭ１．．．８０）は、高度に並列の線形配列プロセッサのデータフロー制限と、画像処理アルゴリズムの中間蓄積要求を解決する。カメラシステムでは、並列データ処理装置は、センサ配列（Ｓ）と組み合わされる。
Description
【０００１】
本発明は、データの並列ストリームを得るために、処理要素の配列内で信号が
処理される、装置、方法及びカメラシステムに関連する。
処理される、装置、方法及びカメラシステムに関連する。
【０００２】
スエーデンのＬｉｎｋｏｐｉｎｇ、Ｔｅｋｎｉｋｒｉｎｇｅｎ２Ｃ、ＳＥ−５
８３３０のＩＶＰインテグレーテッドビジョンプロダクツＡＢの、ＭＡＰＰ２２
００製品情報は、同じ半導体チップ上のセンサと汎用画像プロセッサの組合せを
開示する。これは、２５６ｘ２５６センサの全マトリクスを有する２次元スマー
トビジョンセンサと２５６のプロセッサユニットである。組み込みプロセッサ配
列は、全てのローの画素を並列に扱う。Ａ／Ｄ変換は、全体の画像ラインのグレ
ーレベルに関して並列に行われる。画像のロー内の全画素又はアドレスされたレ
ジスタは同時に処理される。並列動作は、画像レジスタでビットに関して行われ
る。計算の結果は、アキュムレータに蓄積され又は、命令が算術命令ならば、キ
ャリーレジスタにも蓄積される。これらのレジスタの内容は、メモリレジスタに
移動され、次の命令の第２のオペランドとして働き、又は、状態レジスタを経由
してコントローラからアクセスされる。従来技術のセンサは物体認識に使用され
、そして、ビデオ通信には適していない。従来技術のセンサは、ビデオ通信に対
して望ましい、カラー画像に対するセンサの並列実行を開示していない。
８３３０のＩＶＰインテグレーテッドビジョンプロダクツＡＢの、ＭＡＰＰ２２
００製品情報は、同じ半導体チップ上のセンサと汎用画像プロセッサの組合せを
開示する。これは、２５６ｘ２５６センサの全マトリクスを有する２次元スマー
トビジョンセンサと２５６のプロセッサユニットである。組み込みプロセッサ配
列は、全てのローの画素を並列に扱う。Ａ／Ｄ変換は、全体の画像ラインのグレ
ーレベルに関して並列に行われる。画像のロー内の全画素又はアドレスされたレ
ジスタは同時に処理される。並列動作は、画像レジスタでビットに関して行われ
る。計算の結果は、アキュムレータに蓄積され又は、命令が算術命令ならば、キ
ャリーレジスタにも蓄積される。これらのレジスタの内容は、メモリレジスタに
移動され、次の命令の第２のオペランドとして働き、又は、状態レジスタを経由
してコントローラからアクセスされる。従来技術のセンサは物体認識に使用され
、そして、ビデオ通信には適していない。従来技術のセンサは、ビデオ通信に対
して望ましい、カラー画像に対するセンサの並列実行を開示していない。
【０００３】
本発明の目的は、並列データ処理の柔軟性を向上することである。この目的の
ために、本発明の独立請求項に記載された装置、カメラシステム、及び、方法を
提供する。優位な実施例は、従属請求項に記載されている。
ために、本発明の独立請求項に記載された装置、カメラシステム、及び、方法を
提供する。優位な実施例は、従属請求項に記載されている。
【０００４】
本発明の第１の実施例は、装置は更に、ブロックに関して、データの並列スト
リームをシャッフリングする手段を有することを特徴とする。
リームをシャッフリングする手段を有することを特徴とする。
【０００５】
高度な並列処理では、特にデータフローに関する柔軟性は、大きく制限される
。本発明は、並列データ処理と組合せて、ビデオ処理装置で広く使用されている
ような、ブロックレベル計算を提供する。
。本発明は、並列データ処理と組合せて、ビデオ処理装置で広く使用されている
ような、ブロックレベル計算を提供する。
【０００６】
実際の実施例では、データシャッフリング手段は、予め定められた数の処理要
素に各々が接続されたアドレス可能なスイッチメモリマトリクスの配列を有する
。スイッチメモリマトリスクは、ブロックに関してデータをシャッフルすること
ができる。スイッチメモリは並列に配置されているので、制御は非常に効率がよ
い。
素に各々が接続されたアドレス可能なスイッチメモリマトリクスの配列を有する
。スイッチメモリマトリスクは、ブロックに関してデータをシャッフルすること
ができる。スイッチメモリは並列に配置されているので、制御は非常に効率がよ
い。
【０００７】
本発明は、更に、本発明に従ったセンサと装置を有するカメラシステムを提供
する。カメラシステムは、好ましくは、ビデオ通信に適用される。今日では、ビ
デオ通信アプリケーションは、例えば、合理的な量のブロックレベル計算を必要
とする。本発明は、例えば、ブロックレベル計算を可能とするために、高度な並
列構造の拡張を提供する。
する。カメラシステムは、好ましくは、ビデオ通信に適用される。今日では、ビ
デオ通信アプリケーションは、例えば、合理的な量のブロックレベル計算を必要
とする。本発明は、例えば、ブロックレベル計算を可能とするために、高度な並
列構造の拡張を提供する。
【０００８】
本発明の前述の及び他の特徴は、以下に説明する実施例を参照して説明されそ
して明らかとなろう。
して明らかとなろう。
【０００９】
図面は、本発明の理解に必要な要素のみを示す。
【００１０】
図１は、本発明の好適な実施例即ち、本発明に従った高度な並列処理構造とデ
ータシャッフリング手段を有するカメラシステムを示す。カメラシステムは、並
列のアナログ／ディジタル変換器（ＡＤＣ１．．．３２０）を有する、画像セン
サ配列Ｓを有する。ＡＤＣは線形処理配列（ＬＰＡ１．．．３２０）とラインメ
モリ（ＬＭ）に接続されている。カメラシステムの種々の部分は、セントラルプ
ロセッシングユニット（ＣＰＵ）により制御される。カメラシステムは、固体Ｃ
ＭＯＳセンサとディジタル信号処理（ＤＳＰ）が単一のＩＣチップに集積された
ＣＭＯＳ画像器を使用するのが好ましい。
ータシャッフリング手段を有するカメラシステムを示す。カメラシステムは、並
列のアナログ／ディジタル変換器（ＡＤＣ１．．．３２０）を有する、画像セン
サ配列Ｓを有する。ＡＤＣは線形処理配列（ＬＰＡ１．．．３２０）とラインメ
モリ（ＬＭ）に接続されている。カメラシステムの種々の部分は、セントラルプ
ロセッシングユニット（ＣＰＵ）により制御される。カメラシステムは、固体Ｃ
ＭＯＳセンサとディジタル信号処理（ＤＳＰ）が単一のＩＣチップに集積された
ＣＭＯＳ画像器を使用するのが好ましい。
【００１１】
データシャッフリング手段なしで、図１の実施例は、既に、欠陥画素代理、自
動白調整、自動露出制御のような、画素レベルの画像処理とフィルタリングを実
行することができる。
動白調整、自動露出制御のような、画素レベルの画像処理とフィルタリングを実
行することができる。
【００１２】
しかし、高レベルの並列化により、ＤＣＴやジグザグスキャンのような更に複
雑なブロックレベルアルゴリズムを実行する柔軟性が少なくなるという結果にな
る。従って、本発明は、高度な並列構造の拡張を提供し、信号処理装置が、分離
可能な再帰的離散コサイン変換（ＤＣＴ）、クロミナンスサブサンプリング及び
、ジグザグ（ＺＺ）スキャンを含むブロックレベルの動作を効率的に実行するこ
とを可能とする。この点に関して、カメラシステムは、ブロックに関してデータ
をシャッフリングする手段で改善される。データシャッフリング手段（ＴＳＭＭ
１．．．８０）は、ＬＰＡとラインメモリＬＭに接続されている。実際の実施例
では、これらのデータシャッフリング手段は、入れ換えスイッチメモリマトリク
ス（ＴＳＭＭ）を有する。ＴＳＭＭは、元の構造に対して追加のブロックレベル
メモリユニットである。ＴＳＭＭは、処理要素とラインメモリＬＭ間のデータフ
ローを改善するために設計される。それらは、追加の機能を有するラインメモリ
ＬＭの拡張と考えることができる。ＴＳＭＭは、処理要素を共に結び付けそして
、それらの間の蓄積と通信を可能とする。更なる実施例では、ＴＳＭＭは隣接す
るＴＳＭＭと結びつき、隣接するＴＳＭＭへのデータの転送を可能とする。他の
優位点は、ＴＳＭＭはデータを入れ換え且つ４つのプロセッサの出力にアクセス
することを、即ちブロックに関するランダムアドレッシングを可能とする。ＴＳ
ＭＭは各々が４つのプロセッサ要素と結合され、この実施例のＴＳＭＭの全数は
８０である。
雑なブロックレベルアルゴリズムを実行する柔軟性が少なくなるという結果にな
る。従って、本発明は、高度な並列構造の拡張を提供し、信号処理装置が、分離
可能な再帰的離散コサイン変換（ＤＣＴ）、クロミナンスサブサンプリング及び
、ジグザグ（ＺＺ）スキャンを含むブロックレベルの動作を効率的に実行するこ
とを可能とする。この点に関して、カメラシステムは、ブロックに関してデータ
をシャッフリングする手段で改善される。データシャッフリング手段（ＴＳＭＭ
１．．．８０）は、ＬＰＡとラインメモリＬＭに接続されている。実際の実施例
では、これらのデータシャッフリング手段は、入れ換えスイッチメモリマトリク
ス（ＴＳＭＭ）を有する。ＴＳＭＭは、元の構造に対して追加のブロックレベル
メモリユニットである。ＴＳＭＭは、処理要素とラインメモリＬＭ間のデータフ
ローを改善するために設計される。それらは、追加の機能を有するラインメモリ
ＬＭの拡張と考えることができる。ＴＳＭＭは、処理要素を共に結び付けそして
、それらの間の蓄積と通信を可能とする。更なる実施例では、ＴＳＭＭは隣接す
るＴＳＭＭと結びつき、隣接するＴＳＭＭへのデータの転送を可能とする。他の
優位点は、ＴＳＭＭはデータを入れ換え且つ４つのプロセッサの出力にアクセス
することを、即ちブロックに関するランダムアドレッシングを可能とする。ＴＳ
ＭＭは各々が４つのプロセッサ要素と結合され、この実施例のＴＳＭＭの全数は
８０である。
【００１３】
大規模な並列構造のために、高い計算性能が達成されるだけでなく、好ましい
電力消費も達成される。オンチップメモリのデータ帯域幅は、チック外メモリの
ようにＩ／Ｏピンの数により制限されない。データ帯域幅制限は、アクセス待ち
時間の要求又はクロストークからの結果であるがしかし、これらの問題は、メモ
リユニットのクロック要求を減少させることにより緩和される。これは、十分な
並列化と適切な構造設計によりなされる。十分に低いクロックレートで、動作電
圧は、更なる電力の節約を達成するために低下される。電力消費の主な減少は、
データがラインメモリＬＭから並列に得られるという原理から生じる。メモリア
クセスは、シーケンシャルプロセッサ内の電力の大きな部分を消費する。シーケ
ンシャルプロセッサでは、アルゴリズムを実行するために、画素当りに、メモリ
への特定の数のアクセスを必要とする。第１にＬＰＡ内では、１回の単一の読出
し／書込み動作で全ての値を利用して複数の計算がなされるので、画素当りのア
クセス数が単純に減少される。第２に、ラインメモリＬＭは、画素メモリへのア
クセスに匹敵するよりも３倍更に電力効率がよい。電力効率の一部は、更に、Ａ
ＤＣとＬＰＡの並列実行から由来する。計算が順次又は並列して行われるか否か
は計算的な電力に関しては問題ではないが、電力は、コントロールでコーディン
グと命令フェチのような低速の共有された項目により、かなり減少される。
電力消費も達成される。オンチップメモリのデータ帯域幅は、チック外メモリの
ようにＩ／Ｏピンの数により制限されない。データ帯域幅制限は、アクセス待ち
時間の要求又はクロストークからの結果であるがしかし、これらの問題は、メモ
リユニットのクロック要求を減少させることにより緩和される。これは、十分な
並列化と適切な構造設計によりなされる。十分に低いクロックレートで、動作電
圧は、更なる電力の節約を達成するために低下される。電力消費の主な減少は、
データがラインメモリＬＭから並列に得られるという原理から生じる。メモリア
クセスは、シーケンシャルプロセッサ内の電力の大きな部分を消費する。シーケ
ンシャルプロセッサでは、アルゴリズムを実行するために、画素当りに、メモリ
への特定の数のアクセスを必要とする。第１にＬＰＡ内では、１回の単一の読出
し／書込み動作で全ての値を利用して複数の計算がなされるので、画素当りのア
クセス数が単純に減少される。第２に、ラインメモリＬＭは、画素メモリへのア
クセスに匹敵するよりも３倍更に電力効率がよい。電力効率の一部は、更に、Ａ
ＤＣとＬＰＡの並列実行から由来する。計算が順次又は並列して行われるか否か
は計算的な電力に関しては問題ではないが、電力は、コントロールでコーディン
グと命令フェチのような低速の共有された項目により、かなり減少される。
【００１４】
カメラシステムは、電子的静止画（ＥＳＰ／ＤＳＣ）、ディジタルビデオカム
コーダ、デスクトップビデオカメラ、ビデオ電話、監視等に適用可能である。こ
れらの製品は、全て低コストと高レベルの集積化を特徴とする。幾つかのアプリ
ケーションは、低エネルギー消費も要求する。実施例は、アナログ／ディジタル
変換（ＡＤＣ）、画像改善及び変換と、白バランス及び露光時間制御のような多
くの制御機能のような、典型的な信号処理タスクを扱う。
コーダ、デスクトップビデオカメラ、ビデオ電話、監視等に適用可能である。こ
れらの製品は、全て低コストと高レベルの集積化を特徴とする。幾つかのアプリ
ケーションは、低エネルギー消費も要求する。実施例は、アナログ／ディジタル
変換（ＡＤＣ）、画像改善及び変換と、白バランス及び露光時間制御のような多
くの制御機能のような、典型的な信号処理タスクを扱う。
【００１５】
実際に、ラインベースのアルゴリズムに関するＣＰＵと画素ベースのアルゴリ
ズムに関する線形プロセッサ配列（ＬＰＡ１．．．３２０）の、２つのプログラ
ム可能なディジタルプロセッサがある。両プロセッサは、プログラムメモリ（Ｐ
Ｍ）から命令を得る。プログラム可能でないプロセッサとコントローラは、ロー
とコラムのアドレス選択器、ＡＤＣコントローラ、及び、Ｉ２Ｃコントローラプ
ロセッサ及びシリアルプロセッサ（ＳＰ）を提供するのに使用される。これらの
プロセッサは、ＣＰＵから、サブサンプリング、対象の領域の選択、ミラー化、
ゲイン、黒レベル、ガンマ及び、ビデオ出力フォーマットに対する、パラメータ
を受け取ってもよい。シリアルプロセッサは、コラム選択器（ＣＳ）を介してラ
インメモリＬＭに接続されている。
ズムに関する線形プロセッサ配列（ＬＰＡ１．．．３２０）の、２つのプログラ
ム可能なディジタルプロセッサがある。両プロセッサは、プログラムメモリ（Ｐ
Ｍ）から命令を得る。プログラム可能でないプロセッサとコントローラは、ロー
とコラムのアドレス選択器、ＡＤＣコントローラ、及び、Ｉ２Ｃコントローラプ
ロセッサ及びシリアルプロセッサ（ＳＰ）を提供するのに使用される。これらの
プロセッサは、ＣＰＵから、サブサンプリング、対象の領域の選択、ミラー化、
ゲイン、黒レベル、ガンマ及び、ビデオ出力フォーマットに対する、パラメータ
を受け取ってもよい。シリアルプロセッサは、コラム選択器（ＣＳ）を介してラ
インメモリＬＭに接続されている。
【００１６】
画像センサＳは、アクティブ画素のＶＧＡ（６４０ｘ４８０）のマトリクスで
もよい。キャパシタに特定の電圧を与えることにより画素がリセットされた後に
、入力光はこの電荷の減少を開始する。特定の露光時間に続いて、照明又は”画
素値”を反映する、キャパシタの残りの電圧が読み出される。露光時間は、画素
のリセットと読出し時間の間の遅延により制御される。センサは、ランダムにア
ドレス可能な画像のローを伴なう大きなアナログメモリとしみなすことができる
。これは、全体のロー（即ち、６４０）内の全画素は同時に読み出されるが、対
象の領域（ＲＯＩ）のランダムな選択はさらに可能であることを意味する。
もよい。キャパシタに特定の電圧を与えることにより画素がリセットされた後に
、入力光はこの電荷の減少を開始する。特定の露光時間に続いて、照明又は”画
素値”を反映する、キャパシタの残りの電圧が読み出される。露光時間は、画素
のリセットと読出し時間の間の遅延により制御される。センサは、ランダムにア
ドレス可能な画像のローを伴なう大きなアナログメモリとしみなすことができる
。これは、全体のロー（即ち、６４０）内の全画素は同時に読み出されるが、対
象の領域（ＲＯＩ）のランダムな選択はさらに可能であることを意味する。
【００１７】
画素は、図２に示すように、光学的な色フィルタ配列と重ねられる。このフィ
ルタは、各個々の画素に、赤色（Ｒ）、緑色（Ｇ）又は、青色（Ｂ）の感度を割
り当てる。フィルタ内の１つのローは、２つの交番する異なる色を含む。クロッ
クサイクルで１つの色のみが処理されるので、処理要素ごとに異なる色に対応す
る、２つのコラムを共有するのは有利である。従って、並列プロセッサ配列ＬＰ
Ａは、３２０の好ましくは同一の処理要素、即ち２つのコラム毎に１つの処理要
素よりなる。異なる色に対応する、コラムを共有する方法は、与えられるカラー
フィルタに依存する。例えば、カラーフィルタが、ローの中に３つの異なる色を
提供する場合には、３つのコラムは処理要素当りに共有される。
ルタは、各個々の画素に、赤色（Ｒ）、緑色（Ｇ）又は、青色（Ｂ）の感度を割
り当てる。フィルタ内の１つのローは、２つの交番する異なる色を含む。クロッ
クサイクルで１つの色のみが処理されるので、処理要素ごとに異なる色に対応す
る、２つのコラムを共有するのは有利である。従って、並列プロセッサ配列ＬＰ
Ａは、３２０の好ましくは同一の処理要素、即ち２つのコラム毎に１つの処理要
素よりなる。異なる色に対応する、コラムを共有する方法は、与えられるカラー
フィルタに依存する。例えば、カラーフィルタが、ローの中に３つの異なる色を
提供する場合には、３つのコラムは処理要素当りに共有される。
【００１８】
ＣＭＯＳセンサはローに基づいて読み出されるので、並列ＡＤＣが好ましい。
全てのコラムは同時に変換される。低サンプリングレートのために、共通の部分
は全てのＡＤＣで共有されそして、固定のオフセットのみが許され、並列ＡＤＣ
はビデオ速度のＡＤＣと比較して非常に電力効率良く設計できる。ＡＤＣでは、
各コラムは、出力値が蓄積される１組のラッチをイネーブルする、比較器を有す
る。各比較器の入力は、ディジタル化されるべき信号に接続されている。他の比
較器入力に、グローバルランプ発生器からランプ信号が与えられているときに、
入力信号は、安定のまま残る。ランプ信号が、入力値に達するときには、比較器
は切り替わり、そして、そのときにラッチに与えられているディジタル値を蓄積
する。ラッチを、ランプ発生器に同期している、グローバルカウンタに接続する
ことにより、切換時間はディジタル値に（そして、アナログ入力値）マップされ
、そして、ラッチ内に蓄積される。並列ＡＤＣの不利な点は、パラメータの幅は
、等しい強度のコラムの間の応答に差を発生することである。これは、画像信号
内に、コラムに基づく”固定パターンのノイズ”（ＦＰＮ）として示される。こ
のコラムＦＰＮは、初期化プログラムにより推定され、そして、通常の動作モー
ドでの相殺に対して、ラインメモリの１つの中に蓄積される。画素レベルのＦＰ
Ｎは、アナログ減算がＡＤＣ内で集積される２重サンプリングの既知の方法で補
正される。カラーフィルタ配列により、２つのコラムは１つのＡＤＣ要素を共有
できる。このように、アナログ多重が起こりる。ディジタル多重が望ましい場合
には、コラム当りに１つのＡＤＣが必要である。
全てのコラムは同時に変換される。低サンプリングレートのために、共通の部分
は全てのＡＤＣで共有されそして、固定のオフセットのみが許され、並列ＡＤＣ
はビデオ速度のＡＤＣと比較して非常に電力効率良く設計できる。ＡＤＣでは、
各コラムは、出力値が蓄積される１組のラッチをイネーブルする、比較器を有す
る。各比較器の入力は、ディジタル化されるべき信号に接続されている。他の比
較器入力に、グローバルランプ発生器からランプ信号が与えられているときに、
入力信号は、安定のまま残る。ランプ信号が、入力値に達するときには、比較器
は切り替わり、そして、そのときにラッチに与えられているディジタル値を蓄積
する。ラッチを、ランプ発生器に同期している、グローバルカウンタに接続する
ことにより、切換時間はディジタル値に（そして、アナログ入力値）マップされ
、そして、ラッチ内に蓄積される。並列ＡＤＣの不利な点は、パラメータの幅は
、等しい強度のコラムの間の応答に差を発生することである。これは、画像信号
内に、コラムに基づく”固定パターンのノイズ”（ＦＰＮ）として示される。こ
のコラムＦＰＮは、初期化プログラムにより推定され、そして、通常の動作モー
ドでの相殺に対して、ラインメモリの１つの中に蓄積される。画素レベルのＦＰ
Ｎは、アナログ減算がＡＤＣ内で集積される２重サンプリングの既知の方法で補
正される。カラーフィルタ配列により、２つのコラムは１つのＡＤＣ要素を共有
できる。このように、アナログ多重が起こりる。ディジタル多重が望ましい場合
には、コラム当りに１つのＡＤＣが必要である。
【００１９】
図３は、プロセッサ配列ＬＰＡ１．．．３２０の実際の実行を示す。左と右の
通信チャネルＣＯＭＭとマルチプレクサＭＵＸ１．．３２０により、各処理要素
は、６つのコラムからデータを直接的に得ることができる。ラインメモリＬＭ又
は所定のＴＳＭＭから読み出されたデータは、対応する処理要素又は、左又は右
の処理要素に送られ、処理要素ＬＰＡ１．．．３２０間の制限された通信を提供
する。１ワードのデータは、所定のクロックサイクルで隣接する処理要素にシフ
トされる。全ての処理要素は、それらの局部データに関して同一の命令を実行す
る。単一命令複数データ（ＳＩＭＤ）の原理に従って、制御及びアドレスデコー
ディングが１回のみ行われそして、全ての処理要素により共有されるので、再び
、電力消費はシーケンシャルコラムプロセッサと比較して減少される。各プロセ
ッサは、次の命令のオペランドとして使用され得る、最新の結果を蓄積するアキ
ュムレータＡＣＣ１．．．３２０を有する。加算器と乗算器の両方は、ＡＬＵ１
．．．３２０内で実行され、そして、これらの機能により、比較、加算、減算、
データの重み付け及び、乗算−累積が行われる。プロセッサは、最新の結果に従
って設定されたフラグＦを統合する。このフラグＦに基づいて、条件付通過命令
が可能であり、アルゴリズムにデータ依存性の制限された形式を可能とする。全
ての３２０のフラグＦ１．．．３２０は、ＣＰＵに接続されたグローバルライン
ＥＶＴに接続される。このように、特定の終了条件を伴なう繰返し処理を並列プ
ロセッサ配列ＬＰＡで実行でき又は、ＣＰＵは画像内容に反応できる。従って、
ＣＰＵは制御信号ＩＮＳＴＲを供給する。結果のデータは、点Ｐ１．．．Ｐ４で
利用可能となる。ラインメモリＬＭからの又はこれらの点Ｐ１．．．Ｐ４に接続
されたＴＳＭＭからのデータは、それぞれの処理要素ＬＰＡ１．．．３２０内で
使用されても良い。
通信チャネルＣＯＭＭとマルチプレクサＭＵＸ１．．３２０により、各処理要素
は、６つのコラムからデータを直接的に得ることができる。ラインメモリＬＭ又
は所定のＴＳＭＭから読み出されたデータは、対応する処理要素又は、左又は右
の処理要素に送られ、処理要素ＬＰＡ１．．．３２０間の制限された通信を提供
する。１ワードのデータは、所定のクロックサイクルで隣接する処理要素にシフ
トされる。全ての処理要素は、それらの局部データに関して同一の命令を実行す
る。単一命令複数データ（ＳＩＭＤ）の原理に従って、制御及びアドレスデコー
ディングが１回のみ行われそして、全ての処理要素により共有されるので、再び
、電力消費はシーケンシャルコラムプロセッサと比較して減少される。各プロセ
ッサは、次の命令のオペランドとして使用され得る、最新の結果を蓄積するアキ
ュムレータＡＣＣ１．．．３２０を有する。加算器と乗算器の両方は、ＡＬＵ１
．．．３２０内で実行され、そして、これらの機能により、比較、加算、減算、
データの重み付け及び、乗算−累積が行われる。プロセッサは、最新の結果に従
って設定されたフラグＦを統合する。このフラグＦに基づいて、条件付通過命令
が可能であり、アルゴリズムにデータ依存性の制限された形式を可能とする。全
ての３２０のフラグＦ１．．．３２０は、ＣＰＵに接続されたグローバルライン
ＥＶＴに接続される。このように、特定の終了条件を伴なう繰返し処理を並列プ
ロセッサ配列ＬＰＡで実行でき又は、ＣＰＵは画像内容に反応できる。従って、
ＣＰＵは制御信号ＩＮＳＴＲを供給する。結果のデータは、点Ｐ１．．．Ｐ４で
利用可能となる。ラインメモリＬＭからの又はこれらの点Ｐ１．．．Ｐ４に接続
されたＴＳＭＭからのデータは、それぞれの処理要素ＬＰＡ１．．．３２０内で
使用されても良い。
【００２０】
オペランドとして、アキュムレータＡＣＣ、メモリＬＭの内容又は、グローバ
ル重みＷＧＨＴを使用しても良い。全てのプロセッサＬＰＡ１．．．３２０に等
しい重みＷＧＨＴは、乗算及び乗算−累積命令内でデータをスケーリングするの
に使用される。重みＷＧＨＴは、ＣＰＵにより提供される。
ル重みＷＧＨＴを使用しても良い。全てのプロセッサＬＰＡ１．．．３２０に等
しい重みＷＧＨＴは、乗算及び乗算−累積命令内でデータをスケーリングするの
に使用される。重みＷＧＨＴは、ＣＰＵにより提供される。
【００２１】
並列プロセッサＬＰＡが使用されうるタスクは、固定パターンノイズ低減、欠
陥画素のコンシールメント、ノイズ低減、サブサンプリングの目的のためのプリ
フィルタリングを含む、色の再構成及び色領域変換を含む。
陥画素のコンシールメント、ノイズ低減、サブサンプリングの目的のためのプリ
フィルタリングを含む、色の再構成及び色領域変換を含む。
【００２２】
ラインメモリＬＭの２重ポート原理を使用することにより、１つの命令サイク
ル内で、オペランドはメモリから読み出されそして、結果が所望の位置に書き戻
される。実際の実施例では、ラインメモリ（ＬＭ）は一時的なデータ蓄積のため
に１６ラインメモリを有する。更に、追加の３ラインが計算の最終結果を一列に
並べるための書込み専用メモリとして使用される。
ル内で、オペランドはメモリから読み出されそして、結果が所望の位置に書き戻
される。実際の実施例では、ラインメモリ（ＬＭ）は一時的なデータ蓄積のため
に１６ラインメモリを有する。更に、追加の３ラインが計算の最終結果を一列に
並べるための書込み専用メモリとして使用される。
【００２３】
ＣＰＵは全体のチップを受け持っている。その主なタスクは、プログラムカウ
ンタを保持し、命令をフェッチしてデコードし、そして、それらをＬＰＡへ送る
。その上に、露光時間制御や、白バランス等のグローバル計算を行うことができ
る。ＣＰＵは、内部レジスタ内で、（シリアルプロセッサＳＰにより）更新され
る、統計的な画像データを使用する。乗算を含む、幾つかの論理及び算術命令を
利用できる。プログラム制御に関しては、ＣＰＵは、プログラム内の（条件付き
）ジャンプを扱い、そして、従って、幾つかの（プログラム）カウンタを有する
。更に加えて、ＣＰＵは並列プロセッサＬＰＡにより発生されたイベントに反応
でき、そして、異なるサブルーチンへジャンプできる。ＣＰＵの特定のレジスタ
は、Ｉ２Ｃを通してアクセス可能であり、そして、従って、エンドユーザとの間
で通信する方法を与える。例えば、対象の領域を、ＣＰＵに対して規定すること
ができ、そして、選択されたローとコラムを処理のためにアドレスする。プログ
ラムメモリＰＭは、ＣＰＵに対する命令を保持する。このメモリＰＭは並列プロ
セッサＬＰＡへの命令も保持することに注意する。命令はデコードされ、そして
、ＬＰＡ又はＣＰＵが呼び出される。このシーケンシャル命令フェッチは、１つ
のプログラムから２つのプロセッサの結合をプログラムするのを容易にする。
ンタを保持し、命令をフェッチしてデコードし、そして、それらをＬＰＡへ送る
。その上に、露光時間制御や、白バランス等のグローバル計算を行うことができ
る。ＣＰＵは、内部レジスタ内で、（シリアルプロセッサＳＰにより）更新され
る、統計的な画像データを使用する。乗算を含む、幾つかの論理及び算術命令を
利用できる。プログラム制御に関しては、ＣＰＵは、プログラム内の（条件付き
）ジャンプを扱い、そして、従って、幾つかの（プログラム）カウンタを有する
。更に加えて、ＣＰＵは並列プロセッサＬＰＡにより発生されたイベントに反応
でき、そして、異なるサブルーチンへジャンプできる。ＣＰＵの特定のレジスタ
は、Ｉ２Ｃを通してアクセス可能であり、そして、従って、エンドユーザとの間
で通信する方法を与える。例えば、対象の領域を、ＣＰＵに対して規定すること
ができ、そして、選択されたローとコラムを処理のためにアドレスする。プログ
ラムメモリＰＭは、ＣＰＵに対する命令を保持する。このメモリＰＭは並列プロ
セッサＬＰＡへの命令も保持することに注意する。命令はデコードされ、そして
、ＬＰＡ又はＣＰＵが呼び出される。このシーケンシャル命令フェッチは、１つ
のプログラムから２つのプロセッサの結合をプログラムするのを容易にする。
【００２４】
好ましくは、ＴＳＭＭは、レジスタのマトリクスの上に重ねられた半−接続さ
れたクロスバースイッチよりなる。ＴＳＭＭの提案された構造を図４に示す。矩
形のＭＲは、メモリマトリクス内のレジスタを表す。ＴＳＭＭは更に、円で示さ
れた制御可能なスイッチＴを有する。塗りつぶされた円は、スイッチが閉じてお
り且つ導通していることを示す。塗りつぶされていない円は、スイッチが開いて
おり且つ導通していないことを示す。ＴＳＭＭは、ラインメモリと独立に、全体
的に、アドレスされ且つアクセスされる。図では、４ｘ４レジスタのマトリクス
が例として与えられている。処理要素がセンサ配列の２つのコラムに接続されて
いるので、ＴＳＭＭは効率的にセンサ配列の８コラムに接続されている。この実
施例では、１つのＴＳＭＭは８ｘ４画素のブロックを処理するように効果的に配
置される。実際の実施例では、４つは水平方向（ｒ１．．．ｒ４）で、４つは垂
直方向（ｃ１．．ｃ４）の８つのバスは、１６ビット幅である。バスは、処理要
素ＬＰＡ、ラインメモリＬＭ、隣接ＴＳＭＭ、マトリクスのレジスタＭＲと接続
されている。更にスイッチＴは、接続されたユニット間のデータフローを制御す
るために、水平（ｒ１．．．ｒ４）と垂直（ｃ１．．ｃ４）のバスの交差点に配
置される。スイッチは各交差点に配置されうるが、図４に示されるように、交差
点に配置された７つのスイッチの数が、本実施例では好適である。更に加えて、
各レジスタＭＲは、２つのスイッチＴによりゲートされた、対応する水平（ｒ１
．．．ｒ４）と垂直（ｃ１．．ｃ４）のバスに接続されている。データは、水平
と垂直のバスの何れかを通して、レジスタＭＲへ又はレジスタＭＲから流れるこ
とができる。
れたクロスバースイッチよりなる。ＴＳＭＭの提案された構造を図４に示す。矩
形のＭＲは、メモリマトリクス内のレジスタを表す。ＴＳＭＭは更に、円で示さ
れた制御可能なスイッチＴを有する。塗りつぶされた円は、スイッチが閉じてお
り且つ導通していることを示す。塗りつぶされていない円は、スイッチが開いて
おり且つ導通していないことを示す。ＴＳＭＭは、ラインメモリと独立に、全体
的に、アドレスされ且つアクセスされる。図では、４ｘ４レジスタのマトリクス
が例として与えられている。処理要素がセンサ配列の２つのコラムに接続されて
いるので、ＴＳＭＭは効率的にセンサ配列の８コラムに接続されている。この実
施例では、１つのＴＳＭＭは８ｘ４画素のブロックを処理するように効果的に配
置される。実際の実施例では、４つは水平方向（ｒ１．．．ｒ４）で、４つは垂
直方向（ｃ１．．ｃ４）の８つのバスは、１６ビット幅である。バスは、処理要
素ＬＰＡ、ラインメモリＬＭ、隣接ＴＳＭＭ、マトリクスのレジスタＭＲと接続
されている。更にスイッチＴは、接続されたユニット間のデータフローを制御す
るために、水平（ｒ１．．．ｒ４）と垂直（ｃ１．．ｃ４）のバスの交差点に配
置される。スイッチは各交差点に配置されうるが、図４に示されるように、交差
点に配置された７つのスイッチの数が、本実施例では好適である。更に加えて、
各レジスタＭＲは、２つのスイッチＴによりゲートされた、対応する水平（ｒ１
．．．ｒ４）と垂直（ｃ１．．ｃ４）のバスに接続されている。データは、水平
と垂直のバスの何れかを通して、レジスタＭＲへ又はレジスタＭＲから流れるこ
とができる。
【００２５】
レジスタマトリクスは、４つのレジスタＭＲの４つのコラム（ｃ１．．．ｃ４
）として翻訳されることができ、各コラムは特定の処理要素ＬＰＡ１．．．３２
０に対応する。処理要素は、ＴＳＭＭ内の他のコラムへのアクセスが制限されて
いる。本発明に従った実施例は、以下の、ラインメモリアクセス、レジスタアク
セス、入れ換え読み出し／書込み、処理要素選択的読出し／書込み、長手ブロッ
ク転送の、データフロー構成を提供する。これらの構成は以下で説明する。
）として翻訳されることができ、各コラムは特定の処理要素ＬＰＡ１．．．３２
０に対応する。処理要素は、ＴＳＭＭ内の他のコラムへのアクセスが制限されて
いる。本発明に従った実施例は、以下の、ラインメモリアクセス、レジスタアク
セス、入れ換え読み出し／書込み、処理要素選択的読出し／書込み、長手ブロッ
ク転送の、データフロー構成を提供する。これらの構成は以下で説明する。
【００２６】
図５は、データパススルーモードを示す。スイッチＴはＰ１．．Ｐ４で閉じら
れ、この結果、ラインメモリへの直接データパスとなる。ＴＳＭＭはプロセッサ
ＬＰＡとラインメモリＭＥＭで双方向である。レジスタに接続された全てのスイ
ッチは開放されているので、レジスタＭＲ内に蓄積されたデータはない。
れ、この結果、ラインメモリへの直接データパスとなる。ＴＳＭＭはプロセッサ
ＬＰＡとラインメモリＭＥＭで双方向である。レジスタに接続された全てのスイ
ッチは開放されているので、レジスタＭＲ内に蓄積されたデータはない。
【００２７】
図６は、レジスタアクセスモードを示す。このモードでは、ＴＳＭＭは一時的
なストレージとして使用される。データはメモリレジスタから読み出され且つメ
モリレジスタへ書込まれることができる。図５に示すように、スイッチＰ１．．
．Ｐ４は、閉じられている。さらに、それぞれのコラムに接続された、第３のロ
ーのレジスタのスイッチＴも閉じられている。このように、第３のレジスタのロ
ー内でワードのように、全体のローが読み出され又は書込まれる。４つのコラム
は相互に排他的である。ＴＳＭＭ内のコラムは、対応する処理要素に関連し且つ
、対応する処理要素によってのみ直接的にアクセスすることができる。ＴＳＭＭ
を、ラインメモリＬＭ内のストレージと同様な一時的なストレージとして使用で
きる。ＬＭにわたるＴＳＭＭの優位点は、ＴＳＭＭがＬＰＡに非常に近く、そし
て、ＬＭよりも低いクロックレートで動作することである。メモリのローカル化
は更に電力効率がよい。
なストレージとして使用される。データはメモリレジスタから読み出され且つメ
モリレジスタへ書込まれることができる。図５に示すように、スイッチＰ１．．
．Ｐ４は、閉じられている。さらに、それぞれのコラムに接続された、第３のロ
ーのレジスタのスイッチＴも閉じられている。このように、第３のレジスタのロ
ー内でワードのように、全体のローが読み出され又は書込まれる。４つのコラム
は相互に排他的である。ＴＳＭＭ内のコラムは、対応する処理要素に関連し且つ
、対応する処理要素によってのみ直接的にアクセスすることができる。ＴＳＭＭ
を、ラインメモリＬＭ内のストレージと同様な一時的なストレージとして使用で
きる。ＬＭにわたるＴＳＭＭの優位点は、ＴＳＭＭがＬＰＡに非常に近く、そし
て、ＬＭよりも低いクロックレートで動作することである。メモリのローカル化
は更に電力効率がよい。
【００２８】
図７は、入れ替え読出しモードを示す。ＴＳＭＭに蓄積されたデータは、コラ
ム毎に読み出され、そして、水平ワードを処理要素へ戻して出力するために、適
切なスイッチＴを閉じることにより、垂直バスに経路が選択される。ＴＳＭＭの
入れ替え読み出し（及び、反対方向に使用される場合には書込み）が、ここでは
達成される。
ム毎に読み出され、そして、水平ワードを処理要素へ戻して出力するために、適
切なスイッチＴを閉じることにより、垂直バスに経路が選択される。ＴＳＭＭの
入れ替え読み出し（及び、反対方向に使用される場合には書込み）が、ここでは
達成される。
【００２９】
図９は、プロセッサ選択的アクセスモードを示す。この図は、プロセッサの４
つの出力の１つにランダムにアクセスするＴＳＭＭを使用する能力を示し、そし
て、ＴＳＭＭの１つのコラムの４つのレジスタの1つに出力をランダムに蓄積す
る。例として、スイッチＴはＰ２で閉じ、それゆえに、ＬＰＡ２からのデータの
みがＴＳＭＭへ入力するのを可能とする。適切なスイッチＴを活性化することに
より、このデータは、ＴＳＭＭの第1のコラム内の第４のレジスタＭＲに経路が
選択される。このように、ＬＰＡ２からの出力は、ＴＳＭＭの第1のコラムｃ１
の第４のレジスタに書込まれる。ＬＰＡ１．．．３２０は個々に選択可能でない
ので、ＴＳＭＭからの処理要素により読み出すことは、問題を発生する。全ての
処理要素は、読み出そうとし、そして、不確定な結果を伴なう処理を実行しよう
とする。ＬＰＡ１．．．３２０のアキュムレータは選択的にアドレス可能である
ときには、この問題は効果的に解決される。
つの出力の１つにランダムにアクセスするＴＳＭＭを使用する能力を示し、そし
て、ＴＳＭＭの１つのコラムの４つのレジスタの1つに出力をランダムに蓄積す
る。例として、スイッチＴはＰ２で閉じ、それゆえに、ＬＰＡ２からのデータの
みがＴＳＭＭへ入力するのを可能とする。適切なスイッチＴを活性化することに
より、このデータは、ＴＳＭＭの第1のコラム内の第４のレジスタＭＲに経路が
選択される。このように、ＬＰＡ２からの出力は、ＴＳＭＭの第1のコラムｃ１
の第４のレジスタに書込まれる。ＬＰＡ１．．．３２０は個々に選択可能でない
ので、ＴＳＭＭからの処理要素により読み出すことは、問題を発生する。全ての
処理要素は、読み出そうとし、そして、不確定な結果を伴なう処理を実行しよう
とする。ＬＰＡ１．．．３２０のアキュムレータは選択的にアドレス可能である
ときには、この問題は効果的に解決される。
【００３０】
図９と１０は、ブロック転送モードを示す。これらのモードでは、ＴＳＭＭは
互いに２つずつ接続される。このように、図１のカメラシステムは、４０の並列
の２つのＴＳＭＭアレイを有する。図９と１０は、１つのブロックから隣接する
ブロックへデータを転送する可能なモードを示す。データの転送を可能とするた
めに、同じ水平バス状のデータのフローを隣接するＴＳＭＭに可能とするために
、スイッチＴ（個々では転送ゲートとも呼ぶ）がＴＳＭＭの間に要求されること
に注意する。図９は、ＴＳＭＭ２のトップから左へのブロック転送を示す。水平
及び垂直バスの交差点上のスイッチＴは、Ｐ５．．．Ｐ８に接続された処理要素
からのローが、コラムに関して左へ転送されるように活性化される。転送ゲート
Ｔは、このデータがＴＳＭＭ１に入力することを可能とする。ＴＳＭＭ１の水平
及び垂直バスの交差点上のスイッチＴは、ＴＳＭＭ１内で、データのコラムがロ
ーに関して利用できるようになるように活性化される。ＴＳＭＭ２に接続された
処理要素からのデータは、このように、ＴＳＭＭ１に接続された処理要素から来
たデータであるかのようにＴＳＭＭ１内で利用できるようになる。図１０は、ブ
ロック転送モードを示しＴＳＭＭ１内のローは、ＴＳＭＭ２に転送される。この
モードは、図９に示すモードに匹敵するが、しかし反対方向である。処理要素か
らのデータの代わりに、図９と１０に示されたモードも、ラインメモリＬＭから
得られるデータに適用可能である。ラインメモリＬＭからのデータがＴＳＭＭの
下から入力するので、スイッチＰ１からＰは、この場合には使用されない。ＬＰ
Ａの大きな並列構造のために、同様な読出し問題が、図８に関して上述したよう
に発生する。この場合にも、ＬＰＡがデータを読み出さねばならないときには、
選択的にアドレス可能なＬＰＡアキュムレータを有することが好ましい。図９と
１０はＴＳＭＭ１とＴＳＭＭ２を図示するが、他の接続されたＴＳＭＭ、例えば
、ＴＳＭＭ３＋ＴＳＭＭ４等に対しても同じことが成り立つ。
互いに２つずつ接続される。このように、図１のカメラシステムは、４０の並列
の２つのＴＳＭＭアレイを有する。図９と１０は、１つのブロックから隣接する
ブロックへデータを転送する可能なモードを示す。データの転送を可能とするた
めに、同じ水平バス状のデータのフローを隣接するＴＳＭＭに可能とするために
、スイッチＴ（個々では転送ゲートとも呼ぶ）がＴＳＭＭの間に要求されること
に注意する。図９は、ＴＳＭＭ２のトップから左へのブロック転送を示す。水平
及び垂直バスの交差点上のスイッチＴは、Ｐ５．．．Ｐ８に接続された処理要素
からのローが、コラムに関して左へ転送されるように活性化される。転送ゲート
Ｔは、このデータがＴＳＭＭ１に入力することを可能とする。ＴＳＭＭ１の水平
及び垂直バスの交差点上のスイッチＴは、ＴＳＭＭ１内で、データのコラムがロ
ーに関して利用できるようになるように活性化される。ＴＳＭＭ２に接続された
処理要素からのデータは、このように、ＴＳＭＭ１に接続された処理要素から来
たデータであるかのようにＴＳＭＭ１内で利用できるようになる。図１０は、ブ
ロック転送モードを示しＴＳＭＭ１内のローは、ＴＳＭＭ２に転送される。この
モードは、図９に示すモードに匹敵するが、しかし反対方向である。処理要素か
らのデータの代わりに、図９と１０に示されたモードも、ラインメモリＬＭから
得られるデータに適用可能である。ラインメモリＬＭからのデータがＴＳＭＭの
下から入力するので、スイッチＰ１からＰは、この場合には使用されない。ＬＰ
Ａの大きな並列構造のために、同様な読出し問題が、図８に関して上述したよう
に発生する。この場合にも、ＬＰＡがデータを読み出さねばならないときには、
選択的にアドレス可能なＬＰＡアキュムレータを有することが好ましい。図９と
１０はＴＳＭＭ１とＴＳＭＭ２を図示するが、他の接続されたＴＳＭＭ、例えば
、ＴＳＭＭ３＋ＴＳＭＭ４等に対しても同じことが成り立つ。
【００３１】
上述の種々の動作のモードは、例えば、再帰的又はマトリクス離散コサイン変
換（ＤＣＴ）、クロミナンスサブサンプリング及び、ジグザグ（ＺＺ）スキャン
のような種々のアルゴリズムを、効果的に実行する装置を可能とする。特徴を以
下に説明する ブロックＤＣＴが、各マクロブロックの、４つのＹブロック、１つのＵブロッ
ク及び１つのＶブロックに適用される。好ましいアルゴリズムは、分割可能な２
次元再帰的ＤＣＴアルゴリズムであり、１９９５年８月のＩＥＥＥ信号処理レタ
ー、２（８）の第１５５−１５６の、Ａｂｕｒｄｅｎｅ他による”クレンショー
の循環的公式を使用する離散コサイン変換の計算”から知られている。ＤＣＴア
ルゴリズムの入力は、ブロックのコラムから得た８画素と２つの重みのシーケン
スである。重みは、結果のＤＣＴ係数の縦座標を決定する。各ブロックは、４つ
の処理ユニットにより処理されるので、４つのＤＣＴ係数が並列して処理される
。完全なブロックＤＣＴのために、ＤＣＴアルゴリズムの１６のパスは、垂直の
１次元ＤＣＴを計算するのに必要であり、且つ、他の１６パスは水平の１次元Ｄ
ＣＴを計算するのに必要とされる。再帰的ＤＣＴアルゴリズムは、中間的な蓄積
のために要求される領域を最小化するのに好ましい。２つの中間的な変数は、１
つのＤＣＴ係数を処理するのに要求される。より高速なバタフライＤＣＴアルゴ
リズムは、各処理要素毎に８の中間的な変数を必要とする。中間変数は高精度を
必要とするので、ラインメモリＬＭのような画素バッファへそれらを集積する更
なる領域が必要である。ＴＳＭＭは、各処理要素毎に、４つの高精度中間レジス
タＭＲを提供する。ＤＣＴ係数を計算するのに２つのみが必要であるので、２つ
のレジスタは他の目的に使用されても良い。更に重要なことは、ＴＳＭＭに蓄積
されたＤＣＴ係数を、入れ替えることが可能であることである（図７参照）。入
れ替えは、水平に、再帰的ＤＣＴアルゴリズムを実行するために必要である。
換（ＤＣＴ）、クロミナンスサブサンプリング及び、ジグザグ（ＺＺ）スキャン
のような種々のアルゴリズムを、効果的に実行する装置を可能とする。特徴を以
下に説明する ブロックＤＣＴが、各マクロブロックの、４つのＹブロック、１つのＵブロッ
ク及び１つのＶブロックに適用される。好ましいアルゴリズムは、分割可能な２
次元再帰的ＤＣＴアルゴリズムであり、１９９５年８月のＩＥＥＥ信号処理レタ
ー、２（８）の第１５５−１５６の、Ａｂｕｒｄｅｎｅ他による”クレンショー
の循環的公式を使用する離散コサイン変換の計算”から知られている。ＤＣＴア
ルゴリズムの入力は、ブロックのコラムから得た８画素と２つの重みのシーケン
スである。重みは、結果のＤＣＴ係数の縦座標を決定する。各ブロックは、４つ
の処理ユニットにより処理されるので、４つのＤＣＴ係数が並列して処理される
。完全なブロックＤＣＴのために、ＤＣＴアルゴリズムの１６のパスは、垂直の
１次元ＤＣＴを計算するのに必要であり、且つ、他の１６パスは水平の１次元Ｄ
ＣＴを計算するのに必要とされる。再帰的ＤＣＴアルゴリズムは、中間的な蓄積
のために要求される領域を最小化するのに好ましい。２つの中間的な変数は、１
つのＤＣＴ係数を処理するのに要求される。より高速なバタフライＤＣＴアルゴ
リズムは、各処理要素毎に８の中間的な変数を必要とする。中間変数は高精度を
必要とするので、ラインメモリＬＭのような画素バッファへそれらを集積する更
なる領域が必要である。ＴＳＭＭは、各処理要素毎に、４つの高精度中間レジス
タＭＲを提供する。ＤＣＴ係数を計算するのに２つのみが必要であるので、２つ
のレジスタは他の目的に使用されても良い。更に重要なことは、ＴＳＭＭに蓄積
されたＤＣＴ係数を、入れ替えることが可能であることである（図７参照）。入
れ替えは、水平に、再帰的ＤＣＴアルゴリズムを実行するために必要である。
【００３２】
提案された構造に対しては、４つごとのＴＳＭＭが好ましい。第１に、完全な
８ｘ８入れ替えマトリクスは更なるアドレッシングのオーバーヘッドを有するの
で、完全な８つごとのマトリクスの領域の４分の１よりも小さい。第２に、処理
要素は４つのＤＣＴ係数のみを発生し、一方ラインメモリは４つのＤＣＴ係数の
みを蓄積する。
８ｘ８入れ替えマトリクスは更なるアドレッシングのオーバーヘッドを有するの
で、完全な８つごとのマトリクスの領域の４分の１よりも小さい。第２に、処理
要素は４つのＤＣＴ係数のみを発生し、一方ラインメモリは４つのＤＣＴ係数の
みを蓄積する。
【００３３】
ブロック転送モード（図９及び１０参照）は、クロミナンスサブサンプリング
に対する効率的なモードを提供する。ＲＧＢ−ＹＵＶ変換が、クロミナンス成分
のサブサンプリングに先立ち、４：２：２フォーマットで行われる。ＲＧＢ−Ｙ
ＵＶ変換はそれ自身により、画素レベル動作であり、且つ、一定重みの乗算と積
の累積を含む。一旦、画素がＹＵＶ領域に変換されると、ＵとＶ成分は、水平と
垂直の両方に、係数２でサブサンプリングされる。ＵとＶ成分を蓄積するための
メモリ配置に、基本的な問題が存在する。４：２：２フォーマットでは、１６ｘ
１６画素のマクロブロック内のＵとＶ成分は、８ｘ８画素にサブサンプルされ、
そして、Ｙ成分はサブサンプルされない。マクロブロックは、２ブロック（２つ
の８画素コラム）即ち、２つのＴＳＭＭユニット又は８処理要素にわたる。サブ
サンプルされたブロックが対応するラインメモリに蓄積されるならば、水平ＤＣ
Ｔパスを行うのにかなり非効率であろう。マクロブロックの半分にＵブロックを
蓄積し、且つ他にＶブロックを蓄積するのが非常に望ましい。これは、全てのＹ
，Ｕ及びＶブロックに同じ２−Ｄ ＤＣＴコードが与えられることを可能とする
。ブロック転送モードでは、これは１つの直接転送のみを得る。並列構造の場合
でさえも、隣接コラム間で通信は可能であり、この転送は、データシフティング
の４つのサイクルを必要とする。図４の実施例と比較したこの実施例のオーバー
ヘッドは、ＴＳＭＭ間のデータバスをゲートするスイッチである。ブロックデー
タ転送の特徴は、処理要素間のデータシフティングに十分なサイクルがある場合
又は、スイッチがラインメモリアクセス当りの電力を増加する容量性負荷の場合
には、省略されうる。このトレードオフは、実行に関して評価されうる。
に対する効率的なモードを提供する。ＲＧＢ−ＹＵＶ変換が、クロミナンス成分
のサブサンプリングに先立ち、４：２：２フォーマットで行われる。ＲＧＢ−Ｙ
ＵＶ変換はそれ自身により、画素レベル動作であり、且つ、一定重みの乗算と積
の累積を含む。一旦、画素がＹＵＶ領域に変換されると、ＵとＶ成分は、水平と
垂直の両方に、係数２でサブサンプリングされる。ＵとＶ成分を蓄積するための
メモリ配置に、基本的な問題が存在する。４：２：２フォーマットでは、１６ｘ
１６画素のマクロブロック内のＵとＶ成分は、８ｘ８画素にサブサンプルされ、
そして、Ｙ成分はサブサンプルされない。マクロブロックは、２ブロック（２つ
の８画素コラム）即ち、２つのＴＳＭＭユニット又は８処理要素にわたる。サブ
サンプルされたブロックが対応するラインメモリに蓄積されるならば、水平ＤＣ
Ｔパスを行うのにかなり非効率であろう。マクロブロックの半分にＵブロックを
蓄積し、且つ他にＶブロックを蓄積するのが非常に望ましい。これは、全てのＹ
，Ｕ及びＶブロックに同じ２−Ｄ ＤＣＴコードが与えられることを可能とする
。ブロック転送モードでは、これは１つの直接転送のみを得る。並列構造の場合
でさえも、隣接コラム間で通信は可能であり、この転送は、データシフティング
の４つのサイクルを必要とする。図４の実施例と比較したこの実施例のオーバー
ヘッドは、ＴＳＭＭ間のデータバスをゲートするスイッチである。ブロックデー
タ転送の特徴は、処理要素間のデータシフティングに十分なサイクルがある場合
又は、スイッチがラインメモリアクセス当りの電力を増加する容量性負荷の場合
には、省略されうる。このトレードオフは、実行に関して評価されうる。
【００３４】
ブロックレベルのランダムアドレッシング（図８参照）が、例えば、ＺＺスキ
ャンのような、種々の形式のアルゴリズムに対して使用されることが可能である
。１つの処理要素からのアキュムレータデータは、選択的にアドレスされそして
、第１のＴＳＭＭコラム内の４つのレジスタの内の１つに書きこまれる。全ての
４つのレジスタに書き込み後に、第１のＴＳＭＭコラムは転送され、そして、ラ
インメモリＬＭに書込まれる。処理要素の出力をアドレスするのに２つのみのビ
ットが必要とされ、そして、他の２つのビットはレジスタにアドレスするのに必
要とされる。ＪＰＥＧ規格内で記述されているＺＺスキャンは、幾つかの方法で
実行されることができる。８ｘ８ブロック内でデータの記録が必須である。線形
処理配列ＬＰＡと外部ＬＰＡ内のＺＺスキャンを実行する間のトレードオフは、
ハードウェアが複雑となる。外部ＬＰＡでＺＺスキャンを実行することは、規定
されたストリーミングレートで順序を変えるための十分なデータがあることを保
証するためのブロックバッファを必要とするであろう。ハードウェアをモニタす
ることが、バッファが空になる又はオーバーフローすることから防ぐのに必要と
される。ストリーミングユニットとＬＰＡ間の同期は、プログラムとＬＰＡの複
雑さを導入することを必要とする。一方、ＺＺスキャンが並列ハードウェア内で
実行されるならば、ストリーミングは一定でありそして、ラン長符号化器の身が
必要とされる。
ャンのような、種々の形式のアルゴリズムに対して使用されることが可能である
。１つの処理要素からのアキュムレータデータは、選択的にアドレスされそして
、第１のＴＳＭＭコラム内の４つのレジスタの内の１つに書きこまれる。全ての
４つのレジスタに書き込み後に、第１のＴＳＭＭコラムは転送され、そして、ラ
インメモリＬＭに書込まれる。処理要素の出力をアドレスするのに２つのみのビ
ットが必要とされ、そして、他の２つのビットはレジスタにアドレスするのに必
要とされる。ＪＰＥＧ規格内で記述されているＺＺスキャンは、幾つかの方法で
実行されることができる。８ｘ８ブロック内でデータの記録が必須である。線形
処理配列ＬＰＡと外部ＬＰＡ内のＺＺスキャンを実行する間のトレードオフは、
ハードウェアが複雑となる。外部ＬＰＡでＺＺスキャンを実行することは、規定
されたストリーミングレートで順序を変えるための十分なデータがあることを保
証するためのブロックバッファを必要とするであろう。ハードウェアをモニタす
ることが、バッファが空になる又はオーバーフローすることから防ぐのに必要と
される。ストリーミングユニットとＬＰＡ間の同期は、プログラムとＬＰＡの複
雑さを導入することを必要とする。一方、ＺＺスキャンが並列ハードウェア内で
実行されるならば、ストリーミングは一定でありそして、ラン長符号化器の身が
必要とされる。
【００３５】
可変長符号化は、高度な複雑さ無しでは、高度に並列の整数ＡＬＵ内で効率的
に実行することはできず、そして、従って、外部の線形処理配列で処理される。
に実行することはできず、そして、従って、外部の線形処理配列で処理される。
【００３６】
概要として、高精度のレジスタマトリクスＴＳＭＭの配列が、高度に並列の線
形配列プロセッサのデータフロー制限と、画像処理アルゴリズムの中間的な蓄積
要求を解決するために提案される。このプロセッサとメモリユニットの階層が、
特にデータフローに関する柔軟性が大きく制約される、高度に並列の処理システ
ムの柔軟性を高めるために必要である。単純な特別のメモリユニットＴＳＭＭの
配列は高度に並列な画素レベル処理構造と組み合わされ、これは、単一チップ上
で、ビデオレートで、画像キャプションとモーション−ＪＰＥＧビデオ圧縮を可
能とする。
形配列プロセッサのデータフロー制限と、画像処理アルゴリズムの中間的な蓄積
要求を解決するために提案される。このプロセッサとメモリユニットの階層が、
特にデータフローに関する柔軟性が大きく制約される、高度に並列の処理システ
ムの柔軟性を高めるために必要である。単純な特別のメモリユニットＴＳＭＭの
配列は高度に並列な画素レベル処理構造と組み合わされ、これは、単一チップ上
で、ビデオレートで、画像キャプションとモーション−ＪＰＥＧビデオ圧縮を可
能とする。
【００３７】
本発明は、データの並列ストリームを得るために信号を処理するための並列処
理要素の配列を有する並列データ処理装置と、ブロックに関するデータの並列ス
トリームのシャッフリングのための手段を提供する。データシャッフリング手段
は、予め定められた数の処理要素に各々が接続されたアドレス可能なスイッチメ
モリマトリクスの配列を有する。スイッチメモリマトリクスの配列は、高度に並
列の線形配列プロセッサのデータフロー制限と、画像処理アルゴリズムの中間蓄
積要求を解決する。カメラシステムでは、並列データ処理装置は、センサ配列と
組み合わされる。
理要素の配列を有する並列データ処理装置と、ブロックに関するデータの並列ス
トリームのシャッフリングのための手段を提供する。データシャッフリング手段
は、予め定められた数の処理要素に各々が接続されたアドレス可能なスイッチメ
モリマトリクスの配列を有する。スイッチメモリマトリクスの配列は、高度に並
列の線形配列プロセッサのデータフロー制限と、画像処理アルゴリズムの中間蓄
積要求を解決する。カメラシステムでは、並列データ処理装置は、センサ配列と
組み合わされる。
【００３８】
上述の実施例は本発明を制限するものではなく説明するためのものであり、当
業者は、請求項の本発明の範囲から離れることなく多くの代わりの実施例を設計
できることに注意すべきである。コラムとローは、請求項の本発明の範囲から離
れることなく交換が可能である。請求項においては、括弧内に配置されたどの参
照記号も請求項を制限するものではない。用語”有する”は請求項に記載された
他の構成要素を又はステップの存在を除外しない。本発明の幾つかの特徴的な要
素を有するハードウェアにより、及び、好適にプログラムされたコンピュータい
より実行することが可能である。幾つかの手段を列挙する装置の請求項において
は、いくつかのこれらの手段を、１つのそして同じハードウェアの項目で実現す
ることができる。
業者は、請求項の本発明の範囲から離れることなく多くの代わりの実施例を設計
できることに注意すべきである。コラムとローは、請求項の本発明の範囲から離
れることなく交換が可能である。請求項においては、括弧内に配置されたどの参
照記号も請求項を制限するものではない。用語”有する”は請求項に記載された
他の構成要素を又はステップの存在を除外しない。本発明の幾つかの特徴的な要
素を有するハードウェアにより、及び、好適にプログラムされたコンピュータい
より実行することが可能である。幾つかの手段を列挙する装置の請求項において
は、いくつかのこれらの手段を、１つのそして同じハードウェアの項目で実現す
ることができる。
【図１】
本発明に従った高度な並列処理構造とデータシャッフリング手段を有するカメ
ラシステムを示す図である。
ラシステムを示す図である。
【図２】
カラーフィルタ配列を示す図である。
【図３】
本発明に従った線形処理配列の構造を示す図である。
【図４】
本発明に従ったデータシャッフリング手段の構造を示す図である。
【図５】
図４のデータシャッフリング手段の異なるモードの動作を示す図である。
【図６】
図４のデータシャッフリング手段の異なるモードの動作を示す図である。
【図７】
図４のデータシャッフリング手段の異なるモードの動作を示す図である。
【図８】
図４のデータシャッフリング手段の異なるモードの動作を示す図である。
【図９】
２つの隣接するスイッチマトリクスが結合されたデータシャッフリング手段の
動作のモードを示す図である。
動作のモードを示す図である。
【図１０】
２つの隣接するスイッチマトリクスが結合されたデータシャッフリング手段の
動作のモードを示す図である。
動作のモードを示す図である。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 クレイホルスト，リハルト ペー
オランダ国，5656 アーアー アインドー
フェン，プロフ・ホルストラーン ６
(72)発明者 ファン デル アーフォイルト，アンドレ
オランダ国，5656 アーアー アインドー
フェン，プロフ・ホルストラーン ６
Ｆターム(参考） 5C024 BX01 CY45 DX01 DX04 EX52
GY31 HX23 HX58
5C065 AA03 BB48 CC01 DD15 EE03
GG18 GG30 GG32
Claims (9)
- 【請求項１】 並列データ処理装置であって、 データの並列ストリームを得るために信号を処理する並列処理要素の配列と、 ブロックに関して、データの並列ストリームをシャッフリングする手段とを有
する装置。 - 【請求項２】 データシャッフリング手段は、予め定められた数の処理要素
に各々が接続されたアドレス可能なスイッチメモリマトリクスの配列を有する請
求項１に記載の装置。 - 【請求項３】 各スイッチメモリマトリクスは、 レジスタのマトリクスと、 ローに関するバスとコラムに関するバスを有するクロスバースイッチとを有し
、ローに関するバスとコラムに関するバスの交差点にはスイッチが設けられ、各
々のレジスタはクロスバースイッチの１つのローに関するバスと１つのコラムに
関するバスに接続され、且つ、各コラムに関するバスは、処理要素に接続されて
いる、請求項２に記載の装置。 - 【請求項４】 各スイッチメモリマトリスクは、正方マトリクスである請求
項２に記載の装置。 - 【請求項５】 スイッチメモリマトリスクは、２つずつ互いに接続されてい
る請求項２に記載の装置。 - 【請求項６】 各処理要素は、アキュムレータを有し、予め定められた数の
処理要素のアキュムレータは、選択的にアドレス可能である請求項２に記載の装
置。 - 【請求項７】 信号を得るためのセンサ配列と、 その信号を処理するための、請求項１に記載の並列データ処理装置とを有する
カメラシステム。 - 【請求項８】 センサ配列にはカラーフィルタ配列が設けられ、且つ、異な
る色に対応する幾つかのコラムのセンサ配列は、同じ処理要素により共有されて
いる、請求項７に記載のカメラシステム。 - 【請求項９】 信号を処理する方法であって、 データの並列ストリームを得るために、処理要素の配列内で信号を処理するス
テップと、 ブロックに関して、データの並列ストリームをシャッフリングするステップと
を有する方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99204181A EP1107107A1 (en) | 1999-12-10 | 1999-12-10 | Parallel data processing and shuffling |
| EP99204181.4 | 1999-12-10 | ||
| PCT/EP2000/011652 WO2001042902A1 (en) | 1999-12-10 | 2000-11-23 | Parallel data processing and shuffling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003516700A true JP2003516700A (ja) | 2003-05-13 |
| JP4733894B2 JP4733894B2 (ja) | 2011-07-27 |
Family
ID=8240980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001544127A Expired - Fee Related JP4733894B2 (ja) | 1999-12-10 | 2000-11-23 | 並列データの処理及びシャッフリング |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20010041012A1 (ja) |
| EP (2) | EP1107107A1 (ja) |
| JP (1) | JP4733894B2 (ja) |
| KR (1) | KR100788179B1 (ja) |
| CN (1) | CN1199096C (ja) |
| DE (1) | DE60008706T2 (ja) |
| WO (1) | WO2001042902A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010252396A (ja) * | 2010-07-26 | 2010-11-04 | Sony Corp | 撮像装置 |
| US8174587B2 (en) | 2004-07-09 | 2012-05-08 | Sony Corporation | Imaging apparatus, integrated circuit for image pickup device and image data processing method |
| WO2021010036A1 (ja) * | 2019-07-18 | 2021-01-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置および固体撮像素子の制御方法 |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7139743B2 (en) | 2000-04-07 | 2006-11-21 | Washington University | Associative database scanning and information retrieval using FPGA devices |
| FR2834397A1 (fr) * | 2001-12-28 | 2003-07-04 | St Microelectronics Sa | Sous- echantillonnage de donnees images pixelisees |
| US20030167408A1 (en) * | 2002-03-01 | 2003-09-04 | Fitzpatrick Gregory P. | Randomized bit dispersal of sensitive data sets |
| JP2003283719A (ja) * | 2002-03-25 | 2003-10-03 | Noritsu Koki Co Ltd | 画像データ保存装置 |
| US20040233294A1 (en) * | 2003-05-20 | 2004-11-25 | Mingjian Zheng | System and method for USB compatible I-frame only MPEG image compression |
| US20040236920A1 (en) * | 2003-05-20 | 2004-11-25 | Sheaffer Gad S. | Methods and apparatus for gathering and scattering data associated with a single-instruction-multiple-data (SIMD) operation |
| US10572824B2 (en) | 2003-05-23 | 2020-02-25 | Ip Reservoir, Llc | System and method for low latency multi-functional pipeline with correlation logic and selectively activated/deactivated pipelined data processing engines |
| US7826664B2 (en) * | 2004-05-24 | 2010-11-02 | Xerox Corporation | Systems and methods for efficient manual windowing operation |
| US7917299B2 (en) | 2005-03-03 | 2011-03-29 | Washington University | Method and apparatus for performing similarity searching on a data stream with respect to a query string |
| US8134619B2 (en) * | 2007-07-02 | 2012-03-13 | Samsung Electronics Co., Ltd. | Column noise reduction device and method thereof |
| KR100947846B1 (ko) * | 2008-02-28 | 2010-03-18 | 주식회사 티벳시스템 | 하드디스크 포멧장치의 접속단자 자동 절환장치 |
| US8755515B1 (en) | 2008-09-29 | 2014-06-17 | Wai Wu | Parallel signal processing system and method |
| CA3059606C (en) * | 2008-12-15 | 2023-01-17 | Ip Reservoir, Llc | Method and apparatus for high-speed processing of financial market depth data |
| KR101292668B1 (ko) * | 2009-10-08 | 2013-08-02 | 한국전자통신연구원 | 멀티프로세서기반의 영상 복호화 장치 및 방법 |
| KR20110055022A (ko) * | 2009-11-19 | 2011-05-25 | 한국전자통신연구원 | 데이터 및 기능적 분할 방식에 기반한 동영상 복호화 장치 및 방법 |
| US9323994B2 (en) * | 2009-12-15 | 2016-04-26 | Micron Technology, Inc. | Multi-level hierarchical routing matrices for pattern-recognition processors |
| WO2013046475A1 (en) * | 2011-09-27 | 2013-04-04 | Renesas Electronics Corporation | Apparatus and method of a concurrent data transfer of multiple regions of interest (roi) in an simd processor system |
| KR20130097972A (ko) * | 2012-02-27 | 2013-09-04 | 삼성전자주식회사 | 하드웨어 가속화를 통한 대규모 데이터의 분산 처리 장치 및 방법 |
| CN103885984B (zh) * | 2012-12-21 | 2018-05-04 | 国际商业机器公司 | 处理数据库查询结果集的方法和设备 |
| KR101520723B1 (ko) * | 2013-12-04 | 2015-05-15 | 크루셜텍 (주) | 지문 검출 장치 및 이의 구동 방법 |
| CN108701236B (zh) * | 2016-01-29 | 2022-01-21 | 快图有限公司 | 卷积神经网络 |
| US10497089B2 (en) | 2016-01-29 | 2019-12-03 | Fotonation Limited | Convolutional neural network |
| US20180005059A1 (en) | 2016-07-01 | 2018-01-04 | Google Inc. | Statistics Operations On Two Dimensional Image Processor |
| WO2018119035A1 (en) | 2016-12-22 | 2018-06-28 | Ip Reservoir, Llc | Pipelines for hardware-accelerated machine learning |
| US20230229450A1 (en) * | 2018-02-23 | 2023-07-20 | Untether Ai Corporation | Computational memory |
| US10868991B2 (en) | 2018-03-25 | 2020-12-15 | Ideal Industries Lighting Llc | High density parallel proximal image processing |
| CN112132765A (zh) * | 2020-09-28 | 2020-12-25 | 北京计算机技术及应用研究所 | 一种并行视频图像动态范围增强装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03187585A (ja) * | 1989-12-18 | 1991-08-15 | Olympus Optical Co Ltd | 固体撮像素子 |
| JPH03187584A (ja) * | 1989-12-18 | 1991-08-15 | Olympus Optical Co Ltd | 固体撮像装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4700320A (en) * | 1985-07-09 | 1987-10-13 | American Telephone And Telegraph Company, At&T Bell Laboratories | Bitmapped graphics workstation |
| FR2617621B1 (fr) * | 1987-07-03 | 1989-12-01 | Thomson Semiconducteurs | Memoire de transposition pour circuit de traitement de donnees |
| US5153731A (en) * | 1989-12-18 | 1992-10-06 | Olympus Optical Co., Ltd. | Solid state image pick-up device and apparatus capable of providing filtering output with direct and real time manner |
| SE9002558D0 (sv) * | 1990-08-02 | 1990-08-02 | Carlstedt Elektronik Ab | Processor |
| US5543932A (en) * | 1993-05-31 | 1996-08-06 | Sony Corporation | Digital video signal recording apparatus and digital video signal reproducing apparatus |
| KR100498752B1 (ko) * | 1996-09-02 | 2005-11-08 | 소니 가부시끼 가이샤 | 비트메트릭스를 사용한 데이터 수신장치 및 방법 |
| US6940541B1 (en) * | 1997-04-04 | 2005-09-06 | Eastman Kodak Company | Printer parameter compensation by a host camera |
| US6115066A (en) * | 1997-06-12 | 2000-09-05 | International Business Machines Corporation | Image sensor with direct digital correlated sampling |
| US6466265B1 (en) * | 1998-06-22 | 2002-10-15 | Eastman Kodak Company | Parallel output architectures for CMOS active pixel sensors |
| US6714243B1 (en) * | 1999-03-22 | 2004-03-30 | Biomorphic Vlsi, Inc. | Color filter pattern |
-
1999
- 1999-12-10 EP EP99204181A patent/EP1107107A1/en not_active Withdrawn
-
2000
- 2000-11-23 JP JP2001544127A patent/JP4733894B2/ja not_active Expired - Fee Related
- 2000-11-23 EP EP00983152A patent/EP1159672B1/en not_active Expired - Lifetime
- 2000-11-23 WO PCT/EP2000/011652 patent/WO2001042902A1/en active IP Right Grant
- 2000-11-23 KR KR1020017010154A patent/KR100788179B1/ko not_active IP Right Cessation
- 2000-11-23 DE DE60008706T patent/DE60008706T2/de not_active Expired - Lifetime
- 2000-11-23 CN CNB008060525A patent/CN1199096C/zh not_active Expired - Fee Related
-
2001
- 2001-06-11 US US09/878,677 patent/US20010041012A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03187585A (ja) * | 1989-12-18 | 1991-08-15 | Olympus Optical Co Ltd | 固体撮像素子 |
| JPH03187584A (ja) * | 1989-12-18 | 1991-08-15 | Olympus Optical Co Ltd | 固体撮像装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8174587B2 (en) | 2004-07-09 | 2012-05-08 | Sony Corporation | Imaging apparatus, integrated circuit for image pickup device and image data processing method |
| JP2010252396A (ja) * | 2010-07-26 | 2010-11-04 | Sony Corp | 撮像装置 |
| WO2021010036A1 (ja) * | 2019-07-18 | 2021-01-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置および固体撮像素子の制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010041012A1 (en) | 2001-11-15 |
| KR20010102055A (ko) | 2001-11-15 |
| DE60008706D1 (de) | 2004-04-08 |
| KR100788179B1 (ko) | 2007-12-26 |
| JP4733894B2 (ja) | 2011-07-27 |
| WO2001042902A1 (en) | 2001-06-14 |
| EP1159672B1 (en) | 2004-03-03 |
| CN1199096C (zh) | 2005-04-27 |
| CN1346460A (zh) | 2002-04-24 |
| EP1159672A1 (en) | 2001-12-05 |
| DE60008706T2 (de) | 2005-02-10 |
| EP1107107A1 (en) | 2001-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4733894B2 (ja) | 並列データの処理及びシャッフリング | |
| KR101270925B1 (ko) | 신호 처리 장치 | |
| US6961084B1 (en) | Programmable image transform processor | |
| US6421772B1 (en) | Parallel computer with improved access to adjacent processor and memory elements | |
| US8836708B2 (en) | Device for the parallel processing of a data stream | |
| US20030113031A1 (en) | Parallel pipeline image processing system | |
| JPS62208158A (ja) | マルチプロセツサシステム | |
| JPH08511919A (ja) | 動き推定コプロセッサ | |
| US10013733B2 (en) | Processor, system, and method for efficient, high-throughput processing of two-dimensional, interrelated data sets | |
| JP2001250113A (ja) | 信号処理デバイス及び画像信号処理システム | |
| US8952976B2 (en) | SIMD parallel processor architecture | |
| JP2010134743A (ja) | 画像処理装置 | |
| JP2001285644A (ja) | ラインメモリの制御方法 | |
| JP2000311241A (ja) | 画像処理装置 | |
| JPH0437949A (ja) | データ入力回路 | |
| Morris et al. | A column-based processing array for high-speed digital image processing | |
| Wang et al. | Design and implementation of a flexible DMA controller in video codec system | |
| WO2001093198A1 (en) | Data-processing arrangement for processing different types of data | |
| JPH07327230A (ja) | 画素マトリックスフィルタおよび画素マトリックスを処理する方法 | |
| JP2004234407A (ja) | データ処理装置 | |
| WO1999030276A1 (fr) | Processeur de signaux numeriques et procede de traitement de signaux numeriques | |
| Hsieh et al. | Transpose memory for video rate JPEG compression on highly parallel single-chip digital CMOS imager | |
| Yagi et al. | Real-time video signal processing system for dynamic images | |
| JPH07210663A (ja) | 並列画像処理装置 | |
| JPS616772A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100927 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110425 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |