JP2006121479A - 信号処理装置およびその方法 - Google Patents

Abstract

【課題】多チャンネル化したとしてもメモリの動作周波数も抑えつつ、メモリのバス幅を増やすことなく動画、静止画処理においてRAWデータをメモリに記憶し、また、メモリから読み出すことのできる信号処理装置およびその方法を提供する。
【解決手段】A/D変換装置22000からのRAWデータから輝度信号(Y),色差信号(Cr/Cb)を生成し、ビデオ信号として出力するカメラ信号処理装置23000と、動画系処理および静止画系処理に大きく分かれ、それぞれのコーデック処理を行うコーデック変換装置25000と、静止画像を記憶する記憶手段であり、少なくとも1フレーム分のRAWデータおよびＹＣデータが記憶できるだけの容量をもつフレームバッファ24000とを有し、センサ装置21000からの出力が3チャンネル化してることにより、後段のA/D変換装置22000、カメラ信号処理装置23000内のRAWデータに関する各処理が3チャンネル化している。
【選択図】 図１２

Description

本発明は、入出力データポートとメモリ各々のバス幅と動作周波数の関係でメモリのバンド幅を満たすように複数チャンネルからの入力をメモリに書き込む処理方式、または、メモリから読み出したデータを複数チャンネルに分配し出力する処理方式を任意に変更する信号処理装置およびその方法に関するものである。

たとえば、ビデオカメラの信号処理においては、撮像装置によって取得された生のデジタル画像データ(以下、「RAWデータ」と記述する)にＹＣ変換や様々な処理を施し輝度信号データＹと色差信号データCr,Cbを得て、解像度変換をかけ、動画であれば動画用コーデック処理を施しＤＶテープなどの外部メディアに書き込む。
静止画であれば、静止画用コーデック処理を施しメモリースティックなどの外部メディアに書き込む。

これらの正規の動作とは別に実機検証においてセンサ特性の調査や、出力画にノイズがのった場合などに信号処理が原因なのか、センサ起因なのかの切り分けのためなどの目的で、何も変換処理を施していないセンサから出力したままのRAWデータを取得することが必要とされている。
図１は、センサからのRAWデータを取得し、ＰＣなどで分析する際の概念図である。
図１の装置１０は、レンズ１１、センサ１２、信号処理装置１３、およびＰＣなどの分析装置１４を有している。

以下、関連技術として、ビデオカメラのシステムを用い説明する。
特に、ビデオカメラシステム内で、撮像装置によって取得されたRAWデータに各種補正処理やＹＣ変換などの処理を施しY,Cr,Cbを生成し、そのY,Cr,Cbに対し解像度変換を施しビデオ信号を生成するカメラ信号処理装置を例示して説明する。

図２は、関連技術としてのビデオカメラシステム10000の構成を示す図である。
ビデオカメラシステム10000において、レンズ19000は、撮影レンズであり、センサ装置11000は、レンズ19000からの光信号を電気信号に変換する撮像素子であり、アナログ／デジタル（A/D）変換装置12000は、センサ11000からのアナログの電気信号をデジタルの電気信号に変換するA/D変換器である。
カメラ信号処理装置13000は、A/D変換装置12000からのRAWデータから輝度信号(Y),色差信号(Cr/Cb)を生成し、ビデオ信号として出力する。
コーデック変換装置15000は、動画系処理および静止画系処理に大きく分かれ、それぞれのコーデック処理を行う信号処理装置である。
第１の外部記憶媒体16000 は、コーデック変換装置15000の動画処理の結果を記録するDVなどの媒体であり、第２の外部記憶媒体17000 は、コーデック変換装置15000の静止画処理の結果を記録するメモリースティックなどの媒体である。
また、コーデック画像はモニタなどの表示媒体に出力することができる。フレームバッファ14000は、静止画像を記憶する記憶手段であり、少なくとも1フレーム分のRAWデータおよびＹＣデータが記憶できるだけの容量をもつ。
また、制御装置18000は、マイコンなどで構成され各ブロックを制御する。

カメラ信号処理装置13000の詳細を説明する。
カメラ信号処理装置13000は、第1の信号処理装置13100、第2の信号処理装置13300、第2の信号処理装置13400を有する。
第1の信号処理装置13100は、オフセット補正、ゲイン補正、階調補正、ＹＣ変換などの周知のカメラ信号処理を行う。
第2の信号処理装置13300は、第1の信号処理装置13100 から入力されたY/Cr/Cbデータに対し、解像度変換を施し、動画処理の場合は後段コーデック変換装置15000の動画処理装置15100へビデオ信号を出力する。静止画処理の場合は、第3の信号処理装置13400へ出力する。
第3の信号処理装置13400は、フレームバッファの制御を行い、第1の信号処理装置13100からのRAWデータの書き込み/読み出し、第2の信号処理装置13300 からのＹＣデータの書き込み/読み出しを行う。

以下に、カメラ信号処理装置13000で動画と静止画において検証用にRAWデータを記憶し、ＰＣ上などに転送して解析を行うまでの処理フローを説明する。

静止画処理の場合は、図３に示すように、第1の信号処理装置13100にライン単位で入力されたRAWデータに対し、有効エリアの切り出しのみを行い、画素情報をそのままで第3の信号処理装置13400に送られる。第3の信号処理装置13400は、入力されてきたRAWデータをライン単位で順次フレームバッファ14000に記憶する(図3)。
次に、図４に示すように、フレームバッファ14000に記憶された上記RAWデータをライン単位で順次読み出し、第1の信号処理装置13100に送り、第1の信号処理装置13100は、第3の信号処理装置13400から入力されてきたRAWデータをセレクトし、補正系処理などを行い、ＹＣデータを生成し、第2の信号処理装置13300に送り、第2の信号処理装置13300は、入力されてきたＹＣデータに対し所望の解像度変換を行い第3の信号処理装置13400に送り、第3の信号処理装置13400は、入力されてきたＹＣデータをフレームバッファ14000に記憶する(図4)。

ここで、第1の信号処理装置13100は、補正・変換などの主要信号処理前の入力段において図５に示すように、セレクタ13110 、補正変換処理部13120 を有する回路を設置し、入力RAWデータを第1の信号処理装置13100内部と第3の信号処理装置13400へと常に転送し（垂れ流し状態で送り）、第3の信号処理装置13400へのRAWデータの有効・無効は、イネーブルにより制御する。
また、セレクタ13110は、入力RAWデータか、フレームバッファ14000 に記憶された第3の信号処理装置13400からのRAWデータかを設定により選択する。選択されたRAWデータに対し、補正変換処理部13120 にて補正・変換処理を行う。
図３に示すRAWデータ記憶時は、第3の信号処理装置13400に対し、イネーブルを出力し、垂れ流しのRAWデータを有効とする。RAWデータ読み出し時は、セレクタ13110において、第3の信号処理装置13400からのRAWデータを選択するように設定する。

静止画処理では、図３に示した通り必ずRAWデータをフレームバッファに記憶するため、通常の静止画シーケンスを行うことで検証用のRAWデータ取得も可能である。
通常静止画処理終了後、図６に示すように、フレームバッファ14000 に記憶されたRAWデータをコーデック変換装置15000を経由し、第2の外部記憶媒体17000を経由し、ＰＣなどに転送し、RAWデータの解析を行う。このとき、コーデック変換装置15000は、コーデック変換処理は行わず、フレームバッファに記憶されているRAWデータそのままの値で第2の外部記憶媒体17000に記憶する。

動画処理の場合は、図７に示すように、第1の信号処理装置13100は入力されたRAWデータの画素情報に対し、補正処理・ＹＣ変換処理などをし、第2の信号処理装置13300に送り、第2の信号処理装置13300は、入力されたＹＣデータを解像度変換しビデオ信号を出力し、カメラ信号処理装置13000から出力される。後段のコーデック変換装置15000では、動画処理を行い第1の外部記憶媒体16000 への記録および表示媒体への出力を行う。

静止画処理とは異なり、処理の中でRAWデータをフレームバッファに記憶する過程を持たないため、動画処理の過程において検証用にRAWデータの解析を行うには、動画処理中にRAWデータを記憶するフローを設ける必要がある。
図５にある第1の信号処理装置13100の入力段の回路において通常の動画時は、無効となっている第2の信号処理装置に対するイネーブルを有効とし、第1の信号処理装置13100から第2の信号処理装置13400へのRAWデータを有効とする。
一方、図８に示すように、第1の信号処理装置13100内部は動画処理を行うため、セレクタ13110は、センサからの入力RAWデータを選択するようにする。第1の信号処理装置13100、第2の信号処理装置13300が、動画処理をしつつ、第3の信号処理装置13400は、RAWデータをフレームバッファ14000に記憶していく(図８)。記憶されたRAWデータは、静止画処理と同様に第2の外部記憶媒体17000 を経由し、ＰＣなどに転送され（図６）、解析が行われる。

動画処理においても静止画処理においても上記フローにより、フレームバッファにRAWデータが記憶され、第2の外部記憶媒体17000を経由し、ＰＣなどに転送しRAWデータを解析することが可能となる。

RAWデータをフレームバッファに記憶する際の動作の詳細を第3の信号処理装置13400を用いて説明する。第3の信号処理装置13400の詳細は、図９に関連付けて説明する。

第3の信号処理装置13400は、制御信号生成部13410、SDRAM制御部13420、SDRAM14000、PAD13430を有する。フレームバッファ14000 はここでは、SDRAMを用いるとする。入力RAWデータは、14ビットであり、出力RAWデータは14ビットであり、SDRAMのバス幅は、16ビットであるとする。入出力データポートとSDRAMの動作周波数は等しいとし、第3の信号処理装置13400は、常に単一クロックで動作するとする。

制御信号生成部13410は、外部からの入力イネーブル、出力イネーブル、制御装置18000からの通信設定を受けて第3の信号処理装置13400の内部動作モードを決定し、SDRAM制御部13420に対し、RAWデータ書き込み時には、書き込みイネーブルなどの書き込み制御信号、RAWデータ読み出し時には読み出しイネーブルなどの読み出し制御信号を送り、ライン単位でのSDRAMのアドレス制御信号も送る。

SDRAM制御部13420は、制御信号生成部13410 から送られてきた制御信号に従いRAS,CAS,WEX,CKEなどのSDRAMのコマンド制御および画素単位のアドレス制御を行い、入力RAWデータをSDRAMに書き込み、出力RAWデータのSDRAMからの読み出しを行う。また、これとは別に電源投入後のイニシャルシーケンスやリフレッシュなど汎用SDRAMで必要とされているコマンド制御も行う。

なお、PAD13430は、トライステートのバッファである。

第3の信号処理装置13400への入力RAWデータをSDRAM14000に記憶する場合は、図１０（Ａ）〜（Ｄ）に示すように、バス幅が「SDRAMのデータポート＞入力データポート」であり、入力ポートとSDRAMの動作周波数が等しいのでSDRAMのバスのバンド幅は足りている。したがって、ライン単位でイネーブルに同期して入力してくるRAWデータをリアルタイムにSDRAMに記憶することができる。

静止画処理であっても、動画処理であっても入力に対してSDRAMのバンド幅が常に足りているため、図１１（Ａ）〜（Ｄ）に示すように、図１０（Ａ）〜（Ｄ）と同様にリアルタイムにSDRAMに記憶することが可能である。読み出し時においても同様のことが言える。

上述した信号処理装置は、センサ装置11000からの出力が1チャンネルの場合であるが、より再現性の高い画像を得るためセンサからの出力を多チャンネル化することがある。たとえば、センサ装置11000が3チャンネルでデータを出力した場合、入力が前記従来例の3倍のバス幅となり前記従来例のように第3の信号処理装置13400において入力データポートとSDRAMがともに同一動作周波数であるとすると、入力に対してSDRAMのバスのバンド幅が足りなくなる。
解決方法の一つとして、SDRAMの動作周波数をあげる方法がある。しかし、消費電力が上がってしまうという点と動作周波数によっては、汎用SDRAMの対応動作周波数の限界というデメリットがある。もう一つの解決方法としてSDRAMのバス幅を増やすという方法があるが、SDRAMとの接続ピン数の増加や配線の複雑化を伴う不利益がある。

本発明の目的は、多チャンネル化したとしてもメモリの動作周波数も抑えつつ、メモリのバス幅を増やすことなく動画、静止画処理においてRAWデータをメモリに記憶し、また、メモリから読み出すことのできる信号処理装置およびその方法を提供することにある。

上記目的を達成するため、本発明の第１の観点は、複数チャンネルからの入力データをメモリに書き込む、メモリに書き込まれたデータを複数チャンネルに分配し出力可能で、入出力データポートとメモリ、各々のバス幅と動作周波数の関係が任意に変わるような信号処理装置であって、メモリ側バンド幅に合わせてメモリへの書き込み処理方法を選択する書き込み手段と、メモリからの読み出し処理方法を選択する読み出し手段とを有する。

好適には、上記書き込み手段は、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、入力データの全ビットをメモリへ書き込み、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、入力データを圧縮しメモリへ書き込む手段を有する。

好適には、上記書き込み手段は、各チャンネルの入力データの任意のビット位置から任意のビット幅を切り出し入力データのビット幅をメモリ側バンド幅を満たすバス幅まで削減する圧縮手段を有する。

好適には、上記書き込み手段は、入力データポートの動作周波数からメモリの動作周波数へ周波数を乗り換える乗換え手段を有する。

好適には、上記読み出し手段は、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、メモリからの読み出しデータを全チャンネルの全ビットに対し分配して出力し、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、メモリからの読み出しデータを伸張して各チャンネルへ分配する手段を有する。

好適には、上記読み出し手段は、メモリからの読み出しデータを出力各チャンネルの任意のビット位置から任意のビット幅で分配し、各チャンネルに分配したビット位置より下位ビットについては任意の固定値を代入する伸張手段を有する。

好適には、上記読み出し手段は、メモリの動作周波数から出力データポートの動作周波数へ周波数を乗り換える乗換え手段を有する。

本発明の第２の観点は、複数チャンネルからの入力データをメモリに書き込む、メモリに書き込まれたデータを複数チャンネルに分配し出力可能で、入出力データポートとメモリ、各々のバス幅と動作周波数の関係が任意に変わるような信号処理方法であって、メモリ側バンド幅に合わせてメモリへの書き込み処理方法を選択する第１のステップと、メモリからの読み出し処理方法を選択する第２のステップとを有する。

本発明によれば、たとえばRAWデータ各チャンネルに対し任意のビット位置から任意のビット幅が切り出される。また、各チャンネルに対し、任意ビットの位置、任意のビット幅で分配される。これにより、メモリのバンド幅が足りる時であっても、不足する時であっても自在に対応でき、入出力とメモリ側でバンド幅が異なる場合でも書き込み/読み出しが可能となる。

本発明によれは、実機評価において静止画、動画中の実際のセンサ出力のRAWデータを外部へ取り出すことが可能となり分析をＰＣ上などで行え、ビデオカメラのセットとしてより精度の高い評価・検証を容易に行うことができる。
特に、動画中については、通常の動作モードでは、RAWデータの取得はなされず検証用のための対応であるが、通常動作モード回路に対しほとんど回路増加もなく実現できる。基本的にセンサのRAWデータ出力の分析を主眼としてきたが、逆に、ＰＣ上などで作成した評価用画像を外部記憶媒体を経由し、信号処理装置に入力させることも可能となる。
そして、ＰＣなどで複雑な評価画像を作成し、信号処理に入力することが可能になり、検証の精度を上げることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

本発明の実施形態をビデオカメラのシステムに関連付けて説明する。

図１２は、本発明に係るビデオカメラシステム20000の構成を示す図である。
ビデオカメラシステム20000において、レンズ29000は、撮影レンズであり、センサ装置21000は、レンズ29000からの光信号を電気信号に変換する撮像素子であり、アナログ／デジタル（A/D）変換装置22000は、センサ21000からのアナログの電気信号をデジタルの電気信号に変換するA/D変換器である。
カメラ信号処理装置23000は、A/D変換装置22000からのRAWデータから輝度信号(Y),色差信号(Cr/Cb)を生成し、ビデオ信号として出力する。
コーデック変換装置25000は、動画系処理および静止画系処理に大きく分かれ、それぞれのコーデック処理を行う信号処理装置である。
第１の外部記憶媒体26000 は、コーデック変換装置25000の動画処理の結果を記録するDVなどの媒体であり、第２の外部記憶媒体27000 は、コーデック変換装置25000の静止画処理の結果を記録するメモリースティックなどの媒体である。
また、コーデック画像はモニタなどの表示媒体に出力することができる。フレームバッファ24000は、静止画像を記憶する記憶手段であり、少なくとも1フレーム分のRAWデータおよびＹＣデータが記憶できるだけの容量をもつ。
また、制御装置28000は、マイコンなどで構成され各ブロックを制御する。

本実施形態のビデオカメラシステム20000においては、センサ装置21000からの出力が3チャンネル化してることにより、後段のA/D変換装置22000、カメラ信号処理装置23000内のRAWデータに関する各処理が3チャンネル化している。

図１３は、本実施形態において、静止画処理時にRAWデータをフレームバッファに一旦格納する際のビデオカメラシステムの処理フロー図である。
図１４は、本実施形態において、静止画処理時にフレームバッファに一旦格納したRAWデータを読み出し、補正処理、ＹＣ変換処理、解像度変換処理を施して生成したＹＣデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。
図１５は、本実施形態において、フレームバッファに記憶されたRAWデータをコーデック変換装置を経由して第2の外部記憶媒体に記憶する際のビデオカメラシステムの処理フロー図である。
図１６は、本実施形態において、動画処理時にRAWデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。

以下、これら図１３〜図１６に関連付けて静止画処理時および動画処理時の処理について説明する。

カメラ信号処理装置23000において、静止画処理時は、RAWデータをフレームバッファ24000に記憶し（図１３）、ライン単位でRAWデータを読み出しながら補正系処理などを施し、ＹＣ変換などを施し、解像度変換を施しＹＣデータをフレームバッファ24000に記憶する（図１４）。
その後、フレームバッファ24000内RAWデータを第2の外部記憶媒体27000を経由し（図１５）、ＰＣなどに転送して解析を行う。

動画処理時は、第1の信号処理装置23100、第2の信号処理装置23300は、動画処理を行いつつ、第3の信号処理装置23400は、入力RAWデータをフレームバッファ24000に記憶している（図１６）。
その後、静止画処理と同様の手法（図１５）でＰＣ上などに転送し解析する。
なお、フレームバッファ24000は従来実施例と同じくRAWデータ、ＹＣデータ各々1フレーム分以上の容量を持つSDRAMとする。

本実施形態においては、カメラ信号処理装置23000においてRAWデータに関するチャンネル数が3倍となっているため第3の信号処理装置23400が入出力データポートとSDRAMの動作周波数が等しい場合は、入出力ポートに対してSDRAMのバスのバンド幅が不足してしまう。

第3の信号処理装置23400を用いて、3チャンネル化した際に静止画処理、動画処理においてSDRAMにRAWデータを記憶する動作について説明する。
入力RAWデータは、3チャンネルでそれぞれRチャンネル、Gチャンネル、Bチャンネルとし、それぞれのビット幅は14ビットとする。SDRAMのバス幅は16ビットとする。

静止画処理について説明する。
静止画処理は、フローにある通り処理の途中にRAWデータをSDRAMに記憶する過程が存在し（図１３）、その過程では、各チャンネルのRAWデータ全ビットをSDRAMに記憶する必要がある。そこで、記憶されたRAWデータは検証用途として使用したいRAWデータそのものであるため、前記従来例と同様に通常の静止画処理を行えば検証用途のRAWデータもSDRAMに記憶できてしまう。

通常の静止画処理の動作を満たすために検証用途とは別にそもそもSDRAMのバンド幅の不足を解決する必要があるが、静止画処理中はリアルタイム画像をビデオ出力する必要がなく通常は黒出力などを行い、実際のモニタなどの表示媒体には黒画やホールド画などが出力されているので、RAWデータの処理がビデオ出力の同期に依存しない。
そこで、本実施形態においては、第1の信号処理装置23100から第3の信号処理装置23400への水平方向の入力RAWデータのブランキングを十分に長くとり、第3の信号処理装置23400内でラインメモリを用いることでバンド幅の不足を補い静止画処理では各チャンネルのRAWデータ全ビットをSDRAMに記憶するようにする。

たとえば、動作周波数が第3の信号処理装置23400の入出力ポートとSDRAMとで等倍の場合は、水平方向1ライン分のラインメモリ(SRAM)を2本持つことで図１７（Ａ）から（Ｊ）に示すように、リアルタイムでRチャンネルのデータ1ライン分をSDRAMに書きつつ、2本のラインメモリにG、Bチャンネルのデータ1ライン分をそれぞれ書き込み、ブランキング中にGチャンネルのデータ1ライン、Bチャンネルのデータ1ラインの順でSDRAMに書き込む。
そのため、入出力ポート、SDRAMの動作クロックをCK2としたときブランキングが（水平画素数×2×CK2）以上の時間が必要となる。このとき、入出力ポートの動作クロックをCK1としたとき、CK1=CK2である。

また、動作周波数が第3の信号処理装置23400の入出力ポートとSDRAMとで2倍の場合は、水平方向1ライン分のラインメモリ(SRAM)を1本持つことで図１８（Ａ）から（Ｈ）に示すように、リアルタイムでR,GチャンネルのデータをSDRAMに書き込みつつ、Bチャンネルのデータ1ライン分をラインメモリに書き込み、ブランキング中にBチャンネルのデータ1ラインをSDRAMに書き込む。
そのため、SDRAMの動作クロックをCK2としたときブランキングが（水平画素数×CK2）以上の時間が必要となる。このとき、入出力ポートの動作クロックをCK1としたときCK1=2×CK2である。

このように静止画処理においては、必ずRAWデータ全ビットをSDRAMに記憶する過程があり、そこでのSDRAMのバンド幅の不足はラインメモリとブランキングを長く取ることで解決できるため、検証用途にもこの過程で記憶したRAWデータをそのまま用いることが可能である。

一方、動画処理中の場合は、カメラ信号処理装置23000としては、動画処理をしており、リアルタイムにビデオ出力をする必要があるため、静止画処理のようにビデオ出力に黒出力を挟むようなことはできない。そのため第3の信号処理装置23400への入力RAWデータに対するブランキングは、ビデオ出力のブランキングに依存してしまい、静止画処理のようにブランキングを長くするといった手法はとれない。

動画処理中にRAWデータをSDRAMに記憶する目的が、センサからどういったRAWデータが入ってきているかの検証用途であることに着目すると、R,G,B全てのチャンネルの全てのビット数を同時にSDRAMに記憶せずともSDRAMのバンド幅の満たす範囲内で入力RAWデータを分割して記憶していけば本来の目的は達成できる。

たとえば、動作周波数が第3の信号処理装置23000の入出力ポートとSDRAMとで等倍の場合は、図１９（Ａ）から（Ｅ）に示すように、入力R,G,B各14ビットに対し、V0で、Rチャンネルの全RAWデータを、V1で、Gチャンネルの全RAWデータを、V2でBチャンネルの全RAWデータをSDRAMに記憶するようにすれば、各Vにおいては、16ビットのSDRAMデータバスに対し、14ビットのRAWデータが書き込まれるわけなのでバンド幅は満たされている。

動作周波数が第3の信号処理装置23000の入出力ポートとSDRAMとで2倍の場合は、図２０（Ａ）から（Ｅ）に示すように、入力R,G,B各14ビットに対し、V0で、RチャンネルとGチャンネルの全RAWデータを、V1で、Bチャンネルの全RAWデータをSDRAMに記憶するようにすれば、各Vにおいては、動作クロックCK2で16ビットのSDRAMデータバスに対し、動作クロックCK1で14ビットのRAWデータが書き込まれ、CK1=2×CK2であるので、SDRAMのバンド幅は満たされている。

また、1チャンネルごとに全ビットを記憶するのではなく、各チャンネルのMSB数ビットやLSB数ビットずつを切り出しSDRAMのバンド幅内でSDRAMに記憶するといった方法をとれば全ビットではないが、図２１（Ａ）から（Ｅ）に示すように、3チャンネル分のデータが同一V内で揃えることができる。

このように入力RAWデータの各チャンネルに対し、任意のビット位置から任意のビット幅を切り出す仕組みがあれば検証用途として動画処理中にRAWデータをSDRAMに記憶することは可能となる。

図２２は、第3の信号処理装置23400の詳細な構成例を示すブロック図である。
第3の信号処理装置23400は、図２２に示すように、制御信号生成部23410、第1のクロック乗換え部23440、第2のクロック乗換え部23460、圧縮部23450、伸張部23470、SDRAM制御部23420、ラインメモリ制御部23480、SDRAM24000、PAD23430、SRAM23490を有する。

制御信号生成部23410は、外部からのイネーブル同期信号から各部に対し、イネーブルや同期信号などを生成し、外部からの通信設定値をデコードし、各部に対しデコードした設定値を出力する。
制御信号生成部23410は、圧縮部23450、伸張部23470、ラインメモリ制御部に対し、イネーブルや設定値などを送り、SDRAM制御部23420に対しては、イネーブルや設定値などに加え、ライン単位でSDRAMのアドレス制御信号も送る。

第1のクロック乗り換え部23440は、入力ポート側の動作周波数(f0)からSDRAM側の動作周波数(f1)へのクロック乗り換えを行い、デュアルポートのSRAMを用いてクロック乗換えを実現している。

第2のクロック乗り換え部23440は、SDRAM側の動作周波数(f1)から出力ポート側の動作周波数(f0)へのクロック乗り換えを行い、デュアルポートのSRAMを用いてクロック乗換えを実現している。

圧縮部23450 は、制御信号生成部23410 からのR チャンネル、G チャンネル、B チャンネルそれぞれについて切り出しの任意のビット位置と任意のビット幅が設定され、それに従い各チャンネル任意のビット位置から任意のビット幅を切り出す。また、静止画処理時に限りラインメモリを使用するため、ラインメモリ制御部23480との間でデータの入出力が行われる。

伸張部23470は、SDRAM24000からの読み出しデータを各チャンネルに分配する。各チャンネルに対し任意のビット位置から任意のビット幅で分配し、各チャンネルで指定した任意のビット位置より下位のビットについては、0などの固定値を埋める。静止画処理に限りラインメモリ制御部23480との間でデータの入出力が行われる。

SDRAM制御部23420は、制御信号生成部23410 から送られてきた制御信号に従いRAS,CAS,WEX,CKEなどのSDRAMのコマンド制御および画素単位のアドレス制御を行い、入力RAWデータをSDRAMに書き込み、出力RAWデータのSDRAMからの読み出しを行う。また、これとは別に電源投入後のイニシャルシーケンスやリフレッシュなど汎用SDRAMで必要とされているコマンド制御も行う。

ラインメモリ制御部23480は、静止画処理時に使用するもので、ラインメモリの制御を行う。制御信号生成部23410からの制御信号に従い、SRAMに対しデータの書き込み、読み出し、コマンド制御を行う。

ラインメモリ23490は、SRAMであり、ラインメモリとして使用する容量分だけ持っている。

SDRAM24000は、同期型ＤＲＡＭであり、フレームバッファとして機能する。

圧縮部23450について、図２３に関連付けて、さらに詳細に説明する。
図２３は、圧縮部23420の内部の詳細なブロック図である。圧縮部23450は、図２３に示すように、データ切り出し部23451、データパック部23452、およびセレクタ23453を有する。

データ切り出し部23451は、各チャンネルからの入力をInR, InG, InB、各チャンネルに対する切り出しビット位置の設定値を bit R, bit G, bit B、各チャンネルに対する切り出しビット幅の設定値を width R, width G, width Bとし、出力をIn tmpR, In tmpG, In tmpB としたとする。In tmpR を例に導出方法を説明すると、以下のようになる。

１．InRを切り出しビット位置までシフトする
s = InR >> bit R
２．切り出しビット幅からビットマスク信号を生成する
msk val = (1<< width R)-1'b1
３．sとビットマスク信号の&をとり、ビットを切り出す
In tmpR = s & msk val

多チャンネルに対しても全く同様の処理でIn tmpG, In tmpBを導出する。静止画処理時は、各チャンネル全ビットが必要なので、各チャンネルの切り出しビット位置=0、ビット幅=14と設定し、全ビットを切り出すようにする。

データパック部23452は、各チャンネル任意のビット位置から任意のビット数分だけ切り出されたデータIn tmpR, In tmpG, In tmpB を16ビットにパックする。LSBからIn tmpR, In tmpG, In tmpB の順にパックしていく。導出方法を説明する。

１．In tmpG をRチャンネルの切り出しビット幅分シフトする
tmp g = In tmp G << width R
２．In tmpB をRチャンネル＋Gチャンネルの切り出しビット数分シフトする
tmp b = In tmp B << (width R+ widht G)
３．各チャンネルを合計する
tmp data = tmp B +tmp G + In tmpR
４． tmp dataの有効16ビット分を切り出す
Pack Data = tmp data[15:0]

また、静止画処理時は、各チャンネル全ビット切り出されたデータをSDRAM制御部23420へ送るものとラインメモリ制御部23480に送るものと分けて各部に対しデータを出力する。

セレクタ23453は、データパック部23452で16ビットにパックされたPack Data とラインメモリ制御部からのデータを選択し、SDRAM制御部23420へ出力する。
動画時は、常にPack Data が選択され、静止画時は、外部イネーブルの有効期間は、Pack Data が選択され、無効期間は、ラインメモリ制御部23480からのデータが選択される。

伸張部23470について、図２４に関連付けて、さらに詳細に説明する。
図２４は、伸張部23470の内部の詳細なブロック図である。伸張部23470は、図２４に示すように、データ選択部23473、データアンパック部23472、およびデータ拡張部23471を有する。

データ選択部23473は、動画時は、SDRAM制御部23420からのInDataをデータアンパック部23472へそのまま出力し、静止画処理時は、イネーブルの有効期間は、InDataをデータアンパック部23472へ出力し、無効期間にラインメモリ制御部23480へ出力する。

データアンパック部23472は、RGBデータがパックされた16ビットの入力InDataに対し、各チャンネルの切り出しビット位置の設定値 bit R, bit G, bit B、各チャンネルのビット幅の設定値 width R, width G, width Bとすると、前記データパック部における導出方法と同様の導出方法により16ビットにパックされたRGBデータを各チャンネル単位にアンパックする。

１．入力データInDataから各チャンネルの切り出しビット位置までシフトする
r tmp = InData >>bit R
g tmp = InData >>bit G
b tmp = InData >>bit B
２．各チャンネルに対するビットマスク信号を生成する
msk r = (1 <<width R) - 1
msk g = (1 <<width G) - 1
msk b = (1 <<width B) - 1
３．InDataをシフトした各チャンネルデータと各チャンネルのビットマスク信号の&をとる
Out tmpR = r tmp & msk r
Out tmpG = g tmp & msk g
Out tmpB = b tmp & msk b

アンパックされたデータは、14ビットの Out tmpR,Out tmpG,Out tmpBの下位ビットから埋められて出力される。
また、静止画処理時は、SDRAM制御装置23420からの入力データInDataとラインメモリ制御部23480からの入力データが同時に入力され、3チャンネル分のすべてのデータが揃って入力される。その際は、データアンパック部23472は、内部処理はほとんど行わず入力された3チャンネル分の値を Out tmpR,Out tmpG,Out tmpBへ代入する。

データ分配部23471は、データアンパック部23472で切り出された Out tmpR,Out tmpG,Out tmpBを14ビットの各チャンネルの出力OutR, OutG, OutBに対し、それぞれ設定値 s bit R, s bit G, s bit Bにより何ビット目から書き始めるかを指定し、それより下位の各ビットは、0または1を固定値として埋めるよう設定値 fix valにより指定する。導出方法を説明する。

１． Out tmpR,Out tmpG,Out tmpBをそれぞれ所望の書き込みビット位置へシフトする
tmp OutR = Out tmpR <<s bit R
tmp OutG = Out tmpG <<s bit G
tmp OutB = Out tmpG <<s bit B
２．各チャンネルの有効でない下位ビットに対し固定値埋めの値を生成する。
tmp val r = (fix val)?((1<< s bit R)-1):0
tmp val g = (fix val)?((1<< s bit G)-1):0
tmp val b = (fix val)?((1<< s bit B)-1):0
３．出力を求める。 tmp OutR,tmp OutG,tmp OutBは、14ビット以上の値となっているので、14ビットで切っている。
OutR = tmp OutR[13:0] + tmp val r
OutG = tmp OutG[13:0] + tmp val g
OutB = tmp OutB[13:0] + tmp val b

以下に、圧縮部23450の動作を以下の例に関連付けて説明する。各チャンネルの入力をとする。

In R = 14'b10001101001100
In G = 14'b00110101110010
In B = 14'b11110000011011

各チャンネルの切り出しビット位置、切り出しビット幅を次のようにする。

bit R = 4'd3 width R = 4'd7
bit G = 4'd10 width G = 4'd4
bit B = 4'd0 width B = 4'd5

こうしたとき、以下により、14ビットの切り出しデータを作成する。

s r = In R >> bit R = 14'b00010001101001
s g = In G >> bit G = 14'b00000000000011
s b = In B >> bit B = 14'b11110000011011

msk val r = (1 <<width R) - 1 = 14'b00000001111111
msk val g = (1 <<width G) - 1 = 14'b00000000001111
msk val b = (1 <<width B) - 1 = 14'b00000000011111

In tmpR = 14'b00010001101001 & 14'b00000001111111
= 14'b00000001101001
In tmpG = 14'b00000000000011 & 14'b00000000001111
= 14'b00000000001111
In tmpB = 14'b11110000011011 & 14'b00000000011111
= 14'b00000000011011

このように、14ビットの切り出しデータを作成し、Rデータ、Gデータ、Bデータの順にLSBから埋めていく。

tmp r = In tmpR
= 16'b0000000001101001
tmp g = In tmpG <<width R
= 16'b0000000110000000
tmp b = In tmpB << (width R+ width G)
= 16'b1101100000000000

Pack Data = tmp r +tmp g +tmp b
= 16'b1101100111101001

以上のようにして、SDRAM制御装置23420へ出力されるPackDataが生成される。Pack Data の各ビットは、次のようになる。

Pack Data[ 6: 0] = 7'b1101001 =In R[ 9: 3]
Pack Data[10: 7] = 4'b0011 =In G[13:10]
Pack Data[15:11] = 5'b11011 =In G[ 4: 0]

各チャンネルに対し、指定されたビット位置から指定されたビット幅に切り出し、16ビットのデータにパックできる。このようにして、入力R,G,Bチャンネルのデータを任意のビット位置から任意のビット幅で切り出せる。

次に、伸張部23470の動作を以下の例に関連付けて説明する。
SDRAM制御装置23420からの入力を、次のようにする

InData = 16'b1101100111101001

そして、R,G,B各チャンネルの切り出しビット位置、切り出しビット幅を、次のようにする。

bit R = 4'd0 width R = 4'd7
bit G = 4'd7 width G = 4'd4
bit G = 4'd11 width B = 4'd5

こうしたとき、

r tmp = InData >>bit R
= 14'b1101100111101001
g tmp = InData >>bit G
= 14'b0000000110110011
b tmp = InData >>bit B
= 14'b0000000000011011

msk r = (1 <<width R) - 1 = 14'b00000001111111
msk g = (1 <<width G) - 1 = 14'b00000000001111
msk b = (1 <<width B) - 1 = 14'b00000000011111

Out tmpR = r tmp & msk r
= 14'b00000001101001
Out tmpG = g tmp & msk g
= 14'b00000000000011
Out tmpB = b tmp & msk b
= 14'b00000000011011

となり、16ビットの入力データから各チャンネルのデータを切り出すことができる。データ分割部では、切り出された各チャンネルのデータを各チャンネルの出力データの何ビット目から書き始めるかを、次のようにする。

s bit R = 4'd7
s bit G = 4'd10
s bit B = 4'd9

こうしたとき、

tmp OutR = Out tmpR <<s bit R
= 14'b11010010000000
tmp OutG = Out tmpG <<s bit G
= 14'b00110000000000
tmp OutB = Out tmpG <<s bit B
= 14'b11011000000000

各チャンネルの s bit R, s bit G, s bit Bより下位のビットは0または1の固定値埋めとするが、その設定値を次のようにする。

fix val = 1'b1

こうしたとき、

tmp val r = (fix val)?((1<< s bit R)-1):0
= 14'b00000001111111
tmp val g = (fix val)?((1<< s bit G)-1):0
= 14'b00001111111111
tmp val b = (fix val)?((1<< s bit B)-1):0
= 14'b00000111111111

OutR = tmp OutR[13:0] + tmp val r
= 14'b11010011111111
OutG = tmp OutG[13:0] + tmp val g
= 14'b00111111111111
OutB = tmp OutB[13:0] + tmp val b
= 14'b11011111111111

となり、各チャンネルに出力される。各チャンネルへの出力データの各ビットは、

OutR[13: 7] = InData[ 6: 0]
OutG[13:10] = InData[10: 7]
OutB[13: 9] = InData[13:11]

また、

OutR[ 6: 0] = 7'b1111111
OutG[ 9: 0] = 10'b1111111111
OutB[ 8: 0] = 9'b111111111

となり、16ビットの入力データに対し、各チャンネルに任意のビット位置から任意のビット幅で分配し、書き込みビット位置より下位ビットについては、0または1の固定値で埋めることが可能である。

動画処理中のRAWデータ記録で、第3の信号処理装置23400において、入出力ポート(f0)とSDRAMデータバスの動作周波数(f1)がf0:f1=1:1, f0:f1=1:2の場合についていくつか例を示しそれぞれの動作を説明する。

f0:f1=1:1で、Rチャンネルのデータのみを14ビット全てSDRAMに記憶する場合について説明する。それぞれ14ビットのR, G, B入力InR, InG, InBに対し、圧縮部で、各チャンネルの切り出しビット位置、切り出しビット幅を、次のように設定する。

bit R = 0 width R = 14
bit G = 0 width G = 0
bit B = 0 width B = 0

これにより、図２５（Ａ）から（Ｄ）に示すように、Rチャンネルの全ビットのみ選択され、図２６（Ａ）から（Ｆ）に示すように、圧縮部23450から出力される。
f0:f1=1:1で、16ビットのSDRAMデータポートに14ビットのデータが入力するのでSDRAMのバンド幅は足りる。
これを1V期間行うことで図１９（Ａ）のV0で示すようにセンサからの1画面分の入力RAWデータのRチャンネル成分14ビットをSDRAMに記録することができる。同様にGチャンネル、Bチャンネルも1Vにおいて全ビットをSDRAMに記憶できる（図１９（Ａ）のV1、V2）。
その後、外部記憶媒体27000を経由し、ＰＣなどに転送し、RAWデータの解析を行う。

f0:f1=1:2の場合で、Rチャンネル、Gチャンネルを14ビット全てSDRAMに記憶する場合について説明する。それぞれ14ビットのR, G, B入力InR, InG, InBに対し、圧縮部で、各チャンネルの切り出しビット位置、切り出しビット幅を、図２７（Ａ）から（Ｆ）ににおけるt0のタイミングでは、

bit R = 0 width R = 14
bit G = 0 width G = 0
bit B = 0 width B = 0

とし、t1のタイミングでは、

bit R = 0 width R = 0
bit G = 0 width G = 14
bit B = 0 width B = 0

と設定する。
これにより、タイミングt0では、図２８（Ｄ）の圧縮部出力(R0)に示すように、Rチャンネルの全ビットのみが選択され、タイミングt1では、図２８（Ｆ）の圧縮部出力(G0)に示すようにGチャンネルの全ビットが選択され、図２７（Ａ）から（Ｆ）に示すように、SDRAM側動作クロックCK2で1サイクルおきにRチャンネルデータ、GチャンネルデータがSDRAMに記憶される。
f0:f1=1:2で、SDRAMの動作周波数は16ビットであるので、入出力ポート動作周波数からすれば28ビットの入力、32ビットのSDRAMのバス幅があることになるのでバンド幅は足りる。
これを1V期間行うことで図２０（Ａ）のV0で示すようにセンサからの1画面分のRAWデータのRチャンネルとGチャンネル成分14ビットをSDRAMに記憶することができる。チャンネルの組み合わせを変えることでRBチャンネル、GBチャンネルも同様に1VでSDRAMに記憶できる。

前述の2例は、各チャンネル全ビットを残すようにしてきたが各Vにおいて全チャンネルのデータが揃わないので絵として見た時にあるチャンネル成分が欠けた絵になってしまう。14ビットのRAWデータのうち各チャンネルMSBがそれなりあれば十分に絵としてみれるので、1Vを絵としてみたい場合は、各チャンネルMSB数ビットを1VでSDRAMに記憶するという手法もとれる。

f0:f1=1:2とし、輝度成分に相関があるG成分をなるべく残す形で、Rチャンネル10ビット、Gチャンネル12ビット、Bチャンネル10ビットをSDRAMに記憶する場合について説明する。
各チャンネルの切り出しビット位置と切り出しビット幅を図２９（Ａ）から（Ｆ）のタイミングt0では、

bit R = 4 width R = 10
bit G = 2 width G = 6
bit B = 0 width B = 0

と設定し、タイミングt1では、

bit R = 0 width R = 0
bit G = 8 width G = 6
bit B = 4 width B = 10

と設定する。
これにより、タイミングt0では、図３０（Ｄ）の圧縮部出力(RG0)に示すように、RチャンネルのMSB10ビットがLSB10ビットに、Gチャンネルのビット2からビット7までが、MSB6ビットにパックされ、タイミングt1では、図３０（Ｅ）の圧縮部出力(BG0)に示すように、GチャンネルのMSB6ビットがLSB6ビットに、BチャンネルのMSB10ビットがMSB10ビットにパックされSDRAM側動作クロックCK2でt0、t1の2サイクルで、RチャンネルのMSB10ビット、GチャンネルMSB12ビット、BチャンネルMSB10ビットがSDRAMに記憶される。

このように任意のビット位置から任意のビット幅を切り出せるようにすることでメモリ側のバンド幅が足りない場合でもメモリに検証用途としてRAWデータを記憶し、ＰＣなどに転送して解析することが可能となる。

また、RAWデータを読み出す場合にも前記伸張部23470の手順でバンド幅の不足を補うことが可能である。

本実施形態によれば、実機評価において静止画、動画中の実際のセンサ出力のRAWデータを外部へ取り出すことが可能となり分析をＰＣ上などで行え、ビデオカメラのセットとしてより精度の高い評価・検証を容易に行うことができる。
特に、動画中については、通常の動作モードでは、RAWデータの取得はなされず検証用のための対応であるが、通常動作モード回路に対しほとんど回路増加もなく実現できる。基本的にセンサのRAWデータ出力の分析を主眼としてきたが、逆に、図３１および図３２に示すように、ＰＣ上などで作成した評価用画像を外部記憶媒体を経由し、信号処理装置に入力させることも可能となる。
なお、図３１は、本実施形態において、ＰＣなどで作成した入力画像を第2の記憶媒体に記憶し、フレームバッファに転送し、センサからの入力の変わりに信号処理の入力画像として検証を行う際のビデオカメラシステムの処理フロー図である。
また、図３２は、センサからの入力の変わりにＰＣなどで作成した画像を入力画像とする際の概念図である。
図３２の装置２０は、レンズ２１、センサ２２、信号処理装置２３、およびＰＣなどの分析装置２４を有している。

通常、信号処理装置中にパターンジェネレータなどの回路は検証用として入れておくが、回路規模などの兼ね合いからカラーバーなどの単純画像しか出力できない。
しかし、本発明を利用することで、ＰＣなどで複雑な評価画像を作成し、信号処理に入力することが可能になり、検証の精度を上げることができる。

センサからのRAWデータを取得し、ＰＣなどで分析する際の概念図である。 関連技術としてのビデオカメラシステムの構成図である。 関連技術において、静止画処理時にRAWデータをフレームバッファに一旦格納する際のビデオカメラシステムの処理フロー図である。 関連技術において、静止画処理時にフレームバッファに一旦格納したRAWデータを読み出し、補正処理、ＹＣ変換処理、解像度変換処理を施して生成したＹＣデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。 ビデオカメラシステムのカメラ信号処理装置内の第1の信号処理装置入力段の回路図である。 関連技術において、フレームバッファに記憶されたRAWデータをコーデック変換装置を経由して第2の外部記憶媒体に記憶する際のビデオカメラシステムの処理フロー図である。 関連技術において、動画処理のビデオカメラシステムの処理フロー図である。 関連技術において、動画処理時にRAWデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。 関連技術における第3の信号処理装置の内部ブロック図である。 関連技術における静止画/動画時にRAWデータをフレームバッファに記憶する際のタイミングチャートである。 関連技術における静止画/動画時にフレームバッファに記憶されたRAWデータを読み出す際のタイミングチャートである。 本発明に係るビデオカメラシステムの構成図である。 本実施形態において、静止画処理時にRAWデータをフレームバッファに一旦格納する際のビデオカメラシステムの処理フロー図である。 本実施形態において、静止画処理時にフレームバッファに一旦格納したRAWデータを読み出し、補正処理、ＹＣ変換処理、解像度変換処理を施して生成したＹＣデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。 本実施形態において、フレームバッファに記憶されたRAWデータをコーデック変換装置を経由して第2の外部記憶媒体に記憶する際のビデオカメラシステムの処理フロー図である。 本実施形態において、動画処理時にRAWデータをフレームバッファに記憶する際のビデオカメラシステムの処理フロー図である。 本実施形態において、入出力データポートの動作周波数:メモリ動作周波数=1:1の場合で、静止画処理時に水平方向のブランキングを利用してRAWデータの格納を行う際のタイミングチャートである。 本発明実施例において、入出力データポートの動作周波数:メモリ動作周波数=1:2の場合で、静止画処理時に水平方向のブランキングを利用してRAWデータの格納を行う際のタイミングチャートである。 本発明実施例において、入出力データポートの動作周波数:メモリ動作周波数=1:1の場合で垂直同期V0のタイミングでは、入力R,G,BのうちRチャンネルのRAWデータをSDRAMに格納し、V1では、GチャンネルのRAWデータを、V2では、BチャンネルのRAWデータを格納する際のタイミングチャートである。 本発明実施例において、入出力データポートの動作周波数:メモリ動作周波数=1:2の場合で垂直同期V0のタイミングでは、入力R,G,BのうちRチャンネルのRAWデータをSDRAMに格納し、V1では、GチャンネルのRAWデータを、V2では、BチャンネルのRAWデータを格納する際のタイミングチャートである。 本発明実施例において、各垂直同期において入力R,G,Bチャンネルの各数ビットずつをパックしてSDRAMに格納する際のタイミングチャートである。 本実施形態における第3の信号処理装置の内部ブロック図である。 本実施形態における圧縮部の内部ブロック図である。 本実施形態における伸張部の内部ブロック図である。 本実施形態において、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてR画素のbit0〜bit13まで切り出した場合の図である。 本実施形態において、入出力データポートの動作周波数:メモリ動作周波数=1:1の場合で、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてR画素を出力した場合のタイミングチャートである。 本実施形態において、入出力データポートの動作周波数:メモリ動作周波数=1:2の場合で、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてタイミングt0でR画素を、タイミングt1でG画素を出力した場合のタイミングチャートである。 本発明実施例において、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてタイミングt0でR画素のbit0〜bit13まで切り出し、タイミングt1でG画素のbit0〜bit13まで切り出し場合の図である。 本実施形態において、入出力データポートの動作周波数:メモリ動作周波数=1:2の場合で、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてタイミングt0でR画素のbit4からbit13とG画素のbit2からbit7までを切り出し、タイミングt1でG画素のbit8〜bit13とB画素のbit4〜bit13まで切り出し場合のタイミングチャートである。 本実施形態において、第3の信号処理装置に入力された3チャンネルでそれぞれ14ビットR,G,B画素情報に対し、圧縮部においてタイミングt0でR画素のbit4からbit13とG画素のbit2からbit7までを切り出し、タイミングt1でG画素のbit8〜bit13とB画素のbit4〜bit13まで切り出し場合の図である。 本実施形態において、ＰＣなどで作成した入力画像を第2の記憶媒体に記憶し、フレームバッファに転送し、センサからの入力の変わりに信号処理の入力画像として検証を行う際のビデオカメラシステムの処理フロー図である。 センサからの入力の変わりにＰＣなどで作成した画像を入力画像とする際の概念図である。

符号の説明

20000 …ビデオカメラシステム、21000…センサ装置、22000 …A/D 変換装置、23000 …カメラ信号処理装置、23100,23200 …第 1の信号処理装置、23300 …第２の信号処理装置、23400 …第３の信号処理装置、23410 …制御信号生成部、23420 …SDRAM 制御部、23430 …PAD 、23440 …第 1のクロック乗換え部、23450 …圧縮部、23451 …データ切り出し部、23452 …データパック部、23453 …セレクタ、23440 …第 2のクロック乗換え部、23470 …圧縮部、23471 …データ分配部、23472 …データアンパック部、23473 …データ選択部、23480 …ラインメモリ制御部、23490 …ラインメモリ、24000 …フレームバッファ、25000 …デコーデック変換装置、25100 …動画処理装置、25500 …静止画処理装置、26000 …第１の外部記憶媒体、267000…第２の外部記憶媒体、28000 …制御装置。

Claims (14)

1. 複数チャンネルからの入力データをメモリに書き込む、メモリに書き込まれたデータを複数チャンネルに分配し出力可能で、入出力データポートとメモリ、各々のバス幅と動作周波数の関係が任意に変わるような信号処理装置であって、
   メモリ側バンド幅に合わせてメモリへの書き込み処理方法を選択する書き込み手段と、
   メモリからの読み出し処理方法を選択する読み出し手段と
   を有する信号処理装置。
2. 上記書き込み手段は、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、入力データの全ビットをメモリへ書き込み、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、入力データを圧縮しメモリへ書き込む手段を有する
   請求項１に記載の信号処理装置。
3. 上記書き込み手段は、各チャンネルの入力データの任意のビット位置から任意のビット幅を切り出し入力データのビット幅をメモリ側バンド幅を満たすバス幅まで削減する圧縮手段を有する
   請求項２に記載の信号処理装置。
4. 上記書き込み手段は、入力データポートの動作周波数からメモリの動作周波数へ周波数を乗り換える乗換え手段を有する
   請求項２に記載の信号処理装置。
5. 上記読み出し手段は、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、メモリからの読み出しデータを全チャンネルの全ビットに対し分配して出力し、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、メモリからの読み出しデータを伸張して各チャンネルへ分配する手段を有する
   請求項１に記載の信号処理装置。
6. 上記読み出し手段は、メモリからの読み出しデータを出力各チャンネルの任意のビット位置から任意のビット幅で分配し、各チャンネルに分配したビット位置より下位ビットについては任意の固定値を代入する伸張手段を有する
   請求項４に記載の信号処理装置。
7. 上記読み出し手段は、メモリの動作周波数から出力データポートの動作周波数へ周波数を乗り換える乗換え手段を有する
   請求項４に記載の信号処理装置。
8. 複数チャンネルからの入力データをメモリに書き込む、メモリに書き込まれたデータを複数チャンネルに分配し出力可能で、入出力データポートとメモリ、各々のバス幅と動作周波数の関係が任意に変わるような信号処理方法であって、
   メモリ側バンド幅に合わせてメモリへの書き込み処理方法を選択する第１のステップと、
   メモリからの読み出し処理方法を選択する第２のステップと
   を有する信号処理方法。
9. 上記第１のステップにおいては、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、入力データの全ビットをメモリへ書き込み、入力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、入力データを圧縮しメモリへ書き込む
   請求項８に記載の信号処理方法。
10. 上記第１のステップにおいては、各チャンネルの入力データの任意のビット位置から任意のビット幅を切り出し入力データのビット幅をメモリ側バンド幅を満たすバス幅まで削減する
    請求項９に記載の信号処理方法。
11. 上記第１のステップにおいては、入力データポートの動作周波数からメモリの動作周波数へ周波数を乗り換える
    請求項９に記載の信号処理方法。
12. 上記第２のステップにおいては、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りている場合は、メモリからの読み出しデータを全チャンネルの全ビットに対し分配して出力し、出力全チャンネルの総データ幅と動作周波数に対し、メモリのバンド幅が足りない場合は、メモリからの読み出しデータを伸張して各チャンネルへ分配する
    請求項８に記載の信号処理方法。
13. 上記第２のステップにおいては、メモリからの読み出しデータを出力各チャンネルの任意のビット位置から任意のビット幅で分配し、各チャンネルに分配したビット位置より下位ビットについては任意の固定値を代入する
    請求項１１に記載の信号処理方法。
14. 上記第２のステップにおいは、メモリの動作周波数から出力データポートの動作周波数へ周波数を乗り換える
    請求項１１に記載の信号処理方法。
    

Images