JP4522640B2

JP4522640B2 - Data transfer system and data transfer method

Info

Publication number: JP4522640B2
Application number: JP2002095144A
Authority: JP
Inventors: 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2002-03-29
Filing date: 2002-03-29
Publication date: 2010-08-11
Anticipated expiration: 2022-03-29
Also published as: JP2003298996A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル・カメラなどの撮像装置で撮像した画像データを転送するデータ転送システムおよびデータ転送方法に関する。
【０００２】
【従来の技術】
図１３は、一般的なデジタル・カメラ１００の概略構成図である。このデジタル・カメラ１００においては、被写体（図示せず）から入射した光は、光学系１０１、色補正フィルタ１０２および光学ローパスフィルタ１０３を順次通過し、色フィルタアレイ１０４で着色された後に撮像センサ１０５で受光される。撮像センサ１０５は、入射光を光電変換してアナログ画像信号を出力する。この撮像センサ１０５が出力するアナログ画像信号は、画像処理部１０６でＡ／Ｄ変換された後、ホワイトバランス調整、ガンマ補正、画素補間、輪郭強調、解像度変換などのデジタル画像処理を施される。主メモリ１０８は、画像処理部１０６で処理したデータを一時的に格納したり、そのデジタル画像処理を実行する際の作業領域として利用されたりする。
【０００３】
また、画像処理部１０６から出力された画像データは、カード・インターフェース１１０Ａを介してメモリカード１１０に書き出されたり、液晶モニタ１０９に転送されて表示されたり、若しくは、周辺インターフェース１１１を介してＰＣなどの外部機器に出力されたりする。
【０００４】
上記デジタル・カメラ１００としては単板の撮像センサ１０５を搭載するものがある。この種の撮像センサ１０５の感光部上には、各画素毎に１色の色フィルタをもつ単板式の色フィルタアレイ１０４が形成されている。このため、撮像センサ１０５が出力するアナログ画像信号は、各画素につき１色成分のみを有している。このアナログ画像信号をＡ／Ｄ変換して得られるデジタル画像データは原画像データ（RAW image data）と呼ばれている。原画像データはそのままではディスプレイでカラー表示できないため、画像処理部１０６は、周辺画素の色成分を用いて着目画素に欠けてる色成分を補間する画素補間処理を行う。例えば、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３原色のうちＲ成分のみをもつ着目画素に対しては、周辺画素のＧ成分およびＢ成分を用いてＧ成分とＢ成分が補間される。
【０００５】
また、デジタル・カメラ１００の一機能として、上記デジタル画像処理による階調および色再現性の低下を避けるために原画像データを未処理のまま外部に転送する機能がある。この機能では、図１４に示すように、原画像データは、主メモリ１０８に一旦バッファリングされた後に、周辺インターフェース１１１を介してＰＣ（パーソナル・コンピュータ）などの外部機器１１２に出力される。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記原画像データのサイズは大きいため、主メモリ１０８に要求される容量は非常に大きなものとなる。これは、回路の大規模化や製造コストの上昇、消費電力の増大を招くという問題があった。
【０００７】
以上の問題に鑑みて本発明が目的とするところは、転送する原画像データを一時的に記憶する主メモリ１０８の容量を削減し、回路の小規模化、低消費電力化および低コスト化を実現し得るデータ転送システムおよびデータ転送方法を提供する点にある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に係る発明は、単板式の撮像部から入力されるＲＡＷ画像データを転送するデータ転送システムであって、前記ＲＡＷ画像データを可逆圧縮符号化した圧縮データを出力する圧縮部と、前記圧縮部から出力され転送された前記圧縮データを一時的に記憶するバッファメモリと、前記バッファメモリから読み出され転送された圧縮データを外部装置に出力するインターフェースと、前記バッファメモリに記憶された前記圧縮データを前記インターフェースに転送する転送制御部と、前記バッファメモリから読み出され転送された前記圧縮データを伸長したＲＡＷ画像データを出力する伸長部と、前記伸長部から出力され転送された前記ＲＡＷ画像データに対してリアルタイムに画像処理を施す画像処理部と、を備えることを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１記載のデータ転送システムであって、前記ＲＡＷ画像データとして１フレームが複数のフィールドに分かれて順次入力しており、前記転送制御部は、入力する前記ＲＡＷ画像データの各フィールドをバッファメモリに転送し記憶させ、当該バッファメモリに記憶された前記ＲＡＷ画像データをフレーム単位で読み出して前記圧縮部に転送する機能を更に備えている。
【００１１】
請求項３に係る発明は、請求項１記載のデータ転送システムであって、前記ＲＡＷ画像データとして１フレームが複数のフィールドに分かれて順次入力しており、前記圧縮部は、入力する前記各フィールドをフィールド単位で圧縮符号化して圧縮データを出力し、前記転送制御部は、前記圧縮部から出力された前記圧縮データをフィールド単位でバッファメモリに転送して記憶させ、当該バッファメモリに記憶された前記圧縮データをフィールド単位で読み出して前記伸長部に転送する機能を更に備えており、前記伸長部は、前記バッファメモリから転送された前記圧縮データをフィールド単位で伸長して得たＲＡＷ画像データをフレーム単位で前記圧縮部に出力するものである。
【００１２】
請求項４に係る発明は、請求項３記載のデータ転送システムであって、前記転送制御部は、少なくともＭ個（Ｍ：１フレームを構成するフィールドの数）のＤＭＡ（ダイレクト・メモリ・アクセス）チャンネルを有するＤＭＡコントローラを備えると共に、前記バッファメモリから前記圧縮データをフィールド単位で読出して前記伸長部に転送する時に前記Ｍ個のＤＭＡチャンネルを前記各フィールドの圧縮データの転送にそれぞれ割り当てる制御手段を備えており、前記伸長部は、前記ＤＭＡコントローラによって並列に転送された前記圧縮データを各フィールド毎に並列に伸長する機能を有するものである。
【００１３】
請求項５に係る発明は、請求項１〜４の何れか１項に記載のデータ転送システムであって、前記圧縮部は、前記ＲＡＷ画像データの画素間の差分値を算出する差分値算出部と、前記差分値を可逆符号化する符号化部とを備えてなるものである。
【００１４】
請求項６に係る発明は、請求項５記載のデータ転送システムであって、前記差分値算出部は水平方向に隣接する画素間の差分値を算出する機能を有するものである。
【００１５】
請求項７に係る発明は、請求項５記載のデータ転送システムであって、前記差分値算出部は水平方向に沿った１画素おきの画素間の差分値を算出する機能を有するものである。
【００１６】
請求項８に係る発明は、請求項５記載のデータ転送システムであって、前記差分値算出部は垂直方向に隣接する画素間の差分値を算出する機能を有するものである。
【００１７】
請求項９に係る発明は、請求項５記載のデータ転送システムであって、前記差分値算出部は垂直方向に１画素おきの画素間の差分値を算出する機能を有するものである。
【００１８】
請求項１０に係る発明は、請求項５記載のデータ転送システムであって、前記差分値算出部は、請求項６〜９に記載の機能のうち少なくとも２の機能を選択自在に有するものである。
【００１９】
次に、請求項１１に係る発明は、単板式の撮像部から入力されるＲＡＷ画像データを転送するデータ転送方法であって、（ａ）前記ＲＡＷ画像データを可逆圧縮符号化して圧縮データを出力する工程と、（ｂ）前記工程（ａ）で出力された前記圧縮データをバッファメモリに転送して一時的に記憶させる工程と、（ｃ）前記工程（ｂ）で記憶された前記圧縮データを読み出してインターフェースに転送し、該インターフェースを介して前記圧縮データを外部装置に出力する工程と、（ｅ）前記工程（ｂ）で前記バッファメモリに記憶された前記圧縮データを読み出して転送し、その後に伸長してＲＡＷ画像データを出力する工程と、（ｆ）前記工程（ｅ）で出力され転送された前記ＲＡＷ画像データに対してリアルタイムに画像処理を施す工程と、を備えることを特徴とするものである。
【００２１】
請求項１２に係る発明は、請求項１１記載のデータ転送方法であって、前記工程（ａ）〜（ｃ）の前において、（ｇ）１フレームが複数のフィールドに分かれて順次入力する前記ＲＡＷ画像データをバッファメモリに転送して記憶させる工程と、（ｈ）前記工程（ｇ）で前記バッファメモリに記憶された前記ＲＡＷ画像データをフレーム単位で読み出して転送する工程と、を更に備え、前記工程（ａ）は、前記工程（ｈ）で転送された前記ＲＡＷ画像データを可逆圧縮符号化する工程とするものである。
【００２２】
請求項１３に係る発明は、請求項１１記載のデータ転送方法であって、前記工程（ａ）〜（ｃ）の前において、（ｉ）１フレームが複数のフィールドに分かれて順次入力する前記ＲＡＷ画像データを圧縮符号化して圧縮データを出力する工程と、（ｊ）前記工程（ｉ）で出力された前記圧縮データをフィールド単位でバッファメモリに転送して記憶させる工程と、（ｋ）前記工程（ｊ）で前記バッファメモリに記憶された前記圧縮データをフィールド単位で読み出して転送する工程と、（ｍ）前記工程（ｋ）で転送された前記圧縮データをフィールド単位で伸長して得た原画像データをフレーム単位で出力する工程と、を更に備え、前記工程（ａ）は、前記工程（ｍ）で出力された前記ＲＡＷ画像データを可逆圧縮符号化する工程としたものである。
【００２３】
請求項１４に係る発明は、請求項１３記載のデータ転送方法であって、前記工程（ｊ）は、少なくともＭ個（Ｍ：１フレームを構成するフィールドの数）のＤＭＡ（ダイレクト・メモリ・アクセス）チャンネルを有するＤＭＡコントローラを用い、前記Ｍ個のＤＭＡチャンネルを前記各フィールドの圧縮データの転送にそれぞれ割り当てて、前記圧縮データを前記バッファメモリへフィールド単位で並列に転送する工程を含み、前記工程（ｍ）を、前記工程（ｊ）で並列に転送された前記圧縮データを各フィールド毎に並列に伸長する工程としたものである。
【００２４】
請求項１５に係る発明は、請求項１１〜１４の何れか１項に記載のデータ転送方法であって、前記工程（ａ）は、（ａ−１）前記ＲＡＷ画像データの画素間の差分値を算出する工程と、（ａ−２）前記差分値を可逆符号化する工程と、を備えてなるものである。
【００２５】
請求項１６に係る発明は、請求項１５記載のデータ転送方法であって、前記工程（ａ−１）は、水平方向に隣接する画素間の差分値を算出する工程を含むものである。
【００２６】
請求項１７に係る発明は、請求項１５記載のデータ転送方法であって、前記工程（ａ−１）は、水平方向に沿った１画素おきの画素間の差分値を算出する工程を含むものである。
【００２７】
請求項１８に係る発明は、請求項１５記載のデータ転送方法であって、前記工程（ａ−１）は、垂直方向に隣接する画素間の差分値を算出する工程を含むものである。
【００２８】
請求項１９に係る発明は、請求項１５記載のデータ転送方法であって、前記工程（ａ−１）は、垂直方向に１画素おきの画素間の差分値を算出する工程を含むものである。
【００２９】
請求項２０に係る発明は、請求項１５記載のデータ転送方法であって、前記工程（ａ）は、請求項１６〜１９に記載の工程のうち少なくとも２の工程から１の工程を選択する工程を更に備え、前記工程（ａ−１）は選択された前記工程により実行されるものである。
【００３０】
【発明の実施の形態】
デジタル・カメラ．
本発明に係るデータ転送システムおよびそのデータ転送方法について説明する前に、そのデータ転送システムを搭載するデジタル・カメラの構成について概説する。
【００３１】
図１は、そのデジタル・カメラ１の概略構成図である。このディジタル・カメラ１は、各種レンズ群からなる光学系１０、光学フィルタ１１、単板のＣＣＤ撮像センサ１２およびアナログ信号処理回路１３を備えている。被写体からの入射光８は、その光学系１０と光学フィルタ１１を透過してＣＣＤ撮像センサ１２で検出される。ＣＣＤ撮像センサ１２は、入射光をアナログ画像信号に変換してアナログ信号処理回路１３に出力し、アナログ信号処理回路１３は、そのアナログ画像信号を原画像データ（RAW image data）に変換して出力することになる。この原画像データは１画素当たり１２ビット長の１色成分をもつ。
【００３２】
また、図１中、符号１５はＣＣＤ撮像センサ１２を駆動するＣＣＤ駆動回路、１６はＣＣＤ撮像センサ１２やＲＰＵ１４などにクロック信号を供給するタイミングジェネレータ、１８はＰＬＬ発振回路、１７はＣＰＵ、１９はコプロセッサ（補助演算装置）、２９はバスを表しており、また、符号２４はＤＭＡコントローラ、２５はＪＰＥＧ処理部２５、２６は主メモリ２６，３０はストロボを表している。
【００３３】
前記ＣＣＤ撮像センサ１２は、入射光を光電変換して生成したキャリア（電子またはホール）を蓄積する電荷蓄積部や、蓄積したキャリアを転送する電荷転送部などを搭載したものである。このＣＣＤ撮像センサ１２の感光部上には、各画素毎に１色の色フィルタをもつ色フィルタアレイが形成されている。このＣＣＤ撮像センサ１２の代わりにＣＭＯＳ撮像センサを用いてもよい。撮像センサとしては、１フレームのうち奇数番目ラインからなる奇数フィールドと偶数番目ラインからなる偶数フィールドとを交互に読出すインターレーススキャン（飛び越し走査）方式の撮像センサや、１フレームの画像信号を一度に読出すプログレッシブスキャン（順次走査）方式の撮像センサが一般的である。尚、１フレームを構成する３フィールドを順次読み出して出力する走査方式の撮像センサも知られている。
【００３４】
また、前記アナログ信号処理回路１３は、ＣＤＳ（Correlated Double Sampling；相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control；自動利得制御）回路およびＡ／Ｄ変換回路を備えている。ＣＣＤ撮像センサ１２は、通常黒レベルの基準レベルをもつ基準信号と、その基準信号を含む画像信号とを時分割で交互に出力する。ＣＤＳ回路は、ノイズ成分を除去するために、その基準信号と画像信号とをサンプリングし、両信号の差分信号を取り出して出力する。また、ＡＧＣ回路は、ＣＤＳ回路から出力された差分信号の信号レベルを適正化した信号を出力する。そして、Ａ／Ｄ変換回路は、ＡＧＳ回路から出力されたアナログ信号を所定の周波数でサンプリングし、所定の量子化ビット数で量子化して原画像データを出力する。
【００３５】
アナログ信号処理回路１３からは、原画像データが、ＲＰＵ（リアルタイム・プロセッシング・ユニット）１４または圧縮伸長回路９へ出力される。また、ＲＰＵ１４は、入力する原画像データにデジタル画像処理を施してその処理結果を圧縮伸長回路９に出力する。図２に、前記ＲＰＵ１４の概略構成を示す。このＲＰＵ１４は、単一画素処理部１４ａ、画素補間・ガンマ補正処理部１４ｂ、色空間変換・色抑圧処理部１４ｃ、空間フィルタ・コアリング処理部１４ｄおよび解像度変換部１４ｅを備えた集積回路であり、各機能ブロック１４ａ〜１４ｅはパイプライン制御によって並列に処理を実行できる。
【００３６】
ＲＰＵ１４の各機能ブロック１４ａ〜１４ｅの処理の概要は以下の通りである。単一画素処理部１４ａは、アナログ信号処理回路１３から出力された画像信号を画素単位で処理する機能ブロックである。具体的には、この単一画素処理部１４ａは、入力信号を複数フレームもしくは複数フィールドに亘って平均化する経時的平均化処理や、画像中の明暗の輝度ムラを補正するシェーディング補正処理などを行うことができる。
【００３７】
また、画素補間・ガンマ補正処理部１４ｂは、各画素毎に欠けている色成分を周辺画素を用いて補間する画素補間処理と、ガンマ特性を補正するガンマ補正処理とを実行する機能ブロックである。単板式のＣＣＤ撮像センサ１２では、各画素当たり１色成分しか得られないため、着目画素近傍の周辺画素を用いて当該着目画素が複数の色成分をもつように画素補間処理がなされる。
【００３８】
また、色空間変換・色抑圧処理部１４ｃは、入力信号の色空間を変換する色空間変換処理と、ホワイトバランスが狂い易い画像中の明部と暗部における発色を抑制する色抑制処理とを実行する機能ブロックである。色空間変換処理では、例えば、原色系のＲＧＢ色空間から、１つの輝度成分と２つの色差成分とからなるＹＣｂＣｒ色空間やＹＵＶ色空間へ変換する処理が実行される。
【００３９】
また、空間フィルタ・コアリング処理部１４ｄは、空間フィルタ（重みマスク）を用いた空間フィルタリング処理と、主に画像信号の高域成分を抑える非線形処理（コアリング処理）とを実行する機能ブロックである。この機能ブロックでは、画像信号中の５×５画素程度の局所領域において着目画素とその周辺画素とにフィルタ係数を重み付けし、積和演算または非線形演算を行うことで求めた値をその着目画素の値として出力する処理が行われる。フィルタ係数を適宜設定することで、画像中の線やエッジ部分を強調したり、平滑化したりすることができる。
【００４０】
そして、解像度変換部１４ｅは、入力信号の画像サイズ（解像度）を縮小または拡大する処理を実行する機能ブロックである。この解像度変換部１４ｅは、入力信号の解像度を変換せずに入力信号をそのまま出力することもできる。
【００４１】
また、圧縮伸長回路９は、ＲＰＵ１４またはアナログ信号処理回路１３から入力する信号を圧縮符号化してバス２９に出力する機能を有しており、入力信号を圧縮符号化せずに出力することも可能である。そのバス２９に出力されたデータは、ＣＰＵ１７またはＤＭＡコントローラ２４の転送制御によって主メモリ２６へ転送される。また、圧縮伸長回路９は、後述するように圧縮符号化したデータを伸長する復号化機能も有している。
【００４２】
ＣＰＵ１７は、主メモリ２６に格納されたデータを読み出して種々の処理を施すことができる。ＣＰＵ１７は、例えば、ＪＰＥＧ処理部２５にそのデータを高能率符号化させ、その圧縮データをカードインターフェース２７Ａを介してメモリカード２７に書き出したり、周辺インターフェース２８を介してＰＣ（パーソナル・コンピュータ）などの外部機器３１に出力したりするように制御できる。
【００４３】
また、ＣＰＵ１７は、主メモリ２６から読出した画像データをバス２９を介してディスプレイ・モジュールに転送し、ＬＣＤ（液晶ディスプレイ）２３で表示させるように制御することも可能である。ディスプレイ・モジュールに転送された画像データは、デジタル・エンコーダ２１でエンコードされてＬＣＤ駆動回路２２に出力される。ＬＣＤ駆動回路２２がデジタル・エンコーダ２１からの入力信号に基づいてＬＣＤ２３を駆動することでその画像データが表示される。
【００４４】
また、ＤＭＡコントローラ２４は、ＣＰＵ１７に依存せずに、バス２９を介したデータ転送を行う機能を有する。このＤＭＡコントローラ２４は、複数のＤＭＡチャンネル（図示せず）と、これらＤＭＡチャンネル間の実行順序を調整する調停回路（図示せず）などを備えている。このＤＭＡコントローラ２４は、転送元のデバイスからＤＭＡ要求を受けると、ＣＰＵ１７に対してバス２９の使用権の解放を要求する。ＣＰＵ１７がその使用権の解放要求に対して許可信号を発行した場合にはＤＭＡコントローラ２４はバス２９の使用権を獲得し、ＤＭＡチャンネルが生成する制御信号に基づいてデータ転送を実行する。データ転送が終了した後は、ＤＭＡコントローラ２４はバス２９の使用権をＣＰＵ１７に返還する。
【００４５】
以上の構成を有するデジタル・カメラ１に組み込まれたデータ転送システムについて以下に説明する。
【００４６】
実施の形態１．
図３は、本発明の実施の形態１に係るデータ転送システムの概略構成を示す機能ブロック図である。このデータ転送システムは、上記アナログ信号処理回路１３から出力された原画像データ４０を圧縮符号化する圧縮部９Ｃとその圧縮データを復号化する伸長部９Ｅとを有する圧縮伸長回路９と、主メモリ２６とを備えたものである。前記原画像データ４０のフォーマットは、上記インターフェーススキャンによるインターレース形式と、上記プログレッシブスキャンによるプログレッシブ形式の何れでもよい。また、図３に明示しないが、このデータ転送システムは、更に、圧縮伸長回路９と主メモリ２６との間でデータを伝送するバス２９と、このバス２９を介したデータ転送を実行する転送制御部（図示せず）とを備えている。この転送制御部は、上記ＣＰＵ１７およびＤＭＡコントローラ２４の何れでもよい。ＤＭＡコントローラ２４を採用する場合は、ＣＰＵ１７に依存しない高速なデータ転送が可能となり、ＣＰＵ１７の処理負荷が軽減されるために好ましい。
【００４７】
このデータ転送システムは、原画像データ４０をそのまま外部に出力する「ＲＡＷデータ出力モード」と、その原画像データ４０を上記ＲＰＵ１４で画像処理に供する「画像処理モード」との２種類の処理モードを有している。
【００４８】
「ＲＡＷデータ出力モード」での処理は以下の通りである。図３に示す通り、上記アナログ信号処理回路１３から出力された原画像データ４０は、圧縮伸長回路９の圧縮部９Ｃで圧縮符号化され、圧縮データ４０Ｃとなって出力される。次いで、その圧縮データ４０Ｃは、転送制御部によってバス２９を介して主メモリ２６の原画像データバッファ２６ａに転送され一時的に記憶される。
【００４９】
次いで、転送制御部によって前記原画像データバッファ２６ａから原画像データ４１Ａが読み出され、バス２９を介してカードインターフェース２７Ａに転送された後にメモリカード２７に書き出される。若しくは、原画像データバッファ２６ａに記憶された原画像データ４１Ｂをバス２９を介して周辺インターフェース２８に転送し、外部機器３１に出力してもよい。メモリカード２７に格納された圧縮データは、ＰＣ（パーソナル・コンピュータ）などの外部装置によって読み出され復号化されて、原画像データに復元される。この原画像データは、画素補間やガンマ変換などの画像処理を施される。外部機器３１に出力された原画像データについても同様である。
【００５０】
このように、原画像データ４０は、圧縮伸長回路９で圧縮された後に主メモリ２６に記憶され、その後、読み出されてメモリカード２７や外部機器３１に転送、出力される。よって、原画像データバッファ２６ａの必要容量を小さく抑えられることから、比較的小容量の主メモリ２６を採用し、回路の小規模化、低消費電力化および低コスト化を実現することが可能である。
【００５１】
次に、上記「画像処理モード」での処理内容を図４を参照しつつ以下に説明する。図４に示す例では、プログレッシブ形式の原画像データ４０が上記アナログ信号処理回路３１から出力されるものとする。このアナログ信号処理回路１３が出力した原画像データ４０は、圧縮伸長回路９の圧縮部９Ｃで圧縮符号化され、圧縮データ４０Ｃとなって出力される。その圧縮データ４０Ｃは、転送制御部によってバス２９を介して主メモリ２６の原画像データバッファ２６ａに転送され格納される。
【００５２】
また、転送制御部は、その原画像データバッファ２６ａから圧縮データ４２を読み出してバス２９を介して圧縮伸長回路９に転送する。次いで、転送された圧縮データ４２は、圧縮伸長回路９の伸長部９Ｅで伸長復号化され、その結果、圧縮符号化前の原画像データ４３となってＲＰＵ１４に供給される。ＲＰＵ１４は、入力データ４３に対してリアルタイムの画像処理を実行する。その後、ＲＰＵ１４が出力した処理データ４４は、転送制御部によって主メモリ２６の第２データバッファ２６ｂに転送され格納される。
【００５３】
次に、ＣＰＵ１７は、第２データバッファ２６ｂから処理データ４５を読み出し、この処理データ４５に対して、主メモリ２６上の第３データバッファ２６ｃを一時的な作業領域として利用して高能率符号化などを実行する。その処理データ４６Ａは、バス２９を介してカードインターフェース２７Ａに転送されメモリカード２７に書き出されたり、若しくは、周辺インターフェース２８に転送され外部機器３１に出力されたりする。
【００５４】
ところで、インターレース形式の原画像データ４０が上記アナログ信号処理回路３１から出力される場合、圧縮伸長処理回路９には、偶数フィールドと奇数フィールドとが交互に入力する。かかる場合、圧縮伸長処理回路９の圧縮部９Ｃは、それら２種のフィールドのうち一方の第１フィールドのみを圧縮して原画像データバッファ２６ａに格納させる。次に入力する第２フィールドと同期させて、原画像データバッファ２６ａから圧縮データを読出し、伸長部９Ｅで伸長して第１フィールドを復元する。そして、入力する当該第２フィールドと伸長した第１フィールドとを１フレームに合成してＲＰＵ１４に入力させるという処理が実行される。
【００５５】
このように原画像データ４０を主メモリ２６を介してＲＰＵ１４に転送し供給する場合でも、その原画像データ４０を圧縮した状態で主メモリ２６に記憶できる。従って、「ＲＡＷデータ出力モード」と「画像処理モード」との双方で、比較的小容量の主メモリ２６を採用でき、回路の小規模化、低消費電力化および低コスト化が実現可能となる。
【００５６】
次に、上記圧縮部９Ｃの圧縮符号化処理について説明する。この圧縮部９Ｃは、図５に示すように、差分値算出部６０と符号化部６１とで構成されている。差分値算出部６０は、入力する原画像データ４０の画素間の差分値を算出するものである。その差分値は、符号化部６１でロスレス（可逆）圧縮を施され、上記圧縮データ４０Ｃとなって出力される。また、符号化部６１は、入力データに対してエントロピー符号化やハフマン符号化、算術符号化などを施してその入力データを圧縮する機能をもつ。また、上記伸長部９Ｅは、この圧縮部９Ｃの圧縮符号化機能に対する復号化機能を備えている。
【００５７】
差分値算出部６０における差分値算出処理には複数の機能（モード）が用意されており、圧縮部９Ｃに入力する原画像データ４０の種類に応じて選択され得る。第１の機能は、図６に示すように、原画像データ４０の画素データ列４０₁，４０₂，４０₃，…，４０₆，４０₇，…に対して、点線で対応付けられた水平方向に隣接する画素間の差分値を算出するものである。また、第２の機能は、図７に示すように、原画像データ４０の画素データ列４０₁，４０₂，４０₃，…，４０₆，４０₇，…に対して、点線で対応付けられた水平方向に沿った一画素おきの画素間の差分値を算出するものである。
【００５８】
また、異なる水平ライン間の差分値を算出する機能（モード）も用意されている。第３の機能は、図８に示すように、画素データ列からなる複数の水平ラインＬ１，Ｌ２，Ｌ３，…に対して、点線で対応付けられた垂直方向に隣接する画素間の差分値を算出するものである。また、第４の機能は、図９に示すように、画素データ列からなる複数の水平ラインＬ１，Ｌ２，Ｌ３，…に対して、点線で対応付けられた垂直方向に１画素おきの画素間の差分値を算出するものである。
【００５９】
以上の第１〜第４の差分値算出機能は、ＣＣＤ撮像センサ１２が採用する色フィルタアレイや走査方式の種類に応じて適宜選択され得る。例えば、ＣＣＤ撮像センサ１２で採用される色フィルタが、水平方向に沿って、Ｒ（赤色），Ｒ，Ｒ，Ｒ，…の色の順で配列していた場合は、差分値算出部６０は、上記第１の機能を選択して水平方向に隣接する同色画素間の差分値を算出すればよい。一方、ＣＣＤ撮像センサ１２で採用される色フィルタが、Ｒ（赤色），Ｇ（緑色），Ｒ，Ｇ，Ｒ，Ｇ，…の色の順で配列していた場合は、差分値算出部６０は、上記第２の機能を選択して水平方向に沿った１画素おきの同色画素間の差分値を算出すればよい。
【００６０】
また、ＣＣＤ撮像センサ１２の走査方式に応じて上記第３および第４の機能の何れかを選択することも可能である。例えば、Ｒ，Ｇ，Ｒ，Ｇ，…の色フィルタの順で配列する偶数番目ラインと、Ｇ，Ｂ，Ｇ，Ｂ，…の色フィルタの順で配列する奇数番目ラインとが交互に形成された色フィルタアレイを想定すると、ＣＣＤ撮像センサ１２がインターレーススキャンで駆動される場合は、偶数番目ラインのみからなる偶数フィールドと、奇数番目ラインのみからなる奇数フィールドとが交互に入力するため、差分値算出部６０は、上記第３の機能を選択して垂直方向に隣接する同色画素間の差分値を算出すればよい。他方、ＣＣＤ撮像センサ１２がプログレッシブスキャンで駆動される場合は、偶数番目ラインと奇数番目ラインとが交互に入力するため、差分値算出部６０は、上記第４の機能を選択して垂直方向に１画素おきに隣接する同色画素間の差分値を算出すればよい。
【００６１】
実施の形態２．
次に、本発明の実施の形態２に係るデータ転送システムおよびその方法について説明する。図１０は、その実施の形態２に係るデータ転送システムの概略構成を示す機能ブロック図である。このデータ転送システムも、上述した図１に示すデジタル・カメラ１に組み込まれているものとし、図１０中、図１に示した符号と同一符号を付された機能ブロックは、図１中の当該符号を付した機能ブロックと同一機能を有するものとする。
【００６２】
このデータ転送システムは、インターレーススキャンのＣＣＤ撮像センサ１２に適用される。このとき、アナログ信号処理回路１３は、１フレーム中の偶数番目ラインのみからなる偶数フィールドと、その奇数番目ラインのみからなる奇数フィールドとを交互に出力する。本実施の形態では、偶数フィールドと奇数フィールドとの何れか一方を第１フィールドと呼び、他方を第２フィールドと呼ぶ。
【００６３】
上記実施の形態１と同様に本実施の形態２においても、データ転送システムは「ＲＡＷデータ出力モード」と「画像処理モード」とを備えている。「ＲＡＷデータ出力モード」における処理内容は次の通りである。図１０に示すように、アナログ信号処理回路１３から交互に出力される第１フィールド４７Ａと第２フィールド４７Ｂとは、圧縮伸長回路９で圧縮されずに、上記転送制御部によってバス２９を介して主メモリ２６の第１データバッファに転送され格納される。また、上記転送制御部によって、この第２データバッファから原画像データ４８がフレーム単位で読み出され、バス２９を介して圧縮伸長回路９に転送される。従って、圧縮伸長回路９にはプログレッシブ形式の原画像データ４８が入力する。尚、第１および第２フィールド４７Ａ，４７Ｂを第１データバッファ２６ｄにプログレッシブ形式で書き込んでもよいし、若しくは、第１データバッファ２６ｄにインターレース形式で書き込まれた原画像データをプログレッシブ形式で読出してもよい。
【００６４】
圧縮伸長回路９では、圧縮部９Ｃは、転送された原画像データ４８を圧縮符号化して圧縮データ４９を出力する。転送制御部は、圧縮部９Ｃから出力された圧縮データ４９をバス２９を介して主メモリ２６の第２データバッファ２６ｅに転送し格納させる。
【００６５】
そして、転送制御部は、第２データバッファ２６ｅから圧縮データ５０Ａを読み出し、バス２９を介してカードインターフェース２７Ａに転送し、カードインターフェース２７Ａは転送された圧縮データ５０Ａをメモリカード２７に書き出すように制御できる。若しくは、第２データバッファ２６ｅに格納された圧縮データ５０Ｂを読出し、バス２９を介して周辺インターフェース２８に転送し外部機器３１に出力してもよい。
【００６６】
一方、「画像処理モード」での処理内容は、上記実施の形態１のそれと略同様である。すなわち、図１０に示す第２データバッファ２６ｅに格納された圧縮データが読み出され、伸長部９Ｅで復号化された後にＲＰＵ１４に供給される。その後の処理は、図４に示した処理と同一であるため詳細な説明を省略する。
【００６７】
このように本実施の形態２では、インターレーススキャンのＣＣＤ撮像センサ１２に対しても、実施の形態１の場合と同様に、比較的小容量の主メモリ２６を採用でき、回路の小規模化、低消費電力化および低コスト化が可能となる。
【００６８】
実施の形態３．
次に、本発明の実施の形態３に係るデータ転送システムおよびその方法について説明する。図１１および図１２は、その実施の形態３に係るデータ転送システムの概略構成を示す機能ブロック図である。このデータ転送システムも、上述した図１に示すデジタル・カメラ１に組み込まれているものとし、図１１および図１２中、図１に示した符号と同一符号を付された機能ブロックは、図１中の当該符号を付した機能ブロックと同一機能を有するものとする。
【００６９】
このデータ転送システムは、インターレーススキャンのＣＣＤ撮像センサ１２に適用される。上記実施の形態１と同様に本実施の形態３において、データ転送システムは「ＲＡＷデータ出力モード」と「画像処理モード」とを有する。「ＲＡＷデータ出力モード」における処理内容は次の通りである。最初のステップでは、図１１に示すように、アナログ信号処理回路１３から交互に出力される第１フィールド４７Ａと第２フィールド４７Ｂとは、圧縮伸長回路９の圧縮部９Ｃで圧縮された後に、ＤＭＡコントローラ２４によってバス２９を介して主メモリ２６のバッファにＤＭＡ転送される。このとき、第１フィールド５１Ａの圧縮データ５２Ａは、第１データバッファ２６ｆに格納され、第２フィールド５１Ｂの圧縮データ５２Ｂは、第２データバッファ２６ｇに格納される。
【００７０】
次のステップでは、図１２に示すように、ＤＭＡコントローラ２４によって、主メモリ２６の第１データバッファ２６ｆから圧縮データ５３Ａを読み出し、バス２９を介して圧縮伸長回路９の第１伸長部９Ｅ₁に転送する処理が実行される。この処理と同期して、ＤＭＡコントローラ２４によって第２データバッファ２６ｇから圧縮データ５３Ｂが読み出され、バス２９を介して圧縮伸長回路９の第２伸長部９Ｅ₂に転送される。
【００７１】
上記ＤＭＡコントローラ２４は、少なくともフィールドの個数のＤＭＡチャンネル（図示せず）を備えている。ＣＰＵ１７の制御により、各ＤＭＡチャンネルは、第１データバッファ２６ｆと第１伸長部９Ｅ₁間のデータ転送と、第２データバッファ２６ｇと第２伸長部９Ｅ₂間のデータ転送とにそれぞれ割り当てられるため、圧縮データ５３Ａ，５３Ｂは並行にＤＭＡ転送される。これにより、両フィールドのデータ転送を短時間で且つ効率良く行うことができる。
【００７２】
次に、第１伸長部９Ｅ₁と第２伸長部９Ｅ₂とは、それぞれ、入力する各フィールドの圧縮データを伸長して原画像データを復元し、この原画像データをフレーム単位で圧縮部９Ｃに出力する。従って、伸長後の第１フィールド５４Ａと第２フィールド５４Ｂとはプログレッシブ形式で圧縮部９Ｃに入力させられる。言い換えれば、第１伸長部９Ｅ₁が出力する画素データと、第２伸長部９Ｅ₂が出力する画素データとはライン単位で交互に圧縮部９Ｃに入力させられることになる。
【００７３】
圧縮部９Ｃは、プログレッシブ形式で入力する原画像データ５４Ａ，５４Ｂを圧縮符号化して圧縮データ５５を出力する。その圧縮データ５５は、第３データバッファ２６ｈに転送されバッファリングされた後に読み出され、圧縮データ５６Ａとしてカードインターフェース２７Ａに転送されメモリカード２７に書き出されるか、或いは、圧縮データ５６Ｂとして周辺インターフェース２８に転送され外部機器３１に出力される。
【００７４】
一方、「画像処理モード」での処理内容は、上記実施の形態１のそれと略同様である。すなわち、図１２に示す第３データバッファ２６ｈに格納された圧縮データが読み出され、第１伸長部９Ｅ₁または第２伸長部９Ｅ₂で復号化され、１フレームに合成されてＲＰＵ１４に供給される。その後の処理は、上記実施の形態１で述べた処理と同じであるため詳細な説明を省略する。
【００７５】
このように本実施の形態３では、上記実施の形態２とは異なる方法で、インターレーススキャンのＣＣＤ撮像センサ１２に対してデータ転送を行うことが可能であり、比較的小容量の主メモリ２６を採用でき、回路の小規模化、低消費電力化および低コスト化が可能となる。
【００７６】
【発明の効果】
以上の如く、本発明の請求項１に係るデータ転送システムおよび請求項１１に係るデータ転送方法によれば、ＲＡＷ画像データは、圧縮された後にバッファメモリに記憶される。また、上記転送制御部によって、バッファメモリに記憶された圧縮データは上記インターフェースに転送され、メモリカードやＰＣ（パーソナル・コンピュータ）などの外部装置へ出力される。従って、そのバッファメモリの必要容量を小さく抑えられることから、回路の小規模化、低消費電力化および低コスト化を実現できる。
【００７７】
また、請求項１および請求項１１によれば、ＲＡＷ画像データをバッファメモリを介して転送して画像処理に供する場合でも、そのＲＡＷ画像データは圧縮状態でバッファメモリに一時的に記憶されるため、バッファメモリの必要容量を小さく抑えられ、回路の小規模化、低消費電力化および低コスト化を実現できる。
【００７８】
請求項２および請求項１２によれば、１フレームが複数のフィールドに分かれて入力するＲＡＷ画像データを、バッファメモリに一旦記憶させた後にフレーム単位で読出すことで、プログレッシブ形式のデータに変換できる。従って、複数フィールドに分かれて入力するＲＡＷ画像データに対してもＲＡＷ画像データのデータ転送処理が可能となる。
【００７９】
請求項３および請求項１３によれば、複数のフィールドに分かれて入力するＲＡＷ画像データは、圧縮された状態でバッファメモリに記憶されるため、バッファメモリの必要容量を小さく抑えられ、回路の小規模化、低消費電力化および低コスト化を実現できる。
【００８０】
請求項４および請求項１４によれば、上記バッファメモリに記憶されたＭ個のフィールドの圧縮データをＭ個のＤＭＡチャンネルを用いて並列に伸長部にＤＭＡ転送するため、データ転送を短時間で且つ効率良く行うことができる。
【００８１】
請求項５，６，７，８，９および請求項１５，１６，１７，１８，１９によれば、上記圧縮部は、ＲＡＷ画像データの画素間の差分値を可逆符号化するため、ＲＡＷ画像データをロスレス（可逆）圧縮できる。
【００８２】
請求項１０および請求項２０によれば、差分値を算出する複数の機能の中から、撮像センサで採用される色フィルタアレイや走査方式に適した機能を選択できるため、上記圧縮部は汎用的な圧縮機能をもつことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデジタル・カメラの概略構成を示す機能ブロック図である。
【図２】本発明の実施の形態に係るデジタル・カメラに組み込まれたＲＰＵの概略構成を示す機能ブロック図である。
【図３】本発明の実施の形態１に係るデータ転送システムの概略構成を示す機能ブロック図である。
【図４】本発明の実施の形態１に係るデータ転送システムの概略構成を示す機能ブロック図である。
【図５】本発明の実施の形態に係る圧縮伸長回路の圧縮部の概略構成図である。
【図６】差分値算出処理の一機能を説明するための図である。
【図７】差分値算出処理の一機能を説明するための図である。
【図８】差分値算出処理の一機能を説明するための図である。
【図９】差分値算出処理の一機能を説明するための図である。
【図１０】本発明の実施の形態２に係るデータ転送システムの概略構成を示す機能ブロック図である。
【図１１】本発明の実施の形態３に係るデータ転送システムの概略構成を示す機能ブロック図である。
【図１２】本発明の実施の形態３に係るデータ転送システムの概略構成を示す機能ブロック図である。
【図１３】一般的なデジタル・カメラの概略構成図である。
【図１４】従来の原画像データの転送処理を説明する図である。
【符号の説明】
１デジタル・カメラ
９圧縮伸長回路
９Ｃ圧縮部
９Ｅ，９Ｅ₁，９Ｅ₂ 伸長部
１４ＲＰＵ
１７ＣＰＵ
２６主メモリ
２７メモリカード
２７Ａカードインターフェース
２８周辺インターフェース
３１外部機器
６０差分値算出部
６１符号化部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data transfer system and a data transfer method for transferring image data picked up by an image pickup apparatus such as a digital camera.
[0002]
[Prior art]
FIG. 13 is a schematic configuration diagram of a general digital camera 100. In this digital camera 100, light incident from a subject (not shown) sequentially passes through the optical system 101, the color correction filter 102, and the optical low-pass filter 103, is colored by the color filter array 104, and then the image sensor 105. Is received. The image sensor 105 photoelectrically converts incident light and outputs an analog image signal. The analog image signal output from the imaging sensor 105 is A / D converted by the image processing unit 106 and then subjected to digital image processing such as white balance adjustment, gamma correction, pixel interpolation, contour enhancement, and resolution conversion. The main memory 108 temporarily stores data processed by the image processing unit 106, or is used as a work area when executing the digital image processing.
[0003]
Further, the image data output from the image processing unit 106 is written to the memory card 110 via the card interface 110A, transferred to the liquid crystal monitor 109 and displayed, or is displayed on the PC via the peripheral interface 111. Or output to an external device.
[0004]
Some digital cameras 100 are equipped with a single-plate image sensor 105. On the photosensitive portion of this type of image sensor 105, a single plate type color filter array 104 having one color filter for each pixel is formed. For this reason, the analog image signal output from the imaging sensor 105 has only one color component for each pixel. Digital image data obtained by A / D converting the analog image signal is called original image data (RAW image data). Since the original image data cannot be displayed in color on the display as it is, the image processing unit 106 performs pixel interpolation processing for interpolating the color component lacking in the pixel of interest using the color components of the peripheral pixels. For example, for a pixel of interest having only an R component among the three primary colors R (red), G (green), and B (blue), the G component and the B component are determined using the G component and the B component of the peripheral pixels. Interpolated.
[0005]
Further, as a function of the digital camera 100, there is a function of transferring original image data to the outside without processing in order to avoid deterioration of gradation and color reproducibility due to the digital image processing. In this function, as shown in FIG. 14, the original image data is temporarily buffered in the main memory 108 and then output to an external device 112 such as a PC (personal computer) via the peripheral interface 111.
[0006]
[Problems to be solved by the invention]
However, since the size of the original image data is large, the capacity required for the main memory 108 is very large. This has the problem that the circuit scale increases, the manufacturing cost increases, and the power consumption increases.
[0007]
In view of the above problems, an object of the present invention is to reduce the capacity of the main memory 108 for temporarily storing original image data to be transferred, thereby reducing the circuit scale, power consumption, and cost. The object is to provide a data transfer system and a data transfer method that can be realized.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the invention according to claim 1 is a data transfer system for transferring RAW image data input from a single-plate imaging unit, wherein the RAW image data Allowed A compression unit that outputs compressed data that has been subjected to inverse compression encoding; a buffer memory that temporarily stores the compressed data that is output and transferred from the compression unit; and the compressed data that is read and transferred from the buffer memory An interface that outputs to the device; a transfer control unit that transfers the compressed data stored in the buffer memory to the interface; A decompression unit for outputting RAW image data obtained by decompressing the compressed data read and transferred from the buffer memory; and image processing for performing real-time image processing on the RAW image data output from the decompression unit and transferred And It is characterized by providing.
[0010]
Claim 2 The invention according to claim 1 In the data transfer system described above, one frame is divided into a plurality of fields and sequentially input as the RAW image data, and the transfer control unit transfers each field of the input RAW image data to a buffer memory. A function of storing the data, reading the raw image data stored in the buffer memory in units of frames, and transferring the data to the compression unit;
[0011]
Claim 3 The invention according to claim 1 The data transfer system according to claim 1, wherein one frame is divided into a plurality of fields and sequentially input as the RAW image data, and the compression unit compresses and encodes each input field in a field unit to generate compressed data. The transfer control unit transfers the compressed data output from the compression unit to a buffer memory in units of fields, stores the compressed data, reads the compressed data stored in the buffer memories in units of fields, and decompresses the compressed data. The decompression unit outputs RAW image data obtained by decompressing the compressed data transferred from the buffer memory in field units to the compression unit in frame units. is there.
[0012]
Claim 4 The invention according to claim 3 The data transfer system according to claim 1, wherein the transfer control unit includes a DMA controller having at least M (M: the number of fields constituting one frame) DMA (direct memory access) channels, and the buffer. Control means for allocating the M DMA channels to transfer of compressed data of each field when the compressed data is read from the memory in units of fields and transferred to the decompression unit, and the decompression unit includes the DMA The compressed data transferred in parallel by the controller has a function of expanding each field in parallel.
[0013]
Claim 5 The invention according to claim 1 to claim 1 4 The data transfer system according to claim 1, wherein the compression unit calculates a difference value between pixels of the RAW image data, and an encoding unit that losslessly encodes the difference value. Is provided.
[0014]
Claim 6 The invention according to claim 5 In the data transfer system described above, the difference value calculation unit has a function of calculating a difference value between pixels adjacent in the horizontal direction.
[0015]
Claim 7 The invention according to claim 5 In the data transfer system described above, the difference value calculation unit has a function of calculating a difference value between every other pixel along the horizontal direction.
[0016]
Claim 8 The invention according to claim 5 In the data transfer system described above, the difference value calculation unit has a function of calculating a difference value between pixels adjacent in the vertical direction.
[0017]
Claim 9 The invention according to claim 5 In the data transfer system described above, the difference value calculation unit has a function of calculating a difference value between every other pixel in the vertical direction.
[0018]
Claim 10 The invention according to claim 5 The data transfer system according to claim 1, wherein the difference value calculation unit is 6 ~ 9 Among the functions described in (1), at least two functions are freely selectable.
[0019]
Next, the claim 11 The present invention relates to a data transfer method for transferring RAW image data input from a single-plate imaging unit, and (a) the RAW image data Allowed (B) transferring the compressed data output in the step (a) to a buffer memory and temporarily storing the compressed data; and (c) the step (b) Reading the compressed data stored in step), transferring the compressed data to an interface, and outputting the compressed data to an external device via the interface; (E) a step of reading and transferring the compressed data stored in the buffer memory in the step (b) and then decompressing and outputting RAW image data; and (f) output in the step (e). Performing real-time image processing on the transferred raw image data; It is characterized by providing.
[0021]
Claim 12 The invention according to claim 11 In the data transfer method described above, before the steps (a) to (c), (g) one frame is divided into a plurality of fields, and the RAW image data input sequentially is transferred to a buffer memory and stored. And (h) reading and transferring the RAW image data stored in the buffer memory in the step (g) in units of frames, wherein the step (a) includes the step (h). The RAW image data transferred in step (1) is a step of lossless compression encoding.
[0022]
Claim 13 The invention according to claim 11 (I) Before the steps (a) to (c), (i) one frame is divided into a plurality of fields, and the raw image data that is sequentially input is compression-encoded to output compressed data (J) transferring the compressed data output in step (i) to a buffer memory and storing it in a buffer unit; (k) storing the compressed data in the buffer memory in step (j) Reading and transferring the compressed data in field units; (m) outputting original image data obtained by decompressing the compressed data transferred in the step (k) in field units; The step (a) is a step of lossless compression encoding the RAW image data output in the step (m).
[0023]
Claim 14 The invention according to claim 13 The data transfer method according to claim 1, wherein the step (j) uses a DMA controller having at least M (M: the number of fields constituting one frame) DMA (direct memory access) channels. Assigning a plurality of DMA channels to the transfer of compressed data of each field, and transferring the compressed data to the buffer memory in a field unit in parallel, wherein the step (m) is the step (j) The compressed data transferred in parallel is expanded in parallel for each field.
[0024]
Claim 15 The invention according to claim 11 ~ 14 The data transfer method according to claim 1, wherein the step (a) includes: (a-1) calculating a difference value between pixels of the RAW image data; and (a-2) the difference. And a step of losslessly encoding the value.
[0025]
Claim 16 The invention according to claim 15 In the data transfer method described above, the step (a-1) includes a step of calculating a difference value between pixels adjacent in the horizontal direction.
[0026]
Claim 17 The invention according to claim 15 In the data transfer method described above, the step (a-1) includes a step of calculating a difference value between every other pixel along the horizontal direction.
[0027]
Claim 18 The invention according to claim 15 In the data transfer method described above, the step (a-1) includes a step of calculating a difference value between pixels adjacent in the vertical direction.
[0028]
Claim 19 The invention according to claim 15 In the data transfer method described above, the step (a-1) includes a step of calculating a difference value between every other pixel in the vertical direction.
[0029]
Claim 20 The invention according to claim 15 The data transfer method according to claim 1, wherein the step (a) 16 ~ 19 The process (a-1) is further performed by the selected said process, further including the process of selecting one process from at least two processes.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Digital camera.
Before describing the data transfer system and the data transfer method according to the present invention, the configuration of a digital camera equipped with the data transfer system will be outlined.
[0031]
FIG. 1 is a schematic configuration diagram of the digital camera 1. The digital camera 1 includes an optical system 10 composed of various lens groups, an optical filter 11, a single-plate CCD image sensor 12, and an analog signal processing circuit 13. Incident light 8 from the subject passes through the optical system 10 and the optical filter 11 and is detected by the CCD image sensor 12. The CCD image sensor 12 converts incident light into an analog image signal and outputs the analog image signal to the analog signal processing circuit 13, and the analog signal processing circuit 13 converts the analog image signal into original image data (RAW image data) and outputs it. Will do. This original image data has one color component having a length of 12 bits per pixel.
[0032]
In FIG. 1, reference numeral 15 denotes a CCD drive circuit for driving the CCD image sensor 12, 16 denotes a timing generator for supplying a clock signal to the CCD image sensor 12, the RPU 14, etc., 18 denotes a PLL oscillation circuit, 17 denotes a CPU, 19 denotes A coprocessor (auxiliary arithmetic unit) 29 is a bus, 24 is a DMA controller, 25 is a JPEG processing unit 25, 26 is a main memory 26, 30 is a strobe.
[0033]
The CCD image sensor 12 includes a charge storage unit that stores carriers (electrons or holes) generated by photoelectric conversion of incident light, a charge transfer unit that transfers the stored carriers, and the like. On the photosensitive portion of the CCD image sensor 12, a color filter array having one color filter for each pixel is formed. A CMOS image sensor may be used instead of the CCD image sensor 12. As an imaging sensor, an interlaced scanning (interlaced scanning) type imaging sensor that alternately reads out odd-numbered fields consisting of odd-numbered lines and even-numbered lines consisting of even-numbered lines in one frame, or image signals of one frame at a time. A progressive scan (sequential scanning) type image sensor for reading is generally used. A scanning type imaging sensor that sequentially reads out and outputs three fields constituting one frame is also known.
[0034]
The analog signal processing circuit 13 includes a CDS (Correlated Double Sampling) circuit, an AGC (Automatic Gain Control) circuit, and an A / D conversion circuit. The CCD image sensor 12 alternately outputs a reference signal having a reference level of a normal black level and an image signal including the reference signal alternately in a time division manner. In order to remove the noise component, the CDS circuit samples the reference signal and the image signal, and extracts and outputs a difference signal between the two signals. The AGC circuit also outputs a signal in which the signal level of the differential signal output from the CDS circuit is optimized. The A / D conversion circuit samples the analog signal output from the AGS circuit at a predetermined frequency, quantizes the analog signal with a predetermined number of quantization bits, and outputs original image data.
[0035]
From the analog signal processing circuit 13, the original image data is output to an RPU (real-time processing unit) 14 or a compression / decompression circuit 9. The RPU 14 performs digital image processing on the input original image data and outputs the processing result to the compression / decompression circuit 9. FIG. 2 shows a schematic configuration of the RPU 14. The RPU 14 is an integrated circuit including a single pixel processing unit 14a, a pixel interpolation / gamma correction processing unit 14b, a color space conversion / color suppression processing unit 14c, a spatial filter / coring processing unit 14d, and a resolution conversion unit 14e. Each of the functional blocks 14a to 14e can execute processing in parallel by pipeline control.
[0036]
The outline of the processing of each functional block 14a to 14e of the RPU 14 is as follows. The single pixel processing unit 14a is a functional block that processes the image signal output from the analog signal processing circuit 13 in units of pixels. Specifically, the single pixel processing unit 14a performs a temporal averaging process that averages an input signal over a plurality of frames or fields, a shading correction process that corrects brightness unevenness in an image, and the like. It can be carried out.
[0037]
The pixel interpolation / gamma correction processing unit 14b is a functional block that executes pixel interpolation processing for interpolating the missing color components for each pixel using peripheral pixels and gamma correction processing for correcting gamma characteristics. . Since the single-plate CCD image sensor 12 can obtain only one color component for each pixel, pixel interpolation processing is performed using peripheral pixels near the target pixel so that the target pixel has a plurality of color components.
[0038]
In addition, the color space conversion / color suppression processing unit 14c performs color space conversion processing for converting the color space of the input signal and color suppression processing for suppressing color development in a bright portion and a dark portion in an image in which white balance is likely to go wrong. Function block. In the color space conversion process, for example, a process of converting from the primary color RGB color space to a YCbCr color space or YUV color space composed of one luminance component and two color difference components is executed.
[0039]
The spatial filter / coring processing unit 14d is a functional block that executes spatial filtering processing using a spatial filter (weight mask) and nonlinear processing (coring processing) that mainly suppresses high frequency components of the image signal. is there. In this functional block, in the local region of about 5 × 5 pixels in the image signal, the filter coefficient is weighted to the pixel of interest and its surrounding pixels, and the value obtained by performing the product-sum operation or the nonlinear operation is used as the value of the pixel of interest. Processing to output as a value is performed. By appropriately setting the filter coefficient, it is possible to emphasize or smooth lines and edges in the image.
[0040]
The resolution conversion unit 14e is a functional block that executes processing for reducing or enlarging the image size (resolution) of the input signal. The resolution converter 14e can output the input signal as it is without converting the resolution of the input signal.
[0041]
The compression / decompression circuit 9 has a function of compressing and encoding a signal input from the RPU 14 or the analog signal processing circuit 13 and outputting the compressed signal to the bus 29, and can output the input signal without performing compression encoding. It is. The data output to the bus 29 is transferred to the main memory 26 by the transfer control of the CPU 17 or the DMA controller 24. The compression / decompression circuit 9 also has a decoding function for decompressing the compression-encoded data as will be described later.
[0042]
The CPU 17 can read the data stored in the main memory 26 and perform various processes. For example, the CPU 17 causes the JPEG processing unit 25 to encode the data with high efficiency and writes the compressed data to the memory card 27 via the card interface 27A or the PC (personal computer) via the peripheral interface 28. It can be controlled to output to the external device 31.
[0043]
Further, the CPU 17 can also control the image data read from the main memory 26 to be transferred to the display module via the bus 29 and displayed on the LCD (liquid crystal display) 23. The image data transferred to the display module is encoded by the digital encoder 21 and output to the LCD drive circuit 22. The LCD drive circuit 22 drives the LCD 23 based on the input signal from the digital encoder 21 to display the image data.
[0044]
The DMA controller 24 has a function of transferring data via the bus 29 without depending on the CPU 17. The DMA controller 24 includes a plurality of DMA channels (not shown) and an arbitration circuit (not shown) for adjusting the execution order between these DMA channels. Upon receiving a DMA request from the transfer source device, the DMA controller 24 requests the CPU 17 to release the right to use the bus 29. When the CPU 17 issues a permission signal in response to the use right release request, the DMA controller 24 acquires the right to use the bus 29 and executes data transfer based on the control signal generated by the DMA channel. After the data transfer is completed, the DMA controller 24 returns the right to use the bus 29 to the CPU 17.
[0045]
The data transfer system incorporated in the digital camera 1 having the above configuration will be described below.
[0046]
Embodiment 1 FIG.
FIG. 3 is a functional block diagram showing a schematic configuration of the data transfer system according to the first embodiment of the present invention. This data transfer system includes a compression / decompression circuit 9 having a compression unit 9C that compresses and encodes original image data 40 output from the analog signal processing circuit 13 and a decompression unit 9E that decodes the compressed data, and a main memory. 26. The format of the original image data 40 may be either an interlace format based on the interface scan or a progressive format based on the progressive scan. Although not explicitly shown in FIG. 3, this data transfer system further includes a bus 29 for transmitting data between the compression / decompression circuit 9 and the main memory 26, and a transfer control for executing data transfer via the bus 29. Part (not shown). This transfer control unit may be either the CPU 17 or the DMA controller 24. Employing the DMA controller 24 is preferable because it enables high-speed data transfer independent of the CPU 17 and reduces the processing load on the CPU 17.
[0047]
This data transfer system has two types of processing modes: a “RAW data output mode” in which the original image data 40 is output to the outside as it is, and an “image processing mode” in which the original image data 40 is subjected to image processing by the RPU 14. Have.
[0048]
Processing in the “RAW data output mode” is as follows. As shown in FIG. 3, the original image data 40 output from the analog signal processing circuit 13 is compression-encoded by the compression unit 9C of the compression / decompression circuit 9, and is output as compressed data 40C. Next, the compressed data 40C is transferred to the original image data buffer 26a of the main memory 26 via the bus 29 by the transfer control unit and temporarily stored.
[0049]
Next, the original image data 41A is read from the original image data buffer 26a by the transfer control unit, transferred to the card interface 27A via the bus 29, and then written to the memory card 27. Alternatively, the original image data 41B stored in the original image data buffer 26a may be transferred to the peripheral interface 28 via the bus 29 and output to the external device 31. The compressed data stored in the memory card 27 is read and decoded by an external device such as a PC (personal computer), and restored to original image data. This original image data is subjected to image processing such as pixel interpolation and gamma conversion. The same applies to the original image data output to the external device 31.
[0050]
As described above, the original image data 40 is stored in the main memory 26 after being compressed by the compression / decompression circuit 9, and then read out, transferred to the memory card 27 and the external device 31, and output. Therefore, since the required capacity of the original image data buffer 26a can be kept small, it is possible to adopt a relatively small-capacity main memory 26 to realize circuit scale reduction, power consumption reduction, and cost reduction. is there.
[0051]
Next, processing contents in the “image processing mode” will be described below with reference to FIG. In the example shown in FIG. 4, it is assumed that the progressive format original image data 40 is output from the analog signal processing circuit 31. The original image data 40 output from the analog signal processing circuit 13 is compressed and encoded by the compression unit 9C of the compression / decompression circuit 9, and is output as compressed data 40C. The compressed data 40C is transferred and stored in the original image data buffer 26a of the main memory 26 via the bus 29 by the transfer control unit.
[0052]
The transfer control unit reads the compressed data 42 from the original image data buffer 26 a and transfers it to the compression / decompression circuit 9 via the bus 29. Next, the transferred compressed data 42 is decompressed and decoded by the decompressing unit 9E of the compressing / decompressing circuit 9, and as a result, the original image data 43 before compression coding is supplied to the RPU 14. The RPU 14 performs real-time image processing on the input data 43. Thereafter, the processing data 44 output from the RPU 14 is transferred and stored in the second data buffer 26b of the main memory 26 by the transfer control unit.
[0053]
Next, the CPU 17 reads out the processing data 45 from the second data buffer 26b, and uses the third data buffer 26c on the main memory 26 as a temporary work area for the processing data 45 to perform high-efficiency encoding. And so on. The processing data 46A is transferred to the card interface 27A via the bus 29 and written to the memory card 27, or transferred to the peripheral interface 28 and output to the external device 31.
[0054]
By the way, when the interlaced original image data 40 is output from the analog signal processing circuit 31, the even and odd fields are alternately input to the compression / decompression processing circuit 9. In such a case, the compression unit 9C of the compression / decompression processing circuit 9 compresses only one of the two types of fields and stores it in the original image data buffer 26a. Next, in synchronization with the second field to be input, the compressed data is read from the original image data buffer 26a and decompressed by the decompressing unit 9E to restore the first field. Then, a process is performed in which the second field to be input and the expanded first field are combined into one frame and input to the RPU 14.
[0055]
Thus, even when the original image data 40 is transferred and supplied to the RPU 14 via the main memory 26, the original image data 40 can be stored in the main memory 26 in a compressed state. Accordingly, the main memory 26 having a relatively small capacity can be adopted in both the “RAW data output mode” and the “image processing mode”, and the circuit can be reduced in size, reduced in power consumption, and reduced in cost. .
[0056]
Next, the compression encoding process of the compression unit 9C will be described. As shown in FIG. 5, the compression unit 9 </ b> C includes a difference value calculation unit 60 and an encoding unit 61. The difference value calculation unit 60 calculates a difference value between pixels of the input original image data 40. The difference value is subjected to lossless (reversible) compression by the encoding unit 61 and is output as the compressed data 40C. The encoding unit 61 has a function of compressing the input data by performing entropy encoding, Huffman encoding, arithmetic encoding, or the like on the input data. The decompression unit 9E has a decoding function for the compression coding function of the compression unit 9C.
[0057]
A plurality of functions (modes) are prepared for the difference value calculation processing in the difference value calculation unit 60, and can be selected according to the type of the original image data 40 input to the compression unit 9C. As shown in FIG. 6, the first function is a pixel data string 40 of the original image data 40. ₁ , 40 ₂ , 40 _Three , ..., 40 ₆ , 40 ₇ ,..., A difference value between pixels adjacent in the horizontal direction associated with a dotted line is calculated. The second function is a pixel data string 40 of the original image data 40 as shown in FIG. ₁ , 40 ₂ , 40 _Three , ..., 40 ₆ , 40 ₇ ,..., A difference value between every other pixel along the horizontal direction associated with a dotted line is calculated.
[0058]
A function (mode) for calculating a difference value between different horizontal lines is also provided. As shown in FIG. 8, the third function is to calculate a difference value between adjacent pixels in the vertical direction associated with dotted lines with respect to a plurality of horizontal lines L1, L2, L3,. Is to be calculated. In addition, as shown in FIG. 9, the fourth function is that a plurality of horizontal lines L1, L2, L3,... The difference value is calculated.
[0059]
The first to fourth difference value calculation functions described above can be appropriately selected according to the color filter array employed by the CCD image sensor 12 and the type of scanning method. For example, when the color filters employed in the CCD image sensor 12 are arranged in the order of R (red), R, R, R,... Along the horizontal direction, the difference value calculation unit 60 The first function may be selected to calculate the difference value between the same color pixels adjacent in the horizontal direction. On the other hand, when the color filters employed in the CCD image sensor 12 are arranged in the order of R (red), G (green), R, G, R, G,. The second function may be selected to calculate a difference value between pixels of the same color every other pixel along the horizontal direction.
[0060]
It is also possible to select one of the third and fourth functions according to the scanning method of the CCD image sensor 12. For example, even-numbered lines arranged in the order of color filters of R, G, R, G,... And odd-numbered lines arranged in the order of color filters of G, B, G, B,. Assuming a color filter array, when the CCD image sensor 12 is driven by interlaced scanning, an even field consisting of only even lines and an odd field consisting only of odd lines are alternately input. The calculation unit 60 may calculate the difference value between pixels of the same color that are adjacent in the vertical direction by selecting the third function. On the other hand, when the CCD image sensor 12 is driven by progressive scan, even-numbered lines and odd-numbered lines are alternately input. Therefore, the difference value calculation unit 60 selects the fourth function in the vertical direction. What is necessary is just to calculate the difference value between the same color pixels which adjoin every other pixel.
[0061]
Embodiment 2. FIG.
Next, a data transfer system and method according to Embodiment 2 of the present invention will be described. FIG. 10 is a functional block diagram showing a schematic configuration of the data transfer system according to the second embodiment. This data transfer system is also incorporated in the above-described digital camera 1 shown in FIG. 1. In FIG. 10, the functional blocks denoted by the same reference numerals as those shown in FIG. It shall have the same function as the function block which attached | subjected the code | symbol.
[0062]
This data transfer system is applied to an interlace scan CCD image sensor 12. At this time, the analog signal processing circuit 13 alternately outputs an even field composed of only even lines in one frame and an odd field composed only of the odd lines. In the present embodiment, one of the even field and the odd field is called a first field, and the other is called a second field.
[0063]
As in the first embodiment, also in the second embodiment, the data transfer system has a “RAW data output mode” and an “image processing mode”. The processing contents in the “RAW data output mode” are as follows. As shown in FIG. 10, the first field 47A and the second field 47B, which are alternately output from the analog signal processing circuit 13, are not compressed by the compression / decompression circuit 9, but are transferred via the bus 29 by the transfer control unit. The data is transferred and stored in the first data buffer of the main memory 26. The transfer control unit reads the original image data 48 from the second data buffer in units of frames and transfers it to the compression / decompression circuit 9 via the bus 29. Therefore, progressive format original image data 48 is input to the compression / decompression circuit 9. The first and second fields 47A and 47B may be written in the first data buffer 26d in the progressive format, or the original image data written in the interlaced format in the first data buffer 26d may be read out in the progressive format. Good.
[0064]
In the compression / decompression circuit 9, the compression unit 9 </ b> C compresses and encodes the transferred original image data 48 and outputs compressed data 49. The transfer control unit transfers the compressed data 49 output from the compression unit 9C to the second data buffer 26e of the main memory 26 via the bus 29 and stores it.
[0065]
Then, the transfer control unit reads the compressed data 50A from the second data buffer 26e and transfers the compressed data 50A to the card interface 27A via the bus 29, and the card interface 27A controls to write the transferred compressed data 50A to the memory card 27. it can. Alternatively, the compressed data 50B stored in the second data buffer 26e may be read, transferred to the peripheral interface 28 via the bus 29, and output to the external device 31.
[0066]
On the other hand, the processing content in the “image processing mode” is substantially the same as that of the first embodiment. That is, the compressed data stored in the second data buffer 26e shown in FIG. 10 is read out, decoded by the decompression unit 9E, and then supplied to the RPU 14. Since the subsequent processing is the same as the processing shown in FIG. 4, detailed description thereof is omitted.
[0067]
As described above, in the second embodiment, a relatively small-capacity main memory 26 can be adopted for the interlace scan CCD image sensor 12 as in the first embodiment, and the circuit scale can be reduced. Low power consumption and low cost are possible.
[0068]
Embodiment 3 FIG.
Next, a data transfer system and method according to Embodiment 3 of the present invention will be described. 11 and 12 are functional block diagrams showing a schematic configuration of the data transfer system according to the third embodiment. This data transfer system is also incorporated in the above-described digital camera 1 shown in FIG. 1. In FIG. 11 and FIG. 12, functional blocks to which the same reference numerals as those shown in FIG. It shall have the same function as the functional block to which the reference numeral is attached.
[0069]
This data transfer system is applied to an interlace scan CCD image sensor 12. As in the first embodiment, in the third embodiment, the data transfer system has a “RAW data output mode” and an “image processing mode”. The processing contents in the “RAW data output mode” are as follows. In the first step, as shown in FIG. 11, the first field 47A and the second field 47B that are alternately output from the analog signal processing circuit 13 are compressed by the compression unit 9C of the compression / decompression circuit 9, and then DMA The data is DMA-transferred to the buffer of the main memory 26 via the bus 29 by the controller 24. At this time, the compressed data 52A of the first field 51A is stored in the first data buffer 26f, and the compressed data 52B of the second field 51B is stored in the second data buffer 26g.
[0070]
In the next step, as shown in FIG. 12, the DMA controller 24 reads the compressed data 53A from the first data buffer 26f of the main memory 26, and the first expansion unit 9E of the compression / expansion circuit 9 via the bus 29. ₁ The process of transferring to is executed. In synchronism with this processing, the compressed data 53B is read from the second data buffer 26g by the DMA controller 24, and the second expansion unit 9E of the compression / expansion circuit 9 is read via the bus 29. ₂ Forwarded to
[0071]
The DMA controller 24 includes at least the number of DMA channels (not shown) in the field. Under the control of the CPU 17, each DMA channel is connected to the first data buffer 26f and the first decompression unit 9E. ₁ Data transfer between the second data buffer 26g and the second decompression unit 9E. ₂ Therefore, the compressed data 53A and 53B are DMA-transferred in parallel. Thereby, the data transfer of both fields can be performed efficiently in a short time.
[0072]
Next, the first extending portion 9E ₁ And the second extension 9E ₂ Respectively, decompresses the compressed data of each input field to restore the original image data, and outputs the original image data to the compression unit 9C in units of frames. Therefore, the decompressed first field 54A and second field 54B are input to the compression unit 9C in a progressive format. In other words, the first extension 9E ₁ Output from the pixel data and the second decompression unit 9E ₂ Is output to the compression unit 9C alternately in line units.
[0073]
The compression unit 9C compresses and encodes the original image data 54A and 54B input in the progressive format, and outputs the compressed data 55. The compressed data 55 is transferred to the third data buffer 26h and buffered, and then read out. Then, the compressed data 55 is transferred as compressed data 56A to the card interface 27A and written to the memory card 27, or as compressed data 56B, the peripheral interface 28. And output to the external device 31.
[0074]
On the other hand, the processing content in the “image processing mode” is substantially the same as that of the first embodiment. That is, the compressed data stored in the third data buffer 26h shown in FIG. ₁ Or the 2nd extension part 9E ₂ And is synthesized into one frame and supplied to the RPU 14. Since the subsequent processing is the same as the processing described in the first embodiment, detailed description thereof is omitted.
[0075]
As described above, the third embodiment can transfer data to the interlace scan CCD image sensor 12 by a method different from that of the second embodiment. It can be adopted, and the circuit can be reduced in size, power consumption and cost can be reduced.
[0076]
【The invention's effect】
As described above, the data transfer system according to claim 1 of the present invention and the claim 11 According to the data transfer method of, the RAW image data is stored in the buffer memory after being compressed. Further, the transfer control unit transfers the compressed data stored in the buffer memory to the interface and outputs it to an external device such as a memory card or a PC (personal computer). Therefore, since the required capacity of the buffer memory can be kept small, it is possible to reduce the circuit size, reduce the power consumption, and reduce the cost.
[0077]
Also, Claim 1 And claims 11 According to the present invention, even when RAW image data is transferred via the buffer memory and used for image processing, the RAW image data is temporarily stored in the buffer memory in a compressed state, so that the required capacity of the buffer memory is kept small. Therefore, it is possible to reduce the circuit scale, reduce power consumption, and reduce costs.
[0078]
Claim 2 And claims 12 According to the above, it is possible to convert RAW image data, which is input by dividing one frame into a plurality of fields, once stored in the buffer memory and then read out in units of frames, thereby converting the data into progressive format data. Therefore, it is possible to perform RAW image data transfer processing even for RAW image data that is input divided into a plurality of fields.
[0079]
Claim 3 And claims 13 According to the above, since the RAW image data input divided into a plurality of fields is stored in the buffer memory in a compressed state, the required capacity of the buffer memory can be reduced, the circuit can be reduced in size, and the power consumption can be reduced. And cost reduction can be realized.
[0080]
Claim 4 And claims 14 According to the above, since the M field compressed data stored in the buffer memory is DMA-transferred to the decompression unit in parallel using M DMA channels, data transfer can be performed in a short time and efficiently. .
[0081]
Claim 5, 6, 7, 8, 9 And claims 15, 16, 17, 18, 1 9 Accordingly, the compression unit losslessly compresses the RAW image data because the difference value between the pixels of the RAW image data is losslessly encoded.
[0082]
Claim 10 And claims 20 According to the above, since the function suitable for the color filter array and the scanning method employed in the image sensor can be selected from a plurality of functions for calculating the difference value, the compression unit may have a general-purpose compression function. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention.
FIG. 2 is a functional block diagram showing a schematic configuration of an RPU incorporated in a digital camera according to an embodiment of the present invention.
FIG. 3 is a functional block diagram showing a schematic configuration of the data transfer system according to the first embodiment of the present invention.
FIG. 4 is a functional block diagram showing a schematic configuration of the data transfer system according to the first embodiment of the present invention.
FIG. 5 is a schematic configuration diagram of a compression unit of the compression / decompression circuit according to the embodiment of the present invention.
FIG. 6 is a diagram for explaining one function of difference value calculation processing;
FIG. 7 is a diagram for explaining one function of difference value calculation processing;
FIG. 8 is a diagram for explaining one function of difference value calculation processing;
FIG. 9 is a diagram for explaining one function of difference value calculation processing;
FIG. 10 is a functional block diagram showing a schematic configuration of a data transfer system according to a second embodiment of the present invention.
FIG. 11 is a functional block diagram showing a schematic configuration of a data transfer system according to a third embodiment of the present invention.
FIG. 12 is a functional block diagram showing a schematic configuration of a data transfer system according to a third embodiment of the present invention.
FIG. 13 is a schematic configuration diagram of a general digital camera.
FIG. 14 is a diagram illustrating a conventional transfer process of original image data.
[Explanation of symbols]
1 Digital camera
9 Compression / decompression circuit
9C compression unit
9E, 9E ₁ , 9E ₂ Extension part
14 RPU
17 CPU
26 Main memory
27 Memory card
27A card interface
28 Peripheral interface
31 External equipment
60 Difference value calculation unit
61 Coding section

Claims

A data transfer system for transferring RAW image data input from a single-plate imaging unit,
A compression unit for outputting a compressed data reversible compression coding the RAW image data,
A buffer memory for temporarily storing the compressed data output from the compression unit and transferred;
An interface for outputting compressed data read and transferred from the buffer memory to an external device;
A transfer control unit for transferring the compressed data stored in the buffer memory to the interface;
A decompression unit for outputting RAW image data obtained by decompressing the compressed data read and transferred from the buffer memory;
An image processing unit that performs real-time image processing on the RAW image data output and transferred from the decompression unit;
A data transfer system comprising:

The data transfer system according to claim 1, wherein
One frame is divided into a plurality of fields and sequentially input as the RAW image data,
The transfer control unit further has a function of transferring and storing each field of the input RAW image data to a buffer memory, reading the RAW image data stored in the buffer memory in units of frames, and transferring the frames to the compression unit. provided,
Data transfer system.

The data transfer system according to claim 1 , wherein
One frame is divided into a plurality of fields and sequentially input as the RAW image data,
The compression unit compresses and encodes each input field in field units, and outputs compressed data.
The transfer control unit transfers the compressed data output from the compression unit to a buffer memory in units of fields, stores the data, reads the compressed data stored in the buffer memory in units of fields, and transfers the compressed data to the compression unit It also has a function to
The decompression unit outputs RAW image data obtained by decompressing the compressed data transferred from the buffer memory in field units to the compression unit in frame units.
Data transfer system.

The data transfer system according to claim 3 , wherein
The transfer control unit includes a DMA controller having at least M (M: the number of fields constituting one frame) DMA (direct memory access) channels, and the compressed data from the buffer memory in field units. Control means for allocating the M DMA channels to transfer of the compressed data of each field when reading and transferring to the decompression unit;
The decompression unit has a function of decompressing the compressed data transferred in parallel by the DMA controller in parallel for each field.
Data transfer system.

5. The data transfer system according to claim 1, wherein the compression unit calculates a difference value between pixels of the RAW image data, and the loss value is a lossless code. And a data transfer system comprising:

6. The data transfer system according to claim 5 , wherein the difference value calculation unit has a function of calculating a difference value between pixels adjacent in the horizontal direction .

6. The data transfer system according to claim 5 , wherein the difference value calculation unit has a function of calculating a difference value between every other pixel along the horizontal direction .

6. The data transfer system according to claim 5 , wherein the difference value calculation unit has a function of calculating a difference value between pixels adjacent in the vertical direction .

6. The data transfer system according to claim 5 , wherein the difference value calculation unit has a function of calculating a difference value between every other pixel in the vertical direction .

6. The data transfer system according to claim 5 , wherein the difference value calculation unit has at least two functions selected from the functions according to claims 6 to 9 in a freely selectable manner .

A data transfer method for transferring RAW image data input from a single-plate imaging unit,
(A) lossless compression encoding of the RAW image data and outputting compressed data;
(B) transferring the compressed data output in step (a) to a buffer memory to temporarily store the compressed data;
(C) reading the compressed data stored in step (b) and transferring it to an interface, and outputting the compressed data to an external device via the interface;
(E) reading and transferring the compressed data stored in the buffer memory in the step (b), and then decompressing and outputting RAW image data;
(F) performing real-time image processing on the RAW image data output and transferred in the step (e);
A data transfer method comprising:

The data transfer method according to claim 11 , comprising:
Before the steps (a) to (c),
(G) a step of transferring and storing the RAW image data, in which one frame is divided into a plurality of fields and sequentially input, into a buffer memory;
(H) reading and transferring the RAW image data stored in the buffer memory in the step (g) in units of frames;
Further comprising
The data transfer method , wherein the step (a) is a step of lossless compression encoding the RAW image data transferred in the step (h) .

The data transfer method according to claim 11 , comprising:
Before the steps (a) to (c),
(I) a step of compressing and encoding the RAW image data that is sequentially input by dividing one frame into a plurality of fields and outputting compressed data;
(J) transferring the compressed data output in step (i) to a buffer memory and storing it in a field unit;
(K) reading and transferring the compressed data stored in the buffer memory in the step (j) in field units;
(M) outputting the original image data obtained by decompressing the compressed data transferred in the step (k) in field units;
Further comprising
Wherein step (a) is a step of lossless compression encoding the RAW image data output in the step (m), the data transfer method.

The data transfer method according to claim 13 , comprising:
The step (j) uses a DMA controller having at least M (M: the number of fields constituting one frame) DMA (direct memory access) channels, and uses the M DMA channels for each field. Assigning each to transfer of compressed data, and transferring the compressed data to the buffer memory in parallel in field units,
The step (m) is a step of expanding the compressed data transferred in parallel in the step (j) in parallel for each field.
Data transfer method.

A data transfer method according to any one of claims 11 to 14, wherein step (a),
(A-1) calculating a difference value between pixels of the RAW image data;
(A-2) lossless encoding of the difference value;
A data transfer method comprising:

16. The data transfer method according to claim 15, wherein the step (a-1) includes a step of calculating a difference value between pixels adjacent in the horizontal direction .

16. The data transfer method according to claim 15 , wherein the step (a-1) includes a step of calculating a difference value between every other pixel along the horizontal direction .

16. The data transfer method according to claim 15 , wherein the step (a-1) includes a step of calculating a difference value between pixels adjacent in the vertical direction .

16. The data transfer method according to claim 15 , wherein the step (a-1) includes a step of calculating a difference value between every other pixel in the vertical direction .

16. The data transfer method according to claim 15 , wherein the step (a) further includes a step of selecting one step from at least two steps among the steps according to claims 16 to 19, wherein the step (a) -1) is a data transfer method executed by the selected step .