JP2005018730A

JP2005018730A - 色補間用ラインバッファおよびラインデータ提供装置および方法

Info

Publication number: JP2005018730A
Application number: JP2003394042A
Authority: JP
Inventors: Sang-Hyun Park; パク、サン−ヒョン; Jong-Sik Jeong; ジョン、ゾン−シク; Yeon-Cheol Lee; イ、ヨン−チョル; Kang-Ju Kim; キン、カン−ズ; Hyung-Man Park; パク、ヒョン−マン; Boo-Dong Kwak; カク、ブ−ドン
Original assignee: Samsung Electro Mechanics Co Ltd
Current assignee: Samsung Electro Mechanics Co Ltd
Priority date: 2003-06-26
Filing date: 2003-11-25
Publication date: 2005-01-20
Anticipated expiration: 2023-11-25
Also published as: DE10334627A8; JP3860808B2; KR20050001821A; US20040263650A1; CN1305297C; CN1578399A; US7345701B2; KR100771299B1; DE10334627B4; DE10334627A1

Abstract

【課題】デジタルカメラのような映像処理機を含むシステムで、３×３ライン補間処理過程にデータを提供するラインバッファおよび前記ラインバッファを利用したラインデータ提供方法を提供する。
【解決手段】色補間用ラインバッファは、読出しおよび書込み可能な単一メモリ；前記メモリに以前に記録された前センサーデータを２ｍビット単位に読み出して格納する前センサーデータ領域、およびイメージセンサーから入力される現画像データを２ｍビット単位に格納する現センサーデータ領域を含み、前記現センサーデータ領域の出力は前記メモリに連結されたバッファレジスタ；および、前記メモリに動作イネーブル信号（ＣＥ）、書込みイネーブル信号（ＷＥ）および前記現センサーデータ領域の画像データが記録されるアドレスを入力することによって前記メモリを制御し、前記メモリおよび前記バッファレジスタの読出しおよび書込み動作を制御するメモリコントローラを備え、前記ｍビットが前記イメージセンサーのデータ出力単位であることを特徴とする。
【選択図】図５

Description

本発明は、デジタルカメラのような映像処理機を含むシステムにおいて、３×３ライン補間処理過程にデータを提供するラインバッファおよびラインデータ提供方法に関する。さらに詳細には、本発明は、メモリを一つだけ使用して映像処理機で行われる様々な補間法のうち、３×３ライン補間過程のために要求される３ラインデータを提供することによって、メモリ制御のために要求されるアドレスおよびメモリコントロール信号の数を減少可能にするラインバッファおよびラインデータ提供装置および方法に関する。

近来、デジタルカメラなどのように必須的に映像処理機を含む装置は、一般に一つのＣＣＤを使用しており、フルカラー（full-color）映像を得るためにはそれぞれの画素に対するより多くの情報が必要となる。実際に近く映像を表したいときには少なくとも三つ以上のデータを必要とするが、これは三つの独立したカラー（ＲＧＢ）の画素値から推論できる。カラー映像に対する一つのセンサーはセンサーの配列で構成されたＣＦＡ（Color Filter Array）を必要とする。このような配列の中でセンサーの各画素は多数のカラーのうちただ一つのカラーに対する画素値を抽出し、ＣＦＡを利用してそれぞれの画素に対する失った画素の情報をその周囲の画素に対する情報を利用することによって推論できる。このような方法が最も一般的な方法であり、ベイヤー(Bayer)パターンは最も一般的なＣＦＡとして知られている。すなわち、ＣＦＡ基板のセンサーからカラー映像を復元するのを色補間（interpolation）または色デモザイク（demosaicing）アルゴリズムという。

補間のアルゴリズムは、非適応的アルゴリズム（Nonadaptive algorithms）と適応的アルゴリズム（Adaptive algorithms）とに大別される。非適応的アルゴリズムは、あらゆる画素に対して固定されたパターンに補間するアルゴリズムであって、遂行し易く、計算量が少ないという長所がある。適応的アルゴリズムは、失った画素の値を探すために最も有効な隣接画素等の特性を利用して推定するアルゴリズムであって、計算量は多いものの、非適応的アルゴリズムに比べてより良好な映像を得ることができる。

非適応的アルゴリズムの方法には最も隣接した最近隣画素補間法、双線形補間法、中間値補間法、漸進的色変化補間法の方法があり、適応アルゴリズムの方法には、パターン一致補間アルゴリズム、傾きのしきい値に基づく(threshold-based)可変数を利用した補間法、境界法、保存補間法などの方法がある。

ＣＣＤ（charged coupled device）イメージセンサーは、シリコンのウエハ上に光ダイオードを多数配置したものであって、ここに光が加えられると光学的エネルギーが電気に変換される。一方、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサーは、ＣＣＤイメージセンサーより消費電力が小さく、小型化可能であるものの、画質に劣るという短所がある半導体イメージセンサーである。

図１は、ベイヤーパターンの３×３ライン補間法を説明するための図である。補間装置に図１の（ａ）のような３×３ラインベイヤーパターンが提供されたとき、ＲＧＢ値は、R=（R1+R2+R3+R4）/4、G=（G1+G2+G3+G4）/4、B=B1となる。

また、（ｂ）のような３×３ラインベイヤーパターンが提供される場合には、R=（R1+R2）/2、G=G3、B=（B1+B2）/2となり、（ｃ）のような３×３ラインベイヤーパターンが提供される場合には、R=（R1+R2）/2、G=G3、B=（B1+B2）/2となり、（ｄ）のような３×３ラインベイヤーパターンが提供される場合には、R=R1、G=（G1+G2+G3+G4）/4、B=（B1+B2+B3+B4）/4となる。

３×３ラインベイヤーパターンの補間法には、上述した周辺画素全体の算術平均を利用する方式の他にも、周辺画素のうち最大および最小値を除外した他の値の算術平均を求める方法など、様々なものがある。このような３×３ラインの補間法を行うためには３ラインのデータを同時に映像処理機に入力しなければならない。

図２には、従来の３×３ライン補間法の遂行のための３ライン画像データを同時に映像処理機に入力するための構成を示す。

各ラインがｎ個の画素からなるイメージセンサー２０１から第１ラインのデータが、ｍビット長の画素単位にラインバッファ２０２のメモリコントローラ２０６に入力される。メモリコントローラ２０６は入力された第１ラインのデータを第１メモリ２０４に格納する。その後、イメージセンサー２０１から第２ラインのデータもまた、ｍビット長の画素単位にラインバッファ２０２のメモリコントローラ２０６に入力される。メモリコントローラ２０６は入力された第２ラインのデータを第２メモリ２０５に格納する。このような第１メモリおよび第２メモリへのデータ格納時には、データの他に、ＣＥ（control enable）信号、ＷＥ（write enable）信号、およびデータが記録される位置を指定するアドレスも共に第１メモリおよび第２メモリに伝達される。

図３は、従来の３×３ライン補間法の遂行のための３ライン画像データを同時に映像処理機に入力するためのバッファの動作を説明するタイミング図である。

MCLKはメモリクロックを示し、VSYNCはイメージセンサーが撮像した一つのフレームの開始を示す垂直同期信号であり、HSYNCはイメージセンサーが出力する画像データの一つのラインの開始を示す水平同期信号であり、データはイメージセンサーから入力されるベイヤーパターンで構成された画像データであり、一つのデータはｍビットの容量をもつ。図３において、VSYNC信号およびHSYNC信号は、ローレベルがイネーブル（enable）状態、ハイレバルがディセーブル（disable）状態であると仮定する。図３に示すように、VSYNCがイネーブル状態にされると（ｔ１）、一つのイメージフレームが出力し始まり、HSYNCがイネーブル状態にされると（ｔ２）、図２のデータコントローラ２０６は第１メモリ２０４にＷＥ信号を入力させ、イメージセンサー２０１から第１ラインのデータ（GBGB...）が出力されてｔ２とｔ３との間で出力されたデータは、図２の第１メモリ２０４に格納される。また、HSYNCがイネーブル状態にされると（ｔ４）、図２のデータコントローラ２０６は第２メモリ２０５にＷＥ信号を入力させ、イメージセンサー２０１から第２ラインのデータ（RGRG...）が出力されてｔ４とｔ５との間で出力されたデータは図２の第２メモリ２０５に格納される。前記第１メモリ２０４に格納された第１ラインイメージデータ、前記第２メモリ２０５に格納された第２ラインイメージデータ、およびｔ６以降に出力される第３ラインイメージデータは、同一クロックで３×３ライン補間を行う映像信号処理器２０３に伝達される。

かかる従来の技術で、３×３ライン補間のためのデータ供給のためにはｎ個の画素で構成された１ラインのデータを格納できるようなメモリが二つ必要であり、各メモリに対して動作イネーブル信号（ＣＥ）および書込みイネーブル信号（ＷＥ）二つが必要でり、各メモリにｎ個の画素を格納するためのアドレス二つが必要である。

最近、デジタルカメラまたはデジタルカムコーダのように映像処理機を含む装置での画素数はますます増加しており、これに対応するためには映像信号を処理するためのメモリも増加しなければならない。こうなると、単純なメモリの物理的大きさの増加はもとより、メモリ制御に必要なアドレスを始めとするコントロール信号が益々増加してしまうので、メモリの運用は一層難しくなる。

たとえば特許文献１には、３個のイメージセンサーそれぞれからｎビットずつ入力されるデータをメモリに入力するための手段であって、前記イメージセンサーとメモリとの間にデータコントローラを介在させ、データコントローラに入力されるデータを格納して一定数のデータが蓄積される度に格納されたデータをメモリに出力することによって、メモリに転送されるデータが共通バスを占有する時間比率を低くし、その他の余分な時間には他の処理、たとえばホストコンピューターへのデータ転送などを行える画像データ読取装置が開示されている。

特開２０００−１１５４８０号公報

しかし、特許文献１に開示された発明は、単にデータが共通バスを占有する時間比率を低くしたもので、３×３ライン補間法に使用されるメモリを一つに減少させてメモリ制御を単純化させる構成を提示することはできない。

本発明の目的は、一つのメモリを使って３×３ライン補間法を行う映像処理機に３ラインのデータを供給できるラインバッファを提供することにある。

本発明の他の目的は、３×３ライン補間法を行う映像処理機に３ラインのデータを供給するラインバッファにおいてメモリの制御のために要求されるアドレスの数を減らすことによってメモリ制御を単純化することにある。

本発明のさらに他の目的は、３×３ライン補間法を行う映像処理機に３ラインのデータを供給するラインバッファにおいてメモリの制御のために要求されるメモリコントロール信号の数を減らすことにある。

上記の目的を達成するために、本発明に係るイメージ補間用メモリ提供装置は、読出しおよび書込み可能な単一メモリ；以前に前記メモリに格納された第１ラインイメージデータを２ｍビット単位で格納する前（prior）センサーデータ領域、およびｍビット単位に入力される第２ラインイメージデータを２ｍビット単位に格納する現（present）センサーデータ領域を含むバッファレジスタ；および、前記メモリにチップイネーブル信号（ＣＥ）、書込みイネーブル信号（ＷＥ）、および前記現センサーデータ領域の画像データが記録されるアドレスを提供することによって前記バッファレジスタに格納された第１ラインイメージデータおよび第２ラインイメージデータを前記メモリに対して書込みおよび読出しし、前記メモリに格納された第１ラインデータおよび第２ラインデータと前記イメージセンサーから転送される第３ラインデータの出力を制御するメモリコントローラ
を備えている
ことを特徴とする。

本発明に係るイメージ補間用メモリ提供装置は、好ましくは、イメージを撮像して前記メモリコントローラに提供するイメージセンサー；前記出力される第１、第２および第３ラインのデータを受信してイメージ補間を行う映像信号処理器；をさらに含む。

本発明に係るイメージ補間用メモリ提供装置において、前記メモリコントローラによるメモリのデータ読出しおよび書込みは、上位２ｍビットおよび下位２ｍビットから構成された４ｍビットのメモリセルを単位に行われるとよい。

また、前記メモリコントローラは３本のデータ出力ラインをもつと好ましい。

好ましくは、前記メモリコントローラは、前記チップイネーブル信号がイネーブル状態にされ、前記書込みイネーブル信号がディセーブル状態で、前記メモリから前記第１ラインデータを読み出して前記バッファレジスタの前センサーデータ領域に格納し、現在入力される第２ラインデータを前記バッファレジスタの現センサーデータ領域に格納し、前記チップイネーブル信号がイネーブル状態にされ、前記書込みネーブル信号がイネーブル状態にされた状態で、前記バッファレジスタに格納された前記第１ラインデータおよび前記第２ラインデータを前記メモリセルを単位に前記メモリに格納する。

また、前記メモリコントローラは、３×３ライン補間を行う映像処理機への出力のための３本の出力ラインを持ち、前記メモリに格納された第１ラインイメージデータおよび第２ラインイメージデータを読み出して、前記第１ラインイメージデータは第１出力ラインを通じて、前記第２ラインイメージデータは第２出力ラインを通じて、そして前記イメージセンサーから入力される第３ラインイメージデータは第３出力ラインを通じて、同一クロック内で出力するように構成するとよい。

また、前記メモリは前記メモリセルの上位および下位データをそれぞれ出力するための第１データ出力ラインおよび第２データ出力ラインを持ち、前記メモリコントローラは第３データ出力ラインを持ち、前記メモリセルの上位領域に格納された前記前センサーデータは前記第１データ出力ラインを通じて、前記メモリセルの下位領域に格納された前記現センサーデータは前記第２データ出力ラインを通じて、同一クロック内に同期化されて出力される構成とすると好ましい。

好ましくは、前記イメージセンサーから入力される画像データは、ベイヤー（Bayer）パターン信号である。

また、前記イメージセンサーは、ＣＣＤ（charged coupled device）イメージセンサーおよびＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサーのいずれかであると好ましい。

上記の目的を達成するために、本発明に係るイメージ補間用ラインデータ提供方法は、ｍビットデータを出力するイメージセンサーから入力される第１ラインのデータを２ｍビット単位にバッファレジスタの現センサーデータ領域に格納するステップ；前記バッファレジスタの現センサーデータ領域に格納された第１ラインのデータを２ｍビット単位にメモリに格納するステップ；前記バッファレジスタをリフレッシュ（refresh）するステップ；前記メモリに格納された前記第１ラインのデータを２ｍビット単位に読み出して前記バッファレジスタの前センサーデータ領域に格納し、前記イメージセンサーから入力される第２ラインのデータを２ｍビット単位に前記バッファレジスタの現センサーデータ領域に格納するステップ；前記バッファレジスタの前センサーデータ領域に格納された第１ラインのデータおよび前記現センサーデータ領域に格納された第２ラインのデータを４ｍビット単位に前記メモリに格納するステップ；および、前記メモリに格納された第１ラインのデータおよび第２ラインのデータとイメージセンサーから入力される第３ラインのデータを同一クロック内で映像処理機に出力するステップを含むことを特徴とする。

ここで、前記映像処理機に出力するステップは、前記メモリに連結されたメモリコントローラが前記メモリに格納された第１ラインのデータを読み出すステップ；前記メモリコントローラが前記メモリに格納された第２ラインのデータを読み出すステップ；および、前記メモリコントローラがイメージセンサーから入力される第３ラインのデータと、前記メモリから読み出した第１ラインのデータおよび第２ラインのデータをそれぞれの別個のラインを通じて映像処理機に出力するステップを含む。

また、前記メモリは第１出力ラインおよび第２出力ラインを持ち、前記メモリコントローラは第３出力ラインを持ち、前記映像処理機に出力するステップは、同一クロック内で、前記第１ラインイメージデータを前記第１出力ラインを通じて出力し、前記第２ラインイメージデータを前記第２出力ラインを通じて出力し、前記第３ラインイメージデータを前記メモリコントローラの第３出力ラインを通じて出力するステップを含むと好ましい。

また、前記メモリは２ラインの前記画像データを格納できるような容量をもつと好ましい。

好ましくは、前記画像データの１ラインは一連の画素で構成される。

本発明によれば、一つのメモリを使って３×３ライン補間法を行う映像処理機に３ラインのテータを供給できるラインバッファを提供することができる。

また、本発明によれば、３×３ライン補間法を行う映像処理機に３ラインのテータを供給するラインバッファにおいてメモリの制御のために要求されるアドレスの数を減らすことによってメモリ制御を単純化することができる。

また、本発明によれば、３×３ライン補間法を行う映像処理機に３ラインのテータを供給するラインバッファにおいてメモリの制御のために要求されるメモリコントロール信号のアドレスの数を減らすことによってメモリ制御を単純化することができる。

以下、添付図面を参照しつつ本発明をさらに詳細に説明する。

図４は、本発明による３×３ライン補間用メモリ提供装置を示し、図５はメモリ４０３およびメモリコントローラ４０２間のデータ転送のための詳細構成を示す図である。

イメージセンサー４０１はイメージを撮像して一つのラインがｎ個の画素で構成されたベイヤーパターンに格納し、画像データをｍビット単位にデータライン４０６を介してメモリコントローラ４０２に伝達する。１画素のデータ大きさはｍビットと仮定し、通常、ベイヤーパターンの１画素の大きさは８ビット、つまり、ｍ＝８である。イメージフレームの第１ラインイメージデータがイメージセンサー４０１から出力されてメモリコントローラ４０２に入力されると、メモリコントローラ４０２は、二つの画素データをバッファレジスタ４０５の下位領域の現（present）データ領域（３）および（４）に記録する。ここで、前記バッファレジスタ４０５は４個の領域（１）、（２）、（３）および（４）で構成されている。メモリ４０３のＣＥおよびＷＥをイネーブル状態にして前記バッファレジスタ４０５の現データ領域に記録されたデータをメモリ４０３に格納した後、バッファレジスタをリフレッシュ（refresh）する。

イメージセンサー４０１から第２ラインイメージデータがメモリコントローラ４０２に入力されると、メモリコントローラ４０２は、画素データ２個、つまり、２ｍビット単位にバッファレジスタ４０５の現データ領域（３）および（４）にｍビットずつそれぞれ格納すると同時に、メモリ４０３のＷＥをディセーブル状態にさせてメモリを読出しモード状態にし、メモリ４０３に格納された第１ラインイメージデータを２ｍビット単位にメモリコントローラ４０２に読み出してバッファレジスタ４０５の前（prior）データ領域（１）および（２）に記録する。したがって、バッファレジスタ４０５の前データ領域（上位領域）には２ｍビットの第１ラインイメージデータが格納され、現データ領域（下位領域）には２ｍビットの第２ラインイメージデータが格納される。

その後、メモリコントローラ４０２は、メモリ４０３のＷＥをイネーブル状態にしてバッファレジスタ４０５の前データ領域（１）および（２）と現データ領域（３）および（４）にそれぞれ格納された２ｍビットの第１ラインのデータと２ｍビットの第２ラインのデータをメモリ４０３に格納する。メモリ４０３に格納された第１ラインおよび第２ラインイメージデータはデータライン４０８を介して４ｍビット長のメモリセル単位にメモリ４０３に転送されてバッファレジスタ４０５と対応するメモリセル４０９に格納される。このとき、メモリ４０３内のメモリセル４０９の格納位置を指定するためのアドレスも転送される。その後、バッファレジスタ４０２をリフレッシュ（refresh）する。

その後、イメージセンサー４０１からの第３ラインイメージデータがデータライン４０６を介してメモリコントローラ４０２に入力されると、メモリコントローラ４０２は、前記第３ラインイメージデータと、前記メモリ４０３に格納された第１ラインイメージデータおよび第２ラインイメージデータをそれぞれ同一クロックでデータ転送ライン４１１、４１２、４１３を介して映像信号処理器４０４に伝達する。映像信号処理器４０４は、データ転送ライン４１１、４１２、４１３を介してｍビット単位に受信される第１、第２および第３ラインイメージデータを受信して３×３ライン補間を行う。

図４および図５に示した本発明による３×３ライン補間用メモリ提供装置によれば、バッファレジスタ４０５により２ラインのデータが一つのメモリセル単位に合わせられて４ｍビット単位にメモリ４０３に伝達される。したがって、１ラインがｎ個の画素で構成されていると仮定する場合、図２に示した従来のメモリ提供装置によれば、メモリ２０４、２０５それぞれにｎ個のアドレスが要求されるので総２ｎ個のアドレスが必要となるに対し、本発明による３×３ライン補間用メモリ提供装置によれば、メモリ４０３にデータを格納するために要求されるアドレスの数がｎ／２個に減る。

図６は、本発明による３×３ライン補間用３ライン画像データを同時に映像処理機に提供するためのメモリ提供装置の動作を説明するタイミング図である。次に図５および図６を参照してメモリ提供装置の動作を説明する。

ここでは、センサークロックが基本クロックとなり、HsyncおよびＷＥはハイ（High）であるときイネーブル状態であり、ＣＥはロー（Low）であるときイネーブル状態であると仮定する。また、第１ラインのデータがすでにメモリ４０３のaddr₀、addr₁、addr₂、．．．、addr_n/2番地のメモリセルの現（present）データ領域（下位領域）にそれぞれ格納されていると仮定する。

ｔ１でイメージの一つのフレームの開始を示すHsyncがイネーブル状態にされると、イメージセンサーから第２ラインのデータ（dp₀、dp₁、dp₂、dp₃、dp₄、．．．）がｍビット単位に出力される。第２ラインイメージデータの２画素のデータdp₀₁（以下、dp₀およびdp₁をdp₀₁とも略す）が出力されると、メモリコントローラ４０２は、ｔ２でＣＥをイネーブル状態にしてメモリ４０３をイネーブル状態にさせ、前記第２ラインの最初の２画素に対するデータ（dp₀およびdp₁）を受信してバッファレジスタ４０５の現データ領域（下位領域）に記録し、メモリのaddr₀番地のメモリセル４０９の下位領域に格納されていたデータ（dm_0L）をバッファレジスタ４０５の前データ領域（上位領域）に記録した後、ｔ３でＷＥがイネーブル状態にされるとメモリコントローラ４０２はdp₀₁（dp₀およびdp₁）をaddr₀番地のメモリセル４０９の現データ領域（下位領域）に格納する。

図６のタイミング図において、下付きＬは“メモリセル４０９”の下位領域に格納されるデータであることを示し、Ｈは“メモリセル４０９”の上位領域に格納されたデータであることを示す。その後、第２ラインの続くデータdp₂₃、dp₄₅などもまた、メモリ４０３のaddr₁、addr₂、addr₃、．．．、addr_n/2-1番地の各メモリセル（図示せず）に順に格納する。

その後、バッファレジスタ４０５の前データ領域として設定された上位領域に記録された第１ラインイメージデータであるdm_0Lおよび現データ領域として設定された下位領域に記録された第２ラインイメージデータであるdp₀₁をメモリセル４０９に対応する４ｍビットの単位にメモリ４０３に転送してaddr₀番地のメモリセル４０９に新規に格納する。すなわち、元来addr₀番地のメモリセル４０９の下位領域に格納されていたdm_0Lが新規にaddr₀番地のメモリセル４０９の上位領域に格納される。つまり、本明細書の表記法によればdm_0Lがdm_0Hとなる。

その結果、メモリセル４０９の上位領域には元来下位領域に格納されていた第１ラインイメージデータであるdm_0Lが格納され（つまり、dm_0Hとなり）、下位領域には第２ラインイメージデータであるdp₀₁が格納される。その後、バッファレジスタ４０５をリフレッシュする。

これと同様に、同ラインの次のデータdp₂₃に対しても、バッファレジスタ４０５を通じて、addr₁番地のメモリセル（図示せず）の上位領域にはメモリ４０３に格納されていたデータであるdm_1Lが格納され、下位領域にはイメージセンサーから受信したdp₂₃が格納される。次いで、バッファレジスタ４０５を通じてaddr₂番地のメモリセル（図示せず）の上位領域にはメモリ４０３に格納されていたデータであるdm_2Lが格納され、下位領域にはイメージセンサーから受信したdp₄₅が格納される。第２ラインの次のデータもまた、メモリ４０３のメモリセルに格納される。その結果、上位領域には第１ラインのデータ（dm_0L、dm_1L、dm_2L．．．）を含み、下位領域には第２ラインのデータ（dp₀₁、dp₂₃、dp₄₅、．．．）を含むｎ／２個のメモリセルがメモリ４０３に格納される。したがって、メモリセル単位にメモリ４０３にデータを格納するために要求されるアドレス数はｎ／２個となる。

その後、メモリのaddr₀番地のメモリセルに格納された第１ラインイメージデータ（dm_0L）、第２ラインイメージデータ（dp₀₁）およびイメージセンサー４０１から入力される第３ラインイメージデータをそれぞれｍビット長のバスライン４１１、４１２、４１３を介して映像信号処理器４０４に伝達する。

これと同時に、メモリコントローラ４０２はaddr₀番地に格納されたメモリセルの下位領域に格納されたデータ（dp₀₁）を読み出してバッファレジスタ４０５の前データ領域に記録し、前記第３ラインイメージデータの最初の２画素に対するデータをバッファレジスタ４０５の現データ領域に記録した後、これをメモリに転送してメモリのaddr₀番地にあるメモリセルに記録し、次のクロックでイメージセンサーから受信される第４ラインイメージデータとaddr₀に格納された第２ラインの最初の２画素に対するデータ（dp₀₁）および第３ラインの最初の２画素に対するデータをそれぞれｍビット長のラインを介して映像信号処理器４０４に伝達する。

このように、第１、第２および第３ライン、第２、第３および第４ライン、第３、第４および第５ラインが同時に映像信号処理器４０４に伝達される。

以後のデータもこのような方式によりメモリ４０３に格納されてから、３ラインずつそれぞれｍビットのデータライン４１１、４１２、４１３を介して映像信号処理器４０４に伝達される。

ここで、メモリ４０３の最小容量は２ラインの画素データ、すなわち、２ｎ個の画素データを格納できるような容量が要求される。

本明細書では映像信号処理器４０４に伝達されるｍビットのデータライン４１１、４１２、４１３がメモリコントローラ４０２から引き出されるものと仮定して説明したが、前記ｍビットのデータライン４１１、４１２、４１３をメモリコントローラ４０２から引き出さずにメモリ４０３から引き出し、メモリコントローラ４０２の制御の下に映像処理機４０４に伝達するように構成してもいい。

また、図５では、バッファレジスタ４０５が物理的にメモリコントローラ４０２の内部に配置されるように示したが、このような構成の他に、メモリコントローラ４０２により制御可能なら、メモリコントローラ４０５の外部に位置してもいい。

このように、本発明のデータ転送方式によれば、４ｍビット長のメモリセル単位にメモリに格納するので、１ラインがｎ個の画素で構成された場合、ｎ／２個のアドレスで一つのラインを処理できるので、結果として使用されるアドレスの数が１／４に減る。また、メモリを一つだけ使用するため、メモリ制御に必要なＣＥおよびＷＥなどメモリ制御信号も一つだけで済み、制御信号も半分に減る。

ベイヤーパターンの３×３ライン補間法を説明するための図である。従来の３×３ライン補間法遂行のための３ライン画像データを同時に映像処理機に入力するための構成を示す図である。従来の３×３ライン補間法遂行のための３ライン画像データを同時に映像処理機に入力するためのバッファの動作を説明するタイミング図である。本発明に係る３×３ライン補間用メモリ提供装置を示す図である。メモリとメモリコントローラ間のデータ転送のための構成を示す図である。本発明に係る３×３ライン補間用３ライン画像データを同時に映像処理機に提供するためのメモリ提供装置の動作を説明するタイミング図である。

符号の説明

４０１イメージセンサー
４０２メモリコントローラ
４０３メモリ
４０４映像信号処理器
４０５バッファレジスタ
４１１、４１２、４１３データ出力ライン

Claims

読出しおよび書込み可能な単一メモリ；
以前に前記メモリに格納された第１ラインイメージデータを２ｍビット単位で格納する前センサーデータ領域、およびｍビット単位で入力される第２ラインイメージデータを２ｍビット単位で格納する現センサーデータ領域を含むバッファレジスタ；および
前記メモリにチップイネーブル信号（ＣＥ）、書込みイネーブル信号（ＷＥ）、および前記現センサーデータ領域の画像データが記録されるアドレスを提供することによって前記バッファレジスタに格納された第１ラインイメージデータおよび第２ラインイメージデータを前記メモリに対して書込みおよび読出しし、前記メモリに格納された第１ラインデータおよび第２ラインデータと前記イメージセンサーから転送される第３ラインデータの出力を制御するメモリコントローラ
を備えている
ことを特徴とするイメージ補間用ラインデータ提供装置。
イメージを撮像して前記メモリコントローラに提供するイメージセンサーと、前記出力される第１、第２および第３ラインのデータを受信してイメージ補間を行う映像信号処理器とをさらに含むことを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
前記メモリコントローラによるメモリのデータ読出しおよび書込みは、上位領域２ｍビットおよび下位領域２ｍビットを有する４ｍビットのメモリセルを単位に前記メモリコントローラによって行われることを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
前記メモリコントローラは３本のデータ出力ラインをもつことを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
前記メモリコントローラは、前記チップイネーブル信号がイネーブル状態にされ、前記書込みイネーブル信号がディセーブル状態で、前記メモリから前記第１ラインデータを読み出して前記バッファレジスタの前センサーデータ領域に格納し、現在入力される第２ラインデータを前記バッファレジスタの現センサーデータ領域に格納し、
前記チップイネーブル信号がイネーブル状態にされ、前記書込みイネーブル信号がイネーブル状態で、前記バッファレジスタに格納された前記第１ラインデータおよび前記第２ラインデータを前記メモリセルを単位に前記メモリに格納する
ことを特徴とする請求項３記載のイメージ補間用ラインデータ提供装置。
前記メモリコントローラは、３×３ライン補間を行う映像処理機への出力のための３本の出力ラインを持ち、前記メモリに格納された第１ラインイメージデータおよび第２ラインイメージデータを読み出して、前記第１ラインイメージデータは第１出力ラインを通じて、前記第２ラインイメージデータは第２出力ラインを通じて、そして前記イメージセンサーから入力される第３ラインイメージデータは第３出力ラインを通じて、同一クロック内で出力することを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
前記メモリは前記メモリセルの上位および下位データをそれぞれ出力するための第１データ出力ラインおよび第２データ出力ラインを持ち、前記メモリコントローラは第３データ出力ラインを持ち、前記メモリセルの上位領域に格納された前記前センサーデータは前記第１データ出力ラインを通じて、前記メモリセルの下位領域に格納された前記現センサーデータは前記第２データ出力ラインを通じて、同一クロック内に同期化されて出力されることを特徴とする請求項３記載のイメージ補間用ラインデータ提供装置。
前記イメージセンサーから入力される画像データは、ベイヤーパターン信号であることを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
前記イメージセンサーは、ＣＣＤイメージセンサーおよびＣＭＯＳイメージセンサーのいずれかであることを特徴とする請求項１記載のイメージ補間用ラインデータ提供装置。
ｍビットデータを出力するイメージセンサーから入力される第１ラインのデータを２ｍビット単位にバッファレジスタの現センサーデータ領域に格納するステップ；
前記バッファレジスタの現センサーデータ領域に格納された第１ラインのデータを２ｍビット単位にメモリに格納するステップ；
前記バッファレジスタをリフレッシュするステップ；
前記メモリに格納された前記第１ラインのデータを２ｍビット単位で読み出して前記バッファレジスタの前センサーデータ領域に格納し、前記イメージセンサーから入力される第２ラインのデータを２ｍビット単位で前記バッファレジスタの現センサーデータ領域に格納するステップ；
前記バッファレジスタの前センサーデータ領域に格納された第１ラインのデータおよび前記現センサーデータ領域に格納された第２ラインのデータを４ｍビット単位で前記メモリに格納するステップ；および
前記メモリに格納された第１ラインのデータおよび第２ラインのデータとイメージセンサーから入力される第３ラインのデータを同一クロック内で映像処理機に出力するステップを含む
ことを特徴とするイメージ補間用ラインデータ提供方法。
前記映像処理機に出力するステップが、
前記メモリに連結されたメモリコントローラが前記メモリに格納された第１ラインのデータを読み出すステップ；
前記メモリコントローラが前記メモリに格納された第２ラインのデータを読み出すステップ；および
前記メモリコントローラがイメージセンサーから入力される第３ラインのデータと、前記メモリから読み出した第１ラインのデータおよび第２ラインのデータをそれぞれの別個のラインを通じて映像処理機に出力するステップ
を含むことを特徴とする請求項１０記載のイメージ補間用ラインデータ提供方法。
前記メモリは第１出力ラインおよび第２出力ラインをもち、前記メモリコントローラは第３出力ラインをもち、
前記映像処理機に出力するステップが、
同一クロック内で、前記第１ラインイメージデータを前記第１出力ラインを通じて出力し、前記第２ラインイメージデータを前記第２出力ラインを通じて出力し、前記第３ラインイメージデータを前記メモリコントローラの第３出力ラインを通じて出力するステップを含む
ことを特徴とする請求項１０記載のイメージ補間用ラインデータ提供方法。
前記メモリは２ラインの前記画像データを格納できるような容量をもつことを特徴とする請求項１０記載のイメージ補間用ラインデータ提供方法。
前記画像データの１ラインは一連の画素で構成されたことを特徴とする請求項１０記載のイメージ補間用ラインデータ提供方法。