JP2004104195A - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP2004104195A JP2004104195A JP2002259532A JP2002259532A JP2004104195A JP 2004104195 A JP2004104195 A JP 2004104195A JP 2002259532 A JP2002259532 A JP 2002259532A JP 2002259532 A JP2002259532 A JP 2002259532A JP 2004104195 A JP2004104195 A JP 2004104195A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- color
- line
- image data
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 230000015654 memory Effects 0.000 claims abstract description 62
- 238000000926 separation method Methods 0.000 claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 239000003086 colorant Substances 0.000 claims description 13
- 238000000034 method Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 7
- 239000000872 buffer Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【効果】複数通りの色分布態様を持つ画像信号を処理することができる。
【選択図】 図7
Description
【発明の属する技術分野】
この発明は、画像信号処理装置に関し、特にたとえばビデオカメラに適用され、複数色の色情報が1色ずつ各画素に割り当てられた画像信号に信号処理を施す画像信号処理装置に関する。
【0002】
【従来技術】
従来のこの種のビデオカメラの一例が、特許文献1に開示されている。この従来技術によれば、シャッタボタンが操作される前は、CCDイメージャが間引き読み出し方式で駆動され、CCDイメージャから読み出された低解像度の生画像信号がYUV形式の画像信号に変換され、そして変換された画像信号に基づくリアルタイム動画像がモニタに表示される。シャッタボタンが操作されると、CCDイメージャが全画素読み出し方式で駆動され、CCDイメージャから読み出された高解像度の生画像信号がYUV形式の画像信号に変換され、そして変換された画像信号が圧縮状態で記録媒体に記録される。
【0003】
【特許文献1】
特開2001−231003号公報
【0004】
【発明が解決しようとする課題】
従来技術では、CCDイメージャから出力される生画像信号における色情報の分布状態は、シャッタボタンの操作前後で常に同じである。つまり、シャッタボタンの操作前に読み出される低解像度の生画像信号、およびシャッタボタンの操作後に読み出される高解像度の生画像信号のいずれにおいても、Cy,Ye,…のラインとMg,G,…のラインとが交互に含まれる。このため、シャッタボタンの操作に関係なく、共通の信号処理によって生画像信号をYUV形式の画像信号に変換することができる。しかし、このことは、生画像信号に含まれる色情報の分布態様がシャッタボタンの操作前後で変化する場合に、信号処理(特に色分離処理)を実行できないことを意味する。
【0005】
それゆえに、この発明の主たる目的は、複数通りの色分布態様を有する画像信号に色分離処理を施すことができる、画像信号処理装置を提供することである。
【0006】
【課題を解決するための手段】
この発明は、K個のラインメモリを備え、複数色の色情報が第1態様で1色ずつ各画素に割り当てられた第1画像信号と複数色の色情報が第2態様で1色ずつ各画素に割り当てられた第2画像信号とに信号処理を施す画像信号処理装置であって、K個のラインメモリを形成するL個のラインメモリを用いて第1画像信号の色分布を第1態様から第2態様に変換する変換手段、変換手段によって色分布が変換された第1画像信号にK個のラインメモリを形成するM(=K−L)個のラインメモリを用いて色分離を施す第1色分離手段、および第2画像信号にK個のラインメモリを用いて色分離を施す第2色分離手段を備える、画像信号処理装置である。
【0007】
【作用】
複数色の色情報が第1態様で1色ずつ各画素に割り当てられた第1画像信号については、まず変換手段が、K個のラインメモリを形成するL個のラインメモリを用いて色分布を第1態様から第2態様に変換する。色分布が変換された第1画像信号は、K個のラインメモリを形成するM(=K−L)個のラインメモリを用いて、第1色分離手段によって色分離を施される。一方、複数色の色情報が第2態様で1色ずつ各画素に割り当てられた第2画像信号については、K個のラインメモリを用いて、第2色分離手段によって色分離を施される。
【0008】
つまり、第1画像信号に信号処理を施すときは、一部のラインメモリが色分布態様の変換に用いられ、残りのラインメモリが色分離に用いられる。一方、第2画像信号に信号処理を施すときは、全てのラインメモリが色分離に用いられる。色分離に振り分けられるラインメモリの数が第1画像信号と第2画像信号とで異なるため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【0009】
好ましくは、第1態様は複数色の色情報がN(≦L)ラインにわたって分布する態様であり、第2態様は複数色の色情報がLラインにわたって分布する態様である。かかる場合に、L個のラインメモリを用いることによって色分布を第1態様から第2態様に変換することができる。
【0010】
第1色分離手段は、好ましくは、L個のラインメモリから読み出された第1画像信号に基づいて、各画素が複数色の色情報を持つ補間画像信号を1ラインずつ生成する。
【0011】
一方、第2色分離手段は、K個のラインメモリから読み出された第2画像信号に基づいて各画素が前記複数色の色情報を有する複数ラインの補間画像信号を同時に生成し、生成された複数ラインの補間画像信号に基づいてノイズが除去された1ラインの補間画像信号を生成する。
【0012】
第1画像信号は、好ましくは第2画像信号よりも低解像度である。低解像度の画像信号に高画質は要求されない点に着目し、K個よりも少ないM個のラインメモリが第1画像信号の色分離に用いられる。さらに好ましくは、第1画像信号は動画像信号であり、第2画像信号は静止画像信号である。動画像を形成する各フレームの静止画像には高画質は要求されない点に着目したものである。
【0013】
【発明の効果】
この発明によれば、第2画像信号については、K個のラインメモリのうち、L個のラインメモリを色分布態様の変換に用いるようにしたため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【0014】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0015】
【実施例】
図1を参照して、この実施例のディジタルカメラ10は、インターライン転送方式のCCDイメージャ14を含む。CCDイメージャ14の受光面は、色フィルタ14aによって覆われ、被写体の光学像は、光学レンズ12および色フィルタ14aを経てCCDイメージャ14の受光面に照射される。
【0016】
図2を参照して、色フィルタ14aは、赤色の色要素(R要素),緑色の色要素(G要素)および青色の色要素(B要素)がモザイク状に配置された原色フィルタである。垂直方向には、R要素およびG要素が水平方向に交互に配置されたRGラインと、G要素およびB要素が水平方向に交互に配置されたGBラインとが、交互に配置される。かかる色要素はCCDイメージャ14の受光面に形成された受光素子つまり画素に1対1で対応し、各々の受光素子で光電変換によって生成される電荷つまり画素信号は、R,GまたはBの色情報を有する。
【0017】
電源が投入されると、CPU38は、被写体のリアルタイム動画像(スルー画像)をLCDモニタ34に表示すべく、露光および間引き読み出しの繰り返しをTG(Timing Generator)16に命令する。TG16は、垂直同期信号に応答してイメージセンサ14に露光を施し、当該露光によって複数の受光素子で生成された電荷を間引き方式で読み出す。間引き読み出しでは、図5(A)に斜線で示す画素が読み出しの対象となり、かかる画素で生成された電荷が図5(B)〜図5(F)に示す要領でCCDイメージャ14から出力される。
【0018】
図5(A)を参照して、RGライン→GBライン→RGラインの順で垂直方向に連続する3ラインつまりベルトB1では、2つのRGラインが読み出しラインとなり、GBライン→RGライン→GBラインの順で垂直方向に連続する3ラインつまりベルトB2では、2つのGBラインが読み出しラインとなる。
【0019】
ベルトB1およびB2の各々を垂直3ライン×水平2画素のマトリクスMTの集合と考えると、まずベルトB1の偶数番目のマトリクスMTで生成された電荷が、図5(B)に示すタイミングで読み出され、同じ色情報を持つ電荷どうしで混合される。混合された電荷は図5(C)に示すように水平方向に転送され、ベルトB1の奇数番目のマトリクスMTから読み出された電荷と図5(D)に示すタイミングで混合される。こうして、同じ色情報を持つ4画素分の電荷が1つにまとめられる。
【0020】
ベルトB2の偶数番目のマトリクスMTで生成された電荷は、図5(D)に示すタイミングで読み出され、同じ色情報を持つ電荷どうしで混合される。混合された電荷は図5(E)に示すように水平方向に転送され、ベルトB2の奇数番目のマトリクスMTから読み出された電荷と図5(F)に示すタイミングで混合される。このため、ベルトB2についても、同じ色情報を持つ4画素分の電荷が1つにまとめられる。
【0021】
画素信号の読み出し/転送が上述の要領で実行されることで、解像度が低減された低解像度生画像信号がCCDイメージャ14から出力される。イメージセンサ14から出力された低解像度生画像信号は、CDS/AGC回路18によってノイズ除去およびレベル調整を施され、A/D変換器20によってディジタルデータ(低解像度生画像データ)に変換される。スルー画像をモニタ34に表示するとき、CPU38は、スイッチSW1を端子S1と接続する。したがって、A/D変換器20から出力された低解像度生画像データは、スイッチSW1を介して信号処理回路22に与えられ、スルー画像表示に対応する信号処理によって低解像度YUVデータに変換される。信号処理回路22から出力された低解像度YUVデータは、ズーム回路24による縮小ズーム処理を経てバッファコントロール回路26に与えられる。
【0022】
図4を参照して、バッファコントロール回路26は、データを一時的に格納するバッファ262a〜262fが個別に割り当てられたコントローラ261a〜261fを有する。SDRAM30へのデータ書き込みはコントローラ261a〜261cによって行われ、SDRAM30からのデータ読み出しはコントローラ261d〜261fによって行われる。
【0023】
図1に示すズーム回路24から出力された低解像度YUVデータは、コントローラ261aおよびバッファ262aを介してSDRAMコントロール回路28に与えられる。SDRAM30は図3に示す要領でマッピングされており、SDRAMコントロール回路28は、与えられた低解像度YUVデータを表示画像エリア30aに書き込む。
【0024】
表示画像エリア30aに格納された低解像度YUVデータは、SDRAMコントロール回路28によって読み出され、コントローラ261eおよびバッファ262eを経てビデオエンコーダ32に出力される。ビデオエンコーダ32では低解像度YUVデータがコンポジット画像信号に変換され、変換されたコンポジット画像信号がLCDモニタ34に与えられる。この結果、スルー画像がモニタ画面に表示される。
【0025】
シャッタボタン42が操作されると、CPU38は、被写体像を記録媒体40に記録すべく、1回の露光および1回の全画素読み出しをTG16に命令する。TG16は、まずCCDイメージャ14に本露光を施し、これによって生成された電荷をインタレーススキャン方式で読み出す。このときは、図6(A)に示すように全ての画素が読み出しの対象となる。奇数フィールドでは図6(B)に示すようにRGラインの電荷が出力され、偶数フィールドでは図6(C)に示すようにGBラインの電荷が出力される。
【0026】
こうしてイメージセンサ14から出力された1フレームの高解像度生画像信号は、CDS/AGC回路18を通過し、A/D変換器20において高解像度生画像データに変換される。変換された高解像度生画像データは、バッファコントロール回路26に直接入力され、コントローラ261bおよびバッファ262bを介してSDRAMコントロール回路28に与えられる。高解像度生画像データは、SDRAMコントロール回路28によって図3に示す生画像エリア30bに書き込まれる。
【0027】
なお、シャッタボタン42が操作されてから1フレームの高解像度生画像データが生画像エリア30bに取り込まれる間、ビデオエンコーダ32はオフされ、モニタ34には黒画像が表示される。
【0028】
生画像エリア30bに格納された高解像度生画像データは、SDRAMコントロール回路28によって読み出される。奇数フィールドの生画像データおよび偶数フィールドの高解像度生画像データは1ラインずつ交互に読み出され、これによってインタレーススキャンデータがプログレッシブスキャンデータに変換される。変換された高解像度生画像データは、コントローラ261fおよびバッファ262fを介して図1に示す端子S2に出力される。
【0029】
シャッタボタン42が操作されると、スイッチSW1が端子S2と接続される。コントローラ261fから出力された高解像度生画像データは、スイッチSW1を介して信号処理回路22に与えられる。信号処理回路22は、与えられた高解像度生画像データに画像記録に対応する信号処理を施し、これによって高解像度YUVデータが生成される。生成された高解像度YUVデータはズーム回路24に与えられ、縮小ズーム処理によって表示用の低解像度YUVデータに変換される。
【0030】
変換された低解像度YUVデータは、図4に示すコントローラ261aおよびバッファ262aを介してSDRAMコントロール回路28に与えられ、SDRAMコントロール回路28によってSDRAM30の表示画像エリア30aに書き込まれる。表示画像エリア30aに格納された低解像度YUVデータは、スルー画像出力時と同様の処理によってビデオエンコーダ32に与えられる。この結果、被写体のフリーズ画像がモニタ34に表示される。
【0031】
フリーズ画像に対応する低解像度YUVデータの表示画像エリア30aへの書き込みが完了すると、生画像エリア30bに格納された高解像度生画像データがSDRAMコントロール回路28によって再度読み出される。このときも、奇数フィールドの高解像度生画像データと偶数フィールドの高解像度生画像データとが1ライン毎に交互に読み出される。読み出された高解像度生画像データは、上述と同じ要領で信号処理回路22に与えられ、高解像度YUVデータに変換される。
【0032】
ズーム回路24の水平ズーム倍率および垂直ズーム倍率は、フリーズ画像に対応する低解像度YUVデータが得られた後に初期化される。このため、高解像度YUVデータは、ズーム処理を施されることなくズーム回路24から出力される。
【0033】
出力された高解像度YUVデータは、図4に示すコントローラ261aおよびバッファ262aを通してSDRAMコントロール回路28に与えられ、SDRAMコントロール回路28によって図3に示すJPEGワークエリア30cに書き込まれる。JPEGワークエリア30cに格納された高解像度YUVデータは、その後SDRAMコントロール回路28によって読み出され、図4に示すコントローラ261dおよびバッファ262dを介してJPEGコーデック36に与えられる。JPEGコーデック36は、与えられた高解像度YUVデータにJPEG圧縮を施してJPEGデータが生成する。生成されたJPEGデータは、図4に示すコントローラ261cおよびバッファ262cを介してSDRAMコントロール回路28に与えられ、SDRAMコントロール回路28によって図3に示す圧縮画像エリア30dに書き込まれる。
【0034】
JPEGデータが圧縮画像エリア30dに確保された後、CPU38は、SDRAMコントロール回路28を通してSDRAM30にアクセスし、JPEGデータを圧縮画像エリア30dから読み出す。CPU38はさらに、読み出されたJPEGデータを含む画像ファイルを作成し、作成した画像ファイルを記録媒体40に記録する。
【0035】
信号処理回路22は、図7に示すように構成される。スルー画像の出力のためにスイッチSW1から低解像度生画像データが与えられるとき、スイッチSW2は端子S4と接続され、スイッチSW3は端子S5と接続される。これによって、ライン分離回路22aが有効化され、色分離回路22dに含まれる補間回路223dおよび225dとメディアンフィルタ226dとが無効化される。また、5つのラインメモリ221b〜225bのうち、2つのラインメモリ221bおよび222bがライン分離回路22aに割り当てられ、3つのラインメモリ223b〜225bが色分離回路22dに割り当てられる。
【0036】
図8(A)を参照して、CCDイメージャ14の水平画素数および垂直画素数をHpxおよびVpxとすると、スルー画像出力時にCCDイメージャ14から出力される低解像度生画像信号の水平画素数H1mおよび垂直画素数V1mは、HpxおよびVpx/6となる。また、この低解像度生画像信号を形成する各ラインでは、画素信号の色情報はR,G,G,B,R,G,G,B,…の順で変化する。したがって、スイッチSW1から入力される画素データの色情報もまた、R,G,G,B,R,G,G,B,…の順で変化する。
【0037】
ライン分離回路22aは、スイッチSW1から画素データを2画素ずつ2つに分離し、分離された一方の画素データをラインメモリ221bに書き込むとともに、分離された他方の画素データをラインメモリ222bに書き込む。ラインメモリ221bに書き込まれた画素データの色情報はR,G,R,G,…の順で変化し、ラインメモリ222bに書き込まれた画素データの色情報はG,B,G,B,…の順で変化する。ライン分離回路22aはその後、ラインメモリ221bおよび222bから順に画素データを読み出す。この結果、ライン分離回路22aからは、図8(B)に示すように画素データの配置が変換された低解像度生画像データが出力される。
【0038】
図8(B)によれば、変換後の水平画素数H2mは変換前の水平画素数H1mの1/2となり、変換後の垂直画素数V2mは変換前の垂直画素数V1mの2倍となる。また、奇数ラインの画素データの色情報はR,G,R,G,…の順で変化し、偶数ラインの画素データの色情報はG,B,G,B,…の順で変化する。
【0039】
なお、ラインメモリ221b〜225bはいずれも、水平画素数H1mに相当する画素データを格納できる容量を有する。このため、図8(B)に示すH2m×V2mの低解像度生画像データのうち、奇数番目の2ライン分の画素データがラインメモリ221bに格納され、偶数番目の2ラインの画素データがラインメモリ222bに格納される。
【0040】
ライン分離回路22aから出力された低解像度生画像データは、スイッチSW2を介して、色分離回路22dに含まれるラインメモリコントロール回路221dに与えられる。ラインメモリコントロール回路221dは、ラインメモリ223b〜225bを利用して、4ライン分の低解像度生画像データを2次元レジスタアレイ222dに同時に入力する。具体的には、注目する4ラインのうち1ライン目〜3ライン目の生画像データをラインメモリ223b〜225bに書き込み、4ライン目の生画像データが2次元レジスタアレイ222dに入力されるタイミングで1ライン目〜3ライン目の生画像データをラインメモリ223b〜225bから2次元レジスタアレイ222dに入力する。
【0041】
2次元レジスタアレイ222dは、こうして入力された生画像データを水平4画素×垂直4ライン単位で補間回路224dに与える。補間回路224dは、与えられた生画像データに補間処理を施して、各画素がR,GおよびBの全ての色情報を有する補間画像データを1ラインずつ生成する。スイッチSW3は端子S5と接続されているため、生成された各ラインの補間画像データは、メディアンフィルタ226dを経由することなく白バランス調整回路22eに出力される。
【0042】
なお、2次元レジスタアレイ222dに同時に入力される4ラインの生画像データは1ラインずつに更新され、補間回路224dに与えられる水平4画素×垂直4ラインの生画像データは水平方向において1画素ずつ更新される。
【0043】
白バランス調整回路22eでは色分離回路22dから入力された補間画像データに白バランス調整が施され、続くYUV変換回路22fでは色バランスが調整された補間画像データにYUV変換が施される。この結果、図8(C)に示すように水平画素数がH3mで垂直画素数がV3mの低解像度YUVデータが、YUV変換回路22fから出力される。低解像度YUVデータの水平画素数H3mおよび垂直画素数V3mは、ライン分離を施された低解像度生画像データの水平画素数H2mおよび垂直画素数V2mにほぼ等しい。
【0044】
画像記録のためにスイッチSW1から高解像度生画像データが与えられるとき、スイッチSW2は端子S3と接続され、スイッチSW3は端子S6と接続される。これによって、ライン分離回路22aが無効化され、補間回路223dおよび225dとメディアンフィルタ226dとが有効化される。また、5つのラインメモリ221b〜225bの全てが、ラインメモリコントロール回路221dに割り当てられる。
【0045】
図9(A)を参照して、画像記録時にSDRAM30の生画像エリア30bから読み出される高解像度生画像データの水平画素数H1nおよび垂直画素数V1nは、CCDイメージャ14の水平画素数Hpxおよび垂直画素数Vpxに等しい。また、生画像エリア30bから高解像度生画像データを読み出すときにスキャン態様がインタレーススキャン態様からプログレッシブスキャン態様に変換されるため、奇数ラインの画素データの色情報はR,G,R,G,…の順で変化し、偶数ラインの画素データの色情報はG,B,G,B,…の順で変化する。
【0046】
ラインメモリコントロール回路221dは、ラインメモリ221b〜225bを利用して、6ライン分の高解像度生画像データを2次元レジスタアレイ222dに同時に入力する。つまり、注目する6ラインのうち1ライン目〜5ライン目の生画像データをラインメモリ221b〜225bに書き込み、6ライン目の生画像データが2次元レジスタアレイ221dに入力されるタイミングで1ライン目〜5ライン目の生画像データをラインメモリ221b〜225bから2次元レジスタアレイ222dに入力する。
【0047】
2次元レジスタアレイ222dは、同時に入力された6ラインの生画像データのうち、1ライン目〜4ライン目の生画像データを水平4画素×垂直4ラインずつ補間回路223dに与え、2ライン目〜5ライン目の生画像データを水平4画素×垂直4ラインずつ補間回路224dに与え、そして3ライン目〜6ライン目の生画像データを水平4画素×垂直4ラインずつ補間回路225dに与える。
【0048】
補間回路223d〜225dはそれぞれ、補間処理によって補間画像データを1ラインずつ作成する。作成された合計3ラインの補間画像データは、メディアンフィルタ226dに与えられる。メディアンフィルタ226dでは、同時に出力された3ラインの補間画像データにメディアンフィルタ処理が施され、これによってノイズが除去された1ラインの補間画像データが生成される。生成された補間画像データは、スイッチSW3を介して白バランス調整回路22eに出力される。
【0049】
なお、画像記録時も、2次元レジスタアレイ222dに同時に入力される6ラインの生画像データは1ラインずつに更新され、補間回路223d〜225dにそれぞれ与えられる水平4画素×垂直4ラインの生画像データは水平方向において1画素ずつ更新される。
【0050】
白バランス調整回路22eでは色分離回路22dから入力された補間画像データに白バランス調整が施され、YUV変換回路22fでは色バランスが調整された補間画像データにYUV変換が施される。この結果、図9(B)に示すように水平画素数がH2nで垂直画素数がV2nの高解像度YUVデータが、YUV変換回路22fから出力される。高解像度YUVデータの水平画素数H2nおよび垂直画素数V2nは、スイッチSW1から入力された高解像度生画像データの水平画素数H1nおよび垂直画素数V1nにほぼ等しい。
【0051】
以上の説明から分かるように、低解像度生画像データについては、各ラインの画素にR,G,G,B,…の順で色情報が分布する。一方、高解像度生画像データについては、奇数ラインの画素にR,G,R,G,…の順で色情報が分布し、偶数ラインの画素にG,B,G,B,…の順で色情報が分布する。つまり、低解像度生画像データでは1(=N)ラインに全ての色情報が分布し、高解像度生画像データでは2(=L)ラインに全ての色情報が分布する。
【0052】
低解像度生画像データに基づいて補間画像データを生成するときは、まずライン分離回路22aが、5(=K)個のラインメモリ221b〜225bのうち2(=L)個のラインメモリ221bおよび222bを用いて、色分布態様を変換する。変換の結果、奇数ラインの画素にはR,G,R,G,…の順で色情報が分布し、偶数ラインの画素にはG,B,G,B,…の順で色情報が分布する。かかる低解像度生画像データ対する色分離は、3(=M)個のラインメモリ223b〜225bを用いて行われる。一方、高解像度生画像データに基づいて補間画像データを生成するときは、色分布の変換が行われることはない。このため、ラインメモリ221b〜225bの全てを用いて色分離が実行される。
【0053】
つまり、低解像度生画像データに信号処理を施すときは、一部のラインメモリが色分布態様の変換に用いられ、残りのラインメモリが色分離に用いられる。一方、低解像度生画像データに信号処理を施すときは、全てのラインメモリが色分離に用いられる。色分離に振り分けられるラインメモリの数が低解像度生画像データと高解像度生画像データとで異なるため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【0054】
なお、この実施例では、原色ベイヤ配列の色フィルタを用いているが、これに代えてYe,Cy,MgおよびGの色要素がモザイク状に配置された補色フィルタを用いるようにしてもよい。
【0055】
また、この実施例では、同じイメージセンサの駆動方式がスルー画像出力時と画像記録時とで異なり、それゆえに低解像度画像データと高解像度画像データとで色情報の分布態様が異なっている。しかし、駆動方式が異なる2つのイメージセンサを共通の信号処理を実行する2つのディジタルカメラにそれぞれ実装した場合は、色分布態様の相違がカメラ間で発生する。この発明によれば、かかる場合でも、信号処理が適切に実行される。つまり、この発明が実現された信号処理回路(ASIC)は、タイプの異なる複数のイメージセンサに適用することができる。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】図1実施例に適用される色フィルタの一例を示す図解図である。
【図3】図1実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図4】図1実施例に適用されるバッファコントロール回路の一例を示すブロック図である。
【図5】間引き読み出しを行うときのCCDイメージャの動作の一部を示すタイミング図である。
【図6】全画素読み出しを行うときのCCDイメージャの動作の一部を示す図解図である。
【図7】図1実施例に適用される信号処理回路の構成の一例を示すブロック図である。
【図8】スルー画像表示処理を行うときの図1実施例の動作の一部を示す図解図である。
【図9】記録処理を行うときの図1実施例の動作の一部を示す図解図である。
【符号の説明】
10…ディジタルカメラ
14…イメージセンサ
22…信号処理回路
24…ズーム回路
26…バッファコントロール回路
32…ビデオエンコーダ
36…JPEGコーデック
38…CPU
42…シャッタボタン
Claims (6)
- K個のラインメモリを備え、複数色の色情報が第1態様で1色ずつ各画素に割り当てられた第1画像信号と前記複数色の色情報が第2態様で1色ずつ各画素に割り当てられた第2画像信号とに信号処理を施す画像信号処理装置であって、
前記K個のラインメモリを形成するL個のラインメモリを用いて前記第1画像信号の色分布を前記第1態様から前記第2態様に変換する変換手段、
前記変換手段によって色分布が変換された第1画像信号に前記K個のラインメモリを形成するM(=K−L)個のラインメモリを用いて色分離を施す第1色分離手段、および
前記第2画像信号に前記K個のラインメモリを用いて色分離を施す第2色分離手段を備える、画像信号処理装置。 - 前記第1態様は前記複数色の色情報がN(≦L)ラインにわたって分布する態様であり、
前記第2態様は前記複数色の色情報がLラインにわたって分布する態様である、請求項1記載の画像信号処理装置。 - 前記第1色分離手段は、前記L個のラインメモリから読み出された第1画像信号に基づいて各画素が複数色の色情報を持つ補間画像信号を1ラインずつ生成する第1補間手段を含む、請求項1または2記載の画像信号処理装置。
- 前記第2色分離手段は、前記K個のラインメモリから読み出された第2画像信号に基づいて各画素が前記複数色の色情報を有する複数ラインの補間画像信号を同時に生成する第2補間手段、および前記第2補間手段によって生成された複数ラインの補間画像信号に基づいてノイズが除去された1ラインの補間画像信号を生成するノイズ除去手段を含む、請求項1ないし3のいずれかに記載の画像信号処理装置。
- 前記第1画像信号は前記第2画像信号よりも低解像度である、請求項1ないし4のいずれかに記載の画像信号処理装置。
- 前記第1画像信号は動画像信号であり、前記第2画像信号は静止画像信号である、請求項5記載の画像信号処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002259532A JP3902525B2 (ja) | 2002-09-05 | 2002-09-05 | 画像信号処理装置 |
US10/653,726 US7236194B2 (en) | 2002-09-05 | 2003-09-02 | Image signal processing apparatus |
CNB031561829A CN100334887C (zh) | 2002-09-05 | 2003-09-03 | 图像信号处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002259532A JP3902525B2 (ja) | 2002-09-05 | 2002-09-05 | 画像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004104195A true JP2004104195A (ja) | 2004-04-02 |
JP3902525B2 JP3902525B2 (ja) | 2007-04-11 |
Family
ID=31986331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002259532A Expired - Fee Related JP3902525B2 (ja) | 2002-09-05 | 2002-09-05 | 画像信号処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7236194B2 (ja) |
JP (1) | JP3902525B2 (ja) |
CN (1) | CN100334887C (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100932217B1 (ko) | 2007-08-09 | 2009-12-16 | 연세대학교 산학협력단 | 컬러 보간 방법 및 장치 |
JP2014123814A (ja) * | 2012-12-20 | 2014-07-03 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7551205B2 (en) * | 2004-03-22 | 2009-06-23 | Fujifilm Corporation | Image processing method, image processing system, image processing apparatus and image processing program |
JP4724577B2 (ja) * | 2005-05-11 | 2011-07-13 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US7719579B2 (en) * | 2005-05-24 | 2010-05-18 | Zoran Corporation | Digital camera architecture with improved performance |
JP2007318725A (ja) * | 2006-04-27 | 2007-12-06 | Olympus Imaging Corp | カメラ、カメラの撮影制御方法、プログラム、記録媒体 |
WO2009069254A1 (ja) * | 2007-11-27 | 2009-06-04 | Panasonic Corporation | 動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法 |
US20110157395A1 (en) * | 2009-12-31 | 2011-06-30 | Compton John T | Image sensor with fractional resolution image processing |
WO2011142774A1 (en) * | 2010-05-14 | 2011-11-17 | Omnivision Technologies, Inc. | Alternative color image array and associated methods |
JP2011258143A (ja) * | 2010-06-11 | 2011-12-22 | Panasonic Corp | タッチパネル装置 |
GB2516288B (en) * | 2013-07-18 | 2015-04-08 | Imagination Tech Ltd | Image processing system |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3242515B2 (ja) * | 1993-12-24 | 2001-12-25 | キヤノン株式会社 | 撮像装置 |
US6031569A (en) * | 1994-02-28 | 2000-02-29 | Canon Kabushiki Kaisha | Image sensing method and apparatus utilizing the same |
JP3208324B2 (ja) * | 1996-05-31 | 2001-09-10 | 三洋電機株式会社 | ディジタルスチルカメラ |
JP3740235B2 (ja) * | 1996-12-20 | 2006-02-01 | キヤノン株式会社 | 撮像装置及び撮像記録再生装置 |
JP3545230B2 (ja) * | 1998-11-18 | 2004-07-21 | 三洋電機株式会社 | 撮像装置およびそれを備えるディジタルカメラ |
JP3822380B2 (ja) * | 1999-03-26 | 2006-09-20 | 富士写真フイルム株式会社 | 画像信号処理装置 |
JP4378804B2 (ja) * | 1999-09-10 | 2009-12-09 | ソニー株式会社 | 撮像装置 |
JP3515467B2 (ja) | 2000-02-18 | 2004-04-05 | 三洋電機株式会社 | ディジタルカメラ |
JP3702350B2 (ja) * | 2000-03-30 | 2005-10-05 | コニカミノルタフォトイメージング株式会社 | デジタルカメラおよび記録媒体 |
JP2002023049A (ja) * | 2000-07-06 | 2002-01-23 | Minolta Co Ltd | デジタルカメラおよび記録媒体 |
JP4454837B2 (ja) * | 2000-12-08 | 2010-04-21 | キヤノン株式会社 | 画像処理装置 |
-
2002
- 2002-09-05 JP JP2002259532A patent/JP3902525B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-02 US US10/653,726 patent/US7236194B2/en not_active Expired - Fee Related
- 2003-09-03 CN CNB031561829A patent/CN100334887C/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100932217B1 (ko) | 2007-08-09 | 2009-12-16 | 연세대학교 산학협력단 | 컬러 보간 방법 및 장치 |
JP2014123814A (ja) * | 2012-12-20 | 2014-07-03 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040046880A1 (en) | 2004-03-11 |
US7236194B2 (en) | 2007-06-26 |
CN1489392A (zh) | 2004-04-14 |
CN100334887C (zh) | 2007-08-29 |
JP3902525B2 (ja) | 2007-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
JP5053654B2 (ja) | 画像処理装置およびその方法と電子カメラ | |
US20100328485A1 (en) | Imaging device, imaging module, electronic still camera, and electronic movie camera | |
JP3970185B2 (ja) | 固体撮像素子及びデジタルカメラ | |
JPH09247689A (ja) | カラー撮像装置 | |
WO2009118799A1 (ja) | 撮像装置、撮像モジュール、及び撮像システム | |
JP4796871B2 (ja) | 撮像装置 | |
US8111298B2 (en) | Imaging circuit and image pickup device | |
JP2003299112A (ja) | デジタルカメラ | |
JP3947969B2 (ja) | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム | |
JP3902525B2 (ja) | 画像信号処理装置 | |
JP2007124295A (ja) | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 | |
JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP2008141728A (ja) | 撮像ユニット | |
US7470881B2 (en) | Solid-state imaging device including plural groups of photoelectric conversion devices with plural microlenses being shifted in a peripheral portion of the imaging device, and imaging apparatus including the imaging device | |
JP4051780B2 (ja) | 撮像素子の駆動方法および撮像装置 | |
JP3909930B2 (ja) | 単板カラー固体撮像装置 | |
JP4468052B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2008078794A (ja) | 撮像素子駆動装置 | |
JP2000261817A (ja) | 撮像装置 | |
JP4271011B2 (ja) | 撮像処理装置 | |
JP4478934B2 (ja) | 画像信号処理装置 | |
JP2006094194A (ja) | 信号処理装置及び信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061228 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |