JP2008178010A - 撮像装置及び撮像装置の駆動方法 - Google Patents

Abstract

【課題】複数の撮像素子から出力された輝度信号及び色差信号に画像フォーマットに応じて補正処理を行う時間を短縮できる撮像装置及び撮像装置の駆動方法を提供する。
【解決手段】本発明の撮像装置は、入射光を分光する分光手段と、分光手段によって分光された光を受光し、輝度画像を出力する第１撮像素子と、分光手段によって分光された光を受光し、色差画像を出力する第２撮像素子とを備え、第２撮像素子から出力された色差画像に同時化処理を行い、同時化処理された色差画像に基づいて色差信号を出力する色差信号変換手段を有し、色差信号変換手段が、所定の画像のフォーマットに適合するように、輝度画像から得られる輝度信号の画素に対する色差信号の数を予め設定する。
【選択図】図３

Description

本発明は、撮像装置及び撮像装置の駆動方法に関し、特に、２つの撮像素子を用いて、輝度信号と色差信号とを出力して画像を生成する撮像装置及び撮像装置の駆動方法に関する。

現在、デジタルスチルカメラなどの撮像装置では、良好な解像度及び感度特性を得ることを目的として、カラーフィルタを有する撮像素子と、カラーフィルタを有していない撮像素子とを備えた構成のものがある。このような構成の撮像装置では、入射光を分光し、分光した光からカラーフィルタを有する撮像素子を用いて色差画像を取得し、かつ、カラーフィルタを有していない撮像素子を用いて輝度画像を取得し、色差画像及び輝度画像を色差信号及び輝度画像に変換し、カラー画像を生成している。

図８は、２つの撮像素子を有する撮像装置の処理の手順を概略的に示す図である。最初に、入射光を分光部材によって２つに分光し、分光の一方をカラーフィルタを有する固体撮像素子であるカラーＣＣＤによって受光し、分光の他方をカラーフィルタを有しない固体撮像素子である無色ＣＣＤによって受光する。図９は、色差信号の状態を模式的に示す図であり、図１０は、輝度信号の状態を模式的に示す図である。図９（ａ）は、カラーＣＣＤから出力された色差画像を模式的に示している。なお、図９及び図１０では、画像を構成する単位画素をピクセル１Ｐで示しており、各ピクセル１Ｐの縦方向寸法及び横方向寸法を等しくすることで説明を簡略化している。

撮像時に、撮像装置はカラーＣＣＤから出力された信号にＲＧＢ同時化の処理を行う。ＲＧＢ同時化とは１ピクセル１Ｐに対してＲＧＢ３色のデータを生成する処理をいう。図９（ｂ）は、図９（ａ）の色差画像にＲＧＢ同時化処理を行うことで出力される色差画像の状態を模式的に示している。また、図９（ｃ）に示すように、ＲＧＢ同時化処理された色差画像が色差変換され、色差信号Ｃｂ，Ｃｒが生成される。一方で、無色ＣＣＤから出力された輝度画像に基づいて、図１０に示すように、各ピクセル１Ｐごとに輝度信号Ｙが生成される。色差信号Ｃｂ，Ｃｒ及び輝度信号Ｙは、圧縮伸張処理が施されることで、画像の所定の形式に準拠するＪＰＥＧやＭＰＥＧなどのフォーマットに変換された状態となり、図示しない記憶部に記憶される。ここで、図９及び図１０に示す画像では、輝度信号Ｙの各ピクセル１Ｐに対して色差信号Ｃｂ，Ｃｒの各ピクセル１Ｐが対応しており、Ｙ：Ｃｂ，Ｃｒ＝１：１となっている。

特開平５−２０７４８５号公報 特開２００２−３５４４９２号公報 特開平１１−１２７４４１号公報 特開平６−１２１３２６号公報

一般に、人間の視覚において、輝度に対しては高い解像力を有しているが、色彩については、輝度に比べて解像力が低いという性質がある。このため、輝度信号Ｙを生成する撮像素子は、高い解像度を確保するため画素数の多いものが必要であるが、色差信号Ｃｂ，Ｃｒを生成する撮像素子は、それほど高い解像度を必要としないため、画素数の少ないものを用いることができる。そこで、複数の輝度信号Ｙに対して１つの色差信号Ｃｂ，Ｃｒを用いて色差変換式により算出することで、カラー画像を生成することができる。

ところで、ＪＰＥＧやＭＰＥＧなどの画像フォーマットにおいては、輝度信号Ｙに対して所定数の色差信号Ｃｂ，Ｃｒによって構成されている。例えば、一般的にＹＣ４２２と称されるフォーマットでは、４つの輝度信号Ｙに対して２つの色差信号Ｃｂ，Ｃｒから構成されている。また、ＹＣ４２０と称されるフォーマットでは、４つの輝度信号Ｙに対して１つの色差信号Ｃｂ，Ｃｒから構成されている。２つの撮像素子を備えた撮像装置は、フォーマットに準拠するように生成された輝度信号Ｙと色差信号Ｃｂ，Ｃｒを圧縮伸張回路で補正する必要があった。このように、従来の撮像装置では、各撮像素子から出力された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを画像のフォーマットに応じて補正処理するための時間が必要となる点で改善の余地があった。

本発明は、上記事情に鑑みてなされたもので、その目的は、複数の撮像素子から出力された輝度信号及び色差信号に画像フォーマットに応じて補正処理を行う時間を短縮できる撮像装置及び撮像装置の駆動方法を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）入射光を分光する分光手段と、
前記分光手段によって分光された光を受光し、輝度画像を出力する第１撮像素子と、
前記分光手段によって分光された光を受光し、色差画像を出力する第２撮像素子とを備えた撮像装置であって、
前記第２撮像素子から出力された前記色差画像に同時化処理を行い、同時化処理された前記色差画像に基づいて色差信号を出力する色差信号変換手段を有し、前記色差信号変換手段が、所定の画像のフォーマットに適合するように、前記輝度画像から得られる前記輝度信号の画素に対する前記色差信号の画素数を予め設定することを特徴とする撮像装置。
（２）前記色差信号変換手段が、前記色差画像に同時化処理を行う同時化回路と、前記同時化回路から出力された前記色差画像に色差変換処理を行うことで前記色差信号を出力する色差変換処理回路とを有することを特徴とする上記（１）に記載の撮像装置。
（３）前記色差信号変換手段が、前記輝度信号の４つの信号に対して２つの前記色差信号を設定することを特徴とする上記（１）又は（２）に記載の撮像装置。
（４）前記色差信号変換手段が、前記輝度信号の４つの信号に対して１つの前記色差信号を設定することを特徴とする上記（１）又は（２）に記載の撮像装置。
（５）前記第２撮像素子が、原色又は補色のカラーフィルタを有する固体撮像素子であって、前記第１撮像素子に比べて画素数が少ないものであることを特徴とする上記（１）から（４）のいずれか１つに記載の撮像装置。
（６）入射光を分光する分光手段と、前記分光手段によって分光された光を受光し、輝度画像を生成する第１撮像素子と、前記分光手段によって分光された光を受光し、色差画像を生成する第２撮像素子とを備えた撮像装置の駆動方法であって、前記第２撮像素子から出力された前記色差画像に同時化処理を行い、同時化処理された前記色差画像に基づいて色差信号を出力する色差信号変換工程を有し、前記色差信号変換工程で、所定の画像のフォーマットに適合するように、前記輝度画像から得られる前記輝度信号の画素に対する前記色差信号の数を予め設定することを特徴とする撮像装置の駆動方法。
（７）前記色差信号変換工程が、前記色差画像に同時化処理を行う工程と、前記同時化回路から出力された前記色差画像に色差変換処理を行うことで前記色差信号を出力する工程とを有することを特徴とする上記（６）に記載の撮像装置の駆動方法。
（８）前記色差信号変換工程が、前記輝度信号の４つの信号に対して２つの前記色差信号を設定することを特徴とする上記（６）又は（７）に記載の撮像装置の駆動方法。
（９）前記色差信号変換工程が、前記輝度信号の４つの信号に対して１つの前記色差信号を設定することを特徴とする上記（６）又は（７）に記載の撮像装置の駆動方法。
（１０）前記第２撮像素子が、原色又は補色のカラーフィルタを有する固体撮像素子であって、前記第１撮像素子に比べて画素数が少ないものであることを特徴とする上記（６）から（９）のいずれか１つに記載の撮像装置の駆動方法。

本発明によれば、第１撮像素子によって生成された輝度画像から輝度信号を出力し、また、第２撮像素子によって生成された色差画像に同時化処理と色差変換処理を行うことで色差信号を出力する。色差画像に同時化処理する際に、形成する画像のフォーマットに適応するように、輝度信号の１つの画素に対する色差信号の画素数を予め設定することができるため、輝度信号及び色差信号を生成した後で、画像フォーマットに適合させるための圧縮伸張処理にかかる負担を軽減することができる。

本発明によれば、複数の撮像素子から出力された輝度信号及び色差信号に画像フォーマットに応じて補正処理を行う時間を短縮できる撮像装置及び撮像装置の駆動方法を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本実施形態の撮像装置の概略的な構成を示す図である。撮像装置は、撮像レンズから入射した光を分光する分光手段として機能するプリズムを備えている。本実施形態では、プリズムとしてダイクロイックプリズムを使用している。入射光は、プリズムに形成された、該入射光の進行方向に対して垂直な２次元平面に対して４５度の傾斜角度を有する反射面に入射し、入射光に対して９０度の反射角で反射する反射光と、そのままプリズムを透過して直進する透過光とに分光される。なお、分光手段としては、プリズムに限定されず、例えばハーフミラーを使用してもよい。

撮像装置は、輝度画像を生成する第１撮像素子と色差画像を生成する第２撮像素子とを備えている。本実施形態では、第１撮像素子は、無色のフィルタ層又は緑（Ｇ）１色のみからなるフィルタ層を備えたＣＣＤ型撮像素子（図１中の無色ＣＣＤ）を用い、プリズムによって分光された透過光を受光する位置に配置されている。第２撮像素子は、ＲＧＢの原色のカラーフィルタを備えたＣＣＤ型撮像素子（図１中の有色ＣＣＤ）を用い、プリズムによって反射された反射光を受光する位置に配置されている。なお、第２撮像素子は、補色のカラーフィルタを備えたＣＣＤ型撮像素子を用いてもよい。

また、撮像装置は、第１撮像素子の無色ＣＣＤで生成された輝度画像が出力されるＡ／Ｄ変換部と、Ａ／Ｄ変換部で変換された輝度画像に基づいて輝度信号を生成する補正処理回路とを備えている。

さらに、撮像装置は、第２撮像素子の有色ＣＣＤで生成された色差画像が出力されたＡ／Ｄ変換部と、Ａ／Ｄ変換部で変換された色差画像に基づいて色差信号を生成する補正処理回路と、色差画像にＲＧＢ同時化処理を行うＲＧＢ同時化回路と、同時化された色差画像に基づいて色差変換処理回路とを備えている。本実施形態では、同時化回路と色差変換処理回路とが色差信号変換手段として機能する。

本実施形態では、人間の視覚において高解像力を有する輝度を確保するため、第１撮像素子としては画素数が多い高解像度のものを使用でき、第２撮像素子としては第１撮像素子の画素数に比べて画素数が少ない、低解像度のものを使用することができる。このように、有色ＣＣＤの画素数を無色ＣＣＤの画素数に対して減らすことで有色画素の受光面積の割合を拡大できる。こうすることで、撮像素子の高密度化に伴ってＣＣＤの画素ピッチが狭くなる場合でも、十分な受光面積を確保することでＳ／Ｎ比の低下を回避することができ、偽色や色モワレ（色ノイズ）といった出力画像の品質の低下を防止できる。

また、本実施形態のように、輝度信号と色差信号とをそれぞれ別の処理系統によって出力する構成であるため、１つの撮像素子を輝度信号のみを専ら処理するものとして利用でき、該撮像素子のカラーフィルタを無色として解像をそのままに受光感度特性やＳ／Ｎ比の向上させることができる。

上記構成によって、撮像時に、第１撮像素子の輝度画像に基づいて輝度信号Ｙが出力され、第２撮像素子の色差画像に基づいて色差信号Ｃｂ，Ｃｒが出力される。出力された輝度信号Ｙと色差信号Ｃｂ，Ｃｒは、画像のフォーマットに準拠するように補正され、図示しないメモリなどの記憶部に出力される。

一般に、画像のフォーマットとしては、ＪＰＥＧ（Joint Photographic Experts Group），ＭＰＥＧ（Moving Picture Experts Group）が広く使用されており、これらのフォーマットではＹＣ（輝度色差）データに基づいて生成される。ＹＣデータとしては、例えば、ＹＣ４２２やＹＣ４２０などが用いられる。

図２は、本実施形態で用いるフォーマットの一例を示しており、ＹＣ４２２に相当するＹＣデータを示す模式図である。図２では、格子状に配置された各Ｙで示すものが画像を構成する単位画素である１ピクセルとし、各ピクセルの縦方向寸法及び横方向寸法を等しくすることで説明を簡略化している。図２に示すように、このフォーマットでは、４つの輝度信号Ｙに対して２つの色差信号Ｃｂ，Ｃｒが設定されている。具体的には、行方向（図中の上下方向）及び列方向（図中の左右方向）に２つずつ配列された４つの輝度信号Ｙに対して、行方向に２つで、かつ、列方向に輝度信号Ｙの半分の画素数（すなわち、１つ）の色差信号Ｃｂ，Ｃｒを設定している。こうすることで、輝度信号Ｙに対して少ない色差信号Ｃｂ，ＣｒによってＹＣ４２２に準拠するＹＣデータを生成している。

図３は、本実施形態の撮像装置において、図２のフォーマットに適応するように、色差画像から色差信号を得る手順を示している。図４は、輝度信号を模式的に示す図である。
図３（ａ）は、第２撮像素子の有色ＣＣＤによって生成された色差画像を示している。図３（ａ）に示すように、第２撮像素子によって得られるＲ，Ｇ，Ｂは、それぞれ、カラーフィルタのカラーパターンの赤、緑、青を透過した光の色に相当する。第２撮像素子のＲＧＢのカラーパターンは特に限定されない。

本実施形態では、色差画像を生成した状態で、輝度信号Ｙに対して、行方向に１つの画素数とし、列方向の画素数に対して半分となるように設定されている。言い換えると、色差画像を生成する際に、行方向に１つの画素と列方向に並んだ２つの画素に相当する１つのカラー画像によって、列方向に２つの輝度信号Ｙに対応するように設定する。

図３（ｂ）は、図３（ａ）の色差画像にＲＧＢ同時化処理を行った後の画像を模式的に示している。ＲＧＢ同時化処理は、ＲＧＢ同時化回路で実行され、色差画像における所定の１画素を注目点とし、その注目点の周辺の画素からＲＧＢの各色データを取得する。

図３（ｃ）は、図３（ｂ）の同時化処理された色差画像に色差変換処理を行うこで得られる色差信号を模式的に示している。色差変換処理は色差変換処理回路で実行される。色差変換処理では、ＩＴＵ−Ｒ ＢＴ６０１に準拠する下記に示す変換式が用いられる。ここで、ＩＴＵ−Ｒ ＢＴ６０１とは、アナログビデオ信号をデジタルデータに変換する際のデータ形式を規定した国際規格であり、画像の色形式、サンプル構造、サンプリング周波数、水平サンプル数、水平有効サンプル数、適用可能アスペクト比、符号化形式、データ範囲等が規定される。なお、他の規格としては、ＨＤＴＶで使用されるｓＲＧＢ規格（ＩＴＵ-Ｒ ＢＴ．７０９規格）等でもよい。

Ｙ＝０．２９９・Ｒ＋０．５８７・Ｇ＋０．１１４・Ｂ
Ｃｂ＝Ｂ−Ｙ
Ｃｒ＝Ｒ−Ｙ

図３及び図４に示すように、１画素（１ピクセル）に相当する行方向及び列方向の寸法を１Ｐとすると、色差画像のＲＧＢの各色信号の列方向の寸法が２Ｐとなり、各輝度信号Ｙの列方向寸法１Ｐの２画素分に相当している。このため、色差画像は、実質的に、輝度信号Ｙに対して列方向の画素数が半分とすることができる。

本実施形態の撮像装置によれば、第１撮像素子によって生成された輝度画像から輝度信号Ｙを出力し、また、第２撮像素子によって生成された色差画像に同時化処理と色差変換処理を行うことで色差信号Ｃｂ，Ｃｒを出力する。色差画像に同時化処理する際に、形成する画像のフォーマットのＹＣデータに適応するように、輝度信号の画素に対する色差信号の画素数を予め設定することができるため、輝度信号及び色差信号を生成した後で、画像フォーマットに適合させるための圧縮伸張処理にかかる負担を軽減することができる。

図５は、本実施形態の撮像装置で用いるフォーマットの別の例を示す図である。図５は、ＹＣ４２０に相当するＹＣデータを示す模式図である。図５では、格子状に配置された各Ｙで示すものが画像を構成する単位画素である１ピクセルとし、各ピクセルの縦方向寸法及び横方向寸法を等しくすることで説明を簡略化している。図５に示すように、このフォーマットでは、４つの輝度信号Ｙに対して１つの色差信号Ｃｂ，Ｃｒが設定されている。具体的には、行方向（図中の上下方向）及び列方向（図中の左右方向）に２つずつ配列された４つの輝度信号Ｙに対して、行方向と列方向のそれぞれに、輝度信号Ｙの半分の画素数（すなわち、１つ）の色差信号Ｃｂ，Ｃｒを設定している。こうすることで、輝度信号Ｙに対して少ない色差信号Ｃｂ，ＣｒによってＹＣ４２０に準拠するＹＣデータを生成している。

図６は、本実施形態の撮像装置において、図５のフォーマットに適応するように、色差画像から色差信号を得る手順を示している。なお、輝度信号は、図４と同じ形式となる。
図６（ａ）は、第２撮像素子の有色ＣＣＤによって生成された色差画像を示している。図６（ａ）に示すように、色差画像を生成した状態で、輝度信号Ｙに対して、行方向及び列方向の画素数が半分となるように設定されている。言い換えると、色差画像を生成する際に、行方向と列方向に並んだ２つの画素に相当する１つのカラー画像によって、列方向に４つの輝度信号Ｙに対応するように設定する。

図６（ｂ）は、図６（ａ）の色差画像にＲＧＢ同時化処理を行った後の画像を模式的に示している。また、図６（ｃ）は、図６（ｂ）の同時化処理された色差画像に色差変換処理回路において色差変換処理を行うこで得られる色差信号を模式的に示している。色差変換処理では、上述と同様に、ＩＴＵ−Ｒ ＢＴ６０１に準拠する色差変換式を用いることができる。

図４及び図６に示すように、１画素（１ピクセル）に相当する行方向及び列方向の寸法を１Ｐとすると、色差画像のＲＧＢの各色信号の行方向及び列方向の寸法が２Ｐとなり、各輝度信号Ｙの行方向及び列方向寸法１Ｐの２画素分に相当している。このため、色差画像は、実質的に、輝度信号Ｙに対して行方向及び列方向の画素数が半分とすることができる。

こうすれば、撮像装置は、色差画像に同時化処理する際に、形成する画像のフォーマットのＹＣ４２０に適応するように、輝度信号の画素に対する色差信号の画素数を予め設定することができるため、輝度信号及び色差信号を生成した後で、画像フォーマットに適合させるための圧縮伸張処理にかかる負担を軽減することができる。

本実施形態では、図３（ａ）及び図６（ａ）に示すように画素を格子状に配置した、いわゆる、ベイヤー配列の撮像素子を例として説明したが、画素をハニカム状に配置されたものであってもよい。
図７（ａ）は、第２撮像素子がハニカム構成を有する場合の撮像画像の状態を示す模式図である。ＲＧＢの各色は、カラーフィルタのカラー配列に対応している。この撮像画像をＲＧＢ同時化処理を行うと、図７（ｂ）に示すような状態となる。通常、ハニカム状に画素を配置してなる撮像素子では、同時化処理を行う際に、実際には画素がない位置に想定して画素（虚画素）を周辺の画素から補間演算処理する手順を含む。こうすることで、図７（ａ）の撮像画像において画素の存在しない位置の画素についても、同時化処理することで、ＲＧＢの色信号を決定するこができる。図７（ｂ）に示すように、同時化処理された色差画像は、上述した画素配置の撮像素子と同様の色差画像となるため、同様に、色差変換処理を行うことで色差信号を得ることができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
上記実施形態では、画像のフォーマットの一例としてＹＣデータがＹＣ４２２及びＹＣ４２０に準拠する場合について説明したが、画像のフォーマットは、特に限定されない。本発明にかかる撮像装置は、所定の画像のフォーマットに適合するように、輝度画像から得られる輝度信号Ｙの画素に対する色差信号Ｃｒ，Ｃｂの数を設定することができる。

本発明にかかる撮像装置の概略的な構成を示す図である。 撮像装置で用いるフォーマットの一例を示す図である。 色差画像から色差信号を得る手順を示す図である。 輝度信号を模式的に示す図である。 ＹＣデータの一例を示す模式図である。 色差画像から色差信号を得る手順を示す図である。 色差画像から色差信号を得る手順を示す図である。 ２つの撮像素子を有する撮像装置の処理の手順を概略的に示す図である。 色差信号の状態を模式的に示す図である。 輝度信号の状態を模式的に示す図である。

Claims (10)

1. 入射光を分光する分光手段と、
   前記分光手段によって分光された光を受光し、輝度画像を出力する第１撮像素子と、
   前記分光手段によって分光された光を受光し、色差画像を出力する第２撮像素子とを備えた撮像装置であって、
   前記第２撮像素子から出力された前記色差画像に同時化処理を行い、同時化処理された前記色差画像に基づいて色差信号を出力する色差信号変換手段を有し、前記色差信号変換手段が、所定の画像のフォーマットに適合するように、前記輝度画像から得られる前記輝度信号の画素に対する前記色差信号の数を予め設定することを特徴とする撮像装置。
2. 前記色差信号変換手段が、前記色差画像に同時化処理を行う同時化回路と、前記同時化回路から出力された前記色差画像に色差変換処理を行うことで前記色差信号を出力する色差変換処理回路とを有することを特徴とする請求項１に記載の撮像装置。
3. 前記色差信号変換手段が、前記輝度信号の４つの信号に対して２つの前記色差信号を設定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記色差信号変換手段が、前記輝度信号の４つの信号に対して１つの前記色差信号を設定することを特徴とする請求項１又は２に記載の撮像装置。
5. 前記第２撮像素子が、原色又は補色のカラーフィルタを有する固体撮像素子であって、前記第１撮像素子に比べて画素数が少ないものであることを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
6. 入射光を分光する分光手段と、前記分光手段によって分光された光を受光し、輝度画像を生成する第１撮像素子と、前記分光手段によって分光された光を受光し、色差画像を生成する第２撮像素子とを備えた撮像装置の駆動方法であって、
   前記第２撮像素子から出力された前記色差画像に同時化処理を行い、同時化処理された前記色差画像に基づいて色差信号を出力する色差信号変換工程を有し、前記色差信号変換工程で、所定の画像のフォーマットに適合するように、前記輝度画像から得られる前記輝度信号の画素に対する前記色差信号の数を予め設定することを特徴とする撮像装置の駆動方法。
7. 前記色差信号変換工程が、前記色差画像に同時化処理を行う工程と、前記同時化回路から出力された前記色差画像に色差変換処理を行うことで前記色差信号を出力する工程とを有することを特徴とする請求項６に記載の撮像装置の駆動方法。
8. 前記色差信号変換工程が、前記輝度信号の４つの信号に対して２つの前記色差信号を設定することを特徴とする請求項６又は７に記載の撮像装置の駆動方法。
9. 前記色差信号変換工程が、前記輝度信号の４つの信号に対して１つの前記色差信号を設定することを特徴とする請求項６又は７に記載の撮像装置の駆動方法。
10. 前記第２撮像素子が、原色又は補色のカラーフィルタを有する固体撮像素子であって、前記第１撮像素子に比べて画素数が少ないものであることを特徴とする請求項６から９のいずれか１つに記載の撮像装置の駆動方法。

Images