JP2006180108A

JP2006180108A - デジタルカメラ

Info

Publication number: JP2006180108A
Application number: JP2004369829A
Authority: JP
Inventors: Satoru Wada; 和田　　哲
Original assignee: Fujifilm Microdevices Co Ltd; Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp; Fujifilm Microdevices Co Ltd
Priority date: 2004-12-21
Filing date: 2004-12-21
Publication date: 2006-07-06

Abstract

【課題】インターレース出力を得るときに、水平方向，垂直方向の解像度を確保し、フレームメモリを使用せずに、しかも、読み出し周波数を上げることなくフレームレートを確保する。
【解決手段】原色系フィルタを持ち市松状に画素が配列された固体撮像素子と、該固体撮像素子からライン単位に出力される画像データ（ＲＡＷ）を読み込み前記画素位置の色成分と前記画素間に形成される虚画素位置の色成分とを補間演算処理で求める補間処理手段４１と、補間処理手段４１から出力されるライン単位の２ライン分の画像データを順次取り込みフィールド毎に間引きラインの位相を変えて出力するインターレース出力手段４２とを備える。
【選択図】図２

Description

本発明は、原色系カラーフィルタを持ち画素が市松状に配列された固体撮像素子を備えるデジタルカメラに係り、特に、動画の撮像データをインターレース出力する機能を有するデジタルカメラに関する。

例えば、下記特許文献１には、動画撮影用のデジタルカメラについて記載がある。この従来技術のデジタルカメラは、図７に示す補色フィルタを持つＣＣＤ型固体撮像素子を搭載しており、インターレース出力を得るために、固体撮像素子から色差線順次方式で画像データを読み出している。つまり、画素を垂直方向に２画素加算して読出レートを確保し、読み出しペアをフィールド毎にずらすことで、垂直方向の解像度を得ている。しかし、この従来技術では、補色フィルタを用いるために、色再現性に問題がある。

また、固体撮像素子には、図８に示す様な原色系フィルタをベイヤー配列したものがある。この固体撮像素子を搭載したデジタルカメラでインターレース出力を得る場合には、全画素読み出しを行ってからフィールド毎に画素データを間引く必要がある。しかし、ベイヤー配列の固体撮像素子でインターレース出力を得るには、フレームサイズの全画素読み出しを行うため、高い読み出し周波数が必要となり、しかも、１フレームの時間で全画素を読み出す場合はレート変換のためにフレームメモリが必要になるという問題がある。

特開２００１―６９５２０号公報

ＣＣＤ型固体撮像素子には、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路が、垂直方向の各画素を避けるように蛇行配置される構成をとるものがある。所謂、ハニカム画素配列であり、図９に示す様に、原色フィルタＲ，Ｇ，Ｂを持つと共に、各画素が市松状に配置されていると見ることができる。

斯かるハニカム画素配列の固体撮像素子で例えば動画像を撮像してインターレース方式のテレビジョン受像機に表示させようとした場合、上述した従来技術のインターレース出力を得る技術をそのまま適用することができず、新たなインターレース出力を得る技術を開発しなければならない。

本発明の目的は、原色系フィルタを持ち市松状に画素が配列された固体撮像素子を搭載するデジタルカメラでインターレース出力を得るときに、水平方向，垂直方向の解像度を確保し、フレームメモリを使用せずに、しかも、読み出し周波数を上げることなくフレームレートを確保できる技術を提供することにある。

本発明のデジタルカメラは、原色系フィルタを持ち市松状に画素が配列された固体撮像素子と、該固体撮像素子からライン単位に出力される画像データを読み込み前記画素位置の色成分と前記画素間に形成される虚画素位置の色成分とを補間演算処理で求める補間処理手段と、該補間処理手段から出力されるライン単位の２ライン分の画像データを順次取り込みフィールド毎に間引きラインの位相を変えて出力するインターレース出力手段とを備えることを特徴とする。

本発明のデジタルカメラは、原色系フィルタを持ち市松状に画素が配列された固体撮像素子と、該固体撮像素子から出力されるライン単位の２ライン分の画像データを順次取り込みフィールド毎に間引きラインの位相を変えて出力するインターレース出力手段と、該インターレース出力手段からライン単位に出力される画像データを読み込み前記画素位置の色成分と前記画素間に形成される虚画素位置の色成分とを補間演算して求める補間処理手段とを備えることを特徴とする。

本発明によれば、原色系フィルタを用いるため色再現性が良く、水平方向，垂直方向の解像度が確保され、フレームメモリを使用せずに、しかも、読み出し周波数を上げることなくフレームレートを確保できるインターレース出力機能を持つデジタルカメラを提供可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例に説明するが、デジタルビデオカメラや携帯電話機等の小型電子機器に搭載されたカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。

図１に示すデジタルスチルカメラは、撮影レンズ１０と、図９に示すハニカム画素配列すなわち画素が市松状に配列されたＣＣＤ型の固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラ全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞りの開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して、固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。

操作部２１はシャッタボタンを含み、シャッタボタンが半押し状態になったときにフォーカス調整が為され、シャッタボタンが全押し状態になると、撮像が行われる。

デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲ，Ｇ，Ｂの各色信号を夫々デジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。

更に、このデジタルスチルカメラの電気制御系は、メインメモリ（フレームメモリ）２４に接続されたメモリ制御部２５と、ホワイトバランス補正やガンマ補正等の画像信号処理を行うデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２と、例えば図示しないテレビジョン受像機に接続する外部端子３３を持つ外部インタフェース３４とを備え、これらは、制御バス３５及びデータバス３６によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

斯かるデジタルスチルカメラで静止画像を撮影する場合には、シャッタボタンが半押し状態になったとき露出調整やフォーカス調整が行われ、シャッタボタンが全押し状態になったとき固体撮像素子１１から全画素読み出しによって画像データが読み出される。この画像データは、一旦、フレームメモリ２４に格納され、デジタル信号処理部２６によって処理された後、ＪＰＥＧ画像あるいはＲＡＷデータ画像として記録媒体２９に格納される。

これに対し、例えば動画像を撮影して外部端子３３から動画像データを出力する場合には、固体撮像素子１１から読み出された画像データを基にインターレース出力用の画像データを後述する様に生成する。このとき、固体撮像素子１１から読み出された画像データをフレームメモリ２４に格納することなくデジタル信号処理部２６で処理し、外部端子３３から出力する。

以下、フレームメモリ２４を使用せずに、動画像データをインターレース出力する方法について説明する。

図２は、デジタル信号処理部２６の機能ブロック図である。尚、デジタル信号処理部２６では、オフセット補正，ホワイトバランス補正，ガンマ補正，ＲＧＢ／ＹＣ変換処理等も行っているが、これらは本発明とは関係ないため、その部分についての記載は省略する。

図２において、デジタル信号処理部２６は、固体撮像素子１１の水平転送路からライン単位に順番に読み出される画像データ（ＲＡＷデータ）を取り込んで補間演算を行う補間処理部４１と、補間演算後の画像データからインターレース出力を生成するインターレース出力部４２とを備える。

固体撮像素子１１からは、１／６０秒毎に全画素読み出しによって画像データがライン毎に水平転送路から出力され、デジタル信号処理部２６に取り込まれる。デジタル信号処理部２６は、取り込んだ画像データを、補間処理部４１で補間演算処理した後、インターレース出力部４２でインターレース出力用の画像データを生成し、出力する。

そこで、先ず、補間処理部４１では、画素が市松配列された固体撮像素子１１の図３（ａ）に示す実画素位置（Ｒ，Ｇ，Ｂと記載した位置）の赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３色の信号と、虚画素位置（Ｒ，Ｇ，Ｂと記載していない空欄の位置）のＲ，Ｇ，Ｂの３色の信号を、例えば図３（ａ），（ｂ）に示す補間フィルタを用いて補間演算する。

例えば、図３（ａ）の虚画素位置５０におけるＲ，Ｇ，Ｂの３色の色成分を求める方法について説明する。虚画素位置５０を、先ず、図３（ｂ）に示すＧ補間フィルタの中央位置６０に重ねる。図３（ｂ）のＧ補間フィルタでフィルタ数値が記載してある画素と図３（ａ）のＧ画素とが重なる位置は６箇所あり、各Ｇ画素の検出信号量に夫々のフィルタ数値を乗算してから加算し、これを“８”で正規化した値が、虚画素位置５０のＧ信号成分となる。

同様に、虚画素位置５０を、図３（ｃ）に示すＲ，Ｂ補間フィルタの中央位置７０に重ねると、図示の例では、フィルタ数値が記載してある画素とＲ画素とが重なる箇所は１箇所となり、フィルタ数値は“８”である。このＲ画素の検出信号量にフィルタ数値を乗算し、“８”で正規化した値が、虚画素位置５０のＲ信号成分となる。虚画素位置５０のＢ信号成分も同様にして求めることができる。また同様に、実画素位置における残り２色（Ｇ画素の場合にはＲとＢ）の信号成分も図３（ｂ）（ｃ）の補間フィルタを用いて計算することができる。尚、図３（ｂ）（ｃ）に示すフィルタは単なる一例にすぎず、もっと広い範囲のＲ，Ｇ，Ｂの信号成分を用いて補間演算することでもよい。

上記の補間演算により、固体撮像素子１１から全画素読み出しされる実画素位置の残り２色の信号と、虚画素位置における３色の信号とが求まる。この補間により、固体撮像素子１１の実画素数に対して、水平方向，垂直方向共に解像度が高まった画像データが補間処理部４１からライン単位に出力される。しかも、市松配列の固体撮像素子１１は、実画素の配置間隔が水平，垂直共に狭くできるため、更に高解像となる。

尚、図３（ｂ），（ｃ）に示すフィルタでは３ラインを用いて補間演算を行っているが、補間処理部４１には固体撮像素子１１からライン単位に画像データが入力してくるため、実際の回路では２ライン分のバッファメモリがあれば、上記の補間演算を実現することができる。

次に、デジタル信号処理部２６は、補間演算後の画像データからインターレース出力データを生成し出力する。デジタル信号処理部２６は、固体撮像素子１１から全画素読み出しされる画像データからテレビジョン受像機の水平走査線の偶数行に表示する画像データを一画面分生成して出力（フィールド１の出力とする。）した後、次の１／６０秒後に固体撮像素子１１から全画素読み出しされる画像データから今度は奇数行に表示する画像データを１画面分生成して出力（フィールド２の出力とする。）するという処理を繰り返す。この処理を行うのが、インターレース出力部４２である。

インターレース出力部４２は、１ラインメモリ４４と、選択器４５と、混合器（ＭＩＸ）４６とを備える。補間処理部４１からは、補間演算毎のＮライン目の画像データが出力され、次にＮ＋１ライン目の画像データが出力される。Ｎライン目の画像データは混合器４６に直接入力され、Ｎ＋１ライン目の画像データは、１ラインメモリ４４を介して選択器４５に入力されるパスと直接選択器４５に入力するパスとに並行に入力され、選択器４５は、入力する２つのパスのいずれかを選択して混合器４６に出力する。混合器４６は、入力する２ラインの画像データを加算平均した画像データを出力する。

インターレース出力部４２がテレビ受像機の偶数行の走査線で描画する画像データを生成し出力する場合には、選択器４５は、１ラインメモリ４４を通さない方のパスを選択する。これにより、混合器４６には、Ｎライン目の画像データと、Ｎ＋１ライン目の画像データが入力され、加算平均した（Ｎ＋（Ｎ＋１））／２の画像データが混合器４６から出力される。

インターレース出力部４２がテレビ受像機の奇数行の走査線で描画する画像データを生成し出力する場合には、選択器４５は、１ラインメモリ４４を通した方のパスを選択する。これにより、混合器４６には、Ｎライン目の画像データと、１ラインメモリ４４に蓄積されている前回のデータすなわちＮ−１ライン目の画像データとが入力され、加算平均した（（Ｎ−１）＋Ｎ）／２の画像データが混合器４６から出力される。

この様に、本実施形態では、１ラインメモリ４４を用いてペアの片方を遅らせるため、テレビ方式に則ったフィールド画像を出力することができる。尚、遅らせるラインは本実施形態では補間演算後のラインとしたが、補間演算前のラインとすることも可能である。これについては後述する。

図４は、画素が市松配列された固体撮像素子（イメージセンサ）出力のフィールド間間引き例を示す図である。固体撮像素子１１の水平転送路からは、…，ｎ−２ライン，ｎ−１ライン，ｎライン，ｎ＋１ライン，ｎ＋２ライン，…とライン単位に画像データが出力される。

固体撮像素子１１から出力されるライン単位の画像データはデジタル信号処理部２６に直接（フレームメモリ２４を介さず）入力され、フィールド１では、ｍ−２ライン，ｍライン，ｍ＋２ライン，…として出力され、フィールド２では、ｍ−１ライン，ｍ＋１ライン，ｍ＋３ライン，…として出力される。ここで、ｎ＝ｍ＋（内部処理のライン遅延）である。インターレース出力は、色補間と虚画素点補間を行ったライン単位の画像データを間引き演算することで実現でき、フィールド毎に間引きラインの位相を変えることで、高い解像度を実現することができる。

以上述べた実施形態では、フレームサイズの画像数を市松状に読み出するため、図８の固体撮像素子に比較して画素数は半分となり、読み出し周波数も半分の周波数で良くなる。しかし、固体撮像素子１１の画素数は必ずしもフレームサイズの半分に限るものではなく、例えばフレームサイズの半分より多い画素数のデータを読み出す場合には、ライン間引きを行う際に縮小処理を行えばよい。図５に、１／２間引きの例を示す。

図６は、デジタル信号処理部２６の別実施形態の機能ブロック図である。この実施形態のデジタル信号処理部２６は、インターレース出力データを生成するインターレース出力部４２’と補間処理部４１とを備えるが、図２に示す実施形態とは逆に、インターレース出力部４２’の後段に補間処理部４１を設けている。

インターレース出力部４２’は、Ｎライン目のＲＡＷデータをそのままスルーして補間処理部４１に出力するパスと、１ラインメモリ４４と、選択器４５とを備える。Ｎライン目のＲＡＷデータは補間処理部４１に直接入力され、Ｎ＋１ライン目のＲＡＷデータは、１ラインメモリ４４を介して選択器４５に入力されるパスと直接選択器４５に入力するパスとに並行に入力され、選択器４５は、入力する２つのパスのいずれかを選択して補間処理部４１に出力する。

インターレース出力部４２’がテレビジョン受像機の走査線の偶数行を出力する場合には選択器４５は１ラインメモリ４４を通さないパスを選択する。これにより、補間処理部４１には、ＮラインとＮ＋１ラインのＲＡＷデータが入力され、次に、Ｎ＋２ライン，Ｎ＋３ラインのＲＡＷデータが入力される。補間処理部４１は、これらの内の３ラインのＲＡＷデータを用いて補間演算を行い、補間処理後の画像データを出力する。

インターレース出力部４２’がテレビ受像機の奇数行の走査線で描画する画像データを出力する場合には、選択器４５は、１ラインメモリ４４側のパスを選択する。これにより、補間処理部４１には、ＮラインのＲＡＷデータと、１ラインメモリ４４内のＮ−１ラインのＲＡＷデータが入力され、次に、Ｎ＋２ラインのＲＡＷデータと１ラインメモリ４４内のＮ＋１ラインのＲＡＷデータが入力される。補間処理部４１は、これらの内の３ラインのＲＡＷデータを用いて補間演算を行い、補間処理後の画像データを出力する。このように、補間演算前に１ラインメモリ４４で画像データを遅らせた場合には、補間を３ラインで処理するとき出力するラインの演算のみを行い、出力するラインをフィールドで１ラインずらすことが可能となる。

本発明のデジタルカメラは、画素が市松状に配列された固体撮像素子を搭載したデジタルカメラでインターレース出力を得ることができるため、撮影した動画をインターレース方式のテレビジョン受像機に出力するデジタルカメラとして有用である。

本発明の一実施形態に係るデジタルスチルカメラの機能ブロック構成図である。図１に示すデジタル信号処理部の機能ブロック図である。図２に示す補間処理部で行う補間演算処理の説明図である。図２（ａ）に示す市松配列の固体撮像素子から出力される画像データのフィールド間間引きの一例を示す図である。図４と異なるフィールド間間引きの別例を示す図である。図２に示すデジタル信号処理部の別実施形態の機能ブロック図である。補色系フィルタを搭載した固体撮像素子の表面模式図である。原色系フィルタを搭載した固体撮像素子の表面模式図である。画素が市松配列された固体撮像素子の表面模式図である。

符号の説明

１０撮影レンズ
１１固体撮像素子
１５ＣＰＵ
２４メインメモリ（フレームメモリ）
２６デジタル信号処理部
３３外部端子
３４外部インタフェース
４１補間処理部
４２，４２’ インターレース出力部
４４１ラインメモリ
４５選択器
４６混合器

Claims

原色系フィルタを持ち市松状に画素が配列された固体撮像素子と、該固体撮像素子からライン単位に出力される画像データを読み込み前記画素位置の色成分と前記画素間に形成される虚画素位置の色成分とを補間演算処理で求める補間処理手段と、該補間処理手段から出力されるライン単位の２ライン分の画像データを順次取り込みフィールド毎に間引きラインの位相を変えて出力するインターレース出力手段とを備えることを特徴とするデジタルカメラ。
原色系フィルタを持ち市松状に画素が配列された固体撮像素子と、該固体撮像素子から出力されるライン単位の２ライン分の画像データを順次取り込みフィールド毎に間引きラインの位相を変えて出力するインターレース出力手段と、該インターレース出力手段からライン単位に出力される画像データを読み込み前記画素位置の色成分と前記画素間に形成される虚画素位置の色成分とを補間演算して求める補間処理手段とを備えることを特徴とするデジタルカメラ。