JP2011223146A - 電子カメラ - Google Patents

Abstract

【課題】 回路規模を不要に大きくすることなく、撮影を連続して行う際の撮影間隔を短縮すること。
【解決手段】 被写体像を撮像して画像を生成する撮像手段と、撮像手段により得られる画像に画像処理を施す第１の画像処理手段と、第１の画像処理手段による画像処理と並列に処理が可能であって、撮像手段により得られる画像または第１の画像処理手段により画像処理が施された画像に画像処理を施して、処理前よりも低解像度の画像を作成する第２の画像処理手段とを備える。
【選択図】 図１

Description

本発明は、被写体像を撮像して画像を得る電子カメラに関する。

近年、電子カメラの画素数の増加に伴い、各種画像処理に要する時間も長引くという傾向にある。そのため、レスポンスが良く、快適に撮影できる電子カメラが求められている。そこで、出願人は、特許文献１の発明によって、低解像度の画像(一覧表示用のサムネイル画像や撮影結果確認用の画像など)を早期に作成することにより、撮影間隔を短くした電子カメラを提案した。特許文献１の電子カメラでは、複数フィールドの出力のうち、２番目以降のフィールドに対する画像の出力に並行して、任意のフィールドより前のフィールドに対する画像から得られる情報に基づいて、低解像度の画像を作成している。

特開２００４−１３５２２５号公報

上述した特許文献１の発明では、１枚のみ静止画を撮像するいわゆる単写撮影の場合には、撮影間隔を短縮することができるが、複数枚の静止画を連続して撮影する連写撮影や、動画像撮影など、撮影を連続して行う際には、撮影間隔を十分に短縮することができないという問題があった。

本発明は、回路規模を不要に大きくすることなく、撮影を連続して行う際の撮影間隔を短縮することを目的とする。

本発明の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により得られる画像に画像処理を施す第１の画像処理手段と、前記第１の画像処理手段による画像処理と並列に処理が可能であって、前記撮像手段により得られる画像または前記第１の画像処理手段により画像処理が施された画像に画像処理を施して、処理前よりも低解像度の画像を作成する第２の画像処理手段とを備える。

なお、前記第１の画像処理手段は、前記撮像手段により得られる画像に前処理を施す前処理手段と、前記前処理手段により前記前処理が施された画像に後処理を施す第１の後処理手段とから成り、前記第２の画像処理手段は、前記前処理手段により前記前処理が施された画像に後処理を施して、前記低解像度の画像を作成する第２の後処理手段から成っても良い。

また、前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、前記選択手段により前記連続読み出しモードが選択された場合に、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、前記撮像手段により得られる画像よりも低解像度の画像を作成する画像処理を行う制御手段とをさらに備えても良い。

また、画像を表示する表示手段と、前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、前記選択手段により前記静止画読み出しモードが選択された場合に、前記第２の後処理手段を選択して、前記表示手段により表示するための低解像度画像として、一覧表示用のサムネイル画像と撮影結果確認用の画像との少なくとも一方を作成するとともに、前記第１の後処理手段を選択して、高精細な記録用画像を作成する画像処理を行う制御手段とをさらに備えても良い。

また、画像を表示する表示手段と、前記第１の画像処理手段と前記第２の画像処理手段との少なくとも一方により画像処理が施された画像を記録する記録手段と、前記記録手段により記録された画像を前記表示手段により表示する際に、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、表示用の低解像度画像を作成する制御手段とをさらに備えても良い。

また、前記第１の画像処理手段と前記第２画像処理手段との少なくとも一方による画像処理の対象となる画像を一時的に記録する画像メモリと、前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、前記選択手段により前記連続読み出しモードが選択された場合に、前記前処理手段による前記前処理が施された画像を前記画像メモリに出力し、前記画像メモリから画像を読み出して前記第１の後処理手段と前記第２の後処理手段との何れかに入力する第１の入力方法と、前記前処理手段から出力された前記前処理が施された画像を、前記前処理手段から前記第１の後処理手段と前記第２の後処理手段との何れかに直接入力する第２の入力方法との何れかを選択するとともに、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、前記撮像手段により得られる画像よりも低解像度の画像を作成する画像処理を行う制御手段とをさらに備えても良い。

また、前記撮像手段は、撮像により得られる画像を複数のフィールドに分けて順番に出力し、前記第２の画像処理手段は、前記複数フィールドの出力が終了するまでの間に、既に出力された一部フィールドの画像を利用して、前記低解像度の画像の作成を行い、前記第１の画像処理手段は、前記複数フィールドの出力が終了した後に、全てのフィールドの画像を利用して前記画像処理を行っても良い。

本発明によれば、回路規模を不要に大きくすることなく、撮影を連続して行う際の撮影間隔を短縮するができる。

第１実施形態の電子カメラ１の構成を示すブロック図である。 Ｂａｙｅｒ配列のカラーフィルタを説明する図である。 第１実施形態の第１画像処理部１３の構成を示すブロック図である。 第１実施形態の第２画像処理部１４の構成を示すブロック図である。 パイプライン処理による高速連写について説明する図である。 第１実施形態の第２画像処理部１４の構成を示す別のブロック図である。 Ｇｒ／Ｇｂ平均部６０について説明する図である。 第１実施形態の第２画像処理部１４の構成を示す別のブロック図である。 第１実施形態の第２画像処理部１４の構成を示す別のブロック図である。 第２実施形態の第２画像処理部１４の構成を示すブロック図である。 第２実施形態の第１画像処理部１３が備えるセレクタ７０について説明する図である。 第２実施形態の撮像素子１２が備える読み出しモードについて説明する図である。

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。図１は、第１実施形態の電子カメラ１の構成を示すブロック図である。

電子カメラ１は、図１に示すように、撮影レンズ１１、撮像素子１２、第１画像処理部１３、第２画像処理部１４、表示処理部１５、ＣＰＵ１６、ＳＤＲＡＭ１７、圧縮部１８、ＵＳＢ接続部１９を備えるとともに、メモリカード(カード状のリムーバブルメモリ)２０とのインタフェースをとるメモリカードインタフェース部２１、ＬＣＤ２２を備えている。そして、第１画像処理部１３、第２画像処理部１４、表示処理部１５、ＣＰＵ１６、ＳＤＲＡＭ１７、圧縮部１８、ＵＳＢ接続部１９、メモリカードインタフェース部２１の各部はバスを介して相互に接続されている。また、表示処理部１５の出力は、ＬＣＤ２２にも接続されている。

このような構成の電子カメラ１におけるＣＰＵ１６の動作について、簡単に説明する。

撮影時において、ＣＰＵ１６は、まず、撮影レンズ１１および撮像素子１２などを制御して構図確認用のスルー画像の撮影を行い、表示制御部１５を制御してＬＣＤ２２に表示する。また、後述する３Ａ評価値(ＡＥ，ＡＦ，ＡＷＢの各評価値)を利用して、適宜露出、焦点調節、オートホワイトバランス(ＡＷＢ)の演算処理を行う。そして、ユーザにより不図示のレリーズ釦が半押しされると、ＣＰＵ１６は、ＡＦ評価値を利用して撮影レンズ１１を制御し、焦点調節を行う。さらに、ユーザによりレリーズ釦が全押しされると、ＣＰＵ１６は、直前の露出演算で決定された露光量にしたがって撮像素子１２などを制御し、露光を行う。このとき、ＣＰＵ１６は、不図示のメカ絞りを適宜利用する。そして、露光を終了すると、ＣＰＵ１６は、撮像素子１２から静止画の撮像信号を読み出し、第１画像処理部１３および第２画像処理部１４による画像処理を行う。なお、画像処理の詳細は後述する。

電子カメラ１における画像処理によって、撮影結果確認用画像、一覧表時用のサムネイル画像などの低解像度の画像と、最終的に記録される主画像とが作成される。これらの画像は、何れも、ＹＣｂＣｒ(４：２：２) の画像データからなる。撮影結果確認用画像は作成後直ちにＬＣＤ２２に表示され、撮影結果の確認に使われる。また、サムネイル画像や主画像は、圧縮部１８による圧縮処理(例えば、ＪＰＥＧ圧縮)が施され、付属情報(Ｅｘｉｆデータ等のメタデータ)と共に、画像ファイルとしてメモリカード２０に記録される。なお、その他の低解像度の画像(高速再生のために表示用画像など)もあわせて記録する際には、これらの画像もあわせて圧縮処理を施す。

一方、再生時において、ＣＰＵ１６は、まず、目的の画像をメモリカード２０から読み出して、ＳＤＲＡＭ１７に記憶する。次に、ＣＰＵ１６は、読み出した画像を圧縮部１８で伸長し、伸長後のＹＣｂＣｒ(４：２：２) の画像データを、ＳＤＲＡＭ１７に記憶する。さらに、ＣＰＵ１６は、そのＹＣｂＣｒ(４：２：２) の画像データを第２画像処理部１４に入力し、ＬＣＤ２２の表示サイズに解像度変換してＳＤＲＡＭ１７に記憶する(詳細は後述する)。そして、ＣＰＵ１６は、表示制御部１５を制御して、解像度変換されたＹＣｂＣｒ(４：２：２) の画像データをＬＣＤ２２に表示する。

なお、メモリカード２０に記録された画像を、外部のコンピュータ等に転送、保存する場合は、ＣＰＵ１６は、ＵＳＢ接続部１９を介して外部のコンピュータ等と接続し、画像データを転送する。ちなみに、図１において、ＣＰＵ１６、第１画像処理部１３、第２画像処理部１４、表示処理部１５、圧縮部１８、ＵＳＢ接続部１９、メモリカードインタフェース部２１の各部は、１個のＬＳＩ(Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ)に集積されている場合が多い。

次に、電子カメラ１の詳細を説明する。撮像素子１２は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)或いはＣＣＤ(Charge Coupled Device)センサーなどの受光素子である。撮像素子１２は、図２に示すようなＢａｙｅｒ配列のカラーフィルタを備える。撮影レンズ１１により結像された被写体像は撮像素子１２により光電変換(露光)され、アナログ電気信号(画像信号)となって出力される。この露光や画像信号の読み出しは不図示のＴＧ(タイミングジェネレーター)によって制御される。また、この画像信号は不図示のＡＦＥ(アナログフロントエンド)によってデジタル信号化され、デジタルの画像データとして第１画像処理部１３などに入力される。なお、撮像素子１２がＣＭＯＳセンサーの場合、ＴＧおよびＡＦＥはセンサー内に内蔵されていることが多い。

第１画像処理部１３は、図３に示すように、前処理部３０および後処理部３１から成る。前処理部３０は、欠陥補正部３２、ＯＢクランプ処理部３３、３Ａ評価値算出部３４を備え、補正処理を主とする前処理(ｐｒｅ−ｐｒｏｃｅｓｓ処理)を行う。また、後処理部３１は、水平間引き部４０、ＷＢ調整部４１、γ補正部４２、色補間部４３、色変換色補正部４４、解像度変換部４５、輪郭補正部４６を備え、色処理を主とする後処理(Ｐｏｓｔ−Ｐｒｏｃｅｓｓ処理)を行う。なお、上に述べた様々な画像処理は単なる一例であって、画像処理アルゴリズムの違いによって処理内容や処理数、処理順序は様々に変化する。以下では、上に挙げた画像処理の場合について実施形態を説明するが、他の画像処理アルゴリズムを採用する場合であっても、同様に考えることが可能である。

前処理部３０に入力された画像データには、まず、欠陥補正部３２で欠陥画素補正が施され、続いて、ＯＢクランプ処理部３３でＯＢクランプ処理が施される。ＯＢクランプ処理部３３の出力は、バスと３Ａ評価値算出部３４と後処理部３１の３箇所に出力可能である(詳細は後述する)。３Ａ評価値算出部３４においては、３Ａ評価値(ＡＥ，ＡＦ，ＡＷＢの各評価値)の算出が行われる。そして、３Ａ評価値算出部３４から出力された３Ａ評価値は、不図示のバッファメモリに蓄積された後に、ＳＤＲＡＭ１７に一旦記憶される。なお、ここまで説明した前処理が施された画像データは、一般的に、「ＲＡＷデータ」と称される。ＲＡＷデータを一旦ＳＤＲＡＭ１７に記憶する場合、ＲＡＷデータは前処理部３０からバスに出力される。一方、スルー画像撮影時のように、ＲＡＷデータに対し直接後処理を施す場合は、ＲＡＷデータは前処理部３０から後処理部３１に直接出力される。

後処理部３１に入力されたＲＡＷデータには、まず、水平間引き部４０により、水平間引き処理が施される。ＲＡＷデータを後処理部３１に入力する経路は２つあり、１つ目の経路はＳＤＲＡＭ１７に記憶されたＲＡＷデータを読み出して後処理部３１に入力する経路である。２つ目の経路は前処理部３０のＯＢクランプ処理部３３から出力されたＲＡＷデータを後処理部３１に直接入力する経路である。なお、高精細な画像を作成する場合など、水平間引きを行わない場合には、この水平間引き回路４０はバイパスされ、入力されたＲＡＷデータは、次のＷＢ調整部４１に入力される。なお、スルー画像撮影時（動画撮影時も同様）に、前処理が施された画像データを一旦ＳＤＲＡＭ１７に記憶する場合は、その画像データを直接後処理部３１に入力して、水平間引き部４０により水平画素数を低減してからＳＤＲＡＭ１７に記憶する方が、ＳＤＲＡＭ１７に要する記憶領域が少なくてすむので好ましい。ＷＢ調整部４１においては、ＷＢ調整が施される。次いで、γ補正部４２でγ補正処理が施され、更に、色補間部４３で１画素当たりＲＧＢの３色から成る画像データに変換される。続いて、色変換色補正部４４において色変換処理と色補正処理が施される。色変換色補正部４４における処理は、一般に、カラーマトリックスを用いた処理であるが、高度な色補正を行う際にはルックアップテーブルが併用される。色変換色補正部４４における色変換によって、ＲＧＢの画像データは、ＹＣｂＣｒ(４：４：４)の画像データとなる。次いで、解像度変換部４５において解像度変換が施されて目的のサイズの画像データに変換される。なお、解像度変換部４５における解像度変換には、縮小と拡大とがある。更に、拡大に関しては、視野の一部を切り出して拡大するデジタルズームも行われる。最後に、輪郭補正部４６で輪郭補正処理が施され、エッジ部の強調されたＹＣｂＣｒの画像データが生成される。なお、通常、このＹＣｂＣｒ(４：４：４)の画像データは、不図示の色差サンプリング回路によってＹＣｂＣｒ(４：２：２)データに変換され、ＳＤＲＡＭ１７に記憶される。そして、ＳＤＲＡＭ１７に記憶されたＹＣｂＣｒ(４：２：２)の画像データは、図１に示した表示制御部１５によるＬＣＤ２２への表示に用いられたり、圧縮部１８により圧縮処理が施された後に、メモリカードインタフェース部２１を介してメモリカード２０に記録されたりする。

第２画像処理部１４は、図１に示すように、第１画像処理部１３とは別に設けられる２つ目の画像処理部である。第２画像処理部１４は、第１画像処理部１３よりも回路規模が小さく、処理機能が低い画像処理部である。したがって、第１画像処理部１３と同等の画像処理部を２つ設けるよりもコストを抑えることができる。

第２画像処理部１４は、上述した第１画像処理部１３と比較して、以下の４つの特徴を有する。
(１)第２画像処理部１４は、第１画像処理部１３の後処理部３１による処理と同様の処理のみを行う。

すなわち、第２画像処理部１４は、第１画像処理部１３で説明した前処理部３０を備えないので、その分、回路規模を抑えることができる。
(２)第２画像処理部１４は、解像度変換処理に際して、バイリニアのような簡単な補間処理のみを行う(バイキュービックのような高度な補間処理は行わない)。

したがって、第２画像処理部１４の回路規模を抑えることができる。
(３)第２画像処理部１４は、色変換色補正処理に際して、単純なカラーマトリックスを用いた処理のみを行う(ルックアップテーブルを用いた複雑な処理は行わない)。

したがって、第２画像処理部１４の回路規模を抑えることができる。
(４)第２画像処理部１４は、γ補正処理に際して、簡素化されたγ補正を行う。

第２画像処理部１４は、γ補正処理に際して、公知の折れ線近似を用いるとともに、その折れ線の数も抑える。第１画像処理部１３で説明したγ補正部４２には、一般に、フルルックアップテーブル方式のγ補正や、多数の折れ線を有する折れ線近似を行うγ補正が可能な回路が用いられるので、それに比べて回路規模を抑えることができる。

(１)から(４)で説明した特徴を有する第２画像処理部１４の一例を図４に示す。図４に示すように、第２画像処理部１４は、上述した第１画像処理部１３の後処理部３１(図３参照)と似た構成を有する。ただし、第２画像処理部１４は、第１画像処理部１３の後処理部３１のγ補正部４２に代えて、(４)で説明した特徴を有するγ補正部５２を備える。また、第２画像処理部１４は、第１画像処理部１３の後処理部３１の色変換色補正部４４に代えて、(３)で説明した特徴を有するカラーマトリックス部５４を備える。また、第２画像処理部１４は、第１画像処理部１３の後処理部３１の解像度変換部４５に代えて、(２)で説明した特徴を有する拡大／縮小変換部５５を備える。

なお、図４では、第１画像処理部１３の後処理部３１と同様の構成を有する各部について、後処理部３１と同様の符号を示した。また、後処理部３１と同様の構成を有する各部を、より簡単な構成に変更しても良い。

このように、第１画像処理部１３に加えて、第２画像処理部１４を設けたことにより、電子カメラ１は、パイプライン処理による静止画の高速連写を行っても、撮影間隔を短縮することができる。図５を用いて、パイプライン処理による高速連写について、簡単に説明する。

図５に示すように、１回の撮影動作を、(１)露光を含む撮像信号の読み出し、(２)ＡＷＢを含む画像処理、(３)ビットレートコントロールを含む圧縮処理、(４)メモリカードへの書き込み、という４つの処理に大きく分け、各処理を１コマ遅れで並列に実行する。この例は、４−Ｓｔａｇｅのパイプライン処理であり、前に撮影したコマの画像データをメモリカード３０に記録し終える前に次のコマの撮影が始められるので、撮影間隔が短縮されて、高速な連写が可能となる。

図５に示すように、撮影された最新のコマの撮像信号の読み出し中に、１つ前のコマの画像処理が行われる。そのため、従来のように第２画像処理部１４を設けない場合には、サムネイル画像などの低解像度画像の作成を並行して行うことができない。したがって、１つ前のコマの画像処理が終わってから、各種低解像度画像および主画像をシーケンシャルに作成することになる。そのため、撮影結果確認用の画像の表示が遅れることになり、好ましくない。特に、連写撮影の場合は、撮影されたコマを次々と表示するので、撮影から表示までの時間(Ｌａｔｅｎｃｙ)は少ない方が快適である。

上述したように、第１画像処理部１３に加えて、第２画像処理部１４を設けたことにより、撮像信号の読み出し中に、このコマの表示用画像などの低解像度画像を作成することができる。したがって、撮影結果確認用の画像の表示が遅れることをも回避し、撮影時のレスポンスを向上させることができる。

なお、第１画像処理部１３に加えて、第２画像処理部１４を設ける際に、第２画像処理部１４をさらに簡略化しても良い。図６に、図４よりもさらに簡略化した第２画像処理部１４の一例を示す。図６の例では、図４に示した色補間部４３が省略され、水平間引き部４０の前にＧｒ／Ｇｂ平均部６０を備える。

Ｇｒ／Ｇｂ平均部６０の処理について、図７を用いて説明する。Ｇｒ／Ｇｂ平均部６０にはＲＡＷデータが入力される。このＲＡＷデータは、図７Ａに示すＢａｙｅｒ配列の画像データであり、ＳＤＲＡＭ１７に記憶されている。また、入力された画像データは一旦不図示のバッファメモリに格納される。ＳＤＲＡＭ１７に記憶されたＲＡＷデータは、図７Ｂに示すように読み出される。すなわち、まず、Ｒ／Ｇｒのラインから既定の数(例えば、横６４画素など)の色成分(Ｒ画素とＧｒ画素)データが読み出され、続いて、１つ下のＧｂ／Ｂのラインから同数の色成分(Ｇｂ画素とＢ画素)データが読み出されるという動作が繰り返し行われる。読み出されたデータは、上述したバッファメモリに格納される。なお、ＲＡＷデータをＳＤＲＡＭ１７から読み出す際には、上述した「既定の数」をＳＤＲＡＭ１７から１回にまとめて読み出すデータのサイズ（バーストＲＥＡＤのサイズ）に合わせると、ＳＤＲＡＭ１７の帯域を有効に利用することになるので好ましい。

Ｇｒ／Ｇｂ平均部６０は、続いて、バッファメモリに格納されたデータを、図７Ｃに示すように、互いに角を接するＲ，Ｇｒ，Ｇｂ，Ｂの４成分から成る(２×２)のブロック単位に分割して読み出す。そして、Ｇｒ／Ｇｂ平均部６０は、図７Ｄに示すように、Ｒ，Ｇｒ，Ｇｂ，Ｂの４成分を色分離し、ＧｒとＧｂとの平均値である「Ｇ」を求める。さらに、Ｇｒ／Ｇｂ平均部６０は、図７Ｄに示すように、ＲおよびＢには遅延を掛けて、Ｇと位相を合わせ、Ｒ，Ｇ，Ｂの３成分を、水平間引き部４０に出力する。

Ｇｒ／Ｇｂ平均部６０から出力されたＲ，Ｇ，Ｂの３成分は、元のＢａｙｅｒ配列の画像データの(２×２)のブロック１つに対応する。そのため、このＲ，Ｇ，Ｂの３成分より成る新たな１画素は、元の画像データの(２×２)のブロック１つから作成されたと考えることができる。すなわち、元のＢａｙｅｒ配列の画像データに比べて、縦横１／２の解像度(縮小)のＲＧＢの画像データが作成されることになる。このＲＧＢの画像データは、１画素にＲ，Ｇ，Ｂの３成分を含むので、色補間は不要である。そのため、図６に示した第２画像処理部１４は、図４に示した第２画像処理部１４の色補間部４３に相当する構成を備えていない。図４の色補間部４３のような処理回路は、一般に、ラインメモリを含む。これに対して、上述したＧｒ／Ｇｂ平均部６０のような処理回路は、画素単位の処理なので、回路規模を大幅に削減することができる。

なお、上述したＲＧＢの画像データは中間データであり、この中間データを基に目的のサイズのＹＣｂＣｒ画像が作成される。そこで、元のＢａｙｅｒ配列の画像データから一部のフィールドの画像データだけを取り出してＧｒ／Ｇｂ平均部６０に入力することにより、中間データの縦サイズ(ライン数)を、目的の画像サイズに近付けることもできる。例えば、目的の画像がＶＧＡ(６４０×４８０)サイズの表示用画像である場合には、元のＢａｙｅｒ配列の画像データから、１０００ライン程度の画像データを取り出してＧｒ／Ｇｂ平均部６０で処理をすると、ＶＧＡサイズに近い５００ライン程度の中間データが得られる。ＣＣＤなどの撮像素子は、近年、１０Ｍ画素や１２Ｍ画素というように非常に画素数が多くなっているので、一部のフィールドの画像データだけでも、例えば、１０００ライン程度になる。画像処理に掛かる時間は、一般に、その画像処理を行う画像処理回路に入力される画素数に比例するので、一部のフィールドの画像データのみから上述した中間データを作成できるというのは、画像処理に掛かる時間が少なくてすむため、メリットである。なお、撮像素子１２がＣＭＯＳセンサーの場合は、一度に全画素の画像信号を読み出すＰｒｏｇｒｅｓｓｉｖｅ方式の読み出しであることが多い。Ｐｒｏｇｒｅｓｓｉｖｅ読み出しの場合、先に読み出しが終わった一部のフィールドの画像データからサムネイルや撮影結果確認用の画像を作成することはできない。しかし、後述するように、第２画像処理部１４を利用して撮像信号の読み出しと並行して、サムネイル等の低解像度の画像を作成することができるので、やはり静止画撮影時の画像処理の合計時間を短縮することができ、カメラのレスポンスが向上する。

ところで、上述したＧｒ／Ｇｂ平均部６０により、元のＢａｙｅｒ配列の画像データから縦横１／２に縮小された中間データ(ＲＧＢの画像データ)は、水平サイズが未だ大き過ぎるという問題がある。そこで、Ｇｒ／Ｇｂ平均部６０により作成された中間データの水平サイズを、図６に示した水平間引き部４０によって削減する。この水平間引きは、Ｒ，Ｇ，Ｂの３成分全てに施されるので、３つの水平間引き回路が必要である。ただし、ここで行われる水平間引きは、単純な画素平均でも構わない。水平間引き部４０は、中間データを、水平間引きによって目的の水平サイズに近付ける。例えば、目的の画像がＶＧＡ(６４０×４８０)サイズの表示用画像である場合、水平間引き後のサイズが水平７００画素程度になると好ましい。この水平サイズが小さい程、その後の画像処理を行う各回路に必要なラインメモリが少なくて済む。

なお、図６に示すように、水平間引き部４０により水平間引きが施された画像データには、ＷＢ調整部４１によってＷＢ調整が施され、さらに、γ補正部５２によってγ補正処理が施される。そして、γ補正処理が施された画像データには、カラーマトリックス部５４において簡単な色補正処理が施されるとともに、ＹＣｂＣｒ(４：４：４)の画像データへの変換が行われる。この色補正は、カラーマトリックス係数値の調整範囲内で可能である。次に、拡大／縮小変換部５５において、ＹＣｂＣｒ(４：４：４)の画像データは、最終的なサイズに変換される。すなわち、一部のフィールドの画像データだけを取り出すライン間引きと、水平間引き部４０による横方向の縮小とにより、目的のサイズに近付けておき、最後に拡大／縮小変換部５５によって目的のサイズに正確に合わせる。このように、事前に目的のサイズに近付けておくことにより、拡大／縮小変換部５５における変換パラメータの調整範囲が小さくて済むので、回路削減の効果がある。拡大／縮小変換部５５による縮小変換処理が施された画像データには、最後に、輪郭補正部４６によって輪郭補正処理が施され、処理後の画像データは、不図示の色差サンプリング回路によってＹＣｂＣｒ(４：２：２)の画像データに変換され、ＳＤＲＡＭ１７に記憶される。

上述した図４および図６の例では、第２画像処理部１４を、撮影結果確認用画像やサムネイル画像などの低解像度画像の作成にのみ用いる例を示した。しかし、第２画像処理部１４を、その他の用途にも用いることにより、使用機会を増やし、利用効率を上げることができる。

例えば、画像の再生時に、第２画像処理部１４を用いることが考えられる。図８に、画像の再生時にも使用することができる第２画像処理部１４の一例を示す。

画像の再生時に必要な画像処理の機能は、ほとんどが縮小変換処理である。そのため、第２画像処理部１４は、画像の再生時の利用に好適である。メモリカード２０などに記録されている画像は、大きいサイズのものが多い。したがって、１回の処理で、ＬＣＤ２２に合わせた表示サイズに縮小するには水平間引きを併用する必要がある。しかし、記録されている画像は、通常、ＹＣｂＣｒ(４：２：２)の画像データであるので、図４や図６で示したように、中間データであるＲＧＢの画像データに水平間引き処理を施す構成では対応できない。

そこで、図８の例では、図６の水平間引き部４０に代えて、カラーマトリックス部５４および拡大／縮小変換部５５の間に水平間引き部６１を設けている。図８に示すように、水平間引き部６１には、カラーマトリックス部５４からの出力データが入力されるので、ＹＣｂＣｒ(４：４：４)の画像データに水平間引き処理を施すことになる。水平間引き部６１は、ＹＣｂＣｒ(４：４：４)の画像データに、水平間引き処理を施すことにより水平サイズを目標に近付ける。そして、拡大／縮小変換部５５は、水平間引き部６１から出力された画像データに縮小変換処理を施して、最終的なサイズ(ＬＣＤ２２の表示サイズ)に正確に合わせる。

なお、図８において、水平間引き部６１の入力部には、不図示のバッファメモリと、ＹＣｂＣｒ(４：２：２)の画像データをＹＣｂＣｒ(４：４：４)の画像データに変換する色差補間回路とが設けられる。バッファメモリは、Ｇｒ／Ｇｂ平均部６０のＲＡＷデータ入力部に設けられたバッファメモリと共用することが可能である。このようにバッファメモリを共用することにより、回路規模を削減することが可能である。また、水平間引き部の構成は比較的簡単なものであり、回路規模もあまり大きくない。そこで、第２画像処理部１４に、図６で説明した水平間引き部４０と図８で説明した水平間引き部６１との両方を設けても良い。

また、図８で説明した水平間引き部６１は、横方向(水平方向)の縮小のみを行う。そのため、同じく再生時に必要となる縦方向の縮小は、拡大／縮小変換部５５で行う必要がある。しかし、例えば、１２Ｍ画素(４０００×３０００)のような大きな画像を、１回の処理でＶＧＡ(６４０×４８０)のサイズに縮小する場合には、拡大／縮小変換部５５において、縦方向に「１／６．２５」倍の縮小変換処理を行わなければならない。この縮小変換処理を行う場合には、少なくとも７ラインの元データを基に、１ラインの画像データを作成することになるので、ラインメモリの本数を多くする必要がある。ラインメモリの本数に関しては、ラインを間引いてＳＤＲＡＭ１７から画像データを読み出すようにすれば、拡大／縮小変換部５５に入力するライン数を減らすことができるので、ラインメモリの本数自体を削減することができる。しかし、このような構成とすると、単純な垂直間引きとなってしまい、モアレが発生し易いという問題がある。そこで、水平方向と同様に、垂直方向についても十分なローパス処理を施してから、拡大／縮小変換部５５による縮小変換処理を行う必要がある。

図９に、水平方向と同様に、垂直方向についても十分なローパスフィルタ処理を施ことができる第２画像処理部１４の一例を示す。

図９の例では、図８の水平間引き部６１に代えて、カラーマトリックス部５４および拡大／縮小変換部５５の間にＨ／Ｖ間引き部６２を設けている。Ｈ／Ｖ間引き部６２は、水平および垂直の２方向におけるローパスフィルタ処理と、水平および垂直の２方向における縮小処理(サブサンプル)を行う。なお、このＨ／Ｖ間引き部６２は、回路規模を不要に大きくしないように、例えば、垂直および水平の２方向について単純平均を行う回路で構成する。垂直および水平の２方向について単純平均を行うことは、いわゆるブロック平均を行うことと同義である。すなわち、Ｈ／Ｖ間引き部６２は、元の画像データの(ｍ×ｎ)のブロックの画素値を、単純に平均することにより、上述したローパスフィルタ処理と縮小処理とを行う。

ただし、「ｍ」や「ｎ」が２のべき乗でない場合は、平均値を求めるのに除算器が必要である。そこで、単純な加算およびビットシフトによりこの平均値を求めるためには、ブロック内の画素の位置に応じて、重み付け係数の異なる加重平均を用いる。この重み付け係数の値を変更できるようにしておけば、ブロックのサイズ(「ｍ」や「ｎ」)が変わっても回路規模を、あまり増やすことなく対応することができる。

例えば、１２Ｍ(４０００×３０００)からＶＧＡ(６４０×４８０)近くにまで画像データ縮小する場合には、(６×６)のブロックの加重平均を求めるのが良い。「６」は２のべき乗ではないので、画素の位置に応じて適切な重み付け係数を選べば、加算およびビットシフトだけでこの加重平均を求めることができる。実際は、「４０００÷６＝６６６．６６・・・」となり端数が出るが、このような端数については、適宜切り上げや切り捨てなどを行い、横方向のサイズを整数値にすれば良い。

以上説明したように、第１実施形態によれば、撮像手段により得られる画像に画像処理を施す第１の画像処理手段と、第１の画像処理手段による画像処理と並列に処理が可能であって、処理前よりも低解像度の画像を作成する第２の画像処理手段とを備える。したがて、低解像度の画像の作成と高精細の画像の作成とを並行して行うことができる。また、第２の画像処理手段の機能を、単純な処理により実行可能なものに限定したため、比較的低コストで２つの画像処理手段を持つことができる。そのため、回路規模を不要に大きくすることなく、撮影を連続して行う際の撮影間隔を短縮することができる。

また、第１実施形態によれば、第１の画像処理手段は、前処理手段と第１の後処理手段とから成り、第２の画像処理手段は、前処理が施された画像に後処理を施して、低解像度の画像を作成する第２の後処理手段から成る。そのため、第２の画像処理手段として、第１の画像処理手段と同等の画像処理手段を備える場合と比較して、回路規模やコストの増大を抑えることができる。

また、第１実施形態によれば、記録された画像を再生して表示手段に表示する際に、第１の後処理手段と第２の後処理手段との何れかを選択して、表示用の低解像度画像を作成する。したがって、再生時にも第２の画像処理手段を利用することができるので、利用効率が上がるとともに、より多様な並列処理にも対応することができる。

また、第１実施形態によれば、撮像手段は、撮像により得られる画像を複数のフィールドに分けて順番に出力し、第２の画像処理手段は、複数フィールドの出力が終了するまでの間に、既に出力された一部フィールドの画像を利用して、低解像度の画像の作成を行い、第１の画像処理手段は、複数フィールドの出力が終了した後に、全てのフィールドの画像を利用して画像処理を行う。したがって、連写撮影時において、第１の画像処理手段が１つ前に撮影されたコマの主画像を作成する処理を行っていても、第２の画像処理手段を利用して最新のコマの低解像度の画像を並行して作成することができる。

また、第１実施形態によれば、第２の画像処理手段は、撮像により生成された画像データのＲ／Ｇｒラインと、Ｇｂ／Ｂラインとにそれぞれ含まれるカラー成分を既定の数ずつ交互に入力し、入力した画像データを、互いに角が接しているＲ，Ｇｒ，Ｇｂ，Ｂの４成分から成る(２×２)のブロック単位に分割する。そして、その４成分の中のＧｒとＧｂとを平均して得られた画像データを新たなＧ成分にするとともに、このＧと残りのＲおよびＢの３成分を新たな１画素とする中間データ(縦横それぞれ１／２に縮小されたＲＧＢの画像データ)を作成し、この中間データをもとに低解像度の画像を作成する。したがって、第２の画像処理手段は、Ｂａｙｅｒ配列の画像データ用の色補間部を持つ必要がないので、回路規模やコストの増大を抑えることができる。

また、第１実施形態によれば、第２の画像処理手段を設けたことにより、第１の画像処理手段を利用して撮影を行っている最中（撮影モード中）に、ユーザの操作に応じて撮影画像を再生する再生モードへ直接移行し、第２の画像処理手段を利用してメモリカードに記録されている画像に再生処理を施し、再生処理を施した画像を表示手段に表示することもできる。この場合、撮影モードに適した処理設定となっている第１の画像処理手段の設定は変更する必要はなく、また、再生モードへ移行した後も再生モードへ移行する直前に撮影された画像の処理或いは撮影前のスルー画像の処理を第１の画像処理手段で行うようにしても良い。このように、カメラのモードに応じて第１の画像処理手段と第２の画像処理手段とを使い分けることにより、第１および第２の画像処理手段の設定（撮影モード用の設定、再生モード用の設定、処理解像度の設定など）を変更することなく、ダイナミックにカメラの動作モードを切り換えることができ、利便性を向上させることができる。
＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。なお、第２実施形態は、第１実施形態の変形例であるため、第１実施形態と異なる部分についてのみ説明する。また、第１実施形態と同様の構成については、第１実施形態と同様の符号を用いて説明する。

第２実施形態は、第１実施形態で説明した第２画像処理部１４を、静止画像の処理だけでなく、構図確認用のスルー画像や動画像など、間引きによる連続読み出しモードによって生成された画像の処理にも利用することを目的とする実施形態である。

図１０に、構図確認用のスルー画像や動画像の処理にも利用可能な第２画像処理部１４の一例を示す。また、以下では、スルー画像を例に挙げて説明する。

図１０に示すように、第２画像処理部１４は、第１実施形態で説明した第１画像処理部１３の前処理部３０からのダイレクトパス(図１０中矢印Ａ)を備える。図１０に示すダイレクトパスにより、第１画像処理部１３の前処理部３０から、第２画像処理部１４に直接ＲＡＷデータが送られることになる。

つまり、第１実施形態で説明した第１画像処理部１３の前処理部３０からの出力データは、第１実施形態で説明した第１画像処理部１３の後処理部３１と、図１０の第２画像処理部１４との両方に出力可能である。図１１は、この切り換えについて説明する図である。図１１に示すように、第１画像処理部１３は、セレクタ７０を備え、このセレクタ７０は、データパスを切り換える。このようなセレクタ７０を備えることにより、スルー画像の処理をダイレクトパスを経由して、第２画像処理部１４に行わせることができる。もちろん、従来通り、第１画像処理部１３の後処理部３１を利用して処理することもできる。例えば、スルー画像撮影時において、デジタルズーム(拡大)が指示された場合には、第１画像処理部１３の後処理部３１によって処理を行う必要がある。

また、セレクタ７０を備えることにより、再生時の処理と、間引き読み出しによる連続撮影によって生成された画像の処理との両方において、第１画像処理部１３の後処理部３１と、第２画像処理部１４との何れも選択的に利用することができるので、多様な並列処理に対応することができる。

ところで、図１０で説明したダイレクトパスを使用するためには、図７Ａに示した順で、撮像素子１２からスルー画像に対応するＢａｙｅｒ配列の画像データが出力される必要がある。換言すると、通常の撮像素子と同じ順(Ｐｒｏｇｒｅｓｓｉｖｅ)で、スルー画像の画像データが出力される場合は、上述したダイレクトパスが使えない。

そこで、このダイレクトパスが使えるように、撮像素子１２(図１参照)に、特別な読み出しモードを設ける。図１２は、その読み出しモードを説明する図である。図１２に示すように、撮像素子１２から画像データを読み出す場合は、まず、Ｒ／Ｇｒのラインから既定の数の色成分(Ｒ画素とＧｒ画素)の画像データを読み出し、次いで、１つ下のＧｂ／Ｂのラインから同数の色成分(Ｇｂ画素とＢ画素)の画像データを読み出すという動作を繰り返し行う。最も簡単なのは、「Ｒ→Ｇｒ→Ｇｂ→Ｂ」のように２つの色成分ずつをそれぞれのラインから交互に読み出すか、または、「Ｒ→Ｇb→Ｇr→Ｂ」のように１つの色成分ずつをそれぞれのラインから交互に読み出し、(２×２)のブロックを構成するその４つの色成分を１単位として、図７に示したように、Ｇｒ／Ｇｂ平均部６０による処理を行う方法である。

なお、ダイレクトパスより前の欠陥補正部３２およびＯＢクランプ処理部３３では、色成分(画素)毎に処理が行われるので、図１２のような順に画像データが出力されても対応することができる。また、Ｒ／ＧｒのラインおよびＧｂ／Ｂのラインから、それぞれ２よりも多い色成分を交互に読み出す場合には、図１０に示したＧｒ／Ｇｂ平均部６０の直前にバッファメモリを設け、そこで互いに角を接するＲ，Ｇｒ，Ｇｂ，Ｂの４成分から成る(２×２)のブロック単位に一旦分割し、その(２×２)ブロック単位ずつ次のＧｒ／Ｇｂ平均部６０に出力すれば良い。

なお、撮像素子１２としてＣＭＯＳを備える場合には、図１２で説明した読み出しモードを設けることは容易である。撮像素子１２の方にこのような読み出しモードを設けた場合は、図１０に示したダイレクトパスを利用しつつ、第２画像処理部１４を利用してスルー画像の処理を行うことができる。この方法を利用すれば、ＳＤＲＡＭの帯域を占有せずに済むというメリットがある。

また、Ｇｒ／Ｇｂ平均部６０に１ライン分のラインメモリを持たせて、Ｇｒ／Ｇｂ平均部６０内で２ライン分の処理を行う構成としても良い。この場合、まずＧｒ／Ｇｂ平均部６０からのデータ出力を停止した状態でＧｒ／Ｇｂ平均部６０に入力された最初の１ラインをラインメモリに記憶し、次のラインが入力されたら、ラインメモリに記憶されている１つ前のラインの２つの色成分と現在のラインの２つの色成分とを利用してＲＧＢ３色の中間データを生成し、生成した中間データを出力する。この際、現在のラインのデータで１つ前のラインのデータを置き換える形でＧｒ／Ｇｂ平均部６０のラインメモリにデータを記憶させる。この処理を繰り返すことにより、撮像素子１２に特別な読み出しモードを設けることなく、常にダイレクトパスを処理することが可能となる。また、撮像素子１２がＰｒｏｇｒｅｓｓｉｖｅ読み出し方式しか備えていない場合であっても、常にダイレクトパスを処理することが可能となる。加えて、前処理後のＲＡＷデータを一旦ＳＤＲＡＭ１７に記憶する必要が無くなるため、ＳＤＲＡＭ１７の帯域消費を減少させることもできる。

なお、撮像素子１２にＣＭＯＳセンサーのようにＰｒｏｇｒｅｓｓｉｖｅ読み出し方式の撮像素子を用いて静止画撮影を行った場合は、撮像素子１２から出力された静止画のデータにまず第１画像処理部１３の前処理部３０によって前処理を施し、前処理が施されたＲＡＷデータをバスを介してＳＤＲＡＭ１７に記憶するとともに、第２画像処理部１４に入力して後処理を施し、後処理を施した静止画データから撮影結果確認用画像やサムネイルなどの低解像度画像を作成するようにしても良い。もちろん、一旦ＳＤＲＡＭ１７に記憶されたＲＡＷデータを読み出し、第２画像処理部１４で撮影結果確認用画像とサムネイルとを作成し、第２画像処理部１４の処理と並行して第１画像処理部１３の後処理部３１によって高精細な主画像（主たる記録データ）を作成することもできる。

以上説明したように、第２実施形態によれば、第１の画像処理手段と第２画像処理手段との少なくとも一方による画像処理の対象となる画像を一時的に記録する画像メモリと、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段とを備え、連続読み出しモードが選択された場合に、前処理手段による前処理が施された画像を画像メモリに出力し、画像メモリから画像を読み出して第１の後処理手段と第２の後処理手段との何れかに入力する第１の入力方法と、前処理手段から出力された前処理が施された画像を、前処理手段から第１の後処理手段と第２の後処理手段との何れかに直接入力する第２の入力方法との何れかを選択するとともに、第１の後処理手段と第２の後処理手段との何れかを選択して、撮像手段により得られた画像よりも低解像度の画像を作成する。したがって、間引きによる連続読み出しモードにおいても第２画像処理手段が利用できるので、画像処理手段の利用効率が上がるとともに、第１の画像処理手段により高精細な記録画像を処理している期間中も第２の画像処理手段により処理されたスルー画像を出力することで、記録用画像の処理期間中もスルー画像を途切れさせることなく表示できるといった、より多様な並列処理にも対応することができる。加えて、画像メモリの帯域を占有しないという利点がある。

また、第２実施形態によれば、静止画読み出しモードが選択された場合には、第２の後処理手段を選択して、表示手段により表示するための低解像度画像として、一覧表示用のサムネイル画像と撮影結果確認用の画像との少なくとも一方を作成するとともに、第１の後処理手段を選択して、高精細な記録用画像を作成する画像処理を行う。したがって、画像処理手段の機能に応じた最適な画像処理を行うことができる。

また、第２実施形態によれば、撮像手段は、連続読み出しモードにおいて、Ｂａｙｅｒ配列の画像データのＲ／Ｇｒラインと、Ｇｂ／Ｂラインとにそれぞれ含まれる色成分を既定の数ずつ交互に出力する。そして、前処理手段は、連続読み出しモードの画像データに前処理を施し、その前処理が施された画像データを第２の画像処理手段に直接送るとともに、第２の画像処理手段は、前処理が施された画像データのＧｒとＧｂを平均することにより、縦横それぞれ１／２に縮小されたＲＧＢの画像データである中間データを作成し、それを基にスルー画像の表示に用いる低解像度の画像を作成する。したがって、第２の画像処理手段を利用しつつ、同時に画像メモリの帯域を不要に占有することなくスルー画像の表示を行うことができる。

１…電子カメラ，１２…ＣＣＤ，１３…第１画像処理部，１４…第２画像処理部

Claims (7)

1. 被写体像を撮像して画像を生成する撮像手段と、
   前記撮像手段により得られる画像に画像処理を施す第１の画像処理手段と、
   前記第１の画像処理手段による画像処理と並列に処理が可能であって、前記撮像手段により得られる画像または前記第１の画像処理手段により画像処理が施された画像に画像処理を施して、処理前よりも低解像度の画像を作成する第２の画像処理手段と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記第１の画像処理手段は、前記撮像手段により得られる画像に前処理を施す前処理手段と、前記前処理手段により前記前処理が施された画像に後処理を施す第１の後処理手段とから成り、
   前記第２の画像処理手段は、前記前処理手段により前記前処理が施された画像に後処理を施して、前記低解像度の画像を作成する第２の後処理手段から成る
   ことを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、
   前記選択手段により前記連続読み出しモードが選択された場合に、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、前記撮像手段により得られる画像よりも低解像度の画像を作成する画像処理を行う制御手段とをさらに備える
   ことを特徴とする電子カメラ。
4. 請求項２に記載の電子カメラにおいて、
   画像を表示する表示手段と、
   前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、
   前記選択手段により前記静止画読み出しモードが選択された場合に、前記第２の後処理手段を選択して、前記表示手段により表示するための低解像度画像として、一覧表示用のサムネイル画像と撮影結果確認用の画像との少なくとも一方を作成するとともに、前記第１の後処理手段を選択して、高精細な記録用画像を作成する画像処理を行う制御手段とをさらに備える
   ことを特徴とする電子カメラ。
5. 請求項２に記載の電子カメラにおいて、
   画像を表示する表示手段と、
   前記第１の画像処理手段と前記第２の画像処理手段との少なくとも一方により画像処理が施された画像を記録する記録手段と、
   前記記録手段により記録された画像を前記表示手段により表示する際に、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、表示用の低解像度画像を作成する制御手段とをさらに備える
   ことを特徴とする電子カメラ。
6. 請求項２に記載の電子カメラにおいて、
   前記第１の画像処理手段と前記第２画像処理手段との少なくとも一方による画像処理の対象となる画像を一時的に記録する画像メモリと、
   前記撮像手段の読み出しモードとして、静止画読み出しモードと、間引きによる連続読み出しモードとの何れかを選択する選択手段と、
   前記選択手段により前記連続読み出しモードが選択された場合に、前記前処理手段により前記前処理が施された画像を前記画像メモリに出力し、前記画像メモリから画像を読み出して前記第１の後処理手段と前記第２の後処理手段との何れかに入力する第１の入力方法と、前記前処理手段から出力された前記前処理が施された画像を、前記前処理手段から前記第１の後処理手段と前記第２の後処理手段との何れかに直接入力する第２の入力方法との何れかを選択するとともに、前記第１の後処理手段と前記第２の後処理手段との何れかを選択して、前記撮像手段により得られる画像よりも低解像度の画像を作成する画像処理を行う制御手段とをさらに備える
   ことを特徴とする電子カメラ。
7. 請求項２から請求項６の何れか１項に記載の電子カメラにおいて、
   前記撮像手段は、撮像により得られる画像を複数のフィールドに分けて順番に出力し、
   前記第２の画像処理手段は、前記複数フィールドの出力が終了するまでの間に、既に出力された一部フィールドの画像を利用して、前記低解像度の画像の作成を行い、
   前記第１の画像処理手段は、前記複数フィールドの出力が終了した後に、全てのフィールドの画像を利用して前記画像処理を行う
   ことを特徴とする電子カメラ。

Images