JP2006121326A

JP2006121326A - 電子カメラ

Info

Publication number: JP2006121326A
Application number: JP2004305969A
Authority: JP
Inventors: Yutaka Tsuda; 豊津田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-10-20
Filing date: 2004-10-20
Publication date: 2006-05-11
Anticipated expiration: 2024-10-20
Also published as: EP1653730B1; US20060082660A1; EP1653730A3; EP1653730A2; US7418153B2; JP4449692B2

Abstract

【課題】全画素読み出しで生成された全体画像と比べて違和感のない部分画像を部分読み出しで生成できる電子カメラを提供する。
【解決手段】被写体像を光電変換する受光画素面を備え、前記受光画素面において最大画素数の画像の生成に使用される最大画像領域から任意の部分領域を部分読み出し可能な撮像素子と、前記最大画像領域に対する前記部分領域の位置情報を検出する部分領域位置検出部と、前記最大画像領域の全体特性に基づいて設定され、前記最大画像領域の画像信号の画像処理に適用される最大画像用補正値を出力する最大画像用補正値出力部と、前記最大画像用補正値の部分領域対応位置の補正値である使用補正値を前記位置情報に基づいて抽出し、前記部分領域の画像信号に前記使用補正値を適用して画像処理を施す画像処理部と、を有することを特徴とする。
【選択図】図１

Description

本発明は、撮影素子から画像信号を部分読み出し可能な電子カメラの画像処理に関する。

従来から、撮像素子の最大画像領域から任意の部分領域を部分的に読み出して画像データを生成する電子カメラが公知である。例えば、特許文献１には、撮像素子から部分読み出しが可能な電子カメラにおいて、暗電流成分による固定パターンノイズの除去に関する技術が開示されている。
特開平９−１３５３８８号公報［０１８７］および図５２

ところで、従来の電子カメラの画像処理（ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算等）では、部分読み出し時にはその部分領域の特性に基づくパラメータで画像処理を行ない、部分領域以外の特性を考慮することなく画像処理を行っていた。したがって、部分読み出しと全画素読み出しとで同じ被写体を同じ撮影条件で撮影した場合、部分読み出しで画像処理された部分画像と全画素読み出しで生成された全体画像とが相違して、撮影者に違和感を与えることがあった。

ここで、全体画像を切り出して部分画像を生成すれば、上記のような部分画像と全体画像との不一致は解消する。しかし、この場合には部分画像の生成時には全画素読み出しを行って全体画像を生成しなければならず、部分画像生成の処理時間が著しく増加するので非効率的である。また、上記特許文献１の技術は、部分領域が変更された場合のフレームレート低下対策として、部分領域より広い範囲の固定パターンノイズのデータを予めメモリに保持してデータ取り直しを防止するにすぎず、上記問題を何ら解決するものではない。

本発明は上記従来技術の課題を解決するためのものであって、その目的は、部分読み出しによって、全画素読み出しで生成された全体画像と比べた場合にも違和感のない部分画像が生成できる電子カメラを提供することである。

請求項１の発明の電子カメラは、被写体像を光電変換する受光画素面を備え、前記受光画素面において最大画素数の画像の生成に使用される最大画像領域から任意の部分領域を部分読み出し可能な撮像素子と、前記最大画像領域に対する前記部分領域の位置情報を検出する部分領域位置検出部と、前記最大画像領域の全体特性に基づいて設定され、前記最大画像領域の画像信号の画像処理に適用される最大画像用補正値を出力する最大画像用補正値出力部と、前記最大画像用補正値の部分領域対応位置の補正値である使用補正値を前記位置情報に基づいて抽出し、前記部分領域の画像信号に前記使用補正値を適用して画像処理を施す画像処理部と、を有することを特徴とする。

請求項２の発明は、請求項１の発明において、選択された部分領域の特性に基づいて設定され、当該部分領域の画像処理に最適化された部分画像用補正値を出力する部分画像用補正値出力部と、前記画像処理部で適用される補正値を、前記使用補正値または前記部分画像用補正値の間で切り替える画像処理モード切替部と、をさらに有することを特徴とする。

請求項３の発明は、請求項１または請求項２の発明において、前記画像処理は、ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算のいずれかに関することを特徴とする。
（作用）
請求項１の発明では、画像処理部は、最大画像領域の全体特性に基づいて設定された最大画像用補正値から、部分領域対応位置の補正値である使用補正値を部分領域の位置情報に基づいて抽出する。そして、画像処理部は、部分領域の画像信号に使用補正値を適用して画像処理を施す。したがって、部分読み出し時の画像処理は、全画素読み出し時の部分領域対応位置と同一の補正値で実行される。

請求項２の発明では、画像処理モード切替部によって、画像処理部で適用される補正値を、上記請求項１の使用補正値と部分領域の特性に基づく部分画像用補正値との間で切り替えることができる。したがって、部分読み出し時の画像処理を、全画素読み出し時の部分領域対応位置と同一の補正値または部分読み出し用に最適化された補正値のいずれで実行するかを選択できる。

請求項３の発明では、ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算において、上記の効果を得ることができる。

本発明によれば、最大画像領域の全体特性に基づいて設定された最大画像用補正値から部分領域の位置情報に基づいて部分領域に対応する補正値を抽出し、部分領域の出力を全画素読み出し時の部分領域対応位置と同一の補正値で画像処理する。そのため、部分読み出し時において、全画素読み出しで生成された全体画像の対応位置と比べた場合に違和感のない部分画像を生成できる。

（電子カメラの構成の説明）
図１は本実施形態の電子カメラの機能ブロック図である。本実施形態の電子カメラは、撮影レンズ１と、撮像素子２と、Ａ／Ｄ変換部３と、制御部４と、バッファメモリ５と、タイミングジェネレータ（ＴＧ）６と、外部測光部７と、補正値演算部８と、画像処理部９と、圧縮伸長部１０と、カードインターフェース１１と、記録媒体１２と、表示インターフェース１３と、モニタ１４と、操作部１５とを有している。

撮像素子２は撮影レンズ１の像空間側に配置されている。撮像素子２の撮影レンズ１と相対する面（受光画素面）には、被写体像を光電変換してアナログ画像信号を生成する受光画素が２次元配列されている。撮像素子２の受光画素面には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色光を透過させるカラーフィルタアレイを規則的に配列したカラーフィルタが配置されており、被写体像はＲ，Ｇ，Ｂの画像信号に変換されることとなる。なお、撮像素子２から出力されたアナログ画像信号は、Ａ／Ｄ変換部３でデジタル画像信号に変換される。

また、本実施形態の撮像素子２はＸＹアドレス型撮像素子（例えばＣＭＯＳ等）であって、アドレス指定した受光画素の画像信号をランダムアクセスで読み出すことが可能である。すなわち、本実施形態の撮像素子２は、最大画像領域（その電子カメラで最大画素数の画像生成に使用される画素領域）の画像信号を全て読み出す全画素読み出しと、最大画像領域の任意の部分領域を読み出す部分読み出しとのいずれかで駆動させることができる。

制御部４は、例えば、撮像素子２における部分領域の指定や、ＡＥ演算およびＡＦ演算に必要な各種演算処理などを実行し、電子カメラの各部を制御する。
特に本実施形態では、制御部４は全画素読み出しによって最大画像領域での撮影を行う「通常撮影モード」と、撮影者が指定した部分領域を部分読み出しして撮影を行う「部分領域撮影モード」とのモード切り替えを実行する。さらに、制御部４は「部分領域撮影モード」では、通常撮影モードに準じた画像処理を行うか、部分領域に最適化された画像処理を行うかの切り替えを実行する。

バッファメモリ５はＳＤＲＡＭ等で構成され、画像処理前の画像信号または画像処理後の画像データを一時的に保存可能なデータ領域を有している。また、バッファメモリ５には、ラインクロール補正（受光画素の感光特性の相違によるムラの補正）、輝度シェーディング補正（各受光画素の受光光量の相違による輝度ムラの補正）、ガンマ補正、色マトリックス演算について、最大画像領域の補正値を演算するためのパラメータが記録されている。

上記のパラメータは、最大画像領域の特性に基づいて設定されている。具体的には、ラインクロール補正および輝度シェーディング補正に関しては、最大画像領域のラインクロール特性および輝度シェーディング特性を近似的に示す演算式のデータがバッファメモリ５に保持されている。また、ガンマ補正および色マトリックス演算に関しては、最大画像領域に対応したパラメータのガンマテーブルおよび色マトリクステーブルがバッファメモリ５に保持されている。

タイミングジェネレータ６は、受光画素の不要電荷排出、電荷蓄積および蓄積電荷出力等の動作に必要な駆動信号を所定のタイミングで生成し、各駆動信号を撮像素子２に供給する。また、「部分領域撮影モード」では、タイミングジェネレータ６は撮像素子２から読み出される画像信号と受光画素のアドレスとの対応関係（部分領域の位置情報）を補正値演算部７に出力する。

外部測光部７はＣＣＤ等で構成され、被写界を複数のエリアに分割して測光する。この外部測光部７の各エリアは、撮像素子２における最大画像領域の一部にそれぞれ対応する。そして、外部測光部７は各エリア毎の輝度情報を制御部４に出力する。外部測光部７の輝度情報は制御部４でのＡＥ演算に使用され、この演算結果に基づいてゲイン補正の補正値が生成されることとなる。なお、撮像素子２の画像信号を一定間隔で読み出して分割測光を行う構成の電子カメラでは外部測光部７を省略できる。

補正値演算部８は、ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算の補正値を演算して画像処理部９に出力する。なお、「部分領域撮影モード」では、画像処理部９は部分領域の位置情報に基づいて補正値を演算する。画像処理部９は、バッファメモリに一時保存された１画面分の画像信号に対して、欠陥補正、ラインクロール補正、輝度シェーディング補正、ゲイン補正、色補間、エッジ強調、ガンマ補正、色マトリックス演算などの各種画像処理を施して画像データを生成する。なお、本実施形態の画像処理部９は、ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算については、補正値演算部８から出力された補正値に基づいて画像処理を実行する。

圧縮伸長部１０は画像処理後の画像データをＪＰＥＧ形式で圧縮する処理や、ＪＰＥＧ形式の圧縮画像データを伸長して復元する処理を実行する。カードインターフェース１１には、記録媒体１２が着脱可能に装着されている。この記録媒体１２は、例えばフラッシュメモリ等を内蔵したカード型記録媒体が該当し、圧縮伸長部１０で圧縮された画像データが最終的に格納される。

表示インターフェース１３にはモニタ１４が接続されている。モニタ１４には撮影画像データの再生表示や設定時の各種表示などが行われる。操作部１５は、例えば、コマンドダイヤルや十字状のカーソルキー等で構成され、上記のモード切り替えなどの各種選択入力に使用される。
（電子カメラの動作の説明）
以下、本実施形態の電子カメラの画像生成動作を説明する。なお、動作説明では「通常撮影モード」での動作を説明した後に、「部分領域撮影モード」での動作を説明する。

（通常撮影モードでの動作）
「通常撮影モード」では、図示しないレリーズ釦の全押し等で撮影者がシャッタレリーズを指示すると、制御部４はタイミングジェネレータ６を介して撮像素子２に全画素読み出しを指示する。撮像素子２から順次出力される画像信号は、Ａ／Ｄ変換部３でデジタル化されてからバッファメモリ５に一時的に記録される。

一方、補正値演算部８は、ラインクロール補正、輝度シェーディング補正、ゲイン補正、ガンマ補正、色マトリックス演算の最大画像用補正値を演算して画像処理部９に出力する。
例えば、ラインクロール補正の場合には、補正値演算部８がバッファメモリ５から下記の式（１）を読み出し、撮像素子２からの読み出し順に受光画素の座標を式（１）に代入して各受光画素に対応した補正値をそれぞれ演算する。

ｆ（ｘ，ｙ）＝Ａｘ²＋Ｂｙ²＋Ｃｘｙ＋Ｄｘ＋Ｅｙ＋Ｆ・・・（１）
ここで、式（１）のＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆは最大画像領域全体のラインクロール特性で規定される定数である。ｘは撮像素子２における受光画素の水平座標（１≦ｘ≦最大画像領域の水平画素数）であって、ｙは撮像素子２における受光画素の垂直座標（１≦ｙ≦最大画像領域の垂直画素数）である。なお、輝度シェーディング補正の場合には、上記と同様に補正値演算部８が輝度シェーディング特性の演算式に受光画素の座標を順次代入して補正値を演算する。

また、ゲイン補正の場合には、制御部４が最大画像領域全体の輝度情報を考慮してＡＥ演算を行い、この演算結果に基づいて補正値演算部８が最大画像領域の各受光画素に対応するゲインの値（補正値）を演算する。さらに、ガンマ補正および色マトリックス演算の場合には、補正値演算部８はバッファメモリ５から最大画像領域に対応するガンマテーブルおよび色マトリクステーブルを読み出して、これらのテーブルに基づいて補正値を抽出する。

そして、バッファメモリ５に１画面分の画像信号が記録された段階で、画像処理部９は上記の最大画像用補正値を適用して画像信号に画像処理を施し、最大画像領域の画像データを生成する。生成された画像データは圧縮伸長部１０でＪＰＥＧ形式で圧縮された後に記録媒体１１に格納される。以上で「通常撮影モード」での一連の動作が終了する。
（部分領域撮影モードでの動作）
「部分領域撮影モード」では、撮影者は撮影前に（ａ）部分領域の指定と、（ｂ）「通常撮影モードに準じた画像処理」または「部分領域に最適化された画像処理」の選択とを操作部１５で予め電子カメラに入力する。

撮影者がシャッタレリーズを指示すると、制御部４は指定された部分領域の受光画素の部分読み出しを撮像素子２に指示する。部分領域のデジタル画像信号はバッファメモリ５に一時的に記録される。また、タイミングジェネレータ６は、部分領域の位置情報を補正値演算部７に出力する。
ここで、通常撮影モードに準じた画像処理が選択されている場合、補正値演算部８は、最大画像用補正値の演算に使用したパラメータと部分領域の位置情報とに基づいて使用補正値を抽出する。この使用補正値は、「通常撮影モード」で使用された最大画像用補正値から部分領域対応位置の補正値を抜き出したものに相当する。

具体的には、ラインクロール補正の場合には、補正値演算部８は上記の式（１）に部分領域の受光画素の座標を読み出し順に代入して使用補正値を演算する。また、ゲイン補正の場合には、補正値演算部８は「通常撮影モード」と同様に最大画像領域の各受光画素に対応するゲインの値を演算し、その後に部分領域の位置情報に基づいて使用補正値を抽出する。なお、輝度シェーディング補正やガンマ補正等の使用補正値についても、補正値演算部８は上記と同様の手順で生成される。

なお、部分領域撮影モードにおいて、最大画像領域全体の特性に基づく使用補正値で画像処理を行うのは、以下の理由による。
図２は、輝度シェーディング補正のある水平ラインの特性値を示す一例である。部分領域内の輝度シェーディング特性のみに基づいて部分領域の画像信号のシェーディング補正を行うと、部分領域内での輝度シェーディングの振幅が最大画像領域全体の振幅に比して小さい箇所では、部分領域の補正後の出力と最大画像領域の補正後の出力との間に大きなズレが生じる。同様に、ゲイン値の決定で部分領域内の測光値のみを考慮してゲインを決定すると、部分領域の画像単体では適正な露出となるものの、「通常撮影モード」で同じ被写体を同じ撮影条件で撮影した場合の全体画像と比べて露出が大きく異なる（図３参照）。すなわち、部分領域内の特性のみに基づいて各種の補正値を演算すると、「通常撮影モード」で同じ被写体を同じ撮影条件で撮影した場合の全体画像と比べて撮影者が画像処理後の部分画像に違和感を感じることがあるので、本発明では最大画像領域全体の特性に基づく使用補正値で画像処理を行うものである。

そして、バッファメモリ５に部分領域の画像信号がすべて記録された段階で、画像処理部９は使用補正値を適用して部分領域の画像信号に画像処理を施し、部分領域の画像データ（部分画像データ）を生成する。この場合の部分画像データは、「通常撮影モード」で同じ被写体を同じ撮影条件で撮影した場合の全体画像の一部と対応する。したがって、「部分領域撮影モード」で通常撮影モードに準じた画像処理が選択されている場合は、部分読み出しで部分画像データが迅速に生成されるとともに、「通常撮影モード」での全体画像と比べた場合に違和感のない部分画像を得ることができる。

一方、「部分領域撮影モード」で部分領域に最適化された画像処理が選択されている場合には、補正値演算部８は部分領域の位置情報に基づいて部分画像用補正値を演算する。この部分画像用補正値は指定された部分領域の特性のみに基づいて演算され、最大画像領域における部分領域以外の特性は考慮されない。
部分画像用補正値の演算では、補正値演算部８が部分領域の位置情報に基づいて、予めバッファメモリ５に記録された対応箇所の部分画像補正値を読み出してもよく、あるいは補正値演算部８が部分領域の位置情報に基づいて部分画像補正値を直接演算してもよい。例えば、ゲイン補正の場合には、制御部４が部分領域の輝度情報でＡＥ演算を行い、この演算結果に基づいて補正値演算部８が部分領域の各受光画素に対応するゲインの値（補正値）を演算する。

この部分画像補正値によって画像処理された部分画像データは、指定された部分領域の画像を単体で観賞する場合（全体画像と対比しない場合）には最適な画像となることが多い。そのため、本実施形態の電子カメラでは「通常撮影モードに準じた画像処理」と「部分領域に最適化された画像処理」との選択によって、撮影者の意図する部分画像を容易に得ることができる。

（請求項と実施形態との対応関係）
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。
上記実施形態の電子カメラは請求項１から請求項３の電子カメラに対応する。「撮像素子」には撮像素子２が対応する。「部分領域位置検出部」にはタイミングジェネレータ６が対応する。「最大画像用補正値出力部」および「部分画像用補正値出力部」には主にバッファメモリ５および補正値演算部８などが対応する。「画像処理部」には主に画像処理部９が対応する。「画像処理モード切替部」には制御部４が対応する。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記実施形態の「部分領域撮影モード」において、ゲイン補正や輝度シェーディング補正などの個々の画像処理ごとに「通常撮影モードに準じた画像処理」と「部分領域に最適化された画像処理」とを選択できるようにしてもよい。また、上記実施形態の「部分領域撮影モード」では、１回の撮影で「通常撮影モードに準じた画像処理」と「部分領域に最適化された画像処理」との２種類の部分画像データを同時に生成するようにしてもよい。

また、本発明の電子カメラは、ＸＹアドレス型の撮像素子に限定されることなく、ＣＣＤなどの順次走査型撮像素子であってもよい。この場合には、部分領域を含む水平ラインの画像信号のみを一旦読み出して、その後に不要な垂直ラインの画像信号を廃棄すれば上記実施形態と同様な部分読み出しを行うことができる。

本発明は、撮像素子から画像信号を部分読みだし可能な電子カメラに適用できる。

本実施形態の電子カメラの機能ブロック図全画素読み出しと部分読み出しにおいて、輝度シェーディング補正後の出力が変化する場合を示すための説明図全画素読み出しと部分読み出しにおいて、ゲイン補正の補正値が変化する場合を示すための説明図

符号の説明

１撮影レンズ
２撮像素子
３Ａ／Ｄ変換部
４制御部
５バッファメモリ
６タイミングジェネレータ（ＴＧ）
７外部測光部
８補正値演算部
９画像処理部
１０圧縮伸長部
１１カードインターフェース
１２記録媒体
１３表示インターフェース
１４モニタ
１５操作部

Claims

被写体像を光電変換する受光画素面を備え、前記受光画素面において最大画素数の画像の生成に使用される最大画像領域から任意の部分領域を部分読み出し可能な撮像素子と、
前記最大画像領域に対する前記部分領域の位置情報を検出する部分領域位置検出部と、
前記最大画像領域の全体特性に基づいて設定され、前記最大画像領域の画像信号の画像処理に適用される最大画像用補正値を出力する最大画像用補正値出力部と、
前記最大画像用補正値の部分領域対応位置の補正値である使用補正値を前記位置情報に基づいて抽出し、前記部分領域の画像信号に前記使用補正値を適用して画像処理を施す画像処理部と、
を有することを特徴とする電子カメラ。
選択された部分領域の特性に基づいて設定され、当該部分領域の画像処理に最適化された部分画像用補正値を出力する部分画像用補正値出力部と、
前記画像処理部で適用される補正値を、前記使用補正値または前記部分画像用補正値の間で切り替える画像処理モード切替部と、をさらに有することを特徴とする請求項１に記載の電子カメラ。
前記画像処理は、輝度シェーディング補正、ラインクロール補正、ゲイン補正、ガンマ補正、色マトリックス演算のいずれかに関することを特徴とする請求項１または請求項２に記載の電子カメラ。