JP2010062975A - 画像処理装置、電子カメラおよび画像処理プログラム - Google Patents

Abstract

【課題】 本発明は、撮像素子の受光面における非一様な温度分布に起因する画像の画質劣化を、短時間で補正することができる技術を提供することを目的とする。
【解決手段】 本発明の画像処理装置は、受光面に複数の画素が２次元的に配列された撮像素子によって撮像された画像の信号を受け付ける入力部と、複数の画素の各々における飽和電荷量値のデータを記憶する記憶部と、画像の露光時間および飽和電荷量値のデータから複数の画素の各々における暗電流値を算出する演算部とを備え、演算部は、各画素における画像の画素値から暗電流値を引くことにより画像を補正する。
【選択図】 図１

Description

本発明は、撮像素子で撮像された画像の画質を補正する画像処理装置、電子カメラおよび画像処理プログラムに関する。

近年、撮像素子の高解像度化および高ＩＳＯ化だけでなく、電子カメラにおける電子回路の小型化および集積化に伴い、電子回路や電子部品等が発する熱をいかに処理するかが重要になってきている。そのような電子回路等からの熱により、撮像素子の受光面の温度が上昇してしまい、受光面での温度分布が一様でなくなる。その結果、受光面上に配列した複数の画素の飽和電荷量および暗電流が変化し、撮像された画像に白浮き等が生じ画質が劣化してしまう。そこで、そうした画質劣化を補正する様々な方法が考えられている（例えば、特許文献１参照）。

特許文献１には、被写体を撮像した画像データとその画像データと同じ露光時間で且つ非露光状態で撮像したダーク画像データとを取得し、それらの差分処理を行うことによって、画像における暗電流等による画質劣化の影響を補正する技術が開示されている。
特開２００３−３３３４３４号公報

しかしながら、従来技術の特許文献１では、ダーク画像データを被写体を撮像した時と同じ露光時間かけて取得する必要があった。特に、１分や１０分といった長時間露光の画像の場合には、ダーク画像データを取得するのにも、同じだけの時間がかかってしまうという問題があった。

上記従来技術の有する問題に鑑み、本発明の目的は、撮像素子の受光面における非一様な温度分布に起因する画像の画質劣化を、短時間で補正することができる技術を提供することにある。

上記課題を解決するために、この発明の画像処理装置は、受光面に複数の画素が２次元的に配列された撮像素子によって撮像された画像の信号を受け付ける入力部と、複数の画素の各々における飽和電荷量値のデータを記憶する記憶部と、画像の露光時間および飽和電荷量値のデータから複数の画素の各々における暗電流値を算出する演算部とを備え、演算部は、各画素における画像の画素値から暗電流値を引くことにより画像を補正する。

また、この発明において、記憶部は、複数の画素における飽和電荷量値と暗電流値とを関係付けるテーブルを記憶し、演算部は、テーブルを用いて複数の画素の各々の暗電流値を算出する。

また、この発明において、演算部は、画像を複数の領域に分割して複数の領域の各々における複数の画素の暗電流値の平均値を算出し、複数の領域の各々における複数の画素の画素値それぞれから平均値を引くことにより画像を補正する。

この発明の電子カメラは、受光面に２次元的に配列された複数の画素を有し被写体を撮像して画像の信号を出力する撮像素子と、この発明の画像処理装置と、を備える。

また、この発明において、画像処理装置の記憶部に記憶される飽和電荷量値のデータを取得するために撮像素子に一様に光を照射する光源部と、撮像素子からの出力を調節する増幅部と、をさらに備える。

また、この発明において、飽和電荷量値のデータは、画像の撮像後における撮像素子の複数の画素の各々が有する飽和電荷量値である。

この発明の画像処理プログラムは、この発明の画像処理装置の画像処理をコンピュータで実現する。

本発明によれば、撮像素子の受光面における非一様な温度分布に起因する画像の画質劣化を、短時間で補正することができる。

図１は、本発明の一の実施形態に係る電子カメラ１００の構成図である。

電子カメラ１００は、撮像レンズ１、シャッタ２、撮像素子３、増幅部４、Ａ／Ｄ変換部５、光源６、ＣＰＵ７、バッファメモリ８、カードインタフェース（カードＩ／Ｆ）９、操作部材１１、記憶部１２、表示部１３および画像処理部１４から構成される。ＣＰＵ７、バッファメモリ８、カードＩ／Ｆ９、操作部材１１、記憶部１２、表示部１３および画像処理部１４は、バス１５を介して情報伝達可能に接続されている。また、シャッタ２、増幅部４および光源６は、ＣＰＵ７に接続され制御される。なお、図１は電子カメラ１００の主要部分のみを示す。例えば、図１において、ＣＰＵ７の指令に従って、撮像素子３やＡ／Ｄ変換部５に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。

シャッタ２は、被写体を撮像素子３で撮像させるために、ＣＰＵ７が発する指令に基づいて、被写体からの光を所定の時間（露光時間）の間、開いて撮像素子３の方へ通す。シャッタ２には、フォーカルプレーンシャッタやレンズシャッタ等のシャッタを適宜選択し用いることができる。

撮像素子３は、ＣＰＵ７の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子３には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。なお、本実施形態における電子カメラ１００が起動されたり、１分や１０分以上の長秒露光撮影等を行うことにより、例えば、ＣＣＤが有する出力アンプによる発熱、または電子カメラ１００の電子回路に設置されるＣＰＵ７や画像処理部１４等の集積回路や他の電子部品によるに発熱等によって、撮像素子３の受光面において温度分布のムラが生じてしまうものとする。

撮像素子３から出力された画像信号は、増幅部４によって増幅され、Ａ／Ｄ変換部５でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ８に記録される。なお、増幅部４は、ユーザが設定するＩＳＯ値やＣＰＵ７の指示に従って増幅率を変えることができる。また、増幅部４は、Ａ／Ｄ変換部５とは独立であっても良いし、Ａ／Ｄ変換部５に設置されるアナログフロントエンドに含まれても良い。一方、バッファメモリ８には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

光源６は、本実施形態において、被写体の画像取得後における撮像素子３の受光面の温度分布の様子を、受光面上にある複数の撮像画素の各々が有する飽和電荷量に基づいて求めるために、撮像素子３の受光面に一様に照射する光源である。光源６は、シャッタ２と撮像素子３との間のミラーボックス等に設置される光源でも良いし、撮像レンズ１の前で発光させるストロボでも良く適宜選択して用いることができる。なお、本実施形態では、光源６はミラーボックス内に設置され、シャッタ２を閉じた状態で発光されるものとする。

ＣＰＵ７は、ユーザによる操作部材１１の電源釦操作によって電子カメラ１００の電源が入れられると、記憶部１２に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。ＣＰＵ７は、操作部材１１を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力したり、画像処理部１４に撮像した画像の画像処理をさせたり、カードメモリ１０への記録や表示部１３への表示等の制御を行う。ＣＰＵ７には、一般的なコンピュータのＣＰＵが使用できる。

カードＩ／Ｆ９には、カードメモリ１０が脱着可能に装着される。バッファメモリ８に記録されている画像は、ＣＰＵ７の指示に基づいて画像処理部１４で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ１０に記録される。

操作部材１１は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ７に出力する。操作部材１１には、例えば、電源釦、撮影モード等のモード設定釦およびレリーズ釦等を有する。なお、操作部材１１は、後述する表示部１３の画面に表示されるタッチパネル式の釦であっても良い。

記憶部１２は、電子カメラ１００が撮像した画像データを記録したり、ＣＰＵ７が電子カメラ１００を制御するための制御プログラム等を記憶する。さらに、記憶部１２は、後述する撮像素子３の画素における飽和電荷量と暗電流とを関係付けたテーブルを記憶する。また、記憶部１２は、ユーザによって設定されるＩＳＯ値等に応じた増幅部４の増幅率の値と、撮像素子３の各画素の飽和電荷量を求める際における光源６の照射によって撮像素子３の全ての画素の画素値が、Ａ／Ｄ変換部５の出力で飽和しないようにするための増幅部４の増幅率の値とを記憶する。記憶部１２に記憶されるこれらのプログラムやデータは、バス１５を介して、ＣＰＵ７から適宜参照することができる。記憶部１２には、一般的なハードディスク装置や光磁気ディスク装置等の記憶装置を適宜選択して用いることができる。

ここで、上述の撮像素子３の画素における飽和電荷量と暗電流とを関係付けたテーブルについて簡単に説明する。一般的に、撮像素子３の画素における飽和電荷量と温度との関係は、温度が高いほど飽和電荷量は増加し温度が低いほど飽和電荷量は減少する。一方、撮像素子３の画素における暗電流と温度との関係は、温度が高くなるに従って暗電流も指数関数的に大きくなる。そこで、例えば、増幅部４の増幅率を所定の一定の値に設定し、撮像素子３の受光面に所定の輝度の光を所定の露光時間だけ照射すれば、撮像素子３の画素の飽和電荷量を温度毎に求めることができ、図２の実線で示すような飽和電荷量の温度特性が取得できる。同様にして、増幅部４の増幅率を同じ一定値に設定して、無露光で上記所定の露光時間と同じ時間間隔における撮像素子３の画素の暗電流を温度毎に求めれば、図２の破線で示すような暗電流の温度特性が取得できる。これらの飽和電荷量と暗電流との温度特性を用いることにより、各画素における飽和電荷量が求められれば、その画素の温度と暗電流が分かる。したがって、記憶部１２に記憶されたテーブルは、そうした飽和電荷量に対する暗電流の関係を一覧にしたものである。

表示部１３は、スルー画や撮像した画像またはモード設定画面等を表示する。表示部１３には、液晶モニタ等を適宜選択して用いることができる。

画像処理部１４は、ＣＰＵ７の画像処理に指示に基づいて、輪郭強調処理やホワイトバランス補正等の画像処理を行うディジタルフロントエンド回路である。

次に、本実施形態に係る電子カメラ１００について、図３のフローチャートを参照しながら説明する。

ユーザにより操作部材１１の電源釦が押されると、ＣＰＵ７は、電子カメラ１００の記憶部１２に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。同時に、ＣＰＵ７は、記憶部１２より、飽和電荷量と暗電流とを関係付けたテーブルおよび増幅部４に対して設定する増幅率の値を読み込む。ＣＰＵ７は、ユーザからの被写体の撮像指示が出されるまで待機する（ステップＳ１０）。なお、以下の説明において、本実施形態では、ユーザは操作部材１１のモード設定釦を用いて、ＩＳＯ値の選択および１０分の長秒撮影モードの設定とともに、撮像素子３の画素の飽和電荷量による補正モードを選択するものとする。

ステップＳ１０：ＣＰＵ７は、ユーザからの被写体の撮像指示を受け付けるまで待機する（ＮＯ側）。ユーザによって操作部材１１のレリーズ釦が押されると、ＣＰＵ７は、撮像指示が出されたと判断しステップＳ１１（ＹＥＳ側）へ移行する。

ステップＳ１１：ＣＰＵ７は、タイミングジェネレータ（不図示）に対して撮像指令を出すとともに、シャッタ２を１０分間開放する指令を出す。タイミングジェネレータ（不図示）はタイミングパルスを撮像素子３に発し、撮像素子３の画素の各々は、その露光時間の間、撮像レンズ１によって結像される被写体からの光による電荷を蓄える。ＣＰＵ７は、シャッタ２に閉じる指示を出すとともに、タイミングジェネレータ（不図示）を介して撮像素子３に、各画素に蓄えられた電荷である画素値を、被写体の画像のアナログ信号として出力させる指示を出す。その画像のアナログ信号は、ユーザによって選択されたＩＳＯ値に応じた増幅率の値に基づいて増幅部４で増幅され、Ａ／Ｄ変換部５を介してバッファメモリ８に記録される。

ステップＳ１２：ＣＰＵ７は、撮像素子３の各画素における飽和電荷量を求めるために、増幅部４に対して、撮像素子３の全ての画素の画素値がＡ／Ｄ変換部５の出力で飽和しない所定の増幅率の値を設定する。本実施形態では、この所定の増幅率の値として、飽和電荷量と暗電流とを関係付けたテーブルを作成する際に用いた増幅率の値と同じ値を用いる。なお、この所定の増幅率の値は、撮像素子３の特性に応じて基準となる温度に基づいて決定するのが好ましい。基準となる温度としては、例えば、零度等がある。即ち、零度において、Ａ／Ｄ変換部５の出力が飽和しないように（例えば、１２ｂｉｔのＡ／Ｄ変換部５ならば、４０９５）、所定の増幅率の値を決める。具体的には、所定の増幅率の値として、１または１より小さい０．５等のマイナスゲインの値等を適宜選択して用いる。

ステップＳ１３：ＣＰＵ７は、撮像素子３の飽和電荷量を求めるために、シャッタ２を閉じた状態を維持し、光源６を発光させる。光源６は、撮像素子３の受光面に光を一様に照射する。光源６の発光と同時に、ＣＰＵ７は、タイミングジェネレータ（不図示）を介して撮像素子３に、ステップＳ１１での被写体を撮像した露光時間よりも短い時間（例えば、１／２５０秒）で撮像させる。なお、本実施形態では、その短い時間として、飽和電荷量と暗電流とを関係付けたテーブルを作成する際に用いたのと同じ露光時間とする。ＣＰＵ７は、撮像素子３に、各画素に蓄えられた飽和電荷量である画素値を、アナログ信号として出力指示を出す。そのアナログ信号は、増幅部４において、ＣＰＵ７の指示で設定された所定の増幅率の値で増幅され、Ａ／Ｄ変換部５を介してバッファメモリ８に記録される。

ここで、ステップＳ１１の被写体を撮像した露光時間よりも短い露光時間で行うことにより、被写体を撮像した直後における撮像素子３の受光面の温度分布に基づいた、飽和電荷量を正確に取得することができる。即ち、従来技術のように、被写体の撮像と同じ露光時間で行った場合、撮像素子３の受光面の温度分布が、被写体の撮像時の分布と異なってしまう。しかしながら、本実施形態においては、飽和電荷量を短い露光時間の撮像から取得するので、被写体を撮像した時の受光面の温度分布と異なってしまうという事態を回避することができる。

ステップＳ１４：ＣＰＵ７は、バッファメモリ８からステップＳ１３で取得した撮像素子３の各画素における飽和電荷量のデータを読み込み、飽和電荷量と暗電流とを関係付けたテーブルに基づいて、撮像素子３の各画素における暗電流を求める。ここで、ステップＳ１３で飽和電荷量を取得した露光時間を、例えば、１／２５０秒とするならば、ステップＳ１１での露光時間は１０分であり、１５０，０００倍長い。また、撮像素子３の各画素における総暗電流量は、露光時間に比例して増加する。したがって、ＣＰＵ７は、求めた暗電流を１５０，０００倍して、ステップＳ１１で被写体を撮像した露光時間における各画素の総暗電流量を算出する。ＣＰＵ７は、算出した全ての画素の総暗電流量のデータを、バス１５を介して、画像処理部１４へ転送する。

ステップＳ１５：画像処理部１４は、バッファメモリ８からステップＳ１１において撮像した被写体の画像を読み込み、画像の各画素の画素値からステップＳ１４で求めた総暗電流量を引く。これにより、画像処理部１４は、画像による撮像素子３の受光面上の非一様な温度分布による影響（局所的またはムラ状の白浮き等）を補正することができる。画像処理部１４は、暗電流を補正した画像に対して、ホワイトバランス処理、ベイヤ補間処理、彩度強調、輪郭強調、ノイズ除去等の画像処理を行う。画像処理部１４は、その画像を、バッファメモリ８へ転送し記録する。

ステップＳ１６：ＣＰＵ７は、バッファメモリ８にあるステップＳ１５で画像処理された画像をＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１５とカードＩ／Ｆ９とを介して、カードメモリ１０に記録して、一連の作業を終了する。

このように、本実施形態は、撮像素子３の受光面における非一様な温度分布に起因する白浮き等による画像の画質劣化を、撮像素子３の各画素における飽和電荷量から暗電流を算出することで補正することができる。

また、撮像素子３の各画素における飽和電荷量を、光源６を発光させて被写体を撮像した露光時間よりも短い露光時間で取得することから、被写体を撮像した直後における撮像素子３の受光面の温度分布を求めることが可能となる。そして、従来技術よりも短い時間で、撮像素子３の受光面の非一様な温度分布による画像の画質劣化を補正することができる。
≪本実施形態の補足事項≫
本実施形態では、撮像素子３の各画素における飽和電荷量に基づいて、各画素における暗電流を算出したが、本発明はこれに限定されない。例えば、画像を複数の領域に分割して（例えば、画像の水平走査方向に４０等分し、垂直走査方向に３０等分する分割）、各領域に含まれる画素の暗電流の平均値を求める。そして、各領域の各画素の画素値から暗電流の平均値に基づいた総暗電流量を引いて、撮像素子３の受光面上の非一様な温度分布による影響を補正しても良い。これにより、各画素の総暗電流量を記憶する必要がなくなり、回路規模を小型化することが可能となる。なお、分割する領域の数は、要求される補正の精度やＣＰＵ７の処理能力に応じて決定したり、ユーザによる操作部材１１の操作によって選択するようにしても良い。

なお、撮像素子３が各画素から画素値を出力する間でも、撮像素子３の受光面における温度分布は変化する。そこで、例えば、出力開始からの時間に応じた補正係数等を用いて、各画素の画素値に対して出力開始からの時間に応じた補正を行うのが好ましい。

なお、本実施形態では、撮像素子３による被写体を撮像した露光時間を、１０分の長秒露光としたが、本発明はこれに限られず、任意の露光時間で被写体を撮像することができる。

なお、本実施形態では、撮像素子３の各画素における飽和電荷量を求めるための露光時間を、１／２５０秒としたが、本発明はこれに限られず、被写体を撮像した露光時間よりも短い露光時間であれば、任意の露光時間を用いることができる。

なお、本発明に係る画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本発明の一の実施形態に係る電子カメラ１００の構成を示すブロック図 飽和電荷量および暗電流の温度に対する変化の様子を示す図 本実施形態の電子カメラ１００での画像処理のフローチャート

符号の説明

１ 撮像レンズ、２ シャッタ、３ 撮像素子、４ 増幅部、５ Ａ／Ｄ変換部、６ 光源、７ ＣＰＵ、８ バッファメモリ、９ カードＩ／Ｆ、１０ カードメモリ、１１ 操作部材、１２ 記憶部、１３ 表示部、１４ 画像処理部、１５ バス、１００ 電子カメラ

Claims (7)

1. 受光面に複数の画素が２次元的に配列された撮像素子によって撮像された画像の信号を受け付ける入力部と、
   前記複数の画素の各々における飽和電荷量値のデータを記憶する記憶部と、
   前記画像の露光時間および前記飽和電荷量値のデータから前記複数の画素の各々における暗電流値を算出する演算部とを備え、
   前記演算部は、
   前記各画素における前記画像の画素値から前記暗電流値を引くことにより前記画像を補正する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記記憶部は、
   前記複数の画素における前記飽和電荷量値と前記暗電流値とを関係付けるテーブルを記憶し、
   前記演算部は、
   前記テーブルを用いて前記複数の画素の各々の前記暗電流値を算出する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記演算部は、前記画像を複数の領域に分割して前記複数の領域の各々における複数の画素の前記暗電流値の平均値を算出し、前記複数の領域の各々における複数の画素の画素値それぞれから前記平均値を引くことにより前記画像を補正することを特徴とする画像処理装置。
4. 受光面に２次元的に配列された複数の画素を有し被写体を撮像して画像の信号を出力する撮像素子と、
   請求項１ないし請求項３のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする電子カメラ。
5. 請求項４に記載の電子カメラにおいて、
   前記画像処理装置の前記記憶部に記憶される前記飽和電荷量値のデータを取得するために前記撮像素子に一様に光を照射する光源部と、
   前記撮像素子からの出力を調節する増幅部と、
   をさらに備えることを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記飽和電荷量値のデータは、前記画像の撮像後における前記撮像素子の複数の画素の各々が有する飽和電荷量値であることを特徴とする電子カメラ。
7. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置の画像処理をコンピュータで実現するための画像処理プログラム。
   

Images