JP2015159480A - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】精度よく横筋ノイズを補正して良好な画質の画像を得る。
【解決手段】制御部１２１は撮像素子の奇数列において画素１０２から画素信号を読み出すとともに、偶数列において画素からノイズ信号を読み出して第１の画像を得て、さらに、奇数列において画素からノイズ信号を読み出すとともに、偶数列において画素から画素信号を読み出して第２の画像を得る。画像処理部１２０は第１の画像におけるノイズ信号の変動量に応じて第１の画像を補正して第１の補正画像を得るとともに、第２の画像におけるノイズ信号の変動量に応じて第２の画像を補正して第２の補正画像を得て、第１および第２の補正画像を合成してノイズ補正画像とする。
【選択図】図１

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関する。

一般に、ビデオカメラ又はデジタルカメラなどの撮像装置では、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどの撮像素子が用いられている。デジタルカメラなどの撮像装置で得られた画像には、撮像装置の電源電圧の変動に起因する所謂シーケンスノイズが発生することがある。

シーケンスノイズが生じた画像に関して、例えば、横筋ノイズが生じる水平ライン上に配列された遮光画素の信号値（画素値）に応じて補正値を算出して、当該算出した補正値を用いて各画素の信号値を補正することが行われている（特許文献１参照）。

さらには、画素信号（つまり、画素値）を画素配列の列方向に複数のグループに分けて、読み出しのタイミングをずらして読み出すようにしたものがある（特許文献２参照）。これによって、特許文献２においては、光信号と差分用信号との非同時性に起因する誤差が生じた場合においても、画像に現れる横縞状のパターンを抑制するようにしている。

特開２０１１−１０９３１５号公報 特開２００８−２７１２２８号公報

ところが、特許文献１に記載の手法においては、例えば、横筋ノイズの影響が顕著となる高感度撮影の際に、遮光画素の出力である画素信号におけるランダムノイズが増加する。この結果、横筋ノイズに起因する信号値の変動量を正しく検出ができなくなって、検出漏れおよび誤検出を引き起こすことがある。

また、特許文献２に記載の手法では、横筋ノイズの画像に対する影響を軽減することは可能であるものの、周期的なノイズが水平方向に残留してしまうため、精度よく横筋ノイズを補正することができない。

従って、本発明の目的は、精度よく横筋ノイズを検出して補正を行うことのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置であって、予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出し手段と、前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正手段と、前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理手段と、を有することを特徴とする。

本発明による撮像装置は、２次元マトリックス状に配列された複数の画素を備える撮像素子と、前記撮像素子に光学像を結像するための光学系と、上記の画像処理装置とを有し、前記画像処理装置の出力であるノイズ補正画像を画像データとして出力することを特徴とする。

本発明による制御方法は、２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置の制御方法であって、予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出しステップと、前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正ステップと、前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理ステップと、を有することを特徴とする。

本発明による制御プログラムは、２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出しステップと、前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正ステップと、前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理ステップと、を実行させることを特徴とする。

本発明によれば、ノイズ信号の変動量に応じて第１の画像および第２の画像を補正した後、合成するようにしたので、精度よく横筋ノイズを補正して良好な画質の画像を得ることができる。

本発明の実施の形態による画像処理装置を備える撮像装置で用いられる撮像素子の回路構成の一例を示す図である。 図１に示す画素の回路構成についてその一例を示す図である。 図１に示す撮像素子において各列の画素から画素信号を読み出す際に与えるパルスを示す図であり、（ａ）は１列目の画素の読み出しを示す図、（ｂ）は２列目の画素の読み出しを示す図、（ｃ）は３列目の画素の読み出しを示す図、（ｄ）は４列目の画素の読み出しを示す図である。 図１に示す撮像素子において各列の画素から画素信号を読み出す際の制御を説明するためのタイミングチャートである。 図４で説明した画素読み出しで得られた画素信号における横筋ノイズの検出を説明するための図であり、（ａ）は図１に示す撮像素子に結像した被写体像を示す図、（ｂ）は（ａ）に示す被写体像が結像した際の奇数列の画素信号読み出しと横筋ノイズの検出を示す図、（ｃ）は（ａ）に示す被写体像が結像した際の偶数列の画素信号読み出しと横筋ノイズの検出を示す図である。 図５で説明した手法によって検出された横筋ノイズの補正を説明するための図であり、（ａ）は奇数列の画素信号読み出しと横筋ノイズの検出を示す図、（ｂ）は偶数列の画素信号読み出しと横筋ノイズの検出を示す図、（ｃ）は（ａ）に示す画像において横筋ノイズを補正した後の画像を示す図、（ｄ）は（ｂ）に示す画像において横筋ノイズを補正した後の画像を示す図、（ｅ）は（ｃ）および（ｄ）に示す画像を合成した後の画像を示す図である。 図１に示す撮像素子を備える撮像装置で行われる撮影処理の一例を説明するためのフローチャートチャートである。

以下、本発明の実施の形態による撮像装置で用いられる画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置を備える撮像装置で用いられる撮像素子の回路構成の一例を示す図である。

図示の撮像素子は、例えば、デジタルカメラなどの撮像装置で用いられる。そして、撮像素子には撮影レンズユニット（図示せず）を介して光学像が結像する。撮像素子は画素部１０１を有しており、この画像部１０１は２次元マトリックス状に配列された複数の画素１０２を備えている。そして、画素１０２の各々は入射光に応じた電荷を蓄積する光電変換素子を有し、当該電荷をアナログ電気信号（つまり、画素信号又は画素値）として出力する。

なお、図示の例では、画素部１０１は、水平方向（行方向）に６画素、垂直方向（列方向）に４画素の合計２４画素を有し、ここでは、画素１０２はそれぞれ画素１１〜１６、画素２１〜２６、画素３１〜３６、および画素４１〜４６として示されている。

一行を構成する画素１０２は行選択線１０４を介して水平レジスタ１０３と接続されており、水平レジスタ１０３で選択された行選択線１０４に接続された６画素１０２が同時に選択される。以下の説明では、ここでは、１〜４行目の行選択線１０４をそれぞれＰｖ１〜４とする。

ここで、行選択線１０４がハイ（Ｈ）レベルであると、行選択線１０４がＨレベルである行が選択されて、画素１０２からアナログ電気信号が垂直出力線１０５に出力される。そして、行選択線１０４がロー（Ｌ）レベルとなると、行の選択が解除されて、画素１０２と垂直出力線１０５との接続は切断される。

このようにして、行選択線のＰｖ１〜４を１行ずつ選択することによって、１〜４行目の画素１０２のアナログ電気信号が順次垂直出力線１０５に出力されることになる。

図示のように、垂直出力線１０５の各々にはＡ／Ｄコンバータ（ＡＤＣ）１０６が接続されており、ＡＤＣ１０６は垂直出力線１０５に出力されたアナログ電気信号をデジタル信号に変換する。なお、画素１０２およびＡＤＣ１０６の動作は、垂直レジスタ１０７によって制御される。

図示のように、水平レジスタ１０３および垂直レジスタ１０７は制御部１２１によって制御されて、上述のようにして画素１０２から画素信号の読み出し制御が行われる。そして、ＡＤＣ１０６の出力であるデジタル信号は画像処理部１２０に与えられる。

画像処理部１２０は制御部１２１の制御下で、後述するようにしてデジタル信号に対して画像処理（例えば、ノイズ補正処理）を行って画像データ（ノイズ補正画像）を出力する。

図２は、図１に示す画素１０２の回路構成についてその一例を示す図である。

画素１０２は光電変換素子であるフォトダイオード（ＰＤ）２０１を有しており、ＰＤ２０１は光が入射すると光電変換によって電荷を発生する。さらに、画素１０２は、転送トランジスタ（転送スイッチ）２０２、フローティングディフュージョン（ＦＤ：電荷蓄積部）２０３、リセットトランジスタ（リセットスイッチ）２０４、行選択トランジスタ２０５、および画素ソースフォロワ（画素ＳＦ）２０６を有している。

ＰＤ２０１とＦＤ２０３との間には転送トランジスタ２０２が配置され、垂直レジスタ１０７から与えられる転送パルスｐＴＸがＬレベルの場合、転送トランジスタ２０２はオフとなってＰＤ２０１とＦＤ２０３との接続が切断される。

一方、転送パルスｐＴＸがＨレベルとなると、転送トランジスタ２０２はオンとなってＰＤ２０１とＦＤ２０３とが接続されて、ＰＤ２０１で発生した電荷がＦＤ２０３に転送される。

リセットトランジスタ２０４はリセット電源とＦＤ２０３との間に配置され、垂直レジスタ１０７から与えられるリセットパルスｐＲＥＳがＬレベルの場合には、リセットトランジスタ２０４はオフとなってリセット電源とＦＤ２０３とは切断状態となる。

一方、リセットパルスｐＲＥＳがＨレベルとなると、リセットトランジスタ２０４はオンとなってリセット電源とＦＤ２０３とが接続される。これによって、ＦＤ２０３はリセット電源と同電位となる（つまり、リセット電位となる）。

さらに、リセットパルスｐＲＥＳがＨレベルの場合に、転送パルスｐＴＸがＨレベルとなると、ＰＤ２０１もリセット電圧と同電位となる。このように、リセットパルスｐＲＥＳをＨレベルとすることによって、ＦＤ２０３などがリセット電圧と同電位になることをリセット動作という。

行選択トランジスタ２０５は画素電源と画素ＳＦ２０６との間に配置され、水平レジスタ１０３から与えられる選択パルスｐＳＥＬがＬレベルの場合、オフとなって画素ＳＦ２０６と画素電源との接続を切断する。

一方、選択パルスｐＳＥＬがＨレベルの場合には、行選択トランジスタ２０５はオンとなって画素ＳＦ２０６と画素電源とを接続する。これによって、画素ＳＦ２０６はＦＤ２０３の電圧を増幅してアナログ電気信号として垂直出力線２０７（図１に示す垂直出力線１０５）に出力する。

垂直出力線２０７には容量２０９が接続されており、容量２０９は垂直出力線２０７に出力されたアナログ電気信号についてＡ／Ｄ変換を行う期間、アナログ電気信号を保持する。

なお、垂直出力線２０７と容量２０９との間には、出力線トランジスタ２０８が配置されており、垂直レジスタ１０７から与えられる出力パルスｐＳＩＧがＬレベルであると、出力線トランジスタ２０８はオフとなって垂直出力線２０７と容量２０９との接続は切断される。一方、出力パルスｐＳＩＧがＨレベルであると、出力線トランジスタ２０８はオンとなって垂直出力線２０７と容量２０９とが接続される。

ここで、図１に示す撮像素子における画素信号の読み出し手法について説明する。図示の例では、奇数列の画素信号を読み出すとともに、偶数列のノイズ信号を読み出す。そして、偶数列の画素信号を読み出すとともに、奇数列のノイズ信号を読み出す。

図３は、図１に示す撮像素子において各列の画素から画素信号を読み出す際に与えるパルスを示す図である。そして、図３（ａ）は１列目の画素の読み出しを示す図であり、図３（ｂ）は２列目の画素の読み出しを示す図である。また、図３（ｃ）は３列目の画素の読み出しを示す図であり、図３（ｄ）は４列目の画素の読み出しを示す図である。

図３に示すように、１列目〜４列目の画素にはそれぞれ転送パルスｐＴＸ１〜ｐＴＸ４、リセットパルスｐＲＥＳ１〜ｐＲＥＳ４、および選択パルスｐＳＥＬ１〜ｐＳＥＬ４が与えられる。

図４は、図１に示す撮像素子において各列の画素から画素信号を読み出す際の制御を説明するためのタイミングチャートである。なお、図示の読み出し制御は、垂直レジスタ１０７の制御下で行われる。

図３および図４を参照して、まず、時刻ｔ０１においてリセットパルスｐＲＥＳ１〜ｐＲＥＳ４がＨレベルとされて、リセットトランジスタ２０４がオンとされ、ＦＤ２０３がリセットされる。続いて、時刻ｔ０２において、リセットパルスｐＲＥＳ１〜ｐＲＥＳ４がＬレベルとされて、リセットトランジスタ２０４がオフとされる。

次に、時刻ｔ０３において、転送パルスｐＴＸ１およびｐＴＸ３がＨレベルとされて、奇数列（１列目および３列目）の画素において転送トランジスタ２０２がオンとされる。これによって、奇数列の画素において電荷がＰＤ２０１からＦＤ２０３に転送される。

時刻ｔ０４において、転送パルスｐＴＸ１およびｐＴＸ３がＬレベルとされて、奇数列の画素において転送トランジスタ２０２がオフとされる。その後、時刻ｔ０５において、選択パルスｐＳＥＬ１〜ｐＳＥＬ４がＨレベルとされて、全ての列における画素の行選択トランジスタ２０５がオンとされる。

時刻ｔ０６において、出力パルスｐＳＩＧ１〜ｐＳＩＧ４がＨレベルとされて、全ての垂直出力線２０７の出力線トランジスタ２０８がオンとされる。これによって、全ての列においてＦＤ２０３に蓄積された電荷が画素ＳＦ２０６で電圧信号（アナログ電気信号）に変換されて垂直出力線２０７に出力される。

その後、時刻ｔ０７および時刻ｔ０８において選択パルスｐＳＥＬ１〜ｐＳＥＬ４および出力パルスｐＳＩＧ１〜ｐＳＩＧ４がそれぞれＬレベルとされて、出力線トランジスタ２０８および行選択トランジスタ２０５がオフとされる。

これによって、奇数列の画素から画素信号（電圧信号）が読み出され、偶数列の画素からノイズ信号が読み出されることになる。

続いて、偶数列の画素から画素信号を読み出し、奇数列の画素からノイズ信号を読み出す動作が行われる。

時刻ｔ０９においてリセットパルスｐＲＥＳ１〜ｐＲＥＳ４がＨレベルとされて、リセットトランジスタ２０４がオンとされ、ＦＤ２０３がリセットされる。続いて、時刻ｔ１０において、リセットパルスｐＲＥＳ１〜ｐＲＥＳ４がＬレベルとされて、リセットトランジスタ２０４がオフとされる。

次に、時刻ｔ１１において、転送パルスｐＴＸ２およびｐＴＸ４がＨレベルとされて、偶数列（２列目および４列目）の画素において転送トランジスタ２０２がオンとされる。これによって、偶数列の画素において電荷がＰＤ２０１からＦＤ２０３に転送される。

時刻ｔ１２において、転送パルスｐＴＸ２およびｐＴＸ４がＬレベルとされて、偶数列の画素において転送トランジスタ２０２がオフとされる。その後、時刻ｔ１３において、選択パルスｐＳＥＬ１〜ｐＳＥＬ４がＨレベルとされて、全ての列における画素の行選択トランジスタ２０５がオンとされる。そして、時刻ｔ１４において、出力パルスｐＳＩＧ１〜ｐＳＩＧ４がＨレベルとされて、全ての垂直出力線２０７の出力線トランジスタ２０８がオンとされる。

これによって、全ての列においてＦＤ２０３に蓄積された電荷が画素ＳＦ２０６で電圧信号（アナログ電気信号）に変換されて垂直出力線２０７に出力される。

その後、時刻ｔ１５および時刻ｔ１６においてそれぞれ選択パルスｐＳＥＬ１〜ｐＳＥＬ４および出力パルスｐＳＩＧ１〜ｐＳＩＧ４がＬレベルとされて、出力線トランジスタ２０８および行選択トランジスタ２０５がオフとされる。

これによって、偶数列の画素から画素信号が読み出され、奇数列の画素からノイズ信号が読み出されることになる。

図５は、図４で説明した画素読み出しで得られた画素信号における横筋ノイズの検出を説明するための図である。そして、図５（ａ）は図１に示す撮像素子に結像した被写体像を示す図であり、図５（ｂ）は図５（ａ）に示す被写体像が結像した際の奇数列の画素信号読み出しと横筋ノイズの検出を示す図である。そして、図５（ｃ）は図５（ａ）に示す被写体像が結像した際の偶数列の画素信号読み出しと横筋ノイズの検出を示す図である。

いま、制御部１２１は、図５（ａ）に示す被写体像４０１を図４で説明した画素読み出し制御によって読み出す。ここでは、まず、制御部１２１は奇数列の画素から画素信号を読み出して、図５（ｂ）に示す画像４０２（第１の画像、つまり、デジタル信号）が画像処理部１２０に送られたものとする（第１の読み出し処理）。

続いて、制御部１２１は偶数列の画素から画素信号を読み出して、図５（ｃ）に示す画像４０５（第２の画像）が画像処理部１２０に送られたものとする（第２の読み出し処理）。

ここで、画像４０２における横筋ノイズの検出について説明する。まず、画像処理部１２０は画像４０２においてノイズ信号から行方向における信号の変動量を求める。ここでは、偶数列の画素から出力されるノイズ信号を並べると、図５（ｂ）に示すノイズ信号４０３が得られる。そして、画像処理部１２０は、ノイズ信号４０３の信号値を行毎に平均して平均値を得て、列方向に沿ってプロットして行毎の信号変動量４０４を得る。

ここで、画像処理部１２０には第１の閾値ｔｈ１および第２の閾値ｔｈ２が設定されており（ｔｈ１＜ｔｈ２）、信号変動量４０４が第１の閾値ｔｈ未満であるか又は第２の閾値ｔｈ２を超えると、画像処理部１２０はその行に横筋ノイズが発生したもの判定する。

同様にして、奇数列の画素から出力されるノイズ信号を並べると、図５（ｃ）に示すノイズ信号４０６が得られる。そして、画像処理部１２０はノイズ信号４０６の信号値を行毎に平均して平均値を得て、列方向に沿ってプロットして、行毎の信号変動量４０７を得る。ここで、信号変動量４０７が第１の閾値ｔｈ未満であるか又は第２の閾値ｔｈ２を超えると、画像処理部１２０はその行に横筋ノイズが発生したものする。

続いて、上述のようにして検出された横筋ノイズの補正について説明する。

図６は、図５で説明した手法によって検出された横筋ノイズの補正を説明するための図である。そして、図６（ａ）は奇数列の画素信号読み出しと横筋ノイズの検出を示す図であり、図６（ｂ）は偶数列の画素信号読み出しと横筋ノイズの検出を示す図である。また、図６（ｃ）は図６（ａ）に示す画像において横筋ノイズを補正した後の画像を示す図であり、図６（ｄ）は図６（ｂ）に示す画像において横筋ノイズを補正した後の画像を示す図である。さらに、図６（ｅ）は図６（ｃ）および図６（ｄ）に示す画像を合成した後の画像を示す図である。

図５に関連して説明したようにして、画像処理部１２０は画像５０１（奇数列の読み出しによって得られた画像）においてノイズ信号から行方向における信号変動量５０２を求める。そして、画像処理部１２０は信号変動量５０２が第１の閾値ｔｈ未満であるか又は第２の閾値ｔｈ２を超えた位置（つまり、画素の位置）の変動量Ａ〜Ｄとして得る。

同様にして、画像処理部１２０は画像５０４（偶数列の読み出しによって得られた画像）においてノイズ信号から行方向における信号変動量５０５を求める。そして、画像処理部１２０は信号変動量５０５が第１の閾値ｔｈ未満であるか又は第２の閾値ｔｈ２を超えた位置（つまり、画素の位置）の変動量Ｅ〜Ｇを得る。なお、信号変動量とは正常な信号値と横筋ノイズの影響を受けた信号値との差分をいう。

続いて、画像処理部１２０は画像５０１における横筋ノイズを補正するため、変動量Ａ〜Ｄを、当該変動量Ａ〜Ｄを得た位置と同一の行の信号値から減算処理して画像５０３（第１の補正画像）を得る。

同様にして、画像処理部１２０は画像５０５における横筋ノイズを補正するため、変動量Ｅ〜Ｇを、当該変動量Ｅ〜Ｇを得た位置と同一の行の信号値から減算処理して画像５０６（第２の補正画像）を得る。

その後、画像処理部１２０は画像５０３および５０６において画素値を画素配列の順に並び変えて、つまり、画像５０３および５０６を合成して横筋ノイズが補正された画像５０７を得る。そして、画像処理部１２０は当該画像５０７（ノイズ補正画像）を画像データとして出力する。

ここで、図１に示す撮像素子を備えるデジタルカメラなどの撮像装置によって被写体を撮影する際の撮影処理について説明する。なお、ここでは、図１に示す画像処理部１２０および制御部１２１は撮像装置に備えられているものとする。

図７は、図１に示す撮像素子を備える撮像装置で行われる撮影処理の一例を説明するためのフローチャートチャートである。なお、図示のフローチャートに係る処理は、制御部１２１の制御下で行われる。

図示はしないが、撮像装置は撮影レンズユニット（つまり、光学系）およびメカニカルシャッタ（メカシャッタ）を備えており、当該撮影レンズユニットには、例えば、ズームレンズおよびフォーカスレンズが備えられている。

撮影が開始されると、制御部１２１はメカシャッタを開いて、露光を開始する（ステップＳ６０１）。これによって、撮影レンズユニットを介して光学像（被写体像）が撮像素子に結像する。

その後、制御部１２１はメカシャッタを閉じて（ステップＳ６０２）、水平レジスタ１０２および垂直レジスタ１０７を制御して信号読み出し（画素読み出し）処理を開始する（ステップＳ６０３）。

前述したように、制御部１２１はまず奇数列の画像の読み出しを行う（ステップＳ６０４）。この読み出しによって、ＡＤＣ１０６から奇数列に係るデジタル信号が画像処理部１２０に与えられる。そして、前述のように、画像処理部１２０は奇数列について横筋ノイズの補正処理を行う（ステップＳ６０５：奇数列補正処理）。

続いて、制御部１２１は偶数列の画像の読み出しを行う（ステップＳ６０６）。この読み出しによって、ＡＤＣ１０６から偶数列に係るデジタル信号が画像処理部１２０に与えられる。そして、画像処理部１２０は偶数列について横筋ノイズの補正処理を行う（ステップＳ６０７：偶数列補正処理）。

ステップＳ６０７の処理の後、画像処理部１２０は、前述したようにして、奇数列および偶数列の画像を合成処理して画像データを出力する。そして、制御部１２１は撮影処理を終了する。

なお、図７に示す撮影処理は撮影の都度行うが、制御部１２１は横筋ノイズが特に目立つ高感度撮影の際（つまり、感度が予め定められた感度以上の撮影の際）に図７に示す撮影処理を行うようにしてもよい。

このように、本発明の実施の形態では、奇数列および偶数列の画素を順次読み出して、当該奇数列および偶数列の画像における横筋ノイズの変動量（つまり、レベル）が所定の閾値範囲から外れると、当該閾値範囲を外れた画素位置に対応する変動量に応じて同一の行の信号値（画素値）を補正した後、奇数列および偶数列の画像を合成する。これによって、精度よく横筋ノイズを検出して補正を行うことができる結果、特に高感度撮影の際においても良好な画質の画像を得ることができる。

上述の説明から明らかなように、図１に示す例では、制御部１２１が読み出し手段および制御手段として機能し、画像処理部１２０が補正手段および合成手段として機能する。また、図１に示す例では、制御部１２１および画像処理部１２０が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも読み出しステップ、補正ステップ、および合成処理ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 画素部
１０２ 画素
１０３ 水平レジスタ
１０５ 垂直出力線
１０６ Ａ／Ｄコンバータ（ＡＤＣ）
１０７ 垂直レジスタ
１２０ 画像処理部
１２１ 制御部

Claims (8)

1. ２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置であって、
   予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出し手段と、
   前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正手段と、
   前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記第１の画像および前記第２の画像の各々において前記ノイズ信号の変動量が予め定められた閾値範囲を外れた際に横筋ノイズが生じたと判定して、前記閾値範囲を外れた変動量を得た画素の位置と同一の行における画素信号から前記変動量を減算処理して、前記第１の補正画像および前記第２の補正画像を得ることを特徴とする請求項１に記載の画像処理装置。
3. 前記予め定められた列は奇数列であり、前記他の列は偶数列であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画素の各々は、光に応じた電荷を発生する光電変換素子と、前記光電変換素子から前記電荷蓄積部に前記電荷を転送する転送スイッチと、前記電荷蓄積部をリセット電位とするリセットスイッチと、前記光電変換素子で発生した電荷を蓄積する電荷蓄積部と、前記電荷蓄積部に蓄積された電荷を電圧信号として出力する出力手段とを有し、
   前記読み出し手段は、前記予め定められた列の画素において前記転送スイッチをオンとした後、全ての列の画素において前記出力手段をオンとして前記第１の画像を得る第１の読み出し処理と、前記リセットスイッチによって前記電荷蓄積部をリセット電位とし、前記他の列の画素において前記転送スイッチをオンとした後、全ての列の画素について前記出力手段をオンとして前記第２の画像を得る第２の読み出し処理を行うことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. ２次元マトリックス状に配列された複数の画素を備える撮像素子と、
   前記撮像素子に光学像を結像するための光学系と、
   請求項１〜４のいずれか１項に記載の画像処理装置とを有し、
   前記画像処理装置の出力であるノイズ補正画像を画像データとして出力することを特徴とする撮像装置。
6. 予め定められた感度以上の高感度である場合に、前記読み出し手段を制御して前記第１の画像および前記第２の画像を得る制御手段を有することを特徴とする請求項５に記載の撮像装置。
7. ２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置の制御方法であって、
   予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出しステップと、
   前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正ステップと、
   前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理ステップと、
   を有することを特徴とする制御方法。
8. ２次元マトリックス状に配列された複数の画素を備える撮像素子から読み出された画像についてノイズ補正処理を行ってノイズ補正画像を得る画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   予め定められた列において前記画素から画素信号を読み出すとともに、前記予め定められた列を除く他の列において前記画素からノイズ信号を読み出して第１の画像を得て、さらに、前記予め定められた列において前記画素からノイズ信号を読み出すとともに、前記列を除く他の列において前記画素から画素信号を読み出して第２の画像を得る読み出しステップと、
   前記第１の画像におけるノイズ信号の変動量に応じて前記第１の画像を補正して第１の補正画像を得るとともに、前記第２の画像におけるノイズ信号の変動量に応じて前記第２の画像を補正して第２の補正画像を得る補正ステップと、
   前記第１の補正画像および前記第２の補正画像を合成して前記ノイズ補正画像とする合成処理ステップと、
   を実行させることを特徴とする制御プログラム。

Images