JP2023144442A - 画像処理装置 - Google Patents

Abstract

【課題】ノイズリダクション効果を向上させる。【解決手段】画像処理装置は、画素の階調値を第１のビット数で表す入力画像信号から、大きい階調値を示す上位ビットの情報を除外することにより、前記第１のビット数より小さな第２のビット数の画像信号に変換し、変換後の前記画像信号と、当該画像信号よりも過去の前記画像信号との差分信号を生成し、少なくとも変換後の前記画像信号に基づいて巡回係数を算出し、前記差分信号と、前記巡回係数とを前記入力画像信号に作用させることにより、前記入力画像信号のノイズを低減する。【選択図】図１

Description

本発明は、画像処理装置に関する。

従来、フレームメモリを使用した巡回型ノイズリダクション（3-Dimention Noise Reduction;3DNR）方式が提案されている（例えば、特許文献１を参照。）。

特許６７１４０７８号公報

しかしながら、このような従来の３ＤＮＲ方式であると、解像度を低下させずにノイズリダクション効果を得ようとすると十分なノイズリダクション効果を得られない場合がある、という課題があった。

本発明は、このような状況に鑑みてなされたものであって、ノイズリダクション効果を向上させることができる画像処理装置を提供することを目的とする。

本発明の一態様は、画素の階調値を第１のビット数で表す入力画像信号から、大きい階調値を示す上位ビットの情報を除外することにより、前記第１のビット数より小さな第２のビット数の画像信号に変換し、変換後の前記画像信号と、当該画像信号よりも過去の前記画像信号との差分信号を生成し、少なくとも変換後の前記画像信号に基づいて巡回係数を算出し、前記差分信号と、前記巡回係数とを前記入力画像信号に作用させることにより、前記入力画像信号のノイズを低減する画像処理装置である。

また、本発明の一態様は、画素の階調値を第１のビット数で表す入力画像信号を取得する画像信号取得部と、前記入力画像信号の前記第１のビット数より小さな第２のビット数に変換するリミッタ部と、前記リミッタ部による変換後の画像信号を記憶して、画像信号を遅延させるメモリ部と、前記メモリ部に記憶された画像信号である第１画像信号と、前記リミッタ部が出力する遅延前の画像信号である第２画像信号と、の差分信号を生成するノイズ抽出部と、前記リミッタ部の出力に基づいて巡回係数を算出する巡回係数算出部と、前記ノイズ抽出部が生成する前記差分信号に前記巡回係数を乗算し、前記入力画像信号から減算して出力画像信号を生成する出力画像生成部と、を備え、前記リミッタ部は、前記入力画像信号の画素値が前記第２のビット数で表現できる最大値より大きい場合は、前記第２のビット数で表現できる最大値を変換後の画像信号として出力し、前記入力画像信号が前記第２のビット数で表現できる最大値以下の場合は、前記入力画像信号の最下位ビット側から数えて前記第２のビット数分を変換後の画像信号として出力する画像処理装置である。

また、本発明の一態様に係る画像処理装置において、前記リミッタ部は、前記入力画像信号の最下位ビットから所定のビット数を除いた信号を変換対象の画像信号とする。

また、本発明の一態様に係る画像処理装置において、前記リミッタ部は、前記メモリ部に記憶させる画像信号を出力する第１リミッタ部と、前記第２画像信号を出力する第２リミッタ部と、を備え、前記巡回係数算出部は、少なくとも前記第２リミッタ部の出力に基づいて巡回係数を算出する。

また、本発明の一態様に係る画像処理装置において、前記メモリ部に記憶された前記第１画像信号の輝度を示す第１輝度情報と、遅延前の前記入力画像信号の輝度を示す第２輝度情報と、に基づいて前記入力画像信号の動き検出を行う動き検出部と、前記動き検出部の動き検出結果に基づいて、前記メモリ部に記憶された前記第１画像信号の動き補正を行う動き補正部と、をさらに備え、前記ノイズ抽出部は、前記動き補正部による動き補正結果にさらに基づいて、前記差分信号を生成する。

本発明によれば、ノイズリダクション効果を向上させることができる。

本実施形態の画像処理装置の機能構成の一例を示す図である。 本実施形態の撮像素子の画素配列の一例を示す図である。 本実施形態のノイズ低減部の機能構成の一例を示す図である。 本実施形態のリミッタ部による階調ビット幅の変換の一例を示す図である。 本実施形態のリミッタ部による階調ビット幅の変換の他の一例を示す図である。 本実施形態のノイズ低減部の動作の流れの一例を示す図である。 第２実施形態のノイズ低減部の機能構成の一例を示す図である。 本実施形態の輝度信号生成部による輝度算出結果の一例を示す図である。 本実施形態の動き検出部が算出する動きベクトルの一例を示す図である。 式（５）の場合の振幅変換結果の一例を示す。 式（６）の場合の振幅変換結果の一例を示す。 従来の画像処理装置の構成の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。

［実施形態１］
図１は、本実施形態の画像処理装置１の機能構成の一例を示す図である。画像処理装置１は、カメラ信号処理部１０と、ＲＡＷデータ生成部２０と、ビデオ信号処理部３０とを備える。カメラ信号処理部１０、ＲＡＷデータ生成部２０及びビデオ信号処理部３０は、一例として、ドライブレコーダーが備えるカメラやコンピュータ装置として実装される。

ＲＡＷデータ生成部２０は、カメラの撮像素子において光電変換されたアナログ信号を、所定のビット数によってデジタル階調化して、デジタル画像信号として出力する。

図２は、本実施形態の撮像素子の画素配列の一例を示す図である。本実施形態のＲＡＷデータ生成部２０は、ＲＧＢの各画素がいわゆるBayerパターンによって配列されている。ＲＡＷデータ生成部２０は、これら各画素に対応する画像信号に対して圧縮や階調値の変更などの画像処理を施さずに、ＲＡＷデータとしてカメラ信号処理部１０に出力する。

図１に戻り、カメラ信号処理部１０は、ＲＡＷデータ生成部２０が生成したデジタル画像信号（つまり、ＲＡＷデータ）を取得する。

カメラ信号処理部１０は、ＨＤＲ合成部１１０と、ノイズ低減部１２０と、補正部１３０と、輝度色差変換部１４０とを、その機能部として備える。また、カメラ信号処理部１０は、半導体記憶装置などによって画像信号を一時記憶するフレームメモリ３００を備える。

ＨＤＲ合成部１１０は、ＨＤＲ（High Dynamic Range）回路を備えており、ＲＡＷデータ生成部２０が生成したＲＡＷデータに対して、ＨＤＲ合成を行う。
このＨＤＲ合成後の画像信号は、γ（ガンマ）補正前の画像信号であり、階調ビット幅が比較的大きい。ＨＤＲ合成後の画像信号は、画素ごとに、例えば２４ビットの階調ビット幅を有する。具体的には、ＨＤＲ合成後の画像信号は、撮像素子が上述したBayer配列である場合、ＨＤＲ合成後の画像信号は、赤（Ｒ）画素、第１の緑（Ｇ１）画素、第２の緑（Ｇ２）画素、青（Ｂ）画素のそれぞれの画素について、２４ビットの階調ビット幅を有する。
なお、以下の説明において、ＨＤＲ合成部１１０が生成する、第１のビット数の階調ビット幅を有するデジタル画像信号を、第１のビット幅の画像信号、あるいは入力画像信号ともいう。
ＨＤＲ合成部１１０は、ＨＤＲ合成後の画像信号を、ノイズ低減部１２０に出力する。

なお、画像処理装置１は、必ずしもＨＤＲ合成部１１０を備えていなくてもよい。この場合、ノイズ低減部１２０には、ＲＡＷデータ生成部２０が生成したＲＡＷデータが供給されるように構成されていてもよい。この場合、ＲＡＷデータ生成部２０が生成したＲＡＷデータが第１のビット幅の画像信号、あるいは入力画像信号となる。

カメラ信号処理部１０がＨＤＲ合成部１１０を備えている場合には、ノイズ低減部１２０は、ＨＤＲ合成部１１０から入力画像信号を取得する。また、カメラ信号処理部１０がＨＤＲ合成部１１０を備えていない場合には、ノイズ低減部１２０は、ＲＡＷデータ生成部２０から入力画像信号（この場合、ＲＡＷデータ）を取得する。
いずれの場合にも、ノイズ低減部１２０は、画素の階調値を第１のビット数で表す入力画像信号を取得する画像信号取得部として機能する。
以下の説明においては、カメラ信号処理部１０がＨＤＲ合成部１１０を備えており、ＨＤＲ合成部１１０が出力する画像信号が、入力画像信号であるものとして説明する。

ノイズ低減部１２０は、入力画像信号（本実施形態の一例では、ＨＤＲ合成後の画像信号）に含まれるノイズ成分を低減する。このノイズ低減部１２０の機能構成の具体例について、図３を参照して説明する。

図３は、本実施形態のノイズ低減部１２０の機能構成の一例を示す図である。ノイズ低減部１２０は、リミッタ部２１０と、ノイズ抽出部２２０と、巡回係数算出部２３０と、出力画像生成部２４０とを、その機能部として備える。

リミッタ部２１０は、入力画像信号の第１のビット数より小さな第２のビット数に変換する。本実施形態の一例では、入力画像信号の階調ビット幅（つまり、第１のビット数）は、２４ビットである。また、本実施形態の一例では、第２のビット数は、１６ビットである。この一例において、リミッタ部２１０は、２４ビットの階調ビット幅を有する入力画像信号を、１６ビットの階調ビット幅を有する画像信号に変換する。
なお、以下の説明において、リミッタ部２１０によって階調ビット幅が変換された後の画像信号を、変換後画像信号ともいう。また、リミッタ部２１０が入力画像信号を変換後画像信号に変換することを、変換後画像信号を生成する、ともいう。

リミッタ部２１０は、入力画像信号の画素値が、第２のビット数で表現できる範囲にあるか否かに基づいて、変換後画像信号を生成する。

図４は、本実施形態のリミッタ部２１０による階調ビット幅の変換の一例を示す図である。四角の一つが１つのビットを表し、一番上のビットが最上位ビットを表し、一番下のビットが最下位ビットを表す。本実施形態の一例では、第１のビット数（つまり、入力画像信号の階調ビット幅）が２４ビットであり、第２のビット数（つまり、変換後画像信号の階調ビット幅）が１６ビットである。この場合、入力画像信号の画素値は、０ｘ００００００～０ｘｆｆｆｆｆｆの範囲で階調表現される（０ｘは１６進数表示を示す。）。また、変換後画像の画素値は、０ｘ００００～０ｘｆｆｆｆの範囲で階調表現される。この一例では、入力画像信号の画素値が、０ｘｆｆｆｆを超える場合（つまり、０ｘ０１００００以上の場合）には、第２のビット数では表現できない。すなわち、入力画像信号の画素値が第２のビット数で表現できる最大値より大きい場合には、第２のビット数では表現できない。

リミッタ部２１０は、入力画像信号の画素値が第２のビット数で表現できる最大値より大きい場合は、第２のビット数で表現できる最大値を変換後の画像信号として出力する。上述した一例の場合、リミッタ部２１０は、入力画像信号の画素値が０ｘ０１００００～０ｘｆｆｆｆｆｆの範囲にある場合には、入力画像信号の画素値が第２のビット数で表現できる最大値より大きいと判定し、変換後画像信号の画素値を、第２のビット数で表現できる最大値である０ｘｆｆｆｆにして、変換後画像信号を生成する。

また、リミッタ部２１０は、入力画像信号が第２のビット数で表現できる最大値以下の場合は、入力画像信号の最下位ビット側から数えて第２のビット数分を変換後の画像信号として出力する。上述した一例の場合、リミッタ部２１０は、入力画像信号の画素値が０ｘ００００００～０ｘ００ｆｆｆｆの範囲にある場合には、入力画像信号の画素値が第２のビット数で表現できる最大値以下であると判定し、変換後画像信号の画素値を、第２のビット数で表現できる値にして、変換後画像信号を生成する。

なお、上述した一例では、リミッタ部２１０は、入力画像信号の画素値が０ｘ００００００～０ｘ００ｆｆｆｆの範囲にある場合に、入力画像信号の上位８ビットの範囲の情報を除外して、入力画像信号の下位１６ビットの範囲を変換後画像信号に変換するとして説明したが、これに限られない。

図５は、本実施形態のリミッタ部２１０による階調ビット幅の変換の他の一例を示す図である。例えば、リミッタ部２１０は、入力画像信号の画素値が０ｘ０００００ｆ～０ｘ０ｆｆｆｆｆの範囲にある場合に、入力画像信号の上位４ビット及び下位４ビットの範囲の情報を除外して、入力画像信号の下位５ビット～２０ビットの範囲を変換後画像信号に変換してもよい。

すなわち、リミッタ部２１０は、入力画像信号の最下位ビットから所定のビット数（上述の一例では、４ビット）を除いた信号を変換対象の画像信号とする。
すなわち、リミッタ部２１０は、必ずしも入力画像信号の最下位ビットから第２のビット数分を変換後画像信号として出力するものに限られず、入力画像信号の最下位ビット側から数えて第２のビット数分を変換後画像信号として出力すればよい。

図３に戻り、リミッタ部２１０は、変換後画像信号を、ノイズ抽出部２２０、巡回係数算出部２３０及びフレームメモリ３００にそれぞれ出力する。

フレームメモリ３００（メモリ部）は、リミッタ部２１０による変換後の画像信号を記憶して、画像信号を遅延させる。
以下の説明において、リミッタ部２１０から出力された画像信号のうち、フレームメモリ３００に記憶されて遅延した画像信号を、第１信号（あるいは、遅延画像信号）ともいう。また、リミッタ部２１０から出力された画像信号のうち、フレームメモリ３００に記憶されていない、遅延前の画像信号を、第２信号ともいう。

なお、リミッタ部２１０は、第１リミッタ部２１１と、第２リミッタ部２１２とを備える構成であってもよい。この場合、第１リミッタ部２１１は、フレームメモリ３００（メモリ部）に記憶させる画像信号を出力する。第２リミッタ部２１２は、ノイズ抽出部２２０及び巡回係数算出部２３０に変換後画像信号（第２画像信号）を出力する。

また、リミッタ部２１０は、画像の境界付近での影響を低減するために、ソフトリミッタとして構成されていてもよい。

ノイズ抽出部２２０は、フレームメモリ３００（メモリ部）に記憶された画像信号である第１画像信号と、リミッタ部２１０が出力する遅延前の画像信号である第２画像信号と、の差分信号を生成する。
巡回係数算出部２３０は、リミッタ部２１０の出力に基づいて巡回係数を算出する。巡回係数とは、ノイズ成分に乗算して入力画像信号から減算することによりノイズ成分を低減するものであり、ノイズ低減の強さを表す。上述した構成においては、巡回係数算出部２３０は、少なくとも第２リミッタ部２１２の出力に基づいて巡回係数を算出する。
出力画像生成部２４０は、ノイズ抽出部２２０が生成する差分信号に巡回係数を乗算し、入力画像信号から減算して出力画像信号を生成する。出力画像生成部２４０は、生成した出力画像信号を、補正部１３０に出力する。

図１に戻り、補正部１３０は、ノイズ低減部１２０から出力された出力画像信号に対して、ホワイトバランスやγ補正などの各種補正を行う。補正部１３０は、補正後の出力画像信号を輝度色差変換部１４０に出力する。

輝度色差変換部１４０は、補正部１３０による補正後の出力画像信号に対して、輝度（Ｙ）－色差変換を行う。輝度色差変換部１４０は、輝度（Ｙ）－色差変換後の出力画像信号を、ビデオ信号処理部３０に出力する。

ビデオ信号処理部３０は、映像出力部３１０を備えており、カメラ信号処理部１０が出力した出力画像信号（つまり、輝度色差変換部１４０による輝度（Ｙ）－色差変換後の出力画像信号）を、液晶ディスプレイや画像記憶装置に出力する。

すなわち、画像処理装置１は、画素の階調値を第１のビット数で表す入力画像信号から、大きい階調値を示す上位ビットの情報を除外することにより、第１のビット数より小さな第２のビット数の画像信号に変換する。
画像処理装置１は、変換後の画像信号と、当該画像信号よりも過去の画像信号との差分信号を生成する。
画像処理装置１は、少なくとも変換後の画像信号に基づいて巡回係数を算出し、差分信号と、巡回係数とを入力画像信号に作用させることにより、入力画像信号のノイズを低減する。

［画像処理装置１の動作］
図６は、本実施形態のノイズ低減部１２０の動作の流れの一例を示す図である。
（ステップＳ１００）ノイズ低減部１２０は、入力画像信号を取得する。上述したように、入力画像信号は、第１のビット数（例えば、２４ビット）の階調ビット幅を有している。
（ステップＳ１１０）リミッタ部２１０は、入力画像信号の画素値が、第２のビット数（例えば、１６ビット）で表現できる範囲にあるか否かを判定する。リミッタ部２１０は、入力画像信号の画素値が、第２のビット数で表現できる範囲にないと判定した場合（ステップＳ１１０；ＮＯ）には、処理をステップＳ１２０に進める。リミッタ部２１０は、入力画像信号の画素値が、第２のビット数で表現できる範囲にあると判定した場合（ステップＳ１１０；ＹＥＳ）には、処理をステップＳ１３０に進める。
（ステップＳ１２０）入力画像信号の画素値が、第２のビット数で表現できる範囲にない場合、リミッタ部２１０は、入力画像信号の画素値を、第２ビット数で表現可能な最大値（例えば、０ｘｆｆｆｆ）に変換する。
（ステップＳ１３０）入力画像信号の画素値が、第２のビット数で表現できる範囲にある場合、リミッタ部２１０は、入力画像信号の画素値を第２のビット数の範囲内（例えば、０ｘ００００～０ｘｆｆｆｆ）で変換する。
（ステップＳ１４０）ノイズ抽出部２２０は、フレームメモリ３００に記憶された画像信号である第１画像信号と、リミッタ部２１０が出力する遅延前の画像信号である第２画像信号と、の差分信号を生成する。
（ステップＳ１５０）巡回係数算出部２３０は、リミッタ部２１０の出力に基づいて巡回係数を算出する。
（ステップＳ１６０）出力画像生成部２４０は、ノイズ抽出部２２０が生成する差分信号に巡回係数を乗算し、入力画像信号から減算して出力画像信号を生成する。出力画像生成部２４０は、生成した出力画像信号を、補正部１３０に出力する。

［変形例］
なお、ノイズ低減部１２０は、レベル検出部２５０をその機能部として備えていてもよい。
レベル検出部２５０は、ＨＤＲ合成部１１０が出力するＨＤＲ合成後の画像信号の画素値の大きさを検出する。ここで、画素値の大きさは、ＨＤＲ合成後の画像信号の明るさ（あるいは輝度）を示している。例えば、ＨＤＲ合成後の画像信号の画素値が全体的に小さければ、暗所で撮像された画像信号であることを示す。また、ＨＤＲ合成後の画像信号の画素値が全体的に大きければ、明所で撮像された画像信号であることを示す。レベル検出部２５０は、検出した画素値の大きさを、巡回係数算出部２３０に出力する。

巡回係数算出部２３０は、レベル検出部２５０が検出した画素値の大きさに基づいて、巡回係数を算出する。上述した出力画像生成部２４０が生成する出力画像のノイズリダクション効果の大きさは、巡回係数の大きさに依存する。巡回係数が大きい場合、ノイズリダクション効果がより大きくなり、巡回係数が小さい場合、ノイズリダクション効果がより小さくなる。

巡回係数算出部２３０は、レベル検出部２５０が検出した画素値が全体的に小さい場合（つまり、画像が暗い場合）には、巡回係数を大きくして算出する。また、巡回係数算出部２３０は、レベル検出部２５０が検出した画素値が全体的に大きい場合（つまり、画像が明るい場合）には、巡回係数を小さくして算出する。

このように構成されたノイズ低減部１２０によれば、画像の明るさによってノイズリダクションの効果の強弱を制御することができ、例えば、暗所で撮像された画像に対して、ノイズリダクション効果をより大きくすることができる。
また、このように構成されたノイズ低減部１２０によれば、巡回係数を小さくした場合には、ノイズリダクションの効果が小さくなるため、ノイズリダクションの対象画素と、ノイズリダクションの対象ではない画素との間の境界を目立たなくすることができる。

なお、巡回係数算出部２３０は、あらかじめ定められた複数段階（例えば、８段階）の巡回係数のうちから選択するように構成されていてもよい。
また、レベル検出部２５０が検出する画像信号のレベルが、第２信号のビット幅を超える場合（例えば、入力画像信号の画素値が０ｘ０１００００～０ｘｆｆｆｆｆｆの範囲にある場合）がある。この場合、巡回係数算出部２３０は、当該画素についての巡回係数を０（ゼロ）として算出することもできる。巡回係数が０（ゼロ）の場合には、当該画素についてノイズリダクションの効果がない、つまり、当該画素はノイズリダクションされない。

また、レベル検出部２５０は、赤（Ｒ）画素、第１の緑（Ｇ１）画素、第２の緑（Ｇ２）画素、青（Ｂ）画素のそれぞれの画素についての画素値（信号レベル）を検出してもよいし、これらの画素値から求められる輝度値に基づいて信号レベルを検出してもよい。巡回係数算出部２３０は、赤（Ｒ）画素、第１の緑（Ｇ１）画素、第２の緑（Ｇ２）画素、青（Ｂ）画素のそれぞれの画素についての画素値に基づいて、それぞれの画素について巡回係数を算出してもよい。

［従来の画像処理装置の構成との比較］
ここで、本実施形態の画像処理装置１の構成と、従来の画像処理装置の構成とを比較して、本実施形態の画像処理装置１による効果について説明する。
図１２は、従来の画像処理装置９の構成の一例を示す図である。画像処理装置９は、カメラ信号処理部９１とビデオ信号処理部９３とを備える。カメラ信号処理部９１は、本実施形態のカメラ信号処理部１０に、ビデオ信号処理部９３は、本実施形態のビデオ信号処理部３０にそれぞれ対応するが、ノイズ低減部９２０を、カメラ信号処理部９１ではなくビデオ信号処理部９３が備える点で、本実施形態の画像処理装置１と異なる。

すなわち、カメラ信号処理部９１は、ＨＤＲ合成部９１０と、ノイズ低減部９２０と、補正部９３０とを備える。ビデオ信号処理部９３は、ノイズ低減部９２０と、映像出力部３１０とを備える。
この従来の画像処理装置９では、撮像素子からのＲＡＷデータ（あるいはＨＲＤ合成後のＲＡＷデータ）を、補正部９３０が画像信号を補正し、変換部９４０が階調ビット幅を第２のビット数（例えば、１６ビット）に変換したのちに、ノイズ低減部９２０がノイズリダクション処理を行う。補正部９３０は、ホワイトバランスなどのオート系処理、傷補正などの各種補正処理、Ｙ／色差信号変換処理などを行う。この際に、補正部９３０は、低照度の画像信号に対してγ補正を行うことがあるが、このγ補正によってノイズ成分のゲインも上昇する。
ノイズ低減部９２０は、補正部９３０による補正によってゲインが上昇した結果、多くのノイズ成分が含まれる画像信号に対して、ノイズリダクションを行う。したがって、従来の画像処理装置９によると、十分なノイズリダクション性能を得ることが難しい。

また、従来の画像処理装置９において十分なノイズリダクション性能を得るために、補正部９３０による補正前のＲＡＷデータに対してノイズリダクションを行うことも考えられる。しかし、このように構成した場合には、補正部９３０は、第１のビット数（例えば、２４ビット）の画像信号を処理することになり、第２のビット数（例えば、１６ビット）の画像信号を処理する場合に比べて、回路規模、消費電力及びフレームメモリのメモリサイズが大きくなるという問題が生じる。

また、従来の画像処理装置９において、フレームメモリのメモリサイズを抑制しつつ、ノイズリダクション性能を得るために、画像を縮小しノイズリダクションを行い、もとの画像サイズに拡大する方法も考えられる。しかし、このように構成した場合には、解像度を低下させずにノイズリダクション効果を得ることが難しくなるという問題が生じる。また、縮小、拡大回路の追加により回路規模や消費電力が増大するという問題も生じる。

一方、本実施形態の画像処理装置１によれば、リミッタ部２１０が階調ビット幅を低減させた画像信号に基づいてノイズ抽出及び巡回係数を算出することにより、回路規模、消費電力及びフレームメモリのメモリサイズを低減することができる。
また、本実施形態の画像処理装置１によれば、ノイズ抽出結果と巡回係数の算出結果を用いて、出力画像生成部２４０がＲＡＷデータ（あるいはＨＲＤ合成後のＲＡＷデータ）に対してノイズ低減処理を行うことにより、画像信号をＲＡＷデータの階調ビット幅と画像サイズに維持したまま（つまり、高解像度のまま）、ノイズ低減することができる。
さらに、本実施形態の画像処理装置１は、ノイズ低減部１２０によってノイズ低減がされたのちの画像信号に対して、補正部１３０がγ補正を行う。このように構成された画像処理装置１によれば、γ補正によるノイズ成分の増幅効果を低減することができ、低照度の領域においてもノイズ除去効果を向上させることができる。
つまり、本実施形態の画像処理装置１によれば、回路規模、消費電力及びフレームメモリのメモリサイズを抑制と、画像信号の解像度の維持とを両立しつつ、画像信号のノイズ除去効果を向上させることができる。

［第２実施形態］
図７は、第２実施形態のノイズ低減部１２０ａの機能構成の一例を示す図である。ノイズ低減部１２０ａは、上述したノイズ低減部１２０が備える各部に加えて、輝度信号生成部２６０、遅延輝度信号生成部２７０、動き検出部２８０及び動き補正部２９０を備える点で異なる。
なお、第１実施形態と同一の構成については同一の符号を付して、その説明を省略する。

ここで、第１信号（遅延画像信号）と、第２信号（遅延前の画像信号）との差分の信号、すなわちフレーム差分信号には、ノイズ成分とともに、フレーム間の動き成分が含まれている。フレーム間の動き成分を含むフレーム差分信号がノイズ抽出部２２０ａに入力されると、ノイズ抽出部２２０ａは、フレーム間の動き成分をノイズとして抽出することがあり、この場合には、残像や動きぼけなどが生じてしまうことがある。
そこで、本実施形態のノイズ低減部１２０ａは、フレーム差分信号に含まれる動き成分を検出し、検出した結果から動き補正を行うことで、ノイズ抽出部２２０ａによるノイズ抽出性能を向上させ、残像や動きぼけなどを低減させる。
以下、本実施形態のノイズ低減部１２０ａの具体的な機能構成について説明する。

輝度信号生成部２６０は、ＨＤＲ合成部１１０から出力される入力画像信号の画素値を輝度値に変換する。ＲＡＷデータである入力画像信号は、図２に示したようなBayer配列の赤（Ｒ）画素、第１の緑（Ｇ１）画素、第２の緑（Ｇ２）画素、青（Ｂ）画素の画素値を含む。輝度信号生成部２６０は、これら赤（Ｒ）画素、第１の緑（Ｇ１）画素、第２の緑（Ｇ２）画素、青（Ｂ）画素のそれぞれの画素値から、式（１）または式（２）に基づいて、輝度値を算出する。

図８は、本実施形態の輝度信号生成部２６０による輝度算出結果の一例を示す図である。
なお、ＲＧＢそれぞれの係数はそれに制限されるものではなく、例えばＢの係数を０にしたり、Ｇの係数を大きくしたりしてもよい。
また、輝度信号生成部２６０は、輝度値の算出対象の画素について、周囲の画素の画素値を用いて画素値を補間演算してから、上述の輝度値の算出をしてもよい。

例えば、緑（Ｇ１２）の画素では、
・赤（Ｒ１２）＝（赤（Ｒ２２）＋赤（Ｒ０２））／２
・青（Ｂ１２）＝（青（Ｂ１３）＋青（Ｂ１１））／２
として求める。
青（Ｂ１１）の画素では、
・赤（Ｒ１１）＝（赤（Ｒ００）＋赤（Ｒ０２）＋赤（Ｒ２０）＋赤（Ｒ２２））／４
・緑（Ｇ１１）＝（緑（Ｇ０１）＋緑（Ｇ２１）＋緑（Ｇ１０）＋緑（Ｇ１２））／４
として求める。このとき、各色成分の係数は１ではなく重みづけを行ってもよい。

遅延輝度信号生成部２７０は、フレームメモリ３００（メモリ部）に記憶された第１画像信号について、輝度信号生成部２６０と同様にして、輝度値を算出する。

動き検出部２８０は、フレームメモリ３００（メモリ部）に記憶された第１画像信号の輝度を示す第１輝度情報と、遅延前の入力画像信号の輝度を示す第２輝度情報と、に基づいて入力画像信号の動き検出を行う。具体的には、動き検出部２８０は、第１輝度情報と、第２輝度情報とに基づいてフレーム間差分を求めることにより、動きベクトルを算出する。

図９は、本実施形態の動き検出部２８０が算出する動きベクトルの一例を示す図である。
動き検出部２８０は、図８に示したＹ１２を注目画素とすると、
・水平勾配：ｄｘｉ＝輝度（Ｙ１３）－輝度（Ｙ１１）
・垂直勾配：ｄｙｉ＝輝度（Ｙ２２）－輝度（Ｙ０２）
・フレーム差分：ｄｆｉ＝２＊（輝度（Ｙ１２）－輝度（Ｙ１２＿１ｆ））
（ただし、輝度（Ｙ１２＿１ｆ）は輝度（Ｙ１２）の１フレーム遅延信号）
として、動きベクトルを算出する。図９に示す一例では、動き検出部２８０は、動きベクトル（－６，２）を算出する。
なお、動き検出部２８０が算出した動きベクトルを、動き検出結果ともいう。

図７に戻り、動き検出部２８０の動き検出結果に基づいて、フレームメモリ３００（メモリ部）に記憶された第１画像信号の動き補正を行う。動き補正部２９０が動きを補正した第１画像信号を、動き補正結果ともいう。
ノイズ抽出部２２０ａは、動き補正部２９０による動き補正結果にさらに基づいて、差分信号を生成する。

ここで、輝度信号を生成することなく、ＲＡＷデータをそのまま用いて、例えば、水平方向（ｘ軸方向）の動きについて式（３）、垂直方向（ｙ軸方向）の動きについて式（４）にそれぞれ示すような勾配法によって、動きベクトル（ａ，ｂ）を検出することも考えられる。

動き検出部は、例えば、図２に示した緑（Ｇ１２）を注目画素とすると、
・水平勾配：ｄｘｉ＝青（Ｂ１３）－青（Ｂ１１）
・垂直勾配：ｄｙｉ＝赤（Ｒ２２）－赤（Ｒ０２）
・フレーム差分：ｄｆｉ＝２＊（緑（Ｇ１２）－緑（Ｇ１２＿１ｆ））
（ただし、緑（Ｇ１２＿１ｆ）は緑（Ｇ１２）の１フレーム遅延信号）
から画素ブロックごと（例えば１６画素×８画素）に動きベクトル（ａ，ｂ）を検出する。

しかしながら、上述の３種類の勾配、差分は互いに信号種（例えば、赤、緑、青）が異なるため、同じ信号種（例えば輝度信号）で動きベクトルを求める場合と比較して、正確な動きベクトルが求められない場合がある。

上述したように、本実施形態のノイズ低減部１２０ａは、入力信号のＲＡＷデータや、出力信号を１フレーム遅延したＲＡＷデータから輝度信号を生成して、その２つの輝度信号から動き検出を行う。
このように構成されたノイズ低減部１２０ａによれば、Ｂａｙｅｒ配列の画素から出力されたＲＡＷデータの画素値をそのまま用いて動き検出をする場合に比べて、精度の高い動き検出を行うことができる。

［変形例］
なお、ノイズ低減部１２０ａは、次のようにしてノイズリダクションを行ってもよい。
ノイズ抽出部２２０ａが出力するノイズ抽出後の信号に対して、振幅変換を行う。

例えば、図２に示す各画素、赤（Ｒ００）、緑（Ｇ０１）、緑（Ｇ１０）、青（Ｂ１１）について、それぞれのノイズ抽出部出力信号をｒ０ｎ、ｇ０ｎ、ｇ１ｎ、ｂ１ｎとする。
・ｇ０ｎとｇ１ｎの平均値：
ａｖｅ（ｇ０ｎ、ｇ１ｎ）＝（ｇ０ｎ＋ｇ１ｎ）／２
・ｒ０ｎとａｖｅ（ｇ０ｎ、ｇ１ｎ）との差：
ｄｉｆ＿ｒｇ＝ｒ０ｎ－ａｖｅ（ｇ０ｎ、ｇ１ｎ）
・ｂ１ｎとａｖｅ（ｇ０ｎ、ｇ１ｎ）との差：
ｄｉｆ＿ｂｇ ＝ ｂ１ｎ－ａｖｅ（ｇ０ｎ、ｇ１ｎ）
・それぞれの絶対値：ａｂｓ（ｄｉｆ＿ｒｇ）、ａｂｓ（ｄｉｆ＿ｂｇ）
・赤（Ｒ００）、青（Ｂ１１）それぞれの閾値をｒ０ｎ＿ｔｈ、ｂ１ｎ＿ｔｈ
とすると、赤（Ｒ００）、青（Ｂ１１）それぞれの振幅変換部出力ｒ０ｎ＿ｌｉｍ、ｂ１ｎ＿ｌｉｍ は、式（５）及び式（６）によって示される。

図１０は、式（５）の（Ｂ）の場合の振幅変換結果の一例を示す。
図１１は、式（５）の（Ｃ）の場合の振幅変換結果の一例を示す。
ノイズ低減部１２０ａは、上述のようにして振幅変換した信号を、出力画像生成部２４０に与えることにより、画像信号のノイズ除去を行ってもよい。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能であり、また、上述した各実施形態を適宜組み合わせてもよい。

なお、上述した実施形態における画像処理装置１の各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１…画像処理装置、１０…カメラ信号処理部、２０…ＲＡＷデータ生成部、１１０…ＨＤＲ合成部、１２０…ノイズ低減部、１３０…補正部、１４０…輝度色差変換部、２１０…リミッタ部、２１１…第１リミッタ部、２１２…第２リミッタ部、２２０…ノイズ抽出部、２３０…巡回係数算出部、２４０…出力画像生成部、２５０…レベル検出部、２６０…輝度信号生成部、２７０…遅延輝度信号生成部、２８０…動き検出部、２９０…動き補正部、３００…フレームメモリ、３１０…映像出力部

Claims (5)

1. 画素の階調値を第１のビット数で表す入力画像信号を取得する画像信号取得部と、
   前記入力画像信号を前記第１のビット数より小さな第２のビット数に変換するリミッタ部と、
   前記リミッタ部による変換後の画像信号を記憶して、画像信号を遅延させるメモリ部と、
   前記メモリ部に記憶された画像信号である第１画像信号と、前記リミッタ部が出力する遅延前の画像信号である第２画像信号と、の差分信号を生成するノイズ抽出部と、
   前記リミッタ部の出力に基づいて巡回係数を算出する巡回係数算出部と、
   前記ノイズ抽出部が生成する前記差分信号に前記巡回係数を乗算し、前記入力画像信号から減算して出力画像信号を生成する出力画像生成部と、
   を備え、
   前記リミッタ部は、
   前記入力画像信号の画素値が前記第２のビット数で表現できる最大値より大きい場合は、前記第２のビット数で表現できる最大値を変換後の画像信号として出力し、
   前記入力画像信号が前記第２のビット数で表現できる最大値以下の場合は、前記入力画像信号の最下位ビット側から数えて前記第２のビット数分を変換後の画像信号として出力する、
   画像処理装置。
2. 前記リミッタ部は、
   前記入力画像信号の最下位ビットから所定のビット数を除いた信号を変換対象の画像信号とする
   請求項１に記載の画像処理装置。
3. 前記リミッタ部は、前記メモリ部に記憶させる画像信号を出力する第１リミッタ部と、前記第２画像信号を出力する第２リミッタ部と、を備え、
   前記巡回係数算出部は、少なくとも前記第２リミッタ部の出力に基づいて巡回係数を算出する
   請求項１または請求項２に記載の画像処理装置。
4. 前記メモリ部に記憶された前記第１画像信号の輝度を示す第１輝度情報と、遅延前の前記入力画像信号の輝度を示す第２輝度情報と、に基づいて前記入力画像信号の動き検出を行う動き検出部と、
   前記動き検出部の動き検出結果に基づいて、前記メモリ部に記憶された前記第１画像信号の動き補正を行う動き補正部と、
   をさらに備え、
   前記ノイズ抽出部は、
   前記動き補正部による動き補正結果にさらに基づいて、前記差分信号を生成する
   請求項１から請求項３のいずれか一項に記載の画像処理装置。
5. 画素の階調値を第１のビット数で表す入力画像信号から、大きい階調値を示す上位ビットの情報を除外することにより、前記第１のビット数より小さな第２のビット数の画像信号に変換し、
   変換後の前記画像信号と、当該画像信号よりも過去の前記画像信号との差分信号を生成し、
   少なくとも変換後の前記画像信号に基づいて巡回係数を算出し、
   前記差分信号と、前記巡回係数とを前記入力画像信号に作用させることにより、前記入力画像信号のノイズを低減する
   画像処理装置。

Images