JP2010171808A - 動画像ノイズ低減処理装置及び画像処理プログラム - Google Patents
動画像ノイズ低減処理装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP2010171808A JP2010171808A JP2009013335A JP2009013335A JP2010171808A JP 2010171808 A JP2010171808 A JP 2010171808A JP 2009013335 A JP2009013335 A JP 2009013335A JP 2009013335 A JP2009013335 A JP 2009013335A JP 2010171808 A JP2010171808 A JP 2010171808A
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- unit
- image signal
- motion amount
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Abstract
【課題】撮像系で撮像された動画像に対応する時系列の画像信号におけるノイズを低減して高品位の画像信号を得ることができる動画像ノイズ低減処理装置及び画像処理プログラムを提供する。
【解決手段】ＣＣＤ１０２で撮像され、Ａ／Ｄ変換器１０４でデジタル化された時系列の画像信号は空間ノイズ低減部１０６で空間ノイズ低減処理されて、第１過去バッファー部１０７に保存されると共に、第１動き検出部１０８により第１の動き量が検出され、この動き量を用いて時間ノイズ低減部１０９は時間方向で画像信号のノイズ低減処理を行う。
【選択図】図１
【解決手段】ＣＣＤ１０２で撮像され、Ａ／Ｄ変換器１０４でデジタル化された時系列の画像信号は空間ノイズ低減部１０６で空間ノイズ低減処理されて、第１過去バッファー部１０７に保存されると共に、第１動き検出部１０８により第１の動き量が検出され、この動き量を用いて時間ノイズ低減部１０９は時間方向で画像信号のノイズ低減処理を行う。
【選択図】図１
Description
本発明は、撮像系に起因する画像信号のランダムノイズの低減処理を行う動画像ノイズ低減処理装置及び画像処理プログラムに関し、動画像のノイズ低減処理を高精度化することでノイズ成分のみを高精度に低減可能とする。
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。
固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
ランダムノイズに関しては、例えば特開２００５-３０３８０２号公報（特許文献１）に示されるように、ノイズ量をモデル化し、このノイズモデルから定量的に信号値に対応するノイズ量を推定する。このノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。
固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
ランダムノイズに関しては、例えば特開２００５-３０３８０２号公報（特許文献１）に示されるように、ノイズ量をモデル化し、このノイズモデルから定量的に信号値に対応するノイズ量を推定する。このノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。
これにより、信号値に対して定量的で適応的にノイズ低減処理が行われることになる。動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いて巡回型のノイズ低減処理法がある。
例えば、特開２０００-２０９５０７号公報（特許文献２）は、時間的に前の画像信号との差分処理を行った信号値から帰還係数を制御する方法を開示している。この公報では、差分処理を行った信号値が小さい場合はランダムノイズと判断し、帰還係数を大きくすることでノイズ量の少ない画像信号を、差分処理を行った信号値が大きい場合は動き成分と判断し、帰還係数を小さくすることで残像の少ない画像信号を得ることが可能になる。
特開２００５-３０３８０２号公報
特開２０００-２０９５０７号公報
例えば、特開２０００-２０９５０７号公報（特許文献２）は、時間的に前の画像信号との差分処理を行った信号値から帰還係数を制御する方法を開示している。この公報では、差分処理を行った信号値が小さい場合はランダムノイズと判断し、帰還係数を大きくすることでノイズ量の少ない画像信号を、差分処理を行った信号値が大きい場合は動き成分と判断し、帰還係数を小さくすることで残像の少ない画像信号を得ることが可能になる。
特開２００５-３０３８０２号公報では、同一フレーム内の注目画素に対して周辺領域の画素の画像信号を用いてフィルタリング処理し、処理後の画像信号を注目画素の代表値としてノイズモデルからノイズ量を推定する。
しかしながら、この特開２００５-３０３８０２号公報による方法でノイズ低減機能を高めようとした場合、そのノイス低減機能を高めたためにエッジなど画像の微細な部分がノイズ低減処理により平坦になってしまう欠点がある。
一方、特開２０００-２０９５０７号公報では差分処理を行った信号値で制御を行うため計算量が少なく低コスト可能であるが、動き成分とランダムノイズの分離精度が十分できないため、高品位な画像信号が得られないという欠点がある。
しかしながら、この特開２００５-３０３８０２号公報による方法でノイズ低減機能を高めようとした場合、そのノイス低減機能を高めたためにエッジなど画像の微細な部分がノイズ低減処理により平坦になってしまう欠点がある。
一方、特開２０００-２０９５０７号公報では差分処理を行った信号値で制御を行うため計算量が少なく低コスト可能であるが、動き成分とランダムノイズの分離精度が十分できないため、高品位な画像信号が得られないという欠点がある。
このため、特開２００５-３０３８０２号公報及び特開２０００-２０９５０７号公報における欠点を軽減ないしは解消するようなノイズ低減を行うと、高品位の画像信号が得られる可能性がある。
本発明は上述した点に着目してなされたもので、撮像系で撮像された動画像に対応する時系列の画像信号におけるノイズを低減して高品位な画像信号を得ることができる動画像ノイズ低減処理装置及び画像処理プログラムを提供することを目的とする。
本発明は上述した点に着目してなされたもので、撮像系で撮像された動画像に対応する時系列の画像信号におけるノイズを低減して高品位な画像信号を得ることができる動画像ノイズ低減処理装置及び画像処理プログラムを提供することを目的とする。
本発明の１形態に係る動画像ノイズ低減処理装置は、デジタル化された動画像を構成する時系列の画像信号画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減部と、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理部と、
を有することを特徴とする。
本発明の他の１形態に係る動画像ノイズ低減処理装置は、デジタル化された動画像を構成する時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減部と、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、過去のフレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定部と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理部と、
を有することを特徴とする。
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理部と、
を有することを特徴とする。
本発明の他の１形態に係る動画像ノイズ低減処理装置は、デジタル化された動画像を構成する時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減部と、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、過去のフレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定部と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理部と、
を有することを特徴とする。
本発明の１形態に係る画像処理プログラムは、コンピュータに、デジタル化された時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減処理手順と、
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１動き量推定手順と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする。
本発明の他の１形態に係る画像処理プログラムは、コンピュータに、デジタル化された時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減処理手順と、
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定手順と、
上記画像信号に対して、過去フレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定手順と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする。
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１動き量推定手順と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする。
本発明の他の１形態に係る画像処理プログラムは、コンピュータに、デジタル化された時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減処理手順と、
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定手順と、
上記画像信号に対して、過去フレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定手順と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする。
本発明によれば、高品位の画像信号が得られる。
以下、図面を参照して本発明の実施形態を説明する。
図１から図１５は本発明の第１の実施形態に係り、図１は本発明の第１の実施形態の動画像ノイズ低減処理装置を備えた動画像撮像装置の構成を示し、図２は第１の実施形態例における空間ノイズ低減部の構成を示し、図３は第１の実施形態例における第１動き検出部の構成を示し、図４は平滑化フィルタを示し、図５は第１の実施形態例における時間ノイズ低減部の構成を示す。
図６は第１の実施形態例の時間ノイズ検出部の構成を示し、図７は信号値に対する時間ノイズ量の関係を示し、図８は簡略化したノイズモデルの説明図を示し、図９はノイズ量の補間処理の説明図を示し、図１０は第１の実施形態例における時間ノイズ除去部の構成を示す。
図１から図１５は本発明の第１の実施形態に係り、図１は本発明の第１の実施形態の動画像ノイズ低減処理装置を備えた動画像撮像装置の構成を示し、図２は第１の実施形態例における空間ノイズ低減部の構成を示し、図３は第１の実施形態例における第１動き検出部の構成を示し、図４は平滑化フィルタを示し、図５は第１の実施形態例における時間ノイズ低減部の構成を示す。
図６は第１の実施形態例の時間ノイズ検出部の構成を示し、図７は信号値に対する時間ノイズ量の関係を示し、図８は簡略化したノイズモデルの説明図を示し、図９はノイズ量の補間処理の説明図を示し、図１０は第１の実施形態例における時間ノイズ除去部の構成を示す。
図１１は第１の実施形態における画像処理プログラムの処理手順のフローチャートを示し、図１２は第１の実施形態における第１動き検出部の画像処理プログラムの処理手順のフローチャートを示し、図１３は第１の実施形態における時間ノイズ低減部の画像処理プログラムの処理手順のフローチャートを示す。
図１４は第１の実施形態における時間ノイズ検出部の画像処理プログラムの処理手順のフローチャートを示し、図１５は第１の実施形態における時間ノイズ除去部の画像処理プログラムの処理手順のフローチャートを示す。
次に本発明の第１の実施形態の構成を説明する。
図１４は第１の実施形態における時間ノイズ検出部の画像処理プログラムの処理手順のフローチャートを示し、図１５は第１の実施形態における時間ノイズ除去部の画像処理プログラムの処理手順のフローチャートを示す。
次に本発明の第１の実施形態の構成を説明する。
[構成]
図１に示すように動画像を生成して表示装置等に出力する動画像撮像装置９７は、撮像により動画像を生成する動画像撮像部（或いは動画像生成部）９８と、この動画像撮像部９８により生成された動画像の画像信号、つまり時系列の画像信号に対して、ノイズを低減した画像処理を行う（動画像ノイズ低減処理装置としての）動画像ノイズ低減処理部９９とから構成される。
動画像撮像部９８は、絞り１０１を備えたレンズ系１００を有し、このレンズ系１００の結像位置には、撮像素子としての電荷結合素子（ＣＣＤと略記）１０２が配置されている。
レンズ系１００により被写体の光学像が、ＣＣＤ１０２の撮像面に結ばれ、ＣＣＤ１０２は、その光学像を光電変換する。この動画像撮像部９８は、図示しないＣＣＤ駆動部を備え、このＣＣＤ駆動部は、ＣＣＤ１０２にＣＣＤ駆動信号を印加する。そして、このＣＣＤ駆動信号の印加により、ＣＣＤ１０２は、時系列に光電変換した撮像信号を画像信号として（時系列に）出力する。
図１に示すように動画像を生成して表示装置等に出力する動画像撮像装置９７は、撮像により動画像を生成する動画像撮像部（或いは動画像生成部）９８と、この動画像撮像部９８により生成された動画像の画像信号、つまり時系列の画像信号に対して、ノイズを低減した画像処理を行う（動画像ノイズ低減処理装置としての）動画像ノイズ低減処理部９９とから構成される。
動画像撮像部９８は、絞り１０１を備えたレンズ系１００を有し、このレンズ系１００の結像位置には、撮像素子としての電荷結合素子（ＣＣＤと略記）１０２が配置されている。
レンズ系１００により被写体の光学像が、ＣＣＤ１０２の撮像面に結ばれ、ＣＣＤ１０２は、その光学像を光電変換する。この動画像撮像部９８は、図示しないＣＣＤ駆動部を備え、このＣＣＤ駆動部は、ＣＣＤ１０２にＣＣＤ駆動信号を印加する。そして、このＣＣＤ駆動信号の印加により、ＣＣＤ１０２は、時系列に光電変換した撮像信号を画像信号として（時系列に）出力する。
なお、ＣＣＤ１０２には、このＣＣＤ１０２の温度を検出する温度センサー部１１５が取り付けられている。
ＣＣＤ１０２から出力される時系列の画像信号は、アンプ１０３により所定のゲイン（Gain）で増幅された後、図示しない相関二重サンプリング回路（以下、ＣＤＳ回路と略記）等を経てＡ／Ｄ変換器１０４に入力される。この場合、ＣＤＳ回路を通した後、アンプ１０３で増幅する構成にしても良い。また、アンプ１０３がＣＤＳ回路を、或いはＣＤＳ回路がアンプ１０３を備えた構成でも良い。
このＡ／Ｄ変換器１０４によって、アナログの画像信号はデジタルの画像信号へ変換された後、動画像ノイズ低減処理部９９を構成するバッファー部１０５に入力され、一時蓄積される。
ＣＣＤ１０２から出力される時系列の画像信号は、アンプ１０３により所定のゲイン（Gain）で増幅された後、図示しない相関二重サンプリング回路（以下、ＣＤＳ回路と略記）等を経てＡ／Ｄ変換器１０４に入力される。この場合、ＣＤＳ回路を通した後、アンプ１０３で増幅する構成にしても良い。また、アンプ１０３がＣＤＳ回路を、或いはＣＤＳ回路がアンプ１０３を備えた構成でも良い。
このＡ／Ｄ変換器１０４によって、アナログの画像信号はデジタルの画像信号へ変換された後、動画像ノイズ低減処理部９９を構成するバッファー部１０５に入力され、一時蓄積される。
なお、図１において、動画像ノイズ低減処理部９９が、Ａ／Ｄ変換器１０４を含むような構成にしても良い。また、図１に示した構成例の場合に限定されるものでない。
バッファー部１０５は、画像信号に対して空間方向でノイズ低減処理、つまり空間ノイズ低減処理を行う空間ノイズ低減部１０６及び時間方向でノイズ低減処理、つまり時間ノイズ低減処理を行う時間ノイズ低減部１０９と接続されている。 空間ノイズ低減部１０６は、この空間ノイズ低減部１０６により空間ノイズ低減処理後の画像信号を一時格納する第１過去バッファー部１０７と接続されると共に、空間ノイズ低減処理後の画像信号に対して、第１動き量を検出或いは推定する第１動き検出部１０８と接続されている。
バッファー部１０５は、画像信号に対して空間方向でノイズ低減処理、つまり空間ノイズ低減処理を行う空間ノイズ低減部１０６及び時間方向でノイズ低減処理、つまり時間ノイズ低減処理を行う時間ノイズ低減部１０９と接続されている。 空間ノイズ低減部１０６は、この空間ノイズ低減部１０６により空間ノイズ低減処理後の画像信号を一時格納する第１過去バッファー部１０７と接続されると共に、空間ノイズ低減処理後の画像信号に対して、第１動き量を検出或いは推定する第１動き検出部１０８と接続されている。
第１過去バッファー部１０７は、この第１動き検出部１０８と接続され、この第１動き検出部１０８は、空間ノイズ低減処理後の画像信号に対して、第１動き量を検出する場合、第１過去バッファー部１０７に一時蓄積されている過去の画像信号を用いる。
第１動き検出部１０８は、時間ノイズ低減部１０９を介して出力部１１０と接続されている。時間ノイズ低減部１０９は、第１動き検出部１０８により検出された第１動き量に基づき、バッファー部１０５に一時格納された画像信号に対して、時間ノイズ低減処理を行い、その処理後の画像信号を出力部１１０に出力する。
また、時間ノイズ低減部１０９は、出力保存部１１４と接続され、時間ノイズ低減処理後の画像信号を出力保存部１１４に保存すると共に、保存された画像信号を参照可能にしている。
第１動き検出部１０８は、時間ノイズ低減部１０９を介して出力部１１０と接続されている。時間ノイズ低減部１０９は、第１動き検出部１０８により検出された第１動き量に基づき、バッファー部１０５に一時格納された画像信号に対して、時間ノイズ低減処理を行い、その処理後の画像信号を出力部１１０に出力する。
また、時間ノイズ低減部１０９は、出力保存部１１４と接続され、時間ノイズ低減処理後の画像信号を出力保存部１１４に保存すると共に、保存された画像信号を参照可能にしている。
ノイズ低減処理に用いられるノイズモデル等の情報を格納したROM１１１は、空間ノイズ低減部１０６、第１動き検出部１０８及び時間ノイズ低減部１０９と接続されている。
また、温度センサー部１１５は、時間ノイズ低減部１０９と接続されている。制御部１１２は、アンプ１０３、Ａ／Ｄ変換器１０４、バッファー部１０５、空間ノイズ低減部１０６、第１過去バッファー部１０７、第１動き検出部１０８、時間ノイズ低減部１０９、出力部１１０、ROM１１１、外部I/F部１１３、出力保存部１１４及び温度センサー部１１５と双方向に接続され、主に各部の動作に対する制御を行う。
次に本実施形態の作用を説明する。
また、温度センサー部１１５は、時間ノイズ低減部１０９と接続されている。制御部１１２は、アンプ１０３、Ａ／Ｄ変換器１０４、バッファー部１０５、空間ノイズ低減部１０６、第１過去バッファー部１０７、第１動き検出部１０８、時間ノイズ低減部１０９、出力部１１０、ROM１１１、外部I/F部１１３、出力保存部１１４及び温度センサー部１１５と双方向に接続され、主に各部の動作に対する制御を行う。
次に本実施形態の作用を説明する。
[作用]
本実施形態の作用効果の概略を述べると、以下のようになる。
本実施形態は、動画像を構成する時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減手段と、この空間ノイズ低減処理後の画像信号（処理後画像信号）に対して、過去のフレーム／フィールドの処理後画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定手段とを有する。
このように（空間ノイズ低減の）処理後画像信号に対して、特許文献２の動き成分に対応する第１の動き量を推定する構成にしているので、この特許文献２と比較して、動き成分とランダムノイズの分離精度を向上することができる。
本実施形態の作用効果の概略を述べると、以下のようになる。
本実施形態は、動画像を構成する時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減手段と、この空間ノイズ低減処理後の画像信号（処理後画像信号）に対して、過去のフレーム／フィールドの処理後画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定手段とを有する。
このように（空間ノイズ低減の）処理後画像信号に対して、特許文献２の動き成分に対応する第１の動き量を推定する構成にしているので、この特許文献２と比較して、動き成分とランダムノイズの分離精度を向上することができる。
本実施例ではさらに、上記第１の動き量に基づいて、上記画像信号に対して時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手段を有する。
これにより、特許文献１に比較して、エッジ等の画像の微細な部分をノイズ低減処理で平坦にしてしまう、つまりノイズとして除去してしまうことを低減する（ことができる）。そして、本実施形態によれば、高品位の画像信号が得られるようになる。
これにより、特許文献１に比較して、エッジ等の画像の微細な部分をノイズ低減処理で平坦にしてしまう、つまりノイズとして除去してしまうことを低減する（ことができる）。そして、本実施形態によれば、高品位の画像信号が得られるようになる。
次に本実施形態の作用を詳細に説明する。なお、図１等において、明確化のため、画像信号とその他の信号とを太い実線及び細線により示し、制御信号を点線で示す。
なお、図１における動画像ノイズ低減処理部９９を構成する例えば空間ノイズ低減部１０６等、動画像ノイズ低減処理部９９を構成する複数の構成要素の１つ或いは複数をソフトウェアを用いて構成しても良い。
ソフトウェアを用いて構成する場合には例えば図１における制御部１１２内の記録媒体等に、その動作を行う画像処理プログラム１１２ａを格納するようにしても良い。そして、制御部１１２を構成するＣＰＵがその画像処理プログラム１１２ａを読み込み、その画像処理プログラム１１２ａに従って対応する構成要素の動作をソフトウェアで行う。
なお、図１における動画像ノイズ低減処理部９９を構成する例えば空間ノイズ低減部１０６等、動画像ノイズ低減処理部９９を構成する複数の構成要素の１つ或いは複数をソフトウェアを用いて構成しても良い。
ソフトウェアを用いて構成する場合には例えば図１における制御部１１２内の記録媒体等に、その動作を行う画像処理プログラム１１２ａを格納するようにしても良い。そして、制御部１１２を構成するＣＰＵがその画像処理プログラム１１２ａを読み込み、その画像処理プログラム１１２ａに従って対応する構成要素の動作をソフトウェアで行う。
なお、後述するように制御部１１２の外部のコンピュータ等が画像処理プログラム１１２ａを読み込みソフトウェアで実行するようにしても良い。
図１において、画像信号の流れを説明する。外部I/F部１１３を介して録画ボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２及びアンプ１０３ を介して撮影（又は撮像）された画像信号は、公知のＣＤＳ処理により信号成分が抽出されたアナログの画像信号として所定の時間間隔で連続的（時系列）に出力される。
本実施形態では所定の時間間隔は、例えば１/３０秒を想定する。さらに、ＣＣＤ１０２として、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板式ＣＣＤと想定するが、これに限らず、単板（式）や二板式ＣＣＤでもよい。
図１において、画像信号の流れを説明する。外部I/F部１１３を介して録画ボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２及びアンプ１０３ を介して撮影（又は撮像）された画像信号は、公知のＣＤＳ処理により信号成分が抽出されたアナログの画像信号として所定の時間間隔で連続的（時系列）に出力される。
本実施形態では所定の時間間隔は、例えば１/３０秒を想定する。さらに、ＣＣＤ１０２として、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板式ＣＣＤと想定するが、これに限らず、単板（式）や二板式ＣＣＤでもよい。
連続的に出力される複数の画像信号を単に画像信号、１枚の画像信号を１フレームと表記する。但し、画像信号は、インタレースのフィールドで形成される場合もあり、従って、本実施形態（他の実施形態も同様）は、フレームの場合に限らず、フィールドの場合にも同様に適用できる。
上記アナログの画像信号は、Ａ／Ｄ変換器１０４にてデジタルの画像信号へ変換されてバッファー部１０５へ転送される。
上記アナログの画像信号は、Ａ／Ｄ変換器１０４にてデジタルの画像信号へ変換されてバッファー部１０５へ転送される。
バッファー部１０５は、１フレームの画像信号を記録可能で撮影に伴い順次に上書きされることになる。バッファー部１０５内の１フレームの画像信号は、制御部１１２の制御に基づき、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６及び時間ノイズ低減部１０９へ転送される。
空間ノイズ低減部１０６は、制御部１１２の制御に基づき、バッファー部１０５から転送されてきた１フレームの画像信号に対して空間方向（空間領域）においてのノイズ低減処理、つまり空間ノイズ低減処理を行う。
この空間ノイズ低減処理というのは、注目画素に対して同じ１フレームの画像信号内の周辺領域の画素との相関情報を用いてノイズ低減処理を行うことである。
空間ノイズ低減部１０６は、制御部１１２の制御に基づき、バッファー部１０５から転送されてきた１フレームの画像信号に対して空間方向（空間領域）においてのノイズ低減処理、つまり空間ノイズ低減処理を行う。
この空間ノイズ低減処理というのは、注目画素に対して同じ１フレームの画像信号内の周辺領域の画素との相関情報を用いてノイズ低減処理を行うことである。
そして、空間ノイズ低減処理後の画像信号は、第１過去バッファー部１０７及び第１動き検出部１０８へ転送される。第１過去バッファー部１０７は、制御部１１２の制御により１つあるいは複数フレームの画像信号が過去の画像信号として保存する。
第１過去バッファー部１０７は、空間ノイズ低減部１０６から画像信号が転送されるに伴い、古い画像信号から順次に上書きされる。本実施形態では、第１過去バッファー部１０７には、空間ノイズ低減処理後の過去の１フレームの画像信号が保存されている。
第１過去バッファー部１０７は、空間ノイズ低減部１０６から画像信号が転送されるに伴い、古い画像信号から順次に上書きされる。本実施形態では、第１過去バッファー部１０７には、空間ノイズ低減処理後の過去の１フレームの画像信号が保存されている。
第１動き検出部１０８は、制御部１１２に基づき空間ノイズ低減部１０６からの１フレームの空間ノイズ低減処理後の画像信号及び第１過去バッファー部１０７から過去の１フレームの空間ノイズ低減処理後の画像信号を用いて第１の動き量を検出する。
第１動き検出部１０８は、検出した動き量を時間ノイズ低減部１０９に転送する。時間ノイズ低減部１０９は、制御部１１２の制御により、バッファー部１０５からの１フレームの画像信号に対し、第１動き検出部１０８から転送されてきた第１の動き量に基づき、時間方向のノイズ低減処理、つまり時間ノイズ低減処理を行う。
時間ノイズ低減処理というのは、注目画素に対して過去の一つあるいは複数フレーム間の画像信号の相関情報を用いてノイズ低減処理を行うことである。本実施形態では、制御部１１２の制御により、時間ノイズ低減部１０９は、第１動き検出部１０８からの第１の動き量及び出力保存部１１４からの過去の一つあるいは複数フレームの時間ノイズ低減処理後の画像信号を用いて、バッファー部１０５からの画像信号に対し時間方向でノイズ低減処理を行う。
第１動き検出部１０８は、検出した動き量を時間ノイズ低減部１０９に転送する。時間ノイズ低減部１０９は、制御部１１２の制御により、バッファー部１０５からの１フレームの画像信号に対し、第１動き検出部１０８から転送されてきた第１の動き量に基づき、時間方向のノイズ低減処理、つまり時間ノイズ低減処理を行う。
時間ノイズ低減処理というのは、注目画素に対して過去の一つあるいは複数フレーム間の画像信号の相関情報を用いてノイズ低減処理を行うことである。本実施形態では、制御部１１２の制御により、時間ノイズ低減部１０９は、第１動き検出部１０８からの第１の動き量及び出力保存部１１４からの過去の一つあるいは複数フレームの時間ノイズ低減処理後の画像信号を用いて、バッファー部１０５からの画像信号に対し時間方向でノイズ低減処理を行う。
時間ノイズ低減処理後の画像信号は、出力部１１０及び出力保存部１１４へ転送される。出力保存部１１４には、所定枚数の時間ノイズ低減処理後の過去フレームの画像信号が保存されている。
出力保存部１１４は、所定の保存枚数を保持すると同時に、一番古い画像信号に対して新しい画像信号で順次上書きして保存する。本実施形態では、出力保存部１１４には、８フレームの過去の時間ノイズ低減処理後の画像信号が保存されていることを想定する。
出力部１１０は、モニタなどの表示媒体に表示し、或は磁気ディスクやメモリカードなどの記録媒体に画像信号を記録保存する。
出力保存部１１４は、所定の保存枚数を保持すると同時に、一番古い画像信号に対して新しい画像信号で順次上書きして保存する。本実施形態では、出力保存部１１４には、８フレームの過去の時間ノイズ低減処理後の画像信号が保存されていることを想定する。
出力部１１０は、モニタなどの表示媒体に表示し、或は磁気ディスクやメモリカードなどの記録媒体に画像信号を記録保存する。
図１の全体的な作用は以下のようになる。時系列の画像信号に対して、空間方向でのノイズ低減処理、つまり空間ノイズ低減処理を行う。次に、空間ノイズ低減処理後の画像信号と過去フレーム（あるいは過去フィールド）の空間ノイズ低減処理後の画像信号を用いて画像信号の動き量を検出する。
最後に、その動き量に基づき、時間方向でノイズ低減処理を行う。このようにすることにより、空間方向でノイズ低減処理後の画像信号から正確に動き成分を抽出することが可能になり、時間方向で撮像系で撮像された動画像に対応する時系列の画像信号におけるノイズを低減して実現できる。
最後に、その動き量に基づき、時間方向でノイズ低減処理を行う。このようにすることにより、空間方向でノイズ低減処理後の画像信号から正確に動き成分を抽出することが可能になり、時間方向で撮像系で撮像された動画像に対応する時系列の画像信号におけるノイズを低減して実現できる。
なお、特許文献１では、動き量に基づくことなく、空間方向でのノイズ低減処理を行うため、その機能を大きくすると、エッジ等画像の微細な部分をノイズとして除去（平坦化）してしまうが、上記のように本実施形態では動き量に基づいて時間方向でノイズ低減処理を行うため、高精度のノイズ低減ができることになる。
図２は、空間ノイズ低減部１０６の構成の一例を示す。この空間ノイズ低減部１０６は、空間方向でのノイズ量、つまり空間ノイズ量を検出する空間ノイズ検出部２０１と、空間ノイズ除去処理を行う空間ノイズ除去部２０２から構成される。
バッファー部１０５は、空間ノイズ検出部２０１及び空間ノイズ除去部２０２を介して第１過去バッファー部１０７及び第１動き検出部１０８と接続されている。また、バッファー部１０５は、空間ノイズ除去部２０２とも接続されている。ROM１１１は、空間ノイズ検出部２０１と接続されている。制御部１１２は、空間ノイズ検出部２０１及び空間ノイズ除去部２０２と双方向に接続されている。
図２は、空間ノイズ低減部１０６の構成の一例を示す。この空間ノイズ低減部１０６は、空間方向でのノイズ量、つまり空間ノイズ量を検出する空間ノイズ検出部２０１と、空間ノイズ除去処理を行う空間ノイズ除去部２０２から構成される。
バッファー部１０５は、空間ノイズ検出部２０１及び空間ノイズ除去部２０２を介して第１過去バッファー部１０７及び第１動き検出部１０８と接続されている。また、バッファー部１０５は、空間ノイズ除去部２０２とも接続されている。ROM１１１は、空間ノイズ検出部２０１と接続されている。制御部１１２は、空間ノイズ検出部２０１及び空間ノイズ除去部２０２と双方向に接続されている。
次にこの空間ノイズ低減部１０６による空間ノイズ低減処理の作用を説明する。 空間ノイズ低減処理というのは、注目画素に対して、同じフレーム内の周辺画素との相関情報に基づき空間方向においてのノイズ低減処理を行うことである。ノイズ量算出は、例えば特開２００５-３０３８０２号公報に開示される公知のノイズ量算出方法で行う。
なお、特開２００５-３０３８０２号公報には、空間方向（空間領域）に対してのノイズ量をモデル化し、そのノイズモデルから定量的に信号値に対応するノイズ量を推定して、ノイズ低減処理、つまり空間（空間方向）ノイズ低減処理の手法が開示されている。
本実施形態における空間ノイズ検出部２０１は、制御部１１２の制御に基づき、アンプ１０３のゲイン、ＣＣＤ１０２の温度、ＣＣＤ１０２の感度、つまりＩＳＯ感度などの情報を用いてROM１１１から対応する空間領域のノイズモデルとしての空間（空間方向）ノイズモデルを抽出する。
なお、特開２００５-３０３８０２号公報には、空間方向（空間領域）に対してのノイズ量をモデル化し、そのノイズモデルから定量的に信号値に対応するノイズ量を推定して、ノイズ低減処理、つまり空間（空間方向）ノイズ低減処理の手法が開示されている。
本実施形態における空間ノイズ検出部２０１は、制御部１１２の制御に基づき、アンプ１０３のゲイン、ＣＣＤ１０２の温度、ＣＣＤ１０２の感度、つまりＩＳＯ感度などの情報を用いてROM１１１から対応する空間領域のノイズモデルとしての空間（空間方向）ノイズモデルを抽出する。
また、空間ノイズ検出部２０１は、抽出した空間ノイズモデルに基づき、バッファー部１０５からの画像信号の注目画素及び同じフレーム内にあるその周辺領域の画素の信号値を用いて空間方向で空間ノイズ量を検出し、それを空間ノイズ除去部２０２へ転送する。
空間ノイズ除去部２０２は、制御部１１２の制御に基づき、空間ノイズ検出部２０１からの画素毎のノイズ量情報及びバッファー部１０５からの画像信号値を用いて空間ノイズ除去処理を行う。
空間ノイズ低減処理後の画像信号は、第１過去バッファー部１０７及び第１動き検出部１０８へ転送される。本実施形態では、色信号ごとに（ＲＧＢ）空間方向でノイズ低減処理を行う。
空間ノイズ除去部２０２は、制御部１１２の制御に基づき、空間ノイズ検出部２０１からの画素毎のノイズ量情報及びバッファー部１０５からの画像信号値を用いて空間ノイズ除去処理を行う。
空間ノイズ低減処理後の画像信号は、第１過去バッファー部１０７及び第１動き検出部１０８へ転送される。本実施形態では、色信号ごとに（ＲＧＢ）空間方向でノイズ低減処理を行う。
このように、空間ノイズモデルに基づき、画像信号に対して、同じフレーム内の画像信号の相関情報を用いて空間方向でノイズ低減処理を行うため、比較的に高い画質の画像信号を得ることが可能になる。しかし、エッジなど画像の微細な構造が空間ノイズ低減処理によって、なまってしまう可能性もある。
図３は、第１動き検出部１０８の構成の一例示す。この第１動き検出部１０８は、空間ノイズ低減処理後の画像信号に対して、減算処理により画素ごとの差分信号を算出する（差分信号算出部としての）差分算出部３０１と、その差分信号に対して平滑処理を行う（平滑処理部としての）差分平滑部３０２とから構成される。
第１過去バッファー部１０７及び空間ノイズ低減部１０６は、差分算出部３０１及び差分平滑部３０２を介して時間ノイズ低減部１０９と接続されている。ROM１１１は、差分平滑部３０２と接続されている。制御部１１２は、差分算出部３０１及び差分平滑部３０２と双方向に接続されている。
図３は、第１動き検出部１０８の構成の一例示す。この第１動き検出部１０８は、空間ノイズ低減処理後の画像信号に対して、減算処理により画素ごとの差分信号を算出する（差分信号算出部としての）差分算出部３０１と、その差分信号に対して平滑処理を行う（平滑処理部としての）差分平滑部３０２とから構成される。
第１過去バッファー部１０７及び空間ノイズ低減部１０６は、差分算出部３０１及び差分平滑部３０２を介して時間ノイズ低減部１０９と接続されている。ROM１１１は、差分平滑部３０２と接続されている。制御部１１２は、差分算出部３０１及び差分平滑部３０２と双方向に接続されている。
差分算出部３０１は、制御部１１２の制御に基づき、空間ノイズ低減部１０６からの空間ノイズ低減処理後の画像信号に対して、第１過去バッファー部１０７からの過去フレームの空間ノイズ低減処理後の画像信号を用いて、減算処理で画素ごとの差分信号を算出する。算出した差分信号は、差分平滑部３０２に転送される。
差分平滑部３０２は、制御部１１２の制御により、差分算出部３０１からの差分信号に対して平滑処理を行う。差分平滑部３０２は、例えば、図４のＦ１〜Ｆ４に示されているフィルタを用いて公知の平滑処理を行う。図４におけるフィルタＦ１及びＦ２のように所定のサイズ（前者は５×５画素、後者は３×３画素）で平均化するフィルタでも良いし、フィルタＦ３及びＦ４に示すように重み付けして平均化するフィルタでも良い。なお、平滑処理を行うフィルタのサイズは、図４に示したものに限定されるものでない。
図４に示されているフィルタＦ１〜Ｆ４を用いて平滑処理を行う場合、画像信号中の微細なエッジ部の構造がつぶれてしまう恐れがある。
本実施形態では、平滑処理の効果を高めるために、画素間の距離で重みを決定するだけでなく、輝度の差分値による重みを考慮して平滑処理を行うバイラテラルフィルタを適用する。
差分平滑部３０２は、制御部１１２の制御により、差分算出部３０１からの差分信号に対して平滑処理を行う。差分平滑部３０２は、例えば、図４のＦ１〜Ｆ４に示されているフィルタを用いて公知の平滑処理を行う。図４におけるフィルタＦ１及びＦ２のように所定のサイズ（前者は５×５画素、後者は３×３画素）で平均化するフィルタでも良いし、フィルタＦ３及びＦ４に示すように重み付けして平均化するフィルタでも良い。なお、平滑処理を行うフィルタのサイズは、図４に示したものに限定されるものでない。
図４に示されているフィルタＦ１〜Ｆ４を用いて平滑処理を行う場合、画像信号中の微細なエッジ部の構造がつぶれてしまう恐れがある。
本実施形態では、平滑処理の効果を高めるために、画素間の距離で重みを決定するだけでなく、輝度の差分値による重みを考慮して平滑処理を行うバイラテラルフィルタを適用する。
バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
本実施形態では、空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、空間ノイズ低減処理の後にまだ残されているノイズ成分を平滑化する効果がある。
平滑処理後の差分信号は、第１の動き量信号として時間ノイズ低減部１０９に転送される。このように、第１動き検出部１０８においては、まず空間ノイズ低減処理後の画像信号に対して、空間ノイズ低減処理後の過去フレームの画像信号を用いて画素ごとに差分信号を算出する。
本実施形態では、空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、空間ノイズ低減処理の後にまだ残されているノイズ成分を平滑化する効果がある。
平滑処理後の差分信号は、第１の動き量信号として時間ノイズ低減部１０９に転送される。このように、第１動き検出部１０８においては、まず空間ノイズ低減処理後の画像信号に対して、空間ノイズ低減処理後の過去フレームの画像信号を用いて画素ごとに差分信号を算出する。
次に、差分信号に対して平滑する処理を行い差分信号の中に残されているノイズ成分を更に落とすことによって、高精度に画像信号中の動き量信号を抽出することが可能になる。
図５は、時間ノイズ低減部１０９の構成の一例を示す。この時間ノイズ低減部１０９は、過去フレームの時間ノイズ低減処理後の画像信号を用いて時間ノイズ量を推定（検出）する時間ノイズ検出部４０１と、時間ノイズ除去処理を行う時間ノイズ除去部４０２とから構成される。
バッファー部１０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２を介して出力部１１０と接続されている。バッファー部１０５は、時間ノイズ除去部４０２とも接続されている。
図５は、時間ノイズ低減部１０９の構成の一例を示す。この時間ノイズ低減部１０９は、過去フレームの時間ノイズ低減処理後の画像信号を用いて時間ノイズ量を推定（検出）する時間ノイズ検出部４０１と、時間ノイズ除去処理を行う時間ノイズ除去部４０２とから構成される。
バッファー部１０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２を介して出力部１１０と接続されている。バッファー部１０５は、時間ノイズ除去部４０２とも接続されている。
第１動き検出部１０８、ROM１１１及び出力保存部１１４は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。温度センサー部１１５は、時間ノイズ検出部４０１に接続されている。制御部１１２は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と双方向に接続されている。
次に時間ノイズ低減部１０９の作用を説明する。
時間ノイズ検出部４０１は、制御部１１２の制御により、第１動き検出部１０８からの第１の動き量信号、温度センサー部１１５からのＣＣＤ１０２の温度情報、画素毎にバッファー部１０５から転送されてきた画像信号及び出力保存部１１４に保存されているノイズ低減処理後の１つ以上の過去フレームの時間ノイズ低減処理後の画像信号（本実施形態では、出力保存部１１４には８フレームの過去の時間ノイズ低減処理後の画像信号を保存する構成となっている）を用いて時間ノイズ量を推定（算出）する。
次に時間ノイズ低減部１０９の作用を説明する。
時間ノイズ検出部４０１は、制御部１１２の制御により、第１動き検出部１０８からの第１の動き量信号、温度センサー部１１５からのＣＣＤ１０２の温度情報、画素毎にバッファー部１０５から転送されてきた画像信号及び出力保存部１１４に保存されているノイズ低減処理後の１つ以上の過去フレームの時間ノイズ低減処理後の画像信号（本実施形態では、出力保存部１１４には８フレームの過去の時間ノイズ低減処理後の画像信号を保存する構成となっている）を用いて時間ノイズ量を推定（算出）する。
なお、温度センサー部１１５は、撮像素子の温度の情報を収集する収集部を形成し、時間ノイズ量の推定に利用される。また、アンプ１０３のゲインの情報も、時間ノイズ量の推定に利用される。
推定された時間ノイズ量は、時間ノイズ除去部４０２に転送される。時間ノイズ除去部４０２は、制御部１１２の制御に基づき、時間ノイズ検出部４０１からの時間ノイズ量、第１動き検出部１０８からの動き量信号及びバッファー部１０５からの画像信号を用いて時間ノイズ除去処理を行う。処理後の画像信号は出力部１１０及び出力保存部１１４へ転送される。
図６は、時間ノイズ検出部４０１の構成の一例を示す。バッファー部１０５は、動き除去部５０１、平均算出部５０２、パラメータ選択部５０４、補間部５０５、補正部５０６を介して時間ノイズ除去部４０２と接続されている。
gain算出部５０３、及びROM１１１は、パラメータ選択部５０４と接続されている。第１動き検出部１０８は、動き量保存部５０７と接続されている。動き量保存部５０７は、動き除去部５０１と接続されている。
推定された時間ノイズ量は、時間ノイズ除去部４０２に転送される。時間ノイズ除去部４０２は、制御部１１２の制御に基づき、時間ノイズ検出部４０１からの時間ノイズ量、第１動き検出部１０８からの動き量信号及びバッファー部１０５からの画像信号を用いて時間ノイズ除去処理を行う。処理後の画像信号は出力部１１０及び出力保存部１１４へ転送される。
図６は、時間ノイズ検出部４０１の構成の一例を示す。バッファー部１０５は、動き除去部５０１、平均算出部５０２、パラメータ選択部５０４、補間部５０５、補正部５０６を介して時間ノイズ除去部４０２と接続されている。
gain算出部５０３、及びROM１１１は、パラメータ選択部５０４と接続されている。第１動き検出部１０８は、動き量保存部５０７と接続されている。動き量保存部５０７は、動き除去部５０１と接続されている。
出力保存部１１４は、代表値推定部の１つの構成例としての平均算出部５０２と接続されている。ＣＣＤ１０２の温度を検出する温度センサー部１１５は、温度保存部５０８と接続されている。制御部１１２は、動き除去部５０１、平均算出部５０２、gain算出部５０３、パラメータ選択部５０４、補間部５０５、補正部５０６、動き量保存部５０７及び温度保存部５０８と双方向に接続されている。
次にこの時間ノイズ検出部４０１の作用を説明する。
上記の時間ノイズ低減処理というのは、注目画素に対して過去の一つあるいは複数フレーム間の画像信号内の相関情報を用いてノイズ低減処理を行うことである。
第１動き検出部１０８は、動き量信号を動き保存部５０７へ保存する。動き量保存部５０７には、一つあるいは複数の過去フレームの動き量信号が保存され、動き量信号が動き検出部１０８から転送されることに伴い順次に上書きされる。
次にこの時間ノイズ検出部４０１の作用を説明する。
上記の時間ノイズ低減処理というのは、注目画素に対して過去の一つあるいは複数フレーム間の画像信号内の相関情報を用いてノイズ低減処理を行うことである。
第１動き検出部１０８は、動き量信号を動き保存部５０７へ保存する。動き量保存部５０７には、一つあるいは複数の過去フレームの動き量信号が保存され、動き量信号が動き検出部１０８から転送されることに伴い順次に上書きされる。
本実施形態では、動き検出部１０８には、出力保存部１１４に保存されている過去の時間ノイズ低減処理後の画像信号のフレーム数と同様に８フレーム分の動き量信号が保存される構成となっている。
動き除去部５０１は、制御部１１２の制御に基づき、動き量保存部５０７から過去フレームの動き量信号を用いて、画素ごとにバッファー部１０５からの画像信号に対して、動き除去処理を行う。
具体的には、バッファー部１０５からの画像信号に対応して、画素毎に過去フレームの時間ノイズ低減処理後の画像信号中の同一位置の画素値と対応する動き量信号値を加算する。
動き除去部５０１は、制御部１１２の制御に基づき、動き量保存部５０７から過去フレームの動き量信号を用いて、画素ごとにバッファー部１０５からの画像信号に対して、動き除去処理を行う。
具体的には、バッファー部１０５からの画像信号に対応して、画素毎に過去フレームの時間ノイズ低減処理後の画像信号中の同一位置の画素値と対応する動き量信号値を加算する。
この信号値は注目画素に対応する過去フレームの画像信号から動き量を除いた後の近似信号になる。本実施形態では、８フレームの過去の時間ノイズ低減処理後の画像信号及び動き量信号が保存されているため、画素ごとの近似信号も８つがある。
この８つの近似信号を平均算出部５０２に転送する。本実施形態では８フレームの過去の時間ノイズ低減処理後の画像信号を用いて平均値を算出するため、８フレームに対応する動き量信号も保存する構成となっている。
しかし、１フレームの過去の時間ノイズ低減処理後の画像信号を用いて平均値を算出する場合、１フレームに対応する動き量信号を保存すればよい。
つまり、用いる過去の画像信号のフレーム数に合わせて同フレーム数の動き量信号を保存する。
この８つの近似信号を平均算出部５０２に転送する。本実施形態では８フレームの過去の時間ノイズ低減処理後の画像信号を用いて平均値を算出するため、８フレームに対応する動き量信号も保存する構成となっている。
しかし、１フレームの過去の時間ノイズ低減処理後の画像信号を用いて平均値を算出する場合、１フレームに対応する動き量信号を保存すればよい。
つまり、用いる過去の画像信号のフレーム数に合わせて同フレーム数の動き量信号を保存する。
また、本実施形態では、過去の時間ノイズ低減処理後の画像信号を用いて近似信号を求めるが、過去の時間ノイズ低減処理前の画像信号を用いてもよい。
この場合、出力保存部１１４には、過去の時間ノイズ低減処理後の画像信号を保存する代わりに、過去の時間ノイズ低減処理前の画像信号を保存する。
平均算出部５０２は、制御部１１２の制御に基づき、動き除去部５０１からの動き量を除いた後の近似信号値と、（注目画素の代表値としての）注目画素の信号値の平均値（Color_av）を求める。
本実施形態では、代表値として、近似信号値と注目画素の信号値の平均値を求める構成となっているが、重み付で平均値を算出することも可能である。
例えば、現在フレームとの間隔に比較して、重み付対象となるフレームとの（時間）間隔が大きければ、そのフレームのウェート（重み付）を小さく設定し、逆にその間隔が小さければ、そのフレームのウェートを大きく設定する。
この場合、出力保存部１１４には、過去の時間ノイズ低減処理後の画像信号を保存する代わりに、過去の時間ノイズ低減処理前の画像信号を保存する。
平均算出部５０２は、制御部１１２の制御に基づき、動き除去部５０１からの動き量を除いた後の近似信号値と、（注目画素の代表値としての）注目画素の信号値の平均値（Color_av）を求める。
本実施形態では、代表値として、近似信号値と注目画素の信号値の平均値を求める構成となっているが、重み付で平均値を算出することも可能である。
例えば、現在フレームとの間隔に比較して、重み付対象となるフレームとの（時間）間隔が大きければ、そのフレームのウェート（重み付）を小さく設定し、逆にその間隔が小さければ、そのフレームのウェートを大きく設定する。
このウェートに基つき、注目画素に対応する各フレームの信号値を用いて平均値（Color_av）を代表値として求めることができる。なお、制御部１１２は、温度センサー部１１５からＣＣＤ１０２の温度情報を取得し、温度保存部５０８へ保存する。その際、温度保存部５０８には、温度情報が時刻或いは画像信号のフレームなどと関連付けて保存され、各画像信号が生成された場合の温度情報が分かるようにしている。
つまり、温度保存部５０８には、出力保存部１１４にある過去フレームの時間ノイズ低減処理後の画像信号の温度情報が保存されている。
さらに、平均算出部５０２は、制御部１１２の制御に基づき、出力保存部１１４にある過去フレームの時間ノイズ低減処理後の画像信号に対応する撮像素子の温度情報を温度保存部５０８から抽出し、現フレーム画像の温度情報と一緒に平均温度(T_av)を算出する。
制御部１１２の制御に基づき、平均温度(T_av)及び各注目画素の平均値（Color_av）の情報は、パラメータ選択部５０４に転送される。
さらに、平均算出部５０２は、制御部１１２の制御に基づき、出力保存部１１４にある過去フレームの時間ノイズ低減処理後の画像信号に対応する撮像素子の温度情報を温度保存部５０８から抽出し、現フレーム画像の温度情報と一緒に平均温度(T_av)を算出する。
制御部１１２の制御に基づき、平均温度(T_av)及び各注目画素の平均値（Color_av）の情報は、パラメータ選択部５０４に転送される。
パラメータ選択部５０４は、制御部１１２の制御に基づき、平均算出部５０２からの注目画素の平均値（Color_av）及び平均温度(T_av)、gain算出部５０３からのゲインの情報に基づき、時間ノイズ量を推定する。
換言すると、このパラメータ選択部５０４は、時間ノイズ量を推定するためのパラメータの選択処理を行う。また、このパラメータ選択部５０４は、時間ノイズ量を換算して算出するノイズ量換算手段の機能を持つ。
図７は、ある温度信号tにおいてゲイン（gain1,gain2，gain3）に関連する３種類の信号値レベルＶに対応するノイズ量Ｎをプロットしたものである。このノイズ量Ｎは、信号値レベルＶに対して２次曲線的に近似し単調増加となっている。図７を２次関数でノイズモデル化すると式１が得られる。
N = A*V２ + B*V + C (式１)
ここでA、B、Cは定数である。なお、異なる温度情報、ゲインなどに応じて複数の式１を記録することで、ノイズ量を算出するにはデータ量が煩雑である。このため、特開２００５-３０３８０２号公報に開示される公知のモデル簡略化を行う。
換言すると、このパラメータ選択部５０４は、時間ノイズ量を推定するためのパラメータの選択処理を行う。また、このパラメータ選択部５０４は、時間ノイズ量を換算して算出するノイズ量換算手段の機能を持つ。
図７は、ある温度信号tにおいてゲイン（gain1,gain2，gain3）に関連する３種類の信号値レベルＶに対応するノイズ量Ｎをプロットしたものである。このノイズ量Ｎは、信号値レベルＶに対して２次曲線的に近似し単調増加となっている。図７を２次関数でノイズモデル化すると式１が得られる。
N = A*V２ + B*V + C (式１)
ここでA、B、Cは定数である。なお、異なる温度情報、ゲインなどに応じて複数の式１を記録することで、ノイズ量を算出するにはデータ量が煩雑である。このため、特開２００５-３０３８０２号公報に開示される公知のモデル簡略化を行う。
最大のノイズ量を与えるモデルを基準モデルに設定し、これを所定数の折れ線で近似する（図８参照）。本実施形態では、温度情報、ゲインなどのノイズ特性に対応した基準ノイズモデルを具備している。
図８は、簡略化したノイズモデルの一例で、折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関係を示している。
基準ノイズモデルを代表する、信号値レベル対ノイズ量の代表点はROM１１１に保存されている。本実施形態の一例においては、基準ノイズモデルの信号値レベル（Level）対ノイズ量（Noise）の代表点、及び各代表点と代表点間の区間の向きを表す傾斜点（Slope）が、ROM１１１に保存されている。
図８は、簡略化したノイズモデルの一例で、折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関係を示している。
基準ノイズモデルを代表する、信号値レベル対ノイズ量の代表点はROM１１１に保存されている。本実施形態の一例においては、基準ノイズモデルの信号値レベル（Level）対ノイズ量（Noise）の代表点、及び各代表点と代表点間の区間の向きを表す傾斜点（Slope）が、ROM１１１に保存されている。
例えば、８点の代表点と７点の傾斜点の例を式２〜式４
Noise[８] = {N１, N２, N３, N４, N５, N６, N７, N８} (式２)
Level[８] = {L１, L２, L３, L４, L５, L６, L７, L８} (式３)
Slope[７] = {S１, S２, S３, S４, S５, S６, S７} (式４)
に示す。
ROM１１１には、また、温度、ゲイン及び色信号ごとのノイズ量を計算するための補正係数（Ktgc）も保存されている。なお、Ktgcは、K[temperature][gain][color]を簡略的に表している。
この補正係数Ktgcは各ノイズモデルと基準ノイズモデル間から最小２乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数Ktgcを乗算することで行われる。
Noise[８] = {N１, N２, N３, N４, N５, N６, N７, N８} (式２)
Level[８] = {L１, L２, L３, L４, L５, L６, L７, L８} (式３)
Slope[７] = {S１, S２, S３, S４, S５, S６, S７} (式４)
に示す。
ROM１１１には、また、温度、ゲイン及び色信号ごとのノイズ量を計算するための補正係数（Ktgc）も保存されている。なお、Ktgcは、K[temperature][gain][color]を簡略的に表している。
この補正係数Ktgcは各ノイズモデルと基準ノイズモデル間から最小２乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数Ktgcを乗算することで行われる。
例えば、ある温度tにおいてゲインが４種類、色信号がR、G、Bの３種類の例を式５
Kt[４][３] = {Kr１, Kg１, Kb１ ゲイン１
Kr２, Kg２, Kb２ ゲイン２
Kr３, Kg３, Kb３ ゲイン３
Kr４, Kg４, Kb４ } ゲイン４ (式５)
に示す。
図９は、検索された区間における信号値レベルＡＶに対するノイズ量Ｎを算出するための線形補間の例を示す。図示例では信号値レベルがLi-1とLiに対応するノイズ量はそれぞれNi-1とＮｉである区間における、この検索された区間における信号値レベルＡＶに対するノイズ量Ｎを、図９のように線形補間により算出する。
Kt[４][３] = {Kr１, Kg１, Kb１ ゲイン１
Kr２, Kg２, Kb２ ゲイン２
Kr３, Kg３, Kb３ ゲイン３
Kr４, Kg４, Kb４ } ゲイン４ (式５)
に示す。
図９は、検索された区間における信号値レベルＡＶに対するノイズ量Ｎを算出するための線形補間の例を示す。図示例では信号値レベルがLi-1とLiに対応するノイズ量はそれぞれNi-1とＮｉである区間における、この検索された区間における信号値レベルＡＶに対するノイズ量Ｎを、図９のように線形補間により算出する。
図８に示すある温度においてゲインgに対応するノイズ量は、図９に示す線形補間の方法により求めることができる。まず、信号値レベルが基準ノイズモデルのどの区間に属するかを検索する。
次に、検索された区間における線形補間処理を図９のように行い、基準ノイズ量Ｎgを求める。さらに、式６基づき、補正係数Ｋtgcを乗算することで、時間ノイズ量Nを算出する。
N = K[temperature][gain][color] ＊ Ng (式６)
本実施形態においては、パラメータ選択部５０４は、平均算出部５０２からの信号値の平均値（Color_av）から信号値を、平均温度（T_av）から温度tを、ゲイン算出部５０４からのゲインの情報からゲインgを、それぞれ設定することにより、時間ノイズ量 Nを算出するためのパラメータの選択設定をする。
次に、検索された区間における線形補間処理を図９のように行い、基準ノイズ量Ｎgを求める。さらに、式６基づき、補正係数Ｋtgcを乗算することで、時間ノイズ量Nを算出する。
N = K[temperature][gain][color] ＊ Ng (式６)
本実施形態においては、パラメータ選択部５０４は、平均算出部５０２からの信号値の平均値（Color_av）から信号値を、平均温度（T_av）から温度tを、ゲイン算出部５０４からのゲインの情報からゲインgを、それぞれ設定することにより、時間ノイズ量 Nを算出するためのパラメータの選択設定をする。
次に、パラメータ選択部５０４は、信号値が属する区間をROM１１１から検索し、これを補間部５０５へ転送する。さらに、パラメータ選択部５０４は、補正係数ＫtgcをROM１１１から抽出し、これを補正部５０６へ転送する。
補間部５０５は、制御部１１２の制御に基づき、パラメータ選択部５０４からの信号値及びノイズモデル区間情報に基づき、時間基準ノイズ量Ｎgを補間処理で算出し、補正部５０６へ転送する。
補正部５０６は、制御部１１２の制御に基づき、転送されてきた時間基準ノイズ量 Ng、補正係数Ktgcを用いて、式６に基づく補正処理で時間ノイズ量Nを算出する。
補間部５０５は、制御部１１２の制御に基づき、パラメータ選択部５０４からの信号値及びノイズモデル区間情報に基づき、時間基準ノイズ量Ｎgを補間処理で算出し、補正部５０６へ転送する。
補正部５０６は、制御部１１２の制御に基づき、転送されてきた時間基準ノイズ量 Ng、補正係数Ktgcを用いて、式６に基づく補正処理で時間ノイズ量Nを算出する。
このように本実施形態では、画像信号の輝度信号（信号値）、或いは色信号の信号値を用いて、画像信号のゲインや、撮像素子の温度の情報に基づいて時間ノイズ量Nを算出或いは換算するノイズ量換算手段を設けている。
算出された時間ノイズ量Nは、時間ノイズ除去部４０２に転送される。基準ノイズモデルに基づいて時間ノイズ量を求めることで、算出過程が簡略化され、高速処理や省電力化などが実現できる。
時間ノイズ除去部４０２は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号及び時間ノイズ検出部４０１からの時間ノイズ量情報及び平均値を用いて、時間ノイズ除去処理を行う。そして、時間ノイズ低減処理された画像信号が生成される。
時間ノイズ除去部４０２による時間ノイズ除去処理、或いはこの時間ノイズ除去部４０２を経た時間ノイズ低減処理としては、ある位置の信号値（C）に対し、ノイズ量（N）と平均値（Color_av）を用いて、下記の式７に示されている演算を行う。
If (C > Color_av + N /２) → C’= C - N /２
If (Color_av + N /２ > C > Color_av - N /２) → C’= Color_av
If (C < Color_av - N /２) → C’= C + N /２ (式７)
時間ノイズ低減処理後の画像信号は、制御部１１２の制御に基づき、出力部１１０及び出力保存部１１４へ転送される。
時間ノイズ除去部４０２による時間ノイズ除去処理、或いはこの時間ノイズ除去部４０２を経た時間ノイズ低減処理としては、ある位置の信号値（C）に対し、ノイズ量（N）と平均値（Color_av）を用いて、下記の式７に示されている演算を行う。
If (C > Color_av + N /２) → C’= C - N /２
If (Color_av + N /２ > C > Color_av - N /２) → C’= Color_av
If (C < Color_av - N /２) → C’= C + N /２ (式７)
時間ノイズ低減処理後の画像信号は、制御部１１２の制御に基づき、出力部１１０及び出力保存部１１４へ転送される。
このように、本実施形態において、まず、空間ノイズ低減処理後の画像信号及び過去フレームの空間ノイズ低減処理後の画像信号に基づき、画素毎に差分値を算出して平滑化することで高精度に動き量信号を抽出する。
さらに、抽出した動き量及び過去フレームの時間ノイズ低減処理後の画像信号を用いて画像信号中のノイズ量を推定し、時間ノイズ低減処理を行うため、残像及びノイズ両方を高精度に抑えて高品質な画像信号が得られる。
なお、本実施形態では、検出された時間ノイズ量を用いて、上記式７に基づき、時間ノイズ低減処理を行う構成となっているが、この構成に限定されるものでない。
主観的により高い画質の映像信号を取得するため、残像抑制性能とノイズ低減性能を効果的にバランスさせるようにしても良い。ここで、時間ノイズ除去処理において一つの変形例（構成例）を説明する。
さらに、抽出した動き量及び過去フレームの時間ノイズ低減処理後の画像信号を用いて画像信号中のノイズ量を推定し、時間ノイズ低減処理を行うため、残像及びノイズ両方を高精度に抑えて高品質な画像信号が得られる。
なお、本実施形態では、検出された時間ノイズ量を用いて、上記式７に基づき、時間ノイズ低減処理を行う構成となっているが、この構成に限定されるものでない。
主観的により高い画質の映像信号を取得するため、残像抑制性能とノイズ低減性能を効果的にバランスさせるようにしても良い。ここで、時間ノイズ除去処理において一つの変形例（構成例）を説明する。
図１０は、時間ノイズ除去部４０２の一つの例を示し、この時間ノイズ除去部４０２は、減衰係数選択部６０１及び時間ノイズ消去部６０２とから構成されている。
第１動き検出部１０８は、減衰係数選択部６０１及び時間ノイズ消去部６０２を介して出力部１１０及び出力保存部１１４と接続される。
バッファー部１０５及び時間ノイズ検出部４０１は、時間ノイズ消去部６０２と接続されている。ROM１１１は、減衰係数選択部６０１と接続されている。制御部１１２は、減衰係数選択部６０１及び時間ノイズ消去部６０２と双方向に接続されている。
減衰係数選択部６０１は、制御部１１２の制御により画素毎に第１動き検出部１０８からの動き量信号値を用いてROM１１１からの動き量閾値(W)と比較する。
第１動き検出部１０８は、減衰係数選択部６０１及び時間ノイズ消去部６０２を介して出力部１１０及び出力保存部１１４と接続される。
バッファー部１０５及び時間ノイズ検出部４０１は、時間ノイズ消去部６０２と接続されている。ROM１１１は、減衰係数選択部６０１と接続されている。制御部１１２は、減衰係数選択部６０１及び時間ノイズ消去部６０２と双方向に接続されている。
減衰係数選択部６０１は、制御部１１２の制御により画素毎に第１動き検出部１０８からの動き量信号値を用いてROM１１１からの動き量閾値(W)と比較する。
本実施形態においては、減衰係数選択部６０１は、動き量信号値が動き量閾値(M)より大きい場合、その画像信号の画素に対応する減衰係数（W１）に対応させ、動き量信号値が動き量閾値(M)より小さい場合、その画像信号の画素に対応する減衰係数（W２）に対応させる（０ ≦ W１ ≦ W２ ≦ １）。
また、必要に応じて、動き量閾値を１つあるいは３つ以上に設定してもよい。その画素毎の減衰係数の情報は、時間ノイズ消去部６０２に転送される。
時間ノイズ消去部６０２は、制御部１１２の制御により、バッファー部１０５からの画像信号、減衰係数選択部６０１からの減衰係数情報、及び時間ノイズ検出部４０１からの時間ノイズ量情報及び平均値を用いて、時間ノイズの除去処理（消去処理）を行う。
また、必要に応じて、動き量閾値を１つあるいは３つ以上に設定してもよい。その画素毎の減衰係数の情報は、時間ノイズ消去部６０２に転送される。
時間ノイズ消去部６０２は、制御部１１２の制御により、バッファー部１０５からの画像信号、減衰係数選択部６０１からの減衰係数情報、及び時間ノイズ検出部４０１からの時間ノイズ量情報及び平均値を用いて、時間ノイズの除去処理（消去処理）を行う。
図１０の時間ノイズ除去部４０２を採用した時間方向ノイズ低減処理は、ある位置の信号値（C）に対し、減衰係数（W）、ノイズ量（N）と平均値（Color_av）を用いて、下記の式８に示されている演算を行う。
If (C > Color_av + W * N /２) → C’= C - W * N /２
If (Color_av + W * N /２ > C > Color_av - W * N /２) → C’= Color_av
If (C < Color_av - W * N /２) → C’= C + W * N /２(式８)
ここで、より高いノイズ低減効果を求めるには、減衰係数Wを１以上に設定してもよい。こうして、動き量信号と減衰係数を連動させて、時間ノイズ低減処理を行うことにより、主観的により高い画質の映像信号を取得することが可能になる。
If (C > Color_av + W * N /２) → C’= C - W * N /２
If (Color_av + W * N /２ > C > Color_av - W * N /２) → C’= Color_av
If (C < Color_av - W * N /２) → C’= C + W * N /２(式８)
ここで、より高いノイズ低減効果を求めるには、減衰係数Wを１以上に設定してもよい。こうして、動き量信号と減衰係数を連動させて、時間ノイズ低減処理を行うことにより、主観的により高い画質の映像信号を取得することが可能になる。
時間ノイズ低減処理後の画像信号は、制御部１１２の制御に基づき、出力部１１０及び出力保存部１１４へ転送される。このように画像信号中の動き検出効果とのバランスを取りながら、適応的にノイズ低減処理を行うことが可能になる。
以上説明した本実施形態の動画像ノイズ低減処理装置９９による動画像ノイズ低減処理としての画像処理は、ハードウェアにより実現されているが、このような構成に限定されるものでなく、ソフトウェアにより構成しても良い。
例えば、図１の動画像撮像装置９７における動画像撮像部９８を構成する撮像素子としてのＣＣＤ１０２からの画像信号を未処理のままのロー（RAW或いは生）データとしてメモリカードなどの記録媒体に記録すると共に、制御部１１２からの撮像時の情報（ISO感度やホワイトバランス係数など）をヘッダ情報として（或いは撮像条件を形成する付帯情報として）記録媒体に記録する。
以上説明した本実施形態の動画像ノイズ低減処理装置９９による動画像ノイズ低減処理としての画像処理は、ハードウェアにより実現されているが、このような構成に限定されるものでなく、ソフトウェアにより構成しても良い。
例えば、図１の動画像撮像装置９７における動画像撮像部９８を構成する撮像素子としてのＣＣＤ１０２からの画像信号を未処理のままのロー（RAW或いは生）データとしてメモリカードなどの記録媒体に記録すると共に、制御部１１２からの撮像時の情報（ISO感度やホワイトバランス係数など）をヘッダ情報として（或いは撮像条件を形成する付帯情報として）記録媒体に記録する。
そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。
なお、動画像撮像部９８からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行う場合に限らず、通信回線などを介して行うようにしても構わない。
図１１ は、本実施形態における画像信号処理プログラムを用いてコンピュータ（以下、ＰＣと略記）による処理手順を示すフローチャートである。
この処理を開始すると、まず、Step１においてＰＣは、画像信号や撮像条件などを読み込むと共に、この画像処理プログラムが予め備えている時間ノイズモデル及び空間ノイズモデルなどの情報も読み込み、次のStep２に進む。
上記Step１の処理は、図１の動画像撮像部９８において、被写体を撮像して画像信号を取得する処理に相当している。
なお、動画像撮像部９８からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行う場合に限らず、通信回線などを介して行うようにしても構わない。
図１１ は、本実施形態における画像信号処理プログラムを用いてコンピュータ（以下、ＰＣと略記）による処理手順を示すフローチャートである。
この処理を開始すると、まず、Step１においてＰＣは、画像信号や撮像条件などを読み込むと共に、この画像処理プログラムが予め備えている時間ノイズモデル及び空間ノイズモデルなどの情報も読み込み、次のStep２に進む。
上記Step１の処理は、図１の動画像撮像部９８において、被写体を撮像して画像信号を取得する処理に相当している。
次のStep２においてＰＣは、画像処理プログラムが予め備えている空間ノイズモデルに基づき、画像信号に対して空間ノイズ低減処理を行い、Step３及びStep４へ進む。
続くStep３においてＰＣは、Step２からの空間ノイズ低減処理後の画像信号及びStep４からの過去フレームの空間ノイズ低減処理後の画像信号に基づき、第１動き検出処理を行い、Step５へ進む。
また、Step４においてＰＣは、空間ノイズ低減処理後の画像信号をメモリに、第１過去フレームの画像信号として一時保存する保存処理を行う。
このStep４においてメモリには、１つあるいは複数フレームの空間ノイズ低減処理後の画像信号が過去の画像信号として保存され、Step２から画像信号が転送されることに伴い、古いものから順次に上書きされる。
続くStep３においてＰＣは、Step２からの空間ノイズ低減処理後の画像信号及びStep４からの過去フレームの空間ノイズ低減処理後の画像信号に基づき、第１動き検出処理を行い、Step５へ進む。
また、Step４においてＰＣは、空間ノイズ低減処理後の画像信号をメモリに、第１過去フレームの画像信号として一時保存する保存処理を行う。
このStep４においてメモリには、１つあるいは複数フレームの空間ノイズ低減処理後の画像信号が過去の画像信号として保存され、Step２から画像信号が転送されることに伴い、古いものから順次に上書きされる。
そして、Step５においてＰＣは、画像処理プログラムが予め備えている時間ノイズモデルに基づき、画像信号に対し、Step３からの第１の動き量に基づき時間ノイズ低減処理を行い、Step６及びStep７へ進む。
次のStep６においてＰＣは、次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。
ここで、メモリには所定枚数の時間ノイズ低減処理後の過去フレームの画像信号が保存されている。所定の保存枚数を保持する同時に、一番古い画像信号に新しい画像信号を順次上書きする。
最後に、Step７においてＰＣは、時間ノイズ低減処理後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカードなどに保存したりした後、図１１に示すこの画像処理（つまり図１の動画像ノイズ低減処理部９９のハードウェアによる画像処理に対応するソフトウェアの画像処理）を終了する。
次のStep６においてＰＣは、次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。
ここで、メモリには所定枚数の時間ノイズ低減処理後の過去フレームの画像信号が保存されている。所定の保存枚数を保持する同時に、一番古い画像信号に新しい画像信号を順次上書きする。
最後に、Step７においてＰＣは、時間ノイズ低減処理後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカードなどに保存したりした後、図１１に示すこの画像処理（つまり図１の動画像ノイズ低減処理部９９のハードウェアによる画像処理に対応するソフトウェアの画像処理）を終了する。
図１２は、本実施形態における第１動き検出部１０８の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step１１においてＰＣは、現在フレームの空間ノイズ低減処理後の画像信号と過去フレームの空間ノイズ低減処理後の画像信号を用いて、画素毎に減算処理で差分値を算出し、Step１２へ進む。
次に、Step１２においてＰＣは、公知の平滑処理を行う、例えば、例えば、図４に示されているフィルタＦ１〜Ｆ４を用いて公知の平滑処理を行う。
また、平滑処理の効果を高めるために、バイラテラルフィルタを適用することも可能である。バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
この処理を開始すると、まず、Step１１においてＰＣは、現在フレームの空間ノイズ低減処理後の画像信号と過去フレームの空間ノイズ低減処理後の画像信号を用いて、画素毎に減算処理で差分値を算出し、Step１２へ進む。
次に、Step１２においてＰＣは、公知の平滑処理を行う、例えば、例えば、図４に示されているフィルタＦ１〜Ｆ４を用いて公知の平滑処理を行う。
また、平滑処理の効果を高めるために、バイラテラルフィルタを適用することも可能である。バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、空間ノイズ低減処理の後にまだ残されているノイズ成分を平滑化する効果がある。このStep１２の処理が完了したら、その後は図１１に示した処理へ復帰する。
図１３は、本実施形態における時間ノイズ低減部１０９の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step２１においてＰＣは、現在フレームの画像信号に対して、動き量信号、ＣＣＤの温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step２２へ進む。
図１３は、本実施形態における時間ノイズ低減部１０９の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step２１においてＰＣは、現在フレームの画像信号に対して、動き量信号、ＣＣＤの温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step２２へ進む。
次のStep２２においてＰＣは、現在フレームの画像信号に対して、Step２１からの時間ノイズ量、動き量信号に基づき時間ノイズ低減処理を行う。次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。このStep２２の処理が完了したら、その後は図１１に示した処理へ復帰する。
図１４は、本実施形態における時間ノイズ検出部４０１の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step３１においてＰＣは、現在フレームの画像信号に対して、動き量信号及び過去フレームの時間ノイズ低減処理後の画像信号に基づき、動き除去処理を行い、Step３２へ進む。
図１４は、本実施形態における時間ノイズ検出部４０１の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step３１においてＰＣは、現在フレームの画像信号に対して、動き量信号及び過去フレームの時間ノイズ低減処理後の画像信号に基づき、動き除去処理を行い、Step３２へ進む。
具体的には、このStep３１においてＰＣは、現在の画像信号に対応して、画素毎に過去フレームの時間ノイズ低減処理後の画像信号中の同一位置の画素値と対応する動き量信号値を加算する。
この動き量信号値は、注目画素に対応する過去フレームの画像信号から動き量を除いた後の近似信号である。
次のStep３２においてＰＣは、Step３１からの動き量を除いた後の近似信号値と注目画素の信号値の平均値（Color_av）を求める平均算出処理を行う。また、過去フレームの画像信号に対応する温度情報及び現フレーム画像の温度情報を用いて平均温度(T_av)を算出し、Step３３へ進む。
この動き量信号値は、注目画素に対応する過去フレームの画像信号から動き量を除いた後の近似信号である。
次のStep３２においてＰＣは、Step３１からの動き量を除いた後の近似信号値と注目画素の信号値の平均値（Color_av）を求める平均算出処理を行う。また、過去フレームの画像信号に対応する温度情報及び現フレーム画像の温度情報を用いて平均温度(T_av)を算出し、Step３３へ進む。
そして、Step３３においてＰＣは、Step３２からの平均値（Color_av）及び平均温度(T_av)、またメモリ上にあるゲインの情報に基づき時間ノイズ量の推定を行うためのパラメータとして選択処理を行い、Step３４へ進む。
図８は、ノイズモデル簡略化の一例で折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関連を示している。
ここで、平均値（Color_av）、温度情報（Color_av）、ゲインなどの情報を用いて、平均値（Color_av）が属するノイズモデル区間情報（信号例ベル対ノイズ量の代表点、対応する区間の向きを表す傾斜点）を検出し、さらに温度、ゲイン及び色信号ごとのノイズ量を計算するための補正係数（Ktgc）の各補正係数を、時間ノイズ量の推定を行うためのパラメータとして抽出する（式２-５）。
図８は、ノイズモデル簡略化の一例で折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関連を示している。
ここで、平均値（Color_av）、温度情報（Color_av）、ゲインなどの情報を用いて、平均値（Color_av）が属するノイズモデル区間情報（信号例ベル対ノイズ量の代表点、対応する区間の向きを表す傾斜点）を検出し、さらに温度、ゲイン及び色信号ごとのノイズ量を計算するための補正係数（Ktgc）の各補正係数を、時間ノイズ量の推定を行うためのパラメータとして抽出する（式２-５）。
次のStep３４においてＰＣは、Step３３からの平均値（Color_av）及びノイズモデル区間情報に基づき、時間基準ノイズ量Ｎgを算出する補間処理を行い、Step３５へ進む。
最後のStep３５においてＰＣは、Step３４からの時間基準ノイズ量Ｎg及び補正係数Ktgcを用いて、式６に基づく補正処理により、時間ノイズ量Nを算出する。
基準ノイズモデルに基づいて時間ノイズ量Nを求めることで、算出過程が簡略化され、高速処理や省電力化などが実現できる。このStep３５の処理が完了したら、その後は図１３に示した処理へ復帰する。
最後のStep３５においてＰＣは、Step３４からの時間基準ノイズ量Ｎg及び補正係数Ktgcを用いて、式６に基づく補正処理により、時間ノイズ量Nを算出する。
基準ノイズモデルに基づいて時間ノイズ量Nを求めることで、算出過程が簡略化され、高速処理や省電力化などが実現できる。このStep３５の処理が完了したら、その後は図１３に示した処理へ復帰する。
図１５は、本実施形態における時間ノイズ除去部４０２の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step４１においてＰＣは、画素毎に、動き量信号値を用いてメモリからの動き量閾値(W)と比較して、減衰係数の選択処理を行う。
例えば、動き量信号値が動き量閾値(M)より大きい場合、その画像信号の画素に対応する減衰係数（W１）に対応させ、動き量信号値が動き量閾値(M)より小さい場合、その画像信号の画素に対応する減衰係数（W２）に対応させる（０ ≦ W１ ≦ W２ ≦ １）選択処理を行う。
この減衰係数の選択処理後、Step４２へ進む。次のStep４２においてＰＣは、画素毎に、現在フレームと過去フレームの画像信号の平均値（Color_av）及び画像信号時間ノイズ量(N)、さらにStep４１からの減衰係数(W)を用いて、式８に基づき時間ノイズの除去処理（消去処理）を行う。
例えば、動き量信号値が動き量閾値(M)より大きい場合、その画像信号の画素に対応する減衰係数（W１）に対応させ、動き量信号値が動き量閾値(M)より小さい場合、その画像信号の画素に対応する減衰係数（W２）に対応させる（０ ≦ W１ ≦ W２ ≦ １）選択処理を行う。
この減衰係数の選択処理後、Step４２へ進む。次のStep４２においてＰＣは、画素毎に、現在フレームと過去フレームの画像信号の平均値（Color_av）及び画像信号時間ノイズ量(N)、さらにStep４１からの減衰係数(W)を用いて、式８に基づき時間ノイズの除去処理（消去処理）を行う。
このように画像信号中の動き抑え効果とのバランスを取りながら、適応的にノイズ低減処理を行うことが可能になる。このStep４２の処理が完了したら、その後は図１３に示した処理へ復帰する。
このように動作する本実施形態は以下の効果を有する。
本実施形態は、空間ノイズ低減の処理後画像信号に対して、第１の動き量を推定する構成にしているので、第１の動き量、換言すると動き成分とランダムノイズの分離精度を向上することができる。
また、本実施例ではさらに、上記第１の動き量に基づいて、画像信号に対して時間ノイズ低減処理を行うので、エッジ等の画像の微細な部分をノイズ低減処理で平坦にしてしまうようなことを低減する。
従って、本実施形態によれば、高品位の画像信号が得られるようになる。
このように動作する本実施形態は以下の効果を有する。
本実施形態は、空間ノイズ低減の処理後画像信号に対して、第１の動き量を推定する構成にしているので、第１の動き量、換言すると動き成分とランダムノイズの分離精度を向上することができる。
また、本実施例ではさらに、上記第１の動き量に基づいて、画像信号に対して時間ノイズ低減処理を行うので、エッジ等の画像の微細な部分をノイズ低減処理で平坦にしてしまうようなことを低減する。
従って、本実施形態によれば、高品位の画像信号が得られるようになる。
次に本発明の第２の実施形態を説明する。
図１６から図２８は本発明の第２の実施形態に係り、図１６は第２の実施形態の動画像ノイズ低減処理装置を備えた動画像撮像装置の構成を示し、図１７は第２実施形態における第２動き検出部の構成を示し、図１８は第２実施形態例における時間ノイズ低減部の構成を示し、図１９は微分フィルタを示す。
図２０は第２の実施形態における動き混合部の構成を示し、図２１は第２実施形態例における時間ノイズ低減部の変形例の構成を示し、図２２は第２の実施形態における動き混合部４０５の構成を示し、図２３は色領域判断図を示し、図２４は第２実施形態の画像処理プログラムの処理手順のフローチャートを示す。
図１６から図２８は本発明の第２の実施形態に係り、図１６は第２の実施形態の動画像ノイズ低減処理装置を備えた動画像撮像装置の構成を示し、図１７は第２実施形態における第２動き検出部の構成を示し、図１８は第２実施形態例における時間ノイズ低減部の構成を示し、図１９は微分フィルタを示す。
図２０は第２の実施形態における動き混合部の構成を示し、図２１は第２実施形態例における時間ノイズ低減部の変形例の構成を示し、図２２は第２の実施形態における動き混合部４０５の構成を示し、図２３は色領域判断図を示し、図２４は第２実施形態の画像処理プログラムの処理手順のフローチャートを示す。
図２５は第２実施形態における第２動き検出部の画像処理プログラムの処理手順のフローチャートを示し、図２６は第２実施形態における時間ノイズ低減部の画像処理プログラムの処理手順のフローチャートを示し、図２７は第２実施形態における時間ノイズ低減部の変形例の画像処理プログラムの処理手順のフローチャートを示し、図２８は第２実施形態の動き混合部の変形例の画像処理プログラムの処理手順のフローチャートを示す。
まず、本実施形態の構成を説明する。
まず、本実施形態の構成を説明する。
[構成]
図１６に示す第２の実施形態に係る動画像撮像装置９７Ｂは、図１の動画像撮像装置９７において、動画像ノイズ低減処理部９９部分にさらに第２動き検出部１１７と、第２過去バファｆ−部１１６が設けられた動画像ノイズ低減処理部９９Ｂを備えた構成である。
より詳細に説明すると、この動画像撮像装置９７Ｂは、動画像撮像部９８と動画像ノイズ低減処理部９９Ｂを備えた構成である。
動画像撮像部９８は、レンズ系１００、絞り１０１、ＣＣＤ１０２、アンプ１０３を備え、このアンプ１０３を介して時系列的に撮像された画像信号は、さらにＣＤＳ処理された後、Ａ／Ｄ変換器１０４にてデジタル信号へ変換された後、動画像ノイズ低減処理部９９Ｂを構成するバッファー部１０５に転送される。
図１６に示す第２の実施形態に係る動画像撮像装置９７Ｂは、図１の動画像撮像装置９７において、動画像ノイズ低減処理部９９部分にさらに第２動き検出部１１７と、第２過去バファｆ−部１１６が設けられた動画像ノイズ低減処理部９９Ｂを備えた構成である。
より詳細に説明すると、この動画像撮像装置９７Ｂは、動画像撮像部９８と動画像ノイズ低減処理部９９Ｂを備えた構成である。
動画像撮像部９８は、レンズ系１００、絞り１０１、ＣＣＤ１０２、アンプ１０３を備え、このアンプ１０３を介して時系列的に撮像された画像信号は、さらにＣＤＳ処理された後、Ａ／Ｄ変換器１０４にてデジタル信号へ変換された後、動画像ノイズ低減処理部９９Ｂを構成するバッファー部１０５に転送される。
バッファー部１０５は、空間ノイズ低減部１０６、時間ノイズ低減部１１０９、第２過去バッファー部１１６及び第２動き検出部１１７と接続されている。空間ノイズ低減部１０６は、第１過去バッファー部１０７及び第１動き検出部１０８と接続されている。
第１過去バッファー部１０７は、第１動き検出部１０８と接続されている。第１動き検出部１０８は、時間ノイズ低減部１１０９を介して出力部１１０と接続されている。
時間ノイズ低減部１１０９は、出力保存部１１４と接続されている。ROM１１１は、空間ノイズ低減部１０６、第１動き検出部１０８、時間ノイズ低減部１１０９及び第２動き検出部１１７と接続されている。
出力保存部１１４は、時間ノイズ低減部１１０９と接続されている。温度センサー部１１５は、時間ノイズ低減部１１０９と接続されている。第２過去バッファー部１１６は、第２動き検出部１１７と接続されている。
第１過去バッファー部１０７は、第１動き検出部１０８と接続されている。第１動き検出部１０８は、時間ノイズ低減部１１０９を介して出力部１１０と接続されている。
時間ノイズ低減部１１０９は、出力保存部１１４と接続されている。ROM１１１は、空間ノイズ低減部１０６、第１動き検出部１０８、時間ノイズ低減部１１０９及び第２動き検出部１１７と接続されている。
出力保存部１１４は、時間ノイズ低減部１１０９と接続されている。温度センサー部１１５は、時間ノイズ低減部１１０９と接続されている。第２過去バッファー部１１６は、第２動き検出部１１７と接続されている。
第２動き検出部１１７は、時間ノイズ低減部１１０９と接続されている。制御部１１２は、アンプ１０３、Ａ／Ｄ変換器１０４、バッファー部１０５、空間ノイズ低減部１０６、第１過去バッファー部１０７、第１動き検出部１０８、時間ノイズ低減部１１０９、出力部１１０、ROM１１１、外部I/F部１１３、出力保存部１１４、温度センサー部１１５、第２過去バッファー部１１６及び第２動き検出部１１７と双方向に接続されている。
次に本実施形態の作用を説明する。
次に本実施形態の作用を説明する。
［作用］
本実施形態は、第１の実施形態において、さらに過去のフレーム／フィールドの画像信号を用いて第２の動き量を推定する第２の動き量推定手段を有し、（第１の実施形態による第１の動き量の他に）この第２の動き量に基づいて時間ノイズ低減処理を行うようにしている。
このため、第１の実施形態の作用効果の他に、さらに第２の動き量を用いることによる作用効果、例えば第１の動き量と第２の動き量との混合比率により、より柔軟性に富むノイズ低減処理等を行うことができる。
基本的に第１の実施形態例と類似しているので、異なる部分を説明する。図１６において、画像信号の流れを説明する。
本実施形態は、第１の実施形態において、さらに過去のフレーム／フィールドの画像信号を用いて第２の動き量を推定する第２の動き量推定手段を有し、（第１の実施形態による第１の動き量の他に）この第２の動き量に基づいて時間ノイズ低減処理を行うようにしている。
このため、第１の実施形態の作用効果の他に、さらに第２の動き量を用いることによる作用効果、例えば第１の動き量と第２の動き量との混合比率により、より柔軟性に富むノイズ低減処理等を行うことができる。
基本的に第１の実施形態例と類似しているので、異なる部分を説明する。図１６において、画像信号の流れを説明する。
外部I/F部１１３を介して録画ボタンが押されると、動画像撮像部９８を構成するレンズ系１００、絞り１０１、ＣＣＤ１０２及びアンプ１０３ を介して撮像された画像信号は、公知のＣＤＳ処理により信号成分が抽出されたアナログ画像信号として所定の時間間隔で連続的に出力される。本実施形態では時間間隔１/３０秒を想定する。
なお、ＣＣＤ１０２としては、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板ＣＣＤを想定するが、これに限定されない。
連続的に出力される複数の画像信号を単に画像信号と、また１枚の画像信号を１フレームと表記するが、フィールドの場合にも同様に適用できる。
なお、ＣＣＤ１０２としては、ＲＧＢの各原色フィルタをそれぞれ前面に配置して構成される三板ＣＣＤを想定するが、これに限定されない。
連続的に出力される複数の画像信号を単に画像信号と、また１枚の画像信号を１フレームと表記するが、フィールドの場合にも同様に適用できる。
上記アナログ画像信号は、Ａ／Ｄ変換器１０４によってデジタル信号へ変換されてバッファー部１０５へ転送される。
バッファー部１０５は、１フレーム分の画像信号を記録可能であり、撮像に伴い順次に上書きされることになる。
バッファー部１０５内のフレームの画像信号は、制御部１１２の制御に基づき、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６、時間ノイズ低減部１１０９、第２過去バッファー部１１６及び第２動き検出部１１７に転送される。
第２過去バッファー部１１６は、制御部１１２の制御により、１つあるいは複数フレームの画像信号が過去の画像信号として保存され、バッファー部１０５から画像信号が転送されることに伴い、古いものから順次に上書きされる。
バッファー部１０５は、１フレーム分の画像信号を記録可能であり、撮像に伴い順次に上書きされることになる。
バッファー部１０５内のフレームの画像信号は、制御部１１２の制御に基づき、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６、時間ノイズ低減部１１０９、第２過去バッファー部１１６及び第２動き検出部１１７に転送される。
第２過去バッファー部１１６は、制御部１１２の制御により、１つあるいは複数フレームの画像信号が過去の画像信号として保存され、バッファー部１０５から画像信号が転送されることに伴い、古いものから順次に上書きされる。
本実施形態では、第２過去バッファー部１１６には、１フレームの過去の画像信号が保存されている。第２動き検出部１１７は、制御部１１２の制御に基づき、バッファー部１０５からの画像信号及び第２過去バッファー部１１６からの過去の１つあるいは複数フレームフレームの画像信号を用いて第２の動き量を検出する。
なお、第１動き検出部１０８は、前述したように空間ノイズ低減処理後の画像信号を用いて第１の動き量を検出する。これに対して、第２動き検出部１１７は、空間ノイズ低減処理がされていない画像信号を用いて第２の動き量を検出する。第２動き検出部１１７は、検出した第２の動き量を（図１の時間ノイズ低減部１０９に対応する）時間ノイズ低減部１１０９に転送する。
なお、第１動き検出部１０８は、前述したように空間ノイズ低減処理後の画像信号を用いて第１の動き量を検出する。これに対して、第２動き検出部１１７は、空間ノイズ低減処理がされていない画像信号を用いて第２の動き量を検出する。第２動き検出部１１７は、検出した第２の動き量を（図１の時間ノイズ低減部１０９に対応する）時間ノイズ低減部１１０９に転送する。
なお、第１の実施形態でも説明したが、図１６における動画像ノイズ低減処理部９９Ｂを構成する例えば空間ノイズ低減部１０６等、動画像ノイズ低減処理部９９Ｂを構成する複数の構成要素の１つ或いは複数をソフトウェアを用いて構成しても良い。
ソフトウェアを用いて構成する場合には例えば図１６における制御部１１２内の記録媒体等に、その動作を行う画像処理プログラム１１２ｂを格納するようにしても良い。そして、制御部１１２を構成するＣＰＵがその画像処理プログラム１１２ｂを読み込み、その画像処理プログラム１１２ｂに従って対応する構成要素の動作をソフトウェアで行う。
ソフトウェアを用いて構成する場合には例えば図１６における制御部１１２内の記録媒体等に、その動作を行う画像処理プログラム１１２ｂを格納するようにしても良い。そして、制御部１１２を構成するＣＰＵがその画像処理プログラム１１２ｂを読み込み、その画像処理プログラム１１２ｂに従って対応する構成要素の動作をソフトウェアで行う。
なお、後述するように制御部１１２の外部のコンピュータ等が画像処理プログラム１１２ｂを読み込みソフトウェアで実行するようにしても良い。
図１７は、第２動き検出部１１７の構成の一例を示す。この第２動き検出部１１７は、差分算出部７０１及び差分平滑部７０２から構成される。
第２過去バッファー部１１６及びバッファー部１０５は、差分算出部７０１及び差分平滑部７０２を介して時間ノイズ低減部１１０９と接続されている。ROM１１１は、差分平滑部７０２と接続されている。制御部１１２は、差分算出部７０１及び差分平滑部７０２と双方向に接続されている。
差分算出部７０１は、制御部１１２の制御に基づき、バッファー部１０５からの現在フレームの画像信号に対し、第２過去バッファー部１１６からの過去の１フレームの画像信号を用いて、減算処理で画素ごとの差分信号を算出する。
図１７は、第２動き検出部１１７の構成の一例を示す。この第２動き検出部１１７は、差分算出部７０１及び差分平滑部７０２から構成される。
第２過去バッファー部１１６及びバッファー部１０５は、差分算出部７０１及び差分平滑部７０２を介して時間ノイズ低減部１１０９と接続されている。ROM１１１は、差分平滑部７０２と接続されている。制御部１１２は、差分算出部７０１及び差分平滑部７０２と双方向に接続されている。
差分算出部７０１は、制御部１１２の制御に基づき、バッファー部１０５からの現在フレームの画像信号に対し、第２過去バッファー部１１６からの過去の１フレームの画像信号を用いて、減算処理で画素ごとの差分信号を算出する。
差分算出部７０１は、算出した差分信号を差分平滑部７０２に転送する。差分平滑部７０２は、制御部１１２の制御により、差分算出部３０１からの差分信号に対して平滑処理を行う。
差分平滑部７０２は、例えば、図４に示されているフィルタＦ１〜Ｆ４を用いて公知の平滑処理を行う。本実施形態では、平滑処理の効果を高めるために、バイラテラルフィルタを適用する。
バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
本実施形態では、空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、ノイズ成分を平滑化する効果がある。差分平滑部７０２は、平滑処理後の差分信号を第２の動き量信号として時間ノイズ低減部１１０９に転送する。
差分平滑部７０２は、例えば、図４に示されているフィルタＦ１〜Ｆ４を用いて公知の平滑処理を行う。本実施形態では、平滑処理の効果を高めるために、バイラテラルフィルタを適用する。
バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
本実施形態では、空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、ノイズ成分を平滑化する効果がある。差分平滑部７０２は、平滑処理後の差分信号を第２の動き量信号として時間ノイズ低減部１１０９に転送する。
図１８は、時間ノイズ低減部１１０９の構成の一例を示す。この時間ノイズ低減部１１０９は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２の他に、（画像信号と相関する相関情報を検出する相関情報検出部となる）エッジを検出するエッジ検出部４０４及び動き混合部４０５を備えた構成である。
バッファー部１０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２を介して出力部１１０と接続されている。また、バッファー部１０５は、時間ノイズ除去部４０２及びエッジ検出部４０４と接続されている。
第１動き検出部１０８及び第２動き検出部１１７は、動き混合部４０５と接続され、この動き混合部４０５は、第１の動き量及び第２の動き量を所定の混合率で混合することにより、第３の動き量を算出する第３の動き量推定手段を形成する。
バッファー部１０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２を介して出力部１１０と接続されている。また、バッファー部１０５は、時間ノイズ除去部４０２及びエッジ検出部４０４と接続されている。
第１動き検出部１０８及び第２動き検出部１１７は、動き混合部４０５と接続され、この動き混合部４０５は、第１の動き量及び第２の動き量を所定の混合率で混合することにより、第３の動き量を算出する第３の動き量推定手段を形成する。
動き混合部４０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
ROM１１１は、時間ノイズ検出部４０１、時間ノイズ除去部４０２及び動き混合部４０５と接続されている。出力保存部１１４は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
相関情報検出部の１つの構成例としてのエッジ検出部４０４は、動き混合部４０５と接続されている。温度センサー部１１５は、時間ノイズ検出部４０１と接続されている。制御部１１２は、時間ノイズ検出部４０１、時間ノイズ除去部４０２、動き混合部４０５及びエッジ検出部４０４と双方向に接続されている。
ROM１１１は、時間ノイズ検出部４０１、時間ノイズ除去部４０２及び動き混合部４０５と接続されている。出力保存部１１４は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
相関情報検出部の１つの構成例としてのエッジ検出部４０４は、動き混合部４０５と接続されている。温度センサー部１１５は、時間ノイズ検出部４０１と接続されている。制御部１１２は、時間ノイズ検出部４０１、時間ノイズ除去部４０２、動き混合部４０５及びエッジ検出部４０４と双方向に接続されている。
本実施形態においては、画像信号からその画像信号と相関性を有する相関情報としてのエッジ情報を検出するエッジ検出部４０４を相関情報検出部として備えている。
相関情報検出部としては、エッジ情報を検出するのもに限定されるものでなく、後述する色情報の検出手段でも良い。
次にこの時間ノイズ低減部１１０９の作用を説明する。
エッジ検出部４０４は、制御部１１２の制御に基づき、バッファー部１０５からの現在フレームの画像信号を用いて公知のエッジ検出処理を行う。
本実施形態では、図１９に示されているように縦（垂直）方向の微分フィルタＦｖと、横（水平）方向の微分フィルタＦｈを用いてエッジ検出処理を行う。
相関情報検出部としては、エッジ情報を検出するのもに限定されるものでなく、後述する色情報の検出手段でも良い。
次にこの時間ノイズ低減部１１０９の作用を説明する。
エッジ検出部４０４は、制御部１１２の制御に基づき、バッファー部１０５からの現在フレームの画像信号を用いて公知のエッジ検出処理を行う。
本実施形態では、図１９に示されているように縦（垂直）方向の微分フィルタＦｖと、横（水平）方向の微分フィルタＦｈを用いてエッジ検出処理を行う。
各画素における横方向の差分をΔｘｆ（ｉ，ｊ）、縦方向の差分をΔｙｆ（ｉ，ｊ）、としたとき、（Δｘｆ（ｉ，ｊ）,Δｙｆ（ｉ，ｊ））は、画素値の勾配を表わす。
以下の式９に基づき、画素毎の勾配の大きさ（エッジ強度）Ｅｇを算出する。算出したエッジ強度Ｅｇの情報を動き混合部４０５へ転送する。
以下の式９に基づき、画素毎の勾配の大きさ（エッジ強度）Ｅｇを算出する。算出したエッジ強度Ｅｇの情報を動き混合部４０５へ転送する。
Ｅｇ＝｛（Δｘｆ（ｉ，ｊ））２＋（Δｙｆ（ｉ，ｊ））２｝１／２ （式９）
動き混合部４０５は、エッジ検出部４０４からのエッジ強度Ｅｇの情報に基づき、第１動き検出部１０８からの第１の動き量信号と第２の動き検出部１１７からの第２の動き量信号の混合処理を行う。
図２０は、動き混合部４０５の構成の一例を示す。この動き混合部４０５は、混合率設定部８０１及び混合処理部８０２から構成される。
動き混合部４０５は、エッジ検出部４０４からのエッジ強度Ｅｇの情報に基づき、第１動き検出部１０８からの第１の動き量信号と第２の動き検出部１１７からの第２の動き量信号の混合処理を行う。
図２０は、動き混合部４０５の構成の一例を示す。この動き混合部４０５は、混合率設定部８０１及び混合処理部８０２から構成される。
エッジ検出部４０４は、混合率設定部８０１及び混合処理部８０２を介して時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。第１動き検出部１０８及び第２動き検出部１１７は、混合処理部８０２と接続されている。 ROM１１１は、混合率設定部８０１及び混合処理部８０２と接続されている。制御部１１２は、混合率設定部８０１及び混合処理部８０２と双方向に接続されている。
次にこの動き混合部４０５の作用を説明する。
本実施形態では、混合率設定部８０１は、制御部１１２の制御に基づき、エッジ検出部４０４からのエッジ強度を用いて、画素毎にROM１１１からのエッジ強度閾値Etと比較して第１の動き量信号と第２の動き量信号の混合率を設定する。
次にこの動き混合部４０５の作用を説明する。
本実施形態では、混合率設定部８０１は、制御部１１２の制御に基づき、エッジ検出部４０４からのエッジ強度を用いて、画素毎にROM１１１からのエッジ強度閾値Etと比較して第１の動き量信号と第２の動き量信号の混合率を設定する。
混合率設定部８０１は、画素ごとのエッジ強度Egがエッジ強度閾値Etより大きい場合、第１動き検出部１０８からの第２の動き量信号の混合率をMix１に、第２動き検出部１１７からの第２の動き量信号の混合率をMix２に設定する。
一方、混合率設定部８０１は、画素ごとのエッジ強度Egがエッジ強度閾値Etより小さい場合、第１動き検出部からの第２の動き量信号の混合率をMix１’に、第２動き検出部からの第２の動き量信号の混合率をMix２’に設定する。
但し、以下の式１０の条件を満たすようにして設定する。
Mix１ + Mix２ = １
Mix１’+ Mix２’= １
Mix１ <= Mix１’, Mix２ >= Mix２’ （式１０）
そして、混合率設定部８０１は、設定した混合率を混合処理部８０２へ転送する。
一方、混合率設定部８０１は、画素ごとのエッジ強度Egがエッジ強度閾値Etより小さい場合、第１動き検出部からの第２の動き量信号の混合率をMix１’に、第２動き検出部からの第２の動き量信号の混合率をMix２’に設定する。
但し、以下の式１０の条件を満たすようにして設定する。
Mix１ + Mix２ = １
Mix１’+ Mix２’= １
Mix１ <= Mix１’, Mix２ >= Mix２’ （式１０）
そして、混合率設定部８０１は、設定した混合率を混合処理部８０２へ転送する。
混合処理部８０２は、制御部１１２に基づき、式１１により、転送されてきた混合率を用いて、第１動き検出部１０８からの第１の動き量信号と第２動き検出部１１７からの第２の動き量信号との混合処理を行う。
MoveMix = Move１ * Mix１ + Move２ * Mix２
MoveMix = Move１ * Mix１’ + Move２ * Mix２’ (式１１)
（ここで、MoveMixは混合処理後の動き量信号値、Move１は第１の動き量信号値、Move２は第２の動き量信号値）
混合処理部８０２は、混合処理後の動き量信号を第３の動き量信号として、時間ノイズ検出部４０１及び時間ノイズ除去部４０２に転送する。
MoveMix = Move１ * Mix１ + Move２ * Mix２
MoveMix = Move１ * Mix１’ + Move２ * Mix２’ (式１１)
（ここで、MoveMixは混合処理後の動き量信号値、Move１は第１の動き量信号値、Move２は第２の動き量信号値）
混合処理部８０２は、混合処理後の動き量信号を第３の動き量信号として、時間ノイズ検出部４０１及び時間ノイズ除去部４０２に転送する。
空間ノイズ低減処理において、ノイズ平滑処理により画像信号エッジ部がなまってしまう可能性がある。従って、エッジのある画像領域においては、空間ノイズ低減処理後の画像信号から抽出された第２の動き量信号の抽出精度に影響を与える。
これを解決するために、上記の構成では、まず、画像信号からエッジ強度を検出する。次に、画像信号及び過去フレームの画像信号を用いて第２の動き量信号を算出する。
そして、画素毎のエッジ強度Egに基づき、第１の動き量信号と第２動き信号の混合率を設定し、動き混合処理を行う。こうして、エッジ強度Egの大きさに応じて動き量信号を算出することにより、エッジ成分を保持しながら、高精度に動き量信号を抽出することが可能となる。
これを解決するために、上記の構成では、まず、画像信号からエッジ強度を検出する。次に、画像信号及び過去フレームの画像信号を用いて第２の動き量信号を算出する。
そして、画素毎のエッジ強度Egに基づき、第１の動き量信号と第２動き信号の混合率を設定し、動き混合処理を行う。こうして、エッジ強度Egの大きさに応じて動き量信号を算出することにより、エッジ成分を保持しながら、高精度に動き量信号を抽出することが可能となる。
上記の構成では、エッジ強度Egに応じて第１の動き量信号と第２の動き量信号の混合率を設定し混合処理を行うが、この構成の場合に限定されるものでない。
例えば、医療関連の内視鏡画像において、毛細血管、病変体などの特定色領域においては、微細構造を保持しながらノイズレベルを抑えることが望まれる。これを実現するための時間ノイズ低減処理の変形例を説明する。
図２１は、図１８の時間ノイズ低減処理部１１０９の変形例の時間ノイズ低減処理部１１０９Ｂの構成を示す。この時間ノイズ低減処理部１１０９Ｂは、図１８の構成におけるエッジ検出部４０４の代わりに、色検出部４０６を設けた構成としている。また、動き混合部４０５の代わりの（変形例の）動き混合部４０５Ｂを採用している。
例えば、医療関連の内視鏡画像において、毛細血管、病変体などの特定色領域においては、微細構造を保持しながらノイズレベルを抑えることが望まれる。これを実現するための時間ノイズ低減処理の変形例を説明する。
図２１は、図１８の時間ノイズ低減処理部１１０９の変形例の時間ノイズ低減処理部１１０９Ｂの構成を示す。この時間ノイズ低減処理部１１０９Ｂは、図１８の構成におけるエッジ検出部４０４の代わりに、色検出部４０６を設けた構成としている。また、動き混合部４０５の代わりの（変形例の）動き混合部４０５Ｂを採用している。
バッファー部１０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２を介して出力部１１０と接続されている。バッファー部１０５は、時間ノイズ除去部４０２及び色検出部４０６と接続されている。
第１動き検出部１０８及び第２動き検出部１１７は、動き混合部４０５Ｂと接続されている。動き混合部４０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
ROM１１１は、時間ノイズ検出部４０１、時間ノイズ除去部４０２、動き混合部４０５及び色検出部４０６と接続されている。出力保存部１１４は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
第１動き検出部１０８及び第２動き検出部１１７は、動き混合部４０５Ｂと接続されている。動き混合部４０５は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
ROM１１１は、時間ノイズ検出部４０１、時間ノイズ除去部４０２、動き混合部４０５及び色検出部４０６と接続されている。出力保存部１１４は、時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。
色検出部４０６は、動き混合部４０５Ｂと接続されている。温度センサー部１１５は、時間ノイズ検出部４０１と接続されている。制御部１１２は、時間ノイズ検出部４０１、時間ノイズ除去部４０２、動き混合部４０５Ｂ及び色検出部４０６と双方向に接続されている。
次に色検出部４０６を備えた時間ノイズ低減処理部１１０９Ｂの作用を説明する。
色検出部４０６は、制御部１１２の制御により、バッファー部１０５からの現在フレームの画像信号を用いて公知の色情報検出処理を行う。
色検出部４０６は、まず、式１２に基づき、バッファー部１０５からのＲＧＢの画像信号から色差信号CrCbを算出し、動き混合部４０５Ｂへ転送する。
Crij = b１ * Rij + b２ * Gij + b３ * Bij
Cbij = b４ * Rij + b５ * Gij + b６ * Bij （式１２）
（ここで、Cbij、Crij：画素色差値 b１〜b６：定数 Rij：R信号 Gij：G信号 Bij：B信号 ｉ、ｊ：画像信号の座標値）
図２２は、図２１に示す変形例の時間ノイズ低減部１１０９Ｂの構成の場合に対応した変形例の動き混合部４０５Ｂの構成例を示す。
次に色検出部４０６を備えた時間ノイズ低減処理部１１０９Ｂの作用を説明する。
色検出部４０６は、制御部１１２の制御により、バッファー部１０５からの現在フレームの画像信号を用いて公知の色情報検出処理を行う。
色検出部４０６は、まず、式１２に基づき、バッファー部１０５からのＲＧＢの画像信号から色差信号CrCbを算出し、動き混合部４０５Ｂへ転送する。
Crij = b１ * Rij + b２ * Gij + b３ * Bij
Cbij = b４ * Rij + b５ * Gij + b６ * Bij （式１２）
（ここで、Cbij、Crij：画素色差値 b１〜b６：定数 Rij：R信号 Gij：G信号 Bij：B信号 ｉ、ｊ：画像信号の座標値）
図２２は、図２１に示す変形例の時間ノイズ低減部１１０９Ｂの構成の場合に対応した変形例の動き混合部４０５Ｂの構成例を示す。
色検出部４０６は、混合率設定部９０１及び混合処理部９０２を介して時間ノイズ検出部４０１及び時間ノイズ除去部４０２と接続されている。第１動き検出部１０８及び第２動き検出部１１７は、混合処理部９０２と接続されている。
ROM１１１は、混合率設定部９０１及び混合処理部９０２と接続されている。制御部１１２は、混合率設定部９０１及び混合処理部９０２と双方向に接続されている。
次にこの動き混合部４０５Ｂの作用を説明する。
この動き混合部４０５Ｂにおいては、混合率設定部９０１は、制御部１１２の制御に基づき画素毎に、以下の式１３により色差信号CrCbから構成される色領域の色差角度を算出する。
ROM１１１は、混合率設定部９０１及び混合処理部９０２と接続されている。制御部１１２は、混合率設定部９０１及び混合処理部９０２と双方向に接続されている。
次にこの動き混合部４０５Ｂの作用を説明する。
この動き混合部４０５Ｂにおいては、混合率設定部９０１は、制御部１１２の制御に基づき画素毎に、以下の式１３により色差信号CrCbから構成される色領域の色差角度を算出する。
次に、混合率設定部９０１は、ROM１１１から注目エッジ領域S（例えば、内視鏡画像の場合、血管、病変体の特定領域など）が対応する所定色差領域であるかを判断する閾値（T１、T２）を抽出する。続いて、式１４に基づき上記算出された色差角度が所定の色領域に入っているか否かを判断（色判断）する。
Angleij = arctg(Cbij / Crij) （式１３）
（ここで、arctgはアークタンジェントを返す関数である）
T１ < Angleij < T２ （式１４）
（T１、T２はある色分割領域の角度閾値である）
図２３は、色差信号Cr、Cbの色領域において式１３により算出された色差角度が、閾値T１、T２による所定の色領域に入っている判断結果の図を示す。
Angleij = arctg(Cbij / Crij) （式１３）
（ここで、arctgはアークタンジェントを返す関数である）
T１ < Angleij < T２ （式１４）
（T１、T２はある色分割領域の角度閾値である）
図２３は、色差信号Cr、Cbの色領域において式１３により算出された色差角度が、閾値T１、T２による所定の色領域に入っている判断結果の図を示す。
そして、混合率設定部９０１は、制御部１１２の制御に基づき、上記の色判断の情報を用いて、画素毎にROM１１１から第１の動き量信号と第２の動き量信号の混合率を設定する。
混合率設定部９０１は、色差信号値が所定色量域に入っている場合、第１動き検出部からの第２の動き量信号の混合率をMix１に、第２動き検出部からの第２の動き量信号の混合率をMix２に設定する。
一方、混合率設定部９０１は、色差信号値が所定色量域に入っていない場合、第１動き検出部からの第２の動き量信号の混合率をMix１’に、第２動き検出部からの第２の動き量信号の混合率をMix２’に設定する。但し、上記式１０の条件を満たす必要がある。
混合率設定部９０１は、色差信号値が所定色量域に入っている場合、第１動き検出部からの第２の動き量信号の混合率をMix１に、第２動き検出部からの第２の動き量信号の混合率をMix２に設定する。
一方、混合率設定部９０１は、色差信号値が所定色量域に入っていない場合、第１動き検出部からの第２の動き量信号の混合率をMix１’に、第２動き検出部からの第２の動き量信号の混合率をMix２’に設定する。但し、上記式１０の条件を満たす必要がある。
混合率設定部９０１は、設定した混合率を混合処理部９０２へ転送する。混合処理部９０２は、制御部１１２に基づき、式１１で転送されてきた混合率を用いて、第１動き検出部１０８からの第１の動き量信号と第２動き検出部１１７からの第２の動き量信号との混合処理を行う。
そして、混合処理部９０２は、混合処理後の動き量信号を時間ノイズ検出部４０１及び時間ノイズ除去部４０２へ転送する。
本実施形態は、第１の実施形態と同じように、時間ノイズ検出部４０１において混合処理後の動き量信号に基づき、ノイズ量を検出し、時間ノイズ除去部４０２において式７に基づき時間ノイズ低減処理を行う。なお、減衰係数を設定して、式８に基づき時間ノイズ低減処理を行ってもよい。
そして、混合処理部９０２は、混合処理後の動き量信号を時間ノイズ検出部４０１及び時間ノイズ除去部４０２へ転送する。
本実施形態は、第１の実施形態と同じように、時間ノイズ検出部４０１において混合処理後の動き量信号に基づき、ノイズ量を検出し、時間ノイズ除去部４０２において式７に基づき時間ノイズ低減処理を行う。なお、減衰係数を設定して、式８に基づき時間ノイズ低減処理を行ってもよい。
このように、内視鏡画像を処理する場合、式１０に基づき、血管、病変体の特定領域及びそれ以外の領域に対してそれぞれ第１の動き量信号及び第２の動き量信号の混合率を設定して混合することで、上記特定領域の繊細な部分を保持しながら、高精度に動き検出することが可能になる。
以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。
例えば、動画像撮像部９８を構成するＣＣＤ１０２からの信号を未処理のままのロー（RAW）データとしてメモリカードなどの記録媒体に記録するとともに、制御部１１２からの撮像時の撮像条件の情報（ISO感度やホワイトバランス係数など）をヘッダ情報等として記録媒体に記録しておく。
以上説明した本実施形態における画像信号処理は、ハードウェアにより実現しているが、このような構成に限定される必要がない。
例えば、動画像撮像部９８を構成するＣＣＤ１０２からの信号を未処理のままのロー（RAW）データとしてメモリカードなどの記録媒体に記録するとともに、制御部１１２からの撮像時の撮像条件の情報（ISO感度やホワイトバランス係数など）をヘッダ情報等として記録媒体に記録しておく。
そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、動画像撮像部９８からコンピュータへの各種情報の転送は、上述と同様に、記録媒体を介して行うに限らず、通信回線などを介して行うようにしても構わない。
図２４は、本実施形態における画像処理プログラムに従ってＰＣにより実行される処理手順を示すフローチャートである。
この処理を開始すると、まず、Step６１においてＰＣは、画像信号や撮像条件の情報などを読み込むとともに、本画像処理プログラムが予め備えている時間ノイズモデル及び空間ノイズモデルなどの情報も読み込んで、Step６２、Step６５、及びStep６６進む。
図２４は、本実施形態における画像処理プログラムに従ってＰＣにより実行される処理手順を示すフローチャートである。
この処理を開始すると、まず、Step６１においてＰＣは、画像信号や撮像条件の情報などを読み込むとともに、本画像処理プログラムが予め備えている時間ノイズモデル及び空間ノイズモデルなどの情報も読み込んで、Step６２、Step６５、及びStep６６進む。
このStep６１の処理は、動画撮像装置９７Ｂにおいて、被写体を撮像した画像信号を取得する処理に相当している。
次のStep６２においてＰＣは、画像処理プログラムが予め備えている空間ノイズモデルに基づき、画像信号に対して空間方向の空間ノイズ低減処理を行い、Step６３及びStep６４へ進む。
続くStep６３においてＰＣは、Step６２からの空間ノイズ低減処理後の画像信号及びStep６４からの第１過去フレームの空間ノイズ低減処理後の画像信号に基づき、第１動き検出処理を行い、Step６７へ進む。
また、Step６４においてＰＣは、空間ノイズ低減処理後の画像信号をメモリに一時保存する。このStep６４においては、１つあるいは複数フレームの空間ノイズ低減処理後の画像信号が第１過去の画像信号として保存されていて、Step６２から画像信号が転送されるに伴い順次に上書きされる。
次のStep６２においてＰＣは、画像処理プログラムが予め備えている空間ノイズモデルに基づき、画像信号に対して空間方向の空間ノイズ低減処理を行い、Step６３及びStep６４へ進む。
続くStep６３においてＰＣは、Step６２からの空間ノイズ低減処理後の画像信号及びStep６４からの第１過去フレームの空間ノイズ低減処理後の画像信号に基づき、第１動き検出処理を行い、Step６７へ進む。
また、Step６４においてＰＣは、空間ノイズ低減処理後の画像信号をメモリに一時保存する。このStep６４においては、１つあるいは複数フレームの空間ノイズ低減処理後の画像信号が第１過去の画像信号として保存されていて、Step６２から画像信号が転送されるに伴い順次に上書きされる。
Step６５においてＰＣは、画像信号及びStep６６からの第２過去フレームの画像信号に基づき第２動き検出処理を行い、Step６７へ進む。また、Step６６においてＰＣは、画像信号をメモリに一時保存する。
このStep６６においては、１つあるいは複数フレームの画像信号が第２過去の画像信号として保存されていて、Step６１から画像信号が転送されることに伴い順次に上書きされる。
続くStep６７においてＰＣは、画像処理プログラムが予め備えている時間ノイズモデルに基づき、Step６１からの画像信号に対し、Step６３からの第１の動き量信号及びStep６５からの第２の動き量信号に基づき、時間方向ノイズ低減処理を行い、Step６８及びStep６９へ進む。
このStep６６においては、１つあるいは複数フレームの画像信号が第２過去の画像信号として保存されていて、Step６１から画像信号が転送されることに伴い順次に上書きされる。
続くStep６７においてＰＣは、画像処理プログラムが予め備えている時間ノイズモデルに基づき、Step６１からの画像信号に対し、Step６３からの第１の動き量信号及びStep６５からの第２の動き量信号に基づき、時間方向ノイズ低減処理を行い、Step６８及びStep６９へ進む。
次のStep６８においてＰＣは、次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。ここで、所定枚数の時間ノイズ低減処理後の過去フレームの画像信号が保存されている。
ＰＣは、時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに所定の保存枚数を保持する同時に、一番古い画像信号に新しい画像信号を順次上書きする。
最後のStep６９においてＰＣは、時間ノイズ低減処理後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカードなどに保存したりした後、図２４の処理を終了する。
ＰＣは、時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに所定の保存枚数を保持する同時に、一番古い画像信号に新しい画像信号を順次上書きする。
最後のStep６９においてＰＣは、時間ノイズ低減処理後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカードなどに保存したりした後、図２４の処理を終了する。
図２５は、本実施形態における第２動き検出部１１７の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step７１においてＰＣは、現在フレームの画像信号と過去フレームの画像信号を用いて、画素毎に減算処理で差分値を算出し、Step７２へ進む。
次のStep７２においてＰＣは、差分値に対して、公知の平滑処理を行う、例えば、図４に示されているフィルタＦ１−Ｆ４を用いて公知の平滑処理を行う。また、平滑処理の効果を高めるために、バイラテラルフィルタを適用することも可能である。
バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
この処理を開始すると、まず、Step７１においてＰＣは、現在フレームの画像信号と過去フレームの画像信号を用いて、画素毎に減算処理で差分値を算出し、Step７２へ進む。
次のStep７２においてＰＣは、差分値に対して、公知の平滑処理を行う、例えば、図４に示されているフィルタＦ１−Ｆ４を用いて公知の平滑処理を行う。また、平滑処理の効果を高めるために、バイラテラルフィルタを適用することも可能である。
バイラテラルフィルタは、通常画像信号の平滑処理において、画像信号中のエッジの部分を保持しつつ、ノイズなどによる微細な変動を平滑する特徴を持っている。
空間ノイズ低減処理後の画像信号の差分信号に対してバイラテラルフィルタを適用するため、差分信号中の動き成分を保持しながら、空間ノイズ低減処理の後にまだ残されているノイズ成分を平滑化する効果がある。
このStep７２の処理が完了したら、その後は図２４に示した処理へ復帰する。
図２６は、本実施形態における時間ノイズ低減部１１０９の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step８１においてＰＣは、現在フレームの画像信号、第１の動き量信号及び第２の動き量信号、ＣＣＤの温度情報などを読み込み、Step８２へ進む。
このStep７２の処理が完了したら、その後は図２４に示した処理へ復帰する。
図２６は、本実施形態における時間ノイズ低減部１１０９の画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step８１においてＰＣは、現在フレームの画像信号、第１の動き量信号及び第２の動き量信号、ＣＣＤの温度情報などを読み込み、Step８２へ進む。
続くStep８２においてＰＣは、画像信号に対して、公知のエッジ検出処理を行い、Step８３へ進む。例えば、図１９に示されている縦方向微分フィルタＦｖ及び横方向微分フィルタＦｈを用いてエッジ検出処理を行い、式９で画素毎のエッジ強度を算出する。
次のStep８３においてＰＣは、第１の動き量信号、第２の動き量信号及びエッジ強度情報に基づき、式１３、１４で判断して式１０、１１で動き量信号の混合処理を行い、Step８４へ進む。なお、この混合処理は、第３の動き量（信号）を算出する第３の動き量推定処理に相当する。
そして、Step８４においてＰＣは、現在フレームの画像信号に対して、混合処理後の動き量信号（換言すると第３の動き量信号）、ＣＣＤの温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step８５へ進む。
次のStep８３においてＰＣは、第１の動き量信号、第２の動き量信号及びエッジ強度情報に基づき、式１３、１４で判断して式１０、１１で動き量信号の混合処理を行い、Step８４へ進む。なお、この混合処理は、第３の動き量（信号）を算出する第３の動き量推定処理に相当する。
そして、Step８４においてＰＣは、現在フレームの画像信号に対して、混合処理後の動き量信号（換言すると第３の動き量信号）、ＣＣＤの温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step８５へ進む。
最後のStep８５においてＰＣは、現在フレームの画像信号に対して、Step８４からの時間ノイズ量、混合処理後の動き量信号に基づき、時間ノイズ低減処理を行う。そして、次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。
このStep８５の処理が完了したら、その後は図２４に示した処理へ復帰する。
図２７は、本実施形態における時間ノイズ低減部１１０９Ｂの画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step９１においてＰＣは、現在フレームの画像信号、第１の動き量信号及び第２の動き量信号、ＣＣＤ１０２の温度情報などを読み込み、Step９２へ進む。
このStep８５の処理が完了したら、その後は図２４に示した処理へ復帰する。
図２７は、本実施形態における時間ノイズ低減部１１０９Ｂの画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step９１においてＰＣは、現在フレームの画像信号、第１の動き量信号及び第２の動き量信号、ＣＣＤ１０２の温度情報などを読み込み、Step９２へ進む。
続くStep９２においてＰＣは、画像信号に対して、公知の色検出処理を行い、Step９３へ進む。例えば、式１２用いて現在フレームのＲＧＢの画像信号から色差信号CrCbを算出する。
次のStep９３においてＰＣは、第１の動き量信号、第２の動き量信号及び色情報に基づき、式１３、１４で判断して式１０、１１で動き量信号の混合処理（第３の動き量推定処理）を行い、Step９４へ進む。
そして、Step９４においてＰＣは、現在フレームの画像信号に対して、混合処理後の動き量信号、ＣＣＤ１０２の温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step９５へ進む。
次のStep９３においてＰＣは、第１の動き量信号、第２の動き量信号及び色情報に基づき、式１３、１４で判断して式１０、１１で動き量信号の混合処理（第３の動き量推定処理）を行い、Step９４へ進む。
そして、Step９４においてＰＣは、現在フレームの画像信号に対して、混合処理後の動き量信号、ＣＣＤ１０２の温度情報、及び時間ノイズ低減処理後の１つ以上過去フレームの時間ノイズ低減処理後の画像信号に基づき、画素毎に時間ノイズ量を推定し、Step９５へ進む。
最後のStep９５においてＰＣは、現在フレームの画像信号に対して、Step９４からの時間ノイズ量、混合処理後の動き量信号に基づき、時間ノイズ低減処理を行う。そして、ＰＣは、次のフレームのノイズ低減処理用に、このフレームの時間ノイズ低減処理後の画像信号を過去フレームの画像信号としてメモリに保存する。このStep９５の処理が完了したら、その後は図２４に示した処理へ復帰する。
図２８は、本実施形態における動き混合部４０５Ｂの画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step１０１においてＰＣは、画像信号のCrCb色差信号、つまり色情報、第１の動き量信号及び第２の動き量信号などを読み込み、Step１０２へ進む。
図２８は、本実施形態における動き混合部４０５Ｂの画像処理プログラムのフローチャートである。
この処理を開始すると、まず、Step１０１においてＰＣは、画像信号のCrCb色差信号、つまり色情報、第１の動き量信号及び第２の動き量信号などを読み込み、Step１０２へ進む。
続くStep１０２においてＰＣは、色差信号に基づいて画素毎の第１の動き量信号及び第２の動き量の混合率を設定し、Step１０３へ進む。具体的には、信号式１３で色差信号Cr、Cbから構成される色領域の色差角度を算出する。
次にＰＣは、注目エッジ領域S（例えば、内視鏡画像の場合、血管、病変体のエッジ領域など）が対応する所定色差領域であるかを判断する閾値（T１、T２）を用いて、式１４に基づき上記算出された色差角度は所定の色領域に入っているか否かを判断する（図２３参照）。
さらにＰＣは、式１０に基づき、色差信号値が所定色量域に入っている場合、第１動き検出部からの第２の動き量信号に対応する混合率をMix１に、第２動き検出部からの第２の動き量信号に対応する混合率をMix２に設定する。
次にＰＣは、注目エッジ領域S（例えば、内視鏡画像の場合、血管、病変体のエッジ領域など）が対応する所定色差領域であるかを判断する閾値（T１、T２）を用いて、式１４に基づき上記算出された色差角度は所定の色領域に入っているか否かを判断する（図２３参照）。
さらにＰＣは、式１０に基づき、色差信号値が所定色量域に入っている場合、第１動き検出部からの第２の動き量信号に対応する混合率をMix１に、第２動き検出部からの第２の動き量信号に対応する混合率をMix２に設定する。
一方、ＰＣは、色差信号値が所定色量域に入っていない場合、第１動き検出部からの第２の動き量信号に対応する混合率をMix１’に、第２動き検出部からの第２の動き量信号に対応する混合率をMix２’に設定する。
次のStep１０３においてＰＣは、、Step１０２からの画素毎の第１の動き量信号及び第２の動き量信号、及びそれらに対応する混合率を用いて、式１１で混合処理を行う。そして、、第３の動き量信号が算出される。
このStep１０３の処理が完了したら、その後は図２７に示した処理へ復帰する。
本実施形態によれば、第１の実施形態の効果の他に、第２の動き量に基づきより柔軟性に富むノイズ低減処理が可能となり、より高品位の画像信号を得ることができる。
次のStep１０３においてＰＣは、、Step１０２からの画素毎の第１の動き量信号及び第２の動き量信号、及びそれらに対応する混合率を用いて、式１１で混合処理を行う。そして、、第３の動き量信号が算出される。
このStep１０３の処理が完了したら、その後は図２７に示した処理へ復帰する。
本実施形態によれば、第１の実施形態の効果の他に、第２の動き量に基づきより柔軟性に富むノイズ低減処理が可能となり、より高品位の画像信号を得ることができる。
撮像装置により撮像された動画像を構成する時系列の画像信号のノイズを低減する。
９７、９７Ｂ…動画像撮像装置、９８…動画像撮像部、９９、９９Ｂ…動画像ノイズ低減処理部、１００…レンズ系、１０２…ＣＣＤ、１０３…アンプ、１０４…Ａ／Ｄ変換器、１０５…バッファー部、１０６…空間ノイズ低減部、１０７…第１過去バッファー部、１０８…第１動き検出部、１０９、１１０９…時間ノイズ低減部、１１０…出力部、１１１…ＲＯＭ、１１２…制御部、１１３…外部Ｉ／Ｆ部、１１４…出力保存部、１１５…温度センサー部、１１６…第２過去バッファー部、１１７…第２動き検出部、２０１…空間ノイズ検出部、２０２…空間ノイズ除去部、３０１、７０１…差分算出部、３０２、７０２…差分平滑部、４０１…時間ノイズ検出部、４０２…時間ノイズ除去部、４０４…エッジ検出部、４０５、４０５Ｂ…動き混合部、４０６…色検出部、６０１…減衰係数選択部、６０２…時間ノイズ消去部、８０１、９０１…混合率設定部、８０２、９０２…混合処理部
Claims (28)
- デジタル化された動画像を構成する時系列の画像信号画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減部と、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減部と、
を有することを特徴とする動画像ノイズ低減処理装置。 - デジタル化された動画像を構成する時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減部と、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定部と、
上記画像信号に対して、過去のフレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定部と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減部と、
を有することを特徴とする動画像ノイズ低減処理装置。 - 上記空間ノイズ低減部は、
空間領域のノイズモデルに基づき注目画素のノイズ量を検出する空間ノイズ量検出部と、
上記空間ノイズ量検出部により検出した上記空間ノイズ量に基づき、上記画像信号に対して注目画素のノイズ除去処理を行う空間ノイズ除去処理と、
を有することを特徴とする請求項１又は２に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ低減部は、
上記第１の動き量及び上記第２の動き量に基づき、第３の動き量を推定する第３の動き量推定部を有することを特徴とする請求項２に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ低減部は、
上記画像信号からエッジ情報及び色情報の少なくとも一つの相関情報を検出する上記画像信号の相関情報検出部と、
上記画像信号の相関情報、上記第１の動き量及び上記第２の動き量に基づき第３の動き量を推定する第３の動き量推定部と、
を有することを特徴とする請求項２に記載の動画像ノイズ低減処理装置。 - 上記第１の動き量推定部は、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて画素毎に差分信号を算出する差分信号算出部を有することを特徴とする請求項１又は２に記載の動画像ノイズ低減処理装置。 - 上記第１の動き量推定部は、
上記差分信号に対して平滑処理を行う平滑処理部を更に有することを特徴とする請求項６に記載の動画像ノイズ低減処理装置。 - 上記第２の動き量推定部は、
上記画像信号に対して、過去のフレーム／フィールドの画像信号を用いて画素毎に差分信号を算出する差分信号算出部を有することを特徴とする請求項２に記載の動画像ノイズ低減処理装置。 - 上記第２の動き量推定部は、
上記差分信号に対して平滑処理を行う平滑処理部を更に有することを特徴とする請求項８に記載の動画像ノイズ低減処理装置。 - 上記平滑処理部は、
バイラテラルフィルタを適用して平滑処理を行うことを特徴とする請求項７又は９に記載の動画像ノイズ低減処理装置。 - 上記平滑処理部は、
所定サイズの平均化フィルタ或は所定サイズの重み付平均化フィルタ中のいずれか一つを用いることを更に有することを特徴とする請求項７又は９に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ低減部は、
上記第１の動き量に基づき、時間ノイズ低減処理の減衰係数を設定し、時間ノイズ低減処理を行うことを特徴とする請求項１又は２に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ低減部は、
上記第１の動き量、第２の動き量、及び第３の動き量の少なくとも一つに基づき、時間ノイズ低減処理の減衰係数を設定し時間ノイズ低減処理を行うことを特徴とする請求項２又は４又は５に記載の動画像ノイズ低減処理装置。 - 上記第３の動き量推定部は、
所定の混合率で上記第１の動き量及び第２の動き量を混合し、上記第３の動き量を算出する算出部を有することを特徴とする請求項４又は５に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ低減部は、
時間領域のノイズモデルに基づき注目画素のノイズ量を検出する時間ノイズ量検出部と、
上記時間ノイズ量検出部で検出した上記時間ノイズ量に基づき、上記画像信号に対して注目画素のノイズ除去処理を行う時間ノイズ除去部と、
を有することを特徴とする請求項１に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズ量検出部は、
上記画像信号に基づき注目画素の代表値を推定する代表値推定部と、
上記撮像素子の温度または上記画像信号に対するゲインに関する情報を収集する収集部と、
上記代表値推定部で推定した注目画素の代表値及び上記収集部からの情報を用いて上記時間ノイズモデルに基づき時間ノイズ量を算出する時間ノイズ量算出部と、
を有することを特徴とする請求項１５に記載の動画像ノイズ低減処理装置。 - 上記代表値推定部は、
上記注目画素の信号値、及び上記注目画素に対応する過去のフレーム／フィールド中の画像信号の信号値に基づき、代表値を算出する代表値算出部を有することを特徴とする請求項１６に記載の動画像ノイズ低減処理装置。 - 上記代表値推定部は、
上記注目画素の信号値、及び上記注目画素に対応する過去のフレーム／フィールド中の上記時間ノイズ低減処理後の画像信号の信号値に基づき、代表値を算出する代表値算出部を有することを特徴とする請求項１６に記載の動画像ノイズ低減処理装置。 - 上記時間ノイズモデルは
上記画像信号の輝度信号、或は色信号の信号値を用いて、上記撮像素子の温度または上記画像信号に対するゲインのうち少なくとも一つの情報に基づいて上記時間ノイズ量を換算するノイズ量換算部を有することを特徴とする請求項１５に記載の動画像ノイズ低減処理装置。 - コンピュータに、デジタル化された時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減処理手順と、
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１動き量推定手順と、
上記画像信号に対して、上記第１の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする画像処理プログラム。 - コンピュータに、デジタル化された時系列の画像信号に対して、空間方向でのノイズ低減処理としての空間ノイズ低減処理を行う空間ノイズ低減処理手順と、
上記空間ノイズ低減処理後の画像信号に対して、過去フレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて上記画像信号の第１の動き量を推定する第１の動き量推定手順と、
上記画像信号に対して、過去フレーム／フィールドの画像信号を用いて上記画像信号の第２の動き量を推定する第２の動き量推定手順と、
上記画像信号に対して、上記第１の動き量及び第２の動き量に基づき時間方向でのノイズ低減処理としての時間ノイズ低減処理を行う時間ノイズ低減処理手順と、
を実行させることを特徴とする画像処理プログラム。 - 上記時間ノイズ低減処理手順は、
上記第１の動き量及び上記第２の動き量に基づき、第３の動き量を推定する第３の動き量推定手順を有することを特徴とする請求項２１に記載の画像処理プログラム。 - 上記時間ノイズ低減処理手順は、
上記画像信号からエッジ情報及び色情報の少なくとも一つの相関情報を検出する上記画像信号の相関情報検出手順と、
上記画像信号の相関情報、上記第１の動き量及び上記第２の動き量に基づき第３の動き量を推定する第３の動き量推定手順と、
を有することを特徴とする請求項２１に記載の画像処理プログラム。 - 上記第１の動き量推定手順は、
上記空間ノイズ低減処理後の画像信号に対して、過去のフレーム／フィールドの空間ノイズ低減処理後の画像信号を用いて画素毎に算出された差分信号に対して平滑処理を行う平滑処理手順を更に有することを特徴とする請求項２１に記載の画像処理プログラム。 - 上記第２の動き量推定手順は、
上記画像信号に対して、過去のフレーム／フィールドの画像信号を用いて画素毎に算出された差分信号に対して平滑処理を行う平滑処理手順を更に有することを特徴とする請求項２１に記載の画像処理プログラム。 - 上記時間ノイズ低減処理手順は、
上記第１の動き量に基づき、時間ノイズ低減処理の減衰係数を設定し、時間ノイズ低減処理を行うことを特徴とする請求項２０又は２１に記載の画像処理プログラム。 - 上記時間ノイズ低減処理手順は、
上記第１の動き量、第２の動き量、及び第３の動き量の少なくとも一つに基づき、時間ノイズ低減処理の減衰係数を設定し時間ノイズ低減処理を行うことを特徴とする請求項２１又は２２又は２３に記載の画像処理プログラム。 - 上記第３の動き量推定手順は、
所定の混合率で上記第１の動き量及び第２の動き量を混合し、上記第３の動き量を算出する算出手順を有することを特徴とする請求項２２又は２３に記載の画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009013335A JP2010171808A (ja) | 2009-01-23 | 2009-01-23 | 動画像ノイズ低減処理装置及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009013335A JP2010171808A (ja) | 2009-01-23 | 2009-01-23 | 動画像ノイズ低減処理装置及び画像処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010171808A true JP2010171808A (ja) | 2010-08-05 |
Family
ID=42703488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009013335A Withdrawn JP2010171808A (ja) | 2009-01-23 | 2009-01-23 | 動画像ノイズ低減処理装置及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010171808A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012043840A1 (en) * | 2010-09-30 | 2012-04-05 | Sharp Kabushiki Kaisha | Methods and systems for image processing |
| WO2013051593A1 (ja) * | 2011-10-04 | 2013-04-11 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
| CN103139448A (zh) * | 2011-11-22 | 2013-06-05 | 华晶科技股份有限公司 | 影像处理装置及其处理方法 |
-
2009
- 2009-01-23 JP JP2009013335A patent/JP2010171808A/ja not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012043840A1 (en) * | 2010-09-30 | 2012-04-05 | Sharp Kabushiki Kaisha | Methods and systems for image processing |
| US8427583B2 (en) | 2010-09-30 | 2013-04-23 | Sharp Laboratories Of America, Inc. | Automatic parameter control for spatial-temporal filter |
| WO2013051593A1 (ja) * | 2011-10-04 | 2013-04-11 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
| JP2013078460A (ja) * | 2011-10-04 | 2013-05-02 | Olympus Corp | 画像処理装置、内視鏡装置及び画像処理方法 |
| US9613402B2 (en) | 2011-10-04 | 2017-04-04 | Olympus Corporation | Image processing device, endoscope system, image processing method, and computer-readable storage device |
| CN103139448A (zh) * | 2011-11-22 | 2013-06-05 | 华晶科技股份有限公司 | 影像处理装置及其处理方法 |
| CN103139448B (zh) * | 2011-11-22 | 2016-02-03 | 华晶科技股份有限公司 | 影像处理装置及其处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| JP5052319B2 (ja) | 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法 | |
| JP4925198B2 (ja) | 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム | |
| US8982232B2 (en) | Image processing apparatus and image processing method | |
| JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| JP2004522372A (ja) | 時空間適応的雑音除去／高画質復元方法及びこれを応用した高画質映像入力装置 | |
| EP2088788B1 (en) | Image picking-up processing device, image picking-up device, image processing method and computer program | |
| US20120314946A1 (en) | Image processing apparatus, image processing method, and program | |
| US20130077862A1 (en) | Image processing apparatus, image processing method and program | |
| JP2006121521A (ja) | 撮像装置および画像処理プログラム | |
| US7916187B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5561112B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2010500125A (ja) | デジタル画像のノイズを低減する方法 | |
| JP2006319781A (ja) | 画像処理装置、画像処理プログラム | |
| JP2008263507A (ja) | 映像処理装置及び映像処理プログラム | |
| KR101493694B1 (ko) | 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체 | |
| JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
| JP2010171808A (ja) | 動画像ノイズ低減処理装置及び画像処理プログラム | |
| CN108353169B (zh) | 图像处理装置、具备该图像处理装置的脉搏估计系统以及图像处理方法 | |
| JP2005318126A5 (ja) | ||
| JP2010147840A (ja) | 画像処理装置及び撮像装置 | |
| JP2010124321A (ja) | 動画像ノイズ低減処理装置、動画像ノイズ低減処理プログラム及び動画像ノイズ低減処理方法 | |
| JP2003158744A (ja) | 画素キズ検出・補正装置およびそれを用いた撮像装置 | |
| JP2003348382A (ja) | 輪郭強調回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120403 |