JP2012238212A - 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2012238212A
JP2012238212A JP2011107306A JP2011107306A JP2012238212A JP 2012238212 A JP2012238212 A JP 2012238212A JP 2011107306 A JP2011107306 A JP 2011107306A JP 2011107306 A JP2011107306 A JP 2011107306A JP 2012238212 A JP2012238212 A JP 2012238212A
Authority
JP
Japan
Prior art keywords
noise
screen
addition ratio
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011107306A
Other languages
English (en)
Inventor
Hideyuki Ichihashi
英之 市橋
Takahiro Nagano
隆浩 永野
Nobuhiro Ogawa
延浩 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011107306A priority Critical patent/JP2012238212A/ja
Priority to US13/456,736 priority patent/US8824782B2/en
Publication of JP2012238212A publication Critical patent/JP2012238212A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】どのような画像に対しても常に高いノイズ低減効果を得ることができるようにする。
【解決手段】ＮＲ画面に対する動き補償が行われ、ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、入力画面を構成する所定の領域の画素値と、動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における巡回履歴が特定され、ノイズ、差分特徴量、および巡回履歴に対応する加算比率が、教師画像の画素値、入力画面において対応する画素値、および動き補償されたＮＲ画面において対応する画素値とに基づいて演算され、演算された加算比率に応じて定まる係数を乗じることにより、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面に前記時間加算ノイズ低減処理が施される。
【選択図】図１２

Description

本技術は、加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、どのような画像に対しても常に高いノイズ低減効果を得ることができるようにする加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。
このような映像信号の特性を利用してノイズを低減する装置として、１フレーム前の画像の動きを検出して補償しながら、ノイズを低減するフレーム巡回型ノイズ低減装置がある。
従来のノイズ低減装置は、例えば、画像の動き成分や画像に含まれるノイズ量に応じて加算比率を変え、加算比率に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成とされている。従って、動き補償した対応画素を累積的に加重平均することとなり、残像の発生を防止しながらノイズを低減できるようになされている。
また、複数枚の画像を、動き補償しながら加算することにより、時間方向のノイズ低減処理を行うとともに、加算に先立ち、それぞれの画像について、１枚の画像内における空間方向のノイズ低減処理を行う技術も提案されている（例えば、特許文献１参照）。
特許文献１によれば、空間方向のノイズ低減の強さを、加算する複数枚の画像に対して可変させるようにすることができ、面内ＮＲ処理と加算ＮＲ処理とを施す場合に、ノイズ低減効果と信号成分の保存との両立を図ることができる。
また、入力映像信号において信号レベルが急激に変化した後のフィールド数、フレーム数をカウントし、このカウント値に応じて加算比率が順次増大するように動的に加算比率を制御する技術も提案されている（例えば、特許文献２参照）。
特開２０１０−１７１７５３号公報 特開２００７−３２９５２４号公報
しかしながら、従来の技術では、加算比率を制御するに際して、単一のパラメータ（例えば、ノイズ量）しか考慮されていなかった。
従って、従来の技術では、どのような画像に対しても常に高いノイズ低減効果を得ることが難しかった。
本技術はこのような状況に鑑みて開示するものであり、どのような画像に対しても常に高いノイズ低減効果を得ることができるようにするものである。
本技術の第１の側面は、教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置である。
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、前記加算比率演算部は、前記クラスコードに対応する加算比率を演算するようにすることができる。
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備えるようにすることができる。
前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算するようにすることができる。
複数の前記加算比率演算部を有し、前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算するようにすることができる。
本技術の第１の側面は、ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む加算比率学習方法である。
本技術の第１の側面は、コンピュータを、教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させるプログラムである。
本技術の第１の側面においては、教師画像として入力される画像のデータに対してノイズが付加され、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴が特定され、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率が、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算され、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
本技術の第２の側面は、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置である。
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、前記加算比率決定部は、前記クラスコードに対応する加算比率を決定するようにすることができる。
巡回履歴特定部は、予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットするようにすることができる。
巡回履歴特定部は、前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットするようにすることができる。
本発明の第２の側面は、動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む画像処理方法である。
本発明の第２の側面は、コンピュータを、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させるプログラムである。
本技術の第２の側面においては、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズが計測され、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量が算出され、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴が特定され、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率が決定され、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
本技術によれば、どのような画像に対しても常に高いノイズ低減効果を得ることができる。
時間加算ノイズ低減処理を説明する図である。 従来のＩＩＲフィルタの構成例を示すブロック図である。 差分特徴量を説明する図である。 σ＝５のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 σ＝１０のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 σ＝１５のノイズを付加した画像を用いて求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を示すグラフである。 本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。 図８の加算比率算出部の詳細な構成例を示すブロック図である。 図８のノイズ低減装置に対応する加算比率学習装置の構成例を示すブロック図である。 図１０の加算比率学習部の詳細な構成例を示すブロック図である。 加算比率学習処理の例を説明するフローチャートである。 時間加算ノイズ低減処理の例を説明するフローチャートである。 図１０の加算比率学習部の別の構成例を示すブロック図である。 σ＝５のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 σ＝１０のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 σ＝１５のノイズを付加した画像を用い、異なる巡回履歴において求められた加算比率の差分特徴量に応じた変化を説明するグラフである。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
最初に時間加算ノイズ低減（時間加算ＮＲ）処理について説明する。時間加算ノイズ低減処理は、フレーム巡回型ノイズ低減処理とも称される。
例えば、動画の映像信号（画像信号）は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。このような画像信号の特性を利用してノイズを低減する方式が、フレーム巡回型ノイズ低減処理である。フレーム巡回型ノイズ低減処理を行うノイズ低減装置は、ＩＩＲ（Infinite impulse response）フィルタとも称される。
いま、フレーム１、フレーム２、・・・フレームｎにおけるノイズの標準偏差がσである場合を考える。
フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の全画素を、Ｘ1、Ｘ2、・・・Ｘnで表し、画素の分散を求める関数をＶで表すと、各フレームの画面におけるノイズ量は、式（１）により表される。
Figure 2012238212
 ・・・（１）
なお、式（１）におけるσの二乗が各フレームの画面におけるノイズ量を表すことになる。
また、フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の画素値の平均値は、式（２）により表される。
Figure 2012238212
 ・・・（２）
そうすると、対数の法則より式（３）が導出される。
Figure 2012238212
 ・・・（３）
式（３）より、フレーム１、フレーム２、・・・フレームｎの画素値を加算していくことによりノイズを低減できることが分かる。
すなわち、図１に示されるように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。時間加算ノイズ低減処理では、このようにして画像のノイズを低減（Noise Reduction：ＮＲ）するようになされている。
図２は、従来のＩＩＲフィルタの構成例を示すブロック図である。同図におけるＩＩＲフィルタ２０は、入力端子３１から入力された動画像のノイズを低減し、出力端子３２から出力するようになされている。
図２のＩＩＲフィルタ２０は、ノイズ計測部４１、加算比率算出部４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部４３、乗算器４４、乗算器４５、加算器４６、およびバッファ４７を有する構成とされている。
入力端子３１から入力された第ｎ番目のフレーム（以下、適宜入力画面と称することにする）ノイズ計測部４１とＭＥ／ＭＣ部４３に入力される。
ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給する。例えば、ノイズ計測部４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出する。そして、乗算器４５には係数αが供給され、乗算器４４には係数（１−α）が供給される。
バッファ４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
ＭＥ／ＭＣ部４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部４２、乗算器４５、ノイズ計測部４１に出力する。
乗算器４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
乗算器４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
加算器４６は、乗算器４４と乗算器４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子３２から出力される。
このようにして、ＩＩＲフィルタ２０による時間加算ノイズ低減処理が施される。
ところで、加算比率算出部４２から出力される加算比率αは、事前に学習させておくとよい。すなわち、ノイズの標準偏差σの値に応じた最適な加算比率αを予め学習により求めて記憶させておくとよい。
この場合、複数種類のノイズに対応する教師画像と生徒画像のペアを用意し最適な加算比率を算出することで学習を行わせる。例えば、教師画像Ｔに対して標準偏差σ1のノイズを付加した画像Ｘを用意し、画像Ｘに対して時間加算ノイズ低減処理を施したＮＲ画像を得て生徒画像とする。
いま、教師画像Ｔの画素をｔとし、ノイズが付加された第ｎ番目のフレームの画像Ｘnの画素をｘnとし、動き補償されたＮＲ画像の画素をｘn-1とすると理想的には（加算比率αが最適である場合）式（４）が成立する。
Figure 2012238212
 ・・・（４）
教師画像と生徒画像において対応する画素をそれぞれ抽出し、式（４）に各画素値を代入することで得られる線形一次式のサンプルを多数生成する。なお、いまの場合、ノイズが付加された画像の画素と、動き補償後のＮＲ画面の画素とが生徒画像の画素として抽出される。そして、それらのサンプルを足し込むとともに、線形一次式の係数を最小二乗法により算出する。すなわち、式（５）に示される演算によって、最適な加算比率αが算出される。
Figure 2012238212
 ・・・（５）
式（５）により算出されたαは、標準偏差σ1のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合に最適な加算比率と言える。
同様にして、例えば、教師画像Ｔに対して標準偏差σ2のノイズを付加した画像Ｘを用意し、画像Ｘに対して時間加算ノイズ低減処理を施したＮＲ画像を得る。そして、上述したように、式（４）および式（５）により標準偏差σ2のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合に最適な加算比率を算出することができる。
このようにして、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズが付加された画像に対して時間加算ノイズ低減処理を施す場合について、それぞれ最適な加算比率を算出することができる。
しかしながら、最適な加算比率は、どのフレームの画像、どの部分の画像に対しても一様に定まるものではないことが分かっている。例えば、第ｎ−１番目のフレームと第ｎ番目のフレームとの間での動き予測および動き補償が正確になされている場合、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができる。一方で、第ｎ−１番目のフレームと第ｎ番目のフレームとの間での動き予測および動き補償が正確になされていない場合、加算比率を小さくして入力画面の画素に重み付けした方がより高画質の画像を得ることができる。
このように、最適な加算比率を算出するに際して、例えば、動き予測および動き補償の誤り（動き誤り）なども考慮しなければ、どのフレームの画像、どの部分の画像でも適切にノイズを低減することはできない。
そこで、本技術では、動き誤りなどを考慮するためのパラメータとして、差分特徴量を用いることにする。
差分特徴量は、次のようにして求められる。
例えば、図３に示されるように動き補償されたＮＲ画面と入力画面との間で対応する画素で構成される９×９画素のブロック間差分絶対値和を算出する。なお、同図において矢印によりＮＲ画面と入力画面とで対応する矩形のブロックがそれぞれ示されている。
例えば、第ｎ番目のフレーム（入力画面）の画素をｘnとし、動き補償されたＮＲ画像の画素をｘn-1とすると、差分特徴量ｄは、式（６）により求められる。
Figure 2012238212
 ・・・（６）
すなわち、式（６）に示されるように、例えば、ブロック内の対応する８１（＝９×９）個の画素どうしの差分の平均値の絶対値を差分特徴量として算出する。このようにすることで、ブロック毎の差分特徴量を算出することができる。
例えば、人物の輪郭線の部分などが白く表示されており、動き誤りが生じやすい部分において差分特徴量の値が大きくなる。
図４は、上述したように、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、同図においては１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図４に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至８程度の部分で急峻な右下がりの形状とされている。すなわち、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。
つまり、動き誤りが小さければ、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができる。一方、動き誤りが大きければ、加算比率を小さくして入力画面の画素に重み付けした方がより高画質の画像を得ることができる。
図５は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、図６と同様に、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図５においても図４と同様に１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図５に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至１２程度の部分で急峻な右下がりの形状とされている。すなわち、図４の場合と同様に、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。しかし、図４の場合と異なり、急峻な右下がりの形状となる部分がやや広い範囲となっている。
図６は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、図６と同様に、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図６においても図４と同様に１０種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なるコンテンツに対応するものとされる。すなわち、図６に示されるグラフは、１０種類のコンテンツにおいて、それぞれ教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
同図に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至１９程度の部分で急峻な右下がりの形状とされている。すなわち、図４、図５の場合と同様に、どのコンテンツにおいても、差分特徴量の値が小さい場合、学習により求められた加算比率の値が大きくなり、差分特徴量の値が大きい場合、学習により求められた加算比率の値が小さくなっている。しかし、図５の場合より、急峻な右下がりの形状となる部分がさらに広い範囲となっている。
図４乃至図６に示されるグラフより、最適な加算比率を学習により求める場合、学習パラメータとしてノイズだけでなく、差分特徴量も含める方が効果的であることが分かる。
しかしながら、最適な加算比率を学習により求める場合、学習パラメータとして、ノイズと差分特徴量を含めるだけでは、必ずしも十分とは言えない。最適な加算比率は、巡回履歴に応じて異なる値となるからである。
図７は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図７においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図７に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
ここで、巡回履歴は、例えば、図２のバッファ４７に保持されるＮＲ画面が何回の時間方向の加算により得られたものであるかを表すものとされる。例えば、動画像の最初のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は０となり、次のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は１となる。
図７に示されるように、どの線においても図中右下がりの形状が示されており、差分特徴量の値が略０乃至８程度の部分で急峻な右下がりの形状とされている。しかし、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど加算比率の値が大きくなっている（加算比率が上昇している）ことが分かる。
すなわち、図１を参照して上述したように、加算するフレームが増えるほど、ＮＲ画面のノイズが低減されるので、加算比率を大きくしてＮＲ画面の画素に重み付けした方がより高画質の画像を得ることができるのである。
図４乃至図７に示されるグラフより、最適な加算比率を学習により求める場合、学習パラメータとしてノイズと差分特徴量だけでなく、巡回履歴も含める方が効果的であることが分かる。
そこで、本技術においては、最適な加算比率を学習により求めるに際して、学習パラメータとして、ノイズ、差分特徴量、および巡回履歴を与えることにする。すなわち、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じた加算比率を学習によって求めることとする。
図８は、本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置１２０は、例えば、ＩＩＲフィルタとして構成される。
図８のノイズ低減装置（ＩＩＲフィルタ）１２０は、ノイズ計測部１４１、加算比率算出部１４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部１４３、乗算器１４４、乗算器１４５、加算器１４６、およびバッファ１４７を有する構成とされている。
入力端子１３１から入力された第ｎ番目のフレーム（入力画面）は、ノイズ計測部１４１とＭＥ／ＭＣ部１４３に入力される。
ノイズ計測部１４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部１４２に供給する。例えば、ノイズ計測部１４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
加算比率算出部１４２は、後述するように加算比率αを算出する。そして、乗算器１４５には係数αが供給され、乗算器１４４には係数（１−α）が供給される。
バッファ１４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
ＭＥ／ＭＣ部１４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部１４２、乗算器１４５、ノイズ計測部１４１に出力する。
乗算器１４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
乗算器１４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
加算器１４６は、乗算器１４４と乗算器１４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子１３２から出力される。
図９は、図８の加算比率算出部１４２の詳細な構成例を示すブロック図である。同図に示されるように加算比率算出部１４２は、ノイズ検知部１６１、差分特徴量算出部１６２、巡回履歴カウント部１６３、クラスコード決定部１６４、および加算比率決定部１６５を有している。
ノイズ検知部１６１は、ノイズ計測部１４１から供給されるノイズの標準偏差σの値を検知し、クラスコード決定部１６４に供給する。
差分特徴量算出部１６２は、入力端子１３１から入力された入力画面とＭＥ／ＭＣ部１４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素（注目画素）の差分特徴量を算出する。そして、差分特徴量算出部１６２は、算出した差分特徴量をクラスコード決定部１６４に供給する。
巡回履歴カウント部１６３は、時間加算ノイズ低減処理における巡回履歴をカウントし、巡回履歴をクラスコード決定部１６４に供給する。
クラスコード決定部１６４は、ノイズ検知部１６１から供給されたノイズの標準偏差σの値、差分特徴量算出部１６２から供給された差分特徴量の値、巡回履歴カウント部１６３から供給された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
加算比率決定部１６５は、クラスコード決定部１６４から供給されたクラスコードに基づいて最適な加算比率αを決定する。なお、最適な加算比率αは、処理対象の画素毎に決定される。
加算比率決定部１６５には、予め学習により求められた加算比率であって、各クラスコードに応じた加算比率が記憶されている。これにより、加算比率決定部１６５は、処理対象の画素についてのノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率を選択し、最適な加算比率αを決定する。
そして、加算比率決定部１６５から係数値αが乗算器１４５に供給され、係数値（１−α）は、乗算器１４４に供給される。
このようにして、ＩＩＲフィルタ１２０による時間加算ノイズ低減処理が施される。
図１０は、図８のノイズ低減装置に対応する加算比率学習装置の構成例を示すブロック図である。
図１０の加算比率学習装置２２０は、ノイズ付加部２４１、加算比率学習部２４２、ＭＥ／ＭＣ部２４３、乗算器２４４、乗算器２４５、および加算器２４６を有する構成とされている。
加算比率学習装置２２０の場合、入力端子２３１から教師画像としての動画の画像データが入力される。入力端子２３１から入力されたフレームは、ノイズ付加部２４１と加算比率学習部２４２に入力される。
ノイズ付加部２４１は、入力されたフレームに所定のノイズを付加するようになされている。ノイズ付加部２４１は、例えば、ユーザの設定に従って複数のノイズ量のノイズを付加する。ノイズ付加部２４１は、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズを、ユーザの設定に応じて付加するようになされている。
また、ノイズ付加部２４１は、付加したノイズの標準偏差の値を加算比率学習部２４２に供給するようになされている。
ノイズ付加部２４１から出力された第ｎ番目のフレームは、入力画面として加算比率学習部２４２、ＭＥ／ＭＣ部２４３、および乗算器２４４に入力される。
加算比率学習部２４２は、後述するように加算比率αを学習する。そして、加算比率学習部２４２は、学習結果として得られた加算比率に基づいて、乗算器２４４と乗算器２４５に係数を供給する。すなわち、乗算器２４５には係数αが供給され、乗算器２４４には係数（１−α）が供給される。
バッファ２４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
ＭＥ／ＭＣ部２４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率学習部２４２と乗算器２４５に出力する。
乗算器２４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
乗算器２４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
加算器２４６は、乗算器２４４と乗算器２４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子２３２から出力される。
図１１は、図１０の加算比率学習部２４２の詳細な構成例を示すブロック図である。同図に示されるように加算比率学習部２４２は、ノイズ検知部２６１、差分特徴量算出部２６２、巡回履歴カウント部２６３、サンプル分類部２６４、加算比率演算部２６５、および加算比率記憶部２６６を有している。
ノイズ検知部２６１は、ノイズ付加部２４１から供給されるノイズの標準偏差σの値を検知し、サンプル分類部２６４に供給する。
差分特徴量算出部２６２は、ノイズ付加部２４１から出力された入力画面とＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素（注目画素）の差分特徴量を算出する。そして、差分特徴量算出部２６２は、算出した差分特徴量をサンプル分類部２６４に供給する。
巡回履歴カウント部２６３は、時間加算ノイズ低減処理における巡回履歴をカウントし、巡回履歴をサンプル分類部２６４に供給する。
サンプル分類部２６４は、ノイズ検知部２６１から供給されたノイズの標準偏差σの値、差分特徴量算出部２６２から供給された差分特徴量の値、巡回履歴カウント部２６３から供給された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
そして、サンプル分類部２６４は、決定されたクラスコード毎に教師画像の画素と生徒画像の画素の組み合わせを抽出する。すなわち、サンプル分類部２６４は、入力端子２３１から供給される教師画像の画素の値と、その画素にノイズ付加部２４１によってノイズが付加された画素の値と、ＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面の画素の値を抽出する。
加算比率演算部２６５は、サンプル分類部２６４から供給された画素値に基づいて式（４）に示される線形一次式のサンプルを生成し、これらのサンプルをクラスコード毎に足しこむ。そして、加算比率演算部２６５は、クラスコード毎に式（５）の演算を行い、加算比率αを算出する。このようにして、例えば、サンプルが足しこまれる都度、加算比率αの値が更新されていく。
なお、充分なサンプルの足しこみが行われた後、クラスコード毎に式（５）の演算が行われ、加算比率αが算出されるようにしてもよい。
加算比率記憶部２６６は、加算比率演算部２６５が算出した加算比率を、各クラスコードに対応付けて記憶するようになされている。これにより、ノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率のそれぞれが学習により得られたことになる。
ここで、加算比率記憶部２６６に記憶されたデータを、図９の加算比率決定部１６５にコピーするなどすれば、図８のノイズ低減装置１２０によって、上述したように、処理対象の画素に応じて最適な加算比率を適用して時間加算ノイズ低減処理を行うことができる。
このようにして、加算比率学習装置２２０による加算比率の学習が行われる。
次に、図１２のフローチャートを参照して、図１０の加算比率学習装置２２０による加算比率処理の例について説明する。
ステップＳ２１において、入力端子２３１から画像のデータが入力される。ここでは、ノイズが付加されていない教師画像のデータが入力される。
ステップＳ２２において、ノイズ付加部２４１は、ステップＳ２１で入力された画像のデータ（フレーム）に所定のノイズを付加する。ノイズ付加部２４１は、例えば、ユーザの設定に従って複数のノイズ量を付加する。ノイズ付加部２４１は、例えば、標準偏差σ1、標準偏差σ2、標準偏差σ3、・・・のノイズを、ユーザの設定に応じて付加するようになされている。
また、ノイズ付加部２４１は、付加したノイズの標準偏差の値を加算比率学習部２４２に供給し、ノイズ検知部２６１が、ノイズ付加部２４１から供給されるノイズの標準偏差σの値を検知し、サンプル分類部２６４に供給する。
ステップＳ２３において、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ２４７に保持されている、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
ステップＳ２４において、差分特徴量算出部２６２は、ノイズ付加部２４１から出力された入力画面とＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素の差分特徴量を算出する。そして、差分特徴量算出部２６２は、算出した差分特徴量をサンプル分類部２６４に供給する。
ステップＳ２５において、巡回履歴カウント部２６３は、時間加算ノイズ低減処理における巡回履歴をカウントして当該処理における巡回履歴を特定し、その巡回履歴をサンプル分類部２６４に供給する。
ステップＳ２６において、サンプル分類部２６４は、ステップＳ２２の処理で付加されたノイズの標準偏差σの値、ステップＳ２４の処理で算出された差分特徴量の値、ステップＳ２５の処理で特定された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。また、このとき、サンプル分類部２６４は、決定されたクラスコード毎に、教師画像の画素の値と、その画素にノイズが付加された画素の値と、ＭＥ／ＭＣ部２４３から出力された動き補償後のＮＲ画面の画素の値をサンプルとして抽出して蓄積する。
ステップＳ２７において、加算比率演算部２６５は、クラスコード毎に加算比率を演算する。このとき、例えば、ステップＳ２６の処理で蓄積されたサンプルに基づいて式（４）のサンプルが生成され、これらのサンプルがクラスコード毎に足しこまれる。そして、クラスコード毎に式（５）の演算を行い、加算比率αが算出される。なお、充分なサンプルの足しこみが行われた後、クラスコード毎に式（５）の演算が行われ、加算比率αが算出されるようにしてもよい。
ステップＳ２８において、加算比率記憶部２６６は、ステップＳ２７の処理で演算された加算比率を、各クラスコードに対応付けて記憶する。これにより、ノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率のそれぞれが学習により得られる。
ステップＳ２９において、ＮＲ画面が生成される。このとき、例えば、ステップＳ２７で算出された加算比率αに基づいて、乗算器２４４が、入力画面の画素ｘnに係数（１−α）を乗じる処理を行い、乗算器２４５が、動き補償されたＮＲ画面の画素ｘn-1に係数αを乗じる処理を行う。そして、加算器２４６は、乗算器２４４と乗算器２４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータ（ＮＲ画面）を生成する。
すなわち、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施される。これにより、第ｎ＋１番目のフレームの各画素に時間加算ノイズ低減処理が施す際に用いられるＮＲ画面が生成されるのである。
なお、生成されたＮＲ画面は、出力端子２３２から出力されるとともに、バッファ２４７に保持される。
その後、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返し実行される。すなわち、学習が完了するまで、上述した処理が繰り返し実行される。
このようにして、加算比率学習処理が実行される。
次に、図１３のフローチャートを参照して、図８のノイズ低減装置１２０による時間加算ノイズ低減処理の例について説明する。なお、いまの場合、ノイズ低減装置１２０の加算比率算出部１４２には、図１２のステップＳ２８の処理で加算比率記憶部２６６に記憶された加算比率の値がコピーされているものとする。
ステップＳ５１において、入力端子１３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
ステップＳ５２において、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ１４７に保持されている、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
ステップＳ５３において、ノイズ計測部１４１は、入力画面のノイズの標準偏差σを算出する。このとき、ノイズ計測部１４１は、例えば、ＮＲ画面を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
また、ノイズ検知部１６１が、ノイズ計測部１４１から供給されるノイズの標準偏差σの値を検知し、クラスコード決定部１６４に供給する。
ステップＳ５４において、差分特徴量算出部１６２は、入力端子１３１から入力された入力画面とＭＥ／ＭＣ部１４３から出力された動き補償後のＮＲ画面とに基づいて、処理対象の画素の差分特徴量を算出する。そして、差分特徴量算出部１６２は、算出した差分特徴量をクラスコード決定部１６４に供給する。
ステップＳ５５において、巡回履歴カウント部１６３は、時間加算ノイズ低減処理における巡回履歴をカウントして特定し、巡回履歴をクラスコード決定部１６４に供給する。
ステップＳ５６において、クラスコード決定部１６４は、ステップＳ５３で計算されたノイズの標準偏差σの値、ステップＳ５４で算出された差分特徴量の値、ステップＳ５５で特定された巡回履歴の値に基づいてクラスコードを決定する。なお、クラスコードは、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じて、処理対象の画素毎に決定される。
ステップＳ５７において、加算比率決定部１６５は、ステップＳ５６の処理で決定されたクラスコードに基づいて最適な加算比率αを決定する。なお、最適な加算比率αは、処理対象の画素毎に決定される。
このとき、加算比率決定部１６５は、例えば、加算比率学習装置２２０の加算比率学習処理によって求められた加算比率であって、各クラスコードに応じた加算比率を読み出すようになされている。これにより、加算比率決定部１６５は、処理対象の画素についてのノイズの標準偏差σの値、差分特徴量の値、巡回履歴の値の組み合わせに対応する加算比率を選択し、最適な加算比率αを決定する。
そして、加算比率決定部１６５から係数値αが乗算器１４５に供給され、係数値（１−α）は、乗算器１４４に供給される。
ステップＳ５８において、ＮＲ画面が生成される。すなわち、乗算器１４４が、入力画面の画素ｘnに係数（１−α）を乗じる処理を行い、乗算器１４５は、動き補償されたＮＲ画面の画素ｘn-1に係数αを乗じる処理を行う。そして、加算器１４６が、乗算器１４４と乗算器１４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。
すなわち、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、第ｎ番目のフレームについてのＮＲ画面が生成されるのである。
なお、生成されたＮＲ画面は、出力端子１３２から出力されるとともに、バッファ１４７に保持される。
このようにして時間加算ノイズ低減処理が実行される。
従来の技術では、加算比率を制御するに際して、単一のパラメータしか考慮されていなかった。従って、従来の技術では、どのような画像に対しても常に高いノイズ低減効果を得ることが難しかった。
これに対して、本技術では、最適な加算比率を学習により求めるに際して、学習パラメータとして、ノイズ、差分特徴量、および巡回履歴を与えるようにした。すなわち、ノイズ、差分特徴量、および巡回履歴の各値の組み合わせに応じた加算比率を学習によって求めることができるようにした。従って、本技術によれば、どのような画像に対しても常に高いノイズ低減効果を得ることができる。
なお、図１０の構成においては、加算比率学習部２４２により全てのクラスコードに対応する加算比率が学習される例について説明したが、例えば、加算比率学習部２４２を、図１４に示されるように構成してもよい。図１４の例では、加算比率学習部２４２の内部に、学習器２８１、学習器２８２、学習器２８３、・・・を有する構成とされている。また、図１４の学習器２８１、学習器２８２、学習器２８３、・・・のそれぞれが、図１１を参照して上述した構成と同様の構成を有するものとする。
すなわち、図１４の例の場合、加算比率学習部２４２において並列的な学習が行われるようになされている。例えば、差分特徴量の値が０以上３未満である場合、学習器２８１により加算比率αが学習され、差分特徴量の値が３以上６未満である場合、学習器２８２により加算比率αが学習され、差分特徴量の値が６以上９未満である場合、学習器２８３により加算比率αが学習され、・・・のように加算比率が学習される。つまり、各学習パラメータの値に基づいて、複数の学習器がクラスコードに対応する加算比率を分担して学習するようにしてもよい。
このように構成することで、例えば、個々の学習器の学習負荷を低減させることができ、結果として時間加算ノイズ低減処理の汎化性能を高めることができる。
ところで、時間加算ノイズ低減処理を施す場合、大きい動き誤りなどが生じた場合、巡回履歴のカウントをリセットするようにした方がよい。
図１５は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図１５においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１５に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
ここで、巡回履歴は、例えば、図８のバッファ１４７に保持されるＮＲ画面が何回の時間方向の加算により得られたものであるかを表すものとされる。例えば、動画像の最初のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は０となり、次のフレームを入力画面として時間加算ノイズ低減処理を施す場合、巡回履歴は１となる。
図１５に示されるように、差分特徴量の値が略０乃至５程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１１の右側の部分（差分特徴量の値が略５程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１１の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
このことから、標準偏差σ＝５の場合、例えば、５を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
図１６は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図１６においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１６に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝１０のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
図１６に示されるように、差分特徴量の値が略０乃至１０程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１２の右側の部分（差分特徴量の値が略１０程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１２の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
このことから、標準偏差σ＝１０の場合、例えば、１０を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
図１７は、最適な加算比率を学習により求めた場合であって、教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を説明するグラフである。同図は、横軸が差分特徴量、縦軸が加算比率とされ、生徒画像を差分特徴量毎に複数の領域に分割するなどして、各領域の画像のノイズを低減させるために最適な加算比率を学習により求め、グラフ化したものである。
なお、図１７においては７種類の線により差分特徴量に応じた加算比率が示されており、各線はそれぞれ異なる巡回履歴に対応するものとされ、それぞれ同一のコンテンツを用いて学習されたものである。すなわち、図１７に示されるグラフは、７種類の異なる巡回履歴において、それぞれ教師画像に対して標準偏差σ＝１５のノイズを付加した画像を用いて求められた最適な加算比率の差分特徴量に応じた変化を示すものである。
図１７に示されるように、差分特徴量の値が略０乃至１５程度の部分で急峻な右下がりの形状とされていが、差分特徴量の値が小さい場合、巡回履歴の値が大きいほど一様に加算比率の値が大きくなっている（加算比率が上昇している）。換言すれば、図中の線分３１３の右側の部分（差分特徴量の値が略１５程度を超える部分）では、加算比率の値が巡回履歴の値と関係なくほぼ一定に変化しているが、線分３１３の左側の部分では加算比率の値が巡回履歴に応じて異なっている。
このことから、標準偏差σ＝１５の場合、例えば、１５を超える差分特徴量の値が検出された場合、巡回履歴をリセットした方がよいといえる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図１８において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１）教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える加算比率学習装置。
（２）前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率演算部は、
前記クラスコードに対応する加算比率を演算する
（１）に記載の加算比率学習装置。
（３）前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備える
（２）に記載の加算比率学習装置。
（４）前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、
前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算する
（２）または（３）に記載の加算比率学習装置。
（５）複数の前記加算比率演算部を有し、
前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算する
（２）乃至（５）のいずれかに記載の加算比率学習装置。
（６）ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、
動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、
時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む加算比率学習方法。
（７）コンピュータを、
教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させる
プログラム。
（８）（７）に記載のプログラムが記録されている記録媒体。
（９）第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
を備える画像処理装置。
（１０）前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
前記加算比率決定部は、前記クラスコードに対応する加算比率を決定する
（９）に記載の画像処理装置。
（１１）巡回履歴特定部は、
予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
（９）または（１０）に記載の画像処理装置。
（１２）巡回履歴特定部は、
前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
（９）乃至（１１）のいずれかに記載の画像処理装置。
（１３）動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、
差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、
時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
（１４）コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させる
プログラム。
（１５）（１４）に記載のプログラムが記録されている記録媒体。
１２０ ノイズ低減装置， １３１ 入力端子， １３２ 出力端子， １４１ ノイズ計測部， １４２ 加算比率算出部， １４３ ＭＥ／ＭＣ部， １４４ 乗算器， １４５ 乗算器， １４６ 加算器， １４７ バッファ， １６１ ノイズ検知部， １６２ 差分特徴量算出部， １６３ 巡回履歴カウント部， １６４ クラスコード決定部， １６５ 加算比率決定部， ２２０ 加算比率学習装置， ２３１ 入力端子， ２３２ 出力端子， ２４１ ノイズ付加部， ２４２ 加算比率学習部， ２４３ ＭＥ／ＭＣ部， ２４４ 乗算器， ２４５ 乗算器， ２４６ 加算器， ２４７ バッファ， ２６１ ノイズ検知部， ２６２ 差分特徴量算出部， ２６３ 巡回履歴カウント部， ２６４ サンプル分類部， ２６５ 加算比率演算部， ２６６ 加算比率記憶部

Claims (15)

  1. 教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
    前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
    前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
    前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
    前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
    前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
    を備える加算比率学習装置。
  2. 前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
    前記加算比率演算部は、
    前記クラスコードに対応する加算比率を演算する
    請求項１に記載の加算比率学習装置。
  3. 前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、
    前記加算比率学習装置による学習結果として、前記加算比率演算部により演算された加算比率を、前記クラスコード毎に記憶する記憶部をさらに備える
    請求項１に記載の加算比率学習装置。
  4. 前記ノイズ、前記差分特徴量、および前記巡回履歴をそれぞれ学習パラメータとし、前記学習パラメータの組み合わせとして得られるクラスコードを決定するクラスコード決定部と、
    前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とを用いて生成される線形一次式のサンプルを、前記クラスコード毎に分類して蓄積するサンプル分類部をさらに備え、
    前記加算比率演算部は、前記サンプルを足し込むとともに、前記線形一次式の係数を最小二乗法によって算出することにより、前記加算比率を演算する
    請求項１に記載の加算比率学習装置。
  5. 複数の前記加算比率演算部を有し、
    前記各学習パラメータの値に基づいて、前記加算比率を前記複数の加算比率演算部が分担して演算する
    請求項１に記載の加算比率学習装置。
  6. ノイズ付加部が、教師画像として入力される画像のデータに対してノイズを付加し、
    動き補償部が、前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
    差分特徴量算出部が、前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
    巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
    加算比率演算部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算し、
    時間加算部が、前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
    を含む加算比率学習方法。
  7. コンピュータを、
    教師画像として入力される画像のデータに対してノイズを付加するノイズ付加部と、
    前記ノイズが付加された第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
    前記ノイズが付加された第ｎ番目のフレームの画像を入力画面とし、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
    前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
    前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を、前記教師画像の画素値、前記入力画面において対応する画素値、および前記動き補償されたＮＲ画面において対応する画素値とに基づいて演算する加算比率演算部と、
    前記演算された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える加算比率学習装置として機能させる
    プログラム。
  8. 請求項７に記載のプログラムが記録されている記録媒体。
  9. 第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
    入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
    前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
    前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
    前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定する加算比率決定部と、
    前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部と
    を備える画像処理装置。
  10. 前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせとして得られるクラスコードを決定するクラスコード決定部をさらに備え、
    前記加算比率決定部は、前記クラスコードに対応する加算比率を決定する
    請求項９に記載の画像処理装置。
  11. 巡回履歴特定部は、
    予め設定された閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
    請求項９に記載の画像処理装置。
  12. 巡回履歴特定部は、
    前記ノイズの量に応じて予め定められた閾値を超える前記差分特徴量が算出された場合、前記巡回履歴のカウントをリセットする
    請求項９に記載の画像処理装置。
  13. 動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
    ノイズ計測部が、入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測し、
    差分特徴量算出部が、前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出し、
    巡回履歴特定部が、前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定し、
    加算比率決定部が、前記ノイズ、前記差分特徴量、および前記巡回履歴に対応する加算比率を決定し、
    時間加算部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
    を含む画像処理方法。
  14. コンピュータを、
    第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
    入力された画像のデータにおいて、第ｎ番目のフレームの画像を入力画面とし、前記入力画面のノイズを計測するノイズ計測部と、
    前記入力画面を構成する所定の領域の画素値と、前記動き補償されたＮＲ画面において対応する領域の画素値とに基づいて差分特徴量を算出する差分特徴量算出部と、
    前記時間加算ノイズ低減処理における巡回履歴をカウントし、当該処理における前記巡回履歴を特定する巡回履歴特定部と、
    前記ノイズ、前記差分特徴量、および前記巡回履歴の組み合わせに対応する加算比率を決定する加算比率決定部と、
    前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算部とを備える画像処理装置として機能させる
    プログラム。
  15. 請求項１４に記載のプログラムが記録されている記録媒体。
JP2011107306A 2011-05-12 2011-05-12 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Withdrawn JP2012238212A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011107306A JP2012238212A (ja) 2011-05-12 2011-05-12 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US13/456,736 US8824782B2 (en) 2011-05-12 2012-04-26 Addition ratio learning apparatus and method, image processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011107306A JP2012238212A (ja) 2011-05-12 2011-05-12 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2012238212A true JP2012238212A (ja) 2012-12-06

Family

ID=47141934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011107306A Withdrawn JP2012238212A (ja) 2011-05-12 2011-05-12 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US8824782B2 (ja)
JP (1) JP2012238212A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10013078B2 (en) * 2014-04-11 2018-07-03 Pixart Imaging Inc. Optical navigation device and failure identification method thereof
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
EP3466051A1 (en) * 2016-05-25 2019-04-10 GoPro, Inc. Three-dimensional noise reduction
JP6723173B2 (ja) * 2017-02-10 2020-07-15 富士フイルム株式会社 画像処理装置、方法およびプログラム
TWI827725B (zh) * 2018-12-07 2024-01-01 日商索尼半導體解決方案公司 圖像處理裝置及圖像處理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295616B2 (en) * 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
JP4857916B2 (ja) 2006-06-06 2012-01-18 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US8766955B2 (en) * 2007-07-25 2014-07-01 Stmicroelectronics, Inc. Methods and apparatus for latency control in display devices
JP4893758B2 (ja) 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置

Also Published As

Publication number Publication date
US8824782B2 (en) 2014-09-02
US20120288187A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
US9454805B2 (en) Method and apparatus for reducing noise of image
JP2012238212A (ja) 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
CN101478637A (zh) 基于历史的空间-时间噪声降低
US20050025244A1 (en) Apparatus for estimating motion considering correlation between blocks and method thereof
US8331710B2 (en) Image processing apparatus and method, learning apparatus and method, and program
US20130016920A1 (en) Image processing device, image processing method, program and recording medium
US8300040B2 (en) Coefficient generating device and method, image generating device and method, and program therefor
US8401340B2 (en) Image processing apparatus and coefficient learning apparatus
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
US8908101B2 (en) Method and apparatus for reducing noise of video
CN116894985B (zh) 半监督图像分类方法及半监督图像分类系统
US8433145B2 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
US20130084024A1 (en) Image processing apparatus, image processing method, program, and recording medium
US20100092044A1 (en) Image Processing Apparatus and Method
EP2136548B1 (en) Image processing apparatus, image processing method, and program
JP2012227791A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2013239108A (ja) 画像処理装置および方法、学習装置および方法、並びに、プログラム
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
WO2004097777A1 (ja) 階調表示装置
JP2013005062A (ja) 画像処理装置、画像処理方法
US11636573B2 (en) Image processing method and image processing device
CN111506753B (zh) 推荐方法、装置、电子设备及可读存储介质
CN109219960A (zh) 视频编码质量平滑度的优化方法、装置、设备及存储介质
CN105872538B (zh) 时域滤波方法和时域滤波装置
US20130211803A1 (en) Method and device for automatic prediction of a value associated with a data tuple

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805