JP2009003599A - 計測装置および方法、プログラム、並びに記録媒体 - Google Patents

計測装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2009003599A
JP2009003599A JP2007162169A JP2007162169A JP2009003599A JP 2009003599 A JP2009003599 A JP 2009003599A JP 2007162169 A JP2007162169 A JP 2007162169A JP 2007162169 A JP2007162169 A JP 2007162169A JP 2009003599 A JP2009003599 A JP 2009003599A
Authority
JP
Japan
Prior art keywords
control information
data
noise
video signal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007162169A
Other languages
English (en)
Other versions
JP4962159B2 (ja
Inventor
Kazunori Kamio
和憲 神尾
Yoshiaki Matsubara
義明 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007162169A priority Critical patent/JP4962159B2/ja
Publication of JP2009003599A publication Critical patent/JP2009003599A/ja
Application granted granted Critical
Publication of JP4962159B2 publication Critical patent/JP4962159B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】より適切なノイズの補正を行うことができるようにする。
【解決手段】入力映像信号は、有効領域制御部２１に供給されてノイズを除去すべき領域に関する制御信号が生成され、有効領域制御部２１から出力される制御信号に基づいてノイズ計測部２２によるノイズの計測が制御される。フレーム差分取得部３１は、フレーム間の対応する画素の輝度値の差分絶対値をそれぞれ演算する。ヒストグラム生成部３２は、フレーム差分取得部３１から出力されるデータに基づいて、ノイズ量を算出するための統計データであるヒストグラムを、有効領域制御部２１から供給される制御信号に基づいて生成する。ノイズ量算出部３３は、ヒストグラム生成部３２から供給されるヒストグラムのデータに基づいて映像信号のノイズ量を算出する。
【選択図】図１

Description

本発明は、計測装置および方法、プログラム、並びに記録媒体に関し、特に、より適切なノイズの補正を行うことができるようにする計測装置および方法、プログラム、並びに記録媒体に関する。
ノイズレベルを画像データ値から算出する方式は多くあり、ある固定値以下の時間的差分をノイズと定義する方式、その応用として動き補正をした後に同様の判別をする方式、画像データを周波数成分に変換して、ある固定パワー以下をノイズと定義する方式などがある。
また、固定値を用いずにノイズを判別する方式として入力映像信号を画面上で複数の小さなブロックに分割し、分割された各小ブロックの画素毎に、映像信号と各前記小ブロック内で時間軸方向に平均化した信号との差分を求め、それら差分の分布をあらかじめＳ／Ｎ値検出用に用意した統計的分布則のノイズ分布と比較して有意度を求め、有意度ありと判定された当該小ブロックの差分によるＳ／Ｎ値の発生頻度を求め、その発生頻度の分布から有効なＳ／Ｎ値を検出することも提案されている（例えば、特許文献１参照）。
さらに、１番小さな揺らぎ集合をノイズと仮定する方式、画像の動き補正をした後に同様のノイズの判別を行う方式もある。
特開平８−２０１４６４号公報
しかしながら、従来の技術では、画像データの各画素値からノイズ量を算出するものであり、このようにして得られたノイズ量は、実際に人が認識するノイズのレベルとは異なることがある。例えば、数値として同じノイズ量であったとしても、動きの小さい画像、エッジの少ない画像などの場合、人はノイズが多いと感じ、動きの大きい画像、エッジの多い画像などの場合、人はノイズが少ないと感じる。
すなわち、動きの小さい画像やエッジの少ない画像（例えば、画面の中で、同じオブジェクトが同じ場所に大きく、長時間写っている画像など）は、ある程度の時間同じ画像が表示され続けるので微小な変化を感じやすくなる。
また、画像の中でも、例えば、人間の顔の部分など、人が注目する部分のノイズは、微小であっても気になる。
本発明はこのような状況に鑑みてなされたものであり、より適切なノイズの補正を行うことができるようにするものである。
本発明の一側面は、映像信号のノイズレベルを計測する計測装置であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置である。
前記差分データ取得手段は、前記制御情報が生成された複数の領域のそれぞれについて、前記領域の時間的に前の画素の値と、時間的に後の画素の値との差分値を前記差分データとして取得し、前記ヒストグラムデータ生成手段は、前記複数の領域のそれぞれの画素の値の差分値の頻度に、当該領域の前記制御情報に対応して定まる係数を乗じて前記画素の値の差分値の頻度を設定し、前記ヒストグラムデータを生成するようにすることができる。
前記制御情報生成手段は、前記領域における画像のエッジ数に基づいて前記制御情報を生成するようにすることができる。
前記制御情報生成手段は、前記領域の画像に、予め定められたオブジェクトが存在するか否かを表す情報に基づいて前記制御情報を生成するようにすることができる。
前記制御情報生成手段は、前記領域における画素の輝度に基づいて前記制御情報を生成するようにすることができる。
前記制御情報生成手段は、前記領域における画素の動き量に基づいて前記制御情報を生成するようにすることができる。
本発明の一側面は、映像信号のノイズレベルを計測する計測装置の計測方法であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し、前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するステップを含む計測方法である。
本発明の一側面は、コンピュータに映像信号のノイズレベルを計測させるプログラムであって、コンピュータを、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置として機能させるプログラムである。
本発明の一側面においては、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報が生成され、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データが、それぞれ取得され、前記取得された前記差分データのヒストグラムデータが、前記生成された制御情報に基づいて生成され、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量が算出される。
本発明によれば、より適切なノイズの補正を行うことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の計測装置は、映像信号のノイズレベルを計測する計測装置（例えば、図１のノイズレベル計測装置１０）であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段（例えば、図１の有効領域制御部２１）と、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段（例えば、図１のフレーム差分取得部３１）と、前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段（例えば、図１のヒストグラム生成部３２）と、前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段（例えば、図１のノイズ量算出部３３）とを備える。
この計測装置は、前記制御情報生成手段が、前記領域の画像に、予め定められたオブジェクト（例えば、顔画像）が存在するか否かを表す情報に基づいて前記制御情報を生成するようにすることができる。
本発明の一側面の計測方法は、映像信号のノイズレベルを計測する計測装置（例えば、図１のノイズレベル計測装置１０）の計測方法であって、入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し（例えば、図３のステップＳ１１の処理）、前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し（例えば、図３のステップＳ１２の処理）、前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し（例えば、図３のステップＳ１３およびステップＳ１４の処理）、前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出する（例えば、図３のステップＳ１５の処理）ステップを含む。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。
このノイズレベル計測装置１０は、例えば、入力映像信号に基づいて、その映像信号のノイズレベルを計測し、計測結果を出力するようになされており、ノイズレベル計測装置１０から出力される計測結果は、例えば、画像（映像）のノイズを除去するノイズリデューサなどの制御に用いられる。
同図に示されるように、このノイズレベル計測装置１０は、有効領域制御部２１とノイズ計測部２２により構成されている。入力映像信号は、有効領域制御部２１に供給されて後述するようにノイズを除去すべき領域に関する制御信号が生成され、有効領域制御部２１から出力される制御信号に基づいてノイズ計測部２２によるノイズの計測が制御されるようになされている。
ノイズ計測部２２は、フレーム差分取得部３１、ヒストグラム生成部３２、およびノイズ量算出部３３により構成されている。
フレーム差分取得部３１は、入力映像信号に基づいて、時間的に前のフレームの画像を構成するそれぞれの画素の輝度値と、時間的に後のフレームの画像を構成するそれぞれの画素の輝度値との差分絶対値を演算する。すなわち、フレーム差分取得部３１は、フレーム間（時間的に前のフレームと時間的に後のフレーム）の対応する画素の輝度値の差分絶対値をそれぞれ演算するようになされている。
ヒストグラム生成部３２は、フレーム差分取得部３１から出力されるデータに基づいて、ノイズ量を算出するための統計データであるヒストグラムを生成する。このヒストグラムは、例えば、横軸がフレーム間の画素毎の差分絶対値を表し、縦軸が頻度（その差分絶対値を有する画素の数）を表すものとされる。
フレーム間の輝度値の変化が大きい場合、フレーム間の差分絶対値が大きい値となる画素が増えることになるので、ヒストグラムのピークは右側（横軸の値がゼロから遠い位置）に形成され、フレーム間の輝度値の変化が小さい場合、フレーム間の差分絶対値が小さい値となる画素が増えることになるので、ヒストグラムのピークは左側（横軸の値がゼロに近い位置）に形成されることになる。
また、ヒストグラム生成部３２は、有効領域制御部２１から供給される制御信号に基づいてヒストグラムを生成する。例えば、ヒストグラム生成部３２は、有効領域制御部２１から供給された制御信号に含まれる重み係数に基づいて、所定のフレーム間の画素毎の差分絶対値に対応する頻度を、実際の頻度より高くまたは低く設定する。
なお、フレーム間の差分絶対値は、画素単位ではなく、所定数の画素で構成されるブロック単位で演算され、ヒストグラムが生成されるようにしてもよい。この場合、例えば、１つのブロックを構成する画素のフレーム間の差分絶対値に基づいて、そのブロックの分散値が演算され、ブロックの分散値を横軸とし、その分散値を有するブロックの数で表される頻度を縦軸としてヒストグラムが生成されるようにすればよい。
ノイズ量算出部３３は、ヒストグラム生成部３２から供給されるヒストグラムのデータ（例えば、画素毎の差分絶対値のそれぞれに対応する頻度を表す情報）に基づいて映像信号のノイズ量を算出する。ノイズ量算出部３３は、映像信号のフレーム間の変化に応じて、その変化がノイズである可能性が高いものであるか否かを識別できるよう、映像信号のフレーム間の変化に対応するノイズ量を算出するようになされている。
すなわち、ノイズ量算出部３３は、ヒストグラム生成部３２により生成されたヒストグラムにおいて、そのピークの位置が右側にあるほど、比較的大きな値のノイズ量を算出するようになされており、ヒストグラム生成部３２により生成されたヒストグラムにおいて、そのピークの位置が左側にあるほど、比較的小さな値のノイズ量を算出するようになされている。
ノイズ量算出部３３により算出されたノイズ量は、例えば、所定の基準で正規化されるなどしてノイズレベルとされ、ノイズレベル計測装置１０の計測結果として出力されることになる。
ところで、映像信号、画像データなどの各画素値からノイズ量を算出した場合、算出されたノイズ量が、実際に人が認識するノイズと対応しないことがある。例えば、映像信号、画像データなどの各画素値から算出されたノイズ量の数値が同じであったとしても、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる。
すなわち、動きの小さい画像やエッジの少ない画像は、ある程度の時間同じ画像が表示され続けるので微小な変化を感じやすくなる。このような、人間の視感度の特性に応じたノイズ量を算出しなければ、例えば、ノイズリデューサなどでノイズ除去の処理を行って得られる画像が、不自然なものとなってしまうことがある。
そこで、本発明のノイズレベル計測装置１０には、有効領域制御部２１が設けられている。有効領域制御部２１は、上述のような人間の視感度の特性を考慮して、画像の中でノイズを除去すべき有効領域を特定し、その有効領域におけるヒストグラムの生成を、所定の基準に基づいて制御するようになされている。
図２は、有効領域制御部２１の構成例を示すブロック図である。同図に示されるように、有効領域制御部２１は、ブロック分散演算部１０１と重み設定部１０２とにより構成されている。
ブロック分散演算部１０１は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割する。そして、ブロック分散演算部１０１は、それぞれのブロックの分散値を演算する。
分散値が大きいブロックは、エッジが多くノイズが目立たない画像（人がノイズを視覚しにくい画像）といえる。また、分散値が大きいブロックは、画像の中で動きが大きい部分である可能性が高く、やはりノイズが目立たない画像といえる。
一方、分散値が小さいブロックは、エッジが少なくノイズが目立つ画像（人がノイズを視覚しやすい画像）といえる。また、分散値が大きいブロックは、画像の中で動きが小さい部分である可能性が高く、やはりノイズが目立つ画像といえる。
重み設定部１０２は、ブロック分散演算部１０１により演算されたブロックの分散値に基づいて、当該ブロックに対応する重み係数を設定するようになされている。重み設定部１０２は、例えば、ブロック分散演算部１０１により演算されたブロックの分散値が大きいほど、重み係数を小さく設定し、ブロック分散演算部１０１により演算されたブロックの分散値が小さいほど、重み係数を大きく設定するようになされている。
具体的には、例えば、重み設定部１０２に予め閾値を記憶させておき、ブロック分散演算部１０１により演算されたブロックの分散値を、閾値と比較させ、重み係数が設定されるようにすればよい。
このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１０２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。
その結果、分散値が小さく、エッジの少ないノイズが目立つ画像のブロックについては、ヒストグラムの頻度が高くなり、エッジの多いノイズが目立たない画像のブロックについては、ヒストグラムの頻度が低くなる。これにより、例えば、エッジの少ない画像のブロックにおいてフレーム間の画素の輝度の変化があった場合は、エッジの多い画像のブロックでフレーム間の画素の輝度の変化があまりなかったときでも、ヒストグラムのピークが右側に形成される可能性が高くなる。
このようにすることで、上述したノイズ量算出部３３が、エッジの少ない画像のブロックにおいてフレーム間の画素の輝度の変化があった場合は、エッジの多い画像のブロックでフレーム間の画素の輝度の変化があまりなかったときでも、比較的大きな値のノイズ量を算出するようになる。
従って、本発明によれば、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性に応じたノイズ量を算出することが可能となる。すなわち、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、画像の中のエッジの少ない部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中のエッジの多い部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。
次に、図３のフローチャートを参照して、本発明のノイズレベル計測装置１０によるノイズレベル計測処理の例について説明する。
ステップＳ１１において、有効領域制御部２１は、図４を参照して後述する有効領域制御信号出力処理を実行する。これにより、各ブロックに対応する重み係数の値を含む制御信号が生成されることになる。
ステップＳ１２において、フレーム差分取得部３１は、入力映像信号に基づいて、フレーム間差分絶対値を取得する。このとき、例えば、上述したように、時間的に前のフレームの画像を構成するそれぞれの画素の輝度値と、時間的に後のフレームの画像を構成するそれぞれの画素の輝度値との差分絶対値が演算される。
ステップＳ１３において、ヒストグラム生成部３２は、ステップＳ１２の処理により、フレーム差分取得部３１から出力されるデータに基づいて、上述したように、ノイズ量を算出するための統計データであるヒストグラムを生成する。
ステップＳ１４において、ヒストグラム生成部３２は、ステップＳ１１の処理で生成された制御信号に基づいて、ヒストグラムの頻度に重みづけを行う。このとき、上述したように、ヒストグラム生成部３２は、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。
ステップＳ１５において、ノイズ量算出部３３は、ステップＳ１４の処理によりヒストグラム生成部３２から供給されるヒストグラムのデータに基づいて映像信号のノイズ量を算出する。
そして、ノイズ量算出部３３により算出されたノイズ量は、例えば、所定の基準で正規化されるなどしてノイズレベルとされ、ステップＳ１６においてノイズレベル計測装置１０の計測結果として出力される。
ここで、図３のステップＳ１１の有効領域制御信号出力処理の詳細な例について図４のフローチャートを参照して説明する。
ステップＳ３１において、有効領域制御部２１のブロック分散演算部１０１は、入力映像信号に基づくブロックの分散値を演算する。このとき、ブロック分散演算部１０１は、上述したように、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割する。そして、ブロック分散演算部１０１は、それぞれのブロックの分散値を演算する。
ステップＳ３２において、有効領域制御部２１の重み設定部１０２は、ステップＳ３１の処理で演算された分散値に基づいて、当該ブロックの重み係数を設定する。このとき、重み設定部１０２は、例えば、予め記憶している閾値と、ステップＳ３１の処理で演算されたブロックの分散値とを比較し、分散値が閾値以上の場合、重み係数の値を「１」に設定し、分散値が閾値未満の場合、重み係数の値を「１」より大きい値に設定する。
そして、ステップＳ３３において、ステップＳ３２の処理で設定された重み係数の値と、その重み係数が設定されたブロックを識別するための情報を含む制御信号が出力される。
この後、上述したステップＳ１２乃至ステップＳ１６の処理が実行されることになる。
このようにして、ノイズレベルの計測が行われる。このようにすることで、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性に応じたノイズ量を算出してノイズレベルを計測することができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、より自然な画像の補正を行うことができる。
あるいはまた、このようにして、ノイズレベル計測装置１０から出力される計測結果に基づいて、その画像にノイズが含まれているか否かが判定されるようにすることも可能である。例えば、時間的に前の画像と時間的に後の画像において微小な変化が検出された場合、その変化がノイズであるか否かを判定することは困難である。本発明のノイズレベル計測装置１０から出力される計測結果は、上述したように、人間の視感度の特性に応じたノイズ量を算出してノイズレベルを計測することができるので、この計測結果に基づいて画像処理を行えば、例えば、動きの小さい画像やエッジの少ない画像の領域で生じた微小な変化は、ノイズとして処理し、例えば、動きの大きい画像やエッジの多い画像の領域で生じた微小な変化は、ノイズではないものとして処理することも可能である。
以上においては、動きの小さい画像やエッジの少ない画像の場合、人はノイズが多いと感じ、動きの大きい画像やエッジの多い画像の場合、人はノイズが少ないと感じる、人間の視感度の特性を考慮して、有効領域制御部２１によりエッジの少ない部分が検出されて重み係数が設定される例について説明したが、他の方式により重み係数が設定されるようにしてもよい。
例えば、画像の中でも、人間の顔の部分など、人が注目する部分のノイズは、微小であっても目立つので、有効領域制御部２１により人間の顔の部分が検出されて重み係数が設定されるようにしてもよい。
図５は、有効領域制御部２１の別の構成例を示すブロック図である。この例では、有効領域制御部２１が、顔画像検出部１１１と重み設定部１１２とにより構成されている。
顔画像検出部１１１は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、その画像から、肌色領域を抽出し、標準的な顔の画像であるテンプレートなどを用いて、抽出した肌色領域が顔の画像の領域であるかを判定し、顔画像の領域であると判定された場合、肌色領域を含む方形領域を顔画像の領域として検出するようになされている。
顔画像検出部１１１は、例えば、１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割し、個々のブロックについて顔画像の領域であるか否かを表すフラグなどを付加して重み設定部１１２に供給する。
重み設定部１１２は、顔画像検出部１１１により顔画像の領域であると判定されたブロックに対応する重み係数を設定するようになされている。重み設定部１１２は、例えば、顔画像の領域のブロックに対しては、「１」より大きい重み係数を設定し、顔画像の領域のブロック以外のブロックに対しては、重み係数を「１」に設定するようになされている。
このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１１２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。
その結果、顔画像のブロックについては、ヒストグラムの頻度が高くなり、顔画像のブロック以外のブロックについては、ヒストグラムの頻度が低くなる。
従って、有効領域制御部２１を、図５に示されるように構成すれば、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、人が注目する人間の顔の部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、人間の顔以外の部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、やはり自然な画像の補正を行うことができる。
あるいはまた、有効領域制御部２１により、画像の暗い部分が検出されて重み係数が設定されるようにしてもよい。映像信号、画像データなどの各画素値から算出されたノイズ量の数値が同じであったとしても、暗い画像の場合、人はノイズが多いと感じ、明るい画像の場合、人はノイズが少ないと感じる。
図６は、有効領域制御部２１のさらに別の構成例を示すブロック図である。この例では、有効領域制御部２１が、重み設定部１２２により構成されている。
重み設定部１２２は、入力映像信号に基づいて、例えば、１フレーム分の画面の画像データを取得し、１画面分の画像データを、それぞれ所定の画素数で構成される複数のブロックに分割し、それらのブロックを構成する画素の輝度の平均値を算出する。そして、重み設定部１２２は、例えば、算出された輝度の平均値を予め記憶している閾値と比較し、輝度の平均値が閾値以上の場合、重み係数の値を「１」に設定し、輝度の平均値が閾値未満の場合、重み係数の値を「１」以上の値に設定する。
このように、ブロックと重み係数が対応付けられた情報を含む制御信号が、重み設定部１２２から出力され、上述したように、ヒストグラム生成部３２に供給されることになる。これにより、ヒストグラム生成部３２は、ヒストグラムを生成するとき、例えば、あるブロックの画素のフレーム間の差分値の頻度に、そのブロックに対応付けられた重み係数を乗じてヒストグラムを生成する。
その結果、暗い画像のブロックについては、ヒストグラムの頻度が高くなり、明るい画像のブロックについては、ヒストグラムの頻度が低くなる。
従って、有効領域制御部２１を、図６に示されるように構成すれば、有効領域制御部２１から制御信号の供給を受けたノイズ計測部２２は、上述したように、画像の中の暗い部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中の明るい部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。また、このようにして、計測されたノイズレベルを用いてノイズリデューサなどを制御し、画像（映像）のノイズを除去するようにすれば、やはり自然な画像の補正を行うことができる。
あるいはまた、有効領域制御部２１の重み設定部１２２に、他の装置から供給される情報に基づいて重み係数を設定させるようにしてもよい。例えば、画像の中の各画素について動き量を演算する装置などにより、演算された動き量に基づいて、重み設定部１２２が、上述した場合と同様に重み係数を設定するようにしてもよい。このようにすることで、例えば、ノイズ計測部２２が、画像の中の動きの小さい部分は、フレーム間の輝度値の変化に対して比較的大きなノイズレベルを計測するが、画像の中の動きの大きい部分は、フレーム間の輝度値の変化に対して、通常のノイズレベルを計測するようにすることができる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図７において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本発明の一実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。 図１の有効領域制御部の構成例を示すブロック図である。 ノイズレベル計測処理の例を説明するフローチャートである。 有効領域制御信号出力処理を説明するフローチャートである。 図１の有効領域制御部の別の構成例を示すブロック図である。 図１の有効領域制御部のさらに別の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０ ノイズレベル計測装置， ２１ 有効領域制御部， ２２ ノイズ計測部， ３１ フレーム差分取得部， ３２ ヒストグラム生成部， ３３ ノイズ量算出部， １０１ ブロック分散演算部， １０２ 重み設定部， １１１ 顔画像検出部， １１２ 重み設定部， １２２ 重み設定部， ７０１ ＣＰＵ， ７１１ リムーバブルメディア

Claims (9)

  1. 映像信号のノイズレベルを計測する計測装置であって、
    入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、
    前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、
    前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、
    前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段と
    を備える計測装置。
  2. 前記差分データ取得手段は、
    前記制御情報が生成された複数の領域のそれぞれについて、前記領域の時間的に前の画素の値と、時間的に後の画素の値との差分値を前記差分データとして取得し、
    前記ヒストグラムデータ生成手段は、
    前記複数の領域のそれぞれの画素の値の差分値の頻度に、当該領域の前記制御情報に対応して定まる係数を乗じて前記画素の値の差分値の頻度を設定し、前記ヒストグラムデータを生成する
    請求項１に記載の計測装置。
  3. 前記制御情報生成手段は、
    前記領域における画像のエッジ数に基づいて前記制御情報を生成する
    請求項１に記載の計測装置。
  4. 前記制御情報生成手段は、
    前記領域の画像に、予め定められたオブジェクトが存在するか否かを表す情報に基づいて前記制御情報を生成する
    請求項１に記載の計測装置。
  5. 前記制御情報生成手段は、
    前記領域における画素の輝度に基づいて前記制御情報を生成する
    請求項１に記載の計測装置。
  6. 前記制御情報生成手段は、
    前記領域における画素の動き量に基づいて前記制御情報を生成する
    請求項１に記載の計測装置。
  7. 映像信号のノイズレベルを計測する計測装置の計測方法であって、
    入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成し、
    前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得し、
    前記取得された前記差分データのヒストグラムデータを、前記生成された制御情報に基づいて生成し、
    前記生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するステップ
    を含む計測方法。
  8. コンピュータに映像信号のノイズレベルを計測させるプログラムであって、
    コンピュータを、
    入力映像信号に基づく１フレーム分の画像データにおいて、前記画像データの中の所定数の画素で構成される複数の領域のそれぞれについて制御情報を生成する制御情報生成手段と、
    前記入力映像信号に基づく、時間的に前の１フレーム分の画像データを構成するそれぞれの画素の値と、時間的に後の１フレーム分の画像データを構成するそれぞれの画素の値の差分データを、それぞれ取得する差分データ取得手段と、
    前記差分データ取得手段により取得された前記差分データのヒストグラムデータを、前記制御情報生成手段により生成された制御情報に基づいて生成するヒストグラムデータ生成手段と、
    前記ヒストグラムデータ生成手段により生成された前記ヒストグラムデータに基づいて前記入力映像信号のノイズ量を算出するノイズ量算出手段とを備える計測装置として機能させる
    プログラム。
  9. 請求項８に記載のプログラムが記録されている記録媒体。
JP2007162169A 2007-06-20 2007-06-20 計測装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4962159B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007162169A JP4962159B2 (ja) 2007-06-20 2007-06-20 計測装置および方法、プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007162169A JP4962159B2 (ja) 2007-06-20 2007-06-20 計測装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2009003599A true JP2009003599A (ja) 2009-01-08
JP4962159B2 JP4962159B2 (ja) 2012-06-27

Family

ID=40319940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007162169A Expired - Fee Related JP4962159B2 (ja) 2007-06-20 2007-06-20 計測装置および方法、プログラム、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4962159B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010079580A1 (ja) 2009-01-09 2010-07-15 Ntn株式会社 マイクロインジェクション装置および方法
JP2011029989A (ja) * 2009-07-27 2011-02-10 Canon Inc ノイズ低減装置及びノイズ低減方法
WO2011162124A1 (ja) * 2010-06-25 2011-12-29 シャープ株式会社 信号処理装置、信号処理プログラム、および表示装置
WO2012017773A1 (ja) * 2010-08-04 2012-02-09 シャープ株式会社 信号処理装置、信号処理方法、信号処理プログラム、および表示装置
WO2012056792A1 (ja) * 2010-10-29 2012-05-03 シャープ株式会社 画像処理装置および画像処理方法
WO2012111486A1 (ja) * 2011-02-18 2012-08-23 シャープ株式会社 信号処理装置、信号処理方法、信号処理プログラム、及び映像表示装置
WO2012161208A1 (ja) * 2011-05-24 2012-11-29 シャープ株式会社 ノイズ低減装置、表示装置、ノイズ低減方法およびノイズ低減プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2004147018A (ja) * 2002-10-23 2004-05-20 Fuji Photo Film Co Ltd 画像処理方法及びデジタルカメラ
JP2006245694A (ja) * 2005-02-28 2006-09-14 Toshiba Corp 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2004147018A (ja) * 2002-10-23 2004-05-20 Fuji Photo Film Co Ltd 画像処理方法及びデジタルカメラ
JP2006245694A (ja) * 2005-02-28 2006-09-14 Toshiba Corp 画像処理装置及び画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010079580A1 (ja) 2009-01-09 2010-07-15 Ntn株式会社 マイクロインジェクション装置および方法
JP2011029989A (ja) * 2009-07-27 2011-02-10 Canon Inc ノイズ低減装置及びノイズ低減方法
WO2011162124A1 (ja) * 2010-06-25 2011-12-29 シャープ株式会社 信号処理装置、信号処理プログラム、および表示装置
WO2012017773A1 (ja) * 2010-08-04 2012-02-09 シャープ株式会社 信号処理装置、信号処理方法、信号処理プログラム、および表示装置
WO2012056792A1 (ja) * 2010-10-29 2012-05-03 シャープ株式会社 画像処理装置および画像処理方法
WO2012111486A1 (ja) * 2011-02-18 2012-08-23 シャープ株式会社 信号処理装置、信号処理方法、信号処理プログラム、及び映像表示装置
WO2012161208A1 (ja) * 2011-05-24 2012-11-29 シャープ株式会社 ノイズ低減装置、表示装置、ノイズ低減方法およびノイズ低減プログラム

Also Published As

Publication number Publication date
JP4962159B2 (ja) 2012-06-27

Similar Documents

Publication Publication Date Title
JP4962159B2 (ja) 計測装置および方法、プログラム、並びに記録媒体
EP2285097B1 (en) Image processing apparatus, image processing method, and program
KR102428127B1 (ko) 움직임 영역 검출 장치 및 방법
TWI376645B (en) Image processing methof of noise reduction and apparatus thereof
JP2011233148A (ja) 画像強調方法と装置、物体検出方法と装置
CN104272346A (zh) 用于细节增强和降噪的图像处理方法
CN102625030B (zh) 视频增强方法和系统
JP5586858B2 (ja) 表示制御装置、及び表示制御方法
JPWO2016158001A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
Tang et al. Examining visible articulatory features in clear and plain speech
JP6365355B2 (ja) 画像生成装置および画像生成方法
JP2013183267A (ja) 画像処理装置および方法、並びにプログラム
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
WO2023236757A1 (zh) 视频图像噪声评估方法及装置
JPWO2008004439A1 (ja) 階調補正特性評価装置、画像処理装置、階調補正特性評価方法、画像処理方法、階調補正特性評価プログラム、および画像処理プログラム
US20100061656A1 (en) Noise reduction of an image signal
JP2009004945A (ja) 計測装置および方法、プログラム、並びに記録媒体
US20100177935A1 (en) Method of motion detection using adaptive threshold
JPH10198801A (ja) 画質改善方法、エッジ強度計算方法及び装置
JPWO2018159288A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111062337B (zh) 人流方向检测方法及装置、存储介质和电子设备
JP2010161665A (ja) 映像処理装置
Feng et al. Video-level binocular tone-mapping framework based on temporal coherency algorithm
CN114463199A (zh) 美感图生成模型的训练方法、装置、介质及设备
JP2013258513A (ja) 計測装置、計測方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees