JP2000201283A - 画像処理装置および方法、並びに提供媒体 - Google Patents

画像処理装置および方法、並びに提供媒体

Info

Publication number
JP2000201283A
JP2000201283A JP11001576A JP157699A JP2000201283A JP 2000201283 A JP2000201283 A JP 2000201283A JP 11001576 A JP11001576 A JP 11001576A JP 157699 A JP157699 A JP 157699A JP 2000201283 A JP2000201283 A JP 2000201283A
Authority
JP
Japan
Prior art keywords
class
plane
pixels
prediction coefficient
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11001576A
Other languages
English (en)
Other versions
JP4144091B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yuji Okumura
裕二 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP00157699A priority Critical patent/JP4144091B2/ja
Publication of JP2000201283A publication Critical patent/JP2000201283A/ja
Application granted granted Critical
Publication of JP4144091B2 publication Critical patent/JP4144091B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 画像の時間方向に関するノイズも除去する。 【解決手段】 ブロック構成部1は、信号遅延部2に記
憶されている所定量の画像データを一括して読み出し、
平面推定部3に出力する。平面推定部3は、所定の式
に、入力された画像データを順次代入することにより、
信号レベル値が一定であると判定される平面の平面式を
算出する。定常性方向評価部4は、所定の5画素の存在
位置により分類された複数のクラスが記憶されており、
クラス毎に、算出された平面式に5画素の座標値を順次
代入し、クラス毎のダイナミックレンジを算出する。そ
して、ダイナミックレンジが最も小さい値のクラスを予
測タップ構成部5と予測係数ROM6に出力する。予測タ
ップ構成部5と予測係数ROM6は、入力されたクラスに
対応するデータを予測処理部7に出力する。予測処理部
7は、入力されたデータを基に、ノイズ除去の為の適応
処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理装置および
方法、並びに提供媒体に関し、特に、画像データ内の時
間方向に存在するノイズを除去するのに用いて好適な画
像処理装置および方法、並びに提供媒体に関する。
【0002】
【従来の技術】従来、画像データのノイズ成分を除去す
るのに、画像の動き検出を行い、充分に静止していると
判断された部分(画素群)に対して、時間方向のフィル
タリング処理を行うようにしていた。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
たノイズ成分の除去処理では、ノイズ成分が重畳される
と正しい動き検出ができなくなり、その結果、正しいノ
イズ成分の除去ができなくなるといった課題があった。
【0004】また、上述したノイズ成分の除去処理で
は、充分に静止していると判断された画像領域に対して
は、ノイズ成分が抑制されるが、動画領域に対してもノ
イズ成分を抑制しようとした場合、一様な(構造的に固
定あるいは主たる画像の属性に因らない)空間内での平
滑化によりノイズ除去処理を行うため(変化のある部分
をノイズとして除去するため)、主たる画像の空間解像
度の劣化を伴ってしまうという課題があった。
【0005】本発明はこのような状況に鑑みてなされた
ものであり、所定の枚数のフィールド内で、信号レベル
が同一であると判断される平面を推定し、その推定され
た平面で、傾きが0となる一方向を判定し、その方向で
ノイズが除去されるように適応処理を行うようにして、
空間解像度の劣化を抑制するものである。
【0006】
【課題を解決するための手段】請求項1に記載の画像処
理装置は、注目画素が中央に位置する基準フィールドを
含み、基準フィールドの時間的に前または後に位置する
所定枚数のフィールドから構成される画素データをブロ
ック化するブロック化手段と、ブロック化手段によりブ
ロック化された画素データを所定の式に代入し、レベル
値が同一であると判断される平面を推定する平面推定手
段と、平面推定手段により推定された平面式に、クラス
毎に設定されている複数の画素の座標値を代入し、最小
値と最大値との差をとることによりクラス毎のダイナミ
ックレンジを算出する算出手段と、クラス毎に設定され
ている予測係数を記憶する記憶手段と、算出手段により
算出されたダイナミックレンジの最小値をもつクラスに
対応する予測係数を記憶手段から読み出す読み出し手段
と、読み出し手段により読み出された予測係数と所定の
画素からなる予測タップとを用いて適応処理を行う適応
処理手段とを備えることを特徴とする。
【0007】請求項5に記載の画像処理方法は、注目画
素が中央に位置する基準フィールドを含み、基準フィー
ルドの時間的に前または後に位置する所定枚数のフィー
ルドから構成される画素データをブロック化するブロッ
ク化ステップと、ブロック化ステップでブロック化され
た画素データを所定の式に代入し、レベル値が同一であ
ると判断される平面を推定する平面推定ステップと、平
面推定ステップで推定された平面式に、クラス毎に設定
されている複数の画素の座標値を代入し、最小値と最大
値との差をとることによりクラス毎のダイナミックレン
ジを算出する算出ステップと、クラス毎に設定されてい
る予測係数を記憶する記憶ステップと、算出ステップで
算出されたダイナミックレンジの最小値をもつクラスに
対応する予測係数を記憶ステップから読み出す読み出し
ステップと、読み出しステップで読み出された予測係数
と所定の画素からなる予測タップとを用いて適応処理を
行う適応処理ステップとを含むことを特徴とする。
【0008】請求項6に記載の提供媒体は、注目画素が
中央に位置する基準フィールドを含み、基準フィールド
の時間的に前または後に位置する所定枚数のフィールド
から構成される画素データをブロック化するブロック化
ステップと、ブロック化ステップでブロック化された画
素データを所定の式に代入し、レベル値が同一であると
判断される平面を推定する平面推定ステップと、平面推
定ステップで推定された平面式に、クラス毎に設定され
ている複数の画素の座標値を代入し、最小値と最大値と
の差をとることによりクラス毎のダイナミックレンジを
算出する算出ステップと、クラス毎に設定されている予
測係数を記憶する記憶ステップと、算出ステップで算出
されたダイナミックレンジの最小値をもつクラスに対応
する予測係数を記憶ステップから読み出す読み出しステ
ップと、読み出しステップで読み出された予測係数と所
定の画素からなる予測タップとを用いて適応処理を行う
適応処理ステップとを含む処理を画像処理装置に実行さ
せるコンピュータが読み取り可能なプログラムを提供す
ることを特徴とする。
【0009】請求項1に記載の画像処理装置、請求項5
に記載の画像処理方法、および請求項6に記載の提供媒
体においては、所定枚数のフィールドから構成されるブ
ロックの画素データが所定の式に代入され、レベル値が
同一であると判断される平面が推定され、その推定され
た平面の平面式に、クラス毎に設定されている複数の画
素の座標値が代入され、最小値と最大値との差をとるこ
とによりクラス毎のダイナミックレンジが算出され、ダ
イナミックレンジの最小値をもつクラスに対応する予測
係数と所定の画素からなる予測タップとが用いられて適
応処理が行なわれる。
【0010】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【0011】請求項1に記載の画像処理装置は、注目画
素が中央に位置する基準フィールドを含み、基準フィー
ルドの時間的に前または後に位置する所定枚数のフィー
ルドから構成される画素データをブロック化するブロッ
ク化手段(例えば、図1のブロック構成部1)と、ブロ
ック化手段によりブロック化された画素データを所定の
式に代入し、レベル値が同一であると判断される平面を
推定する平面推定手段(例えば、図2のステップS3)
と、平面推定手段により推定された平面式に、クラス毎
に設定されている複数の画素の座標値を代入し、最小値
と最大値との差をとることによりクラス毎のダイナミッ
クレンジを算出する算出手段(例えば、図2のステップ
S4)と、クラス毎に設定されている予測係数を記憶す
る記憶手段(例えば、図1の予測係数ROM6)と、算出
手段により算出されたダイナミックレンジの最小値をも
つクラスに対応する予測係数を記憶手段から読み出す読
み出し手段(例えば、図2のステップS5)と、読み出
し手段により読み出された予測係数と所定の画素からな
る予測タップとを用いて適応処理を行う適応処理手段
(例えば、図2のステップS6)とを備えることを特徴
とする。
【0012】図1は、本発明を適用した画像処理装置の
一実施の形態の構成を示すブロック図である。入力SD
(Standard Definition)信号は、ブロック構成部1を
介してFIFO(First In First Out)などで構成される信
号遅延部2に供給される。信号遅延部2に入力されたS
D信号は、必要に応じブロック構成部1にブロック化さ
れて読み出され、平面推定部3に出力される。平面推定
部3から出力された信号は、定常性方向評価部4に出力
される。
【0013】定常性方向評価部4から出力された信号
は、予測タップ構成部5と予測係数ROM(Random Access
Memory)6に出力される。予測処理部7は、予測タッ
プ構成部5から出力された信号を、予測係数ROM6に記
憶されている予測係数により、所定の処理を施し、処理
後のSD信号として出力する。
【0014】次に、画像処理装置の動作を図2のフロー
チャートを参照して説明する。ステップS1において、
SD信号(例えば8ビットPCM(Pulse Code Modulat
ion)の輝度信号)が、ブロック構成部1を介して信号
遅延部2に入力され、記憶される。ステップS2におい
て、ブロック構成部1は、信号遅延部2に記憶されてい
る所定量のSD信号(画像データ)を読み出す。その読
み出される所定量のデータは、図3(A)に示したよう
に、5枚の第1フィールド(例えば、奇数フィールド)
と4枚の第2フィールド(例えば、偶数フィールド)か
ら構成される合計9フィールド分のデータのうちの、各
フィールドの所定の領域のデータである。簡単のため、
この例では、図3(B)に示すように、第1フィールド
の領域は45(=9×5)画素から構成され、第2フィ
ールドの領域は36(=9×4)画素から構成されてい
るものとする。従って、信号遅延部2から読み出される
9フィールド分の領域の総画素数は369画素となる。
この369画素からなる9フィールドを、以下、適宜、
局所的時空間ブロックと記述する。
【0015】換言すると、局所的時空間ブロックは、処
理対象とされた注目画素が領域の中央に位置する基準フ
ィールドを含み、その基準フィールドの時間的に前また
は後に位置する4フィールドの合計9フィールドから構
成される。また、基準フィールドの領域は、水平方向に
9画素、垂直方向に5画素から構成されるフィールドで
ある。基準フィールドの時間軸方向の座標値を0とした
とき、基準フィールドより時間的に前に存在するフィー
ルドの時間軸方向の座標値(時刻)はマイナスで表さ
れ、基準フィールドより時間的に後に存在するフィール
ドの時間軸方向の座標値(時刻)はプラスで表される。
従って、時間軸方向の座標値(時刻)は、−4乃至4ま
で変化する。また、注目画素の時空間座標を以下のよう
に示して、この座標を原点とし、他の画素の座標を表現
する。 (水平、垂直、時刻)=(x,y,z)=(0,0,
0)
【0016】ブロック構成部1は、信号遅延部2から1
つの局所的時空間ブロックのデータを一括して読み出
し、平面推定部3に出力する。平面推定部3は、入力さ
れた局所的時空間ブロックの全画素データを次式(1)
に代入する。 rn+e=c1・xn+c2・yn+c3・zn+c4 ・・・(1) 式(1)において、rnはノイズ画像(入力SD画像)
における時空間座標(水平、垂直、時刻)が(xn
n,zn)の画素データの輝度信号値であり、eは残
差、(xn,yn,zn)は時空間ブロック内のn番目の
画素の水平、垂直、時刻の注目画素を原点とする座標値
であり、c1乃至c4は係数である。
【0017】平面推定部3は、入力された局所的時空間
ブロックの画素データの輝度信号値rnと、その画素デ
ータの座標値(xn,yn,zn)を、式(1)に代入
し、次式(2)に示す残差eの自乗和が最小となるよう
に、係数c1乃至c4を求める。
【式1】
【0018】なお、式(2)における値mは図3(A)
の例の場合、368となる。求められた係数をc1’乃
至c4’とするとき、式(3)に示す平面式が生成され
る。 r=c1’・x+c2’・y+c3’・z+c4’ ・・・(3)
【0019】このようにして、平面推定部3により求め
られた係数c1’乃至c4’を用いて表される式(3)
により生成される平面が推定平面とされる。この推定平
面の一例が図4に示されている。図4において示された
推定平面は、式(3)により生成される平面であり、局
所的時空間ブロック内に実際に存在する画素により生成
される平面、換言すれば、推定平面上に局所的時空間ブ
ロックの画素が乗っている平面とは限らない。さらに換
言すると、推定平面は、信号レベル(輝度値)がほぼ同
一であると判断される画素が存在するであろう位置に存
在する平面である。
【0020】図4に示したような推定平面が推定される
場合、すなわち、垂直方向と水平方向からなる面の水平
方向においては、左側から右側にかけて垂直座標値が下
がり、時間方向においては、水平と垂直の座標値共に変
化がない平面が推定される場合、図中右上側から左下側
にかけて、徐々に輝度値が下がる、或いは上がる(グラ
デーションがかかっているような)画像が、9フィール
ド分の時刻の間、変化なく表示されていることになる。
【0021】なお、図4に示した推定平面は、等レベル
面を表現しているものであり、信号のレベルそのものを
表現しているものではなく、信号のレベル値の等高線の
ようなものとして示してある。
【0022】図4に示したような推定平面が推定される
他の例としては、先の空間方向に関し徐々に輝度値が変
化するものの他、階段上に急峻に変化する場合など、推
定平面と直交する方向に何らかの輝度値変化を呈するよ
うな画像である。
【0023】次に、定常性方向評価部4は、このように
して、平面推定部3により求められた係数c1’乃至c
4’を用いて表される推定平面に含まれ、少なくとも1
次元方向に関し、傾斜が0の方向(定常方向)を求め
る。求められる傾斜0の方向は、1次元または2次元の
関数、例えば、f(x)やf(x,y)で表現される直
線式となる。求められる定常方向は、上述した輝度値を
そのままプロットしたときに、階段状になる画像の場
合、その階段のステップの方向、換言すれば、階段を上
り下りする方向と直交する方向となる。
【0024】定常性方向評価部4は、定常方向を求める
とともに、クラス分類も行う。換言すると、クラスに基
づく定常方向を判定する。すなわち、予め複数のクラス
と、各クラスに分類される為の条件が定められており、
どのクラスに分類されるかにより定常性が判断される。
各クラスに分類される為の条件としては、9フィールド
に含まれる369画素の内の所定の5画素の存在位置に
よる。
【0025】この場合、総クラス数は、3695個のクラ
スとなる。しかしながら、3695個のクラスは膨大な組
み合わせ数になるため実用的ではない。そこで、図5に
示したように、5枚の第1フィールドの所定の21画素
(以下、適宜、選択候補画素と記述する)から5画素を
用いてクラス数を考えると、215=20349個のク
ラスとなり、取り扱いやすいクラス数になる。さらに、
注目画素を必ず含むという条件を付加することにより、
選択候補画素の20画素から4画素を選択することにな
るので、204=4845個のクラスとなり、より取り
扱いやすいクラス数となる。
【0026】図5に示した例では、基準フィールド内の
選択候補画素の17画素は、注目画素を含む縦横斜め方
向に関する全ての方向において、5画素が選択できるよ
うに配置されている。そして、基準フィールドの前後の
フィールドでは、注目画素と時間軸の座標値のみが異な
る4点、換言すれば、注目画素と垂直方向と水平方向の
座標値が同じ4点が選択候補画素とされている。
【0027】なお、図5の例においては、第1フィール
ドに存在する画素のみを用いているが、第2フィールド
に存在する画素を選択候補画素として用いても良いし、
21画素以上の画素を選択候補画素としても良い。すな
わち、選択候補画素としては、9フィールド内の全ての
画素である396画素とすることが一番良いが、上述し
たように実用的ではないので、実用的な数で、なるべく
多くの画素を選択候補画素とすることが望ましい。
【0028】注目画素を含む21画素の選択候補画素を
用いてクラスを作成すると、4845個のクラスが作成
できる。図6に、4845個のクラスのうち、クラス0
とクラス4844(一番最初と最後のクラス)、並びに
特徴的なクラスであるクラス152とクラス2088が
例として示されている。クラス番号の付け方は、スキャ
ン順に基づいている。例えば、クラス0は、選択候補画
素の21画素のうち、最初にスキャンされる座標値
(0,0,−4)の画素、その次にスキャンされる座標
値(0,0,−2)の画素、さらにその次にスキャンさ
れる座標値(−4,−4,0)の画素、そして、その次
にスキャンされる座標値(0,−4,0)の画素、およ
び座標値(0,0,0)の注目画素の合計5画素であ
る。
【0029】同様にして、スキャン順に基づいてクラス
番号を付けることにより、クラス0乃至4844が生成
される。クラス152は、例えば静止画などのように、
定常方向が時間軸方向に最も定常性が得られる画像が分
類されるクラスである。クラス2088は、例えば、白
地に斜めに1本の線が引いてあるような画像のように、
同一フィールド内の斜め方向に最も定常性が得られる画
像が分類されるクラスである。
【0030】定常性方向評価部4は、まず平面推定部3
により求められた推定平面の式(3)に、順次、クラス
0乃至4844内の5画素の座標値を代入し、その5画
素毎に算出される値rの最小値と最大値の差(ダイナミ
ックレンジ)をとる。そして、クラス毎に得られたダイ
ナミックレンジのうち、最小のダイナミックレンジを有
するクラスを、処理している局所的時空間ブロックの分
類クラスとする。ただし、このようして定常性方向評価
部4において算出される値rは、輝度値を意味するもの
ではなく、単にダイナミックレンジを算出するための値
として用いられている。
【0031】詳細に説明するに、まず、クラス0の5画
素の座標値、すなわち、(0,0,−4),(0,0,
−2),(−4,−4,0),(0,−4,0),
(0,0,0)を、順次、式(3)に代入することによ
り、5つの値rが得られる。得られた5つの値rの最小
値と最大値の差を取ることにより、クラス0のダイナミ
ックレンジが得られる。同様の処理をクラス1乃至48
44に対しても行うことにより、合計4845個のダイ
ナミックレンジが得られる。これら4845個のダイナ
ミックレンジのうち、最小のダイナミックレンジを有す
るクラスを、処理している画素のクラス(以下、分類ク
ラスと称する)として決定する。仮に、ダイナミックレ
ンジが0であるクラスが存在する場合、そのクラスの5
画素は、式(3)で表される推定平面上に存在すること
を意味する。
【0032】このようにして、求められた分類クラス
は、予測タップ構成部5と予測係数ROM6に供給され
る。ステップS5において、予測タップ構成部5は、供
給された分類クラスに対応する予測タップの画素データ
を、信号遅延部2から読み出し、予測処理部7に出力す
る。また、予測係数ROM6は、供給された分類クラスに
対応する予測係数を予測処理部7に出力する。予測タッ
プとしては、図6に示したように、定常方向を判断する
のに用いたクラス毎に設定された5画素が用いられる。
従って、予測タップ構成部5が信号遅延部2から読み出
す画素データは、分類クラスの5画素の座標値に対応す
る位置に存在する画素データ(輝度値)である。
【0033】予測処理部7は、ステップS6において、
供給された予測係数と画素データを用いて適応処理し、
処理後の画素データを出力する。なお、適応処理とは、
注目画素のクラスに対応した予測係数と予測タップの画
素データを用いて後述する式(4)に示す線形1次結合
モデルの演算を行う処理のことである。
【0034】上述したように、画像処理装置において
は、入力SD画像が、クラス毎に、予め予測係数ROM6
に記憶された予測係数を用いて適応処理される。ここ
で、予測係数ROM6に記憶される予測係数を生成する予
測係数学習装置について説明する。
【0035】図7は、予測係数学習装置の構成を示すブ
ロック図である。そのブロック構成部21、信号遅延部
22、平面推定部23、定常性方向評価部24、および
予測タップ構成部25は、図1の対応する名称の、ブロ
ック構成部1、信号遅延部2、平面推定部3、定常性方
向評価部4、および予測タップ構成部5と同様の機能を
有するものであり、その説明は適宜省略する。
【0036】予測係数学習装置に入力されたSD信号
は、上述したように、ブロック構成部21、信号遅延部
22、平面推定部23、および定常性方向評価部24に
よりクラス分類される。分類クラスに対して、予測係数
学習部26により、予測係数が算出される。以下、予測
係数学習部26により行われる予測係数の算出について
説明する。
【0037】いま、注目画素の画素データyの予測値E
[y]を、その注目画素と空間的または時間的に近接す
る位置にある画素(注目画素を含む)の入力データx
1,x2,x3,・・・と、所定の予測係数w1,w
2,w3,・・・の線形結合により規定される線形1次
結合モデルにより求める場合、予測値E[y]は、次式
で表すことができる。 E[y]=w1x1+w2x2+w3x3+・・・ ・・・(4)
【0038】式(4)を一般化した例として、予測係数
wの集合でなる行列W、入力データxでなる行列X、お
よび予測値E[y]の集合でなる行列Yを、
【数2】 と定義すると、次式(5)のような観測方程式が成立す
る。 観測方程式:XW=Y ・・・(5)
【0039】そして、この観測方程式に最小自乗法を適
用して注目画素の画素データyに近い予測値E[y]を
求めることを考える。この場合、教師データとなる注目
画素の真の画素データyの集合でなる行列Y’、および
画素データyに対する予測値E[y]の残差eの集合で
なる行列Eを、
【数3】 で定義すると、式(5)から次式のような残差方程式
(6)が成立する。 残差方程式:XW=Y+E ・・・(6)
【0040】なお、教師データとは、参照SD画像のこ
とであり、入力SD信号と同一内容であるが、ノイズ成
分のない非ノイズ画像である。
【0041】画素データyに近い予測値E[y]を求め
るための予測係数wiは、自乗誤差
【数4】 を最小にすることで求めることができる。従って、この
自乗誤差を予測係数wiで微分したものが0になる場合
の予測係数wi、すなわち、次式(7)を満たす予測係
数wiが、画素データyに近い予測値E[y]を求める
ための最適値ということになる。
【数5】
【0042】そこで、まず、式(6)を微分することに
より次式(8)が成立する。
【数6】
【0043】式(7)と式(8)より次式(9)が得ら
れる。
【数7】
【0044】さらに、式(6)の残差方程式における学
習データx、予測係数w、教師データの画素データy、
および残差eの関係を考慮すると、式(9)から、次の
ような正規方程式(10)を得ることができる。
【0045】
【数8】
【0046】式(10)の正規方程式は、求めるべき予
想係数wの数と同じ数だけたてることができるので、式
(10)を解くことで、最適な予測係数wを求めること
ができる。なお、式(10)を解くにあたっては、例え
ば、掃き出し法(Gauss-Jordanの消去法)などを適用す
ることが可能である。
【0047】このようにして求められた予測係数wは、
クラス(予測タップ)と関連付けられて予測係数ROM6
(図1)に記憶される。予測処理部7は、上述したよう
にして求めれれた予約係数ROM6に記憶されている予約
係数wを用いて、式(4)に示した線形1次結合モデル
により、注目画素に対しての適応処理を行う。
【0048】このようにして算出された予測係数の一例
を図8に示す。図8には、クラス152とクラス208
8の予測係数を示している。このような予測係数wと予
測タップに対応する画素データyを、式(4)に代入す
ることにより、ノイズが除去された画素データを得るこ
とが可能となる。
【0049】本実施の形態においては、レベル値が等し
いと判断された定常方向に関し、クラス分類適応処理を
用いたので、動画にも静止画にも最適なノイズの除去が
可能となる。
【0050】上述した説明においては、ノイズ除去に関
して本発明を適用したが、動き検出にも適用することが
可能である。すなわち、本発明は、クラス分類する際
に、レベル値が等しいと判断される平面を推定し、さら
に定常方向を判定する。このことは、例えば、定常方向
が時間方向に関して、右上方向である場合、その画像の
被写体は、右上の方向に移動していると判断することが
可能であることを示している。
【0051】従って、分類クラスにより、被写体の動き
方向を検出する事が可能である。本実施の形態を動き検
出に用いた場合、ノイズがのった画像に対しても、ノイ
ズののった状態のデータを用いて定常方向を判定できる
ので、ノイズの影響を受け難い動き検出が可能となる。
【0052】本明細書中において、上記処理を実行する
コンピュータプログラムをユーザに提供する提供媒体に
は、磁気ディスク、CD-ROMなどの情報記録媒体の他、イ
ンターネット、デジタル衛星などのネットワークによる
伝送媒体も含まれる。
【0053】
【発明の効果】以上の如く請求項1に記載の画像処理装
置、請求項5に記載の画像処理方法、および請求項6に
記載の提供媒体によれば、所定枚数のフィールドから構
成されるブロックの画素データを所定の式に代入し、レ
ベル値が同一であると判断される平面を推定し、その推
定された平面の平面式に、クラス毎に設定されている複
数の画素の座標値を代入し、最小値と最大値との差をと
ることによりクラス毎のダイナミックレンジを算出し、
ダイナミックレンジの最小値をもつクラスに対応する予
測係数と所定の画素からなる予測タップとを用いて適応
処理を行うようにしたので、動画にも静止画にも適した
ノイズ成分の除去を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明を適用して画像処理装置の一実施の形態
の構成を示すブロック図である。
【図2】図1に示した画像処理装置の動作を説明するフ
ローチャートである。
【図3】時空間ブロックを説明する図である。
【図4】推定平面を説明する図である。
【図5】選択候補画素を説明する図である。
【図6】クラスと予測タップの一例を示す図である。
【図7】予測係数学習装置の構成を示すブロック図であ
る。
【図8】クラスと予測係数の一例を示す図である。
【符号の説明】
1 ブロック構成部, 2 信号遅延部, 3 平面推
定部, 4 定常性方向評価部, 5 予測タップ構成
部, 6 予測係数ROM, 7 予測処理部,26 予
測係数学習部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 CA16 CB16 CE02 CH08 5C021 PA42 PA56 PA66 PA78 RA00 RB08 YA01 5C077 LL09 MP01 PP41 PQ30

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 注目画素が中央に位置する基準フィール
    ドを含み、前記基準フィールドの時間的に前または後に
    位置する所定枚数のフィールドから構成される画素デー
    タをブロック化するブロック化手段と、 前記ブロック化手段によりブロック化された画素データ
    を所定の式に代入し、レベル値が同一であると判断され
    る平面を推定する平面推定手段と、 前記平面推定手段により推定された平面式に、クラス毎
    に設定されている複数の画素の座標値を代入し、最小値
    と最大値との差をとることによりクラス毎のダイナミッ
    クレンジを算出する算出手段と、 前記クラス毎に設定されている予測係数を記憶する記憶
    手段と、 前記算出手段により算出されたダイナミックレンジの最
    小値をもつクラスに対応する予測係数を前記記憶手段か
    ら読み出す読み出し手段と、 前記読み出し手段により読み出された前記予測係数と所
    定の画素からなる予測タップとを用いて適応処理を行う
    適応処理手段とを備えることを特徴とする画像処理装
    置。
  2. 【請求項2】 前記注目画素の座標を(水平x,垂直
    y,時間z)=(0,0,0)として前記ブロック内の
    他の画素の座標を表現し、信号レベルをr、残差をe、
    係数をc1乃至c4としたとき、前記平面推定手段の所
    定の式は、 r+e=c1・x+c2・y+c3・z+c4 と表され、前記平面推定手段は、最小自乗法により、前
    記残差eが最小となるような平面を推定することを特徴
    とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記適応処理手段は、前記注目画素のノ
    イズが除去されたデータを、前記予測タップと前記予測
    係数との線形一次結合により演算することを特徴とする
    請求項1に記載の画像処理装置。
  4. 【請求項4】 前記算出手段により算出されたダイナミ
    ックレンジの最小値をもつクラスから前記画素データに
    より表示される画像の動きを検出することを特徴とする
    請求項1に記載の画像処理装置。
  5. 【請求項5】 注目画素が中央に位置する基準フィール
    ドを含み、前記基準フィールドの時間的に前または後に
    位置する所定枚数のフィールドから構成される画素デー
    タをブロック化するブロック化ステップと、 前記ブロック化ステップでブロック化された画素データ
    を所定の式に代入し、レベル値が同一であると判断され
    る平面を推定する平面推定ステップと、 前記平面推定ステップで推定された平面式に、クラス毎
    に設定されている複数の画素の座標値を代入し、最小値
    と最大値との差をとることによりクラス毎のダイナミッ
    クレンジを算出する算出ステップと、 前記クラス毎に設定されている予測係数を記憶する記憶
    ステップと、 前記算出ステップで算出されたダイナミックレンジの最
    小値をもつクラスに対応する予測係数を前記記憶ステッ
    プから読み出す読み出しステップと、 前記読み出しステップで読み出された前記予測係数と所
    定の画素からなる予測タップとを用いて適応処理を行う
    適応処理ステップとを含むことを特徴とする画像処理方
    法。
  6. 【請求項6】 注目画素が中央に位置する基準フィール
    ドを含み、前記基準フィールドの時間的に前または後に
    位置する所定枚数のフィールドから構成される画素デー
    タをブロック化するブロック化ステップと、 前記ブロック化ステップでブロック化された画素データ
    を所定の式に代入し、レベル値が同一であると判断され
    る平面を推定する平面推定ステップと、 前記平面推定ステップで推定された平面式に、クラス毎
    に設定されている複数の画素の座標値を代入し、最小値
    と最大値との差をとることによりクラス毎のダイナミッ
    クレンジを算出する算出ステップと、 前記クラス毎に設定されている予測係数を記憶する記憶
    ステップと、 前記算出ステップで算出されたダイナミックレンジの最
    小値をもつクラスに対応する予測係数を前記記憶ステッ
    プから読み出す読み出しステップと、 前記読み出しステップで読み出された前記予測係数と所
    定の画素からなる予測タップとを用いて適応処理を行う
    適応処理ステップとを含む処理を画像処理装置に実行さ
    せるコンピュータが読み取り可能なプログラムを提供す
    ることを特徴とする提供媒体。
JP00157699A 1999-01-07 1999-01-07 画像処理装置および方法 Expired - Fee Related JP4144091B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00157699A JP4144091B2 (ja) 1999-01-07 1999-01-07 画像処理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00157699A JP4144091B2 (ja) 1999-01-07 1999-01-07 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JP2000201283A true JP2000201283A (ja) 2000-07-18
JP4144091B2 JP4144091B2 (ja) 2008-09-03

Family

ID=11505355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00157699A Expired - Fee Related JP4144091B2 (ja) 1999-01-07 1999-01-07 画像処理装置および方法

Country Status (1)

Country Link
JP (1) JP4144091B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004072898A1 (ja) * 2003-02-13 2004-08-26 Sony Corporation 信号処理装置および方法、並びにプログラム
WO2004077354A1 (ja) * 2003-02-25 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
WO2004077353A1 (ja) * 2003-02-28 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
WO2004077351A1 (ja) * 2003-02-28 2004-09-10 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
WO2004077352A1 (ja) * 2003-02-25 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
WO2005001763A1 (ja) * 2003-06-27 2005-01-06 Sony Corporation 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
WO2005001762A1 (ja) * 2003-06-27 2005-01-06 Sony Corporation 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609292B2 (en) 2003-02-13 2009-10-27 Sony Corporation Signal processing device, method, and program
CN100350428C (zh) * 2003-02-13 2007-11-21 索尼株式会社 信号处理装置、方法及程序
CN101141575B (zh) * 2003-02-13 2011-06-29 索尼株式会社 信号处理装置、方法及程序
US7668393B2 (en) 2003-02-13 2010-02-23 Sony Corporation Signal processing device, method, and program
US7734113B2 (en) 2003-02-13 2010-06-08 Sony Corporation Signal processing device, method, and program
US7595800B2 (en) 2003-02-13 2009-09-29 Sony Corporation Signal processing device, method, and program
US7576777B2 (en) 2003-02-13 2009-08-18 Sony Corporation Signal processing device, method, and program
US7593594B2 (en) 2003-02-13 2009-09-22 Sony Corporation Signal processing device, method, and program
WO2004072898A1 (ja) * 2003-02-13 2004-08-26 Sony Corporation 信号処理装置および方法、並びにプログラム
US7590304B2 (en) 2003-02-13 2009-09-15 Sony Corporation Signal processing device, method, and program
US7593601B2 (en) 2003-02-25 2009-09-22 Sony Corporation Image processing device, method, and program
US7447378B2 (en) 2003-02-25 2008-11-04 Sony Corporation Image processing device, method, and program
KR101041060B1 (ko) 2003-02-25 2011-06-13 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
CN100343873C (zh) * 2003-02-25 2007-10-17 索尼株式会社 图像处理装置、方法
WO2004077352A1 (ja) * 2003-02-25 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
WO2004077354A1 (ja) * 2003-02-25 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
KR101023454B1 (ko) * 2003-02-25 2011-03-24 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
US7889944B2 (en) 2003-02-28 2011-02-15 Sony Corporation Image processing device and method, recording medium, and program
KR101023452B1 (ko) * 2003-02-28 2011-03-24 소니 주식회사 화상 처리 장치 및 방법, 기록 매체, 및 프로그램
CN100350429C (zh) * 2003-02-28 2007-11-21 索尼株式会社 图像处理装置、方法
US7596268B2 (en) 2003-02-28 2009-09-29 Sony Corporation Image processing device, method, and program
US8026951B2 (en) 2003-02-28 2011-09-27 Sony Corporation Image processing device and method, recording medium, and program
US7599573B2 (en) 2003-02-28 2009-10-06 Sony Corporation Image processing device, method, and program
US7602992B2 (en) 2003-02-28 2009-10-13 Sony Corporation Image processing device, method, and program
US7778439B2 (en) 2003-02-28 2010-08-17 Sony Corporation Image processing device and method, recording medium, and program
US7668395B2 (en) 2003-02-28 2010-02-23 Sony Corporation Image processing device, method, and program
WO2004077351A1 (ja) * 2003-02-28 2004-09-10 Sony Corporation 画像処理装置および方法、記録媒体、並びにプログラム
US7672534B2 (en) 2003-02-28 2010-03-02 Sony Corporation Image processing device, method, and program
WO2004077353A1 (ja) * 2003-02-28 2004-09-10 Sony Corporation 画像処理装置および方法、並びにプログラム
US7567727B2 (en) 2003-02-28 2009-07-28 Sony Corporation Image processing device, method, and program
KR101002999B1 (ko) 2003-02-28 2010-12-21 소니 주식회사 화상 처리 장치 및 방법
US7561188B2 (en) 2003-02-28 2009-07-14 Sony Corporation Image processing device and method, recording medium, and program
CN100388307C (zh) * 2003-06-27 2008-05-14 索尼株式会社 信号处理设备和信号处理方法
KR101002225B1 (ko) 2003-06-27 2010-12-20 소니 주식회사 신호 처리 장치 및 신호 처리 방법, 및 컴퓨터로 판독 가능한 기록 매체
US7684635B2 (en) 2003-06-27 2010-03-23 Sony Corporation Signal processing device, and signal processing method, and program, and recording medium
US7672536B2 (en) 2003-06-27 2010-03-02 Sony Corporation Signal processing device, signal processing method, program, and recording medium
KR101016355B1 (ko) 2003-06-27 2011-02-21 소니 주식회사 신호 처리 장치 및 신호 처리 방법, 및 컴퓨터로 판독 가능한 기록 매체
US7672526B2 (en) 2003-06-27 2010-03-02 Sony Corporation Signal processing device, signal processing method, program, and recording medium
US7512285B2 (en) 2003-06-27 2009-03-31 Sony Corporation Signal processing device and signal processing method, and program and recording medium
CN100433058C (zh) * 2003-06-27 2008-11-12 索尼株式会社 信号处理设备和信号处理方法
WO2005001762A1 (ja) * 2003-06-27 2005-01-06 Sony Corporation 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
WO2005001763A1 (ja) * 2003-06-27 2005-01-06 Sony Corporation 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体

Also Published As

Publication number Publication date
JP4144091B2 (ja) 2008-09-03

Similar Documents

Publication Publication Date Title
JP4700892B2 (ja) 画像のマッチング
US7012649B2 (en) Image processing apparatus and method, program, and recording medium
JP3287864B2 (ja) 映像信号のフィールド又はフレーム間の動きを表す運動ベクトルを導出する方法及びこれを使用する映像方式変換装置
US7848427B2 (en) Apparatus and method for determining motion vector with effective pixel gradient
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
US7881539B2 (en) Image processing apparatus and method, program recording medium, and program
EP0778543A2 (en) A gradient based method for providing values for unknown pixels in a digital image
EP0395271A2 (en) Motion dependent video signal processing
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
US20050271144A1 (en) Image processing apparatus and method, and recording medium and program used therewith
EP1841234A2 (en) Apparatus for creating interpolation frame
JP2005287048A (ja) 画像境界における動きベクトル検出の改良
US20060098886A1 (en) Efficient predictive image parameter estimation
JP4144091B2 (ja) 画像処理装置および方法
JPH0787481A (ja) 異常検出装置
JP2006148419A (ja) 画像符号化装置,画像符号化方法,画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
WO2011074121A1 (ja) 動きベクトル検出装置及び方法
JP2006067541A (ja) 映像変換装置及び映像変換方法並びに記録媒体
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
JPH10320566A (ja) 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体
JP2006521740A (ja) 動きベクトル決定方法
JP7427398B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
US8472708B2 (en) Image processor, method for processing image and computer readable medium
JP2001169112A (ja) 不十分な階調精度を有する画像をフィルタリングするための方法および装置
JP2009065283A (ja) 画像ぶれ補正装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080609

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees