JP2014006653A - リンギングを除去する映像処理方法とそのプログラム及びその映像処理装置 - Google Patents

Abstract

【課題】高周波特性とリンギング除去とを高次元でバランスさせてリンギングを除去する映像処理方法とそのプログラムを提案することを目的とする。
【解決手段】フレームリサイズ処理をする場合に、フレームリサイズ処理後の画素に対応するフレームリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフレームリサイズ処理後の画素領域をクリップ処理することによりリンギングを除去する映像処理方法とする。
【選択図】図１

Description

本発明は、高周波特性とリンギング除去とを高次元でバランスさせてリンギングを除去する映像処理方法とそのプログラム及びその映像処理装置に関する。

映像の拡大または／及び縮小のリサイズ処理、サブピクセル精度の移動処理等、画素の補間処理では、波形応答と周波数応答はトレードオフの関係にあるため、両者を同時に満たすことはできず、補間処理モードとして、波形応答と周波数応答のいずれかを優先するよう、ユーザーが映像の内容等によって補間フィルタの特性（タップ数（画素数）等）を選ぶことが行われてきた。

そのような補間フィルタ特性の調整の自動化やエッジ検出処理を基本とする波形操作を行う適応処理も試みられている。

例えば、下記特許文献１には、リンギング除去のための画像処理装置および画像処理方法に関する発明であって、人間の知覚特性を考慮して、画像の平坦部におけるリンギングを低減させることを目的とする技術思想が開示されている。

具体的には、第１撮像素子および第２撮像素子と、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成し、かつ、前記第２撮像素子の撮像面上に焦点が外れた第２の像を形成する光学系と、前記第１撮像素子および前記第２撮像素子から得られる信号を処理する画像処理部とを備える撮像装置における画像処理方法であって、前記光学系により、前記第１撮像素子の撮像面上に焦点が合っている第１の像を形成させるとともに、前記第２撮像素子の撮像面上に焦点が合っていない第２の像を形成させるステップと、前記画像処理部により、前記第１撮像素子および前記第２撮像素子によって取得された画像から、手振れによるぼやけおよび焦点外れによるぼやけを減少させた復元画像を生成するステップとを含む画像処理方法とすることが示されている。

また、特許文献１によれば、画像の平坦部分におけるリンギングを低減させることが可能となることが記載されている。

リンギングは、符号化により高周波成分の波が失われることに起因して、失われた高周波成分の逆相の波が画像の平坦部分に現れることによるノイズであるが、時間的に動きを伴うエッジの周辺や、空間的なエッジの周辺において、より顕在化する傾向を有する。

また、下記特許文献２には、デリンギングフィルタによる処理においては、エッジ検出後に施される荷重平均値フィルタの荷重が、固定的に定められた値のものであることから、エッジ検出の精度によっては、エッジを含む大振幅の信号（画像の大きな変化）を平滑化し、輪郭をぼやけさせてしまうという問題を解決する手法が提案されている。

これによれば、フィルタリングの対象であるブロック境界の局所的な信号形状を算出する際に、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数を採用して、局所的な信号形状とし、その局所的な信号形状に基づいて、雑音推定を行う画像処理装置とすることにより、従来行われている雑音推定の場合に比べ、ブロック歪みの低減効果を高めることが可能となること、また、ブロック境界を挟む画素列のうち、ブロック境界に近い所定画素にのみデブロッキングフィルタを施すことにより、ブロック歪みの低減効果を向上させた場合であっても、画像本来の情報が失われること防止できること、さらに、局所的な信号形状を算出する際に、動画像における動きの大きさおよび符号化における量子化パラメータに基づいて、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数、あるいは、より多い非零要素数のいずれかを適宜選択するので、動画像データの内容に応じて、より適切なデブロッキングフィルタリング処理を行うことが可能となり、動画像の画質を効果的に改善することができることが記載されている。

特開２０１１−１６６５８８号公報 特開２００４−２１５２１６号公報

映像の補間処理フィルタをモード選択することにより、補間処理による波形応答と周波数応答のいずれかは犠牲にならざるを得ず、また、マニュアル設定によるため、映像の変換画質の品質を一定に保つことが難しいし、作業が煩雑となる。また、補間フィルタ特性の調整の自動化やエッジ検出処理を基本とする波形操作の適応処理は、処理内容が複雑化する傾向にある。

本発明は上述の問題点に鑑み為されたものであって、高周波特性とリンギング除去とを高次元でバランスさせて、簡易な処理でリンギングを除去する映像処理方法とそのプログラム及びその映像処理装置を提案することを目的とする。

補間処理により生成した変換画素に対して、その元の入力画像における近傍ブロック領域の画素のレベルの最大値、最小値を探索する。そして、補間生成した変換画素がその最大値、最小値の範囲を超えていた場合、その最大値、最小値で置き換えるクリップ処理を行う。

また、本発明のリンギングを除去する映像処理方法は、フレームリサイズ処理をする場合に、フレームリサイズ処理後の画素に対応するフレームリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフレームリサイズ処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、好ましくは最大値がフレームリサイズ処理に伴う遅延補償した最大値であり、最小値はフレームリサイズ処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくはフレームリサイズが拡大処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくは近傍画素領域は、内挿点の周囲のＶ方向が３画素でＨ方向が２画素の３×２画素であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、フィールドリサイズ処理をする場合に、フィールドリサイズ処理後の画素に対応するフィールドリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフィールドリサイズ処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、好ましくは最大値がフィールドリサイズ処理に伴う遅延補償した最大値であり、最小値はフィールドリサイズ処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくはフィールドリサイズは拡大処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくは近傍画素領域は、内挿点の周囲のＶ方向が２画素でＨ方向が２画素の２×２画素であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、フィールドシフト処理をする場合に、フィールドシフト処理後の画素に対応するフィールドシフト処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフィールドシフト処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、好ましくは最大値がフィールドシフト処理に伴う遅延補償した最大値であり、最小値はフィールドシフト処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくはフィールドシフトは画像をサブピクセル精度で移動させるシフト処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理方法は、さらに好ましくは近傍画素領域が、内挿点の周囲のＶ方向が２画素でＨ方向が３画素の２×３画素であることを特徴とする。

本発明のプログラムは、上述のいずれかに記載の処理をコンピュータに遂行させるためのプログラムである。

また、本発明のリンギングを除去する映像処理装置は、フレームリサイズ処理をする映像処理装置において、フレームリサイズ処理後の画素に対応するフレームリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフレームリサイズ処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、好ましくは最大値がフレームリサイズ処理に伴う遅延補償した最大値であり、最小値はフレームリサイズ処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくはフレームリサイズが拡大処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくは近傍画素領域が、内挿点の周囲のＶ方向が３画素でＨ方向が２画素の３×２画素であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、フィールドリサイズ処理をする映像処理装置であって、フィールドリサイズ処理後の画素に対応するフィールドリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフィールドリサイズ処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、好ましくは最大値がフィールドリサイズ処理に伴う遅延補償した最大値であり、最小値はフィールドリサイズ処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくはフィールドリサイズが拡大処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくは近傍画素領域が、内挿点の周囲のＶ方向が２画素でＨ方向が２画素の２×２画素であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、フィールドシフト処理をする映像処理装置であって、フィールドシフト処理後の画素に対応するフィールドシフト処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、最大値と最小値とでフィールドシフト処理後の画素をクリップ処理することを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、好ましくは最大値がフィールドシフト処理に伴う遅延補償した最大値であり、最小値はフィールドシフト処理に伴う遅延補償した最小値であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくはフィールドシフトが画像をサブピクセル精度で移動させるシフト処理であることを特徴とする。

また、本発明のリンギングを除去する映像処理装置は、さらに好ましくは近傍画素領域が、内挿点の周囲のＶ方向が２画素でＨ方向が３画素の２×３画素であることを特徴とする。

補間処理により生成した変換画素に対して、その元の入力画像における近傍ブロック領域の画素のレベルの最小値、最大値によるクリップ処理を行うことにより、テロップやビルディング等の人工物のエッジに発生する不要なリンギングが除去できる。

また、リンギング除去処理は補間処理を行うフィルタの後処理として行うため、補間処理を行うフィルタのタップ長を減らす必要はなく、補間処理における解像度の劣化も抑えつつ（すなわち周波数応答を保ちつつ）、波形応答を改善することが可能となる。

また、高周波特性とリンギング除去とを高次元でバランスさせてリンギングを除去する映像処理方法とそのプログラム及びその映像処理装置を実現できる。

本実施形態に関する画像の拡大処理におけるリンギング除去処理の概要について説明するブロック概念図である。 サブピクセル精度のシフト処理におけるリンギング除去処理の概要を説明するブロック概念図である。 拡大処理におけるリンギング発生の典型例について説明する概念図であり、入力画像の上方から下方に向かう矢印方向に見た場合について説明するグラフである。 近傍の入力２画素を用いたリンギング除去処理についてリンギング除去処理前とリンギング除去処理後とを比較して説明する図である。 拡大処理における入力画像と出力画像との関係について説明する図である。 出力から見た入力の補間座標について説明する図である。 フィールドリサイズの場合のカーネルを説明する概念図である。 円形ゾーンプレート（ＣＺＰ）画像をリンギング除去処理した結果の波形モニタ画面（上段）とテスト画像をリンギング処理した結果画像（下段）を示して説明する図である。 フィールドシフト処理の場合におけるリンギング除去のためのカーネルを例示して説明する図である。 フィールドシフト処理の場合における補間座標について説明する図である。 円形ゾーンプレート画像をリンギング除去処理した結果の波形モニタ画像を説明する図である。 フィールドシフト処理におけるテスト画像のリンギング除去処理結果をカーネルサイズが２×１フィルタ、３×１フィルタ、４×１フィルタ、５×１フィルタ、２×３フィルタ、フィルタ無しの６パターンで比較して説明する図である。 フレームレート変換処理の場合について、フィールドシフト処理の場合とフィールドリサイズ処理の場合とフレームリサイズ処理の場合それぞれの最適なカーネルについて説明する図である。 ＮＴＳＣ（７２０×４８０）サイズの円形ゾーンプレート（ＣＺＰ：Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）画像を説明する図であり、図８と図１１に示す波形の元画像である。

映像の拡大や縮小のリサイズ処理、サブピクセル精度のシフト処理を行うためには、画素の補間処理が必要となる。通常、複数の画素を用いた内挿補間処理が用いられるが、より多くの画素を用いた場合、テロップやビルディング等の人工物のエッジ近傍にリンギングが生じる。

補間処理に用いる画素を減らすことによりリンギングは低減するが、補間処理の結果、解像度が劣化する。すなわち、補間処理におけるリンギングと解像度はトレードオフの関係にあるが、実施形態においては、補間処理の後処理として簡易なクリップ処理を施すことにより解像度を保ったままリンギング除去を可能とする処理方法を提案する。

具体的には、補間処理によるリンギングを後処理において除去する場合に、補間処理をした後の変換画素ではなく、補間生成した画素に対する元の入力画素における近傍ブロック領域の画素を参照する。

この場合に、補間処理フィルタの特性（タップ数等）に応じて、参照する元の入力画素における近傍ブロック領域を変更する等、柔軟な対応も可能である。また、従来の補間処理の後処理として追加するだけであり、その追加した処理のコストも低廉である。

すなわち、画素の内挿補間処理を行う補間フィルタの後処理として、補間生成した変換画素の元の入力画素（すなわち補間処理前の画素）における近傍ブロック領域の画素における最大値及び最小値を探索する処理を遂行し、探索した最大値及び最小値により変換画素（すなわち補間処理後の画素）をクリップ処理し、最大値を超える画素値は最大値で置き換え、最小値を下回る画素値は最小値で置き換える。

実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により具現化することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、様々なバリエーション構成による具現化も可能である。

また、本発明における「補間生成した画素に対する元の入力画素における近傍ブロック領域の画素を参照する構成」に基づいた波形応答と周波数応答とを同時に満たす画素の補間処理の改善方法をさらに進めて、より高品位な画像の拡大処理、いわゆる「超解像」処理への展開も期待される。

図１は、本実施形態に関する画像の拡大処理におけるリンギング除去処理の概要について説明するブロック概念図である。図１において、画像の拡大処理のために入力される入力画像１４０を拡大処理部（Ｒｅｓｉｚｅ）１２０が画像の拡大処理を遂行する。

一方、画像の拡大処理のために入力される入力画像１４０から、拡大処理後の拡大変換画像１５０の画素に対応する画素の近傍画素領域（図１の１４０に矩形枠線で示したカーネル）から最大値最小値選択回路（Ｍｉｎ／Ｍａｘ）１１０が最大値と最小値とを選択する。

また、最大値最小値選択回路１１０が選択し、リサイズ処理に伴う遅延補償された最大値（Ｍａｘ）１６０と最小値（Ｍｉｎ）１７０とは、クリップ処理部１３０において、拡大処理部１２０で拡大処理された拡大変換画像１５０のクリップ処理に用いられる。

また、図２は、サブピクセル精度の画像のシフト処理におけるリンギング除去処理の概要を説明するブロック概念図である。図２に示すように、画像のシフト処理のために入力される入力画像２４０は、画像シフト処理回路（Ｓｈｉｆｔ）２２０において、画像のシフト処理が遂行される。

一方、画像のシフト処理のために入力される入力画像２４０から、シフト処理後の画像の画素に対応する入力画素２４０の近傍画素領域（図２の２４０に矩形枠線で２つ示した）から最大値最小値選択回路（Ｍｉｎ／Ｍａｘ）２１０が最大値と最小値とを選択する。

また、最大値最小値選択回路２１０が選択し、シフト処理に伴う遅延補償された最大値（Ｍａｘ）２６０と最小値（Ｍｉｎ）２７０とは、クリップ処理部２３０において、画像シフト処理回路（Ｓｈｉｆｔ）２２０でシフト処理された画像のクリップ処理に用いられる。

（リンギング除去の概要）
図３は、拡大処理におけるリンギング発生の典型例について説明する概念図であり、入力画像の上方から下方に向かう矢印方向（すなわちＶ（垂直）方向）に見た場合について説明するグラフである。図３に示すように、ＮＴＳＣから１０８０／５９ｉへのフレーム拡大によるアップ変換における、Ｖ方向のリンギングが生じている。図３の出力画像のグラフにおいて平坦水平であるべき輝度変化前後の値が上下方向にゆらいで凹凸しているのがリンギングである。

タップの長いｓｉｎｃ関数を用いた拡大処理結果は出力画像のようになり、これに対応する図３のグラフから、画像の中心部の輝度切り替わり付近でリンギングが発生していることが理解できる。

これに対して、内挿点の直近の入力２画素から最大値、最小値のレベルを決定し、これによりクリップ処理を遂行すれば、５３９〜５４０Ｌｉｎｅ以外は、入力画素の最大値又は最小値でクリップされることとなるので、リンギングが除去される。

（リンギング除去前後の比較）
図４は、近傍の入力２画素を用いたリンギング除去処理についてリンギング除去処理前とリンギング除去処理後とを比較して説明する図である。図４において上方右側の写真及び上方左側のグラフがリンギング除去前の状態を説明する図であり、下方右側の写真及び下方左側のグラフがリンギング除去後の状態を説明する図である。

リンギング除去前及び除去後において、右側写真の上方から下方の矢印方向に画像を見た場合を左側のグラフが示している。図４は、ＮＴＳＣのテスト素材をフレームサイズで１０８０／５９ｉに変換した結果である。また、図４のリンギング除去処理においては、水平方向（Ｈ方向）に拡大した画像をクリップレベルの基準として、内挿点の上下２画素の２タップのフィルタを掛けたものである。

図４から理解できるように、クリップ処理を遂行することで、輝度値の乱れが低減されてリンギングが除去されていることが理解できる。一方、リンギング除去処理の程度とトレードオフの関係にあるＣＺＰ（Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）の高周波成分の低減についても、これを極力抑えることが好ましい。そこで、適切なリンギング除去処理を遂行するための矩形フィルタ処理について説明する。

（矩形フィルタ処理）
図５乃至図６はリンギング除去のための矩形フィルタ処理について説明する図であり、図５が拡大処理における入力画像と出力画像との関係について説明し、図６が出力から見た入力の補間座標について説明する図である。

図５に示すように、フレームレート変換処理では、リサイズ処理を遂行する場合に、まずＨ方向のリサイズ処理を遂行し、その後Ｖ方向のリサイズ処理を遂行し、Ｈ方向、Ｖ方向の順に、ＨとＶとを独立したリサイズ処理としている。

従って、リンギング除去処理は、図５の（１）入力画像からＭａｘ、Ｍｉｎのレベルを決定して、（３）Ｈ、Ｖ方向の拡大画像に対して、クリップ処理を遂行することとなる。

図６に示すように、出力画像の特定画素（中心の画素の座標）に対応する入力画像の特定画素（破線交差点の座標）は、破線の交差において示される。この特定画素（図６の破線交差点）を基準にして、任意の範囲からＭａｘ、Ｍｉｎの輝度レベルを決定し、クリップ処理を遂行することになるが、図６においては任意の範囲として太実線の矩形として３×３画素の範囲を例示している。

（フィールドリサイズ処理（典型的には拡大処理）の場合）
図７は、フィールドリサイズの場合のカーネルを説明する概念図である。フィールドリサイズの場合には内挿点を基準として図７に示すようなカーネルとすることができる。図７左側に示す３×３フィルタは最も遠くの画素まで見ることになるため、リンギング除去の効果は小さくなるが一方で周波数特性は良好である。

図７右側に示す２×２フィルタは内挿点の直近の４画素を見るためリンギング除去の効果は高くなるが、周波数特性は上述した３×３と比較すればあまり良くない。すなわち、リンギング除去の効果と周波数特性とはトレードオフの関係にあるので、どのような形状のカーネルが最適であるかを確認するため、図７に示す３つのカーネルについてＣＺＰ及びテスト素材を用いて評価実験を行った。

図８は、円形ゾーンプレート画像をリンギング除去処理した結果の波形モニタ画面（上段）とテスト画像をリンギング処理した結果画像（下段）を示して説明する図である。図８には、ＰＡＬのＣＺＰおよびＳＤＩＭａｔｒｉｘに静止テロップを載せた素材を１０８０／５０ｉへと変換した場合の波形モニタ（Ｗａｖｅ ｆｏｒｍ）画面とその出力フレームとを示している。

図８から理解できるように、周波数特性は２×２フィルタが最も悪いが、リンギング除去効果は２×２フィルタが最も高くなる。

（フィールドシフト処理の場合）
図９は、フィールドシフト処理の場合におけるリンギング除去のためのカーネルを例示して説明する図である。また、図１０は、フィールドシフト処理の場合における補間座標について説明する図である。フィールドシフト処理もタップの長いフィルタを掛けるためにリンギングが発生する。

フィールドシフト処理の場合、Ｖ方向にのみシフトのフィルタ処理を遂行するため、フィルタとしては図９に示すようなカーネルとしてもよい。

図１１は、円形ゾーンプレート画像をリンギング除去処理した結果の波形モニタ画像を説明する図である。図１１においては、１０８０／５９ｉのＣＺＰを１０８０／５０ｉへと変換した場合の波形を示すものである。

２×１フィルタ乃至４×１フィルタについては、各々の変化に大差は無いが、周波数特性の劣化が見受けられる。フィルタ無しの周波数特性が最も優れていることが理解できるが、５×１フィルタや２×３フィルタも若干の周波数特性の劣化が見受けられるものの、概ね良好な特性を有していることが理解できる。

図１２は、フィールドシフト処理におけるテスト画像のリンギング除去処理結果をカーネルサイズが２×１フィルタ、３×１フィルタ、４×１フィルタ、５×１フィルタ、２×３フィルタ、フィルタ無しの６パターンで比較して説明する図である。

図１２においては、１０８０／５９ｉのＳＤＩＭａｔｒｉｘに静止テロップを載せたテスト素材を１０８０／５０ｉへと変換した場合の出力フレームを示している。図１２から理解できるように、２×１フィルタ、３×１フィルタ、４×１フィルタ、５×１フィルタの順でリンギング除去効果が低減するが、２×３フィルタを用いる場合には２×１とほぼ同等のリンギング除去効果を得られることが理解できる。

（カーネルサイズについて）
図１３は、フレームレート変換処理の場合について、フィールドシフト処理の場合とフィールドリサイズ処理の場合とフレームリサイズ処理の場合それぞれの最適なカーネルについて説明する図である。

上述したＣＺＰ及びテキスト素材の処理結果から、フィールドシフト処理の場合には２×３フィルタ、すなわちＨ方向は３画素としＶ方向は内分点の直近の２画素とすることが好ましい。

また、フィールドリサイズ処理の場合には２×２フィルタ、すなわちＨ方向、Ｖ方向ともに内分点の直近の２画素とすることが好ましい。なお、Ｖ方向はフィールドとなるので、フレームとして見た場合には３画素の距離に相当することとなる。

また、フレームリサイズ処理の場合には３×２フィルタ、すなわちＨ方向は２画素、Ｖ方向は３画素とすることが好ましい。

また、カーネル面積を広くしたほうが、ＣＺＰの高周波部分が残存して好ましい一方でリンギング除去の効果が低減されてしまう。また、逆にカーネル面積が広くなるほど処理コストも増大することとなるので、フレームレート変換処理においては、上述したカーネルサイズで実装することが好ましいものとなる。

図１４は、ＮＴＳＣ（７２０×４８０）サイズの円形ゾーンプレート（ＣＺＰ：Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）画像を説明する図であり、図８と図１１に示す波形の元画像である。本実施形態で示したアルゴリズムは、画像のエッジ部分を検出するなど、画像を解析して領域毎に異なる処理をするのではなく、どんな画像かを判断せずに簡易な後処理でリンギングを除去できる点に特徴があり、その作用効果としては、高周波特性、処理コスト、リンギング除去効果の３つをバランス良く考慮できることが挙げられる。

なお、上述したクリップ処理とは、該当画素値の輝度値が、入力された二つの比較画素値の間（典型的には最大値と最小値との間）にない場合において、最大値を超えている場合には最大値で置き換え、最小値より小さい場合には最小値で置き換える処理をいう。

本実施形態で説明した処理方法は、実施形態での説明の限定されるものではなく自明な範囲で適宜その処理を変更し構成を変更することができる。また、各説明における個別の例示等に限定されるものではなく、自明な範囲で適宜組み合わせてもよく、アレンジすることが可能である。例えば、リサイズについては拡大する場合についてのみ実施形態で例示して説明したが、縮小する場合に適用してもよいことは自明である。

本発明は、映像処理全般に適用可能であるが、特に、アップ／ダウン／クロス／フレームレート変換といった映像フォーマット変換装置、スイッチャ製品におけるＤＶＥ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｅｆｆｅｃｔｓ）機能等、画素の補間処理を行う製品装置等に好適に展開できる。

１１０・・最大値最小値選択部、１２０・・画像拡大処理部、１３０・・クリップ処理部、１４０・・入力画像、１５０・・拡大変換画像、１６０・・リサイズ処理に伴う遅延補償した最大値、１７０・・リサイズ処理に伴う遅延補償された最小値。

Claims (26)

1. フレームリサイズ処理をする場合に、
   フレームリサイズ処理後の画素に対応するフレームリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフレームリサイズ処理後の画素をクリップ処理する
   ことを特徴とするリンギングを除去する映像処理方法。
2. 請求項１に記載のリンギングを除去する映像処理方法において、
   前記最大値はフレームリサイズ処理に伴う遅延補償した最大値であり、
   前記最小値はフレームリサイズ処理に伴う遅延補償した最小値である
   ことを特徴とするリンギングを除去する映像処理方法。
3. 請求項１または請求項２に記載のリンギングを除去する映像処理方法において、
   前記フレームリサイズは拡大処理である
   ことを特徴とするリンギングを除去する映像処理方法。
4. 請求項１乃至請求項３のいずれか一項に記載のリンギングを除去する映像処理方法において、
   前記近傍画素領域は、内挿点の周囲のＶ方向が３画素でＨ方向が２画素の３×２画素である
   ことを特徴とするリンギングを除去する映像処理方法。
5. フィールドリサイズ処理をする場合に、
   フィールドリサイズ処理後の画素に対応するフィールドリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフィールドリサイズ処理後の画素をクリップ処理する
   ことを特徴とするリンギングを除去する映像処理方法。
6. 請求項５に記載のリンギングを除去する映像処理方法において、
   前記最大値はフィールドリサイズ処理に伴う遅延補償した最大値であり、
   前記最小値はフィールドリサイズ処理に伴う遅延補償した最小値である
   ことを特徴とするリンギングを除去する映像処理方法。
7. 請求項５または請求項６に記載のリンギングを除去する映像処理方法において、
   前記フィールドリサイズは拡大処理である
   ことを特徴とするリンギングを除去する映像処理方法。
8. 請求項５乃至請求項７のいずれか一項に記載のリンギングを除去する映像処理方法において、
   前記近傍画素領域は、内挿点の周囲のＶ方向が２画素でＨ方向が２画素の２×２画素である
   ことを特徴とするリンギングを除去する映像処理方法。
9. フィールドシフト処理をする場合に、
   フィールドシフト処理後の画素に対応するフィールドシフト処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフィールドシフト処理後の画素をクリップ処理する
   ことを特徴とするリンギングを除去する映像処理方法。
10. 請求項９に記載のリンギングを除去する映像処理方法において、
    前記最大値はフィールドシフト処理に伴う遅延補償した最大値であり、
    前記最小値はフィールドシフト処理に伴う遅延補償した最小値である
    ことを特徴とするリンギングを除去する映像処理方法。
11. 請求項９または請求項１０に記載のリンギングを除去する映像処理方法において、
    前記フィールドシフトは画像をサブピクセル精度で移動させるシフト処理である
    ことを特徴とするリンギングを除去する映像処理方法。
12. 請求項９乃至請求項１１のいずれか一項に記載のリンギングを除去する映像処理方法において、
    前記近傍画素領域は、内挿点の周囲のＶ方向が２画素でＨ方向が３画素の２×３画素である
    ことを特徴とするリンギングを除去する映像処理方法。
13. 請求項１乃至請求項１２のいずれか一項に記載の処理をコンピュータに遂行させるためのプログラム。
14. タップの長いフィルタ処理をする場合に、
    前記フィルタ処理後の画素に対応する前記フィルタ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とで前記フィルタ処理後の画素をクリップ処理する
    ことを特徴とするリンギングを除去する映像処理方法。
15. フレームリサイズ処理をする映像処理装置において、
    フレームリサイズ処理後の画素に対応するフレームリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフレームリサイズ処理後の画素をクリップ処理する
    ことを特徴とするリンギングを除去する映像処理装置。
16. 請求項１５に記載のリンギングを除去する映像処理装置において、
    前記最大値はフレームリサイズ処理に伴う遅延補償した最大値であり、
    前記最小値はフレームリサイズ処理に伴う遅延補償した最小値である
    ことを特徴とするリンギングを除去する映像処理装置。
17. 請求項１５または請求項１６に記載のリンギングを除去する映像処理装置において、
    前記フレームリサイズは拡大処理である
    ことを特徴とするリンギングを除去する映像処理装置。
18. 請求項１５乃至請求項１７のいずれか一項に記載のリンギングを除去する映像処理装置において、
    前記近傍画素領域は、内挿点の周囲のＶ方向が３画素でＨ方向が２画素の３×２画素である
    ことを特徴とするリンギングを除去する映像処理装置。
19. フィールドリサイズ処理をする映像処理装置において、
    フィールドリサイズ処理後の画素に対応するフィールドリサイズ処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフィールドリサイズ処理後の画素をクリップ処理する
    ことを特徴とするリンギングを除去する映像処理装置。
20. 請求項１９に記載のリンギングを除去する映像処理装置において、
    前記最大値はフィールドリサイズ処理に伴う遅延補償した最大値であり、
    前記最小値はフィールドリサイズ処理に伴う遅延補償した最小値である
    ことを特徴とするリンギングを除去する映像処理装置。
21. 請求項１９または請求項２０に記載のリンギングを除去する映像処理装置において、
    前記フィールドリサイズは拡大処理である
    ことを特徴とするリンギングを除去する映像処理装置。
22. 請求項１９乃至請求項２１のいずれか一項に記載のリンギングを除去する映像処理装置において、
    前記近傍画素領域は、内挿点の周囲のＶ方向が２画素でＨ方向が２画素の２×２画素である
    ことを特徴とするリンギングを除去する映像処理装置。
23. フィールドシフト処理をする映像処理装置において、
    フィールドシフト処理後の画素に対応するフィールドシフト処理前の入力画像の対応する近傍画素領域から最大値と最小値とを抽出し、前記最大値と前記最小値とでフィールドシフト処理後の画素をクリップ処理する
    ことを特徴とするリンギングを除去する映像処理装置。
24. 請求項２３に記載のリンギングを除去する映像処理装置において、
    前記最大値はフィールドシフト処理に伴う遅延補償した最大値であり、
    前記最小値はフィールドシフト処理に伴う遅延補償した最小値である
    ことを特徴とするリンギングを除去する映像処理装置。
25. 請求項２３または請求項２４に記載のリンギングを除去する映像処理装置において、
    前記フィールドシフトは画像をサブピクセル精度で移動させるシフト処理である
    ことを特徴とするリンギングを除去する映像処理装置。
26. 請求項２３乃至請求項２５のいずれか一項に記載のリンギングを除去する映像処理装置において、
    前記近傍画素領域は、内挿点の周囲のＶ方向が２画素でＨ方向が３画素の２×３画素である
    ことを特徴とするリンギングを除去する映像処理装置。