JP2004236012A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2004236012A JP2004236012A JP2003022593A JP2003022593A JP2004236012A JP 2004236012 A JP2004236012 A JP 2004236012A JP 2003022593 A JP2003022593 A JP 2003022593A JP 2003022593 A JP2003022593 A JP 2003022593A JP 2004236012 A JP2004236012 A JP 2004236012A
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- pixel
- correlation
- condition
- satisfied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【課題】インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行うに当たって、画面を流れるテロップ文字などのような画像部分で孤立的な特異点が現れるのを防止する。
【解決手段】補間によりデータが生成される画素である補間画素Ｃの真上の画素Ｕ２と真下の画素Ｄ２との間の相関の有無を検出して、相関がない場合には第１の条件を満たすと判断する。左右の離れた画素Ｕ０（Ｄ０），Ｕ４（Ｄ４）間の相関の有無を検出して、相関がない場合には第２の条件を満たすと判断する。画素Ｕ０，Ｕ１間、画素Ｄ０，Ｄ１間など、左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合には第３の条件を満たすと判断する。３つの条件を全て満たす場合には、上下方向の補間を実行する。
【選択図】 図２
【解決手段】補間によりデータが生成される画素である補間画素Ｃの真上の画素Ｕ２と真下の画素Ｄ２との間の相関の有無を検出して、相関がない場合には第１の条件を満たすと判断する。左右の離れた画素Ｕ０（Ｄ０），Ｕ４（Ｄ４）間の相関の有無を検出して、相関がない場合には第２の条件を満たすと判断する。画素Ｕ０，Ｕ１間、画素Ｄ０，Ｄ１間など、左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合には第３の条件を満たすと判断する。３つの条件を全て満たす場合には、上下方向の補間を実行する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、インターレース画像データをプログレッシブ画像データ（ノンインターレース画像データ）に変換する際に動画領域でフィールド内補間を行う方法および装置に関する。
【０００２】
【従来の技術】
現行の標準カラーテレビジョン方式としては、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式などが存在するが、これらは、インターレース走査（飛び越し走査）を採用している。
【０００３】
インターレース走査は、奇数フィールド（奇数番目のフィールド）の有効走査期間では、図１７の実線矢印Ｆｏで示すように、画面左上端の点Ｐｏｓから画面下端の左右方向における中央の点Ｐｏｅにかけて、画面上で想定する走査線の１本おきの位置を走査し、偶数フィールド（偶数番目のフィールド）の有効走査期間では、同図の破線矢印Ｆｅで示すように、画面上端の左右方向における中央の点Ｐｅｓから画面右下端の点Ｐｅｅにかけて、画面上で想定する走査線の残りの１本おきの位置を走査するものである。
【０００４】
したがって、インターレース画像信号（インターレース走査による画像信号）では、隣接する奇数フィールドおよび偶数フィールドによって１フレームが構成される。ＮＴＳＣ方式では、フレーム周波数が３０Ｈｚ、フィールド周波数が６０Ｈｚで、垂直帰線期間を含めて、１フレームが５２５本の水平ラインで構成され、１フィールドが２６２．５本の水平ラインで構成される。ＰＡＬ方式では、フレーム周波数が２５Ｈｚ、フィールド周波数が５０Ｈｚで、垂直帰線期間を含めて、１フレームが６２５本の水平ラインで構成され、１フィールドが３１２．５本の水平ラインで構成される。
【０００５】
これに対して、ノンインターレース走査（順次走査）は、図１８の実線矢印で示すように、画面左上端の点Ｐｓから画面右下端の点Ｐｅにかけて、画面上で想定する走査線の位置を１本ずつ順次走査するものである。
【０００６】
したがって、プログレッシブ画像信号（ノンインターレース走査による画像信号）では、奇数フィールドおよび偶数フィールドの概念が無く、整数本の水平ラインによって１フレームが構成される。
【０００７】
テレビジョン方式などで用いられているインターレース画像信号は、伝送帯域を抑え、かつフリッカ（ちらつき）を起こさないように工夫されたものであって、高画質化のためには、プログレッシブ画像信号の方が望ましい。
【０００８】
また、最近では、大型ディスプレイを備えるテレビジョン受信機が多くなっているが、大型ディスプレイでインターレース画像信号を表示すると、走査線の間隔が目立って、表示画質が劣化する。そのため、これらのテレビジョン受信機では、内部の画像処理によって、インターレース画像信号をプログレッシブ画像信号に変換する、いわゆるＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換が実行されることが多い。
【０００９】
さらに、液晶ディスプレイやプラズマディスプレイ（ＰＤＰ：Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、またはＬＥＤ（Ｌｉｇｈｔ ＥｍｉｔｔｉｎｇＤｉｏｄｅ）を並べて構成したディスプレイなどでは、上記のような理由以外に、ディスプレイ駆動方式としてプログレッシブ画像信号が必要な場合があり、ＩＰ変換を行う必要がある場合が存在する。
【００１０】
ＩＰ変換は、後述のように、基本的には、もとのインターレース画像データから新たに走査線データを生成するもので、この新たに生成される走査線データによって、変換後のプログレッシブ画像の画質が大きく左右される。
【００１１】
図１９に、ＩＰ変換のための信号処理装置（回路）の一例を示す。入力インターレース画像信号としては、コンポジット映像信号ｉＣＶ、輝度信号と色信号に分離された映像信号ｉＹ／Ｃ、または赤、緑、青の原色信号からなる映像信号ｉＲＧＢが存在しうる。
【００１２】
コンポジット映像信号ｉＣＶは、コムフィルタ１で、輝度信号と色信号に分離された映像信号ｃＹ／Ｃに変換され、その映像信号ｃＹ／Ｃ、または入力映像信号ｉＹ／Ｃは、クロマデコーダ２で、輝度信号と赤および青の色差信号とからなる映像信号ｉＹＵＶに変換される。
【００１３】
この映像信号ｉＹＵＶ、または入力映像信号ｉＲＧＢが、セレクタ３で選択され、Ａ／Ｄコンバータ４でデジタル映像データｄＹＵＶまたはｄＲＧＢに変換されて、イメージプロセッサ５に供給される。
【００１４】
イメージプロセッサ５には、ＣＰＵ６およびメモリ７が接続され、このイメージプロセッサ５において、後述のように、インターレース画像データｄＹＵＶまたはｄＲＧＢが、赤、緑、青の原色データからなるプログレッシブ画像データｐＲＧＢに変換される。ただし、イメージプロセッサ５としては、プロセッサシステムとしてＣＰＵおよびメモリが一体化されたものが用いられることもある。
【００１５】
イメージプロセッサ５からのプログレッシブ画像データｐＲＧＢは、Ｄ／Ａコンバータ８でアナログ画像信号に変換されて、アナログ駆動のディスプレイ駆動回路に供給され、または、デジタル画像データのまま、デジタル駆動のディスプレイ駆動回路に供給される。
【００１６】
イメージプロセッサ５でのＩＰ変換には、ライン間の補間を用いる。ライン間の補間の方式としては、インターレース画像の異なるフィールドのデータから補間データ（補間により生成されるデータ）を生成するフィールド間補間と、インターレース画像の同一フィールド内のデータから補間データを生成するフィールド内補間とがある。
【００１７】
図２０に、フィールド間補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ライン（補間により生成されるライン）Ｌｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の前後のフィールドＦ０，Ｆ２の、画面上で補間ラインＬｇと同じ位置のラインＬ０，Ｌ２上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１８】
図２１に、フィールド内補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ラインＬｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の、画面上で補間ラインＬｇの真上および真下に位置するラインＬｕおよびＬｄ上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１９】
静止画の場合には、もともと１枚の画像をインターレース化して２フィールドに分けているので、その２フィールドの間で補間を行うことによって、最も解像度の良い補間をすることができる。
【００２０】
これに対して、動画の場合には、インターレース画像の、あるフィールドの次のフィールドは、すでに違うシーンの画像であるので、図２１のようなフィールド内補間を行う。ただし、フィールド内補間では、もとになる情報が１フィールドの情報のみであるため、変換後のプログレッシブ画像も、情報量が少なくなり、動画の場合には、静止画の場合と比べると、画像鮮鋭度に欠ける場合がある。
【００２１】
フィールド内補間では、一般的には、図２２に示すように、インターレース画像の同一フィールド上の、補間画素（補間によりデータが生成される画素）Ｃの真上の画素Ｕ２および真下の画素Ｄ２のデータから、補間画素Ｃのデータを生成する。
【００２２】
すなわち、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示すと、補間画素Ｃの値は、例えば、画素Ｕ２の値と画素Ｄ２の値の平均値（Ｕ２＋Ｄ２）／２とする。このような補間を、上下方向の補間、略して上下補間と称する。
【００２３】
しかしながら、この上下補間では、補間データには上下方向の相関しか反映されないため、補間対象の領域に斜め方向の相関がある場合には、適切な補間データとならず、プログレッシブ画像の画質が劣化する。例えば、斜め線の画像部分では、斜め方向に相関があるが、この部分で上下補間を行うと、プログレッシブ画像にジャギーを生じる。
【００２４】
そこで、上下補間により補間データを生成する代わりに、斜め補間（斜め方向の補間）により補間データを生成することによって、プログレッシブ画像の画質を向上させることが考えられている。
【００２５】
例えば、図２３に示すように、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定し、斜め補間の補間方向として、画素Ｕ１と画素Ｄ３を結ぶ方向、画素Ｕ０と画素Ｄ４を結ぶ方向、画素Ｕ３と画素Ｄ１を結ぶ方向、および画素Ｕ４と画素Ｄ０を結ぶ方向の、４つの方向を設定する。
【００２６】
そして、インターレース画像のフィールド内補間を行う動画領域で、相関がある方向を検出し、例えば、画素Ｕ１と画素Ｄ３を結ぶ方向に相関があるときには、画素Ｕ１およびＤ３のデータから、補間画素Ｃのデータを生成する。すなわち、例えば、Ｃ＝（Ｕ１＋Ｄ３）／２とする。
【００２７】
このような斜め補間によれば、斜め方向をスムーズに表現して、斜め線でのジャギーを軽減することができ、プログレッシブ画像の画質を向上させることができる。
【００２８】
特許文献１（特開２００２−５７９９４公報）には、フィールド内補間を行う画像部分に斜め線があっても、滑らかに補間することができるように、上記の画素Ｕ２のデータと画素Ｄ２のデータとの差の絶対値が閾値より小さい場合には、画素Ｕ２およびＤ２のデータの平均値を補間データとし、上記の絶対値が閾値以上である場合には、画素Ｕ２およびＤ２を含む補間画素Ｃの近傍の複数画素、例えば６画素（図２３の画素Ｕ１〜Ｕ３，Ｄ１〜Ｄ３）のデータ中の、中間的な値を示す２つのデータの平均値を補間データとすることが示されている。
【００２９】
なお、特許文献２（特開２０００−７８５３９公報）には、インターレース画像などの部分画像に動きがあるか否かを判定する場合の、テロップなどの人工的な画像の動きを自然画像の動きとは別に検出する方法として、フレーム間の差分およびフィールド間の差分が、それぞれ、しきい値より大きいときには、テロップなどの人工的な画像の動きがあるものと判定することが示されている。
【００３０】
【特許文献１】
特開２００２−５７９９４公報。
【特許文献２】
特開２０００−７８５３９公報。
【００３１】
【発明が解決しようとする課題】
しかしながら、上述した従来の、動画領域でのフィールド内補間の斜め補間では、絵柄によっては、誤った方向の画素の間で補間が実行されることによって、結果的にプログレッシブ画像の画質が劣化することがある。
【００３２】
具体的には、画像中に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、例えば近傍の画素に対する輝度の差が大きく、かつエッジを有する文字部などが存在する場合である。
【００３３】
図２４に、その一例として、テロップ文字中のアルファベット“Ｈ”を示す。これは、“Ｈ”の横線部分が、実ライン（インターレース画像のライン）Ｌｉ中の２本のラインＬｉｒ，Ｌｉｓで表現されている場合である。ラインＬｉｑは、ラインＬｉｒの真上の実ラインである。
【００３４】
この場合、ラインＬｉｑ，Ｌｉｒにまたがる楕円９内の部分につき、図２３に示したように補間画素Ｃの上下に画素Ｕ０〜Ｕ４，Ｄ０〜Ｄ４を想定すると、各画素の輝度レベルは、黒レベルを０、白レベルを２５５として、例えば、図２５の各画素中に記述した数値のように、画素Ｕ０については、“Ｈ”の左側縦線部分であるため、白レベルに近く、画素Ｕ１については、左側縦線部分の右側エッジ部であるため、黒レベルに近く、画素Ｕ２〜Ｕ４については、“Ｈ”の文字部分を外れているため、より黒レベルに近く、画素Ｄ０〜Ｄ４については、“Ｈ”の横線部分であるため、白レベルに近く、しかも、画素Ｄ０〜Ｄ４のなかでは、画素Ｄ４が最も、画素Ｕ０との間のレベル差が小さい。
【００３５】
その結果、画素Ｕ０と画素Ｄ４との間の相関が最も高く、画素Ｕ０と画素Ｄ４を結ぶ方向が補間方向として検出され、その方向に補間が実行される。すなわち、補間画素Ｃのデータとしては、画素Ｕ０の値と画素Ｄ４の値の平均値が生成される。
【００３６】
そのため、変換後のプログレッシブ画像には、図２６に示すように、“Ｈ”の横線部分の最上部に孤立的な輝点を生じ、プログレッシブ画像の品位が低下する。
【００３７】
図示していないが、文字部分および背景部分の輝度によっては、プログレッシブ画像に孤立的な暗点を生じる。
【００３８】
そこで、この発明は、インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行うに当たって、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができるようにしたものである。
【００３９】
【課題を解決するための手段】
この発明の画像処理方法は、
インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法であって、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無を検出して、その有無に関する条件である第１の条件を満たすか否かを判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備えるものである。
【００４０】
この画像処理方法では、第１、第２および第３の条件を全て満たす場合を、斜め方向の補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像パターンであると判断して、第１、第２および第３の条件を全て満たす場合には、斜め方向の補間ではなく、上下方向の補間を実行するので、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【００４１】
【発明の実施の形態】
〔発明の方法の概要：図１および図２〕
この発明では、動画領域でフィールド内補間を行って個々の補間画素のデータ（画素値）を生成するに当たって、以下の実施形態に示すように、個々の補間画素ごとに条件１，２，３の３つの条件を満たすか否かを判断し、３つの条件を全て満たすときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、３つの条件のいずれか一つでも満たさないときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００４２】
補間方向としては、図１に示すように、上下方向、上下方向に対して反時計方向に回転した第１斜め方向および第２斜め方向、および上下方向に対して時計方向に回転した第３斜め方向および第４斜め方向を設定する。
【００４３】
図２に示すように、図２２および図２３と同様に、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定すると、第１斜め方向は、画素Ｕ１と画素Ｄ３を結ぶ方向であり、第２斜め方向は、画素Ｕ０と画素Ｄ４を結ぶ方向であり、第３斜め方向は、画素Ｕ３と画素Ｄ１を結ぶ方向であり、第４斜め方向は、画素Ｕ４と画素Ｄ０を結ぶ方向である。
【００４４】
ただし、斜め補間の補間方向としては、より多くの方向を設定することもできる。
【００４５】
さらに、インターレース画像の同一フィールド上の、ラインＬｕの真上のラインＬｔ上、およびラインＬｄの真下のラインＬｂ上にも、補間画素Ｃを中心に画素Ｔ０〜Ｔ４およびＢ０〜Ｂ４を想定し、補間画素Ｃを中心とした、上下方向にはインターレース画像の４ライン分、左右方向には５画素分の領域を、条件判定用エリアとして設定する。
【００４６】
ただし、斜め補間の補間方向として、より多くの方向を設定する場合には、それに応じて条件判定用エリアも変更する。
【００４７】
図２中の、上下相関検出用一次データｃ００，ｃ０１，ｃ０２，ｃ０３，ｃ０４は、後述のように、それぞれ、画素Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｔ４と画素Ｕ０，Ｕ１，Ｕ２，Ｕ３，Ｕ４との間の相関の検出結果を示すデータであり、上下相関検出用一次データｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４は、後述のように、それぞれ、画素Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４と画素Ｂ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４との間の相関の検出結果を示すデータである。
【００４８】
条件１，２，３の判定のための画素データ（画素値）としては、インターレース画像データ（映像データ）中の輝度データ（輝度値）を用いる。
【００４９】
なお、以下でも、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示す。
【００５０】
以上の画像処理、すなわち以下の実施形態の画像処理は、ハードウェア回路として構成される画像処理装置が実行し、または一部または全部をＣＰＵが処理プログラムに従って実行する。
【００５１】
なお、以下の第１および第２の実施形態は、条件３の判定の方法に違いがあるだけで、その他は同じである。
【００５２】
〔第１の実施形態：図３〜図１１〕
（条件１の判定：図３〜図７）
条件１は、上下相関（上下方向の相関）の有無に関する。
【００５３】
＜第１の方法：図３、図４＞
図２４に示したアルファベット“Ｈ”には、横線部分があるため、図２５に示したように上下方向にレベル差が存在し、すなわち上下方向の相関がなく、そのため、上述したように斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００５４】
そこで、条件１についての第１の方法では、このように上下相関がない場合、すなわち上下方向のレベル差が大きい場合には、斜め補間ではなく、上下補間が実行されるように、上下相関の有無を検出して、上下相関がない場合には、条件１を満たすと判断し、上下相関がある場合には、条件１を満たさないと判断する。
【００５５】
最も単純な方法としては、画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）を算出し、図３に示すように、絶対値ａｂｓ（Ｕ２−Ｄ２）が、定められた閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とし、絶対値ａｂｓ（Ｕ２−Ｄ２）が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５６】
画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）の代わりに、画素Ｔ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｔ２−Ｄ２）を用いてもよい。
【００５７】
さらに、補間画素Ｃの上側の左右方向に近接する複数画素の値の平均値と、補間画素Ｃの下側の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ１と比較してもよく、これによれば、より精度のよい判別をすることができる。
【００５８】
例えば、図４に示すように、画素Ｕ０〜Ｕ４の値の平均値ａｖｅ（Ｕ０〜Ｕ４）と画素Ｄ０〜Ｄ４の値の平均値ａｖｅ（Ｄ０〜Ｄ４）との差の絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝を算出し、これが閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、判定フラグｆｇ１を１とし、絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５９】
要するに、条件１についての第１の方法としては、補間画素Ｃの上側の１個または複数の画素と補間画素Ｃの下側の１個または複数の画素との間の相関の有無を検出し、相関がないときには、条件１を満たすと判断して、判定フラグｆｇ１を１とし、相関があるときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６０】
＜第２の方法：図５〜図７＞
図２４に示したアルファベット“Ｈ”のように横線部分が存在する場合でも、ラインＬｔとラインＬｕとの間、またはラインＬｄとラインＬｂとの間では、強い相関を示すことが多い。
【００６１】
図５および図６に、その例を示す。図５は、“Ｈ”の横線部分が２本の線で表現されている場合であり、図６は、“Ｈ”の横線部分が１本の線で表現されている場合である。
【００６２】
図５の場合には、同図に示すように横線部分がラインＬｄ，Ｌｂであるとき、ラインＬｔとラインＬｕとの間の相関が強く、ラインＬｄとラインＬｂとの間の相関も強い。図６の場合には、同図に示すように横線部分がラインＬｄであるとき、ラインＬｔとラインＬｕとの間の相関が強い。
【００６３】
そこで、条件１についての第２の方法では、図２に示した条件判定用エリア内で、このようにラインＬｔとラインＬｕとの間の相関またはラインＬｄとラインＬｂとの間の相関が強い場合には、補間ラインＬｇの真上のラインＬｕと真下のラインＬｄとの間の相関の如何にかかわらず、斜め補間ではなく、上下補間が実行されるように、条件１を満たすものと判断する。
【００６４】
具体的には、画素Ｔ０の値と画素Ｕ０の値との差の絶対値ａｂｓ（Ｔ０−Ｕ０）を算出し、図７中の（Ａ）に示すように、絶対値ａｂｓ（Ｔ０−Ｕ０）が、上記の閾値Ｖｔｈ１より小さい閾値Ｖｔｈ２より大きいときには、画素Ｔ０と画素Ｕ０との間に強い相関がないと判断して、上記のデータｃ００を１とし、絶対値ａｂｓ（Ｔ０−Ｕ０）が閾値Ｖｔｈ２以下であるときには、画素Ｔ０と画素Ｕ０との間に強い相関があると判断して、データｃ００を０とする。
【００６５】
画素Ｔ１，Ｕ１間、画素Ｔ２，Ｕ２間、画素Ｔ３，Ｕ３間、画素Ｔ４，Ｕ４間、画素Ｄ０，Ｂ０間、画素Ｄ１，Ｂ１間、画素Ｄ２，Ｂ２間、画素Ｄ３，Ｂ３間、画素Ｄ４，Ｂ４間でも、同様に、強い相関があるか否かを検出し、データｃ０１，ｃ０２，ｃ０３，ｃ０４，ｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４の値を決定する。
【００６６】
そして、データｃ００〜ｃ０４が全て０であるときには、ラインＬｔとラインＬｕとの間の相関が強いと判断し、データｃ２０〜ｃ２４が全て０であるときには、ラインＬｄとラインＬｂとの間の相関が強いと判断し、図７中の（Ｂ）に示すように、ラインＬｔとラインＬｕとの間の相関が強いとき（ｃ００＝ｃ０１＝ｃ０２＝ｃ０３＝ｃ０４＝０のとき）、またはラインＬｄとラインＬｂとの間の相関が強いとき（ｃ２０＝ｃ２１＝ｃ２２＝ｃ２３＝ｃ２４＝０のとき）には、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とする。
【００６７】
データｃ００〜ｃ０４のいずれかが１であり、かつデータｃ２０〜ｃ２４のいずれかが１であるときには、すなわち、ラインＬｔとラインＬｕとの間の相関が強くなく、かつラインＬｄとラインＬｂとの間の相関が強くないと判断したときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６８】
なお、ラインＬｔまたはＬｄ上の一つの画素の値とラインＬｕまたはＬｂ上の一つの画素の値との差の絶対値を、閾値Ｖｔｈ２と比較する代わりに、ノイズの影響を減らすために、ラインＬｔまたはＬｄ上の左右方向に近接する複数画素の値の平均値とラインＬｕまたはＬｂ上の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ２と比較してもよい。
【００６９】
文字などの画像部分では、その部分の性質を判定するに当たって、その部分の近傍の部分まで判定のためのエリアを広げると、判定精度を上げることができる場合がある。上述した第２の方法は、この考えを応用したものである。
【００７０】
（条件２の判定：図８、図９）
条件２は、補間画素Ｃの左右の離れた画素の間での相関の有無に関する。以下では、この相関を左右大域相関と称する。ただし、条件２では、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７１】
図２４に示したアルファベット“Ｈ”の画像部分では、“Ｈ”の左側縦線部分の右側エッジの左右（左は左側縦線部分内、右は左側縦線部分と右側縦線部分との間の背景部分）で輝度の差が大きいため、斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００７２】
そこで、条件２については、このように左右方向に大きなレベル差がある場合には、斜め補間ではなく、上下補間が実行されるように、左右大域相関の有無を検出して、左右大域相関がない場合、すなわち左右方向に大きなレベル差がある場合には、条件２を満たすと判断し、左右大域相関がある場合、すなわち左右方向に大きなレベル差がない場合には、条件２を満たさないと判断する。
【００７３】
一例として、図２に示した条件判定用エリアの左端の画素Ｕ０およびＤ０の値の和（Ｕ０＋Ｄ０）と、右端の画素Ｕ４およびＤ４の値の和（Ｕ４＋Ｄ４）との差の絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝を算出し、図８に示すように、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が、定められた閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、条件２についての判定フラグｆｇ２を１とし、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７４】
あるいは、他の例として、図９に示すように、左端の画素Ｕ０の値と右端の画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ０−Ｕ４）が閾値Ｈｔｈ１より大きいとき、または左端の画素Ｄ０の値と右端の画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、判定フラグｆｇ２を１とし、絶対値ａｂｓ（Ｕ０−Ｕ４）およびａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７５】
ただし、図８および図９では、条件２についての閾値という意味で、閾値を共にＨｔｈ１で表しているが、実際の値としては、図８の場合の閾値Ｈｔｈ１と図９の場合の閾値Ｈｔｈ１は異なる値にする。
【００７６】
（条件３の判定：図１０）
条件３は、左右方向に隣接する画素の間での相関の有無に関する。以下では、この相関を左右小域相関と称する。ただし、条件３でも、条件２と同様に、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７７】
斜め補間が実行されることによって図２６のように孤立的な特異点を生じるのは、ほとんどが文字の角に当たり、左右方向のエッジが存在する部分である。
【００７８】
そこで、条件３については、左右方向のエッジが存在する場合には、斜め補間ではなく、上下補間が実行されるように、左右小域相関の有無を検出して、左右小域相関がない場合、すなわち左右方向のエッジが存在する場合には、条件３を満たすと判断し、左右小域相関がある場合、すなわち左右方向のエッジが存在しない場合には、条件３を満たさないと判断する。
【００７９】
具体的には、（１）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（２）画素Ｄ０の値と画素Ｄ１の値との差の絶対値ａｂｓ（Ｄ０−Ｄ１）、（３）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（４）画素Ｄ１の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｄ１−Ｄ２）、（５）画素Ｕ２の値と画素Ｕ３の値との差の絶対値ａｂｓ（Ｕ２−Ｕ３）、（６）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、（７）画素Ｕ３の値と画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ３−Ｕ４）、および（８）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１０に示すように、これら８個の絶対値のいずれか一つでも、定められた閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、条件３についての判定フラグｆｇ３を１とし、上記８個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００８０】
（総合的な判断と補間方向の決定）
上述したように条件１，２，３を満たすか否かを判断した後、条件１，２，３を全て満たすか否かを判断し、条件１，２，３を全て満たすときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、条件１，２，３のいずれか一つでも満たさないときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００８１】
したがって、文字のエッジ部のように、斜め補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像部分では、斜め補間ではなく、上下補間が実行されることになり、プログレッシブ画像に孤立的な特異点が現れるのが防止される。
【００８２】
（画像処理装置の例：図１１）
図１１に、以上のような画像処理方法を実行する画像処理装置の一例を示す。
【００８３】
この例は、ハードウェア回路として構成された場合で、動画補間処理部１０には、入力画像データとして、インターレース画像データの動画領域として検出された部分の画像データが供給される。
【００８４】
動画補間処理部１０では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３において、それぞれ上記の条件１，２および３を満たすか否かを判断するとともに、これと並行して、動画補間方向検出部１５において、斜め補間を行う場合の補間方向（斜め方向）が検出される。
【００８５】
すなわち、斜め補間の補間方向として、あらかじめ、図１に示したような第１斜め方向、第２斜め方向、第３斜め方向および第４斜め方向を設定する場合には、そのいずれかの方向が、個々の補間画素についての補間方向として検出される。
【００８６】
論理回路１４では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３の判定結果のフラグｆｇ１，ｆｇ２およびｆｇ３の論理積（ＡＮＤ）が求められ、上述したようにフラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、論理回路１４の出力の総合判定結果が“１”とされ、フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、総合判定結果が“０”とされる。
【００８７】
そして、補間方向決定部１６では、論理回路１４の出力の総合判定結果に応じて、総合判定結果が“１”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）の如何にかかわらず、補間方向を上下方向と決定し、総合判定結果が“０”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）を、そのまま補間方向として決定する。
【００８８】
補間データ生成部１７では、補間方向決定部１６で決定された方向の補間を実行し、補間データ（補間画素の画素データ）を生成する。
【００８９】
〔第２の実施形態：図１２〜図１６〕
第１の実施形態の例では、条件３を満たすか否かを判断するに当たって、図１０に示したように、上記（１）〜（８）の８個の絶対値を算出し、閾値Ｈｔｈ２と比較する必要がある。
【００９０】
そこで、第２の実施形態では、条件３の判定のための演算規模を縮小するために、条件３の判定に当たって、図１１に示したような動画補間方向検出部１５での検出結果を利用する。
【００９１】
図１２は、この場合の画像処理装置の一例を示し、第３条件判定部１３では、動画補間方向検出部１５で検出された、斜め補間を行う場合の補間方向（斜め方向）を利用して、条件３を満たすか否かを判断する。その他は、図１１の例と同じである。
【００９２】
具体的に、動画補間方向検出部１５で、図１３の両矢印で示すように、画素Ｕ０と画素Ｄ４を結ぶ方向（上記の第２斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関（左右方向に隣接する画素の間での相関）の有無については、画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、および画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１４に示すように、絶対値ａｂｓ（Ｕ０−Ｕ１）またはａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、絶対値ａｂｓ（Ｕ０−Ｕ１）およびａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９３】
また、動画補間方向検出部１５で、図１５の両矢印で示すように、画素Ｕ１と画素Ｄ３を結ぶ方向（上記の第１斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関の有無については、（ａ）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（ｂ）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（ｃ）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、および（ｄ）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１６に示すように、これら４個の絶対値のいずれか一つでも閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、上記４個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９４】
この第２の実施形態によれば、第３条件判定部１３の演算規模を第１の実施形態の半分以下に縮小することができる。
【００９５】
【発明の効果】
上述したように、この発明によれば、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【図面の簡単な説明】
【図１】この発明における補間方向の一例を示す図である。
【図２】この発明における条件判定用エリアの一例を示す図である。
【図３】条件１の判定方法の一例を示す図である。
【図４】条件１の判定方法の一例を示す図である。
【図５】画面を流れるテロップ文字の一例を示す図である。
【図６】画面を流れるテロップ文字の一例を示す図である。
【図７】条件１の判定方法の一例を示す図である。
【図８】条件２の判定方法の一例を示す図である。
【図９】条件２の判定方法の一例を示す図である。
【図１０】条件３の判定方法の一例を示す図である。
【図１１】この発明の画像処理装置の一例を示す図である。
【図１２】この発明の画像処理装置の他の例を示す図である。
【図１３】条件３の別の判定方法を示す図である。
【図１４】条件３の別の判定方法を示す図である。
【図１５】条件３の別の判定方法を示す図である。
【図１６】条件３の別の判定方法を示す図である。
【図１７】インターレース走査の説明に供する図である。
【図１８】ノンインターレース走査の説明に供する図である。
【図１９】ＩＰ変換のための信号処理装置の一例を示す図である。
【図２０】フィールド間補間の例を示す図である。
【図２１】フィールド内補間の例を示す図である。
【図２２】上下補間の説明に供する図である。
【図２３】斜め補間の説明に供する図である。
【図２４】インターレース画像の流れるテロップ文字の部分を示す図である。
【図２５】図２４の楕円内の部分の画素データの具体例を示す図である。
【図２６】図２４の楕円内の部分で斜め補間を行った場合に生じる輝点を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
【発明の属する技術分野】
この発明は、インターレース画像データをプログレッシブ画像データ（ノンインターレース画像データ）に変換する際に動画領域でフィールド内補間を行う方法および装置に関する。
【０００２】
【従来の技術】
現行の標準カラーテレビジョン方式としては、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式などが存在するが、これらは、インターレース走査（飛び越し走査）を採用している。
【０００３】
インターレース走査は、奇数フィールド（奇数番目のフィールド）の有効走査期間では、図１７の実線矢印Ｆｏで示すように、画面左上端の点Ｐｏｓから画面下端の左右方向における中央の点Ｐｏｅにかけて、画面上で想定する走査線の１本おきの位置を走査し、偶数フィールド（偶数番目のフィールド）の有効走査期間では、同図の破線矢印Ｆｅで示すように、画面上端の左右方向における中央の点Ｐｅｓから画面右下端の点Ｐｅｅにかけて、画面上で想定する走査線の残りの１本おきの位置を走査するものである。
【０００４】
したがって、インターレース画像信号（インターレース走査による画像信号）では、隣接する奇数フィールドおよび偶数フィールドによって１フレームが構成される。ＮＴＳＣ方式では、フレーム周波数が３０Ｈｚ、フィールド周波数が６０Ｈｚで、垂直帰線期間を含めて、１フレームが５２５本の水平ラインで構成され、１フィールドが２６２．５本の水平ラインで構成される。ＰＡＬ方式では、フレーム周波数が２５Ｈｚ、フィールド周波数が５０Ｈｚで、垂直帰線期間を含めて、１フレームが６２５本の水平ラインで構成され、１フィールドが３１２．５本の水平ラインで構成される。
【０００５】
これに対して、ノンインターレース走査（順次走査）は、図１８の実線矢印で示すように、画面左上端の点Ｐｓから画面右下端の点Ｐｅにかけて、画面上で想定する走査線の位置を１本ずつ順次走査するものである。
【０００６】
したがって、プログレッシブ画像信号（ノンインターレース走査による画像信号）では、奇数フィールドおよび偶数フィールドの概念が無く、整数本の水平ラインによって１フレームが構成される。
【０００７】
テレビジョン方式などで用いられているインターレース画像信号は、伝送帯域を抑え、かつフリッカ（ちらつき）を起こさないように工夫されたものであって、高画質化のためには、プログレッシブ画像信号の方が望ましい。
【０００８】
また、最近では、大型ディスプレイを備えるテレビジョン受信機が多くなっているが、大型ディスプレイでインターレース画像信号を表示すると、走査線の間隔が目立って、表示画質が劣化する。そのため、これらのテレビジョン受信機では、内部の画像処理によって、インターレース画像信号をプログレッシブ画像信号に変換する、いわゆるＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換が実行されることが多い。
【０００９】
さらに、液晶ディスプレイやプラズマディスプレイ（ＰＤＰ：Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、またはＬＥＤ（Ｌｉｇｈｔ ＥｍｉｔｔｉｎｇＤｉｏｄｅ）を並べて構成したディスプレイなどでは、上記のような理由以外に、ディスプレイ駆動方式としてプログレッシブ画像信号が必要な場合があり、ＩＰ変換を行う必要がある場合が存在する。
【００１０】
ＩＰ変換は、後述のように、基本的には、もとのインターレース画像データから新たに走査線データを生成するもので、この新たに生成される走査線データによって、変換後のプログレッシブ画像の画質が大きく左右される。
【００１１】
図１９に、ＩＰ変換のための信号処理装置（回路）の一例を示す。入力インターレース画像信号としては、コンポジット映像信号ｉＣＶ、輝度信号と色信号に分離された映像信号ｉＹ／Ｃ、または赤、緑、青の原色信号からなる映像信号ｉＲＧＢが存在しうる。
【００１２】
コンポジット映像信号ｉＣＶは、コムフィルタ１で、輝度信号と色信号に分離された映像信号ｃＹ／Ｃに変換され、その映像信号ｃＹ／Ｃ、または入力映像信号ｉＹ／Ｃは、クロマデコーダ２で、輝度信号と赤および青の色差信号とからなる映像信号ｉＹＵＶに変換される。
【００１３】
この映像信号ｉＹＵＶ、または入力映像信号ｉＲＧＢが、セレクタ３で選択され、Ａ／Ｄコンバータ４でデジタル映像データｄＹＵＶまたはｄＲＧＢに変換されて、イメージプロセッサ５に供給される。
【００１４】
イメージプロセッサ５には、ＣＰＵ６およびメモリ７が接続され、このイメージプロセッサ５において、後述のように、インターレース画像データｄＹＵＶまたはｄＲＧＢが、赤、緑、青の原色データからなるプログレッシブ画像データｐＲＧＢに変換される。ただし、イメージプロセッサ５としては、プロセッサシステムとしてＣＰＵおよびメモリが一体化されたものが用いられることもある。
【００１５】
イメージプロセッサ５からのプログレッシブ画像データｐＲＧＢは、Ｄ／Ａコンバータ８でアナログ画像信号に変換されて、アナログ駆動のディスプレイ駆動回路に供給され、または、デジタル画像データのまま、デジタル駆動のディスプレイ駆動回路に供給される。
【００１６】
イメージプロセッサ５でのＩＰ変換には、ライン間の補間を用いる。ライン間の補間の方式としては、インターレース画像の異なるフィールドのデータから補間データ（補間により生成されるデータ）を生成するフィールド間補間と、インターレース画像の同一フィールド内のデータから補間データを生成するフィールド内補間とがある。
【００１７】
図２０に、フィールド間補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ライン（補間により生成されるライン）Ｌｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の前後のフィールドＦ０，Ｆ２の、画面上で補間ラインＬｇと同じ位置のラインＬ０，Ｌ２上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１８】
図２１に、フィールド内補間の例を示す。この例では、インターレース画像の順次連続する３フィールドをＦ０，Ｆ１，Ｆ２とするとき、フィールドＦ１に対応するプログレッシブ画像のフレームＰｇの補間ラインＬｇについては、破線の円および黒く塗り潰した円で示すように、フィールドＦ１の、画面上で補間ラインＬｇの真上および真下に位置するラインＬｕおよびＬｄ上の画素のデータを補間したデータを、補間ラインＬｇの画素データとする。
【００１９】
静止画の場合には、もともと１枚の画像をインターレース化して２フィールドに分けているので、その２フィールドの間で補間を行うことによって、最も解像度の良い補間をすることができる。
【００２０】
これに対して、動画の場合には、インターレース画像の、あるフィールドの次のフィールドは、すでに違うシーンの画像であるので、図２１のようなフィールド内補間を行う。ただし、フィールド内補間では、もとになる情報が１フィールドの情報のみであるため、変換後のプログレッシブ画像も、情報量が少なくなり、動画の場合には、静止画の場合と比べると、画像鮮鋭度に欠ける場合がある。
【００２１】
フィールド内補間では、一般的には、図２２に示すように、インターレース画像の同一フィールド上の、補間画素（補間によりデータが生成される画素）Ｃの真上の画素Ｕ２および真下の画素Ｄ２のデータから、補間画素Ｃのデータを生成する。
【００２２】
すなわち、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示すと、補間画素Ｃの値は、例えば、画素Ｕ２の値と画素Ｄ２の値の平均値（Ｕ２＋Ｄ２）／２とする。このような補間を、上下方向の補間、略して上下補間と称する。
【００２３】
しかしながら、この上下補間では、補間データには上下方向の相関しか反映されないため、補間対象の領域に斜め方向の相関がある場合には、適切な補間データとならず、プログレッシブ画像の画質が劣化する。例えば、斜め線の画像部分では、斜め方向に相関があるが、この部分で上下補間を行うと、プログレッシブ画像にジャギーを生じる。
【００２４】
そこで、上下補間により補間データを生成する代わりに、斜め補間（斜め方向の補間）により補間データを生成することによって、プログレッシブ画像の画質を向上させることが考えられている。
【００２５】
例えば、図２３に示すように、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定し、斜め補間の補間方向として、画素Ｕ１と画素Ｄ３を結ぶ方向、画素Ｕ０と画素Ｄ４を結ぶ方向、画素Ｕ３と画素Ｄ１を結ぶ方向、および画素Ｕ４と画素Ｄ０を結ぶ方向の、４つの方向を設定する。
【００２６】
そして、インターレース画像のフィールド内補間を行う動画領域で、相関がある方向を検出し、例えば、画素Ｕ１と画素Ｄ３を結ぶ方向に相関があるときには、画素Ｕ１およびＤ３のデータから、補間画素Ｃのデータを生成する。すなわち、例えば、Ｃ＝（Ｕ１＋Ｄ３）／２とする。
【００２７】
このような斜め補間によれば、斜め方向をスムーズに表現して、斜め線でのジャギーを軽減することができ、プログレッシブ画像の画質を向上させることができる。
【００２８】
特許文献１（特開２００２−５７９９４公報）には、フィールド内補間を行う画像部分に斜め線があっても、滑らかに補間することができるように、上記の画素Ｕ２のデータと画素Ｄ２のデータとの差の絶対値が閾値より小さい場合には、画素Ｕ２およびＤ２のデータの平均値を補間データとし、上記の絶対値が閾値以上である場合には、画素Ｕ２およびＤ２を含む補間画素Ｃの近傍の複数画素、例えば６画素（図２３の画素Ｕ１〜Ｕ３，Ｄ１〜Ｄ３）のデータ中の、中間的な値を示す２つのデータの平均値を補間データとすることが示されている。
【００２９】
なお、特許文献２（特開２０００−７８５３９公報）には、インターレース画像などの部分画像に動きがあるか否かを判定する場合の、テロップなどの人工的な画像の動きを自然画像の動きとは別に検出する方法として、フレーム間の差分およびフィールド間の差分が、それぞれ、しきい値より大きいときには、テロップなどの人工的な画像の動きがあるものと判定することが示されている。
【００３０】
【特許文献１】
特開２００２−５７９９４公報。
【特許文献２】
特開２０００−７８５３９公報。
【００３１】
【発明が解決しようとする課題】
しかしながら、上述した従来の、動画領域でのフィールド内補間の斜め補間では、絵柄によっては、誤った方向の画素の間で補間が実行されることによって、結果的にプログレッシブ画像の画質が劣化することがある。
【００３２】
具体的には、画像中に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、例えば近傍の画素に対する輝度の差が大きく、かつエッジを有する文字部などが存在する場合である。
【００３３】
図２４に、その一例として、テロップ文字中のアルファベット“Ｈ”を示す。これは、“Ｈ”の横線部分が、実ライン（インターレース画像のライン）Ｌｉ中の２本のラインＬｉｒ，Ｌｉｓで表現されている場合である。ラインＬｉｑは、ラインＬｉｒの真上の実ラインである。
【００３４】
この場合、ラインＬｉｑ，Ｌｉｒにまたがる楕円９内の部分につき、図２３に示したように補間画素Ｃの上下に画素Ｕ０〜Ｕ４，Ｄ０〜Ｄ４を想定すると、各画素の輝度レベルは、黒レベルを０、白レベルを２５５として、例えば、図２５の各画素中に記述した数値のように、画素Ｕ０については、“Ｈ”の左側縦線部分であるため、白レベルに近く、画素Ｕ１については、左側縦線部分の右側エッジ部であるため、黒レベルに近く、画素Ｕ２〜Ｕ４については、“Ｈ”の文字部分を外れているため、より黒レベルに近く、画素Ｄ０〜Ｄ４については、“Ｈ”の横線部分であるため、白レベルに近く、しかも、画素Ｄ０〜Ｄ４のなかでは、画素Ｄ４が最も、画素Ｕ０との間のレベル差が小さい。
【００３５】
その結果、画素Ｕ０と画素Ｄ４との間の相関が最も高く、画素Ｕ０と画素Ｄ４を結ぶ方向が補間方向として検出され、その方向に補間が実行される。すなわち、補間画素Ｃのデータとしては、画素Ｕ０の値と画素Ｄ４の値の平均値が生成される。
【００３６】
そのため、変換後のプログレッシブ画像には、図２６に示すように、“Ｈ”の横線部分の最上部に孤立的な輝点を生じ、プログレッシブ画像の品位が低下する。
【００３７】
図示していないが、文字部分および背景部分の輝度によっては、プログレッシブ画像に孤立的な暗点を生じる。
【００３８】
そこで、この発明は、インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行うに当たって、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができるようにしたものである。
【００３９】
【課題を解決するための手段】
この発明の画像処理方法は、
インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法であって、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無を検出して、その有無に関する条件である第１の条件を満たすか否かを判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備えるものである。
【００４０】
この画像処理方法では、第１、第２および第３の条件を全て満たす場合を、斜め方向の補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像パターンであると判断して、第１、第２および第３の条件を全て満たす場合には、斜め方向の補間ではなく、上下方向の補間を実行するので、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【００４１】
【発明の実施の形態】
〔発明の方法の概要：図１および図２〕
この発明では、動画領域でフィールド内補間を行って個々の補間画素のデータ（画素値）を生成するに当たって、以下の実施形態に示すように、個々の補間画素ごとに条件１，２，３の３つの条件を満たすか否かを判断し、３つの条件を全て満たすときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、３つの条件のいずれか一つでも満たさないときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００４２】
補間方向としては、図１に示すように、上下方向、上下方向に対して反時計方向に回転した第１斜め方向および第２斜め方向、および上下方向に対して時計方向に回転した第３斜め方向および第４斜め方向を設定する。
【００４３】
図２に示すように、図２２および図２３と同様に、インターレース画像の同一フィールド上の、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄ上に、補間画素Ｃを中心に画素Ｕ０〜Ｕ４およびＤ０〜Ｄ４を想定すると、第１斜め方向は、画素Ｕ１と画素Ｄ３を結ぶ方向であり、第２斜め方向は、画素Ｕ０と画素Ｄ４を結ぶ方向であり、第３斜め方向は、画素Ｕ３と画素Ｄ１を結ぶ方向であり、第４斜め方向は、画素Ｕ４と画素Ｄ０を結ぶ方向である。
【００４４】
ただし、斜め補間の補間方向としては、より多くの方向を設定することもできる。
【００４５】
さらに、インターレース画像の同一フィールド上の、ラインＬｕの真上のラインＬｔ上、およびラインＬｄの真下のラインＬｂ上にも、補間画素Ｃを中心に画素Ｔ０〜Ｔ４およびＢ０〜Ｂ４を想定し、補間画素Ｃを中心とした、上下方向にはインターレース画像の４ライン分、左右方向には５画素分の領域を、条件判定用エリアとして設定する。
【００４６】
ただし、斜め補間の補間方向として、より多くの方向を設定する場合には、それに応じて条件判定用エリアも変更する。
【００４７】
図２中の、上下相関検出用一次データｃ００，ｃ０１，ｃ０２，ｃ０３，ｃ０４は、後述のように、それぞれ、画素Ｔ０，Ｔ１，Ｔ２，Ｔ３，Ｔ４と画素Ｕ０，Ｕ１，Ｕ２，Ｕ３，Ｕ４との間の相関の検出結果を示すデータであり、上下相関検出用一次データｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４は、後述のように、それぞれ、画素Ｄ０，Ｄ１，Ｄ２，Ｄ３，Ｄ４と画素Ｂ０，Ｂ１，Ｂ２，Ｂ３，Ｂ４との間の相関の検出結果を示すデータである。
【００４８】
条件１，２，３の判定のための画素データ（画素値）としては、インターレース画像データ（映像データ）中の輝度データ（輝度値）を用いる。
【００４９】
なお、以下でも、便宜上、画素（ドット）と、その値（データ）とを、同じ符号で示す。
【００５０】
以上の画像処理、すなわち以下の実施形態の画像処理は、ハードウェア回路として構成される画像処理装置が実行し、または一部または全部をＣＰＵが処理プログラムに従って実行する。
【００５１】
なお、以下の第１および第２の実施形態は、条件３の判定の方法に違いがあるだけで、その他は同じである。
【００５２】
〔第１の実施形態：図３〜図１１〕
（条件１の判定：図３〜図７）
条件１は、上下相関（上下方向の相関）の有無に関する。
【００５３】
＜第１の方法：図３、図４＞
図２４に示したアルファベット“Ｈ”には、横線部分があるため、図２５に示したように上下方向にレベル差が存在し、すなわち上下方向の相関がなく、そのため、上述したように斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００５４】
そこで、条件１についての第１の方法では、このように上下相関がない場合、すなわち上下方向のレベル差が大きい場合には、斜め補間ではなく、上下補間が実行されるように、上下相関の有無を検出して、上下相関がない場合には、条件１を満たすと判断し、上下相関がある場合には、条件１を満たさないと判断する。
【００５５】
最も単純な方法としては、画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）を算出し、図３に示すように、絶対値ａｂｓ（Ｕ２−Ｄ２）が、定められた閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とし、絶対値ａｂｓ（Ｕ２−Ｄ２）が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５６】
画素Ｕ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｕ２−Ｄ２）の代わりに、画素Ｔ２の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｔ２−Ｄ２）を用いてもよい。
【００５７】
さらに、補間画素Ｃの上側の左右方向に近接する複数画素の値の平均値と、補間画素Ｃの下側の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ１と比較してもよく、これによれば、より精度のよい判別をすることができる。
【００５８】
例えば、図４に示すように、画素Ｕ０〜Ｕ４の値の平均値ａｖｅ（Ｕ０〜Ｕ４）と画素Ｄ０〜Ｄ４の値の平均値ａｖｅ（Ｄ０〜Ｄ４）との差の絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝を算出し、これが閾値Ｖｔｈ１より大きいときには、上下相関がなく、条件１を満たすと判断して、判定フラグｆｇ１を１とし、絶対値ａｂｓ｛ａｖｅ（Ｕ０〜Ｕ４）−ａｖｅ（Ｄ０〜Ｄ４）｝が閾値Ｖｔｈ１以下であるときには、上下相関があり、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００５９】
要するに、条件１についての第１の方法としては、補間画素Ｃの上側の１個または複数の画素と補間画素Ｃの下側の１個または複数の画素との間の相関の有無を検出し、相関がないときには、条件１を満たすと判断して、判定フラグｆｇ１を１とし、相関があるときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６０】
＜第２の方法：図５〜図７＞
図２４に示したアルファベット“Ｈ”のように横線部分が存在する場合でも、ラインＬｔとラインＬｕとの間、またはラインＬｄとラインＬｂとの間では、強い相関を示すことが多い。
【００６１】
図５および図６に、その例を示す。図５は、“Ｈ”の横線部分が２本の線で表現されている場合であり、図６は、“Ｈ”の横線部分が１本の線で表現されている場合である。
【００６２】
図５の場合には、同図に示すように横線部分がラインＬｄ，Ｌｂであるとき、ラインＬｔとラインＬｕとの間の相関が強く、ラインＬｄとラインＬｂとの間の相関も強い。図６の場合には、同図に示すように横線部分がラインＬｄであるとき、ラインＬｔとラインＬｕとの間の相関が強い。
【００６３】
そこで、条件１についての第２の方法では、図２に示した条件判定用エリア内で、このようにラインＬｔとラインＬｕとの間の相関またはラインＬｄとラインＬｂとの間の相関が強い場合には、補間ラインＬｇの真上のラインＬｕと真下のラインＬｄとの間の相関の如何にかかわらず、斜め補間ではなく、上下補間が実行されるように、条件１を満たすものと判断する。
【００６４】
具体的には、画素Ｔ０の値と画素Ｕ０の値との差の絶対値ａｂｓ（Ｔ０−Ｕ０）を算出し、図７中の（Ａ）に示すように、絶対値ａｂｓ（Ｔ０−Ｕ０）が、上記の閾値Ｖｔｈ１より小さい閾値Ｖｔｈ２より大きいときには、画素Ｔ０と画素Ｕ０との間に強い相関がないと判断して、上記のデータｃ００を１とし、絶対値ａｂｓ（Ｔ０−Ｕ０）が閾値Ｖｔｈ２以下であるときには、画素Ｔ０と画素Ｕ０との間に強い相関があると判断して、データｃ００を０とする。
【００６５】
画素Ｔ１，Ｕ１間、画素Ｔ２，Ｕ２間、画素Ｔ３，Ｕ３間、画素Ｔ４，Ｕ４間、画素Ｄ０，Ｂ０間、画素Ｄ１，Ｂ１間、画素Ｄ２，Ｂ２間、画素Ｄ３，Ｂ３間、画素Ｄ４，Ｂ４間でも、同様に、強い相関があるか否かを検出し、データｃ０１，ｃ０２，ｃ０３，ｃ０４，ｃ２０，ｃ２１，ｃ２２，ｃ２３，ｃ２４の値を決定する。
【００６６】
そして、データｃ００〜ｃ０４が全て０であるときには、ラインＬｔとラインＬｕとの間の相関が強いと判断し、データｃ２０〜ｃ２４が全て０であるときには、ラインＬｄとラインＬｂとの間の相関が強いと判断し、図７中の（Ｂ）に示すように、ラインＬｔとラインＬｕとの間の相関が強いとき（ｃ００＝ｃ０１＝ｃ０２＝ｃ０３＝ｃ０４＝０のとき）、またはラインＬｄとラインＬｂとの間の相関が強いとき（ｃ２０＝ｃ２１＝ｃ２２＝ｃ２３＝ｃ２４＝０のとき）には、条件１を満たすと判断して、条件１についての判定フラグｆｇ１を１とする。
【００６７】
データｃ００〜ｃ０４のいずれかが１であり、かつデータｃ２０〜ｃ２４のいずれかが１であるときには、すなわち、ラインＬｔとラインＬｕとの間の相関が強くなく、かつラインＬｄとラインＬｂとの間の相関が強くないと判断したときには、条件１を満たさないと判断して、判定フラグｆｇ１を０とする。
【００６８】
なお、ラインＬｔまたはＬｄ上の一つの画素の値とラインＬｕまたはＬｂ上の一つの画素の値との差の絶対値を、閾値Ｖｔｈ２と比較する代わりに、ノイズの影響を減らすために、ラインＬｔまたはＬｄ上の左右方向に近接する複数画素の値の平均値とラインＬｕまたはＬｂ上の左右方向に近接する複数画素の値の平均値との差の絶対値を、閾値Ｖｔｈ２と比較してもよい。
【００６９】
文字などの画像部分では、その部分の性質を判定するに当たって、その部分の近傍の部分まで判定のためのエリアを広げると、判定精度を上げることができる場合がある。上述した第２の方法は、この考えを応用したものである。
【００７０】
（条件２の判定：図８、図９）
条件２は、補間画素Ｃの左右の離れた画素の間での相関の有無に関する。以下では、この相関を左右大域相関と称する。ただし、条件２では、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７１】
図２４に示したアルファベット“Ｈ”の画像部分では、“Ｈ”の左側縦線部分の右側エッジの左右（左は左側縦線部分内、右は左側縦線部分と右側縦線部分との間の背景部分）で輝度の差が大きいため、斜め補間が実行されると、図２６のようにプログレッシブ画像に孤立的な特異点を生じる。
【００７２】
そこで、条件２については、このように左右方向に大きなレベル差がある場合には、斜め補間ではなく、上下補間が実行されるように、左右大域相関の有無を検出して、左右大域相関がない場合、すなわち左右方向に大きなレベル差がある場合には、条件２を満たすと判断し、左右大域相関がある場合、すなわち左右方向に大きなレベル差がない場合には、条件２を満たさないと判断する。
【００７３】
一例として、図２に示した条件判定用エリアの左端の画素Ｕ０およびＤ０の値の和（Ｕ０＋Ｄ０）と、右端の画素Ｕ４およびＤ４の値の和（Ｕ４＋Ｄ４）との差の絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝を算出し、図８に示すように、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が、定められた閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、条件２についての判定フラグｆｇ２を１とし、絶対値ａｂｓ｛（Ｕ０＋Ｄ０）−（Ｕ４＋Ｄ４）｝が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７４】
あるいは、他の例として、図９に示すように、左端の画素Ｕ０の値と右端の画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ０−Ｕ４）が閾値Ｈｔｈ１より大きいとき、または左端の画素Ｄ０の値と右端の画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１より大きいときには、左右大域相関がなく、条件２を満たすと判断して、判定フラグｆｇ２を１とし、絶対値ａｂｓ（Ｕ０−Ｕ４）およびａｂｓ（Ｄ０−Ｄ４）が閾値Ｈｔｈ１以下であるときには、左右大域相関があり、条件２を満たさないと判断して、判定フラグｆｇ２を０とする。
【００７５】
ただし、図８および図９では、条件２についての閾値という意味で、閾値を共にＨｔｈ１で表しているが、実際の値としては、図８の場合の閾値Ｈｔｈ１と図９の場合の閾値Ｈｔｈ１は異なる値にする。
【００７６】
（条件３の判定：図１０）
条件３は、左右方向に隣接する画素の間での相関の有無に関する。以下では、この相関を左右小域相関と称する。ただし、条件３でも、条件２と同様に、補間ラインＬｇの真上および真下のラインＬｕおよびＬｄのみを考慮する。
【００７７】
斜め補間が実行されることによって図２６のように孤立的な特異点を生じるのは、ほとんどが文字の角に当たり、左右方向のエッジが存在する部分である。
【００７８】
そこで、条件３については、左右方向のエッジが存在する場合には、斜め補間ではなく、上下補間が実行されるように、左右小域相関の有無を検出して、左右小域相関がない場合、すなわち左右方向のエッジが存在する場合には、条件３を満たすと判断し、左右小域相関がある場合、すなわち左右方向のエッジが存在しない場合には、条件３を満たさないと判断する。
【００７９】
具体的には、（１）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（２）画素Ｄ０の値と画素Ｄ１の値との差の絶対値ａｂｓ（Ｄ０−Ｄ１）、（３）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（４）画素Ｄ１の値と画素Ｄ２の値との差の絶対値ａｂｓ（Ｄ１−Ｄ２）、（５）画素Ｕ２の値と画素Ｕ３の値との差の絶対値ａｂｓ（Ｕ２−Ｕ３）、（６）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、（７）画素Ｕ３の値と画素Ｕ４の値との差の絶対値ａｂｓ（Ｕ３−Ｕ４）、および（８）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１０に示すように、これら８個の絶対値のいずれか一つでも、定められた閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、条件３についての判定フラグｆｇ３を１とし、上記８個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００８０】
（総合的な判断と補間方向の決定）
上述したように条件１，２，３を満たすか否かを判断した後、条件１，２，３を全て満たすか否かを判断し、条件１，２，３を全て満たすときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、その補間画素につき、補間方向を上下方向と決定して、上下方向の補間を実行し、条件１，２，３のいずれか一つでも満たさないときには、すなわち判定フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、その補間画素につき、補間方向を斜め方向と決定して、斜め方向の補間を実行する。
【００８１】
したがって、文字のエッジ部のように、斜め補間が実行されることによってプログレッシブ画像に孤立的な特異点を生じる画像部分では、斜め補間ではなく、上下補間が実行されることになり、プログレッシブ画像に孤立的な特異点が現れるのが防止される。
【００８２】
（画像処理装置の例：図１１）
図１１に、以上のような画像処理方法を実行する画像処理装置の一例を示す。
【００８３】
この例は、ハードウェア回路として構成された場合で、動画補間処理部１０には、入力画像データとして、インターレース画像データの動画領域として検出された部分の画像データが供給される。
【００８４】
動画補間処理部１０では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３において、それぞれ上記の条件１，２および３を満たすか否かを判断するとともに、これと並行して、動画補間方向検出部１５において、斜め補間を行う場合の補間方向（斜め方向）が検出される。
【００８５】
すなわち、斜め補間の補間方向として、あらかじめ、図１に示したような第１斜め方向、第２斜め方向、第３斜め方向および第４斜め方向を設定する場合には、そのいずれかの方向が、個々の補間画素についての補間方向として検出される。
【００８６】
論理回路１４では、第１条件判定部１１、第２条件判定部１２および第３条件判定部１３の判定結果のフラグｆｇ１，ｆｇ２およびｆｇ３の論理積（ＡＮＤ）が求められ、上述したようにフラグｆｇ１，ｆｇ２，ｆｇ３が全て１であるときには、論理回路１４の出力の総合判定結果が“１”とされ、フラグｆｇ１，ｆｇ２，ｆｇ３のいずれかが０であるときには、総合判定結果が“０”とされる。
【００８７】
そして、補間方向決定部１６では、論理回路１４の出力の総合判定結果に応じて、総合判定結果が“１”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）の如何にかかわらず、補間方向を上下方向と決定し、総合判定結果が“０”であるときには、動画補間方向検出部１５で検出された補間方向（斜め方向）を、そのまま補間方向として決定する。
【００８８】
補間データ生成部１７では、補間方向決定部１６で決定された方向の補間を実行し、補間データ（補間画素の画素データ）を生成する。
【００８９】
〔第２の実施形態：図１２〜図１６〕
第１の実施形態の例では、条件３を満たすか否かを判断するに当たって、図１０に示したように、上記（１）〜（８）の８個の絶対値を算出し、閾値Ｈｔｈ２と比較する必要がある。
【００９０】
そこで、第２の実施形態では、条件３の判定のための演算規模を縮小するために、条件３の判定に当たって、図１１に示したような動画補間方向検出部１５での検出結果を利用する。
【００９１】
図１２は、この場合の画像処理装置の一例を示し、第３条件判定部１３では、動画補間方向検出部１５で検出された、斜め補間を行う場合の補間方向（斜め方向）を利用して、条件３を満たすか否かを判断する。その他は、図１１の例と同じである。
【００９２】
具体的に、動画補間方向検出部１５で、図１３の両矢印で示すように、画素Ｕ０と画素Ｄ４を結ぶ方向（上記の第２斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関（左右方向に隣接する画素の間での相関）の有無については、画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、および画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１４に示すように、絶対値ａｂｓ（Ｕ０−Ｕ１）またはａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、絶対値ａｂｓ（Ｕ０−Ｕ１）およびａｂｓ（Ｄ３−Ｄ４）が閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９３】
また、動画補間方向検出部１５で、図１５の両矢印で示すように、画素Ｕ１と画素Ｄ３を結ぶ方向（上記の第１斜め方向）が、最も相関が強く、斜め補間を行う場合の補間方向として検出された場合、条件３の左右小域相関の有無については、（ａ）画素Ｕ０の値と画素Ｕ１の値との差の絶対値ａｂｓ（Ｕ０−Ｕ１）、（ｂ）画素Ｕ１の値と画素Ｕ２の値との差の絶対値ａｂｓ（Ｕ１−Ｕ２）、（ｃ）画素Ｄ２の値と画素Ｄ３の値との差の絶対値ａｂｓ（Ｄ２−Ｄ３）、および（ｄ）画素Ｄ３の値と画素Ｄ４の値との差の絶対値ａｂｓ（Ｄ３−Ｄ４）を算出し、図１６に示すように、これら４個の絶対値のいずれか一つでも閾値Ｈｔｈ２より大きいときには、左右小域相関がなく、条件３を満たすと判断して、判定フラグｆｇ３を１とし、上記４個の絶対値の全てが閾値Ｈｔｈ２以下であるときには、左右小域相関があり、条件３を満たさないと判断して、判定フラグｆｇ３を０とする。
【００９４】
この第２の実施形態によれば、第３条件判定部１３の演算規模を第１の実施形態の半分以下に縮小することができる。
【００９５】
【発明の効果】
上述したように、この発明によれば、斜め線の画像部分でのジャギーを軽減することができると同時に、特に、画面を流れるテロップ文字などのように、近傍の画素に対する独立性が高く、かつエッジを有する画像部分で、プログレッシブ画像に孤立的な特異点が現れるのを防止することができる。
【図面の簡単な説明】
【図１】この発明における補間方向の一例を示す図である。
【図２】この発明における条件判定用エリアの一例を示す図である。
【図３】条件１の判定方法の一例を示す図である。
【図４】条件１の判定方法の一例を示す図である。
【図５】画面を流れるテロップ文字の一例を示す図である。
【図６】画面を流れるテロップ文字の一例を示す図である。
【図７】条件１の判定方法の一例を示す図である。
【図８】条件２の判定方法の一例を示す図である。
【図９】条件２の判定方法の一例を示す図である。
【図１０】条件３の判定方法の一例を示す図である。
【図１１】この発明の画像処理装置の一例を示す図である。
【図１２】この発明の画像処理装置の他の例を示す図である。
【図１３】条件３の別の判定方法を示す図である。
【図１４】条件３の別の判定方法を示す図である。
【図１５】条件３の別の判定方法を示す図である。
【図１６】条件３の別の判定方法を示す図である。
【図１７】インターレース走査の説明に供する図である。
【図１８】ノンインターレース走査の説明に供する図である。
【図１９】ＩＰ変換のための信号処理装置の一例を示す図である。
【図２０】フィールド間補間の例を示す図である。
【図２１】フィールド内補間の例を示す図である。
【図２２】上下補間の説明に供する図である。
【図２３】斜め補間の説明に供する図である。
【図２４】インターレース画像の流れるテロップ文字の部分を示す図である。
【図２５】図２４の楕円内の部分の画素データの具体例を示す図である。
【図２６】図２４の楕円内の部分で斜め補間を行った場合に生じる輝点を示す図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
Claims (8)
- インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う方法であって、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無を検出して、その有無に関する条件である第１の条件を満たすか否かを判断する第１の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の工程と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の工程と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の工程と、
を備える画像処理方法。 - 請求項１の画像処理方法において、
上記第３の工程では、上記左右方向に隣接する画素の間の相関の有無として、斜め方向の補間を行う場合の補間方向として検出された方向の位置において左右方向に隣接する画素の間の相関の有無のみを検出する画像処理方法。 - 請求項１または２の画像処理方法において、
上記第１の工程では、上記上下方向の相関の有無として、補間画素の上下の画素の間の相関の有無を検出して、相関がない場合に、第１の条件を満たすと判断する画像処理方法。 - 請求項１または２の画像処理方法において、
上記第１の工程では、上記上下方向の相関の有無として、補間画素の上方および下方の、それぞれ２本の走査線上において、補間に用いられる画素範囲内で、それぞれ左右方向に複数対が存在する対の画素の間の相関の有無を検出して、補間画素の上方または下方の、左右方向における全ての対の画素の間に相関がある場合に、第１の条件を満たすと判断する画像処理方法。 - インターレース画像データをプログレッシブ画像データに変換する際に動画領域でフィールド内補間を行う装置であって、
プログレッシブ画像の、補間によりデータが生成される画素を補間画素と定義し、インターレース画像の、画面垂直方向を上下方向と定義し、画面垂直方向に交差する方向を斜め方向と定義し、画面水平方向を左右方向と定義するとき、
補間画素近傍におけるインターレース画像の、上下方向の相関の有無を検出して、その有無に関する条件である第１の条件を満たすか否かを判断する第１の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に離れた画素の間の相関の有無を検出して、相関がない場合に、第２の条件を満たすと判断する第２の手段と、
補間画素近傍におけるインターレース画像の、補間に用いられる画素範囲内で左右方向に隣接する画素の間の相関の有無を検出して、相関がない場合に、第３の条件を満たすと判断する第３の手段と、
上記第１、第２および第３の条件を全て満たすか否かを判断して、全て満たす場合には、上下方向の補間によって補間画素のデータを生成し、いずれかの条件を満たさない場合には、斜め方向の補間によって補間画素のデータを生成する第４の手段と、
を備える画像処理装置。 - 請求項５の画像処理装置において、
上記第３の手段は、上記左右方向に隣接する画素の間の相関の有無として、斜め方向の補間を行う場合の補間方向として検出された方向の位置において左右方向に隣接する画素の間の相関の有無のみを検出する画像処理装置。 - 請求項５または６の画像処理装置において、
上記第１の手段は、上記上下方向の相関の有無として、補間画素の上下の画素の間の相関の有無を検出して、相関がない場合に、第１の条件を満たすと判断する画像処理装置。 - 請求項５または６の画像処理装置において、
上記第１の手段は、上記上下方向の相関の有無として、補間画素の上方および下方の、それぞれ２本の走査線上において、補間に用いられる画素範囲内で、それぞれ左右方向に複数対が存在する対の画素の間の相関の有無を検出して、補間画素の上方または下方の、左右方向における全ての対の画素の間に相関がある場合に、第１の条件を満たすと判断する画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022593A JP4189645B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法および画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022593A JP4189645B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004236012A true JP2004236012A (ja) | 2004-08-19 |
| JP4189645B2 JP4189645B2 (ja) | 2008-12-03 |
Family
ID=32951626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003022593A Expired - Fee Related JP4189645B2 (ja) | 2003-01-30 | 2003-01-30 | 画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4189645B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008182362A (ja) * | 2007-01-23 | 2008-08-07 | Sharp Corp | 走査線補間装置 |
| JP2010522485A (ja) * | 2007-03-19 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | ビデオをアップスケールするための方法および装置 |
| JP4801678B2 (ja) * | 2006-09-26 | 2011-10-26 | パナソニック株式会社 | 色差信号ｉｐ変換方法 |
| US9536461B2 (en) | 2014-07-01 | 2017-01-03 | Sony Interactive Entertainment Inc. | Method and system for use in uprendering multimedia content |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5169994B2 (ja) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
-
2003
- 2003-01-30 JP JP2003022593A patent/JP4189645B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4801678B2 (ja) * | 2006-09-26 | 2011-10-26 | パナソニック株式会社 | 色差信号ｉｐ変換方法 |
| US8164687B2 (en) | 2006-09-26 | 2012-04-24 | Panasonic Corporation | Color difference signal IP conversion method |
| JP2008182362A (ja) * | 2007-01-23 | 2008-08-07 | Sharp Corp | 走査線補間装置 |
| JP2010522485A (ja) * | 2007-03-19 | 2010-07-01 | 株式会社ソニー・コンピュータエンタテインメント | ビデオをアップスケールするための方法および装置 |
| US8717502B2 (en) | 2007-03-19 | 2014-05-06 | Sony Computer Entertainment Inc. | Methods and apparatuses for upscaling video |
| US9215403B2 (en) | 2007-03-19 | 2015-12-15 | Sony Computer Entertainment Inc. | Methods and apparatuses for upscaling video |
| US9536461B2 (en) | 2014-07-01 | 2017-01-03 | Sony Interactive Entertainment Inc. | Method and system for use in uprendering multimedia content |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4189645B2 (ja) | 2008-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7477319B2 (en) | Systems and methods for deinterlacing video signals | |
| US7742103B1 (en) | Motion object video on film detection and adaptive de-interlace method based on fuzzy logic | |
| KR100403364B1 (ko) | 영상 신호의 디인터레이스 방법 및 장치 | |
| JP4207009B2 (ja) | 画像処理装置及び方法 | |
| JP2005507595A (ja) | ビデオ画像の改善される空間的な解像度 | |
| KR20010090568A (ko) | 영상 이미지 디인터레이서 장치 및 방법 | |
| JP2004254273A (ja) | 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法 | |
| JP3893227B2 (ja) | 走査線補間装置、及び走査線補間方法 | |
| JP3842756B2 (ja) | インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム | |
| JP2009164729A (ja) | 合成映像検出装置 | |
| US7548663B2 (en) | Intra-field interpolation method and apparatus | |
| KR20030010252A (ko) | 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법 | |
| JP4189645B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4433949B2 (ja) | 画像処理装置及び方法 | |
| US7113222B2 (en) | Method and apparatus for converting an interlace image to a progressive image | |
| US7268828B2 (en) | Television receiver and control method thereof for displaying video signals based on different television modes | |
| US20050163401A1 (en) | Display image enhancement apparatus and method using adaptive interpolation with correlation | |
| US20040207754A1 (en) | De-interlacing device of digital television set | |
| JP4175863B2 (ja) | 飛び越し走査の動き検出回路及び映像信号処理装置 | |
| US8243196B2 (en) | Motion adaptive image processing | |
| JP2006332904A (ja) | 輪郭強調回路 | |
| JP4412436B2 (ja) | 同一画像検出方法 | |
| KR100231007B1 (ko) | 4판식 이미지 센서를 이용한 고해상도 촬상 장치 및 화소 배치 방법 | |
| US8350962B2 (en) | Method and system for video format conversion | |
| TWI392336B (zh) | 具有ｃｕｅ移除器的動態適應性去交錯裝置與方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080820 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |