JP2006165800A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 計算コストの上昇を抑制しながらインターレース画像信号を精度良くプログレッシブ画像信号に変換すること。
【解決手段】
トップフィールドとボトムフィールドのライン間の写像関係を動的計画法によりワーピング曲線として求め、ワーピング曲線に基づいてボトムフィールドのラインを補正する。補正したボトムフィールドラインとトップフィールドラインとからプログレッシブ画像信号を形成することで、例えば櫛状のアーティファクトの発生を軽減することができる。
【選択図】 図１

Description

本発明は、インターレース画像信号をプログレッシブ画像信号に変換する画像処理装置および画像処理方法に関する。

放送やビデオ機材に使われる動画像信号にはインターレース信号がよく使われている。インターレース信号は通常トップフィールドとボトムフィールドの２つのフィールドを持つ。２つのフィールドは時間的に交互に配置され、２つのフィールドで１つのフレームを構成するため、フレームレートの倍の時間解像度（時間当たりの枚数）をもつが、それぞれのフィールドの垂直解像度はフレームの半分となる。

フレームはそれぞれのフィールドのラインを交互に配置することで構成されているので２つのフィールドの垂直位置はフレームの１ライン分ずれている。もともとインターレースは蛍光体の残像を利用した表示を行うＣＲＴで表示するために作られた技術であり、近年では液晶ディスプレイやプラズマディスプレイなど、インターレース信号に適さない表示装置も多くなってきた。このようなインタレース信号を直接表示させるのに適さない表示装置でインターレース信号を表示するために、インターレース信号をプログレッシブ信号に変換する必要が出てきた。プログレッシブ信号はフィールドを持たず、フレームを構成するラインを順番に表示するための信号である。

インターレース信号をプログレッシブ信号に変換（以後ＩＰ変換と呼ぶ）する方法は大きく４つに分けられる。
１）再インターリーブ
２）ラインダブル
３）フィールド適応インターレース解除
４）動き予測インターレース解除

再インターリーブは図２に示すようにそれぞれのフィールドを組み合わせたものである。もともとプログレッシブ信号であったものをインターレース信号にした画像や静止画像には最適な変換方法である。
ラインダブルは図３や図４に示すように、１フィールドの各ラインをコピーしたり上下のラインの平均操作、さらには空間フィルタ処理などによってラインを補間するものである。片方のフィールドしか使用しないので、変換結果の垂直解像度は低下する。

フィールド適応インターレース解除はいくつかのフィールドで画像信号の差分値を求め予め決められた閾値と比較し比較結果に応じて１）と２）の方法を切り替えるものである。特許文献１にはこの原理的な発明が提案されている。

動き予測インターレース解除は動画像の動きを検出し、動きを補償した後にフィールド適応インターレース解除するものである。特許文献２には優先的モーションを検出しそれを取り除いた後に局所的モーションを検出し、その結果に応じて１）と２）の方法を切り替える方法が提案されている。

特公平７−５０９２７号公報 特開平８−３０７８２０号公報

再インターリーブでは、動きのある部分について櫛状のア−ティファクトが発生する。ラインダブルでは、片方のフィールドしか使用しないので斜めの線で階段状になったり、垂直解像度が低下したりする。フィールド適応インターレース解除は、パンニングしたりズームしたりした場合、ラインダブルと同じ結果になり多くの場合で性能を発揮できない。動き予測インターレース解除は原理的には高性能であるが、計算コストが高い、動くオブジェクトを特定するのが難しくその特定を間違えると却って大きなア−ティファクトが発生するなどの問題がある。

本発明はこのような従来技術の課題を解決し、計算コストの上昇を抑制しながら、インタレース信号から品質の良好なプログレッシブ信号を得るための画像処理装置及び方法を提供することを目的とする。

上述の目的は、インタレース信号をプログレッシブ信号に変換可能な画像処理装置であって、インタレース信号を構成するトップフィールド及びボトムフィールドから、２つのラインを選択する選択手段と、選択された２つのラインに含まれる画素の写像関係を動的計画法により求める算出手段と、写像関係に基づいて２つのラインの一方を補正し、補正ラインを得る補正手段と、トップフィールドに含まれるライン、ボトムフィールドに含まれるラインの一方と、及び補正ラインとからプログレッシブ信号を生成する生成手段とを有することを特徴とする画像処理装置によって達成される。

また、上述の目的は、インタレース信号をプログレッシブ信号に変換可能な画像処理方法であって、インタレース信号を構成するトップフィールド及びボトムフィールドから、２つのラインを選択する選択工程と、選択された２つのラインに含まれる画素の写像関係を動的計画法により求める算出工程と、写像関係に基づいて２つのラインの一方を補正し、補正ラインを得る補正工程と、トップフィールドに含まれるライン、ボトムフィールドに含まれるラインの一方と、及び補正ラインとからプログレッシブ信号を生成する生成工程とを有することを特徴とする画像処理方法によっても達成される。

さらに、上述の目的は、本発明の画像処理方法をコンピュータに実行させるプログラムによっても達成される。

このような構成により、本発明によれば、計算コストの上昇を抑制しながら、インタレース信号から品質の良好なプログレッシブ信号を得ることができる。

以下、本発明の画像処理装置の実施形態を、図面を用いて詳細に説明する。
具体的な実施形態について説明する前に、以下の実施形態で共通して使用する動的計画法（ダイナミックプログラミング。以下ＤＰという）を簡単に説明する。

図１は本発明の基本的な原理を説明する図であり、縦軸にはトップフィールド画像のあるラインが、横軸にはボトムフィールド画像のあるラインが示されている。説明を簡単にするため、縦軸のトップフィールドライン、横軸のボトムフィールドラインのいずれもが。画素Ａが連続するブロック、画素Ｂが連続するブロック、画素Ｃが連続するブロックから構成され、ブロックの長さが各ラインで異なっているものとする。

ＤＰは伸縮関係にある２つのパターンの対応関係を導き出すことができ、ワーピング曲線がその対応関係（写像関係）を表す。本発明では、一方のライン（ここではトップフィールドのライン）を参照ラインとして、他方のライン（ここではボトムフィールドのライン）との写像関係をＤＰにより求め、この写像関係を用いて他方のラインを変形（画素のコピーや間引き）する補正を行ったり、別のラインを生成することで、計算コストの上昇を抑制しながら高精度のプログレッシブ信号を得るものである。ライン間の画素の対応関係をＤＰにより求め、特にオブジェクトの認識は行わないので比較的低い計算コストで実現できる。

以下、さらに詳細に本発明の原理について説明する。
図５はＤＰを適用する２つのパターンを示す図である。図６は図５のパターンに対してＤＰを適用した結果を示す図である。図７はＤＰ法の演算過程を示した図である。

ここで図５に示すように実線と点線の２つのパターンがあったとき、パターン間の距離を網線部の面積で表すものとする。ＤＰは、図６のようにパターン間の距離（面積）が最小になるように、点線のパターンを横軸方向に変形する方法である。

ここで２つのパターンを画素列（ライン）ｘ、ｙとする。ラインｘは長さＩで、ｉ（０≦ｉ≦Ｉ−１）番目の画素をｘ（ｉ）、ラインｙは長さＪでｊ（０≦ｊ≦Ｊ−１）番目の画素をｙ（ｊ）とする。またｘ（ｉ）とｙ（ｊ）の２点間距離をｄ（ｉ，ｊ）とする。

パターンの両端が同位置に固定されるものとすると、ｘ（０）に対応するのはｙ（０）、ｘ（Ｉ−１）に対応するのはｙ（Ｊ−１）である。点線のパターンを変形するためのワーピング曲線を構成するにあたりｉとｊの増加分を０と＋１だけ許すと仮定する。点（０，０）から点（ｉ，ｊ）までの最小２点間累積距離をｇ（ｉ，ｊ）とすると

の漸化式で表現できる。ただし、（ｉ，ｊ）の取り得る範囲は図７の整合窓の範囲内とする。２つのライン間の総距離は図５，図６における網部分の面積に相当するｇ（Ｉ−１，Ｊ−１）となる。ｇ（ｉ，ｊ）の属性として、最小値としてどのパスを選んだかというパス情報を記録しておけばｇ（Ｉ−１，Ｊ−１）を求めた後、（Ｉ−１，Ｊ−１）点から逆にパスをたどっていくと図７におけるワーピング曲線が求まる。

（第１の実施形態）
図８は、本発明の第１の実施の形態における画像処理装置の構成例を示すブロック図である。
図において、画像処理装置は、インターレース信号のうちトップフィールド信号が入力されるトップフィールド信号入力端子１０１、インターレース信号のうちボトムフィールド信号が入力されるボトムフィールド信号入力端子１０２、トップフィールド信号入力端子１０１から入力される信号を保持するトップフィールドバッファ１０３、補間信号を生成するための基準となるラインを選択するライン選択部１０４、ボトムフィールド信号入力端子１０２から入力される信号を保持するボトムフィールドバッファ１０５、ライン選択部１０４で選択されたラインを保持するラインバッファ１０６、ボトムフィールドバッファ１０５で選択されたラインを保持するラインバッファ１０７、ラインバッファ１０６とラインバッファ１０７の内容を入力としＤＰ計算を行うＤＰ計算部１０８、ＤＰ計算部１０８で求められたワーピング曲線を保持するワーピング曲線バッファ１０９、ワーピング曲線バッファ１０９のワーピング曲線に基づいてボトムフィールドバッファ１０５からのライン（ラインバッファ１０７と同じ物）を変形して補間処理を行うライン補正部１１０、ライン補正部１１０で補正されたラインを集積する補正ボトムフィールドバッファ１１１、トップフィールドバッファ１０３の内容を出力するトップフィールド出力端子１１２及び、補正ボトムフィールドバッファ１１１の内容を出力するボトムフィールド出力端子１１３を有する。

これら各構成要素の動作は、例えば画像処理装置全体の動作を制御する制御部（図示せず）によって制御される。画像処理装置を汎用コンピュータ装置により実現する場合、画像処理装置はデータの入出力インタフェースと、各バッファ（１０３、１０５〜１０７、１０９、１１１）として用いられる記憶装置と、ＣＰＵが制御プログラムを実行することによりソフトウェア的に実現する他の構成要素（１０４、１０８、１１０）によって実現することもできる。

図９は、本実施形態における画像処理装置の処理過程を示す図である。
なお本明細書では図２の右側に示すように、トップフィールドとボトムフィールドを組み合わせて上から順にラインを数えるものとする。従って番号が１つ違うラインは違うフィールドに含まれるラインであることを示す。

図９で、画素列１２１はラインバッファ１０６にあるライン番号ｎの画素列、ラインｎを示す。また画素列１２２はラインバッファ１０７及びライン補正部１１０にある補正前のライン番号ｎ＋１の画素列、補正前ラインｎ＋１を示す。矢印１２３はワーピング曲線バッファ１０９にあるワーピング曲線による画素の写像関係を示す。矢印１２４は画素列１２２を補正すべき画像補正ベクトルを示す。補正後ラインｎ＋１（１２５）は、ライン補正部１１０内で補正されたライン番号ｎ＋１の画素列を示す。

以下、本実施形態における画像処理装置の動作について詳細に説明する。
トップフィールド信号入力端子１０１からトップフィールド信号が入力され、１フレームの半分がトップフィールドバッファ１０３に格納される。同様にボトムフィールド信号入力端子１０２から同じフレームのボトムフィールド信号が入力され１フレームの残り半分がボトムフィールドバッファ１０５に格納される。ボトムフィールドバッファ１０５のデータはトップフィールドバッファ１０３のデータよりも１フィールド分時間的に遅れた画像であり、このままフレームを合成すると櫛状のアーティファクトが生じる。そのため、本実施形態では、ボトムフィールドバッファ１０５の画像をトップフィールドバッファ１０３の画像に合わせるように補正を行う。

ライン選択部１０４で参照信号となる画素列ラインｎをトップフィールドバッファ１０３から選び出しラインバッファ１０６に格納する。同様にボトムフィールドバッファ１０５から画素列ラインｎ＋１を取り出し、ラインバッファ１０７とライン補正部１１０に格納する。このときラインバッファ１０６には図９の画素列１２１に示す状態で画素が一列に並んでいる。また、ラインバッファ１０７には図９の画素列１２２に示す状態で画素が一列に並んでいる。

この状態でＤＰ計算部１０８によりＤＰ計算をし、ワーピング曲線を求めワーピング曲線バッファ１０９に格納する。ワーピング曲線は図７のようになっておりｉとｊの関係が画素列１２１と画素列１２２の写像関係に相当する。ｉとｊの写像関係の集合はワーピング曲線そのものである。図９の画素写像関係１２３はその写像関係を示したものであり、補正ベクトル１２４は写像関係をベクトルとして表現したものである。ライン補正部１１０は、格納されている補正前のラインｎ＋１（１２２）を、ワーピング曲線バッファ１０９に格納されるワーピング曲線に対応する補正ベクトル１２４により変形して補正後のラインｎ＋１（１２５）を得る。補正されたラインは補正ボトムフィールドバッファ１１１に格納される。このようにして、トップフィールドの各ラインを参照ラインとしてボトムフィールドの各ラインの補正処理が終了すると、トップフィールドバッファ１０３の内容をトップフィールド出力端子１１２へ、補正ボトムフィールドバッファ１１１の内容を１１３へ同時に出力する。これにより、プログレッシブ形式に変換された画像信号が得られる。

補正により、ボトムフィールドの各ラインは隣接する参照ラインとの時間遅れによる差異を補償され、櫛状のアーティファクトが目立たないプログレッシブ画像信号を得ることができる。

このように、本実施形態によれば、インタレース信号を構成する異なるフィールドに含まれるライン間の画素の写像関係を動的計画法によりワーピング曲線として求め、この写像関係に基づいて一方のラインを補正することにより、計算コストの上昇を抑制しながら品質の良いプログレッシブ画像を生成することが可能となる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。
第１の実施形態は櫛状のアーティファクト軽減には有効であるが、ラインｎとラインｎ＋１の間に水平に近い画像のエッジがあると、本来分離するべき画素を無理やり補正してしまうことがある。本実施形態によれば、そのような現象を回避することができる。

図１０は、本実施形態における画像処理装置の構成例を示すブロック図である。
図１０において、トップフィールドバッファ１０３から連続する２つのラインを取り出し平均化するライン平均化部２０１を除く構成は第１実施形態と同様であるため、説明を省略する。

図１１は、本実施形態における画像処理装置の処理過程を示す図である。
ラインｎ（２２１）は、トップフィールドバッファ１０３にあるライン番号ｎの画素列を示す。ラインｎ＋２（２２２）はトップフィールドバッファ１０３にあるライン番号ｎ＋２の画素列を示す。平均化ライン２２３は、ラインバッファ１０６にあるラインｎとラインｎ＋２を平均化したラインを示す。補正前ラインｎ＋１（２２４）はラインバッファ１０７及びライン補正部１１０にある、補正前のライン番号ｎ＋１の画素列を示す。

画素写像関係２２５は、ワーピング曲線バッファ１０９にあるワーピング曲線による画素の写像関係を示す。画像補正ベクトル２２６は補正前ラインｎ＋１（２２４）を補正後ラインｎ＋１（２２７）に補正するためのベクトルを示す。補正後ラインｎ＋１（２２７）はライン補正部１１０内で補正されたライン番号ｎ＋１の画素列を示す。

以下、本実施形態について詳細に説明する。
トップフィールドバッファ１０３とボトムフィールドバッファ１０５にフィールドデータを格納する処理は第１実施形態と同じである。同様に、ボトムフィールドバッファ１０５からラインｎ＋１を取り出しラインバッファ１０７とライン補正部１１０に格納する点も第１実施形態と同じである。

本実施形態に特徴的なのはライン平均化部２０１の動作である。ライン平均化部２０１は、トップフィールドバッファ１０３からラインｎとラインｎ＋２を取り出し、対応画素を平均化した平均化ラインを生成し、ラインバッファ１０６に格納する。これは、図１１において、画素列２２１と画素列２２２の平均操作により画素列２２３を作る操作に相当する。

本実施形態では、一方のフィールド（ここではトップフィールド）に含まれる２つのラインを平均化し、この平均化ラインを参照ラインとして用いる。そのため、参照ラインの元となる２ライン（図１１の画素列２２１と画素列２２２）間に水平に近い画像エッジがあったとしても、その平均化ラインである画素列２２３にはエッジ前後の特徴をもったラインが生成される。従って、エッジを考慮しないワーピング曲線が生成されることを抑制でき、本来補正すべきでない画素を無理やり補正してしまう現象を低減することができる。このように、本実施形態によれば、計算コストの上昇及び櫛状アーティファクトの発生を抑制しつつ、水平に近い画像エッジを有するインタレース信号を良質なプログレッシブ信号に変換することができる。

（第３の実施形態）
次に本発明の第３の実施形態を説明する。
第２の実施形態では水平に近いエッジが存在する場合の第１の実施形態の改善策について述べたが、本実施形態においては、斜めのエッジや線のある画像についての改善策について説明する。このような画像では、ラインｎとラインｎ＋１のエッジが揃ってしまい、階段状の画像になりやすいが、本実施形態はそのような画像でも斜めの線を滑らかに補正することができる。

図３は、本実施形態における画像処理装置の構成例を示すブロック図である。
図３において、第１の実施形態と同等の構成には同じ参照数字を付した。
ラインバッファ３０１、ラインバッファ３０２、ＤＰ計算部３０３及びワーピング曲線バッファ３０４は、それぞれラインバッファ１０６、ラインバッファ１０７、ＤＰ計算部１０８及びワーピング曲線バッファ１０９と同等の構成を有する。

ライン補正部３０５は、２つのワーピング曲線バッファ１０９及び３０４の情報から補正ベクトルを計算し、ボトムフィールド信号入力端子１０２から得られるボトムフィールドのラインを補正する。
ライン選択部３０６は、トップフィールドバッファ１０３から、ラインｎをラインバッファ１０６へ、ラインｎ＋２をラインバッファ３０１へ格納する。

図１３は、本実施形態における画像処理装置の処理過程を示す図である。
ラインｎ（３２１）はラインバッファ１０６にあるライン番号ｎの画素列を示す。ラインｎ＋２（３２２）はラインバッファ３０１にあるライン番号ｎ＋２の画素列を示す。補正前ラインｎ＋１（３２３）はラインバッファ１０６及び３０２にある、補正前のライン番号ｎ＋１の画素列を示す。矢印３２４はワーピング曲線バッファ１０９にあるワーピング曲線による画素の写像関係を示す。矢印３２５はワーピング曲線バッファ３０４にあるワーピング曲線による画素の写像関係を示す。矢印３２６は画素列３２３を補正すべき画像補正ベクトルを示す。補正後ラインｎ＋１（３２７）はライン補正部３０５内で補正されたライン番号ｎ＋１の画素列を示す。

以下、本実施形態について詳細に説明する。
トップフィールドバッファ１０３とボトムフィールドバッファ１０５にフィールドデータを格納する処理は第１実施形態と同じである。
ライン選択部３０６は、トップフィールドバッファ１０３から、ラインｎとラインｎ＋２を選択し、ラインｎをラインバッファ１０６に、ラインｎ＋２をラインバッファ３０１に格納する。

同様に、ボトムフィールドバッファ１０５からは、ラインｎ＋１をラインバッファ１０７、ラインバッファ３０２及びライン補正部３０５に格納する。このときラインバッファ１０６には図１３のラインｎ（３２１）に示す画素が一列に並んでいる。また、ラインバッファ１０７、ラインバッファ３０２には図１３の補正前ラインｎ＋１（３２３）に示す画素が、ラインバッファ３０１には図１３のラインｎ＋２（３２２）に示す画素が一列に並んでいる。

この状態でＤＰ計算部１０８によりＤＰ計算をし、ワーピング曲線を求めワーピング曲線バッファ１０９に格納する。この時点で、ワーピング曲線バッファ１０９には図１３の矢印３２４で示される写像関係の情報が格納される。同様に、ＤＰ計算部３０３においてもＤＰ計算をし、ワーピング曲線を求めワーピング曲線バッファ３０４に格納する。その結果、ワーピング曲線バッファ３０４には図１３の矢印３２５で示される写像関係の情報が格納される。

ライン補正部３０５は、これらワーピング曲線バッファ１０９及び３０４に格納された写像関係の情報から、画素写像関係３２４と画素写像関係３２５の中間を取った画像補正ベクトル３２６を求める。そして、画像補正ベクトル３２６により、補正前ラインｎ＋１（３２３）を補正し、補正後ラインｎ＋１（３２７）を得る。このようにすることによって斜めの線を滑らかに補正できる。

補正後ラインｎ＋１（３２７）は補正ボトムフィールドバッファ１１１に格納される。ボトムフィールドが全部処理されるとトップフィールドバッファ１０３の内容をトップフィールド出力端子１１２へ、補正ボトムフィールドバッファ１１１の内容を１１３へ同時に出力してプログレッシブ画像を得る。

このように、本実施形態によれば、２つの参照ラインに対するワーピング曲線に基づいてラインを補正することにより、斜めのエッジや線のある画像のインタレース信号であっても、計算コストの上昇及び櫛状アーティファクトの発生を抑制しつつ、斜めの線を滑らかに補正したプログレッシブ信号に変換することができる。

（第４の実施形態）
本実施形態は、トップフィールドの情報のみを用いて、ボトムフィールドの情報を生成するものである。
図１４は、本実施形態における画像処理装置の構成例を示すブロック図である。
図１４において、第１の実施形態と同等の構成には同じ参照数字を付した。
図１５は、本実施形態における画像処理装置の処理過程を示す図である。

ラインｎ（４２１）はラインバッファ１０６にあるライン番号ｎの画素列、ラインｎ＋２（４２２）はラインバッファ１０７にあるライン番号ｎ＋２の画素列を示す。また、矢印４２３はワーピング曲線バッファ１０９にあるワーピング曲線による画素の写像関係を示す。矢印４２４はラインｎ＋２（４２２）に行うべき補正を表す画像補正ベクトルを示す。補正後ラインｎ＋１（４２５）はラインｎ（４２１）及びラインｎ＋２（４２２）からライン補正部１１０内で補正（生成）されたライン番号ｎ＋１の画素列を示す。

以下、本実施形態について詳細に説明する。
トップフィールド信号入力端子１０１からトップフィールド信号が入力され１フレームの半分がトップフィールドバッファ１０３に格納される。ライン選択部１０４でトップフィールドバッファ１０３から参照信号となるラインｎを選び出しラインバッファ１０６に格納する。同様にトップフィールドバッファ１０３からラインｎ＋２を取り出しラインバッファ１０７とライン補正部１１０に格納する。

このときラインバッファ１０６には図１５のラインｎ（４２１）が、ラインバッファ１０７には図１５のラインｎ＋２（４２２）が格納されている。この状態でＤＰ計算部１０８によりＤＰ計算をし、ラインｎとラインｎ＋２のワーピング曲線を求めワーピング曲線バッファ１０９に格納する。

図１５の画素写像関係４２３はワーピング曲線で示される写像関係を示したものであり、この写像関係に基づき、ラインｎ＋２からラインｎ＋１を生成するための補正をベクトルとして表現したのが画像補正ベクトル４２４である。本実施形態では、例えば写像関係４２３の中間を取ることで、画像補正ベクトル４２４を生成している。

ライン補正部１１０は、格納されているラインｎ＋２を画像補正ベクトル４２４により変形してボトムフィールドのラインｎ＋１（４２５）を得る。補正されたラインは補正ボトムフィールドバッファ１１１に格納される。ボトムフィールドの全ラインをトップフィールドのラインから全部生成したら、トップフィールドバッファ１０３の内容をトップフィールド出力端子１１２へ、補正ボトムフィールドバッファ１１１の内容をボトムフィールド出力端子１１３へ同時に出力してプログレッシブ画像を得る。

本実施形態によれば、トップフィールドのラインからボトムフィールドのラインを生成するため、斜めの線も精度よく補完できる。また、２ライン間のＤＰに基づいて補間ラインを生成するため、ラインダブルのような解像度の低下は抑制され、また再インタリーブのような時間ずれによる櫛状アーティファクトも抑制できる。

（第５の実施形態）
本実施形態は、時刻ｔ１とｔ３のボトムフィールドから時刻ｔ２のボトムフィールド画像を補間・生成するものである。とくに垂直方向に解像度が高いプログレッシブ信号変換を行うことを目的としている。

図１６は、本実施形態における画像処理装置の構成例を示すブロック図である。
図１６において、第１の実施形態と同等の構成には同じ参照数字を付した。なお、トップフィールドバッファ１０３とトップフィールド出力端子１１２については図示していない。前フレームボトムフィールドバッファ５０１は、前フレームのボトムフィールドバッファ１０５の情報を格納する。

図１７は、本実施形態における画像処理装置の処理過程を示す図である。
ボトムフィールドｔ−２ラインｎ（５２１）はラインバッファ１０６に格納される、２つ前のボトムフィールドのライン番号ｎの画素列を示す。ボトムフィールドｔラインｎ（５２２）はラインバッファ１０７にある現在のボトムフィールドのライン番号ｎの画素列を示す。矢印５２３は、ワーピング曲線バッファ１０９に格納される、ボトムフィールドｔ−２ラインｎ（５２１）及びボトムフィールドｔラインｎ（５２２）のワーピング曲線で表される画素の写像関係を示す。矢印５２４はボトムフィールドｔ−２ラインｎ（５２１）から時刻ｔ−１におけるボトムフィールドのラインｎ（５２５）を生成するための補正をベクトルとして表現した画像補正ベクトルを示す。ボトムフィールドｔ−１ラインｎ（５２５）はライン補正部１１０内で補正されたライン番号ｎの画素列を示す。

以下、本実施形態について詳細に説明する。
ボトムフィールドバッファ１０５には前の時刻のボトムフィールドが格納されているとする。まずボトムフィールドバッファ１０５から前フレームボトムフィールドバッファ５０１にボトムフィールドの内容をコピーする。それからボトムフィールド信号入力端子１０２から新しいボトムフィールド信号が入力されボトムフィールドバッファ１０５に格納される。

ライン選択部１０４では前フレームボトムフィールドバッファ５０１から参照信号となるラインｎを選び出し、ラインバッファ１０６に格納する。同様にボトムフィールドバッファ１０５からラインｎを取り出しラインバッファ１０７とライン補正部１１０に格納する。

このときラインバッファ１０６には図１７のボトムフィールドｔ−２ラインｎ（５２１）が、ラインバッファ１０７には図１７のボトムフィールドｔラインｎ（５２２）が格納されている。この状態でＤＰ計算部１０８によりＤＰ計算をしワーピング曲線を求めワーピング曲線バッファ１０９に格納する。図１７の矢印５２３はワーピング曲線で表される写像関係を示したものであり、この写像関係に基づいてボトムフィールドｔラインｎ（５２２）からをボトムフィールドｔ−１ラインｎ（５２５）を生成するための補正をベクトルとして表現したのが画像補正ベクトル５２４である。

ライン補正部１１０ではボトムフィールドｔラインｎ（５２２）が格納されているので画像補正ベクトル５２４により変形してボトムフィールドｔ−１ラインｎ（５２５）を生成する。生成されたラインは補正ボトムフィールドバッファ１１１に格納される。ボトムフィールドが全部処理されると図示しないトップフィールドバッファ１０３の内容を図示しないトップフィールド出力端子１１２へ、補正ボトムフィールドバッファ１１１の内容ボトムフィールド出力端子１１３へ同時に出力してプログレッシブ画像を得る。

（第６の実施形態）
本実施形態は、各実施形態におけるＤＰ計算部での処理に関し、ＤＰの対象とする２つのラインの端部において画素が大きく違う場合でも、端部で異常な伸縮操作が行われないようにすることを目的とする。

図１８、図１９、図２０は、本発明の第６の実施形態における画像処理装置の処理過程を示す図である。
既に説明したように、ＤＰ対象となる２つのライン（パターン）間の距離は、ラインで囲まれる部分の面積で表すものとし、また２つのラインの終端が合致しているものとしてＤＰ計算を行ってきた。

しかし、図１８に示すような、終端の性質が異なる実線と点線の２つのラインがあったとき、２つのラインの終端が合致しているという仮定をおくと、正常なワーピング曲線が得られず、端部において異常な伸縮操作が行われることがある。その場合、図１９に示すように、端部を除いてマッチングすることが望まれる。

このような問題に対処するためには、端点を固定しないＤＰ計算を行う。具体的には、図２０に示すワーピング曲線の太線部分からの開始・終了を認めればよい。

両端点固定の場合、ＤＰ漸化式の初期化は

の式で行う。ここでＩ₀及びＪ₀は端点の開始の許容範囲を示す。ＤＰの漸化式で計算を終えると２つのライン間の総距離を求めるが、これは図２０の右上の太線部分のｇの最小値であり、最小値をとったところがワーピング曲線の終端となる。なお本実施形態は本明細書で説明される任意の実施形態のＤＰ計算部に適用できるものであり、画像処理装置全体の構成は各実施形態と同じなので省略する。

このように、本実施形態によれば、ＤＰ対象となるラインの終端が合致しない場合であっても、端部での異常な伸縮操作の原因となるようなワーピング曲線を求めないようにすることができる。

（第７の実施形態）
本実施形態は、細かな画像をＤＰしたときに得られるワーピング曲線の小さな凹凸を修正し、ライン補正部１１０でなるべく線形にラインを変形できるようにすることを目的とする。

図２１は、本実施形態における画像処理装置の処理過程を示す図である。
図２１において、実線はスムージングするまえのワーピング曲線で、点線は本実施形態によってスムージングした後のワーピング曲線である。

図２１においてワーピング曲線の各部を右への移動について’→’、右上への移動について’／’，上への移動について’↑’と表記すると、ワーピング曲線を
／→／／／／→↑／／／↑→／→↑／… （１）
のようにシンボル列で表現できる。このように得られたワーピング曲線のうち‘↑→’や‘→↑’の連鎖は、ライン補正部１１０で補正対象ラインを伸縮する際に行う画素コピーにおいて望ましいものではない。そこでこれらの連鎖を’／’に変換することでスムージングを行う。

前記シンボル列（１）をこの方法を元に例にスムージングすると
／→／／／／／／／／／／→↑／… （２）
のようになり、線形に変換できる範囲が多くなる。

なお、生成したワーピング曲線をスムージングするのではなく、ＤＰの漸化式を適用するときに記録するパスを‘↑→’や‘→↑’連鎖については’／’のパスで記録することによっても同じ効果が得られる。

なお、本実施形態は他の実施形態におけるＤＰ計算部１０８、ワーピング曲線バッファ１０９、ＤＰ計算部３０３，ワーピング曲線バッファ３０４内のいずれかにおいて行うことが可能であり、画像処理装置全体の構成は各実施形態と同じでよいため説明を省略する。
本実施形態によれば、ワーピング曲線をスムージングすることで、局部的な変形が抑制され、画像の形状が維持されやすくなるという効果がある。

（第８の実施形態）
本実施形態は、ＤＰ計算部において、画像の動きを考慮したＤＰ計算を行うことを特徴とするものである。
図２２は、本発明の第８の実施の形態における画像処理装置の構成例を示すブロック図である。
図２２において、第１の実施形態と同等の構成には同じ参照数字を付した。

動き検出部８０１は、トップフィールドバッファ１０３とボトムフィールドバッファ１０５に格納されたフィールド画像の動きを検出する。補間部８０２はトップフィールドバッファ１０３からボトムフィールドラインをローパスフィルター等で補間して生成する。選択・合成部８０３は動き検出部８０１の結果から補間部８０２とライン補正部１１０の出力を選択したり合成したりする。

以下、本実施形態について詳細に説明する。
動き検出部８０１は、トップフィールドバッファ１０３とボトムフィールドバッファ１０５のラインｎ付近の動きベクトルを周知の方法により検出し、動きベクトルがほぼ水平の領域を抽出する。抽出した領域情報はＤＰ計算部１０８に伝えられ、各ラインにおける与えられた領域間でＤＰ計算を行う。

また、動きベクトルの大きさの情報もＤＰ計算部１０８に伝え、ＤＰ計算部１０８がその情報を元にＤＰ計算時の整合窓の幅を調整する。整合窓の幅は動きの少ないラインでは狭くてよく、動きが大きければ広くする必要がある。

図２３は、本実施形態における画像処理装置の処理過程を示す図である。ＤＰの漸化式を計算している間、下式におけるｇ_minやｄ_minを求める。

これらの値を監視し動き検出部８０１に出力する。これらの値が大きくなったということは動きが大きくなったということを意味するので、動き検出部８０１での情報に加味する。これらの値が予め定めた閾値を越えたときには画像が大きく変わったものとみなし、ＤＰ計算を打ち切り、その位置ｉを境界として記憶する。そして、その後の画素については補間方法を変える。

ＤＰ計算を打ち切った位置以降の画素については、補間部８０２により、例えばローパスフィルター等を用いてトップフィールドの情報のみから補間する。選択・合成部８０３は動き検出部８０１で得られた動きベクトル、ｇ_minやｄ_minの情報情報をもとに、ワーピング曲線に基づき保管された画素であるライン補正部１１０の内容と、ＤＰ計算以外の方法から保管された補間部８０２の内容とを切り替えたり、混合したりして補間ラインを生成する。混合の方法は任意であるが、例えば補間部８０２の補間画像と、ライン補正部１１０のＤＰによる補間画像を距離尺度の大きさに応じて重みづけして合成する方法を用いることができる。この場合、距離尺度が大きければ補間部８０２の補間画素の重みが増すことになる。

図２３は境界の左側をＤＰによる補間法で右側がトップフィールドのローパスフィルター等トップフィールドの情報のみで補間する方法を適用する例である。

本実施形態によれば、ライン間の動きを考慮して関連の大きな領域を検出し、検出された領域内でＤＰ計算を行うため、精度の良い補間が可能となる。また、動きの大きさによって整合窓の幅を変更することで、適切なＤＰ計算を行うことが可能になる。また、動きの大きい（距離の大きい）部分については画像が垂直に移動している可能性が強くＤＰによる画像補完をするのは適当でないので、他の方法によって補完することで、画質劣化を抑えることができる。また、ＤＰ以外の方法で保管された画素と、ＤＰによる補間画素を距離尺度の大きさに応じて重みづけして合成すれば、更に精度の良い補間画素を得ることができる。

（第９の実施形態）
本発明において、２つのラインについてＤＰ計算を行う場合、画素の伸縮関係はうまく吸収されるが、違う性質の画素がある場合には問題になる。本実施形態では、画素列をカテゴライズ化したシンボル列に変換し、２つのシンボル列が一致したとき画素の伸縮関係のみで写像が可能である（ＤＰが特に有効である）とみなし、ＤＰを適用するものである。

図２４は、図８に示すＤＰ計算部１０８に本実施形態を適用した場合の構成例を示す図である。他の構成については他の実施形態と同様で良いため、説明を省略する。

図２４において、シンボル生成部９０１はラインバッファ１０６の出力を幾つかのカテゴリにわけ、そのカテゴリが持つシンボルを出力する。シンボル生成部９０２はラインバッファ１０７の出力を幾つかのカテゴリにわけ、そのカテゴリが持つシンボルを出力する。シンボル比較部９０３はシンボル生成部９０１とシンボル生成部９０２の出力シンボルが一致しているかどうか比較する。

以下、本実施形態について詳細に説明する。
シンボル生成部９０１はラインバッファ１０６からの画素列を画素ごとにカテゴライズしてそのカテゴリが持つシンボルを生成する。シンボル生成部９０２はラインバッファ１０７からの画素列を画素ごとにカテゴライズしてそのカテゴリが持つシンボルを生成する。カテゴライズの方法としてはベクトル量子化やより簡単には画素を構成する値の上位ビットを使うことが出来る。シンボル生成部９０１とシンボル生成部９０２で生成されたシンボルはシンボル比較部９０３に送られてシンボルの比較がされる。

ＤＰは伸縮を許すので、シンボル比較部９０３では連続する同じシンボルを検出したとき、２つ目以降のシンボルは削除する。このようにしてラインの全画素についてカテゴライズが終わると、各ラインに対応する２つのシンボル列を比較し、シンボル列が一致したときＤＰを適用する。

シンボル列が一致するということは、２つのラインの関係は伸縮関係のみで表すことができるものと考えられるため、ＤＰ計算によって高精度の補間画像を得ることが出来る。シンボル比較部９０３の結果は動き検出部８０１に送られ、ＤＰによる補間結果を使うかどうか（又は混合時の重み付け）の判断材料とすることができる。

このように、本実施形態によれば、ＤＰ対象のラインに含まれる画素をカテゴライズしたシンボル列に変換し、シンボル列が一致する場合にＤＰ計算を行うことで、精度の良い補間画像を得ることができる。

（その他の実施形態）
上述の各実施形態において、ＤＰ計算の対象となる２つのラインについて、エッジ強調、色強調など画像の境界部を強調する前処理を行っても良い。エッジ強調をすればエッジ境界が揃いやすくなる。またＤＰの計算の過程でｄ（ｉ，ｊ）を輝度の差の絶対値や２乗として設定することが普通であるが、この距離計算にエッジ強調、色強調の項を設けても良い。

本発明の各実施形態ではボトムフィールドをなんらかの方法で補正し、トップフィールドに合わせるように説明したが、トップフィールドを補正し、ボトムフィールドに合わせるようにしても良い。

（ソフトウエアでの実施形態）
なお、本発明の目的は、第１〜第９の実施の形態の画像処理装置の各部または全部の機能を実現するソフトウェアのプログラムコードを記憶した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ等）が記録媒体に格納されたプログラムコードを読みだして実行することによっても達成される。

この場合、記録媒体から読み出されたプログラムコード自体が第１〜第９の実施形態の機能を実現することとなり、そのプログラムコードを記録した記録媒体及び前記プログラムコードは本発明を構成することとなる。

プログラムコードを供給するための記録媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。

また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第９の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第９の実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第９の実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の原理を説明する図である。 、 、 従来のインタレース−プログレッシブ変換方法の例を説明する図である。 、 、 動的計画法について説明する図である 本発明の第１の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第１の実施形態における画像処理装置の処理過程を示す図である。 本発明の第２の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第２の実施形態における画像処理装置の処理過程を示す図である。 本発明の第３の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第３の実施形態における画像処理装置の処理過程を示す図である。 本発明の第４の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第４の実施形態における画像処理装置の処理過程を示す図である。 本発明の第５の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第５の実施形態における画像処理装置の処理過程を示す図である。 、 、 本発明の第６の実施形態における画像処理装置の処理過程を示す図である。 本発明の第７の実施形態における画像処理装置の処理過程を示す図である。 本発明の第８の実施形態における画像処理装置の構成例を示すブロック図である。 本発明の第８の実施形態における画像処理装置の処理過程を示す図である。 本発明の第９の実施形態における画像処理装置におけるＤＰ計算部の構成例を示すブロック図である。

Claims (17)

1. インタレース信号をプログレッシブ信号に変換可能な画像処理装置であって、
   前記インタレース信号を構成するトップフィールド及びボトムフィールドから、２つのラインを選択する選択手段と、
   前記選択された２つのラインに含まれる画素の写像関係を動的計画法により求める算出手段と、
   前記写像関係に基づいて前記２つのラインの一方を補正し、補正ラインを得る補正手段と、
   前記トップフィールドに含まれるライン、前記ボトムフィールドに含まれるラインの一方と、及び前記補正ラインとからプログレッシブ信号を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記選択手段が、前記インタレース信号の同一フレーム画像を構成するトップフィールド及びボトムフィールドのうち、一方のフィールドから１ライン選択し、他方のフィールドにおいて前記一方のフィールドから選択されたラインと前記フレーム画像において隣接する１ラインを選択することを特徴とする請求項１記載の画像処理装置。
3. ２ラインを平均化した平均ラインを生成する平均化手段をさらに有し、
   前記選択手段が、前記インタレース信号の同一フレーム画像を構成するトップフィールド及びボトムフィールドのうち、一方のフィールドから連続する２ラインを、他方のフィールドから１ラインを選択し、
   前記算出手段が、前記一方のフィールドから選択された２ラインから前記平均化手段が生成した平均化ラインと、前記他方のフィールドから選択された１ラインについて、前記写像関係を求め、
   前記補正手段が、前記他方のフィールドから選択された１ラインを前記写像関係に基づいて補正することを特徴とする請求項１記載の画像処理装置。
4. 前記選択手段が、前記インタレース信号の同一フレームを構成するトップフィールド及びボトムフィールドの、前記フレームを構成した際に垂直方向に隣接する３ラインを選択し、
   前記算出手段が、前記３ラインのうち同一フィールドに含まれる２ラインの各々と、異なるフィールドに含まれる１ラインとの間の写像関係をそれぞれ求め、
   前記補正手段が、前記２つの写像関係に基づいて前記異なるフィールドに含まれる１ラインを補正することを特徴とする請求項１記載の画像処理装置。
5. 前記選択手段が、前記インタレース信号を構成するトップフィールド及びボトムフィールドの一方から、隣接する２ラインを選択し、
   前記補正手段が、前記２ラインの写像関係に基づいて前記２ラインの一方を補正することにより、プログレッシブ信号において前記２ラインの間に位置するべきラインを生成することを特徴とする請求項１記載の画像処理装置。
6. 前記選択手段が、前記インタレース信号を構成するトップフィールド及びボトムフィールドのうち一方から、時間のずれた同一ラインを２ライン選択し、
   前記補正手段が、前記写像関係に基づいて、前記時間のずれた同一ラインの一方から、前記トップフィールド及びボトムフィールドの他方のフィールドのラインを生成することを特徴する請求項１記載の画像処理装置。
7. 前記算出手段が、処理対象の２ラインの終端が合致しない場合には、端点を固定しない動的計画法により前記写像関係を求めることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記算出手段が、前記写像関係をワーピング曲線として求めると共に、前記ワーピング曲線をスムージングすることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 前記インタレース信号を構成するトップフィールド及びボトムフィールド間の動きを検出する動き検出手段をさらに有し、
   前記算出手段が、処理対象の２ラインのうち、前記動き検出手段によって水平方向に移動したことが検出される部分について前記動的計画法による写像関係を算出することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像処理装置。
10. 前記算出手段が、前記動き検出手段の検出した動きの大きさに応じて前記動的計画法に用いる整合窓幅を変更することを特徴とする請求項９記載の画像処理装置。
11. 前記算出手段が、処理対象の２ラインの各々について、画素をカテゴライズしたシンボル列に変換するシンボル列生成手段と、
    前記シンボル列を比較する比較手段とを有し、
    前記比較結果が一致した場合に前記写像関係を算出することを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. 前記算出手段が、前記写像関係の算出過程において、処理対象の２ラインにおける画素間距離ｄ（ｉ，ｊ）又は最小２点間累積距離をｇ（ｉ，ｊ）を監視し、いずれかの値が閾値を超えた時点で写像関係の算出を打ち切ることを特徴とする請求項１乃至請求項１１のいずれか１項に記載の画像処理装置。
13. さらに、所定の方法により画素値の補間を行う補間手段を有し、
    前記補正手段が、前記写像関係の算出が打ち切られた部分については、前記補間手段を用いて前記補正を行うことを特徴とする請求項１２記載の画像処理装置。
14. 前記補正手段が、前記写像関係が算出されている部分について、前記写像関係に基づいて求まる画素値と、前記補間手段により求まる画素値とを前記画素間距離又は前記最小２点間累積距離の大きさに応じて混合することにより補正することを特徴とする請求項１３記載の画像処理装置。
15. さらに、前記算出手段が処理対象とする２つのラインについて、画像の境界部を強調する前処理を行う強調手段を有することを特徴とする請求項１乃至請求項１４のいずれか１項に記載の画像処理装置。
16. インタレース信号をプログレッシブ信号に変換可能な画像処理方法であって、
    前記インタレース信号を構成するトップフィールド及びボトムフィールドから、２つのラインを選択する選択工程と、
    前記選択された２つのラインに含まれる画素の写像関係を動的計画法により求める算出工程と、
    前記写像関係に基づいて前記２つのラインの一方を補正し、補正ラインを得る補正工程と、
    前記トップフィールドに含まれるライン、前記ボトムフィールドに含まれるラインの一方と、及び前記補正ラインとからプログレッシブ信号を生成する生成工程とを有することを特徴とする画像処理方法。
17. 請求項１６記載の画像処理方法をコンピュータに実行させるプログラム。

Images