JP2007525132A - 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 - Google Patents
画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 Download PDFInfo
- Publication number
- JP2007525132A JP2007525132A JP2006553755A JP2006553755A JP2007525132A JP 2007525132 A JP2007525132 A JP 2007525132A JP 2006553755 A JP2006553755 A JP 2006553755A JP 2006553755 A JP2006553755 A JP 2006553755A JP 2007525132 A JP2007525132 A JP 2007525132A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- area
- interpolated
- extrapolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 32
- 238000013213 extrapolation Methods 0.000 title description 13
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000002156 mixing Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 238000001454 recorded image Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 8
- 125000001475 halogen functional group Chemical group 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Abstract
本発明は、画像信号の走査レート変換のための方法、装置、コンピュータプログラムおよびコンピュータプログラムプロダクトであって、少なくとも前記画像信号の第一の画像の第一の画像領域と前記画像信号の第二の画像の第二の画像領域との間で補間を行って少なくとも一つの補間された画像領域を得、前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域を外挿して少なくとも一つの外挿された画像領域を得、前記少なくとも一つの補間された画像領域と前記少なくとも一つの外挿された画像領域とを混合して混合画像領域を得ることを含むものに関する。前記の混合ステップは有利には、補間および/または外挿されるべき画像領域が隠蔽領域であるかどうか、および少なくとも一つの決定された動きベクトルの精度に依存する。
Description
本発明は、画像信号の走査レート変換のための方法、装置、コンピュータプログラムおよびコンピュータプログラムプロダクトに関する。
画像信号の走査レート変換は映像用途の幅広い領域において必要とされる。たとえば、走査レート変換は第一のビデオ規格に従う画像信号の画像周波数を第二のビデオ規格によって要求される画像周波数に適応させるために必要である。この処理は通例画像の補間を含む。しかし、画像の補間は補間された画像に目障りなアーチファクト(画像乱れ)を引き起こすことがある。
ハロー・アーチファクト(halo artefact)は、現代のハイエンドテレビに配備されている動き補償のある走査レート変換システムにおいて残る、最も目障りなアーチファクトの一つである。これらの動き補償のある走査レート変換システムにおいては、新しい画像は二つのオリジナル画像の間で、両方の画像から選択されたピクセルを推定された動きベクトルに沿ってシフトさせ、何らかの線形(たとえば平均)もしくは非線形(たとえばメジアンフィルタ処理)演算またはその両方を実行することによって補間される。ここで、動きベクトルというのは、画像信号の二つの相続く画像の間でのピクセルまたはピクセルブロックの変位を記述するものである。ハロー・アーチファクトは主として、いわゆる隠蔽(オクルージョン)領域において補間が実行されるときに生じるものである。ここで、隠蔽領域とはすなわち、二つの画像において、補間に使われるが、動きベクトル推定手続きの際の画像領域またはブロックの一致が不可能なほど異なっている画像領域のことである。
現状技術の走査レート変換システムは、ハロー・アーチファクトを緩和するために隠蔽領域においては異なる処理を適用する。たとえば、隠蔽領域が検出されたときには、双方向補間に代わって単方向画像処理(たとえば補間されるべき二つの画像の一方から単にピクセルを取ってくるなど)にするなどである。たとえば、国際出願WO00/11863は、隠蔽領域の指標として画像信号の画像におけるエッジの存在を検出し、検出された隠蔽領域に応じて双方向または単方向の処理を実行することを提案している。
図1は、たとえばWO00/11863において採用されるような現状技術の走査レート変換システムを概略的に描いている。このシステムは、決定された動きベクトルの保存のためのキャッシュ1と、現在の画像のピクセルの保存のためのキャッシュ2と、直前の画像のピクセルの保存のためのキャッシュ3とを有している。これらのキャッシュは、走査レート変換器4の動作と同期して、連続的に新しい動きベクトルおよびピクセルを用いて更新される。動きベクトルは、たとえば、直前の画像においてあるブロック(たとえば16×16のピクセルからなるマクロブロック)を定義し、現在の画像中で似たブロックを探すブロック一致アルゴリズムによって粗く決定されうる。この場合は二次元の変位ベクトルが動きベクトルを表す。もちろん、ビデオ信号のいくつかの画像が関与する、あるいはブロック内のオブジェクトについてのより簡潔な推定技術も同じように使用できる。決定された動きベクトルと、ブロック一致プロセスで形成されたブロックに対応する直前および現在の画像からのピクセルとが、連続的に走査レート変換器4に入力され、該走査レート変換器4は現在および直前のピクセルを補間して補間ピクセルを得、直前または現在の画像のいずれかからのピクセルを外挿して外挿ピクセルを得る。補間プロセスはたとえば、直前および現在の画像からのピクセルを決定された動きベクトルに沿ってシフトさせ、何らかの線形(たとえば平均)および/または非線形(たとえばカスケード式メジアンフィルタ処理)演算を実行することによって達成されうる。いずれにせよ、補間は双方向画像処理技術と考えることができる。結果として得られる補間ピクセルが直前および直後の両方の画像からの情報を含んでいるからである。対照的に、外挿プロセスは前記直前および現在の画像のうちの一方からの情報のみに依拠する。たとえば、決定された動きベクトルに沿って直前の画像のピクセルをシフトさせることによって、直前の画像のピクセルに対して動き補償のみを実行することができる。このように、外挿は単方向の画像処理技術を表している。
補間ピクセルおよび外挿ピクセルは次いでスイッチ5に入力され、このスイッチ5が補間ピクセルまたは外挿ピクセルのいずれかを走査レート変換システムの最終的な出力ピクセルとして選択する。補間ピクセルまたは外挿ピクセルのいずれを選択するかについての判断はビデオ信号の画像における隠蔽領域の検出に基づいており、その検出は、決定された動きベクトルに基づく隠蔽検出インスタンス6によって実行される。該隠蔽検出インスタンス6によって、実際に処理されるピクセルが属している画像領域が隠蔽領域であると判定された場合、走査レート変換された画像におけるハロー・アーチファクトの量を低減するため、補間ピクセルではなく外挿ピクセルがスイッチ5によって選択される。実際に処理されるピクセルが属している画像領域が隠蔽領域ではないと判断された場合には、スイッチは走査レート変換システムの最終的な出力信号として補間ピクセルを選択する。非隠蔽領域を補間したときにはハロー・アーチファクトが起こることはあまりないからである。
図1の現状技術の走査レート変換システムにおいて適用される外挿技術のような単方向画像処理は、決定された動きベクトル場の品質に極端に依存している。たとえば画像の背景動きベクトルなど、外挿される画像領域についての正しい動きベクトルが決定される場合でも、走査レート変換された画像信号には新たな種類の目障りなアーチファクトが生じる。特に画像信号における複雑な動きの場合がそうである。実験によれば、隠蔽領域への空間的ぼかしフィルタの適用さえ、こうした新たな種類のアーチファクトを取り除きはしない。
上述した問題に鑑み、中でも、画像信号の改良された走査レート変換のための方法、装置、コンピュータプログラムおよびコンピュータプログラムプロダクトを提供することが本発明の目的である。
提案されるところでは、画像信号の走査レート変換のための方法は、少なくとも前記画像信号の第一の画像の第一の画像領域と前記画像信号の第二の画像の第二の画像領域との間を補間して少なくとも一つの補間された画像領域を得、前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域を外挿して少なくとも一つの外挿された画像領域を得、前記少なくとも一つの補間された画像領域と前記少なくとも一つの外挿された画像領域とを混合して混合画像領域を得ることを含む。
前記走査レート変換方法はたとえば、ピクセルベースまたはサブピクセルベースでの動き補償のある走査レート変換方法であってもよく、テレビ、セットトップボックス、デジタルおよびアナログ受信機、放送局、コンピュータまたはハンドヘルドデバイスといったさまざまな種類のマルチメディアデバイスにおいて当該画像信号の画像周波数を変えるために適用されうる。特に、高精細度テレビ(HDTV)システムのためのビデオ信号の上方変換が前記走査レート変換方法を用いて達成されうる。したがって、前記画像信号は多様な画像またはビデオ規格に従うことができ、たとえば全国テレビ方式委員会(NTSC)、位相交替線(PAL)または記憶付き逐次カラー(SECAM)規格に基づくテレビ信号を表すことができる。
前記画像信号は一般に画像のシーケンスから構成されており、各画像は画素(ピクセル)の行および列からなる。該ピクセルのグループが各画像内の画像領域、たとえばピクセルのブロックをなす。補間を実行することで所望の走査レート変換された画像信号の画像領域を決定できる。ここで、前記画像は時間的に、変換される入力画像信号の二つの所与の画像の中間に位置するものである。一般に、補間のためには前記第一および第二の画像内のそれぞれ一つの画像領域だけが考慮され、補間画像領域を与える。代替的に、補間のために、完全な第一および第二の画像が考慮されてもよい。また、補間プロセスにおいて3つ以上の画像のピクセル情報を組み込むことも有益でありうる。
補間プロセスはたとえば前記第一および第二の画像のそれぞれ第一および第二の画像領域からのピクセルを対応する動きベクトルに沿ってシフトさせ、何らかの線形(たとえば平均)および/もしくは非線形(たとえばメジアンフィルタ処理もしくはカスケード式メジアンフィルタ処理)演算を実行することによって実行されうる。ここで、前記動きベクトルはたとえば、第一の画像においてある画像領域を定義し、第二の画像中で似た画像領域を探すブロック一致アルゴリズムによって決定されうる。ここで、二次元の変位ベクトルが動きベクトルを表す。同様に、画像信号のいくつかの画像が関与するより簡潔な推定技術も同じように適用されうる。補間される画像領域を見ればわかるように、前記補間は双方向画像処理技術と思ってよい。
対照的に、前記画像信号の前記少なくとも一つの画像の前記少なくとも一つの画像領域の前記外挿は、一つの画像のみの画像領域から出発し、前記画像信号の二つの画像からのピクセル情報を合わせることなく前記外挿画像領域を決定する。たとえば、動き補償のない方法では、外挿ピクセルは単に前記画像信号の前記少なくとも一つの画像の処理されていないピクセルでありうる。動き補償のある方法では、前記外挿ピクセルは前記少なくとも一つの画像のピクセルを対応する動きベクトルに沿ってシフトさせることによって得ることができる。外挿される画像領域を見ればわかるように、外挿はこのように単方向画像処理技術と思ってよい。前記少なくとも一つの画像信号は前記第一または前記第二いずれかと同一であってもよいし、あるいはさらなる画像を表していてもよい。同様に、前記少なくとも一つの画像領域は前記第一または第二の画像領域と同一であってもよいし、あるいはさらなる画像領域を表していてもよい。
前記少なくとも一つの補間画像領域および前記少なくとも一つの外挿画像領域を混合する前記ステップは、たとえば前記少なくとも一つの補間画像領域および前記少なくとも一つの外挿画像領域の重み付き加算によって表されてもよい。よって、前記補間画像領域のピクセルの輝度および/または色度値は、加算の前にある第二の因子を乗じられてもよい。
この重み付き加算は、混合画像領域としての補間画像領域と混合画像領域としての外挿画像領域との間でシームレスに移行することを許容し、最終的に走査レート変換器によって出力される混合画像領域におけるアーチファクトを軽減するのに大いに貢献する。たとえば外挿が隠蔽領域として同定された画像領域について実行された場合で、かつ外挿のベースとした決定された動きベクトルが不正確である場合、現状最新の走査レート変換システムでは、混合画像領域として補間画像領域と外挿画像領域との間の単純な切り換え処理に起因する新たな種類のアーチファクトの発生が不可避である。しかし、本発明の方法によれば、最終的に出力される混合画像領域を選択するときに補間画像領域と外挿画像領域との間の切り換えをすることが可能であるばかりでなく、補間画像領域と外挿画像領域両方の寄与を含む画像領域を出力することが可能となる。よって今の例では、混合画像領域における外挿画像領域の寄与を減らして補間画像領域の寄与を増やすことが可能である。これは、変換アーチファクトの全体的な緩和につながり、変換された画像信号の知覚品質の改善につながる。
混合ステップにおける重み因子の選択は、たとえば決定された動きベクトルの精度を評価する基準、あるいはあらかじめ定義されたか動的に調節されるかする閾値に基づくことができる。
本発明の方法によれば、当該方法がさらに、前記画像信号の前記画像における隠蔽領域を同定することを含むことが有益でありうる。前記隠蔽領域はたとえば動きベクトル推定およびエッジ検出によって同定されうる。画像の残りの領域は非隠蔽領域として同定されうる。
本発明の方法によれば、前記混合ステップが少なくとも部分的には、補間および/または外挿される前記画像領域が隠蔽領域であるかどうかの判断に依存して実行されることが有益でありうる。ハロー効果は、隠蔽領域である画像領域について補間が実行されるときにのみ発生する。よって、補間および/または外挿される画像領域の特性についての知識を混合ステップに組み込むことが有益である。画像領域が非隠蔽領域であるとき、混合は、混合画像領域が完全に補間画像領域から構成され、外挿画像領域の影響をいっさい受けないように実行されることができる。対照的に、画像領域が隠蔽領域である場合、隠蔽領域における補間はハロー・アーチファクトを引き起こすので、混合画像領域における補間画像領域の寄与を減らして外挿画像領域の寄与を増やすことが有益でありうる。
本発明の方法によれば、当該方法がさらに、前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域について、少なくとも一つの動きベクトルおよび少なくとも一つの対応する一致誤差を決定することを含むことが有益でありうる。前記動きベクトルは、たとえば第一の画像中の画像領域またはブロックから出発して、それから第二の画像中で似た画像領域またはブロックを探しうるブロック一致アルゴリズムによって画像から画像へのオブジェクトの動きを記述する。ここで、前記二つの画像内の前記画像領域またはブロックの間の二次元の変位ベクトルが動きベクトルを表しうる。決定された各動きベクトルは、それが記述する画像領域またはブロックの変位に対応しているが、各動きベクトルについて一致誤差が計算される。一致誤差は、前記動きベクトルによって投影されたときの前記第一の画像の前記画像領域またはブロックと前記第二の画像の画像領域またはブロックとの間の差を定量化するものである。
本発明の方法によれば、前記混合ステップが前記少なくとも一つの決定された一致誤差に依存して実行されることが有益でありうる。よって、前記混合ステップは、補間および/または外挿される画像領域が隠蔽領域であるかどうかの判断および前記決定された一致誤差に依存することが可能である。前記一致誤差は、たとえば決定された動きベクトルの精度の指標としてのはたらきをする。そして前記混合ステップで加算の前に前記補間画像領域と前記外挿画像領域とに乗じられうる重み因子は、この一致誤差に依存しうる。混合ステップ後に当該走査レート変換方法によって最終的に出力される混合画像領域における前記補間画像領域および外挿画像領域の寄与は、よって、動きベクトルの品質に適応されることができる。動きベクトルに誤りがある場合には補間画像領域の寄与が増やされ、動きベクトルが精確である場合には外挿画像領域の寄与が増やされる。これは、補間および/または外挿されるべき画像領域が隠蔽領域であると判断された場合に特に重要である。その場合、混合画像領域における補間画像領域および外挿画像領域の寄与は、前記一致誤差に従って調整されうる。一方、現在処理されているのが非隠蔽領域であると判断された場合には、混合画像領域は、混合ステップにおいて一致誤差を考慮する必要なしに直接、補間画像領域に等しく設定されうる。
動き補償のある走査レート変換システムでは、一致誤差の計算は動きベクトル推定器の統合的な一部であり、前記一致誤差に基づいて混合処理を駆動するときに追加的な計算量は発生しない。
本発明の方法によれば、前記少なくとも一つの一致誤差は差分絶対値和(SAD: Sum of Absolute Differences)基準に従って決定される。次いで、対応する動きベクトルによって投影された第一の画像の画像領域またはブロック内の全ピクセルと第二の画像の対応する画像領域またはブロック内のピクセルとの間の輝度および/または色度値の差の絶対値が合計される。代替的には、平均平方誤差(MSE: Mean Square Error)基準が一致誤差のために適用されうる。
本発明の方法によれば、前記少なくとも一つの一致誤差が、前記少なくとも一つの画像領域について、ピクセル、行、ブロックまたはフィールドに基づいて所定のパターンにおいて決定されることが有益でありうる。行、ブロックまたはフィールドに基づいて一致誤差を計算することは、ある画像領域またはブロックの全ピクセルを考慮しなければならない場合に比較して計算量を減らす助けになりうる。
本発明の方法によれば、前記混合ステップが実行される際に依存する前記少なくとも一つの一致誤差は、非隠蔽領域である画像領域に対応するものであることが有益でありうる。隠蔽領域から導かれる一致誤差は不正確でありうるので、非隠蔽領域である他の、可能性としては隣接する画像領域からの一致誤差を使うことが有益でありうるのである。
本発明の方法によれば、前記非隠蔽画像領域は、その対応する動きベクトルとある所望の動きベクトルとの間の差に依存して選択されることが有益でありうる。前記所望の動きベクトルはたとえば、パン・ズーム・モデルを使って決定されうる背景動きベクトルでありうる。その場合、隠蔽領域でなく、かつ動きベクトルが前記背景動きベクトルに近い画像領域が選択される。次いでその画像領域に対応する一致誤差が混合ステップのために使用される。
本発明の方法によれば、前記非隠蔽領域は、補間および/または外挿される少なくとも一つの隠蔽領域の近傍に位置することが有益でありうる。たとえば、前記画像領域が隠蔽領域であると同定された場合、補間および/または外挿される画像領域の左および右にある画像領域を試験することが有益でありうる。これら左右の画像領域が非隠蔽領域である場合には、それらの対応する動きベクトルが決定され、所望の動きベクトル、たとえば背景動きベクトルと比較されることができる。次いで背景動きベクトルに最も近い動きベクトルに対応する一致誤差が、補間画像領域と外挿画像領域の混合のために使用される。
さらに、プロセッサに上記の方法ステップを実行させるよう動作しうる命令をもつコンピュータプログラムが提案される。該プロセッサはたとえば前記画像信号を表現および/または変換するマルチメディア装置の中央処理装置でありうる。
さらに、プロセッサに上記の方法ステップを実行させるよう動作しうる命令をもつコンピュータプログラムを有するコンピュータプログラムプロダクトが提案される。
さらに、画像信号の走査レート変換のための装置が提案される。該装置は、少なくとも前記画像信号の第一の画像の第一の画像領域と前記画像信号の第二の画像の第二の画像領域との間を補間して少なくとも一つの補間画像領域を得る手段と、前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域を外挿して少なくとも一つの外挿画像領域を得る手段と、前記少なくとも一つの補間画像領域と前記少なくとも一つの外挿画像領域とを混合して混合画像領域を得る手段とを有する
本発明の装置によれば、当該装置がさらに、前記画像領域の前記画像における隠蔽領域を同定する手段を有することが有益でありうる。
本発明の装置によれば、当該装置がさらに、前記画像領域の前記画像における隠蔽領域を同定する手段を有することが有益でありうる。
本発明の装置によれば、当該装置がさらに、前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域について、少なくとも一つの動きベクトルと少なくとも一つの対応する一致誤差とを決定する手段を有することが有益でありうる。
これらのことを含む本発明のさまざまな側面は以下に述べる実施形態から明らかとなり、これを参照することで明快にされるであろう。
図2は、本発明に基づく走査レート変換システムを概略的に描いている。図2のシステムの基本的構成は図1の従来技術のものと同じである。しかし、図2のシステムでは、スイッチ5が混合器インスタンス7によって置き換えられ、キャッシュ1が動きベクトルおよび対応する一致誤差の両方を含むように修正されている。これらの一致誤差は前記混合器インスタンス7に入力される。
従来技術の走査レート変換システムと本発明に基づく走査レート変換システムとの間の決定的な相違は、混合器インスタンス7およびその入力において明白になる。走査レート変換器4によって出力された補間ピクセルおよび外挿ピクセルならびに動きベクトルから導出されうる隠蔽検出インスタンス6からの隠蔽領域についての情報に加えて、混合器インスタンス7は決定された動きベクトルの精度を示す一致誤差情報を受け取る。
混合器インスタンス7の動作は図3のフローチャートにおいて概略的に描かれている。ステップ10において、隠蔽検出インスタンス6からの情報に基づいて、混合器インスタンス7は、走査レート変換されるべきピクセルを含む画像領域が隠蔽領域であるかどうかを検査する。もしそうでない場合には、ハロー・アーチファクトを起こさない補間が可能であり、出力ピクセルはステップ11において単に補間ピクセルに設定される。ステップ10で画像領域が隠蔽領域であると同定された場合には、混合器インスタンス7はステップ12において、前記キャッシュ1によって前記混合器インスタンス7に利用可能とされている一致誤差がある閾値未満であるかどうかを検査する。現在の画像領域が対応する一致誤差を著しく不正確たらしめる隠蔽領域であるという事実のため、ステップ12で検査される一致誤差は現在の画像領域から取られるのではなく、非隠蔽領域であると同定されており、かつ対応する動きベクトルが決定されている背景ベクトルに近いある隣接する画像領域から取られることを注意しておく。ステップ12での判断が肯定的であれば、一致誤差は低いと考えられ、したがって決定された動きベクトルは精確であると想定され、出力ピクセルはステップ13において新たな種類のアーチファクトを引き起こすことなく外挿ピクセルに設定されることができる。代替的に、ステップ12における判断が否定的であった場合には、補間(interpolated)ピクセルおよび外挿(extrapolated)ピクセルの重み付き和が当該走査レート変換システムによって出力される。この目的のため、ステップ14において、第一の重み因子weおよびwiがステップ12で使用された一致誤差から導出され、最後にステップ15で、出力ピクセルは補間ピクセルおよび外挿ピクセルの重み付き和に設定される。
上記では本発明は実施例によって記載されてきた。当業者には明らかな代替的な方法および変形があり、付属の請求項の範囲および精神から外れることなく実施されうることを注意しておくべきであろう。特に、隠蔽の検出のため、および補間、外挿のためには種々の技術が適用されうる。混合ステップにおいては、完全に外挿ピクセルから構成される出力ピクセルと完全に補間ピクセルから構成される出力ピクセルの間の移行を制御する代替的な基準が使用されうる。これはたとえば平均平方誤差(MSE)一致誤差基準を含みうるが、ピクセルの行またはピクセルのある種の格子または構造に基づいて計算される、特に計算を節約するためのあらゆる種類の一致誤差基準でありうる。画像のうち画像領域についてだけ補間および外挿を実行する代わりに、画像全体について実行することが有益であることもありうる。隠蔽領域の検出のみならず双方向補間のパフォーマンス劣化につながるその他の画像特性の検出も単方向外挿が有利でありうることを示すために本発明において使用されうることも容易にわかることである。
Claims (15)
- 画像信号の走査レート変換のための方法であって:
・少なくとも前記画像信号の第一の画像の第一の画像領域と前記画像信号の第二の画像の第二の画像領域との間を補間して少なくとも一つの補間された画像領域を得、
・前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域を外挿して少なくとも一つの外挿された画像領域を得、
・前記少なくとも一つの補間された画像領域と前記少なくとも一つの外挿された画像領域とを混合して混合画像領域を得る、
ことを含むことを特徴とする方法。 - 前記画像信号の前記画像における隠蔽領域を同定する、
ことをさらに含むことを特徴とする、請求項1記載の方法。 - 前記混合ステップが少なくとも部分的に、補間および/または外挿される前記画像領域が隠蔽領域であるかどうかの判断に依存して実行されることを特徴とする、請求項2記載の方法。
- ・前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域について少なくとも一つの動きベクトルおよび少なくとも一つの対応する一致誤差を決定する、
ことを含むことを特徴とする請求項1ないし3のうちいずれか一項記載の方法。 - 前記混合ステップが少なくとも部分的には前記少なくとも一つの決定された一致誤差に依存して実行されることを特徴とする請求項4記載の方法。
- 前記少なくとも一つの一致誤差が差分絶対値和(SAD)基準に従って決定されることを特徴とする、請求項4または5記載の方法。
- 前記少なくとも一つの一致誤差が、前記少なくとも一つの画像領域について、ピクセル、行、ブロックまたはフィールドに基づいて所定のパターンにおいて決定されることを特徴とする、請求項4ないし6のうちいずれか一項記載の方法。
- 前記混合ステップが実行される際に依存する前記少なくとも一つの一致誤差が非隠蔽領域である画像領域に対応するものであることを特徴とする、請求項5ないし7のうちいずれか一項記載の方法。
- 前記非隠蔽画像領域が、その対応する動きベクトルとある所望の動きベクトルとの間の差に依存して選択されることを特徴とする、請求項8記載の方法。
- 前記非隠蔽領域が、補間および/または外挿される少なくとも一つの隠蔽領域の近傍に位置することを特徴とする、請求項9記載の方法。
- プロセッサに請求項1ないし10のうちいずれか一項記載の方法ステップを実行させるよう動作しうる命令をもつことを特徴とするコンピュータプログラム。
- プロセッサに請求項1ないし10のうちいずれか一項記載の方法ステップを実行させるよう動作しうる命令をもつコンピュータプログラムを有することを特徴とするコンピュータプログラムプロダクト。
- 画像信号の走査レート変換のための装置であって:
・少なくとも前記画像信号の第一の画像の第一の画像領域と前記画像信号の第二の画像の第二の画像領域との間を補間して少なくとも一つの補間画像領域を得る手段と、
・前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域を外挿して少なくとも一つの外挿画像領域を得る手段と、
・前記少なくとも一つの補間画像領域と前記少なくとも一つの外挿画像領域とを混合して混合画像領域を得る手段、
とを有することを特徴とする装置。 - ・記画像信号の前記画像における隠蔽領域を同定する手段、
をさらに有することを特徴とする、請求項13記載の装置。 - ・前記画像信号の少なくとも一つの画像の少なくとも一つの画像領域について少なくとも一つの動きベクトルおよび少なくとも一つの対応する一致誤差を決定する手段、
をさらに有することを特徴とする請求項13または14記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04100698 | 2004-02-23 | ||
PCT/IB2005/050610 WO2005081524A1 (en) | 2004-02-23 | 2005-02-18 | Reducing artefacts in scan-rate conversion of image signals by combining interpolation and extrapolation of images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007525132A true JP2007525132A (ja) | 2007-08-30 |
Family
ID=34878290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006553755A Pending JP2007525132A (ja) | 2004-02-23 | 2005-02-18 | 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080151106A1 (ja) |
EP (1) | EP1721458A1 (ja) |
JP (1) | JP2007525132A (ja) |
KR (1) | KR20060135770A (ja) |
CN (1) | CN1922873A (ja) |
WO (1) | WO2005081524A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1444837B1 (en) * | 2001-11-07 | 2006-03-08 | Koninklijke Philips Electronics N.V. | Occlusion detector for and method of detecting occlusion areas |
JP4668220B2 (ja) * | 2007-02-20 | 2011-04-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
CN101626508A (zh) * | 2008-07-11 | 2010-01-13 | 宝利微电子系统控股公司 | 一种判断帧率提升中闭塞区域的方法 |
US8831101B2 (en) * | 2008-08-02 | 2014-09-09 | Ecole De Technologie Superieure | Method and system for determining a metric for comparing image blocks in motion compensated video coding |
US9100656B2 (en) | 2009-05-21 | 2015-08-04 | Ecole De Technologie Superieure | Method and system for efficient video transcoding using coding modes, motion vectors and residual information |
US8411756B2 (en) * | 2009-05-21 | 2013-04-02 | Ecole De Technologie Superieure | Method and system for generating block mode conversion table for efficient video transcoding |
US8755438B2 (en) | 2010-11-29 | 2014-06-17 | Ecole De Technologie Superieure | Method and system for selectively performing multiple video transcoding operations |
CN102665061A (zh) * | 2012-04-27 | 2012-09-12 | 中山大学 | 一种基于运动矢量处理的帧率上转换方法及其装置 |
US9906786B2 (en) * | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
KR101977802B1 (ko) * | 2012-10-10 | 2019-05-13 | 삼성전자주식회사 | 영상 시스템에서 움직임 추정 장치 및 방법 |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US12261990B2 (en) | 2015-07-15 | 2025-03-25 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9204115D0 (en) * | 1992-02-26 | 1992-04-08 | British Broadcasting Corp | Video image processing |
US5446804A (en) * | 1994-04-14 | 1995-08-29 | Hewlett-Packard Company | Magnifying digital image using edge mapping |
WO1996029678A1 (en) * | 1995-03-22 | 1996-09-26 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for depth modelling and providing depth information of moving objects |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
US7573529B1 (en) * | 1999-08-24 | 2009-08-11 | Digeo, Inc. | System and method for performing interlaced-to-progressive conversion using interframe motion data |
AUPQ377599A0 (en) * | 1999-10-29 | 1999-11-25 | Canon Kabushiki Kaisha | Colour clamping |
JP2005519498A (ja) * | 2002-02-28 | 2005-06-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | フィールドレートをアップコンバージョンするための方法及び装置 |
US7197075B2 (en) * | 2002-08-22 | 2007-03-27 | Hiroshi Akimoto | Method and system for video sequence real-time motion compensated temporal upsampling |
-
2005
- 2005-02-18 US US10/598,022 patent/US20080151106A1/en not_active Abandoned
- 2005-02-18 EP EP05703010A patent/EP1721458A1/en not_active Withdrawn
- 2005-02-18 WO PCT/IB2005/050610 patent/WO2005081524A1/en not_active Application Discontinuation
- 2005-02-18 JP JP2006553755A patent/JP2007525132A/ja active Pending
- 2005-02-18 CN CNA2005800056311A patent/CN1922873A/zh active Pending
- 2005-02-18 KR KR1020067016961A patent/KR20060135770A/ko not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
WO2005081524A1 (en) | 2005-09-01 |
CN1922873A (zh) | 2007-02-28 |
US20080151106A1 (en) | 2008-06-26 |
KR20060135770A (ko) | 2006-12-29 |
EP1721458A1 (en) | 2006-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007525132A (ja) | 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 | |
US7406208B2 (en) | Edge enhancement process and system | |
KR100393066B1 (ko) | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 | |
JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
JP2832927B2 (ja) | 走査線補間装置及び走査線補間用動きベクトル検出装置 | |
US8582032B2 (en) | Motion detection for interlaced video | |
JP2004064788A (ja) | デインタレーシング装置及び方法 | |
KR19990031433A (ko) | 스캔 컨버터 회로 | |
JP2005318611A (ja) | ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器 | |
CN102025960A (zh) | 一种基于自适应插值的运动补偿去隔行方法 | |
JP4119092B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
EP1511311B1 (en) | Method and system for de-interlacing digital images, and computer program product therefor | |
JP3293561B2 (ja) | 画像表示装置及び画像表示方法 | |
JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
US7787048B1 (en) | Motion-adaptive video de-interlacer | |
JP3674186B2 (ja) | 画像情報変換装置および方法 | |
US8514332B2 (en) | Method and system for non-linear blending in motion-based video processing | |
JPH11146346A (ja) | 順次走査変換方法及び順次走査変換装置 | |
KR101158847B1 (ko) | 에지맵을 이용한 디인터레이싱 장치 및 방법 | |
KR20070030223A (ko) | 픽셀 보간 | |
US7573530B2 (en) | Method and system for video noise reduction based on moving content detection | |
US20070070243A1 (en) | Adaptive vertical temporal flitering method of de-interlacing | |
JPH03291080A (ja) | 動き適応型走査線補間装置 | |
JP4366836B2 (ja) | 画像変換方法および画像変換装置 | |
RU2308817C1 (ru) | Способ и устройство масштабирования динамического видеоизображения |