JP2000175193A - 電子ディジタル画像シ―ケンス再生システムにおける画像デ―タ補間方法、フレ―ム速度アップ変換方法、および特徴的ブロックに関連する真のモ―ション・ベクトルを決定する方法 - Google Patents
電子ディジタル画像シ―ケンス再生システムにおける画像デ―タ補間方法、フレ―ム速度アップ変換方法、および特徴的ブロックに関連する真のモ―ション・ベクトルを決定する方法Info
- Publication number
- JP2000175193A JP2000175193A JP11344777A JP34477799A JP2000175193A JP 2000175193 A JP2000175193 A JP 2000175193A JP 11344777 A JP11344777 A JP 11344777A JP 34477799 A JP34477799 A JP 34477799A JP 2000175193 A JP2000175193 A JP 2000175193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- motion vector
- information
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Abstract
(57)【要約】
【課題】 移動するオブジェクトの画質をより優れたも
のにするための電子ディジタル画像シーケンス再生シス
テムにおける画像データ補間方法等を提供する。 【解決手段】 この方法は画像シーケンスに関連する真
のモーション・ベクトルを判定するものである。画像に
はピクセルのブロックからなるフィールドが含まれてい
る。この方法はピクセルのブロックから特徴的なブロッ
ク候補を選択する。特徴的ブロック候補はテクスチャの
特徴を示すしきい値以上の輝度分散を有している。同様
の番号を付した隣接フィールド内の特徴的ブロック候補
が比較され、各特徴的ブロック候補ごとに変位されたフ
レーム差パラメータの集合が判定される。各特徴的ブロ
ック候補の真のモーション・ベクトルが差異パラメータ
から導出された重み係数が最小のスコアから判定され
る。
のにするための電子ディジタル画像シーケンス再生シス
テムにおける画像データ補間方法等を提供する。 【解決手段】 この方法は画像シーケンスに関連する真
のモーション・ベクトルを判定するものである。画像に
はピクセルのブロックからなるフィールドが含まれてい
る。この方法はピクセルのブロックから特徴的なブロッ
ク候補を選択する。特徴的ブロック候補はテクスチャの
特徴を示すしきい値以上の輝度分散を有している。同様
の番号を付した隣接フィールド内の特徴的ブロック候補
が比較され、各特徴的ブロック候補ごとに変位されたフ
レーム差パラメータの集合が判定される。各特徴的ブロ
ック候補の真のモーション・ベクトルが差異パラメータ
から導出された重み係数が最小のスコアから判定され
る。
Description
【０００１】
【発明の属する技術分野】本発明は例えばビデオ会議、
ビデオ電話、およびビデオ・ゲームのようなマルチメデ
ィアの用例で経験することがあるモーション成分を含む
複雑なビデオ画像の符号化と復号化に係る、電子ディジ
タル画像シーケンス再生システムにおける画像データ補
間方法、フレーム速度アップ変換方法、および特徴的ブ
ロックに関連する真のモーション・ベクトルを決定する
方法に関するものである。
ビデオ電話、およびビデオ・ゲームのようなマルチメデ
ィアの用例で経験することがあるモーション成分を含む
複雑なビデオ画像の符号化と復号化に係る、電子ディジ
タル画像シーケンス再生システムにおける画像データ補
間方法、フレーム速度アップ変換方法、および特徴的ブ
ロックに関連する真のモーション・ベクトルを決定する
方法に関するものである。
【０００２】
【従来の技術】以前にフーファン・サンおよびアンソニ
ー・ベトロの名義で出願された「適応ビデオ符号化方
法」の名称の、現在は米国特許第５，７９０，１９６号
である米国特許出願シリアルナンバー第０８／８００，
８８０号で、二次速度ひずみモデルに基づいて複数のビ
デオ・オブジェクトについて統合速度制御を利用して記
憶および／または伝送するためにビデオ信号を符号化す
るシステムが開示されている。また別の関連する出願で
ある、「改良形の適応ビデオ符号化方法」の名称の米国
特許出願シリアルナンバー０８／８９６，８６１号で、
サン氏とベトロ氏は速度制御プロセスでオブジェクトの
形状を考慮に入れて目標を配分し、ツールを導入する改
良された方法を記載している。以前に出願されたこれら
の出願の開示内容は、特にこのようなシステムでモーシ
ョンの評価とモーション補償機能を含む符号化と復号の
基本構造を記載している点において、本願に関連してい
る。
ー・ベトロの名義で出願された「適応ビデオ符号化方
法」の名称の、現在は米国特許第５，７９０，１９６号
である米国特許出願シリアルナンバー第０８／８００，
８８０号で、二次速度ひずみモデルに基づいて複数のビ
デオ・オブジェクトについて統合速度制御を利用して記
憶および／または伝送するためにビデオ信号を符号化す
るシステムが開示されている。また別の関連する出願で
ある、「改良形の適応ビデオ符号化方法」の名称の米国
特許出願シリアルナンバー０８／８９６，８６１号で、
サン氏とベトロ氏は速度制御プロセスでオブジェクトの
形状を考慮に入れて目標を配分し、ツールを導入する改
良された方法を記載している。以前に出願されたこれら
の出願の開示内容は、特にこのようなシステムでモーシ
ョンの評価とモーション補償機能を含む符号化と復号の
基本構造を記載している点において、本願に関連してい
る。
【０００３】また、ビデオ画像情報の符号化と復号に含
まれる基本的な技術が、ＭＰＥＧ−４ビデオＶＭ編集に
関するアドホック・グループが国際基準化機構のために
作成した“ＭＰＥＧ−４、ビデオ検証モデル・バージョ
ン５．０”(書類番号ＭＰＥＧ９６／Ｎ１４６９)に開示
されている。
まれる基本的な技術が、ＭＰＥＧ−４ビデオＶＭ編集に
関するアドホック・グループが国際基準化機構のために
作成した“ＭＰＥＧ−４、ビデオ検証モデル・バージョ
ン５．０”(書類番号ＭＰＥＧ９６／Ｎ１４６９)に開示
されている。
【０００４】一方の機械から他方の機械に複雑なビデオ
情報を転送できるようにするには、ビデオ圧縮技術を利
用することが望ましく、必要である場合が多い。高い圧
縮比を達成するための重要なアプローチの１つは、ビデ
オ・シーケンスに存在する時間的および空間的冗長性を
除去することにある。空間的冗長性を除去するため、画
像を等しいサイズの分解ブロックに分割することができ
る。次にこれらのブロックを(例えば離散余弦変換すな
わちＤＣＴのような方式で)変換し、それによってデー
タの相関が解除される(decorrelate)ので、データは離
散的周波数成分として表現される。この表現では、各ブ
ロックの符号化をより効率的にできるので、ブロックの
エネルギはよりコンパクトになる。更に、実際の圧縮を
達成するために、二次元のブロック要素が量子化され
る。この時点で、量子化されたデータをビットストリー
ムへと変換するために公知のラン−レグスおよびホフマ
ン(run-length and Huffman)符号化方式を適用すること
ができる。上記のプロセスが他のいずれかのブロックと
は独立して１つのブロックに適用された場合、そのブロ
ックはイントラ・コード化(intra-coded)されたと言
う。これに対して、あるブロックが異なる時間に他のブ
ロックからの情報を利用した場合は、そのブロックはイ
ンター・コード化(inter-coded)されたと言う。インタ
ー・コード化技術は時間的冗長性を除去するために利用
される。基本的なアプローチは、現行のブロックと基準
映像内のブロックとの差に基づいて残余ブロック(もし
くはエラー・ブロック)を判定することにある。次にこ
れらの２つのブロック間のベクトルが判定され、モーシ
ョン・ベクトルと呼ばれる。残余ブロック内のエネルギ
をできるだけ少なく保つため、ブロック整合アルゴリズ
ム(ＢＭＡ)を利用して、現行のブロックと最も相関関係
がある基準映像内のブロックが判定される。基準ブロッ
クを局部的に利用できるので、モーション・ベクトルお
よび残余ブロックを利用して現行のブロックが再構成さ
れる。
情報を転送できるようにするには、ビデオ圧縮技術を利
用することが望ましく、必要である場合が多い。高い圧
縮比を達成するための重要なアプローチの１つは、ビデ
オ・シーケンスに存在する時間的および空間的冗長性を
除去することにある。空間的冗長性を除去するため、画
像を等しいサイズの分解ブロックに分割することができ
る。次にこれらのブロックを(例えば離散余弦変換すな
わちＤＣＴのような方式で)変換し、それによってデー
タの相関が解除される(decorrelate)ので、データは離
散的周波数成分として表現される。この表現では、各ブ
ロックの符号化をより効率的にできるので、ブロックの
エネルギはよりコンパクトになる。更に、実際の圧縮を
達成するために、二次元のブロック要素が量子化され
る。この時点で、量子化されたデータをビットストリー
ムへと変換するために公知のラン−レグスおよびホフマ
ン(run-length and Huffman)符号化方式を適用すること
ができる。上記のプロセスが他のいずれかのブロックと
は独立して１つのブロックに適用された場合、そのブロ
ックはイントラ・コード化(intra-coded)されたと言
う。これに対して、あるブロックが異なる時間に他のブ
ロックからの情報を利用した場合は、そのブロックはイ
ンター・コード化(inter-coded)されたと言う。インタ
ー・コード化技術は時間的冗長性を除去するために利用
される。基本的なアプローチは、現行のブロックと基準
映像内のブロックとの差に基づいて残余ブロック(もし
くはエラー・ブロック)を判定することにある。次にこ
れらの２つのブロック間のベクトルが判定され、モーシ
ョン・ベクトルと呼ばれる。残余ブロック内のエネルギ
をできるだけ少なく保つため、ブロック整合アルゴリズ
ム(ＢＭＡ)を利用して、現行のブロックと最も相関関係
がある基準映像内のブロックが判定される。基準ブロッ
クを局部的に利用できるので、モーション・ベクトルお
よび残余ブロックを利用して現行のブロックが再構成さ
れる。
【０００５】大抵の場合、ビデオ・コード化方式は各モ
ーション・ベクトルをその近隣とは微分的に(different
ially)符号化する。この場合、区分的なモーション・フ
ィールドはビット伝送速度を低下させることを、本発明
の発明者は観察している。従って、速度を最適化したモ
ーション評価アルゴリズムが開発された。この提案のユ
ニークな特徴は次の２つの要素から派生している。すな
わち(１)モーション・ベクトルを符号化するために使用
されるビット数が最小化の判断基準に組込まれること、
および(２)面ごとに実際のビット数をカウントするので
はなく、隣接ブロックの残余を利用してモーション・ベ
クトルのビット数を推定することである。このような技
術を利用すると、完全探索によるモーション評価アルゴ
リズムを使用した先行技術のエンコーダよりもビット伝
送速度が低い。加えて、計算上の複雑さは速度ひずみが
最適化される方法よりも大幅に少ない。その結果生ずる
モーション・フィールドは真のモーション・フィールド
であり、従って主観的な画質も同様に向上する。
ーション・ベクトルをその近隣とは微分的に(different
ially)符号化する。この場合、区分的なモーション・フ
ィールドはビット伝送速度を低下させることを、本発明
の発明者は観察している。従って、速度を最適化したモ
ーション評価アルゴリズムが開発された。この提案のユ
ニークな特徴は次の２つの要素から派生している。すな
わち(１)モーション・ベクトルを符号化するために使用
されるビット数が最小化の判断基準に組込まれること、
および(２)面ごとに実際のビット数をカウントするので
はなく、隣接ブロックの残余を利用してモーション・ベ
クトルのビット数を推定することである。このような技
術を利用すると、完全探索によるモーション評価アルゴ
リズムを使用した先行技術のエンコーダよりもビット伝
送速度が低い。加えて、計算上の複雑さは速度ひずみが
最適化される方法よりも大幅に少ない。その結果生ずる
モーション・フィールドは真のモーション・フィールド
であり、従って主観的な画質も同様に向上する。
【０００６】符号化の質とビット伝送速度の節減によっ
て達成される利点を一時無視して、主観的な画質の向上
だけに集中した場合、その結果生ずる真のモーション・
フィールドを多様な他の方法でデコーダにも同様に利用
できることを例証することができる。より具体的には、
データが欠落フレームおよび／または欠落フィールドで
ある欠落データを再構成するために真のモーション・フ
ィールドを利用できることが判明している。用途に関し
てはこのことを、システムのデコーダ末端で真のモーシ
ョン情報を利用したフレーム速度アップ変換、エラーの
隠蔽、および飛越し走査速度から漸進走査速度への変換
能力と解釈することができる。
て達成される利点を一時無視して、主観的な画質の向上
だけに集中した場合、その結果生ずる真のモーション・
フィールドを多様な他の方法でデコーダにも同様に利用
できることを例証することができる。より具体的には、
データが欠落フレームおよび／または欠落フィールドで
ある欠落データを再構成するために真のモーション・フ
ィールドを利用できることが判明している。用途に関し
てはこのことを、システムのデコーダ末端で真のモーシ
ョン情報を利用したフレーム速度アップ変換、エラーの
隠蔽、および飛越し走査速度から漸進走査速度への変換
能力と解釈することができる。
【０００７】フレーム速度アップ変換：フレーム速度ア
ップ変換を利用することは近年相当な関心を引いてい
る。極めて低いビット伝送速度で受け入れられる符号化
の結果を達成するために、大抵のエンコーダは時間的解
像度を低下させる。すなわち３０フレーム／秒(ｆｐｓ)
の全フレーム速度を目標にするのではなく、フレーム速
度を１０ｆｐｓまで低下させるのである。このことは、
３フレーム毎にそのうちの２フレームはエンコーダによ
って検討さえされないことを意味している。しかし、デ
コーダで完全なフレーム速度を表示するには回復機構が
必要である。最も簡単な機構は新たなフレームが受理さ
れるまで各フレームを反復することである。この補間方
式の問題点は、特に大きい、または複雑なモーションが
生ずる領域で、画像シーケンスが極めて不連続に、もし
くはガタついて見えることである。他の簡単な機構は符
号化されたフレーム間の直線的補間である。この機構の
問題点は、画像シーケンスがモーションの領域でぼやけ
て見え、その結果、いわゆるゴースト・アーチファクト
(人為結果)と呼ばれる現象が生ずる。
ップ変換を利用することは近年相当な関心を引いてい
る。極めて低いビット伝送速度で受け入れられる符号化
の結果を達成するために、大抵のエンコーダは時間的解
像度を低下させる。すなわち３０フレーム／秒(ｆｐｓ)
の全フレーム速度を目標にするのではなく、フレーム速
度を１０ｆｐｓまで低下させるのである。このことは、
３フレーム毎にそのうちの２フレームはエンコーダによ
って検討さえされないことを意味している。しかし、デ
コーダで完全なフレーム速度を表示するには回復機構が
必要である。最も簡単な機構は新たなフレームが受理さ
れるまで各フレームを反復することである。この補間方
式の問題点は、特に大きい、または複雑なモーションが
生ずる領域で、画像シーケンスが極めて不連続に、もし
くはガタついて見えることである。他の簡単な機構は符
号化されたフレーム間の直線的補間である。この機構の
問題点は、画像シーケンスがモーションの領域でぼやけ
て見え、その結果、いわゆるゴースト・アーチファクト
(人為結果)と呼ばれる現象が生ずる。
【０００８】上記の点から、モーションはこの方法での
画像回復の主要な障害物であると思われる。この事実は
多くの先行する研究者によって観測されており、モーシ
ョン補償補間方式がより良い結果をもたらすことが実証
されている。１つのアプローチでは、低いビット伝送速
度で復号されたフレームを用いてアップ・サンプリング
(up-sampling)の結果が提示される。しかし、受像機は
補間のために別個のモーション評価を行わなければなら
ない。第２のアプローチでは、多重のモジンを考慮にい
れたアルゴリズムが提案されている。しかし、この方法
は連続する２つのフレームの間に均一な並進運動が存在
することを前提としている。更に第３のアプローチで
は、オブジェクトをベースにしたビデオの判読に基づい
てモーション補償補間方式が実行される。この方式の主
要な利点は、符号化されたモーションおよび区分化情報
が洗練なしで使用されることである。その理由は、オブ
ジェクトをベースにした再構成が“実”世界で真である
ことに因ろう。しかし、このアプローチで使用される特
許権がある符復号器は全てのユーザーには容易に入手で
きない。
画像回復の主要な障害物であると思われる。この事実は
多くの先行する研究者によって観測されており、モーシ
ョン補償補間方式がより良い結果をもたらすことが実証
されている。１つのアプローチでは、低いビット伝送速
度で復号されたフレームを用いてアップ・サンプリング
(up-sampling)の結果が提示される。しかし、受像機は
補間のために別個のモーション評価を行わなければなら
ない。第２のアプローチでは、多重のモジンを考慮にい
れたアルゴリズムが提案されている。しかし、この方法
は連続する２つのフレームの間に均一な並進運動が存在
することを前提としている。更に第３のアプローチで
は、オブジェクトをベースにしたビデオの判読に基づい
てモーション補償補間方式が実行される。この方式の主
要な利点は、符号化されたモーションおよび区分化情報
が洗練なしで使用されることである。その理由は、オブ
ジェクトをベースにした再構成が“実”世界で真である
ことに因ろう。しかし、このアプローチで使用される特
許権がある符復号器は全てのユーザーには容易に入手で
きない。
【０００９】この場合に提案されている方法は、占有権
がある情報を伝送する必要なく、かつ特別のモーション
評価の計算を必要としないので、大抵のビデオ符号化基
準に適用することができる。このモーション補償補間方
式はインター・コーディング用に用いられる復号された
モーション情報を利用するものである。この真のモーシ
ョン評価プロセスによって場面内のモーションがより正
確に表現されるので、表示される前に回復される必要が
ある情報をデコーダでより容易に再構成することが可能
になる。他のモーション補間方式と比較したこの方法の
主要な利点は、画質の他に、デコーダ側で必要な計算が
大幅に少ないことである。
がある情報を伝送する必要なく、かつ特別のモーション
評価の計算を必要としないので、大抵のビデオ符号化基
準に適用することができる。このモーション補償補間方
式はインター・コーディング用に用いられる復号された
モーション情報を利用するものである。この真のモーシ
ョン評価プロセスによって場面内のモーションがより正
確に表現されるので、表示される前に回復される必要が
ある情報をデコーダでより容易に再構成することが可能
になる。他のモーション補間方式と比較したこの方法の
主要な利点は、画質の他に、デコーダ側で必要な計算が
大幅に少ないことである。
【００１０】エラーの隠蔽：真のモーション・ベクトル
情報は更に、エラーの隠蔽を改良するためにも利用でき
る。より具体的には、画像およびビデオ信号の特性に基
づいて損傷した、または損失したビデオ領域を回復する
ために、復号器での事後処理操作を利用できる。
情報は更に、エラーの隠蔽を改良するためにも利用でき
る。より具体的には、画像およびビデオ信号の特性に基
づいて損傷した、または損失したビデオ領域を回復する
ために、復号器での事後処理操作を利用できる。
【００１１】飛越し走査から漸進走査への変換：上記の
モーション補償補間方式に加えて、飛越し走査から漸進
走査への変換を行う関連する方法も利用できる。このシ
ナリオでは、フレーム全体を回復するのではなく、フィ
ールド全体が回復される。この種類の変換は、漸進的表
示が圧縮されたインター・フレームよびモーション補償
されたインター・フレームを表示することを意図してい
る場合に必要である。
モーション補償補間方式に加えて、飛越し走査から漸進
走査への変換を行う関連する方法も利用できる。このシ
ナリオでは、フレーム全体を回復するのではなく、フィ
ールド全体が回復される。この種類の変換は、漸進的表
示が圧縮されたインター・フレームよびモーション補償
されたインター・フレームを表示することを意図してい
る場合に必要である。
【００１２】イントラフレーム(フレーム内)方式：イン
トラフレーム技術は欠落線の直前と直後に出現する２つ
の走査線に基づいて欠落線を補間するものである。１つ
の簡単な例は、欠落線に隣接する２本の線を平均するこ
とによって欠落線を置換する、“線の加算平均”であ
る。より複雑なフィルタ、またはエッジ情報を使用した
その他の改良形のイントラフレーム方法の幾つかは、
Ｍ．Ｈ．リー他によって提案されている。(「方向性相
関に基づく飛越し走査から漸進走査への新規のアルゴリ
ズムおよびそのＩＣ設計」、コンピュータ・エレクトロ
ニクスに関するＩＥＥＥ会報、第４０巻、第２号、１１
９−１２９ページ、１９９４年５月刊)を参照された
い。)しかし、このようなイントラフレーム技術は隣接
のフィールドに現れた情報以外は、現在のフィールドか
ら欠落した情報を予測することができない。インターフ
レーム(フレーム間)技術は補間手順の先行するフレーム
内のピクセルを考慮に入れる。簡単で広く採用されてい
る１つの方法は、 Ｉ(ｍ，２ｎ＋((ｔ−１) ｍｏｄ ２)，ｔ)＝ Ｉ(ｍ，２ｎ＋((ｔ−１) ｍｏｄ ２)，ｔ−１) とするフィールド滞留方式である。線形、または非線形
フィルタを適用する非モーション補償アプローチは静止
したオブジェクトには良好であるが、移動するオブジェ
クトの場合は激しいアーチファクトが生ずる。
トラフレーム技術は欠落線の直前と直後に出現する２つ
の走査線に基づいて欠落線を補間するものである。１つ
の簡単な例は、欠落線に隣接する２本の線を平均するこ
とによって欠落線を置換する、“線の加算平均”であ
る。より複雑なフィルタ、またはエッジ情報を使用した
その他の改良形のイントラフレーム方法の幾つかは、
Ｍ．Ｈ．リー他によって提案されている。(「方向性相
関に基づく飛越し走査から漸進走査への新規のアルゴリ
ズムおよびそのＩＣ設計」、コンピュータ・エレクトロ
ニクスに関するＩＥＥＥ会報、第４０巻、第２号、１１
９−１２９ページ、１９９４年５月刊)を参照された
い。)しかし、このようなイントラフレーム技術は隣接
のフィールドに現れた情報以外は、現在のフィールドか
ら欠落した情報を予測することができない。インターフ
レーム(フレーム間)技術は補間手順の先行するフレーム
内のピクセルを考慮に入れる。簡単で広く採用されてい
る１つの方法は、 Ｉ(ｍ，２ｎ＋((ｔ−１) ｍｏｄ ２)，ｔ)＝ Ｉ(ｍ，２ｎ＋((ｔ−１) ｍｏｄ ２)，ｔ−１) とするフィールド滞留方式である。線形、または非線形
フィルタを適用する非モーション補償アプローチは静止
したオブジェクトには良好であるが、移動するオブジェ
クトの場合は激しいアーチファクトが生ずる。
【００１３】移動するオブジェクトに関しては、画質を
より優れたものにするためにモーション補償を採用する
べきであることが判明している。幾つかのモーション補
償、飛越し解除(de-interlacing)技術が提案されてい
る。例えば、モーション補償、飛越し解除技術はイント
ラフレーム方法および非モーション補償式のインターフ
レーム方法よりも優れていることが示されている。(リ
ー他著、「ＨＤＴＶシステム間のビデオ・フォーマット
変換」家庭電子機器に関するＩＥＥＥ会報、第３９巻、
第３号、２１９−２２４ページ、１９９３年８月刊、を
参照)
より優れたものにするためにモーション補償を採用する
べきであることが判明している。幾つかのモーション補
償、飛越し解除(de-interlacing)技術が提案されてい
る。例えば、モーション補償、飛越し解除技術はイント
ラフレーム方法および非モーション補償式のインターフ
レーム方法よりも優れていることが示されている。(リ
ー他著、「ＨＤＴＶシステム間のビデオ・フォーマット
変換」家庭電子機器に関するＩＥＥＥ会報、第３９巻、
第３号、２１９−２２４ページ、１９９３年８月刊、を
参照)
【００１４】
【発明が解決しようとする課題】以上のように、従来か
ら移動するオブジェクトの画質をより優れたものにする
ための方法が考案されいるが、より効果的なものが望ま
れていた。
ら移動するオブジェクトの画質をより優れたものにする
ための方法が考案されいるが、より効果的なものが望ま
れていた。
【００１５】この発明は上記の課題を解消するためにな
されたもので、移動するオブジェクトの画質をより優れ
たものにするための、電子ディジタル画像シーケンス再
生システムにおける画像データ補間方法、フレーム速度
アップ変換方法、および特徴的ブロックに関連する真の
モーション・ベクトルを決定する方法を提供することを
目的とする。
されたもので、移動するオブジェクトの画質をより優れ
たものにするための、電子ディジタル画像シーケンス再
生システムにおける画像データ補間方法、フレーム速度
アップ変換方法、および特徴的ブロックに関連する真の
モーション・ベクトルを決定する方法を提供することを
目的とする。
【００１６】
【課題を解決するための手段】上記の目的に鑑み、この
発明は、画像情報の個別ブロックに関連する真のモーシ
ョン・ベクトル・データを含むディジタル式に符号化さ
れた映像信号が供給される電子ディジタル画像シーケン
ス再生システムにおける画像データ補間方法であって、
前記ディジタル式に符号化された映像情報から、隣接す
る画像ブロックの近接重み係数に部分的に依存する前記
画像情報ブロックごとに前記真のモーション・ベクトル
・データを復号するステップと、供給された映像情報か
ら、前記供給された画像情報が不在の中間的な画像の時
限に対応する画像シーケンス信号データを補間するステ
ップとを含み、前記画像情報が不在の画像の時限は、前
記供給された映像情報に関連する供給された画像の時限
の間の前記中間画像時限中に連続的に出現する中間画像
情報に対応しており、前記補間は、構成された画像ピク
セルに、前記中間的時限の前後に出現する前記対応する
ピクセルの間の画像の輝度差の情報の分数部分を配分し
て、前記中間画像時限の平均輝度のピクセルを生成する
ことによって、前記中間画像時限の直前および直後に出
現する前記供給された映像情報内の対応ブロック内の対
応ピクセルに基づいて、前記各々の中間画像時限内の画
像ブロックごとに画像ピクセルを構成するステップと、
前記各々の中間時限内に構成された各々の画像ピクセル
を、対応するピクセルが基準として供給された時限内に
あるブロックに関連する真のモーション・ベクトルの分
数部分と大きさが等しい対応する真のモーション・ベク
トルと関連付けし、前記分数部分は供給された時限の間
に挿入された中間画像時限の数に従って決定されるステ
ップと、前記構成された各々の平均輝度のピクセルを、
前記対応する復号された真のモーション・ベクトルの前
記分数部分に従って前記中間画像の時限内の空間的位置
と関連付けするステップと、を含むことを特徴とする電
子ディジタル画像シーケンス再生システムにおける画像
データ補間方法にある。
発明は、画像情報の個別ブロックに関連する真のモーシ
ョン・ベクトル・データを含むディジタル式に符号化さ
れた映像信号が供給される電子ディジタル画像シーケン
ス再生システムにおける画像データ補間方法であって、
前記ディジタル式に符号化された映像情報から、隣接す
る画像ブロックの近接重み係数に部分的に依存する前記
画像情報ブロックごとに前記真のモーション・ベクトル
・データを復号するステップと、供給された映像情報か
ら、前記供給された画像情報が不在の中間的な画像の時
限に対応する画像シーケンス信号データを補間するステ
ップとを含み、前記画像情報が不在の画像の時限は、前
記供給された映像情報に関連する供給された画像の時限
の間の前記中間画像時限中に連続的に出現する中間画像
情報に対応しており、前記補間は、構成された画像ピク
セルに、前記中間的時限の前後に出現する前記対応する
ピクセルの間の画像の輝度差の情報の分数部分を配分し
て、前記中間画像時限の平均輝度のピクセルを生成する
ことによって、前記中間画像時限の直前および直後に出
現する前記供給された映像情報内の対応ブロック内の対
応ピクセルに基づいて、前記各々の中間画像時限内の画
像ブロックごとに画像ピクセルを構成するステップと、
前記各々の中間時限内に構成された各々の画像ピクセル
を、対応するピクセルが基準として供給された時限内に
あるブロックに関連する真のモーション・ベクトルの分
数部分と大きさが等しい対応する真のモーション・ベク
トルと関連付けし、前記分数部分は供給された時限の間
に挿入された中間画像時限の数に従って決定されるステ
ップと、前記構成された各々の平均輝度のピクセルを、
前記対応する復号された真のモーション・ベクトルの前
記分数部分に従って前記中間画像の時限内の空間的位置
と関連付けするステップと、を含むことを特徴とする電
子ディジタル画像シーケンス再生システムにおける画像
データ補間方法にある。
【００１７】また、前記隣接ブロックの近接重み係数
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項１に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項１に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
【００１８】また、前記画像情報が不在の中間画像時限
は、欠落した偶数と奇数の一対の画像情報に対応し、該
一対の画像情報は画像情報のフレームを備えていると共
に、真のモーション・ベクトルを構成し、かつ画像情報
が不在の偶数および奇数フィールド内の前記画像ピクセ
ルと関連付けする前記ステップは、奇数フィールド情報
を奇数フィールドだけと比較し、偶数フィールド情報を
偶数フィールド情報だけと比較して、前記不在のフィー
ルド内の画像ピクセルと関連付けされる画像の輝度差の
前記一部と、時間モーション・ベクトルの一部とを決定
することを特徴とする請求項２に記載の電子ディジタル
画像シーケンス再生システムにおける画像データの補間
方法にある。
は、欠落した偶数と奇数の一対の画像情報に対応し、該
一対の画像情報は画像情報のフレームを備えていると共
に、真のモーション・ベクトルを構成し、かつ画像情報
が不在の偶数および奇数フィールド内の前記画像ピクセ
ルと関連付けする前記ステップは、奇数フィールド情報
を奇数フィールドだけと比較し、偶数フィールド情報を
偶数フィールド情報だけと比較して、前記不在のフィー
ルド内の画像ピクセルと関連付けされる画像の輝度差の
前記一部と、時間モーション・ベクトルの一部とを決定
することを特徴とする請求項２に記載の電子ディジタル
画像シーケンス再生システムにおける画像データの補間
方法にある。
【００１９】また、前記供給された画像の時限が電子画
像シーケンス内の１／Ｎの連続的な時限と対応し、但し
Ｎは１以上の整数であり、かつ、画像輝度差の前記分数
部分と真のモーション情報の前記分数部分とは、前記輝
度差と前記情報のそれぞれ１／Ｎであることを特徴とす
る請求項３に記載の電子ディジタル画像シーケンス再生
システムにおける画像データの補間方法にある。
像シーケンス内の１／Ｎの連続的な時限と対応し、但し
Ｎは１以上の整数であり、かつ、画像輝度差の前記分数
部分と真のモーション情報の前記分数部分とは、前記輝
度差と前記情報のそれぞれ１／Ｎであることを特徴とす
る請求項３に記載の電子ディジタル画像シーケンス再生
システムにおける画像データの補間方法にある。
【００２０】また、前記画像情報が不在の中間画像時限
は、偶数番号が付された画像情報フィールド内の欠落し
た一対の奇数番号が付された線に対応し、かつ、真のモ
ーション・ベクトルを構成し、かつ画像情報が不在の奇
数線内の前記画像ピクセルと関連付けする前記ステップ
は、奇数フィールド情報を奇数フィールドだけと比較
し、前記不在の線内の画像ピクセルと関連付けされる画
像の輝度差の前記部分と、時間モーション・ベクトルの
一部とを決定することを特徴とする請求項１に記載の電
子ディジタル画像シーケンス再生システムにおける画像
データの補間方法にある。
は、偶数番号が付された画像情報フィールド内の欠落し
た一対の奇数番号が付された線に対応し、かつ、真のモ
ーション・ベクトルを構成し、かつ画像情報が不在の奇
数線内の前記画像ピクセルと関連付けする前記ステップ
は、奇数フィールド情報を奇数フィールドだけと比較
し、前記不在の線内の画像ピクセルと関連付けされる画
像の輝度差の前記部分と、時間モーション・ベクトルの
一部とを決定することを特徴とする請求項１に記載の電
子ディジタル画像シーケンス再生システムにおける画像
データの補間方法にある。
【００２１】また、前記隣接ブロックの近接重み係数
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項５に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項５に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
【００２２】また、前記画像情報が不在の中間画像時限
は、奇数番号が付された画像情報フィールド内の欠落し
た一対の偶数番号が付された線に対応し、かつ、真のモ
ーション・ベクトルを構成し、かつ画像情報が不在の偶
数線内の前記画像ピクセルと関連付けする前記ステップ
は、偶数フィールド情報を偶数フィールドだけと比較
し、前記不在の線内の画像ピクセルと関連付けされる画
像の輝度差の前記部分と、時間モーション・ベクトルの
一部とを決定することを特徴とする請求項１に記載の電
子ディジタル画像シーケンス再生システムにおける画像
データの補間方法にある。
は、奇数番号が付された画像情報フィールド内の欠落し
た一対の偶数番号が付された線に対応し、かつ、真のモ
ーション・ベクトルを構成し、かつ画像情報が不在の偶
数線内の前記画像ピクセルと関連付けする前記ステップ
は、偶数フィールド情報を偶数フィールドだけと比較
し、前記不在の線内の画像ピクセルと関連付けされる画
像の輝度差の前記部分と、時間モーション・ベクトルの
一部とを決定することを特徴とする請求項１に記載の電
子ディジタル画像シーケンス再生システムにおける画像
データの補間方法にある。
【００２３】また、前記隣接ブロックの近接重み係数
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項７に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
は、画像情報の各ブロックに関して、前記各画像ブロッ
クと直に近接した画像ブロックおよびそこから更に離れ
た画像ブロックと関連するモーション・ベクトルを含ん
でおり、前記真のモーション・ベクトル・データは前記
直に近接したブロックおよびそこから離れたブロックに
関連するモーション・ベクトルを加算することによって
決定され、前記加算の際に前記直に近接したパラメータ
は前記離れたパラメータよりも重み係数が大きいことを
特徴とする請求項７に記載の電子ディジタル画像シーケ
ンス再生システムにおける画像データの補間方法にあ
る。
【００２４】また、前記画像情報が不在の線のために構
成された前記画像ピクセルを前記画像情報フィールド内
の対応する画像ピクセルと比較して、前記構成された画
像ピクセルの空間的位置を決定するステップを更に含む
ことを特徴とする請求項８に記載の電子ディジタル画像
シーケンス再生システムにおける画像データの補間方法
にある。
成された前記画像ピクセルを前記画像情報フィールド内
の対応する画像ピクセルと比較して、前記構成された画
像ピクセルの空間的位置を決定するステップを更に含む
ことを特徴とする請求項８に記載の電子ディジタル画像
シーケンス再生システムにおける画像データの補間方法
にある。
【００２５】また、画像情報の個別ブロックに関連し、
隣接ブロックの近接重み付き変位パラメータに依存する
真のモーション・ベクトル・データを含むディジタル式
に符号化された映像信号が供給される電子ディジタル画
像シーケンス再生システムにおけるフレーム速度アップ
変換方法であって、前記ディジタル式に符号化された映
像情報から、各々の伝送されたフレーム内の前記各々の
画像情報ブロックごとに前記真のモーション・ベクトル
・データを復号するステップと、時限Ｔだけ間隔を隔て
て伝送されたフレーム間の時間系列に出現する中間フレ
ームに対応する画像シーケンス信号データを補間するス
テップにして、前記中間フレームはＴ／Ｎの時限に出現
し、但しＮは１以上の整数である前記ステップと、中間
フレーム内の各ブロックに関して、前記中間フレームに
時間的に近接する伝送されたフレーム内の各ブロック内
の対応するピクセルについて輝度情報を平均化すること
によって前記各中間フレームごとにピクセルを構成する
ステップと、前記各中間フレーム内の各々の平均された
輝度ピクセルを、前記ピクセルが直ぐ後続の伝送された
フレーム内にある対応するブロックと関連する真のモー
ション・ベクトル情報の大きさの１／Ｎに等しい大きさ
の対応する真のモーション・ベクトルと関連付けするス
テップと、前記各々の平均輝度のピクセルを、前記対応
する復号された真のモーション・ベクトルに従って前記
中間フレーム内の空間的位置と関連付けするステップ
と、を含むことを特徴とする電子ディジタル画像シーケ
ンス再生システムにおけるフレーム速度アップ変換方法
にある。
隣接ブロックの近接重み付き変位パラメータに依存する
真のモーション・ベクトル・データを含むディジタル式
に符号化された映像信号が供給される電子ディジタル画
像シーケンス再生システムにおけるフレーム速度アップ
変換方法であって、前記ディジタル式に符号化された映
像情報から、各々の伝送されたフレーム内の前記各々の
画像情報ブロックごとに前記真のモーション・ベクトル
・データを復号するステップと、時限Ｔだけ間隔を隔て
て伝送されたフレーム間の時間系列に出現する中間フレ
ームに対応する画像シーケンス信号データを補間するス
テップにして、前記中間フレームはＴ／Ｎの時限に出現
し、但しＮは１以上の整数である前記ステップと、中間
フレーム内の各ブロックに関して、前記中間フレームに
時間的に近接する伝送されたフレーム内の各ブロック内
の対応するピクセルについて輝度情報を平均化すること
によって前記各中間フレームごとにピクセルを構成する
ステップと、前記各中間フレーム内の各々の平均された
輝度ピクセルを、前記ピクセルが直ぐ後続の伝送された
フレーム内にある対応するブロックと関連する真のモー
ション・ベクトル情報の大きさの１／Ｎに等しい大きさ
の対応する真のモーション・ベクトルと関連付けするス
テップと、前記各々の平均輝度のピクセルを、前記対応
する復号された真のモーション・ベクトルに従って前記
中間フレーム内の空間的位置と関連付けするステップ
と、を含むことを特徴とする電子ディジタル画像シーケ
ンス再生システムにおけるフレーム速度アップ変換方法
にある。
【００２６】また、前記近隣ブロックの近接重み係数
が、画像情報の各ブロックに関して、前記各画像ブロッ
クに直に隣接する画像ブロックおよび更に離れた画像ブ
ロックと関連するモーション・ベクトル・データを含ん
でおり、前記モーション・ベクトル・データは前記直に
隣接するブロックおよび離れたブロックに関連するモー
ション・ベクトルを加算することによって決定され、前
記加算に際して前記直に隣接するパラメータが前記離れ
たパラメータよりも重み係数が大きいことを特徴とする
請求項１０に記載の電子ディジタル画像シーケンス再生
システムにおけるフレーム速度アップ変換方法にある。
が、画像情報の各ブロックに関して、前記各画像ブロッ
クに直に隣接する画像ブロックおよび更に離れた画像ブ
ロックと関連するモーション・ベクトル・データを含ん
でおり、前記モーション・ベクトル・データは前記直に
隣接するブロックおよび離れたブロックに関連するモー
ション・ベクトルを加算することによって決定され、前
記加算に際して前記直に隣接するパラメータが前記離れ
たパラメータよりも重み係数が大きいことを特徴とする
請求項１０に記載の電子ディジタル画像シーケンス再生
システムにおけるフレーム速度アップ変換方法にある。
【００２７】また、前記画像情報が不在の中間画像時限
は、欠落した偶数と奇数の一対の画像情報に対応し、該
一対の画像情報は画像情報のフレームを備えていると共
に、不在の偶数および奇数フィールド内に真のモーショ
ン・ベクトルを構成し、かつ前記画像ピクセルと関連付
けする前記ステップは、奇数フィールド情報を奇数フィ
ールドだけと比較し、偶数フィールド情報を偶数フィー
ルド情報だけと比較して、画像の輝度差の前記部分と、
前記不在のフィールド内の画像ピクセルと関連付けされ
る時間モーション・ベクトルの一部とを決定することを
特徴とする請求項１１に記載の電子ディジタル画像シー
ケンス再生システムにおけるフレーム速度アップ変換方
法にある。
は、欠落した偶数と奇数の一対の画像情報に対応し、該
一対の画像情報は画像情報のフレームを備えていると共
に、不在の偶数および奇数フィールド内に真のモーショ
ン・ベクトルを構成し、かつ前記画像ピクセルと関連付
けする前記ステップは、奇数フィールド情報を奇数フィ
ールドだけと比較し、偶数フィールド情報を偶数フィー
ルド情報だけと比較して、画像の輝度差の前記部分と、
前記不在のフィールド内の画像ピクセルと関連付けされ
る時間モーション・ベクトルの一部とを決定することを
特徴とする請求項１１に記載の電子ディジタル画像シー
ケンス再生システムにおけるフレーム速度アップ変換方
法にある。
【００２８】また、前記供給された画像の時限が電子画
像シーケンス内の１／Ｎの連続的な時限と対応し、但し
Ｎは１以上の整数であり、かつ、画像輝度差の前記分数
部分と真のモーション情報の前記分数部分とは、前記輝
度差と前記情報のそれぞれ１／Ｎであることを特徴とす
る請求項１２に記載の電子ディジタル画像シーケンス再
生システムにおけるフレーム速度アップ変換方法にあ
る。
像シーケンス内の１／Ｎの連続的な時限と対応し、但し
Ｎは１以上の整数であり、かつ、画像輝度差の前記分数
部分と真のモーション情報の前記分数部分とは、前記輝
度差と前記情報のそれぞれ１／Ｎであることを特徴とす
る請求項１２に記載の電子ディジタル画像シーケンス再
生システムにおけるフレーム速度アップ変換方法にあ
る。
【００２９】また、画像フィールドがピクセルのブロッ
クから形成されていて、該ピクセルの少なくとも幾つか
が後続のフィールド内の対応するピクセルの空間的位置
と比較される１つのフィールドへと空間的に変位される
形式の電子ディジタル画像シーケンス再生システムにお
ける特徴的ブロックに関連する真のモーション・ベクト
ルを決定する方法であって、フィールド内のピクセルの
ブロックの全てのうちから、前記ブロック内のピクセル
間で顕著なテクスチャの特徴を示すしきい値以上の輝度
分散を有する特徴的ブロックの候補を選択するステップ
と、特徴的ブロックの候補を同一の番号が付された隣接
するフィールド間隔内のブロックと比較して、前記各々
の特徴的なブロックごとにＤＦＤ残余パラメータの集合
を決定するステップと、前記候補のブロックのＤＦＤ残
余パラメータの前記集合を、残余の下限しきい値および
残余の上限と比較するステップと、前記特徴的なブロッ
クの候補に関して無条件に受入れられるモーション・ベ
クトルを、前記ＤＦＤパラメータが前記下限しきい値未
満である事象に対応するモーション・ベクトルとして特
定するステップと、前記特徴的なブロックの候補に関し
て拒絶されたモーション・ベクトルを、前記ＤＦＤパラ
メータが前記上限以上である事象に対応するモーション
・ベクトルとして特定するステップと、前記特徴的なブ
ロックの候補に関して無条件に受入れられるモーション
・ベクトルを、前記ＤＦＤパラメータが前記しきい値と
前記上限との間にある事象に対応するモーション・ベク
トルとして特定するステップと、前記受入れ可能な、お
よび条件付きで受入れ可能な各モーション・ベクトル
を、対応する特徴的ブロックの候補および該特徴的ブロ
ックの候補の各々と所定の空間的近隣にある近隣ブロッ
クとに適用することによって、受入れ可能な、または条
件付きで受入れ可能なモーション・ベクトルとして決定
された前記各々の特徴的ブロック候補の周囲の近隣の大
域的モーションの傾向を判定するステップと、前記受入
れ可能な、および条件付きで受入れ可能なモーション・
ベクトルの各々について、前記対応する特徴的ブロック
の候補と、該特徴的ブロックの候補の前記近隣の近隣ブ
ロックについて残余ブロックの合計の重み付きスコアを
計算するステップと、各々の特徴的ブロック候補に関す
る真のモーション・ベクトルとして、最小の重み付けが
なされたスコアに相当するモーション・ベクトルを選択
するステップと、を含む電子ディジタル画像シーケンス
再生システムにおける特徴的ブロックに関連する真のモ
ーション・ベクトルを決定する方法にある。
クから形成されていて、該ピクセルの少なくとも幾つか
が後続のフィールド内の対応するピクセルの空間的位置
と比較される１つのフィールドへと空間的に変位される
形式の電子ディジタル画像シーケンス再生システムにお
ける特徴的ブロックに関連する真のモーション・ベクト
ルを決定する方法であって、フィールド内のピクセルの
ブロックの全てのうちから、前記ブロック内のピクセル
間で顕著なテクスチャの特徴を示すしきい値以上の輝度
分散を有する特徴的ブロックの候補を選択するステップ
と、特徴的ブロックの候補を同一の番号が付された隣接
するフィールド間隔内のブロックと比較して、前記各々
の特徴的なブロックごとにＤＦＤ残余パラメータの集合
を決定するステップと、前記候補のブロックのＤＦＤ残
余パラメータの前記集合を、残余の下限しきい値および
残余の上限と比較するステップと、前記特徴的なブロッ
クの候補に関して無条件に受入れられるモーション・ベ
クトルを、前記ＤＦＤパラメータが前記下限しきい値未
満である事象に対応するモーション・ベクトルとして特
定するステップと、前記特徴的なブロックの候補に関し
て拒絶されたモーション・ベクトルを、前記ＤＦＤパラ
メータが前記上限以上である事象に対応するモーション
・ベクトルとして特定するステップと、前記特徴的なブ
ロックの候補に関して無条件に受入れられるモーション
・ベクトルを、前記ＤＦＤパラメータが前記しきい値と
前記上限との間にある事象に対応するモーション・ベク
トルとして特定するステップと、前記受入れ可能な、お
よび条件付きで受入れ可能な各モーション・ベクトル
を、対応する特徴的ブロックの候補および該特徴的ブロ
ックの候補の各々と所定の空間的近隣にある近隣ブロッ
クとに適用することによって、受入れ可能な、または条
件付きで受入れ可能なモーション・ベクトルとして決定
された前記各々の特徴的ブロック候補の周囲の近隣の大
域的モーションの傾向を判定するステップと、前記受入
れ可能な、および条件付きで受入れ可能なモーション・
ベクトルの各々について、前記対応する特徴的ブロック
の候補と、該特徴的ブロックの候補の前記近隣の近隣ブ
ロックについて残余ブロックの合計の重み付きスコアを
計算するステップと、各々の特徴的ブロック候補に関す
る真のモーション・ベクトルとして、最小の重み付けが
なされたスコアに相当するモーション・ベクトルを選択
するステップと、を含む電子ディジタル画像シーケンス
再生システムにおける特徴的ブロックに関連する真のモ
ーション・ベクトルを決定する方法にある。
【００３０】本発明の発明者が開示するシステムは正確
なモーション評価／補償アルゴリズムを利用しているの
で、モーション・ベクトル補償インターフレーム方法と
して分類される。飛越し走査から漸進走査への変換手順
には２つの部分が含まれている。すなわち(１)モーショ
ンをベースにした補償、および(２)一般化サンプリング
法則である。モーションをベースにした補償は基本的に
２ｔの時点にサンプルの集合を判定し、２ｔ−１と２ｔ
＋１の時点に所定のサンプルを判定する。一般に、２ｔ
−１と２ｔ＋１の間のモーション・ベクトルは任意であ
るので、判定された前記のサンプル集合は２ｔの時点に
は画像格子上にない。従って、一般化サンプリング法則
は、モーション補償サンプルと既存のサンプルが与えら
れた格子ポイントで欠落したサンプルを計算するために
利用される。正式には、これを下記のように表現するこ
とができる。すなわち、先ず、｛Ｉ(ｍ，２ｎ−１，２
ｔ−１)｝および｛Ｉ(ｍ，２ｎ＋１，２ｔ＋１)｝を所
与の値として、｛Ｉ(ｍ＋△ x，２ｎ＋△y，２ｔ)｝を見
出し、次に、｛Ｉ(ｍ，２ｎ，２ｔ)｝および｛Ｉ(ｍ＋
△x，２ｎ＋△y，２ｔ)｝を所与の値として、｛Ｉ(ｍ，
２ｎ＋１，２ｔ)｝を見出す。
なモーション評価／補償アルゴリズムを利用しているの
で、モーション・ベクトル補償インターフレーム方法と
して分類される。飛越し走査から漸進走査への変換手順
には２つの部分が含まれている。すなわち(１)モーショ
ンをベースにした補償、および(２)一般化サンプリング
法則である。モーションをベースにした補償は基本的に
２ｔの時点にサンプルの集合を判定し、２ｔ−１と２ｔ
＋１の時点に所定のサンプルを判定する。一般に、２ｔ
−１と２ｔ＋１の間のモーション・ベクトルは任意であ
るので、判定された前記のサンプル集合は２ｔの時点に
は画像格子上にない。従って、一般化サンプリング法則
は、モーション補償サンプルと既存のサンプルが与えら
れた格子ポイントで欠落したサンプルを計算するために
利用される。正式には、これを下記のように表現するこ
とができる。すなわち、先ず、｛Ｉ(ｍ，２ｎ−１，２
ｔ−１)｝および｛Ｉ(ｍ，２ｎ＋１，２ｔ＋１)｝を所
与の値として、｛Ｉ(ｍ＋△ x，２ｎ＋△y，２ｔ)｝を見
出し、次に、｛Ｉ(ｍ，２ｎ，２ｔ)｝および｛Ｉ(ｍ＋
△x，２ｎ＋△y，２ｔ)｝を所与の値として、｛Ｉ(ｍ，
２ｎ＋１，２ｔ)｝を見出す。
【００３１】本発明の更なる側面では、画像データ補間
方法は、ディジタル式に符号化された画像情報に関連す
る、前記画像情報ブロック部分的に隣接する画像ブロッ
ク近接重み係数に依存する真のモーション・ベクトル・
データを復号するステップを含んでいる。この方法は更
に、供給された映像情報から、前記供給された画像情報
が存在しない中間的な画像の時限に対応する画像シーケ
ンス信号データを補間するステップを含み、前記画像情
報が存在しない画像の時限は、供給された映像情報に関
連する供給された画像の時限の間の中間的な画像時限中
に連続的に出現する中間画像情報に対応している。前記
補間方法は、構成された画像ピクセルに、前記中間的時
限の前後に出現する対応するピクセルの間の画像の輝度
差の情報の一部分を配分して、中間的な画像時限の平均
輝度のピクセルを生成することによって、中間的な画像
時限の直前および直後に出現する供給された映像情報内
の対応ブロック内の対応ピクセルに基づいて、各々の中
間的な画像時限内の画像ブロックごとに画像ピクセルを
構成するステップを含んでいる。その後、各々の中間時
限内で構成された各々の画像ピクセルが、対応するピク
セルが基準の供給された時限内にあるブロックと関連す
る真のモーション・ベクトル情報の一部分と大きさが等
しい、対応する真のモーション・ベクトルと関連付けさ
れ、前記一部分は供給された時限の間に挿入された中間
的な画像時限の数に応じて決定される。次に、構成さ
れ、平均された各々の輝度のピクセルは、対応する復号
された真のモーション・ベクトルの一部分に従って中間
的な画像時限の空間的な位置と関連付けされる。
方法は、ディジタル式に符号化された画像情報に関連す
る、前記画像情報ブロック部分的に隣接する画像ブロッ
ク近接重み係数に依存する真のモーション・ベクトル・
データを復号するステップを含んでいる。この方法は更
に、供給された映像情報から、前記供給された画像情報
が存在しない中間的な画像の時限に対応する画像シーケ
ンス信号データを補間するステップを含み、前記画像情
報が存在しない画像の時限は、供給された映像情報に関
連する供給された画像の時限の間の中間的な画像時限中
に連続的に出現する中間画像情報に対応している。前記
補間方法は、構成された画像ピクセルに、前記中間的時
限の前後に出現する対応するピクセルの間の画像の輝度
差の情報の一部分を配分して、中間的な画像時限の平均
輝度のピクセルを生成することによって、中間的な画像
時限の直前および直後に出現する供給された映像情報内
の対応ブロック内の対応ピクセルに基づいて、各々の中
間的な画像時限内の画像ブロックごとに画像ピクセルを
構成するステップを含んでいる。その後、各々の中間時
限内で構成された各々の画像ピクセルが、対応するピク
セルが基準の供給された時限内にあるブロックと関連す
る真のモーション・ベクトル情報の一部分と大きさが等
しい、対応する真のモーション・ベクトルと関連付けさ
れ、前記一部分は供給された時限の間に挿入された中間
的な画像時限の数に応じて決定される。次に、構成さ
れ、平均された各々の輝度のピクセルは、対応する復号
された真のモーション・ベクトルの一部分に従って中間
的な画像時限の空間的な位置と関連付けされる。
【００３２】
【発明の実施の形態】以下では本発明を好適な実施の形
態および１つ、またはそれ以上の好適な用途に関連して
説明するが、図面を参照して以下に説明する本発明の実
際の範囲から離れることなく様々な修正が可能であるこ
とが当業者には理解されよう。
態および１つ、またはそれ以上の好適な用途に関連して
説明するが、図面を参照して以下に説明する本発明の実
際の範囲から離れることなく様々な修正が可能であるこ
とが当業者には理解されよう。
【００３３】図１にブロック図の形式で示されたビデオ
・エンコーダでは、各々が個々の画像ピクセル(すなわ
ち画素)からなる(図７を参照)空間的に配列されたビデ
オ・ブロック２０Ａ、２０Ｂ、２０Ｃ等から構成された
画像のシーケンス２０を表現するディジタル・ビデオ信
号が信号入力としてビデオ・エンコーダに供給される。
ビデオ画像情報は従来のルミナンス(輝度)およびクロミ
ナンス(色差)情報のシーケンスとして供給される。
・エンコーダでは、各々が個々の画像ピクセル(すなわ
ち画素)からなる(図７を参照)空間的に配列されたビデ
オ・ブロック２０Ａ、２０Ｂ、２０Ｃ等から構成された
画像のシーケンス２０を表現するディジタル・ビデオ信
号が信号入力としてビデオ・エンコーダに供給される。
ビデオ画像情報は従来のルミナンス(輝度)およびクロミ
ナンス(色差)情報のシーケンスとして供給される。
【００３４】後に詳述するように本発明に基づいて、例
えば、図８に示すような現行フレームのブロックと、先
行フレームの“対応する”ブロックとの間の“最良の適
合”を表す真のモーション・ベクトルＴＭＶを判定する
ために、入りディジタル・ビデオ信号が真のモーション
評価プロセッサ２２に供給される。プロセッサ２２は適
宜にモーション補償されたビデオ信号の予測を行う。次
に“差異画像”情報が離散余弦変換(ＤＣＴ)２４で変換
され、変換された情報の量子化(Ｑ)２６が行われる。前
記双方の動作とも従来技術に基づくものである。量子化
された変換係数と量子化器のインジケータ情報は図２に
示した基本構造のような可変長符号化(ＶＬＣ)エンコー
ダに送られる。量子化された変換係数には逆量子化(Ｉ
Ｑ)２８が行われ、その後、逆離散余弦変換(ＩＤＣＴ)
３０が行われる。結果の情報は遅延を与えるためにフレ
ーム・メモリ３２に結合される。システムのデコーダで
本発明に基づく用途のための真のモーション・ベクトル
情報を生成するために、現行画像からの画像情報とフレ
ーム・メモリ３２からのフレーム遅延画像とが比較さ
れ、かつ後述のように処理される(図３を参照)。図２に
示したような一般的構成であり、特に真のモーション・
ベクトルを生成するようには構成されていないエンコー
ダは、本明細書で参考文献として参照されている前述の
サンおよびベトロの特許に詳細に記載されている。
えば、図８に示すような現行フレームのブロックと、先
行フレームの“対応する”ブロックとの間の“最良の適
合”を表す真のモーション・ベクトルＴＭＶを判定する
ために、入りディジタル・ビデオ信号が真のモーション
評価プロセッサ２２に供給される。プロセッサ２２は適
宜にモーション補償されたビデオ信号の予測を行う。次
に“差異画像”情報が離散余弦変換(ＤＣＴ)２４で変換
され、変換された情報の量子化(Ｑ)２６が行われる。前
記双方の動作とも従来技術に基づくものである。量子化
された変換係数と量子化器のインジケータ情報は図２に
示した基本構造のような可変長符号化(ＶＬＣ)エンコー
ダに送られる。量子化された変換係数には逆量子化(Ｉ
Ｑ)２８が行われ、その後、逆離散余弦変換(ＩＤＣＴ)
３０が行われる。結果の情報は遅延を与えるためにフレ
ーム・メモリ３２に結合される。システムのデコーダで
本発明に基づく用途のための真のモーション・ベクトル
情報を生成するために、現行画像からの画像情報とフレ
ーム・メモリ３２からのフレーム遅延画像とが比較さ
れ、かつ後述のように処理される(図３を参照)。図２に
示したような一般的構成であり、特に真のモーション・
ベクトルを生成するようには構成されていないエンコー
ダは、本明細書で参考文献として参照されている前述の
サンおよびベトロの特許に詳細に記載されている。
【００３５】モーションの流れを計算するためのアルゴ
リズムは２つの範疇に分類することができる。すなわ
ち、時間的冗長性を除去するためのアルゴリズムと、物
理的モーションをトラッキングするためのアルゴリズム
である。第１組のモーション評価アルゴリズムの目的
は、ビデオ圧縮プロセスで時間的冗長性を除去すること
にある。モーション映像では、あるフレームと、対応す
る先行フレーム内に同様の場面が存在する。伝送される
情報量を最小限にするため、ＭＰＥＧビデオ符号化基準
が元のブロックの代わりに変位された差異ブロックを符
号化する。例えば、現行フレーム内のブロックが先行フ
レーム内の変位されたブロックと同様であるものと想定
してみる。(例えば、飛越しシステムで２つの奇数フィ
ールドと中間の偶数フィールドを示した図５を参照され
たい。“同様の”ブロックは点線で囲んで示してあ
る。)モーション予測ベクトルが残余ブロック(差異)と
共に符号化される。達成される圧縮比は冗長性の除去に
応じて左右されるので、先行技術のシステムでは最小限
の変位フレーム差(ＤＦＤ)に対応する変位ベクトルが利
用される場合が多い。
リズムは２つの範疇に分類することができる。すなわ
ち、時間的冗長性を除去するためのアルゴリズムと、物
理的モーションをトラッキングするためのアルゴリズム
である。第１組のモーション評価アルゴリズムの目的
は、ビデオ圧縮プロセスで時間的冗長性を除去すること
にある。モーション映像では、あるフレームと、対応す
る先行フレーム内に同様の場面が存在する。伝送される
情報量を最小限にするため、ＭＰＥＧビデオ符号化基準
が元のブロックの代わりに変位された差異ブロックを符
号化する。例えば、現行フレーム内のブロックが先行フ
レーム内の変位されたブロックと同様であるものと想定
してみる。(例えば、飛越しシステムで２つの奇数フィ
ールドと中間の偶数フィールドを示した図５を参照され
たい。“同様の”ブロックは点線で囲んで示してあ
る。)モーション予測ベクトルが残余ブロック(差異)と
共に符号化される。達成される圧縮比は冗長性の除去に
応じて左右されるので、先行技術のシステムでは最小限
の変位フレーム差(ＤＦＤ)に対応する変位ベクトルが利
用される場合が多い。
【００３６】第２の種類のモーション評価アルゴリズム
はビデオ・シーケンス内の物理的モーションの特徴を正
確にトラッキングすることを目的としている。ビデオ・
シーケンスは三次元(３Ｄ)の実世界を一連の二次元画像
上に投影することから生ずる。三次元の実世界のオブジ
ェクトが移動すると、二次元画像の明るさ(ピクセル輝
度)が対応して変化する。三次元の実世界のポイントの
移動が二次―元に投影されることを、本明細書では“真
のモーション”と呼ぶ。移動カメラを介して未知の環境
を識別することを目標とするコンピュータ・ビジョンは
真のモーション情報の多くの潜在的な用例のうちの１つ
である。
はビデオ・シーケンス内の物理的モーションの特徴を正
確にトラッキングすることを目的としている。ビデオ・
シーケンスは三次元(３Ｄ)の実世界を一連の二次元画像
上に投影することから生ずる。三次元の実世界のオブジ
ェクトが移動すると、二次元画像の明るさ(ピクセル輝
度)が対応して変化する。三次元の実世界のポイントの
移動が二次―元に投影されることを、本明細書では“真
のモーション”と呼ぶ。移動カメラを介して未知の環境
を識別することを目標とするコンピュータ・ビジョンは
真のモーション情報の多くの潜在的な用例のうちの１つ
である。
【００３７】既存の多くのモーション評価アルゴリズム
は速度ひずみの点で適切な、または最良のモーション・
ベクトルを最適に探索することを試みるものである。そ
の結果、方式が複雑になり、モーション・ベクトルが場
面内の真の物理的モーションと対応しない場合が多い。
は速度ひずみの点で適切な、または最良のモーション・
ベクトルを最適に探索することを試みるものである。そ
の結果、方式が複雑になり、モーション・ベクトルが場
面内の真の物理的モーションと対応しない場合が多い。
【００３８】ほとんどのビデオ圧縮アルゴリズムでは、
画質と、圧縮比と、計算上のコストとの間で妥協がなさ
れる。一般に、圧縮比が低いほど、画質は良くなる。
画質と、圧縮比と、計算上のコストとの間で妥協がなさ
れる。一般に、圧縮比が低いほど、画質は良くなる。
【００３９】高画質ビデオ圧縮(例えばビデオ放送)の場
合、量子化のスケールは通常は低い。従って、インター
フレーム残余ブロックのために利用できるビット数Ｂ
i_resは全ビット伝送速度Ｂtotalよりも優性である。最
近までは、一般に変位がより少ないフレーム差(ＤＦＤ
もしくは平均残余ブロック)の場合は残余ブロックを符
号化するためのビット数が少なく、ひいては全ビット伝
送速度も低いものと考えられてきた。従って、ＢＭＡ
(ブロック整合アルゴリズム)ではＤＦＤを最小限にする
という判断基準が依然として広範に受け入れられてお
り、任意の特定ブロックのモーション・ベクトルはＤＦ
Ｄが最小限の変位ベクトルである。すなわち、
合、量子化のスケールは通常は低い。従って、インター
フレーム残余ブロックのために利用できるビット数Ｂ
i_resは全ビット伝送速度Ｂtotalよりも優性である。最
近までは、一般に変位がより少ないフレーム差(ＤＦＤ
もしくは平均残余ブロック)の場合は残余ブロックを符
号化するためのビット数が少なく、ひいては全ビット伝
送速度も低いものと考えられてきた。従って、ＢＭＡ
(ブロック整合アルゴリズム)ではＤＦＤを最小限にする
という判断基準が依然として広範に受け入れられてお
り、任意の特定ブロックのモーション・ベクトルはＤＦ
Ｄが最小限の変位ベクトルである。すなわち、
【００４０】
【数１】
【００４１】しかし、全探索式ＢＭＡは実際の実時間の
用途では計算コストが高すぎ、主観的な画質を向上させ
ることができる真のモーション・フィールドを通常は生
成せず、かつ一般にはビット伝送速度が極めて低いビデ
オ符号化基準のための最適なビット伝送速度を生じない
ことが認められてきている。
用途では計算コストが高すぎ、主観的な画質を向上させ
ることができる真のモーション・フィールドを通常は生
成せず、かつ一般にはビット伝送速度が極めて低いビデ
オ符号化基準のための最適なビット伝送速度を生じない
ことが認められてきている。
【００４２】大抵のビデオ符号化基準では、モーション
・ベクトルは微分的に符号化され、従ってＤＦＤが小さ
ければビット伝送速度が低くなるということは必ずしも
常に真ではない。その理由は、インターフレームの残余
ブロックのためのビット数も含まれる全ビット数にはモ
ーション・ベクトルを符号化するためのビット数も含ま
れるからである。従来形のＢＭＡはモーション評価の問
題をＤＦＤ上の最適化問題としてしか対処せず、従っ
て、大きな差異があるモーション・ベクトルの微分的符
号化という大きな代価を支払ってきた。差異が小さいほ
ど、必要なビット数は少なくなる。下記に示すような速
度を最適化したモーション評価アルゴリズムは、全ビッ
ト数を正当化する(account for)ものであろう。
・ベクトルは微分的に符号化され、従ってＤＦＤが小さ
ければビット伝送速度が低くなるということは必ずしも
常に真ではない。その理由は、インターフレームの残余
ブロックのためのビット数も含まれる全ビット数にはモ
ーション・ベクトルを符号化するためのビット数も含ま
れるからである。従来形のＢＭＡはモーション評価の問
題をＤＦＤ上の最適化問題としてしか対処せず、従っ
て、大きな差異があるモーション・ベクトルの微分的符
号化という大きな代価を支払ってきた。差異が小さいほ
ど、必要なビット数は少なくなる。下記に示すような速
度を最適化したモーション評価アルゴリズムは、全ビッ
ト数を正当化する(account for)ものであろう。
【００４３】
【数２】
【００４４】但し、ｖi(バー)はブロックｉのモーショ
ン・ベクトルであり、Δｖi(バー)＝ｖi(バー)−ｖiーl
(バー)，ＤＦＤi(ｖi(バー))であり、(ＤＦＤi(ｖi(バ
ー)，Ｑi)はこのフレーム差に必要なビット数である。
ン・ベクトルであり、Δｖi(バー)＝ｖi(バー)−ｖiーl
(バー)，ＤＦＤi(ｖi(バー))であり、(ＤＦＤi(ｖi(バ
ー)，Ｑi)はこのフレーム差に必要なビット数である。
【００４５】空間的相関技術：真のモーション・フィー
ルドは空間領域内で区分的に連続しているものと見なす
ことができることが判明している。従って、１つの特徴
的なブロック自体ではなく、近隣ブロック全体の大域的
なモーションの傾向を考慮すれば、モーション・ベクト
ルをより高い信頼性で評価することができる。このアプ
ローチによって、単一の、誤りモーション・ベクトルを
その周囲のモーション・ベクトルで補正するチャンスが
増大する。例えば、ある方向に移動するオブジェクトが
あり、トラッキング装置がノイズにより中心ブロックを
トランキングすることに失敗し、しかし周囲のブロック
のトラッキングには成功したものと想定してみる。近隣
ブロックに平滑度の制約がかけられば、中心ブロックの
真のモーションを修復することができる。
ルドは空間領域内で区分的に連続しているものと見なす
ことができることが判明している。従って、１つの特徴
的なブロック自体ではなく、近隣ブロック全体の大域的
なモーションの傾向を考慮すれば、モーション・ベクト
ルをより高い信頼性で評価することができる。このアプ
ローチによって、単一の、誤りモーション・ベクトルを
その周囲のモーション・ベクトルで補正するチャンスが
増大する。例えば、ある方向に移動するオブジェクトが
あり、トラッキング装置がノイズにより中心ブロックを
トランキングすることに失敗し、しかし周囲のブロック
のトラッキングには成功したものと想定してみる。近隣
ブロックに平滑度の制約がかけられば、中心ブロックの
真のモーションを修復することができる。
【００４６】空間的／時間的補間技術：真のモーション
・フィールドは更に時間的領域でも区分的に連続してい
るものとみなすことができる。すなわち、各ブロックの
モーションがブロックのサイズよりも大幅に小さいもの
と想定すると、モーション・フィールドは時間的領域で
区分的に連続しているのである。従って、モーション・
フィールドは空間的領域(二次元)で区分的に連続してい
るだけではなく、時間的領域(一次元)でも区分的に連続
しているのである。このように、空間的および時間的に
隣接するブロック間のモーション・ベクトルの相関を有
効利用することによって、整合のための初期の探索領域
を縮小することができる。
・フィールドは更に時間的領域でも区分的に連続してい
るものとみなすことができる。すなわち、各ブロックの
モーションがブロックのサイズよりも大幅に小さいもの
と想定すると、モーション・フィールドは時間的領域で
区分的に連続しているのである。従って、モーション・
フィールドは空間的領域(二次元)で区分的に連続してい
るだけではなく、時間的領域(一次元)でも区分的に連続
しているのである。このように、空間的および時間的に
隣接するブロック間のモーション・ベクトルの相関を有
効利用することによって、整合のための初期の探索領域
を縮小することができる。
【００４７】区分的に連続したモーション・フィールド
は微分的に符号化されたモーション・ベクトルのビット
伝送速度を低下させる点で有利である。したがて、近隣
ブズンク緩和アプローチに基づく“真の”モーション・
トラッキング装置によって速度を最適化したモーション
の評価の効率的なアプローチが得られる。近隣ブロック
緩和の文脈では、方程式(２)を下記のように記載するこ
とができる。
は微分的に符号化されたモーション・ベクトルのビット
伝送速度を低下させる点で有利である。したがて、近隣
ブズンク緩和アプローチに基づく“真の”モーション・
トラッキング装置によって速度を最適化したモーション
の評価の効率的なアプローチが得られる。近隣ブロック
緩和の文脈では、方程式(２)を下記のように記載するこ
とができる。
【００４８】
【数３】
【００４９】係数α1およびα2はモーション・ベクトル
に対する近隣ブロックの影響を所望のとおりに近似計算
するように選択される。
に対する近隣ブロックの影響を所望のとおりに近似計算
するように選択される。
【００５０】ＢjがＢiの近隣にあり、ｖj(バー)は最適
なモーション・ベクトルであり、また、
なモーション・ベクトルであり、また、
【００５１】
【数４】
【００５２】または、
【００５３】
【数５】
【００５４】に基づいてｖi(バー)がｖj *(バー)から逸
れると共にＤＦＤjｖ(バー)が増大するものと想定す
る。
れると共にＤＦＤjｖ(バー)が増大するものと想定す
る。
【００５５】方程式(５)を方程式(３)に代入する。
【００５６】
【数６】
【００５７】但しＮ(Ｂ1)はＢjの近隣ブロックを意味し
ている。(μ＝β／γ＝α2Ｑi／γα1) ここで緩和方法で一般に採用されている構想を用いるこ
とができる。すなわち、ブロックｉが近隣の緩和を更新
中にｖj *(バー)(およびＤＦＤjｖj *(バー))が一定に保
たれるものと仮定することができる。従って、これらを
方程式(６)から省くことができ、下記となる。
ている。(μ＝β／γ＝α2Ｑi／γα1) ここで緩和方法で一般に採用されている構想を用いるこ
とができる。すなわち、ブロックｉが近隣の緩和を更新
中にｖj *(バー)(およびＤＦＤjｖj *(バー))が一定に保
たれるものと仮定することができる。従って、これらを
方程式(６)から省くことができ、下記となる。
【００５８】
【数７】
【００５９】特定のモーション・ベクトルの結果、中心
ブロックとその近隣ブロックのＤＦＤのドロッピング(d
ropping)を生じた場合は、エンコーダにとって、そのモ
ーション・ベクトルが前記ブロックのモーション・ベク
トルとして選択される。すなわち、２つのモーション・
ベクトルによって同様のＤＦＤが生じた場合、近隣ブロ
ックのモーションにより近い方のモーション・ベクトル
が選択される。この方法によって生成されたモーション
・フィールドは方程式(１)によるものよりも平滑であ
る。
ブロックとその近隣ブロックのＤＦＤのドロッピング(d
ropping)を生じた場合は、エンコーダにとって、そのモ
ーション・ベクトルが前記ブロックのモーション・ベク
トルとして選択される。すなわち、２つのモーション・
ベクトルによって同様のＤＦＤが生じた場合、近隣ブロ
ックのモーションにより近い方のモーション・ベクトル
が選択される。この方法によって生成されたモーション
・フィールドは方程式(１)によるものよりも平滑であ
る。
【００６０】上記の方法はオブジェクトの回転、ズーミ
ングおよびアプローチングのような非並進運動には適し
ていない。例えば、オブジェクトが逆時計回りに回転す
るものと想定してみる。方程式(７)は近隣ブロックが同
じ並進モーションで移動するものと想定しているので、
これは回転運動を適切にモデル化することができない。
近隣ブロックは均一なモーション・ベクトルを有してい
ないので、近隣ブロックのモーション・ベクトルには更
なる緩和がもたらされる。すなわち、
ングおよびアプローチングのような非並進運動には適し
ていない。例えば、オブジェクトが逆時計回りに回転す
るものと想定してみる。方程式(７)は近隣ブロックが同
じ並進モーションで移動するものと想定しているので、
これは回転運動を適切にモデル化することができない。
近隣ブロックは均一なモーション・ベクトルを有してい
ないので、近隣ブロックのモーション・ベクトルには更
なる緩和がもたらされる。すなわち、
【００６１】
【数８】
【００６２】但し、非並進モーションによりモーション
・ベクトルが近隣ブロックの間で局部的に変化できるよ
うに小さいベクトルδが組込まれており、また、μi,j
は異なる近隣ブロックの重み係数である。ＢiとＢjとの
距離が短いほど、μi,jの値は大きい。更に、Ｑiが大き
いほどμi,jの値は大きい。より具体的には、中心に近
いＤＦＤには重み係数がより大きい４つの最も近接した
近隣ブロックを利用するのである。δのベクトルを含め
ることによって、回転、ズーミング、シヤリング等のよ
うなより複雑なモーションを適正にトラッキングするこ
とが可能になる。近隣ブロックの緩和はオブジェクトの
大域的傾向を考慮し、非並進モーションに適応するある
程度の柔軟性を付与する。(ａ)回転、および(ｂ)ズーミ
ング／アプローチングのようなこれらの他の(すなわち
非並進的な)類似モーションに適応するために、方程式
(８)の近隣ブロック間の局部的な変化δを含めてある。
・ベクトルが近隣ブロックの間で局部的に変化できるよ
うに小さいベクトルδが組込まれており、また、μi,j
は異なる近隣ブロックの重み係数である。ＢiとＢjとの
距離が短いほど、μi,jの値は大きい。更に、Ｑiが大き
いほどμi,jの値は大きい。より具体的には、中心に近
いＤＦＤには重み係数がより大きい４つの最も近接した
近隣ブロックを利用するのである。δのベクトルを含め
ることによって、回転、ズーミング、シヤリング等のよ
うなより複雑なモーションを適正にトラッキングするこ
とが可能になる。近隣ブロックの緩和はオブジェクトの
大域的傾向を考慮し、非並進モーションに適応するある
程度の柔軟性を付与する。(ａ)回転、および(ｂ)ズーミ
ング／アプローチングのようなこれらの他の(すなわち
非並進的な)類似モーションに適応するために、方程式
(８)の近隣ブロック間の局部的な変化δを含めてある。
【００６３】図３を参照すると、システムの復号末端
で、受信した信号のビットストリームが可変長(ＶＬＣ)
デコーダ３８に送られ、デコーダ３８の出力が逆量子化
器(ＩＱ)４０と結合される。この発明に基づくエンコー
ダ(図１)によって提供される真のモーション・ベクトル
(ＴＭＶ)が抽出され、モーション補償予測器４２に供給
される。ＶＬＤ３８／ＩＱ４０の主要信号出力は逆離散
余弦変換(ＩＤＣＴ)４４で変換され、加算器４６で、モ
ーション補償予測器４２からの出力と結合される。加算
器４６からの結合された出力はフレーム・メモリ４８に
送られ、その出力は表示装置での所望の画像を生成する
ための事後処理用に情報処理受像機の残りの事後処理段
に送られる。例えば後述するようなアップ変換または飛
越し走査から漸進走査への変換を達成するために、デコ
ーダで利用できる真のモーション・ベクトル情報も事後
処理段５０に送られる。
で、受信した信号のビットストリームが可変長(ＶＬＣ)
デコーダ３８に送られ、デコーダ３８の出力が逆量子化
器(ＩＱ)４０と結合される。この発明に基づくエンコー
ダ(図１)によって提供される真のモーション・ベクトル
(ＴＭＶ)が抽出され、モーション補償予測器４２に供給
される。ＶＬＤ３８／ＩＱ４０の主要信号出力は逆離散
余弦変換(ＩＤＣＴ)４４で変換され、加算器４６で、モ
ーション補償予測器４２からの出力と結合される。加算
器４６からの結合された出力はフレーム・メモリ４８に
送られ、その出力は表示装置での所望の画像を生成する
ための事後処理用に情報処理受像機の残りの事後処理段
に送られる。例えば後述するようなアップ変換または飛
越し走査から漸進走査への変換を達成するために、デコ
ーダで利用できる真のモーション・ベクトル情報も事後
処理段５０に送られる。
【００６４】フレーム速度アップ変換：図４の概略図を
参照すると、画像ブロックＢiがｖiをフレームＦt-1か
らフレームＦt+1へと移動させた場合、恐らくブロック
Ｂiがｖi／２をフレームＦtへと、すなわち図４に示し
たように移動させる。モーションをベースにしたフレー
ム速度アップ変換の基本的な技術はフレームＦt-1，フ
レームＦt+1に基づいてフレームＦtを補間することであ
り、ブロックのモーション・ベクトル｛ｖi｝を下記の
ように表記することができる。
参照すると、画像ブロックＢiがｖiをフレームＦt-1か
らフレームＦt+1へと移動させた場合、恐らくブロック
Ｂiがｖi／２をフレームＦtへと、すなわち図４に示し
たように移動させる。モーションをベースにしたフレー
ム速度アップ変換の基本的な技術はフレームＦt-1，フ
レームＦt+1に基づいてフレームＦtを補間することであ
り、ブロックのモーション・ベクトル｛ｖi｝を下記の
ように表記することができる。
【００６５】
【数９】
【００６６】但し、ｐ(バー)＝〔ｘ，ｙ〕tはピクセル
の位置を意味し、Ｉ(ｐ，ｔ(バー))はｔの時点でのピク
セル〔ｘ，ｙ〕の輝度を意味し、Ｉ(バー)(ｐ(バー)，
ｔ)はｔの時点での再構成されたピクセル〔ｘ，ｙ〕の
輝度を意味し、またｖi(バー)はブロックＢiのモーショ
ン・ベクトルである。
の位置を意味し、Ｉ(ｐ，ｔ(バー))はｔの時点でのピク
セル〔ｘ，ｙ〕の輝度を意味し、Ｉ(バー)(ｐ(バー)，
ｔ)はｔの時点での再構成されたピクセル〔ｘ，ｙ〕の
輝度を意味し、またｖi(バー)はブロックＢiのモーショ
ン・ベクトルである。
【００６７】モーションの評価ｖi／２が正確であるほ
ど、再構成のエラーΣ‖Ｉ(ｐ，ｔ)−Ｉ(ｐ，ｔ)‖が少
なくなり、モーションをベースにした補間の質が高くな
ることに留意されたい。従って、伝送されたモーション
を利用したフレーム速度アップ変換の可能な技術の１つ
は、Ｆt-1，Ｆt+1，．．．を｛２ｖi｝で符号化するこ
とであり、但しｖiはＦtからＦt+1までのＢiのモーショ
ン・ベクトルである。再構成エラーは最小限にあるが、
速度ひずみ曲線は最適化されない。
ど、再構成のエラーΣ‖Ｉ(ｐ，ｔ)−Ｉ(ｐ，ｔ)‖が少
なくなり、モーションをベースにした補間の質が高くな
ることに留意されたい。従って、伝送されたモーション
を利用したフレーム速度アップ変換の可能な技術の１つ
は、Ｆt-1，Ｆt+1，．．．を｛２ｖi｝で符号化するこ
とであり、但しｖiはＦtからＦt+1までのＢiのモーショ
ン・ベクトルである。再構成エラーは最小限にあるが、
速度ひずみ曲線は最適化されない。
【００６８】方程式(８)は方程式(１)よりも正確に場面
内のブロックの真の動きを捕らえることを示すことがで
きる。従って、方程式(８)を用いたｖi／２が方程式
(１)を用いたｖi／２よりも正確である公算が高い。
内のブロックの真の動きを捕らえることを示すことがで
きる。従って、方程式(８)を用いたｖi／２が方程式
(１)を用いたｖi／２よりも正確である公算が高い。
【００６９】ブロックＢiがＩＮＴＲＡ(モーション補償
なし)のブロックとして符号化された場合、それは通常
はカバーされない領域(図４を参照)を暗示している。従
って下記になる。
なし)のブロックとして符号化された場合、それは通常
はカバーされない領域(図４を参照)を暗示している。従
って下記になる。
【００７０】
【数１０】
【００７１】Ｉ(ｐ，ｔ)が方程式(９)および方程式(１
０)によってどの値にも割当てられていない場合は、通
常はそれは閉塞された領域を暗示している。その結果、
下記になる。
０)によってどの値にも割当てられていない場合は、通
常はそれは閉塞された領域を暗示している。その結果、
下記になる。
【００７２】
【数１１】
【００７３】Ｆt+nからの補間のより一般的な問題に関
しては、本発明の方法は下記のように要約することがで
きる。
しては、本発明の方法は下記のように要約することがで
きる。
【００７４】
【数１２】
【００７５】但し、ｖi(バー)はフレームＦt-mからフレ
ームＦt+nまでのＢiの動きであり、ｐ(バー)はＢiの座
標であり、ｗ(*，*)はウインドゥ関数である。Ｂiがイ
ントラ符号化される場合はｖi(バー)＝０であり、ｐ(バ
ー)がＢiの外側にある場合はｗ(*，*)はゼロに等しい。
ブロックのアーチファクトを低減するため、ｗ(*，*)の
重み係数は重複したブロックのモーション補償(ＯＢＭ
Ｃ)に関して規定された係数と同一にすることが可能で
あろう。
ームＦt+nまでのＢiの動きであり、ｐ(バー)はＢiの座
標であり、ｗ(*，*)はウインドゥ関数である。Ｂiがイ
ントラ符号化される場合はｖi(バー)＝０であり、ｐ(バ
ー)がＢiの外側にある場合はｗ(*，*)はゼロに等しい。
ブロックのアーチファクトを低減するため、ｗ(*，*)の
重み係数は重複したブロックのモーション補償(ＯＢＭ
Ｃ)に関して規定された係数と同一にすることが可能で
あろう。
【００７６】飛越し走査から漸進走査への変換：前述の
ように、本発明の機構は飛越し走査から漸進走査への変
換と組合わせて利用するのに特に適している(図６およ
び図７を参照)。第１のステップはビデオ・デコーダ(図
３を参照)で真のモーションをベースにした補償を実施
し、２ｔの平面で欠落したサンプルの集合を求めること
であり、第２のステップはこれらのサンプルと先行する
フィールド用に存在するサンプルとを利用して、欠落し
たフィールドのためのサンプルを判定することである
(図６を参照)。モーションをベースにした補償に関する
幾つかの論点を先ず記述する。次に、汎用サンプリング
法則の利用について説明する。最後に、高画質の出力を
得る実際的な走査変換方式を達成するために２つのステ
ップを統合できるように、多様な異なるシナリオが検討
される。
ように、本発明の機構は飛越し走査から漸進走査への変
換と組合わせて利用するのに特に適している(図６およ
び図７を参照)。第１のステップはビデオ・デコーダ(図
３を参照)で真のモーションをベースにした補償を実施
し、２ｔの平面で欠落したサンプルの集合を求めること
であり、第２のステップはこれらのサンプルと先行する
フィールド用に存在するサンプルとを利用して、欠落し
たフィールドのためのサンプルを判定することである
(図６を参照)。モーションをベースにした補償に関する
幾つかの論点を先ず記述する。次に、汎用サンプリング
法則の利用について説明する。最後に、高画質の出力を
得る実際的な走査変換方式を達成するために２つのステ
ップを統合できるように、多様な異なるシナリオが検討
される。
【００７７】従来の大抵の方法は因果的情報(causal in
formation)を利用する(次のフィールドは決して利用し
ない)。このような方法は現行のフィールド情報に基づ
いてモーションの評価を行う。これに対して、本発明の
方法は非因果的な情報を利用する。モーションの評価は
先行フィールドと次のフィールドとを利用して行われ
る。あるブロックのモーションが極めて短時間だけほぼ
直線的であるものと想定することによって、現行のフィ
ールドに関するモーション・ベクトルを直線的に補間す
ることができる。加えて、先行フィールドと次続のフィ
ールドからの情報が得られるので、現行フィールドの非
格子ピクセルはより精度を高めるために双方向性に補間
される。更に、先行の、または次続の奇数フィールドが
現行の奇数フィールドのモーションを評価するために利
用される(図７を参照)。現行の偶数フィールドのモーシ
ョンの評価には先行の、または次続の偶数フィールドが
利用される。偶数フィールドのモーション評価には奇数
フィールドは用いられず、その逆も同様である。このよ
うに、同じ(奇数または偶数)番号が付されたフィールド
が比較される。奇数フィールド内のほとんどのピクセル
は奇数フィールド(例えばモーションがない背景、水平
パニング領域)に滞留する。従って、現行の奇数フィー
ルドのモーション・ベクトルを評価するには先行の、ま
たは次続の奇数フィールドを利用することが適切であ
る。奇数ピクセルの垂直移動がある場合だけ、奇数フィ
ールド内のピクセルが偶数フィールドに移動する。しか
し、奇数ピクセルの垂直移動がある場合は、現行の奇数
フィールド内で欠落した情報は先行する偶数フィールト
でも欠落する。その場合はモーションを追跡する必要は
ない。
formation)を利用する(次のフィールドは決して利用し
ない)。このような方法は現行のフィールド情報に基づ
いてモーションの評価を行う。これに対して、本発明の
方法は非因果的な情報を利用する。モーションの評価は
先行フィールドと次のフィールドとを利用して行われ
る。あるブロックのモーションが極めて短時間だけほぼ
直線的であるものと想定することによって、現行のフィ
ールドに関するモーション・ベクトルを直線的に補間す
ることができる。加えて、先行フィールドと次続のフィ
ールドからの情報が得られるので、現行フィールドの非
格子ピクセルはより精度を高めるために双方向性に補間
される。更に、先行の、または次続の奇数フィールドが
現行の奇数フィールドのモーションを評価するために利
用される(図７を参照)。現行の偶数フィールドのモーシ
ョンの評価には先行の、または次続の偶数フィールドが
利用される。偶数フィールドのモーション評価には奇数
フィールドは用いられず、その逆も同様である。このよ
うに、同じ(奇数または偶数)番号が付されたフィールド
が比較される。奇数フィールド内のほとんどのピクセル
は奇数フィールド(例えばモーションがない背景、水平
パニング領域)に滞留する。従って、現行の奇数フィー
ルドのモーション・ベクトルを評価するには先行の、ま
たは次続の奇数フィールドを利用することが適切であ
る。奇数ピクセルの垂直移動がある場合だけ、奇数フィ
ールド内のピクセルが偶数フィールドに移動する。しか
し、奇数ピクセルの垂直移動がある場合は、現行の奇数
フィールド内で欠落した情報は先行する偶数フィールト
でも欠落する。その場合はモーションを追跡する必要は
ない。
【００７８】本発明の方法は線の平均化と、モーション
補償された飛越し解除(deinterlacing)技術とを組合わ
せている。モーション補償されたサンプリング・ポイン
トの位置に基づいて、異なる重みが割当てられる。モー
ション補償されたサンプリング・ポイントの位置が欠落
したピクセルの位置(例えば非モーション領域)と同じで
ある場合には、そのポイントの信頼度は最高になる。こ
れに対して、モーション補償されたサンプリング・ポイ
ントの位置が既存のピクセルと同じである場合は、その
信頼度は最低になる。加えて、モーション・ベクトルの
信頼度はモーション補償されたサンプル・ポイントの信
頼度にも影響を及ぼす。
補償された飛越し解除(deinterlacing)技術とを組合わ
せている。モーション補償されたサンプリング・ポイン
トの位置に基づいて、異なる重みが割当てられる。モー
ション補償されたサンプリング・ポイントの位置が欠落
したピクセルの位置(例えば非モーション領域)と同じで
ある場合には、そのポイントの信頼度は最高になる。こ
れに対して、モーション補償されたサンプリング・ポイ
ントの位置が既存のピクセルと同じである場合は、その
信頼度は最低になる。加えて、モーション・ベクトルの
信頼度はモーション補償されたサンプル・ポイントの信
頼度にも影響を及ぼす。
【００７９】飛越し解除アプローチの最初のステップは
モーションをベースにした補償を実施し、図５に示すよ
うに２ｔ(偶数フィールド)の平面で欠落したサンプルの
集合を求めることである。２ｔの平面で欠落したサンプ
ルの集合｛Ｉ(ｍ＋△x，２ｎ＋△y，２ｔ)｝を求めるに
は下記のような多くのアプローチがある。 １． 先行する奇数フィールド(２ｔ−１)と後続の奇数
フィールド(２ｔ＋１)との間のモーションの評価からＩ
(ｍ＋ｖx，２ｎ＋１＋ｖy，２ｔ)＝Ｉ(ｍ，２ｎ＋１，
２ｔ＋１)＝Ｉ(ｍ＋２ｖx，２ｎ＋１＋２ｖy，２ｔ−
１)を見出すことができる。 ２． 偶数フィールド(２ｔ)と偶数フィールド(２ｔ＋
２)との間のモーションの評価からＩ(ｍ＋ｖx，２ｎ＋
ｖy，２ｔ)＝Ｉ(ｍ，２ｎ，２ｔ＋２)を見出すことがで
きる。 ３． 先行する偶数フィールド(２ｔ)と後続の奇数フィ
ールド(２ｔ−２)との間のモーションの評価からＩ(ｍ
＋ｖx，２ｎ＋ｖy，２ｔ)＝Ｉ(ｍ，２ｎ，２ｔ−２)を
見出すことができる。
モーションをベースにした補償を実施し、図５に示すよ
うに２ｔ(偶数フィールド)の平面で欠落したサンプルの
集合を求めることである。２ｔの平面で欠落したサンプ
ルの集合｛Ｉ(ｍ＋△x，２ｎ＋△y，２ｔ)｝を求めるに
は下記のような多くのアプローチがある。 １． 先行する奇数フィールド(２ｔ−１)と後続の奇数
フィールド(２ｔ＋１)との間のモーションの評価からＩ
(ｍ＋ｖx，２ｎ＋１＋ｖy，２ｔ)＝Ｉ(ｍ，２ｎ＋１，
２ｔ＋１)＝Ｉ(ｍ＋２ｖx，２ｎ＋１＋２ｖy，２ｔ−
１)を見出すことができる。 ２． 偶数フィールド(２ｔ)と偶数フィールド(２ｔ＋
２)との間のモーションの評価からＩ(ｍ＋ｖx，２ｎ＋
ｖy，２ｔ)＝Ｉ(ｍ，２ｎ，２ｔ＋２)を見出すことがで
きる。 ３． 先行する偶数フィールド(２ｔ)と後続の奇数フィ
ールド(２ｔ−２)との間のモーションの評価からＩ(ｍ
＋ｖx，２ｎ＋ｖy，２ｔ)＝Ｉ(ｍ，２ｎ，２ｔ−２)を
見出すことができる。
【００８０】△xおよび△yには高い精度が必要なので、
この用途のための真のモーションのトラッキングには圧
縮目的の真のモーションのトラッキングよりも高い正確
さと精密さが必要である。本発明の高精度の真のモーシ
ョン・トラッキング装置は下記の２つの部分を垂直に集
積している。すなわち、(１)基底部として整合をベース
にした真のモーション・トラッキング装置、および(２)
グラジェントをベースにしたモーション・ベクトルの洗
練である。近隣ブロック緩和の定式化を利用した本発明
の整合をベースにした真のモーション・トラッキング装
置は信頼性が極めて高い。しかし、真のモーション・ト
ラッキング装置は全画素(full-pel)モーション・ベクト
ルだけしか見出し得ない。すなわち、評価されるモーシ
ョン・ベクトルの精度は整数未満であることはできな
い。これに対して、グラジェントをベースにした技術に
よって評価されるモーション・ベクトルの精度は極めて
精緻である。従って、高精度のモーション評価ではグラ
ジェントをベースにした技術を活用すべきである。
この用途のための真のモーションのトラッキングには圧
縮目的の真のモーションのトラッキングよりも高い正確
さと精密さが必要である。本発明の高精度の真のモーシ
ョン・トラッキング装置は下記の２つの部分を垂直に集
積している。すなわち、(１)基底部として整合をベース
にした真のモーション・トラッキング装置、および(２)
グラジェントをベースにしたモーション・ベクトルの洗
練である。近隣ブロック緩和の定式化を利用した本発明
の整合をベースにした真のモーション・トラッキング装
置は信頼性が極めて高い。しかし、真のモーション・ト
ラッキング装置は全画素(full-pel)モーション・ベクト
ルだけしか見出し得ない。すなわち、評価されるモーシ
ョン・ベクトルの精度は整数未満であることはできな
い。これに対して、グラジェントをベースにした技術に
よって評価されるモーション・ベクトルの精度は極めて
精緻である。従って、高精度のモーション評価ではグラ
ジェントをベースにした技術を活用すべきである。
【００８１】２ｔ平面で新たなモーション補償されたサ
ンプルの集合が見出された後、次に図６に示すようにこ
れらのサンプルを利用して、欠落したフィールドのため
のサンプリング格子上にあるサンプルの集合を判定しな
ければならない。このサンプリングおよび再構成の問題
があっても、信号は分離できるものと想定される。従っ
て、｛Ｉ(ｍ，２ｎ，２ｔ)，Ｉ(ｍ＋△x，２ｎ＋△y，
２ｔ)｝が与えられると、｛Ｉ(ｍ，２ｎ＋１，２ｔ)｝
を見出すには実際に２段階を要する。すなわち、水平補
間の場合：｛Ｉ(ｍ＋△x，２ｎ＋△y，２ｔ)｝を所与の
値として｛Ｉ(ｍ，２ｎ＋△y，２ｔ)｝を見出す。ナイ
キスト速度には充分な水平サンプルがあるので、
ンプルの集合が見出された後、次に図６に示すようにこ
れらのサンプルを利用して、欠落したフィールドのため
のサンプリング格子上にあるサンプルの集合を判定しな
ければならない。このサンプリングおよび再構成の問題
があっても、信号は分離できるものと想定される。従っ
て、｛Ｉ(ｍ，２ｎ，２ｔ)，Ｉ(ｍ＋△x，２ｎ＋△y，
２ｔ)｝が与えられると、｛Ｉ(ｍ，２ｎ＋１，２ｔ)｝
を見出すには実際に２段階を要する。すなわち、水平補
間の場合：｛Ｉ(ｍ＋△x，２ｎ＋△y，２ｔ)｝を所与の
値として｛Ｉ(ｍ，２ｎ＋△y，２ｔ)｝を見出す。ナイ
キスト速度には充分な水平サンプルがあるので、
【００８２】
【数１３】
【００８３】垂直補間の場合：｛Ｉ(ｍ，２ｎ，２
ｔ)｝，Ｉ(ｍ，２ｎ＋△y，２ｔ)｝を所与の値として、
｛Ｉ(ｍ，２ｎ＋１，２ｔ)｝を見出す。０＜△y＜２で
あるので、一般化サンプリング法則を下記のように用い
る。
ｔ)｝，Ｉ(ｍ，２ｎ＋△y，２ｔ)｝を所与の値として、
｛Ｉ(ｍ，２ｎ＋１，２ｔ)｝を見出す。０＜△y＜２で
あるので、一般化サンプリング法則を下記のように用い
る。
【００８４】
【数１４】
【００８５】上記の方法は良好な結果をもたらす。しか
し、更なる注意が必要な２つの空間的な事例がある。 １． オブジェクトの閉塞および再出現：前述したよう
に、オブジェクトの閉塞および再出現がある場合は常
に、モーションの評価とモーションをベースにしたフレ
ーム速度アップ変換はより困難になる。このモーション
補償された飛越し解除の課題では、オブジェクトの閉塞
および再出現領域でのモーション・ベクトルは無視さ
れ、イントラ・フィールド(フィード内)情報(例えば線
平均化技術)が用いられる。 ２． フィールド・モーションの特異性：オブジェクト
がフィールドごとに(２ｎ＋１)で上方／下方に移動して
いる場合。(△y＝０)、複数のフィールドは単一のフィ
ールドの場合より多い情報ををもたらすものではない。
従って、イントラ・フィールド情報(例えば線平均化技
術)を用いる必要がある。
し、更なる注意が必要な２つの空間的な事例がある。 １． オブジェクトの閉塞および再出現：前述したよう
に、オブジェクトの閉塞および再出現がある場合は常
に、モーションの評価とモーションをベースにしたフレ
ーム速度アップ変換はより困難になる。このモーション
補償された飛越し解除の課題では、オブジェクトの閉塞
および再出現領域でのモーション・ベクトルは無視さ
れ、イントラ・フィールド(フィード内)情報(例えば線
平均化技術)が用いられる。 ２． フィールド・モーションの特異性：オブジェクト
がフィールドごとに(２ｎ＋１)で上方／下方に移動して
いる場合。(△y＝０)、複数のフィールドは単一のフィ
ールドの場合より多い情報ををもたらすものではない。
従って、イントラ・フィールド情報(例えば線平均化技
術)を用いる必要がある。
【００８６】本発明の方法は下記のように要約すること
ができる。
ができる。
【００８７】
【数１５】
【００８８】但し、２ｖi(バー)はフィールドｆ2t-1か
らフィールドｆ2t+1までのＢiの移動であり、｜ａ−ｂ
｜＜１である場合はδ(ａ，ｂ)＝１であり、それ以外の
場合はδ(ａ，ｂ)＝０である。ｗ(・,・,・)はウインド
ゥ関数であり、Ｉ(0)(ｉ，２ｊ＋１，２ｔ)はフィール
ドｆ2tを用いた線平均から算出される。すなわち、
らフィールドｆ2t+1までのＢiの移動であり、｜ａ−ｂ
｜＜１である場合はδ(ａ，ｂ)＝１であり、それ以外の
場合はδ(ａ，ｂ)＝０である。ｗ(・,・,・)はウインド
ゥ関数であり、Ｉ(0)(ｉ，２ｊ＋１，２ｔ)はフィール
ドｆ2tを用いた線平均から算出される。すなわち、
【００８９】
【数１６】
【００９０】(ｘ、ｙ)TがＢiの外側にある場合は常にｗ
(ｘ，ｙ，Ｂi)＝０である。ブロックのアーチファクト
を軽減するため、ｗ(・,・,・)の重み係数は重複したブ
ロック・モーション補償(ＯＢＭＣ)の場合に定義される
係数と同一でもよいであろう。
(ｘ，ｙ，Ｂi)＝０である。ブロックのアーチファクト
を軽減するため、ｗ(・,・,・)の重み係数は重複したブ
ロック・モーション補償(ＯＢＭＣ)の場合に定義される
係数と同一でもよいであろう。
【００９１】一般化サンプリング法則 飛越し走査から漸進走査への変換方法では、一般化サン
プリング法則が用いられる。このサンプリング法則自体
は以下のような法則として公知である。ｆ(ｔ)が、｜ω
｜≧ω0＝Π／Ｔs(帯域制限信号)の場合にＦ(ω)＝０で
あるようなフーリエ変換Ｆ(ω)を有する１−Ｄ関数であ
り、ｔn＝ｎＴs(ナイキスト速度)でサンプリングされた
場合、ｆ(ｔ)をそのサンプル｛ｆ(ｎＴs)｝から下記の
ように正確に再構成することができる。
プリング法則が用いられる。このサンプリング法則自体
は以下のような法則として公知である。ｆ(ｔ)が、｜ω
｜≧ω0＝Π／Ｔs(帯域制限信号)の場合にＦ(ω)＝０で
あるようなフーリエ変換Ｆ(ω)を有する１−Ｄ関数であ
り、ｔn＝ｎＴs(ナイキスト速度)でサンプリングされた
場合、ｆ(ｔ)をそのサンプル｛ｆ(ｎＴs)｝から下記の
ように正確に再構成することができる。
【００９２】
【数１７】
【００９３】原初のサンプリング法則が登場して以来、
一般化されて多様に拡張されてきた。一般化されたサン
プリング法則の１つは下記のとおりである。ｆ(ｔ)がω
0＝Π／Ｔsに帯域制限され、ナイキスト速度の1/2でサ
ンプリングされ、しかし、各サンプリング間隔で、１つ
ではなく２つのサンプルが使用された場合(集群サンプ
ル)、ｆ(ｔ)をそのサンプル｛ｆ(２ｎＴs＋△Ｔk)／０
＜△Ｔs、＜２Ｔx、ｋ＝１，２｝から正確に再構成する
ことができる。
一般化されて多様に拡張されてきた。一般化されたサン
プリング法則の１つは下記のとおりである。ｆ(ｔ)がω
0＝Π／Ｔsに帯域制限され、ナイキスト速度の1/2でサ
ンプリングされ、しかし、各サンプリング間隔で、１つ
ではなく２つのサンプルが使用された場合(集群サンプ
ル)、ｆ(ｔ)をそのサンプル｛ｆ(２ｎＴs＋△Ｔk)／０
＜△Ｔs、＜２Ｔx、ｋ＝１，２｝から正確に再構成する
ことができる。
【００９４】エラー隠蔽のための真のモーション情報 真のモーション・ベクトルはエラーをより良く隠蔽する
ためにも利用することができる。エラーの隠蔽は利用で
きる映像情報を活用して(例えばノイズがあるチャネル
のビット・エラー、ＡＴＭネットワークでのセル損失の
ような)チャネル・ノイズによる損失を回復することを
意図したものである。エラー隠蔽技術は、基本的なアプ
ローチでエンコーダとデコーダが果たす役割に応じて２
つの範疇に分類することができる。順方向エラー隠蔽に
は、符号化されたビットストリームのエラーに対する柔
軟性を高めるためにソース(エンコーダ)の末端で冗長性
を加える方法が含まれる。例えば、エラー隠蔽を改良す
るためにＩ−映像モーション・ベクトルがＭＰＥＧ−２
に導入された。しかし、構文の変更が必要である。事後
処理によるエラー隠蔽とは、画像およびビデオ信号の特
性に基づいて、損傷した映像領域を回復するためにデコ
ーダで行われる操作である。
ためにも利用することができる。エラーの隠蔽は利用で
きる映像情報を活用して(例えばノイズがあるチャネル
のビット・エラー、ＡＴＭネットワークでのセル損失の
ような)チャネル・ノイズによる損失を回復することを
意図したものである。エラー隠蔽技術は、基本的なアプ
ローチでエンコーダとデコーダが果たす役割に応じて２
つの範疇に分類することができる。順方向エラー隠蔽に
は、符号化されたビットストリームのエラーに対する柔
軟性を高めるためにソース(エンコーダ)の末端で冗長性
を加える方法が含まれる。例えば、エラー隠蔽を改良す
るためにＩ−映像モーション・ベクトルがＭＰＥＧ−２
に導入された。しかし、構文の変更が必要である。事後
処理によるエラー隠蔽とは、画像およびビデオ信号の特
性に基づいて、損傷した映像領域を回復するためにデコ
ーダで行われる操作である。
【００９５】この方法は損傷した画像領域のためにモー
ションをベースにした時間的補間を利用する事後処理エ
ラー隠蔽方法である。この方法はエンコーダにて真のモ
ーション評価を利用する。この作業では構文は変更され
ず、ひいては追加のビットは不要である。ビデオ符号化
のために真のモーション・ベクトルを利用することで残
余およびモーション情報に関してもビット伝送速度を最
適化することさえもできる。符号化のための真のモーシ
ョン・ベクトルを利用することによって、最小限の残余
ブロック整合アルゴリズム(ＢＭＡ)全体をとおしてモー
ション補償フレーム速度アップ変換が著しく改良され
る。モーションの評価が正確であるほど、フレーム速度
アップ変換の性能が向上する。エラー隠蔽の課題は、エ
ラーがフレーム全体に亘る場合はフレーム速度アップ変
換の互いと同様であるので、上記のように真のモーショ
ン・ベクトルを利用して損傷した画像領域をより容易に
補間することができる。
ションをベースにした時間的補間を利用する事後処理エ
ラー隠蔽方法である。この方法はエンコーダにて真のモ
ーション評価を利用する。この作業では構文は変更され
ず、ひいては追加のビットは不要である。ビデオ符号化
のために真のモーション・ベクトルを利用することで残
余およびモーション情報に関してもビット伝送速度を最
適化することさえもできる。符号化のための真のモーシ
ョン・ベクトルを利用することによって、最小限の残余
ブロック整合アルゴリズム(ＢＭＡ)全体をとおしてモー
ション補償フレーム速度アップ変換が著しく改良され
る。モーションの評価が正確であるほど、フレーム速度
アップ変換の性能が向上する。エラー隠蔽の課題は、エ
ラーがフレーム全体に亘る場合はフレーム速度アップ変
換の互いと同様であるので、上記のように真のモーショ
ン・ベクトルを利用して損傷した画像領域をより容易に
補間することができる。
【００９６】これまで本発明の１つ、またはそれ以上の
好適な実施の形態に即して説明してきたが、特許請求の
範囲の記載の本発明の範囲から離れることなく多様な修
正が可能てあることが当業者には明らかであろう。
好適な実施の形態に即して説明してきたが、特許請求の
範囲の記載の本発明の範囲から離れることなく多様な修
正が可能てあることが当業者には明らかであろう。
【００９７】
【発明の効果】以上のように、この発明の電子ディジタ
ル画像シーケンス再生システムにおける画像データ補間
方法によれば、隣接するフィールド間隔の特徴的ブロッ
ク候補を比較して変位したフレーム差のパラメータの集
合を判定し、差異パラメータから導出された重み係数が
最小のスコアから真のモーション・ベクトルを判定する
ことによって、計算コストが低減し、移動するオブジェ
クトの場合でもアーチファクトが少なく画質が向上する
等の効果が得られる。
ル画像シーケンス再生システムにおける画像データ補間
方法によれば、隣接するフィールド間隔の特徴的ブロッ
ク候補を比較して変位したフレーム差のパラメータの集
合を判定し、差異パラメータから導出された重み係数が
最小のスコアから真のモーション・ベクトルを判定する
ことによって、計算コストが低減し、移動するオブジェ
クトの場合でもアーチファクトが少なく画質が向上する
等の効果が得られる。
【図１】 本発明と関して使用するようにされたエンコ
ーダの一部のブロック図である。
ーダの一部のブロック図である。
【図２】 ある種の基本的なエンコーダの一部のブロッ
ク図である。
ク図である。
【図３】 本発明と関して使用するようにされたビデオ
・デコーダの一部のブロック図である。
・デコーダの一部のブロック図である。
【図４】 本発明の１側面に従って伝送されたモーショ
ン情報を利用したフレーム速度アップ変換プロセスに関
して使用される用語の理解に有用な図面である。
ン情報を利用したフレーム速度アップ変換プロセスに関
して使用される用語の理解に有用な図面である。
【図５】 本発明の１側面に従ってモーションをベース
にした飛越し解除プロセスで使用されるモーション補間
のある側面を示した概略図である。
にした飛越し解除プロセスで使用されるモーション補間
のある側面を示した概略図である。
【図６】 本発明に基づくモーションをベースにした飛
越し解除に関連して一般化されたサンプリング法則を利
用したある側面の概略図である。
越し解除に関連して一般化されたサンプリング法則を利
用したある側面の概略図である。
【図７】 本発明を利用したシステムで飛越し走査から
漸進走査への変換を達成するための技術を理解するのに
有用な概略図である。
漸進走査への変換を達成するための技術を理解するのに
有用な概略図である。
【図８】 ブロック・モーション補償の理解に有用な図
面である。
面である。
２０ 画像シーケンス、２２ 真のモーション評価プロ
セッサ、２４ 離散余弦変換器、２６ 量子化器、２８
逆量子化器、３０ 逆離散余弦変換器、３２フレーム
・メモリ、３８ 可変長デコーダ、４０ 逆量子化器、
４２ モーション補償予測器、４６ 加算器、４８ フ
レーム・メモリ、５０ 事後処理段。
セッサ、２４ 離散余弦変換器、２６ 量子化器、２８
逆量子化器、３０ 逆離散余弦変換器、３２フレーム
・メモリ、３８ 可変長デコーダ、４０ 逆量子化器、
４２ モーション補償予測器、４６ 加算器、４８ フ
レーム・メモリ、５０ 事後処理段。
フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 ハイファン・スン アメリカ合衆国、ニュージャージー州、ク ランベリー、キングレット・ドライブ・サ ウス 61 (72)発明者 アンソニー・ヴェトロ アメリカ合衆国、ニューヨーク州、スタッ テン・アイランド、レジス・ドライブ 113 (72)発明者 イエン・クァン・チェン アメリカ合衆国、ニュージャージー州、フ ランクリン・パーク、カボット・ウェイ 16 (72)発明者 スン・ユアン・クン アメリカ合衆国、ニュージャージー州、プ リンストン、ダッズ・レーン 257
Claims (14)
- 【請求項１】 画像情報の個別ブロックに関連する真の
モーション・ベクトル・データを含むディジタル式に符
号化された映像信号が供給される電子ディジタル画像シ
ーケンス再生システムにおける画像データ補間方法であ
って、 前記ディジタル式に符号化された映像情報から、隣接す
る画像ブロックの近接重み係数に部分的に依存する前記
画像情報ブロックごとに前記真のモーション・ベクトル
・データを復号するステップと、 供給された映像情報から、前記供給された画像情報が不
在の中間的な画像の時限に対応する画像シーケンス信号
データを補間するステップとを含み、 前記画像情報が不在の画像の時限は、前記供給された映
像情報に関連する供給された画像の時限の間の前記中間
画像時限中に連続的に出現する中間画像情報に対応して
おり、前記補間は、 構成された画像ピクセルに、前記中間的時限の前後に出
現する前記対応するピクセルの間の画像の輝度差の情報
の分数部分を配分して、前記中間画像時限の平均輝度の
ピクセルを生成することによって、前記中間画像時限の
直前および直後に出現する前記供給された映像情報内の
対応ブロック内の対応ピクセルに基づいて、前記各々の
中間画像時限内の画像ブロックごとに画像ピクセルを構
成するステップと、 前記各々の中間時限内に構成された各々の画像ピクセル
を、対応するピクセルが基準として供給された時限内に
あるブロックに関連する真のモーション・ベクトルの分
数部分と大きさが等しい対応する真のモーション・ベク
トルと関連付けし、前記分数部分は供給された時限の間
に挿入された中間画像時限の数に従って決定されるステ
ップと、 前記構成された各々の平均輝度のピクセルを、前記対応
する復号された真のモーション・ベクトルの前記分数部
分に従って前記中間画像の時限内の空間的位置と関連付
けするステップと、 を含むことを特徴とする電子ディジタル画像シーケンス
再生システムにおける画像データ補間方法。 - 【請求項２】 前記隣接ブロックの近接重み係数は、画
像情報の各ブロックに関して、前記各画像ブロックと直
に近接した画像ブロックおよびそこから更に離れた画像
ブロックと関連するモーション・ベクトルを含んでお
り、前記真のモーション・ベクトル・データは前記直に
近接したブロックおよびそこから離れたブロックに関連
するモーション・ベクトルを加算することによって決定
され、前記加算の際に前記直に近接したパラメータは前
記離れたパラメータよりも重み係数が大きいことを特徴
とする請求項１に記載の電子ディジタル画像シーケンス
再生システムにおける画像データの補間方法。 - 【請求項３】 前記画像情報が不在の中間画像時限は、
欠落した偶数と奇数の一対の画像情報に対応し、該一対
の画像情報は画像情報のフレームを備えていると共に、 真のモーション・ベクトルを構成し、かつ画像情報が不
在の偶数および奇数フィールド内の前記画像ピクセルと
関連付けする前記ステップは、奇数フィールド情報を奇
数フィールドだけと比較し、偶数フィールド情報を偶数
フィールド情報だけと比較して、前記不在のフィールド
内の画像ピクセルと関連付けされる画像の輝度差の前記
一部と、時間モーション・ベクトルの一部とを決定する
ことを特徴とする請求項２に記載の電子ディジタル画像
シーケンス再生システムにおける画像データの補間方
法。 - 【請求項４】 前記供給された画像の時限が電子画像シ
ーケンス内の１／Ｎの連続的な時限と対応し、但しＮは
１以上の整数であり、かつ、 画像輝度差の前記分数部分と真のモーション情報の前記
分数部分とは、前記輝度差と前記情報のそれぞれ１／Ｎ
であることを特徴とする請求項３に記載の電子ディジタ
ル画像シーケンス再生システムにおける画像データの補
間方法。 - 【請求項５】 前記画像情報が不在の中間画像時限は、
偶数番号が付された画像情報フィールド内の欠落した一
対の奇数番号が付された線に対応し、かつ、 真のモーション・ベクトルを構成し、かつ画像情報が不
在の奇数線内の前記画像ピクセルと関連付けする前記ス
テップは、奇数フィールド情報を奇数フィールドだけと
比較し、前記不在の線内の画像ピクセルと関連付けされ
る画像の輝度差の前記部分と、時間モーション・ベクト
ルの一部とを決定することを特徴とする請求項１に記載
の電子ディジタル画像シーケンス再生システムにおける
画像データの補間方法。 - 【請求項６】 前記隣接ブロックの近接重み係数は、画
像情報の各ブロックに関して、前記各画像ブロックと直
に近接した画像ブロックおよびそこから更に離れた画像
ブロックと関連するモーション・ベクトルを含んでお
り、前記真のモーション・ベクトル・データは前記直に
近接したブロックおよびそこから離れたブロックに関連
するモーション・ベクトルを加算することによって決定
され、前記加算の際に前記直に近接したパラメータは前
記離れたパラメータよりも重み係数が大きいことを特徴
とする請求項５に記載の電子ディジタル画像シーケンス
再生システムにおける画像データの補間方法。 - 【請求項７】 前記画像情報が不在の中間画像時限は、
奇数番号が付された画像情報フィールド内の欠落した一
対の偶数番号が付された線に対応し、かつ、真のモーシ
ョン・ベクトルを構成し、かつ画像情報が不在の偶数線
内の前記画像ピクセルと関連付けする前記ステップは、
偶数フィールド情報を偶数フィールドだけと比較し、前
記不在の線内の画像ピクセルと関連付けされる画像の輝
度差の前記部分と、時間モーション・ベクトルの一部と
を決定することを特徴とする請求項１に記載の電子ディ
ジタル画像シーケンス再生システムにおける画像データ
の補間方法。 - 【請求項８】 前記隣接ブロックの近接重み係数は、画
像情報の各ブロックに関して、前記各画像ブロックと直
に近接した画像ブロックおよびそこから更に離れた画像
ブロックと関連するモーション・ベクトルを含んでお
り、前記真のモーション・ベクトル・データは前記直に
近接したブロックおよびそこから離れたブロックに関連
するモーション・ベクトルを加算することによって決定
され、前記加算の際に前記直に近接したパラメータは前
記離れたパラメータよりも重み係数が大きいことを特徴
とする請求項７に記載の電子ディジタル画像シーケンス
再生システムにおける画像データの補間方法。 - 【請求項９】 前記画像情報が不在の線のために構成さ
れた前記画像ピクセルを前記画像情報フィールド内の対
応する画像ピクセルと比較して、前記構成された画像ピ
クセルの空間的位置を決定するステップを更に含むこと
を特徴とする請求項８に記載の電子ディジタル画像シー
ケンス再生システムにおける画像データの補間方法。 - 【請求項１０】 画像情報の個別ブロックに関連し、隣
接ブロックの近接重み付き変位パラメータに依存する真
のモーション・ベクトル・データを含むディジタル式に
符号化された映像信号が供給される電子ディジタル画像
シーケンス再生システムにおけるフレーム速度アップ変
換方法であって、 前記ディジタル式に符号化された映像情報から、各々の
伝送されたフレーム内の前記各々の画像情報ブロックご
とに前記真のモーション・ベクトル・データを復号する
ステップと、 時限Ｔだけ間隔を隔てて伝送されたフレーム間の時間系
列に出現する中間フレームに対応する画像シーケンス信
号データを補間するステップにして、前記中間フレーム
はＴ／Ｎの時限に出現し、但しＮは１以上の整数である
前記ステップと、 中間フレーム内の各ブロックに関して、前記中間フレー
ムに時間的に近接する伝送されたフレーム内の各ブロッ
ク内の対応するピクセルについて輝度情報を平均化する
ことによって前記各中間フレームごとにピクセルを構成
するステップと、 前記各中間フレーム内の各々の平均された輝度ピクセル
を、前記ピクセルが直ぐ後続の伝送されたフレーム内に
ある対応するブロックと関連する真のモーション・ベク
トル情報の大きさの１／Ｎに等しい大きさの対応する真
のモーション・ベクトルと関連付けするステップと、 前記各々の平均輝度のピクセルを、前記対応する復号さ
れた真のモーション・ベクトルに従って前記中間フレー
ム内の空間的位置と関連付けするステップと、 を含むことを特徴とする電子ディジタル画像シーケンス
再生システムにおけるフレーム速度アップ変換方法。 - 【請求項１１】 前記近隣ブロックの近接重み係数が、
画像情報の各ブロックに関して、前記各画像ブロックに
直に隣接する画像ブロックおよび更に離れた画像ブロッ
クと関連するモーション・ベクトル・データを含んでお
り、前記モーション・ベクトル・データは前記直に隣接
するブロックおよび離れたブロックに関連するモーショ
ン・ベクトルを加算することによって決定され、前記加
算に際して前記直に隣接するパラメータが前記離れたパ
ラメータよりも重み係数が大きいことを特徴とする請求
項１０に記載の電子ディジタル画像シーケンス再生シス
テムにおけるフレーム速度アップ変換方法。 - 【請求項１２】 前記画像情報が不在の中間画像時限
は、欠落した偶数と奇数の一対の画像情報に対応し、該
一対の画像情報は画像情報のフレームを備えていると共
に、不在の偶数および奇数フィールド内に真のモーショ
ン・ベクトルを構成し、かつ前記画像ピクセルと関連付
けする前記ステップは、奇数フィールド情報を奇数フィ
ールドだけと比較し、偶数フィールド情報を偶数フィー
ルド情報だけと比較して、画像の輝度差の前記部分と、
前記不在のフィールド内の画像ピクセルと関連付けされ
る時間モーション・ベクトルの一部とを決定することを
特徴とする請求項１１に記載の電子ディジタル画像シー
ケンス再生システムにおけるフレーム速度アップ変換方
法。 - 【請求項１３】 前記供給された画像の時限が電子画像
シーケンス内の１／Ｎの連続的な時限と対応し、但しＮ
は１以上の整数であり、かつ、 画像輝度差の前記分数部分と真のモーション情報の前記
分数部分とは、前記輝度差と前記情報のそれぞれ１／Ｎ
であることを特徴とする請求項１２に記載の電子ディジ
タル画像シーケンス再生システムにおけるフレーム速度
アップ変換方法。 - 【請求項１４】 画像フィールドがピクセルのブロック
から形成されていて、該ピクセルの少なくとも幾つかが
後続のフィールド内の対応するピクセルの空間的位置と
比較される１つのフィールドへと空間的に変位される形
式の電子ディジタル画像シーケンス再生システムにおけ
る特徴的ブロックに関連する真のモーション・ベクトル
を決定する方法であって、 フィールド内のピクセルのブロックの全てのうちから、
前記ブロック内のピクセル間で顕著なテクスチャの特徴
を示すしきい値以上の輝度分散を有する特徴的ブロック
の候補を選択するステップと、 特徴的ブロックの候補を同一の番号が付された隣接する
フィールド間隔内のブロックと比較して、前記各々の特
徴的なブロックごとにＤＦＤ残余パラメータの集合を決
定するステップと、 前記候補のブロックのＤＦＤ残余パラメータの前記集合
を、残余の下限しきい値および残余の上限と比較するス
テップと、 前記特徴的なブロックの候補に関して無条件に受入れら
れるモーション・ベクトルを、前記ＤＦＤパラメータが
前記下限しきい値未満である事象に対応するモーション
・ベクトルとして特定するステップと、 前記特徴的なブロックの候補に関して拒絶されたモーシ
ョン・ベクトルを、前記ＤＦＤパラメータが前記上限以
上である事象に対応するモーション・ベクトルとして特
定するステップと、 前記特徴的なブロックの候補に関して無条件に受入れら
れるモーション・ベクトルを、前記ＤＦＤパラメータが
前記しきい値と前記上限との間にある事象に対応するモ
ーション・ベクトルとして特定するステップと、 前記受入れ可能な、および条件付きで受入れ可能な各モ
ーション・ベクトルを、対応する特徴的ブロックの候補
および該特徴的ブロックの候補の各々と所定の空間的近
隣にある近隣ブロックとに適用することによって、受入
れ可能な、または条件付きで受入れ可能なモーション・
ベクトルとして決定された前記各々の特徴的ブロック候
補の周囲の近隣の大域的モーションの傾向を判定するス
テップと、 前記受入れ可能な、および条件付きで受入れ可能なモー
ション・ベクトルの各々について、前記対応する特徴的
ブロックの候補と、該特徴的ブロックの候補の前記近隣
の近隣ブロックについて残余ブロックの合計の重み付き
スコアを計算するステップと、 各々の特徴的ブロック候補に関する真のモーション・ベ
クトルとして、最小の重み付けがなされたスコアに相当
するモーション・ベクトルを選択するステップと、 を含む電子ディジタル画像シーケンス再生システムにお
ける特徴的ブロックに関連する真のモーション・ベクト
ルを決定する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/206032 | 1998-12-04 | ||
| US09/206,032 US6192080B1 (en) | 1998-12-04 | 1998-12-04 | Motion compensated digital video signal processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000175193A true JP2000175193A (ja) | 2000-06-23 |
| JP3393832B2 JP3393832B2 (ja) | 2003-04-07 |
Family
ID=22764707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34477799A Expired - Fee Related JP3393832B2 (ja) | 1998-12-04 | 1999-12-03 | 電子ディジタル画像シーケンス再生システムにおける画像データ補間方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6192080B1 (ja) |
| EP (1) | EP1006732A3 (ja) |
| JP (1) | JP3393832B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100679027B1 (ko) | 2005-01-19 | 2007-02-05 | 삼성전자주식회사 | Ｄｃ 성분의 손실 없이 영상을 코딩하는 방법 및 장치 |
| JP2007504741A (ja) * | 2003-09-04 | 2007-03-01 | コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． | ビデオ信号の頑強なデインタレース |
| JP2013243699A (ja) * | 2005-03-10 | 2013-12-05 | Qualcomm Inc | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
Families Citing this family (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192080B1 (en) * | 1998-12-04 | 2001-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Motion compensated digital video signal processing |
| KR20010041900A (ko) * | 1999-01-15 | 2001-05-25 | 요트.게.아. 롤페즈 | 화상 시퀀스를 코딩하고 노이즈 필터링하는 방법 및 장치 |
| FR2809267B1 (fr) * | 2000-05-19 | 2002-09-27 | Thomson Multimedia Sa | Procede de detection de saturation d'un champ de vecteurs mouvement |
| US6650705B1 (en) * | 2000-05-26 | 2003-11-18 | Mitsubishi Electric Research Laboratories Inc. | Method for encoding and transcoding multiple video objects with variable temporal resolution |
| KR100364762B1 (ko) * | 2000-06-22 | 2002-12-16 | 엘지전자 주식회사 | 순차주사 영상 변환 장치 및 방법과, 그를 이용한 수직주사율 변환 장치 |
| WO2002019721A2 (en) * | 2000-08-28 | 2002-03-07 | Thomson Licensing S.A. | Method and apparatus for motion compensated temporal interpolation of video sequences |
| JP3632591B2 (ja) * | 2000-11-13 | 2005-03-23 | 日本電気株式会社 | 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体 |
| JP4011327B2 (ja) * | 2000-11-15 | 2007-11-21 | 株式会社レクサー・リサーチ | 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム |
| US6810081B2 (en) * | 2000-12-15 | 2004-10-26 | Koninklijke Philips Electronics N.V. | Method for improving accuracy of block based motion compensation |
| US6873655B2 (en) | 2001-01-09 | 2005-03-29 | Thomson Licensing A.A. | Codec system and method for spatially scalable video data |
| JP3932379B2 (ja) * | 2001-10-02 | 2007-06-20 | 株式会社日立製作所 | 画像処理装置と撮像素子 |
| CN100518316C (zh) * | 2001-12-21 | 2009-07-22 | 皇家飞利浦电子股份有限公司 | 为视频序列进行运动补偿时域内插的方法和装置 |
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| JP4287287B2 (ja) * | 2002-02-13 | 2009-07-01 | レイファイ コーポレイション | 空間時間信号の取得、圧縮、及び特徴づけのための方法及び装置 |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7362374B2 (en) * | 2002-08-30 | 2008-04-22 | Altera Corporation | Video interlacing using object motion estimation |
| US7636481B2 (en) * | 2002-10-09 | 2009-12-22 | Sony Corporation | Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels |
| KR100922941B1 (ko) * | 2002-11-04 | 2009-10-22 | 삼성전자주식회사 | 에너지에 기반한 적응적인 이산코사인 변환/역이산코사인변환 장치 및 방법 |
| EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
| US20060251168A1 (en) * | 2003-04-04 | 2006-11-09 | Koninklijke Philips Electronics N.V. | Video encoding and decoding methods and corresponding devices |
| JP2006525722A (ja) * | 2003-05-06 | 2006-11-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化及び復号化方法、並びに対応する符号化及び復号化装置 |
| KR100579493B1 (ko) * | 2003-06-16 | 2006-05-15 | 삼성전자주식회사 | 움직임 벡터 생성 장치 및 방법 |
| KR100619007B1 (ko) * | 2003-06-24 | 2006-08-31 | 삼성전자주식회사 | 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법 |
| KR100579542B1 (ko) * | 2003-07-29 | 2006-05-15 | 삼성전자주식회사 | 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법 |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7292283B2 (en) * | 2003-12-23 | 2007-11-06 | Genesis Microchip Inc. | Apparatus and method for performing sub-pixel vector estimations using quadratic approximations |
| KR20050075483A (ko) * | 2004-01-15 | 2005-07-21 | 삼성전자주식회사 | 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치 |
| US20100033622A1 (en) * | 2004-03-24 | 2010-02-11 | Erwin Bellers | Multiple description coding video transmission using de-interlacing mechanisms |
| KR20070007358A (ko) * | 2004-05-06 | 2007-01-15 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 높은 프레임율 모션 보상 색 시퀀싱 시스템 및 방법 |
| US7590059B2 (en) * | 2004-05-21 | 2009-09-15 | Broadcom Corp. | Multistandard video decoder |
| JP5464803B2 (ja) * | 2004-05-25 | 2014-04-09 | エントロピック・コミュニケーションズ・インコーポレイテッド | インターレースビデオ画像の動き推定 |
| TWI280798B (en) * | 2004-09-22 | 2007-05-01 | Via Tech Inc | Apparatus and method of adaptive de-interlace of image |
| US9055298B2 (en) * | 2005-07-15 | 2015-06-09 | Qualcomm Incorporated | Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information |
| US8427578B2 (en) | 2005-10-14 | 2013-04-23 | Broadcom Corporation | Method and system for frame rate adaptation |
| US8582660B2 (en) * | 2006-04-13 | 2013-11-12 | Qualcomm Incorporated | Selective video frame rate upconversion |
| US7701509B2 (en) | 2006-04-25 | 2010-04-20 | Nokia Corporation | Motion compensated video spatial up-conversion |
| US20080018788A1 (en) * | 2006-07-20 | 2008-01-24 | Samsung Electronics Co., Ltd. | Methods and systems of deinterlacing using super resolution technology |
| JP5254997B2 (ja) * | 2007-01-26 | 2013-08-07 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | 発見フレーム領域についての動き推定 |
| JP2008244846A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | フレーム補間装置及びその方法 |
| EP2134098A4 (en) * | 2007-03-28 | 2010-12-08 | Pioneer Corp | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM |
| KR100919291B1 (ko) * | 2007-06-18 | 2009-10-01 | 주식회사 코아로직 | 멀티미디어 데이터 생성/재생 장치 및 방법과 그 기록매체 |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| WO2010005691A1 (en) * | 2008-06-16 | 2010-01-14 | Dolby Laboratories Licensing Corporation | Rate control model adaptation based on slice dependencies for video coding |
| TWI477142B (zh) * | 2008-06-20 | 2015-03-11 | Mstar Semiconductor Inc | 影像處理電路及相關方法 |
| JP5164714B2 (ja) * | 2008-07-24 | 2013-03-21 | キヤノン株式会社 | 送信装置及び方法、プログラム |
| US20100103323A1 (en) * | 2008-10-24 | 2010-04-29 | Ati Technologies Ulc | Method, apparatus and software for determining motion vectors |
| JP2010114596A (ja) * | 2008-11-05 | 2010-05-20 | Sony Corp | 動きベクトル検出装置、その処理方法およびプログラム |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| JP5806219B2 (ja) * | 2009-10-05 | 2015-11-10 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ビデオ符号化及び復号化における埋め込み量子化パラメータ調整方法及び装置 |
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| JP4922418B2 (ja) * | 2010-02-16 | 2012-04-25 | 株式会社東芝 | 再生装置および再生装置の制御方法 |
| KR101665567B1 (ko) * | 2010-05-20 | 2016-10-12 | 삼성전자주식회사 | 3차원 뎁스 영상 시간 보간 방법 및 장치 |
| US9785653B2 (en) * | 2010-07-16 | 2017-10-10 | Shutterfly, Inc. | System and method for intelligently determining image capture times for image applications |
| US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
| JP5837575B2 (ja) | 2011-04-12 | 2015-12-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置 |
| MX2013012020A (es) | 2011-05-24 | 2013-12-10 | Panasonic Corp | Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes. |
| JP5865366B2 (ja) | 2011-05-27 | 2016-02-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置 |
| US9485518B2 (en) | 2011-05-27 | 2016-11-01 | Sun Patent Trust | Decoding method and apparatus with candidate motion vectors |
| SG194746A1 (en) | 2011-05-31 | 2013-12-30 | Kaba Gmbh | Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device |
| ES2779226T3 (es) | 2011-05-31 | 2020-08-14 | Sun Patent Trust | Procedimiento de descodificación de vídeo y dispositivo de descodificación de vídeo |
| EP2728878B1 (en) | 2011-06-30 | 2020-02-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
| GB2493212B (en) * | 2011-07-29 | 2015-03-11 | Canon Kk | Method and device for error concealment in motion estimation of video data |
| EP3487178A1 (en) | 2011-08-03 | 2019-05-22 | Sun Patent Trust | Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus |
| SG11201400429RA (en) | 2011-09-08 | 2014-04-28 | Paofit Holdings Pte Ltd | System and method for visualizing synthetic objects withinreal-world video clip |
| CA2850595C (en) | 2011-10-19 | 2020-09-08 | Panasonic Corporation | Picture coding method, picture coding apparatus, picture decoding method, and picture decoding apparatus |
| WO2015183194A1 (en) | 2014-05-30 | 2015-12-03 | Paofit Technology Pte Ltd | Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation |
| US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| JP2018191136A (ja) * | 2017-05-02 | 2018-11-29 | キヤノン株式会社 | 符号化装置、符号化方法およびプログラム |
| EP3624058A1 (en) * | 2018-09-17 | 2020-03-18 | icoMetrix NV | Method and system of analyzing symmetry from image data |
| US11005909B2 (en) | 2019-08-30 | 2021-05-11 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
| US11184648B2 (en) | 2019-08-30 | 2021-11-23 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
| US10986378B2 (en) * | 2019-08-30 | 2021-04-20 | Rovi Guides, Inc. | Systems and methods for providing content during reduced streaming quality |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4383272A (en) | 1981-04-13 | 1983-05-10 | Bell Telephone Laboratories, Incorporated | Video signal interpolation using motion estimation |
| JP3123130B2 (ja) * | 1991-06-28 | 2001-01-09 | ソニー株式会社 | 動きベクトル検出装置 |
| GB9316153D0 (en) * | 1993-08-04 | 1993-09-22 | Avt Communications Ltd | Image processing |
| US5526054A (en) * | 1995-03-27 | 1996-06-11 | International Business Machines Corporation | Apparatus for header generation |
| US5764293A (en) * | 1995-12-26 | 1998-06-09 | C-Cube Microsystems, Inc. | Method of encoding video using master and slave encoders wherein bit budgets for frames to be encoded are based on encoded frames |
| US5969764A (en) * | 1997-02-14 | 1999-10-19 | Mitsubishi Electric Information Technology Center America, Inc. | Adaptive video coding method |
| US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
| US6192080B1 (en) * | 1998-12-04 | 2001-02-20 | Mitsubishi Electric Research Laboratories, Inc. | Motion compensated digital video signal processing |
-
1998
- 1998-12-04 US US09/206,032 patent/US6192080B1/en not_active Expired - Fee Related
-
1999
- 1999-11-08 EP EP99122226A patent/EP1006732A3/en not_active Withdrawn
- 1999-12-03 JP JP34477799A patent/JP3393832B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007504741A (ja) * | 2003-09-04 | 2007-03-01 | コニンクリユケ フィリップス エレクトロニクス エヌ．ブイ． | ビデオ信号の頑強なデインタレース |
| KR100679027B1 (ko) | 2005-01-19 | 2007-02-05 | 삼성전자주식회사 | Ｄｃ 성분의 손실 없이 영상을 코딩하는 방법 및 장치 |
| JP2013243699A (ja) * | 2005-03-10 | 2013-12-05 | Qualcomm Inc | ストリーミングマルチメディアにおける最適エラー管理のためのデコーダアーキテクチャ |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1006732A2 (en) | 2000-06-07 |
| US6192080B1 (en) | 2001-02-20 |
| EP1006732A3 (en) | 2003-10-22 |
| JP3393832B2 (ja) | 2003-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3393832B2 (ja) | 電子ディジタル画像シーケンス再生システムにおける画像データ補間方法 | |
| US6618439B1 (en) | Fast motion-compensated video frame interpolator | |
| Ghanbari | The cross-search algorithm for motion estimation (image coding) | |
| JP3868017B2 (ja) | 映像処理システム | |
| US6192079B1 (en) | Method and apparatus for increasing video frame rate | |
| JP4198206B2 (ja) | 動き依存予測を使用したビデオ情報の圧縮方法と装置 | |
| KR20060047595A (ko) | 적응 시간적인 예측을 채용하는 움직임 벡터 추정 | |
| KR100565066B1 (ko) | 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 | |
| US5654761A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US5614954A (en) | Motion compensation apparatus for use in an image encoding system | |
| KR100584597B1 (ko) | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 | |
| Zhang et al. | A spatio-temporal auto regressive model for frame rate upconversion | |
| Kubasov et al. | Mesh-based motion-compensated interpolation for side information extraction in distributed video coding | |
| KR100393063B1 (ko) | 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법 | |
| US5790207A (en) | Motion compensation method for use in an image encoding system | |
| JP3823370B2 (ja) | 動画像符号化方法、復号方法及びその装置 | |
| Ratnottar et al. | Comparative study of motion estimation & motion compensation for video compression | |
| WO2010049917A2 (en) | Image prediction method and system | |
| Vetro et al. | True motion vectors for robust video transmission | |
| Tourapis et al. | Advanced deinterlacing techniques with the use of zonal-based algorithms | |
| JPH08242457A (ja) | 動きベクトル検出方法 | |
| KR100203638B1 (ko) | 반화소 단위 움직임 추정방법 | |
| KR100294895B1 (ko) | 필터를이용한움직임보상동영상압축방법 | |
| KR100657714B1 (ko) | 3차원 스캐닝을 이용한 영상데이터 부호화 방법 | |
| Xie et al. | Improved motion estimation algorithm with post processing and its application in motion-compensated interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080131 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090131 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100131 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100131 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110131 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120131 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120131 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130131 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140131 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |