JP2004521563A - ビデオフレームを表示する方法及びシステム - Google Patents
ビデオフレームを表示する方法及びシステム Download PDFInfo
- Publication number
- JP2004521563A JP2004521563A JP2003504664A JP2003504664A JP2004521563A JP 2004521563 A JP2004521563 A JP 2004521563A JP 2003504664 A JP2003504664 A JP 2003504664A JP 2003504664 A JP2003504664 A JP 2003504664A JP 2004521563 A JP2004521563 A JP 2004521563A
- Authority
- JP
- Japan
- Prior art keywords
- algorithm
- video
- video signal
- algorithms
- output quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 122
- 238000004590 computer program Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 16
- 230000000007 visual effect Effects 0.000 abstract description 8
- 239000013598 vector Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
今日では、連続メディアデータ処理が、ますます、専用の単機能の構成要素ではなくプログラム可能な構成要素によって行なわれるようになっている。このようなデータを適切に取り扱うために、システムは、処理するのに十分なシステム資源を保証しなければならない。本発明による方法は、ビデオシーケンスのフレームレートのスケーラブルな動き補償アップコンバージョンを提案する。前記アップコンバージョンを行なう（４０２）アルゴリズム（４０４）のために適当な品質の大きさを計算することによって、本発明による方法は、入力ビデオを与えられる所要の資源を予測する（４０６）ことを可能にする。更に、出力ビデオシーケンスの視覚的な品質が予測される。これらの予測に基づいて、前記方法は、前記アップコンバージョンを行なうのに最良のアルゴリズムを選択し、当該アルゴリズムによって、前記システム、例えばメディア処理のためのプログラム可能なプラットフォームの最適資源利用量を可能にする。
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオフレームを表示する方法であって、
少なくとも１つの所定の大きさ（ｍｅａｓｕｒｅ）のビデオ信号を計算する第１ステップ、及び
前記ビデオ信号から前記ビデオフレームを計算するためにアルゴリズムを用いる第２ステップを有するビデオフレームを表示する方法に関する。
【０００２】
更に、本発明は、ビデオフレームを表示するシステムであって、
少なくとも１つの所定の大きさのビデオ信号を計算する第１計算手段、及び
前記ビデオ信号から前記ビデオフレームを計算する第２計算手段を有するビデオフレームを表示するシステムに関する。
【０００３】
【従来の技術】
上記のような方法の実施例は、論文”Ａｄａｐｔｉｖｅ Ｇｌｏｂａｌ Ｃｏｎｃｅａｌｍｅｎｔ ｏｆ Ｖｉｄｅｏ ｕｐ−ｃｏｎｖｅｒｓｉｏｎ ａｒｔｅｆａｃｔｓ” （Ｏｌｕｋａｙｏｄｅ Ａ． Ｏｊｏ ａｎｄ Ｈｅｒｍａｎ Ｓｃｈｏｅｍａｋｅｒ： ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＣＥ， Ｖｏｌ． ４７， Ｎｏ． １， Ｆｅｂ ２００１， ｐｐ ４０−４６）から既知である。ここでは、動き補償アーチファクトのための画像劣化を抑制する方法が開示されている。この方法は、必要とされるエラー隠蔽のレベルを決定するために全体的な画像劣化を推定する。動き補償は、例えば民生用テレビの範囲内の例えば５０Ｈｚから１００Ｈｚへのビデオのアップコンバージョンのために行なわれる。同様に、６０Ｈｚのインタレース画像は、ラインフリッカ（ｌｉｎｅ ｆｌｉｃｋｅｒ）を除去するためにプログレッシブフォーマットに変換される。毎秒２４個の画像の映画材料の放送目的のための種々のビデオ規格への変換もあり、マルチメディア分野の範囲内での、様々なＴＶ規格から種々のＰＣフォーマットへのビデオ画像の変換、及びその逆も必要とされる。この方法は、動きベクトルの品質（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｑｕａｌｉｔｙ）に依存して中間補間画像を元の画像に置き換えることによりエラーを隠蔽する。動きベクトルの品質は入力ビデオ信号から導き出される。動きベクトルの品質が低い場合、即ち、例えば光輪（ｈａｒｏ）の存在のためにユーザが低品質を知覚する場合には、より多くの元の画像が補間画像に取って代わる。動き補償が詳細な背景を横切るオブジェクトに適用される場合に光輪の画像又はゴースト画像が生ずる。推定される動き場（ｅｓｔｉｍａｔｅｄ ｍｏｔｉｏｎ ｆｉｅｌｄ）が動くオブジェクトの範囲を越えて延在することから、背景は、誤った動きベクトルで補償され、オブジェクトの周りに光輪又はゴースト画像をもたらす。しかしながら、画像は、利用可能な資源に依存して可能な最良の品質をともなって表示される。その場合、これらの資源は、このシステムにおいて動作し得る他のアプリケーションによって用いられ得ない。
【０００４】
【課題を解決するための手段】
本発明の目的は、ビデオフレームを表示する改善された方法を提供することにある。この目的を達成するために、前記ビデオフレームを表示する方法は、
ビデオ信号から前記ビデオフレームを計算するよう設計されている複数のアルゴリズムを供給する第３ステップ、
前記複数のアルゴリズムのうちの少なくとも１つのアルゴリズムのために少なくとも１つの所定の大きさのビデオ信号に基づいて出力品質推定値（ｏｕｔｐｕｔ ｑｕａｌｉｔｙ ｅｓｔｉｍａｔｅ）を計算する第４ステップ、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する第５ステップを更に有することを特徴とする。
【０００５】
システム内のビデオ信号からビデオフレームを計算するよう設計されている全てのアルゴリズムの出力品質を計算することにより、最良の出力品質を供給するアルゴリズムが実行されるよう選ばれ得る。しかしながら、この最良の出力品質は、前記アルゴリズムによって供給され得る絶対的な最良の出力品質でなくとも良く、ユーザによって知覚される許容可能な出力品質であっても良い。前記システムが表示されるビデオフレームの安定的な出力品質を供給する場合、ユーザは許容可能な出力品質を知覚することが出来る。このため、品質のレベルの変更は、ビデオ信号の複雑性がより長い期間にわたって変化する場合に、例えばシーンの境界などにおいて開始されなければならない。
【０００６】
本発明による方法の実施例は請求項２に記載されている。複数のアルゴリズムから最も高い出力品質を供給するアルゴリズムを選択することによって、表示されるビデオフレームは、入力ビデオ信号に基づいて可能な最高の品質を供給することが出来る。
【０００７】
本発明による方法の実施例は請求項３に記載されている。複数のアルゴリズムから必要とする資源の量が最も少ないアルゴリズムを選択することによって、該資源が基礎を成すシステム（ｕｎｄｅｒｌｙｉｎｇ ｓｙｓｔｅｍ）によって、より最適に用いられ得る。その場合に、あり得る資源の過剰分は、前記システムにおいて動作することが出来る他のアプリケーションに再割当され得る。
【０００８】
本発明による方法の実施例は請求項４に記載されている。最良の出力品質を供給しながら、多くても所定の量の資源しか必要としないアルゴリズムを選ぶことによって、可能な最高の出力品質を備えるビデオフレームの表示中の過剰な資源消費が防がれ得る。
【０００９】
本発明による方法の実施例は請求項５に記載されている。必要とする資源の量が最も少ない一方で、少なくとも所定の出力品質を供給するアルゴリズムを選ぶことによって、少ない量の資源を用いながら、表示されるビデオフレームの許容可能な品質が供給され得る。
【００１０】
本発明による方法の実施例は請求項６に記載されている。多くても所定の量の資源しか必要としないアルゴリズムを選択することによって、出力ビデオフレームを計算するのに用いられる資源の量は、前記システムにより制御され得る。
【００１１】
本発明による方法の実施例は請求項７に記載されている。少なくとも所定の出力品質を供給するアルゴリズムを選択することによって、表示されるビデオフレーム内の極端な品質の変化が防がれ得る。
【００１２】
本発明による方法の実施例は請求項８に記載されている。前記大きさをビデオ信号内の動き推定に基づかせることによって、最先端技術の動き推定の距離関数（ｍｅｔｒｉｃｓ）が、各アルゴリズムの出力品質を予測するのに用いられ得る。
【００１３】
本発明による方法の実施例は請求項９に記載されている。走査レート（ｓｃａｎ−ｒａｔｅ）のアップコンバージョン（ｕｐ−ｃｏｎｖｅｒｓｉｏｎ）中では、中間フレームの出力品質が入力ビデオ信号中の動きに依存してかなり異なり得る。種々のアップコンバージョンのアルゴリズムの出力品質を推定することにより、現在のビデオフレームシーケンスのために最も安定した出力品質を供給する最良のアルゴリズムが選ばれ得る。
【００１４】
更に、本発明の目的は、改善された方法でビデオフレームを表示するシステムを提供することにある。この目的を達成するために、前記ビデオフレームを表示するシステムは、
ビデオ信号から前記ビデオフレームを計算するように設計されている複数のアルゴリズムを供給するアルゴリズムバンク手段（８１０）、
前記複数のアルゴリズムのうちの少なくとも１つのアルゴリズムのために少なくとも１つの所定の大きさの前記ビデオ信号に基づいて出力品質推定値を計算する第３計算手段（８０８）、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する選択手段（８１０）を更に有することを特徴とする。
【００１５】
本発明を以下の図面により図示されている実施例によって説明する。
【００１６】
【発明の実施の形態】
今日では、連続メディアデータ処理が、ますます、専用の単機能の構成要素ではなくプログラム可能な構成要素によって行なわれるようになっている。このようなデータを適切に取り扱うために、システムは、処理するのに十分なシステム資源を保証しなければならない。ＣＰＵ及びメモリなどの実時間資源（ｒｅａｌ ｔｉｍｅ ｒｅｓｏｕｒｃｅ）は有限であることから、特定の処理セッションに対しては十分なシステム資源が確保されないかもしれない。これは、このシステムにおいて並列に実行し得る処理セッション又は他のアプリケーションの数を制限する。入力ビデオストリームの処理は、これらの処理セッションのうちの１つである。入力ビデオストリームは、異なる出力品質の出力ビデオストリームを供給することが出来る多数のアルゴリズムによって処理され得る。出力ビデオストリームの品質は、入力ビデオストリームの複雑性にも依存する。入力ビデオストリームの複雑性が変化する場合には、出力品質も変化し得る。このことは、ユーザによって出力ビデオストリームの品質が低く知覚されることをもたらす。ビデオストリームがユーザの焦点（ｕｓｅｒ ｆｏｃｕｓ）を持つ場合はとりわけである。それ故、一定の品質の出力ビデオストリームが望ましい。これを達成するために、異なる入力ストリームは、異なる量の資源を必要とする異なるアルゴリズムによって処理される必要がある。最高品質を供給するためには、全ての利用可能な資源がアルゴリズムに割り当てられ得るが、これは、システムにおいて並列に実行され得るアプリケーションの数を低減させる。
【００１７】
図１は、例えば５０Ｈｚから１００Ｈｚに画像レートを増大させるために既存の画像の間に入る中間画像が算出されるビデオシーケンスの走査レートのアップコンバージョンを図示している。ビデオシーケンスの走査レートのアップコンバージョンのために幾つかのアルゴリズムがある。これらのアルゴリズムは、例えば動きベクトルによる１つの元の画像のみからのピクセルのシフトといった資源利用量の少ない単純なアルゴリズムから、例えば２つ以上の動きベクトルによるシーケンス中の幾つかの元の画像中のより多くのピクセルへのアクセス及び非線形フィルタの使用といったより複雑且つ高度な（ｅｘｐｅｎｓｉｖｅ）アルゴリズムに及ぶ。これらのアルゴリズムの各々の出力品質における差はかなり異なる。更に、各個別のアルゴリズムは、入力シーケンスにおける動きの複雑性に依存する種々の出力品質を供給することが出来る。実際に、より複雑な方法は、とりわけ複雑な動きを備える入力シーケンスに対処するように設計されている。
【００１８】
図２は、入力シーケンスの動きの複雑性に対する多数の変換アルゴリズムの視覚的な出力品質の依存度を図示している。入力シーケンスが、単純な動き、例えば、無運動（ｎｏ ｍｏｔｉｏｎ）又は堅い、非透明なオブジェクトの遅い並進運動（ｓｌｏｗ ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ）しか呈さない場合には、アルゴリズムは、図２中の正方形によって図示されているように同等の質の補間画像（ｉｎｔｅｒｐｏｌａｔｅｄ ｉｍａｇｅ）を供給するであろう。その場合には、全てのアルゴリズムＡ０乃至Ａ３が、Ｑ２及びＱ３の間の出力品質を供給する。この場合には、引き続き所要の出力品質を達成しながら資源利用量をかなり低減させることが可能である。しかしながら、図２中の丸は、入力シーケンス中に大きな閉塞領域（ｏｃｃｌｕｓｉｏｎ ａｒｅａ）を伴う複雑な動きがある場合には、或る品質を得るためには複雑なアルゴリズムしか用いられ得ないことを図示している。その場合、例えば、アルゴリズムＡ３はＱ２及びＱ３の間の出力品質を供給する一方で、Ａ０はＱ０より劣る出力品質を供給する。図２中の菱形は、複雑性の低い入力ストリームのためのアルゴリズムの出力品質を図示しており、三角形は、平均的な複雑性の入力ストリームのためのアルゴリズムの出力品質を図示している。
【００１９】
図３は、走査レートのアップコンバージョンのための標準的なアルゴリズムを図示している。アルゴリズム３００は、２つの部分、即ち、動き推定ブロック３０２及び動き補償ブロック３０４から成る。動き推定ブロック３０２は、元の画像から動きベクトル場を計算し、前記動きベクトル場は、動き補償ブロック３０４によって中間画像を計算するために用いられる。
【００２０】
図４は、本発明によるスケーラブルなアルゴリズム４００を図示している。このスケーラブルなアルゴリズム４００は３つのブロックから成る。動き推定ブロック４０２は、図３の動き推定ブロック３０２である。出力品質及び資源使用量において異なる幾つかの動き補償アルゴリズムから成るアルゴリズムバンク４０４が、動き補償ブロック３０４に取って代わる。第３のブロックは、スケーラブルなアルゴリズム４００の制御部４０６を有する。この制御部４０６は、アルゴリズムバンク中のアルゴリズムの各々のために出力品質推定値を計算し、可能な場合には資源要求が満たされること及び所望の品質が達せられることを確認する。出力品質推定値は、受け取られている入力信号に依存して実時間で計算され得る。スケーラブルなアルゴリズム４００は、基礎を成すシステム４０８から少なくとも２つの新しい入力、即ち、アルゴリズムにとって利用可能である最大資源ｓ及び所望の出力品質Ｑｄｅｓを受け取る。これらの２つの入力ｓ及びＱｄｅｓは、どのアルゴリズムを実行されるよう選ぶべきかについて決定するために制御部４０６によって用いられる。全体としてスケーラブルなアルゴリズム４００の責務（ｒｅｓｐｏｎｓｉｂｉｌｉｔｙ）は、資源制限より下にとどまらせんとし、可能な場合には、少なくとも所望の品質の出力を生成し、且つ最小の資源を用いんとすることにある。更に、制御部４０６は、基礎を成すシステム４０８と通信するために少なくとも２つの信号を発することが出来る。所望の品質が利用可能な資源より少ない資源を用いて達せられ得る場合には、制御部４０６は「資源過剰」の信号を送り、所望の品質が全ての利用可能な資源を用いても達せられ得ない場合には、制御部４０６は「資源不足」の信号を送る。
【００２１】
図５は、異なる入力シーケンスの複雑性に依存するアルゴリズムバンクからのアルゴリズムの期待される視覚的な品質のレベル及び資源ニーズを図示している。正方形がつながれたグラフは、非常に高い複雑性を備える入力シーケンスにあてはまり、三角形がつながれたグラフは、高い複雑性を備える入力シーケンスにあてはまり、丸がつながれたグラフは、中程度の複雑性を備える入力シーケンスにあてはまり、菱形がつながれたグラフは、低い複雑性を備える入力シーケンスにあてはまる。アルゴリズムバンク４０４（図４参照）内に含まれるアルゴリズムは、Ａｌ、ｌ＝０、…、Ｌによって示されている。これらのアルゴリズムの関連する資源使用量は、Ｒ（Ａｌ）によって示されている。アルゴリズムＡｌの推定出力品質は品質数値（ｑｕａｌｉｔｙ ｎｕｍｂｅｒ）Ｑｌによって表わされ、このため、より低いＱの数値はより低い視覚的な品質と対応するとみなす。品質数値は２ステップで計算される。まず、入力ビデオシーケンス及び動きベクトルを用いて、フレームレートのアップコンバージョンに対して適切なように、シーンの複雑性に関する幾つかの大きさが計算される。これらの大きさはＭ１、…、Ｍｋによって示される。これらの大きさから、アルゴリズムバンク内の各アルゴリズムについて、期待出力品質Ｑｌ（Ｍ１、…、Ｍｋ）が計算される。固定されたＭ１、…、Ｍｋに対する対（Ｒ（Ａｌ）， Ｑｌ）、ｌ＝０、…、Ｌは品質マッピング（ｑｕａｌｉｔｙ ｍａｐｐｉｎｇ）と呼ばれる（図５参照）。それ故、品質マッピングは、大きさＭ１、…、Ｍｋを介してシーンの複雑性に依存する。
【００２２】
スケーラブルなアルゴリズムのパーフォーマンスは、Ｑの数値が関連するアルゴリズムの主観的な知覚のパフォーマンスを如何にうまく記述するかに依存する。このため、ユーザは、本発明に基づいて多数のアップコンバージョンのアルゴリズム用いて処理される多数の入力シーケンスに評点をつける（ｓｃｏｒｅ）ことを要求される。
【００２３】
更に、Ｑ−関数の計算は、アップコンバージョンのアルゴリズムの実行と比較して安価であり得る。なぜなら、下記のように、対応するアルゴリズムが、該アルゴリズムの出力品質を推定するために実行される必要がないからである。
【００２４】
本発明による方法がより高速に動作することを可能にするために、アルゴリズムが、大きさＭ１、…、Ｍｋの全ての値について資源使用量：Ｒ（Ａ０）＜Ｒ（Ａ１）＜…＜Ｒ（ＡＬ）及び出力品質：Ｑ０（Ｍ１、…、Ｍｋ）≦ Ｑ１（Ｍ１、…、Ｍｋ）≦…≦ＱＬ（Ｍ１、…、Ｍｋ）によってソートされる。一般に、アルゴリズムの資源使用量はビデオ入力に依存しないと仮定される。しかしながら、異なる入力モード、即ちフィルム又はビデオの場合に、資源使用量がビデオ入力に依存し得る場合にも、本発明は依然として適用される。資源使用量が画像材料に依存する場合には、数値Ｒ（Ａｉ）は実際の資源要求に対する上限とみなされ得る。資源使用量及び出力品質のこれらの好ましいソート順は違反されることができ、例えば、簡素な（ｃｈｅａｐ）フレーム繰り返しは、時として、非常に誤った動きベクトルを用いる高度なアップコンバージョンより良いかもしれない。以下に示されているアルゴリズムは、この場合に対処するよう容易に適応されることができ、この好ましいソート順は必須ではない。
【００２５】
図６は、本発明による方法の主なステップを図示している。最初のステップＳ６０２は初期設定ステップ（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｓｔｅｐ）である。この最初のステップ中では、入力パラメータが前記方法に供給される。入力パラメータは、入力ビデオストリーム、所望の品質レベルＱｄｅｓ及び資源レベルｓを有し、資源レベルｓは用いられ得る最も高度なアップコンバージョンアルゴリズムを示す。次のステップＳ６０４中では、動きベクトルが入力ビデオストリームから計算される。動きベクトルの計算は、最先端技術の２つの画像を用いるブロックベースの動き推定器に基づく。この推定器は、ブロックに割り当てられる動きベクトルの適合性（ｆｉｔ）の質を評価するためにブロック距離関数（ｂｌｏｃｋ ｍｅｔｒｉｃ）を用いる。より特定的には、動き推定アルゴリズムが、画像の各ブロックに対して、小さな候補の集合からブロック距離関数に関して最小誤差（ｍｉｎｉｍｕｍ ｅｒｒｏｒ）をもたらすベクトルを選択する。広く用いられている距離関数は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）（ＳＡＤ）、即ち、
【数１】
である。上記の等式において、ｘ（ｉ， ｊ， ｎ）は、位置（ｉ， ｊ）及び時間ｎにおけるフレームの輝度値であり、ｘ（ｉ＋ｈ， ｊ＋ｖ， ｎ＋１）は、動きベクトルｍ＝（ｈ， ｖ）によって示されるような時間ｎ＋１における対応する輝度値であり、Ｎ１及びＮ２は、各々ブロックの高さ及び幅である。
【００２６】
計算するために用いられ得る、非常に安価でもある他の距離関数は、論文Ａｄａｐｔｉｖｅ Ｇｌｏｂａｌ Ｃｏｎｃｅａｌｍｅｎｔ ｏｆ Ｖｉｄｅｏ ｕｐ−ｃｏｎｖｅｒｓｉｏｎ ａｒｔｅｆａｃｔｓ （Ｏｌｕｋａｙｏｄｅ Ａ． Ｏｊｏ ａｎｄ Ｈｅｒｍａｎ Ｓｃｈｏｅｍａｋｅｒ）のｔｈｅ Ｂａｄ Ｂｌｏｃｋ Ｂｕｒｓｔ（３Ｂ）距離関数である。３Ｂ距離関数は、或るしきい値Ｋより大きいＳＡＤを持つ長さＬの水平方向に間断のないシーケンス（ｈｏｒｉｚｏｎｔａｌｌｙ ｕｎｂｒｏｋｅｎ ｓｅｑｕｅｎｃｅ）の数を計数する。
【００２７】
これらの動きベクトル及びビデオ入力を用いて、誤差の大きさＭ１、…、Ｍｋが上記のように計算される。ステップＳ６０６中では、全てのアルゴリズムＡ０、…、ＡＬの品質推定値が、単純な線形アフィンスケール変換（ｌｉｎｅａｒ ａｆｆｉｎｅ ｓｃａｌｅ ｃｈａｎｇｅ）を用いることによって決定される。より正確な品質予測は、例えば、各アルゴリズムに対して種々の距離関数を用いることによって、又は各アルゴリズムに対して種々の距離関数の組合せを用いることにより得られ得る。要点は、ベクトル選択中に、幾つかの距離関数を計算し、該距離関数の値から考慮に入れられる各アップコンバージョンのアルゴリズムの視覚的な出力品質を予測することにある。これらの品質推定値は、シーン内の動きの複雑性に強く依存する。ステップＳ６０８中では、各アルゴリズムが最も簡素なアルゴリズムから考慮に入れられ、各アルゴリズムが、該アルゴリズムが少なくとも所望の出力品質Ｑｄｅｓをもたらすか否かを決定される。アルゴリズムが少なくとも所望の出力品質をもたらす場合には、ステップＳ６１０が行なわれる。ステップＳ６１０中では、少なくとも所望の出力品質をもたらす各アルゴリズムの資源要求が比較される。このステップＳ６１０は、Ａｌが所望の視覚的な品質の出力を生成する最も簡素なアルゴリズムであるという意味を持つ数値ｌを呈示する。次のステップＳ６１２は、数値ｌを最大資源レベルｓと比較する。ｌがｓと等しい場合には、制御ブロックが行なわれる。ｌがｓより小さい場合には、制御部はステップＳ６１４中で基礎を成すシステムへ「資源過剰」の信号を発する。残るｌがｓより大きい場合には、「資源不足」の信号が発せられ、ｌはＳ６１６中にｓに再設定される。最終ステップＳ６１８中では、数値ｌがアルゴリズムバンクへ送られ、アルゴリズムバンクは適切なアルゴリズムＡｌを実行する。
【００２８】
アルゴリズムを図表により説明するために、図６のハッチングを施された領域中の全ての品質マッピング（Ｒｌ， Ｑｌ）が、条件Ｒ（Ａｌ）≦Ｒ（Ａｓ）及びＱｌ≧Ｑｄｅｓを満たすことに注意されたい。条件Ｒ（Ａｌ）≦Ｒ（Ａｓ）は、品質マッピング（Ｒｌ， Ｑｌ）が利用可能な資源ｓより下にとどまることを意味し、条件Ｑｌ≧Ｑｄｅｓは、品質マッピング（Ｒｌ， Ｑｌ）が、所望の品質Ｑｄｅｓの出力を生成することを意味する。これらの条件の下で、前記アルゴリズムは資源使用量を最小化するアルゴリズムを選ぶ。品質マッピングがハッチングを施された領域中に存在しない場合には、ステップＳ５１０中に、資源制約ｓを課された中での可能な最良の出力を与えるマッピングが選択される。
【００２９】
図７は、入力依存処理（ｉｎｐｕｔ ｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｉｎｇ）を図示している。図７は、時間に関して或るアルゴリズムの資源要求量を図示している。下部が、出力品質が同じままであることを図示している一方で、上部は、資源使用量が、入力ビデオストリームの複雑性、即ち、低い、平均的、非常に低い及び高い複雑性に依存して、時間にわたって変化することを図示している。ロバストなシステム内では、品質レベルの変更及び資源再割当が頻繁には行われないことに注意されたい。このため、このような変更は、例えば略々数十個程度の画像のより長い期間にわたって動きの複雑性が変化する時点で開始されるべきである。それ故、品質及び資源の変更は、シーンの境界で開始されるべきである。
【００３０】
更に、シーンの複雑性は時間的にゆっくり変化し得ることから、フレームごとに距離関数を計算する必要はなく、このことは資源も節約する。
【００３１】
本発明の方法の記載されている実施例の順序は必須ではない、当業者は、本発明により示されている考えから逸脱することなしに、同時にスレッディングモデル、マルチプロセッサシステム若しくは多重プロセス（ｍｕｌｔｉｐｌｅ ｐｒｏｃｅｓｓｅｓ）を用いてステップを行うかもしれず、又はステップの順序を変えるかもしれない。
【００３２】
図８は、概略的に本発明によるシステムの実施例の最も重要な部分を図示している。このシステム８００はＣＰＵ８０２を有する。このシステムはまた、２つ以上のプロセッサ及びコプロセッサも有し得る。更に、このシステムは、上記のように最大資源消費量及び所望の品質レベルを供給し、あり得る資源過剰又は資源不足を受け取るメモリ８０４内の実時間システムソフトウェアを有する。メモリ８０６はソフトウェアを有し、前記ソフトウェアは、入力ストリームから動きベクトルを計算し、アルゴリズムバンク内に記憶されるアルゴリズムの各々の品質予測を計算するためのソフトウェアを有するメモリ８０８にこれらのベクトルを供給する。メモリ８１０は、フレームレートのアップコンバージョンのための中間画像を計算することが出来る種々のアルゴリズムへのアクセスを与える。システム８００は、アプリケーションがコンピュータによって又はソフトウェアを動作させることが出来る如何なる他の標準的なアーキテクチャによっても動作するように動作させられるソフトウェアで実現される。このシステムは、デジタルテレビ８１４を動作させるために用いられ得る。このソフトウェアはまた、本発明による方法を行なうよう構成されるコンピュータプログラム製品を有する記憶装置８１８からアップデートされ得る。この記憶装置は、適当な読取り装置、例えばシステム８００に接続されるＣＤ読取り器８１６によって読み取られる。
【００３３】
図９は、概略的に本発明によるシステムの実施例を有するテレビ９１０を図示している。この場合、アンテナ９００はテレビ信号を受け取る。例えば、衛星アンテナ（ｓａｔｅｌｌｉｔｅ ｄｉｓｈ）、ケーブル、記憶装置、インターネット若しくはイーサネット（Ｒ）のようにテレビ信号を受け取る又は再生することが出来る如何なる装置もまた、アンテナ９００に取って代わることが出来る。受信器９０２は前記信号を受け取る。この信号は、例えばデジタル、アナログ、ＲＧＢ又はＹＵＶであっても良い。受信器９０２の他に、テレビは、プログラム可能な構成要素９０４、例えばプログラム可能な集積回路を含む。このプログラム可能な構成要素は、本発明によるシステム９０６を含む。テレビ画面９０８は、受信器９０２により受け取られ、プログラム可能な構成要素９０４により処理される画像を示す。ユーザが受け取られる信号、例えば映画を記録したい場合、本発明によるシステム９０６は、ＤＶＤ＋ＲＷ、コンパクトディスク又はハードディスクのような記録装置上に受け取られる信号を記録する。ユーザが記録された映画を再生したい場合、本発明によるシステム９０６は記録装置から適切なデータを取り出す。
【００３４】
図１０は、概略的に本発明によるシステムの実施例を有するセットトップボックスの最も重要な部分を図示している。この場合、アンテナ１０００はテレビ信号を受け取る。アンテナはまた、例えば衛星アンテナ、ケーブル、記憶装置、インターネット、イーサネット（Ｒ）又はテレビ信号を受け取ることが出来る他の如何なる装置であっても良い。セットトップボックス１００２は前記信号を受け取る。この信号は、例えばデジタル、アナログ、ＲＧＢ又はＹＵＶであっても良い。セットトップボックス中に含まれるが、ここでは図示されていない通常のパーツの他に、セットトップボックスは本発明によるシステム１００４を含む。ユーザが受け取られる信号、例えば映画を記録したい場合、本発明によるシステム１００４は、ＤＶＤ＋ＲＷ、コンパクトディスク又はハードディスクのような記録装置上に受け取られる信号を記録する。ユーザが記録された映画を再生したい場合、本発明によるシステム１００４は記録装置から適切なデータを取り出す。テレビ１００６は、セットトップボックス１００２により受け取られる信号から生成される出力信号を示すことが出来る。
【図面の簡単な説明】
【図１】ビデオシーケンスの走査レートのアップコンバージョンを図示する。
【図２】入力シーケンスの動きの複雑性に対する多数の変換アルゴリズムの視覚的な出力品質の依存度を図示する。
【図３】走査レートのアップコンバージョンのための標準的なアルゴリズムを図示する。
【図４】本発明によるスケーラブルなアルゴリズムの主な部分を図示する。
【図５】異なる入力シーケンス複雑性に依存するアルゴリズムバンクからのアルゴリズムの期待される視覚的な品質のレベル及び資源ニーズを図示する。
【図６】本発明による方法の主なステップを図示する。
【図７】入力依存処理を図示する。
【図８】概略的に本発明によるシステムの実施例の最も重要な部分を図示する。
【図９】概略的に本発明によるシステムの実施例を有するテレビを図示する。
【図１０】概略的に本発明によるシステムの実施例を有するセットトップボックスの最も重要な部分を図示する。
【発明の属する技術分野】
本発明は、ビデオフレームを表示する方法であって、
少なくとも１つの所定の大きさ（ｍｅａｓｕｒｅ）のビデオ信号を計算する第１ステップ、及び
前記ビデオ信号から前記ビデオフレームを計算するためにアルゴリズムを用いる第２ステップを有するビデオフレームを表示する方法に関する。
【０００２】
更に、本発明は、ビデオフレームを表示するシステムであって、
少なくとも１つの所定の大きさのビデオ信号を計算する第１計算手段、及び
前記ビデオ信号から前記ビデオフレームを計算する第２計算手段を有するビデオフレームを表示するシステムに関する。
【０００３】
【従来の技術】
上記のような方法の実施例は、論文”Ａｄａｐｔｉｖｅ Ｇｌｏｂａｌ Ｃｏｎｃｅａｌｍｅｎｔ ｏｆ Ｖｉｄｅｏ ｕｐ−ｃｏｎｖｅｒｓｉｏｎ ａｒｔｅｆａｃｔｓ” （Ｏｌｕｋａｙｏｄｅ Ａ． Ｏｊｏ ａｎｄ Ｈｅｒｍａｎ Ｓｃｈｏｅｍａｋｅｒ： ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＣＥ， Ｖｏｌ． ４７， Ｎｏ． １， Ｆｅｂ ２００１， ｐｐ ４０−４６）から既知である。ここでは、動き補償アーチファクトのための画像劣化を抑制する方法が開示されている。この方法は、必要とされるエラー隠蔽のレベルを決定するために全体的な画像劣化を推定する。動き補償は、例えば民生用テレビの範囲内の例えば５０Ｈｚから１００Ｈｚへのビデオのアップコンバージョンのために行なわれる。同様に、６０Ｈｚのインタレース画像は、ラインフリッカ（ｌｉｎｅ ｆｌｉｃｋｅｒ）を除去するためにプログレッシブフォーマットに変換される。毎秒２４個の画像の映画材料の放送目的のための種々のビデオ規格への変換もあり、マルチメディア分野の範囲内での、様々なＴＶ規格から種々のＰＣフォーマットへのビデオ画像の変換、及びその逆も必要とされる。この方法は、動きベクトルの品質（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｑｕａｌｉｔｙ）に依存して中間補間画像を元の画像に置き換えることによりエラーを隠蔽する。動きベクトルの品質は入力ビデオ信号から導き出される。動きベクトルの品質が低い場合、即ち、例えば光輪（ｈａｒｏ）の存在のためにユーザが低品質を知覚する場合には、より多くの元の画像が補間画像に取って代わる。動き補償が詳細な背景を横切るオブジェクトに適用される場合に光輪の画像又はゴースト画像が生ずる。推定される動き場（ｅｓｔｉｍａｔｅｄ ｍｏｔｉｏｎ ｆｉｅｌｄ）が動くオブジェクトの範囲を越えて延在することから、背景は、誤った動きベクトルで補償され、オブジェクトの周りに光輪又はゴースト画像をもたらす。しかしながら、画像は、利用可能な資源に依存して可能な最良の品質をともなって表示される。その場合、これらの資源は、このシステムにおいて動作し得る他のアプリケーションによって用いられ得ない。
【０００４】
【課題を解決するための手段】
本発明の目的は、ビデオフレームを表示する改善された方法を提供することにある。この目的を達成するために、前記ビデオフレームを表示する方法は、
ビデオ信号から前記ビデオフレームを計算するよう設計されている複数のアルゴリズムを供給する第３ステップ、
前記複数のアルゴリズムのうちの少なくとも１つのアルゴリズムのために少なくとも１つの所定の大きさのビデオ信号に基づいて出力品質推定値（ｏｕｔｐｕｔ ｑｕａｌｉｔｙ ｅｓｔｉｍａｔｅ）を計算する第４ステップ、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する第５ステップを更に有することを特徴とする。
【０００５】
システム内のビデオ信号からビデオフレームを計算するよう設計されている全てのアルゴリズムの出力品質を計算することにより、最良の出力品質を供給するアルゴリズムが実行されるよう選ばれ得る。しかしながら、この最良の出力品質は、前記アルゴリズムによって供給され得る絶対的な最良の出力品質でなくとも良く、ユーザによって知覚される許容可能な出力品質であっても良い。前記システムが表示されるビデオフレームの安定的な出力品質を供給する場合、ユーザは許容可能な出力品質を知覚することが出来る。このため、品質のレベルの変更は、ビデオ信号の複雑性がより長い期間にわたって変化する場合に、例えばシーンの境界などにおいて開始されなければならない。
【０００６】
本発明による方法の実施例は請求項２に記載されている。複数のアルゴリズムから最も高い出力品質を供給するアルゴリズムを選択することによって、表示されるビデオフレームは、入力ビデオ信号に基づいて可能な最高の品質を供給することが出来る。
【０００７】
本発明による方法の実施例は請求項３に記載されている。複数のアルゴリズムから必要とする資源の量が最も少ないアルゴリズムを選択することによって、該資源が基礎を成すシステム（ｕｎｄｅｒｌｙｉｎｇ ｓｙｓｔｅｍ）によって、より最適に用いられ得る。その場合に、あり得る資源の過剰分は、前記システムにおいて動作することが出来る他のアプリケーションに再割当され得る。
【０００８】
本発明による方法の実施例は請求項４に記載されている。最良の出力品質を供給しながら、多くても所定の量の資源しか必要としないアルゴリズムを選ぶことによって、可能な最高の出力品質を備えるビデオフレームの表示中の過剰な資源消費が防がれ得る。
【０００９】
本発明による方法の実施例は請求項５に記載されている。必要とする資源の量が最も少ない一方で、少なくとも所定の出力品質を供給するアルゴリズムを選ぶことによって、少ない量の資源を用いながら、表示されるビデオフレームの許容可能な品質が供給され得る。
【００１０】
本発明による方法の実施例は請求項６に記載されている。多くても所定の量の資源しか必要としないアルゴリズムを選択することによって、出力ビデオフレームを計算するのに用いられる資源の量は、前記システムにより制御され得る。
【００１１】
本発明による方法の実施例は請求項７に記載されている。少なくとも所定の出力品質を供給するアルゴリズムを選択することによって、表示されるビデオフレーム内の極端な品質の変化が防がれ得る。
【００１２】
本発明による方法の実施例は請求項８に記載されている。前記大きさをビデオ信号内の動き推定に基づかせることによって、最先端技術の動き推定の距離関数（ｍｅｔｒｉｃｓ）が、各アルゴリズムの出力品質を予測するのに用いられ得る。
【００１３】
本発明による方法の実施例は請求項９に記載されている。走査レート（ｓｃａｎ−ｒａｔｅ）のアップコンバージョン（ｕｐ−ｃｏｎｖｅｒｓｉｏｎ）中では、中間フレームの出力品質が入力ビデオ信号中の動きに依存してかなり異なり得る。種々のアップコンバージョンのアルゴリズムの出力品質を推定することにより、現在のビデオフレームシーケンスのために最も安定した出力品質を供給する最良のアルゴリズムが選ばれ得る。
【００１４】
更に、本発明の目的は、改善された方法でビデオフレームを表示するシステムを提供することにある。この目的を達成するために、前記ビデオフレームを表示するシステムは、
ビデオ信号から前記ビデオフレームを計算するように設計されている複数のアルゴリズムを供給するアルゴリズムバンク手段（８１０）、
前記複数のアルゴリズムのうちの少なくとも１つのアルゴリズムのために少なくとも１つの所定の大きさの前記ビデオ信号に基づいて出力品質推定値を計算する第３計算手段（８０８）、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する選択手段（８１０）を更に有することを特徴とする。
【００１５】
本発明を以下の図面により図示されている実施例によって説明する。
【００１６】
【発明の実施の形態】
今日では、連続メディアデータ処理が、ますます、専用の単機能の構成要素ではなくプログラム可能な構成要素によって行なわれるようになっている。このようなデータを適切に取り扱うために、システムは、処理するのに十分なシステム資源を保証しなければならない。ＣＰＵ及びメモリなどの実時間資源（ｒｅａｌ ｔｉｍｅ ｒｅｓｏｕｒｃｅ）は有限であることから、特定の処理セッションに対しては十分なシステム資源が確保されないかもしれない。これは、このシステムにおいて並列に実行し得る処理セッション又は他のアプリケーションの数を制限する。入力ビデオストリームの処理は、これらの処理セッションのうちの１つである。入力ビデオストリームは、異なる出力品質の出力ビデオストリームを供給することが出来る多数のアルゴリズムによって処理され得る。出力ビデオストリームの品質は、入力ビデオストリームの複雑性にも依存する。入力ビデオストリームの複雑性が変化する場合には、出力品質も変化し得る。このことは、ユーザによって出力ビデオストリームの品質が低く知覚されることをもたらす。ビデオストリームがユーザの焦点（ｕｓｅｒ ｆｏｃｕｓ）を持つ場合はとりわけである。それ故、一定の品質の出力ビデオストリームが望ましい。これを達成するために、異なる入力ストリームは、異なる量の資源を必要とする異なるアルゴリズムによって処理される必要がある。最高品質を供給するためには、全ての利用可能な資源がアルゴリズムに割り当てられ得るが、これは、システムにおいて並列に実行され得るアプリケーションの数を低減させる。
【００１７】
図１は、例えば５０Ｈｚから１００Ｈｚに画像レートを増大させるために既存の画像の間に入る中間画像が算出されるビデオシーケンスの走査レートのアップコンバージョンを図示している。ビデオシーケンスの走査レートのアップコンバージョンのために幾つかのアルゴリズムがある。これらのアルゴリズムは、例えば動きベクトルによる１つの元の画像のみからのピクセルのシフトといった資源利用量の少ない単純なアルゴリズムから、例えば２つ以上の動きベクトルによるシーケンス中の幾つかの元の画像中のより多くのピクセルへのアクセス及び非線形フィルタの使用といったより複雑且つ高度な（ｅｘｐｅｎｓｉｖｅ）アルゴリズムに及ぶ。これらのアルゴリズムの各々の出力品質における差はかなり異なる。更に、各個別のアルゴリズムは、入力シーケンスにおける動きの複雑性に依存する種々の出力品質を供給することが出来る。実際に、より複雑な方法は、とりわけ複雑な動きを備える入力シーケンスに対処するように設計されている。
【００１８】
図２は、入力シーケンスの動きの複雑性に対する多数の変換アルゴリズムの視覚的な出力品質の依存度を図示している。入力シーケンスが、単純な動き、例えば、無運動（ｎｏ ｍｏｔｉｏｎ）又は堅い、非透明なオブジェクトの遅い並進運動（ｓｌｏｗ ｔｒａｎｓｌａｔｉｏｎ ｍｏｔｉｏｎ）しか呈さない場合には、アルゴリズムは、図２中の正方形によって図示されているように同等の質の補間画像（ｉｎｔｅｒｐｏｌａｔｅｄ ｉｍａｇｅ）を供給するであろう。その場合には、全てのアルゴリズムＡ０乃至Ａ３が、Ｑ２及びＱ３の間の出力品質を供給する。この場合には、引き続き所要の出力品質を達成しながら資源利用量をかなり低減させることが可能である。しかしながら、図２中の丸は、入力シーケンス中に大きな閉塞領域（ｏｃｃｌｕｓｉｏｎ ａｒｅａ）を伴う複雑な動きがある場合には、或る品質を得るためには複雑なアルゴリズムしか用いられ得ないことを図示している。その場合、例えば、アルゴリズムＡ３はＱ２及びＱ３の間の出力品質を供給する一方で、Ａ０はＱ０より劣る出力品質を供給する。図２中の菱形は、複雑性の低い入力ストリームのためのアルゴリズムの出力品質を図示しており、三角形は、平均的な複雑性の入力ストリームのためのアルゴリズムの出力品質を図示している。
【００１９】
図３は、走査レートのアップコンバージョンのための標準的なアルゴリズムを図示している。アルゴリズム３００は、２つの部分、即ち、動き推定ブロック３０２及び動き補償ブロック３０４から成る。動き推定ブロック３０２は、元の画像から動きベクトル場を計算し、前記動きベクトル場は、動き補償ブロック３０４によって中間画像を計算するために用いられる。
【００２０】
図４は、本発明によるスケーラブルなアルゴリズム４００を図示している。このスケーラブルなアルゴリズム４００は３つのブロックから成る。動き推定ブロック４０２は、図３の動き推定ブロック３０２である。出力品質及び資源使用量において異なる幾つかの動き補償アルゴリズムから成るアルゴリズムバンク４０４が、動き補償ブロック３０４に取って代わる。第３のブロックは、スケーラブルなアルゴリズム４００の制御部４０６を有する。この制御部４０６は、アルゴリズムバンク中のアルゴリズムの各々のために出力品質推定値を計算し、可能な場合には資源要求が満たされること及び所望の品質が達せられることを確認する。出力品質推定値は、受け取られている入力信号に依存して実時間で計算され得る。スケーラブルなアルゴリズム４００は、基礎を成すシステム４０８から少なくとも２つの新しい入力、即ち、アルゴリズムにとって利用可能である最大資源ｓ及び所望の出力品質Ｑｄｅｓを受け取る。これらの２つの入力ｓ及びＱｄｅｓは、どのアルゴリズムを実行されるよう選ぶべきかについて決定するために制御部４０６によって用いられる。全体としてスケーラブルなアルゴリズム４００の責務（ｒｅｓｐｏｎｓｉｂｉｌｉｔｙ）は、資源制限より下にとどまらせんとし、可能な場合には、少なくとも所望の品質の出力を生成し、且つ最小の資源を用いんとすることにある。更に、制御部４０６は、基礎を成すシステム４０８と通信するために少なくとも２つの信号を発することが出来る。所望の品質が利用可能な資源より少ない資源を用いて達せられ得る場合には、制御部４０６は「資源過剰」の信号を送り、所望の品質が全ての利用可能な資源を用いても達せられ得ない場合には、制御部４０６は「資源不足」の信号を送る。
【００２１】
図５は、異なる入力シーケンスの複雑性に依存するアルゴリズムバンクからのアルゴリズムの期待される視覚的な品質のレベル及び資源ニーズを図示している。正方形がつながれたグラフは、非常に高い複雑性を備える入力シーケンスにあてはまり、三角形がつながれたグラフは、高い複雑性を備える入力シーケンスにあてはまり、丸がつながれたグラフは、中程度の複雑性を備える入力シーケンスにあてはまり、菱形がつながれたグラフは、低い複雑性を備える入力シーケンスにあてはまる。アルゴリズムバンク４０４（図４参照）内に含まれるアルゴリズムは、Ａｌ、ｌ＝０、…、Ｌによって示されている。これらのアルゴリズムの関連する資源使用量は、Ｒ（Ａｌ）によって示されている。アルゴリズムＡｌの推定出力品質は品質数値（ｑｕａｌｉｔｙ ｎｕｍｂｅｒ）Ｑｌによって表わされ、このため、より低いＱの数値はより低い視覚的な品質と対応するとみなす。品質数値は２ステップで計算される。まず、入力ビデオシーケンス及び動きベクトルを用いて、フレームレートのアップコンバージョンに対して適切なように、シーンの複雑性に関する幾つかの大きさが計算される。これらの大きさはＭ１、…、Ｍｋによって示される。これらの大きさから、アルゴリズムバンク内の各アルゴリズムについて、期待出力品質Ｑｌ（Ｍ１、…、Ｍｋ）が計算される。固定されたＭ１、…、Ｍｋに対する対（Ｒ（Ａｌ）， Ｑｌ）、ｌ＝０、…、Ｌは品質マッピング（ｑｕａｌｉｔｙ ｍａｐｐｉｎｇ）と呼ばれる（図５参照）。それ故、品質マッピングは、大きさＭ１、…、Ｍｋを介してシーンの複雑性に依存する。
【００２２】
スケーラブルなアルゴリズムのパーフォーマンスは、Ｑの数値が関連するアルゴリズムの主観的な知覚のパフォーマンスを如何にうまく記述するかに依存する。このため、ユーザは、本発明に基づいて多数のアップコンバージョンのアルゴリズム用いて処理される多数の入力シーケンスに評点をつける（ｓｃｏｒｅ）ことを要求される。
【００２３】
更に、Ｑ−関数の計算は、アップコンバージョンのアルゴリズムの実行と比較して安価であり得る。なぜなら、下記のように、対応するアルゴリズムが、該アルゴリズムの出力品質を推定するために実行される必要がないからである。
【００２４】
本発明による方法がより高速に動作することを可能にするために、アルゴリズムが、大きさＭ１、…、Ｍｋの全ての値について資源使用量：Ｒ（Ａ０）＜Ｒ（Ａ１）＜…＜Ｒ（ＡＬ）及び出力品質：Ｑ０（Ｍ１、…、Ｍｋ）≦ Ｑ１（Ｍ１、…、Ｍｋ）≦…≦ＱＬ（Ｍ１、…、Ｍｋ）によってソートされる。一般に、アルゴリズムの資源使用量はビデオ入力に依存しないと仮定される。しかしながら、異なる入力モード、即ちフィルム又はビデオの場合に、資源使用量がビデオ入力に依存し得る場合にも、本発明は依然として適用される。資源使用量が画像材料に依存する場合には、数値Ｒ（Ａｉ）は実際の資源要求に対する上限とみなされ得る。資源使用量及び出力品質のこれらの好ましいソート順は違反されることができ、例えば、簡素な（ｃｈｅａｐ）フレーム繰り返しは、時として、非常に誤った動きベクトルを用いる高度なアップコンバージョンより良いかもしれない。以下に示されているアルゴリズムは、この場合に対処するよう容易に適応されることができ、この好ましいソート順は必須ではない。
【００２５】
図６は、本発明による方法の主なステップを図示している。最初のステップＳ６０２は初期設定ステップ（ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｓｔｅｐ）である。この最初のステップ中では、入力パラメータが前記方法に供給される。入力パラメータは、入力ビデオストリーム、所望の品質レベルＱｄｅｓ及び資源レベルｓを有し、資源レベルｓは用いられ得る最も高度なアップコンバージョンアルゴリズムを示す。次のステップＳ６０４中では、動きベクトルが入力ビデオストリームから計算される。動きベクトルの計算は、最先端技術の２つの画像を用いるブロックベースの動き推定器に基づく。この推定器は、ブロックに割り当てられる動きベクトルの適合性（ｆｉｔ）の質を評価するためにブロック距離関数（ｂｌｏｃｋ ｍｅｔｒｉｃ）を用いる。より特定的には、動き推定アルゴリズムが、画像の各ブロックに対して、小さな候補の集合からブロック距離関数に関して最小誤差（ｍｉｎｉｍｕｍ ｅｒｒｏｒ）をもたらすベクトルを選択する。広く用いられている距離関数は、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）（ＳＡＤ）、即ち、
【数１】
【００２６】
計算するために用いられ得る、非常に安価でもある他の距離関数は、論文Ａｄａｐｔｉｖｅ Ｇｌｏｂａｌ Ｃｏｎｃｅａｌｍｅｎｔ ｏｆ Ｖｉｄｅｏ ｕｐ−ｃｏｎｖｅｒｓｉｏｎ ａｒｔｅｆａｃｔｓ （Ｏｌｕｋａｙｏｄｅ Ａ． Ｏｊｏ ａｎｄ Ｈｅｒｍａｎ Ｓｃｈｏｅｍａｋｅｒ）のｔｈｅ Ｂａｄ Ｂｌｏｃｋ Ｂｕｒｓｔ（３Ｂ）距離関数である。３Ｂ距離関数は、或るしきい値Ｋより大きいＳＡＤを持つ長さＬの水平方向に間断のないシーケンス（ｈｏｒｉｚｏｎｔａｌｌｙ ｕｎｂｒｏｋｅｎ ｓｅｑｕｅｎｃｅ）の数を計数する。
【００２７】
これらの動きベクトル及びビデオ入力を用いて、誤差の大きさＭ１、…、Ｍｋが上記のように計算される。ステップＳ６０６中では、全てのアルゴリズムＡ０、…、ＡＬの品質推定値が、単純な線形アフィンスケール変換（ｌｉｎｅａｒ ａｆｆｉｎｅ ｓｃａｌｅ ｃｈａｎｇｅ）を用いることによって決定される。より正確な品質予測は、例えば、各アルゴリズムに対して種々の距離関数を用いることによって、又は各アルゴリズムに対して種々の距離関数の組合せを用いることにより得られ得る。要点は、ベクトル選択中に、幾つかの距離関数を計算し、該距離関数の値から考慮に入れられる各アップコンバージョンのアルゴリズムの視覚的な出力品質を予測することにある。これらの品質推定値は、シーン内の動きの複雑性に強く依存する。ステップＳ６０８中では、各アルゴリズムが最も簡素なアルゴリズムから考慮に入れられ、各アルゴリズムが、該アルゴリズムが少なくとも所望の出力品質Ｑｄｅｓをもたらすか否かを決定される。アルゴリズムが少なくとも所望の出力品質をもたらす場合には、ステップＳ６１０が行なわれる。ステップＳ６１０中では、少なくとも所望の出力品質をもたらす各アルゴリズムの資源要求が比較される。このステップＳ６１０は、Ａｌが所望の視覚的な品質の出力を生成する最も簡素なアルゴリズムであるという意味を持つ数値ｌを呈示する。次のステップＳ６１２は、数値ｌを最大資源レベルｓと比較する。ｌがｓと等しい場合には、制御ブロックが行なわれる。ｌがｓより小さい場合には、制御部はステップＳ６１４中で基礎を成すシステムへ「資源過剰」の信号を発する。残るｌがｓより大きい場合には、「資源不足」の信号が発せられ、ｌはＳ６１６中にｓに再設定される。最終ステップＳ６１８中では、数値ｌがアルゴリズムバンクへ送られ、アルゴリズムバンクは適切なアルゴリズムＡｌを実行する。
【００２８】
アルゴリズムを図表により説明するために、図６のハッチングを施された領域中の全ての品質マッピング（Ｒｌ， Ｑｌ）が、条件Ｒ（Ａｌ）≦Ｒ（Ａｓ）及びＱｌ≧Ｑｄｅｓを満たすことに注意されたい。条件Ｒ（Ａｌ）≦Ｒ（Ａｓ）は、品質マッピング（Ｒｌ， Ｑｌ）が利用可能な資源ｓより下にとどまることを意味し、条件Ｑｌ≧Ｑｄｅｓは、品質マッピング（Ｒｌ， Ｑｌ）が、所望の品質Ｑｄｅｓの出力を生成することを意味する。これらの条件の下で、前記アルゴリズムは資源使用量を最小化するアルゴリズムを選ぶ。品質マッピングがハッチングを施された領域中に存在しない場合には、ステップＳ５１０中に、資源制約ｓを課された中での可能な最良の出力を与えるマッピングが選択される。
【００２９】
図７は、入力依存処理（ｉｎｐｕｔ ｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｉｎｇ）を図示している。図７は、時間に関して或るアルゴリズムの資源要求量を図示している。下部が、出力品質が同じままであることを図示している一方で、上部は、資源使用量が、入力ビデオストリームの複雑性、即ち、低い、平均的、非常に低い及び高い複雑性に依存して、時間にわたって変化することを図示している。ロバストなシステム内では、品質レベルの変更及び資源再割当が頻繁には行われないことに注意されたい。このため、このような変更は、例えば略々数十個程度の画像のより長い期間にわたって動きの複雑性が変化する時点で開始されるべきである。それ故、品質及び資源の変更は、シーンの境界で開始されるべきである。
【００３０】
更に、シーンの複雑性は時間的にゆっくり変化し得ることから、フレームごとに距離関数を計算する必要はなく、このことは資源も節約する。
【００３１】
本発明の方法の記載されている実施例の順序は必須ではない、当業者は、本発明により示されている考えから逸脱することなしに、同時にスレッディングモデル、マルチプロセッサシステム若しくは多重プロセス（ｍｕｌｔｉｐｌｅ ｐｒｏｃｅｓｓｅｓ）を用いてステップを行うかもしれず、又はステップの順序を変えるかもしれない。
【００３２】
図８は、概略的に本発明によるシステムの実施例の最も重要な部分を図示している。このシステム８００はＣＰＵ８０２を有する。このシステムはまた、２つ以上のプロセッサ及びコプロセッサも有し得る。更に、このシステムは、上記のように最大資源消費量及び所望の品質レベルを供給し、あり得る資源過剰又は資源不足を受け取るメモリ８０４内の実時間システムソフトウェアを有する。メモリ８０６はソフトウェアを有し、前記ソフトウェアは、入力ストリームから動きベクトルを計算し、アルゴリズムバンク内に記憶されるアルゴリズムの各々の品質予測を計算するためのソフトウェアを有するメモリ８０８にこれらのベクトルを供給する。メモリ８１０は、フレームレートのアップコンバージョンのための中間画像を計算することが出来る種々のアルゴリズムへのアクセスを与える。システム８００は、アプリケーションがコンピュータによって又はソフトウェアを動作させることが出来る如何なる他の標準的なアーキテクチャによっても動作するように動作させられるソフトウェアで実現される。このシステムは、デジタルテレビ８１４を動作させるために用いられ得る。このソフトウェアはまた、本発明による方法を行なうよう構成されるコンピュータプログラム製品を有する記憶装置８１８からアップデートされ得る。この記憶装置は、適当な読取り装置、例えばシステム８００に接続されるＣＤ読取り器８１６によって読み取られる。
【００３３】
図９は、概略的に本発明によるシステムの実施例を有するテレビ９１０を図示している。この場合、アンテナ９００はテレビ信号を受け取る。例えば、衛星アンテナ（ｓａｔｅｌｌｉｔｅ ｄｉｓｈ）、ケーブル、記憶装置、インターネット若しくはイーサネット（Ｒ）のようにテレビ信号を受け取る又は再生することが出来る如何なる装置もまた、アンテナ９００に取って代わることが出来る。受信器９０２は前記信号を受け取る。この信号は、例えばデジタル、アナログ、ＲＧＢ又はＹＵＶであっても良い。受信器９０２の他に、テレビは、プログラム可能な構成要素９０４、例えばプログラム可能な集積回路を含む。このプログラム可能な構成要素は、本発明によるシステム９０６を含む。テレビ画面９０８は、受信器９０２により受け取られ、プログラム可能な構成要素９０４により処理される画像を示す。ユーザが受け取られる信号、例えば映画を記録したい場合、本発明によるシステム９０６は、ＤＶＤ＋ＲＷ、コンパクトディスク又はハードディスクのような記録装置上に受け取られる信号を記録する。ユーザが記録された映画を再生したい場合、本発明によるシステム９０６は記録装置から適切なデータを取り出す。
【００３４】
図１０は、概略的に本発明によるシステムの実施例を有するセットトップボックスの最も重要な部分を図示している。この場合、アンテナ１０００はテレビ信号を受け取る。アンテナはまた、例えば衛星アンテナ、ケーブル、記憶装置、インターネット、イーサネット（Ｒ）又はテレビ信号を受け取ることが出来る他の如何なる装置であっても良い。セットトップボックス１００２は前記信号を受け取る。この信号は、例えばデジタル、アナログ、ＲＧＢ又はＹＵＶであっても良い。セットトップボックス中に含まれるが、ここでは図示されていない通常のパーツの他に、セットトップボックスは本発明によるシステム１００４を含む。ユーザが受け取られる信号、例えば映画を記録したい場合、本発明によるシステム１００４は、ＤＶＤ＋ＲＷ、コンパクトディスク又はハードディスクのような記録装置上に受け取られる信号を記録する。ユーザが記録された映画を再生したい場合、本発明によるシステム１００４は記録装置から適切なデータを取り出す。テレビ１００６は、セットトップボックス１００２により受け取られる信号から生成される出力信号を示すことが出来る。
【図面の簡単な説明】
【図１】ビデオシーケンスの走査レートのアップコンバージョンを図示する。
【図２】入力シーケンスの動きの複雑性に対する多数の変換アルゴリズムの視覚的な出力品質の依存度を図示する。
【図３】走査レートのアップコンバージョンのための標準的なアルゴリズムを図示する。
【図４】本発明によるスケーラブルなアルゴリズムの主な部分を図示する。
【図５】異なる入力シーケンス複雑性に依存するアルゴリズムバンクからのアルゴリズムの期待される視覚的な品質のレベル及び資源ニーズを図示する。
【図６】本発明による方法の主なステップを図示する。
【図７】入力依存処理を図示する。
【図８】概略的に本発明によるシステムの実施例の最も重要な部分を図示する。
【図９】概略的に本発明によるシステムの実施例を有するテレビを図示する。
【図１０】概略的に本発明によるシステムの実施例を有するセットトップボックスの最も重要な部分を図示する。
Claims (14)
- ビデオフレームを表示する方法であり、
少なくとも１つの所定の大きさのビデオ信号を計算する第１ステップ、及び
前記ビデオ信号から前記ビデオフレームを計算するためにアルゴリズムを用いる第２ステップを有するビデオフレームを表示する方法であって、
前記ビデオ信号から前記ビデオフレームを計算するよう設計されている複数のアルゴリズムを供給する第３ステップ、
前記複数のアルゴリズムの各々のために前記少なくとも１つの所定の大きさのビデオ信号に基づいて関連する出力品質推定値を計算する第４ステップ、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する第５ステップを更に有することを特徴とするビデオフレームを表示する方法。 - 前記選択アルゴリズムの出力品質推定値が、前記関連する出力品質推定値の中で最も高い出力品質推定値であることを特徴とする請求項１に記載のビデオフレームを表示する方法。
- 前記選択アルゴリズムの資源要求が、前記複数のアルゴリズムの各々の関連する資源要求の中で最も少ない資源要求であることを特徴とする請求項１に記載のビデオフレームを表示する方法。
- 前記選択アルゴリズムが、該選択アルゴリズムの前記出力品質推定値を供給するために多くても所定の量の資源しか必要としないことを特徴とする請求項２に記載のビデオフレームを表示する方法。
- 前記選択アルゴリズムが、該選択アルゴリズムの前記資源要求しか必要としない一方で、少なくとも所定の出力品質推定値を供給することを特徴とする請求項３に記載のビデオフレームを表示する方法。
- 前記選択アルゴリズムが、多くても実質的に所定の量と等しい量の資源しか必要としないことを特徴とする請求項１に記載のビデオフレームを表示する方法。
- 前記選択アルゴリズムの出力品質推定値が、少なくとも実質的に所定の出力品質と等しいことを特徴とする請求項１に記載のビデオフレームを表示する方法。
- 前記所定の大きさのビデオ信号が動き推定器の出力に基づいて計算され、前記動き推定器は入力として前記ビデオ信号を持つことを特徴とする請求項１に記載のビデオフレームを表示する方法。
- 前記アルゴリズムが走査レートのアップコンバージョンを行なうことを特徴とする請求項１に記載のビデオフレームを表示する方法。
- ビデオフレームを表示するシステムであり、
少なくとも１つの所定の大きさのビデオ信号を計算する第１計算手段、及び
前記ビデオ信号から前記ビデオフレームを計算する第２計算手段を有するビデオフレームを表示するシステムであって、
前記ビデオ信号から前記ビデオフレームを計算するよう設計されている複数のアルゴリズムを供給するアルゴリズムバンク手段、
前記複数のアルゴリズムのうちの少なくとも１つのアルゴリズムのために前記少なくとも１つの所定の大きさのビデオ信号に基づいて出力品質推定値を計算する第３計算手段、及び
前記ビデオフレームを表示するために前記複数のアルゴリズムの中からアルゴリズムを選択し、選択アルゴリズムを実行する選択手段を更に有することを特徴とするビデオフレームを表示するシステム。 - 請求項１乃至９のいずれか一項に記載の方法を行なうよう構成されるコンピュータプログラム。
- 請求項１１に記載のコンピュータプログラムを有する記憶装置。
- テレビであって、ビデオ信号を受け取る受信機、前記ビデオ信号を処理するタスクを走らせるプログラム可能な構成要素、処理された前記ビデオ信号を表示する表示画面、及び請求項１０に記載のシステムを有するテレビ。
- セットトップボックスであって、ビデオ及び／又はオーディオストリームを受け取り、該ビデオ及び／又はオーディオストリームを復号化する受信機、並びに請求項１０に記載のシステムを有するセットトップボックス。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01202209 | 2001-06-08 | ||
| PCT/IB2002/002066 WO2002102058A1 (en) | 2001-06-08 | 2002-06-05 | Method and system for displaying a video frame |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004521563A true JP2004521563A (ja) | 2004-07-15 |
Family
ID=8180446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003504664A Withdrawn JP2004521563A (ja) | 2001-06-08 | 2002-06-05 | ビデオフレームを表示する方法及びシステム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20040189867A1 (ja) |
| EP (1) | EP1400108A1 (ja) |
| JP (1) | JP2004521563A (ja) |
| KR (1) | KR20030024839A (ja) |
| CN (1) | CN1515111A (ja) |
| WO (1) | WO2002102058A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008050502A1 (fr) * | 2006-10-27 | 2008-05-02 | Sharp Kabushiki Kaisha | Dispositif et procédé d'affichage d'image, et dispositif et procédé de traitement d'image |
| JP2010136367A (ja) * | 2008-12-03 | 2010-06-17 | Sharp Corp | 効率的な映像時空間アップスケーリング |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060059263A1 (en) | 2003-02-06 | 2006-03-16 | Koninklijke Philips Electronics N.V. | Optimizing scaleable video algorithm asset distribution utilizing quality indicators |
| EP1524856A1 (en) * | 2003-10-15 | 2005-04-20 | Sony International (Europe) GmbH | Method for processing video signals |
| EP1762092A1 (en) * | 2004-06-21 | 2007-03-14 | Koninklijke Philips Electronics N.V. | Image processor and image processing method using scan rate conversion |
| JP4181593B2 (ja) * | 2006-09-20 | 2008-11-19 | シャープ株式会社 | 画像表示装置及び方法 |
| JP4914235B2 (ja) * | 2007-01-31 | 2012-04-11 | キヤノン株式会社 | 映像記録再生装置及びその制御方法 |
| US8514939B2 (en) * | 2007-10-31 | 2013-08-20 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing |
| US8660175B2 (en) | 2007-12-10 | 2014-02-25 | Qualcomm Incorporated | Selective display of interpolated or extrapolated video units |
| US8804044B2 (en) | 2008-03-06 | 2014-08-12 | Entropic Communications, Inc. | Temporal fallback for high frame rate picture rate conversion |
| CN103000159B (zh) * | 2011-09-13 | 2015-06-24 | 联想(北京)有限公司 | 一种显示控制方法、显示控制装置及显示器 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| US5398315A (en) * | 1992-12-30 | 1995-03-14 | North American Philips Corporation | Multi-processor video display apparatus |
| US5428397A (en) * | 1993-05-07 | 1995-06-27 | Goldstar Co., Ltd. | Video format conversion apparatus for converting interlaced video format into progressive video format using motion-compensation |
| FI97590C (fi) * | 1994-12-15 | 1997-01-10 | Nokia Technology Gmbh | Menetelmä ja järjestely videokuvassa esiintyvien reunojen korostamiseksi |
| EP0830018A3 (en) * | 1996-09-13 | 1999-12-29 | Texas Instruments Incorporated | Method and system for motion detection in a video image |
| US6130723A (en) * | 1998-01-15 | 2000-10-10 | Innovision Corporation | Method and system for improving image quality on an interlaced video display |
| DE69835802T2 (de) * | 1998-03-09 | 2007-04-12 | Sony Deutschland Gmbh | Verfahren und System zur Interpolation von digitalen Signalen |
| DE69830471T2 (de) * | 1998-03-09 | 2006-08-10 | Sony Deutschland Gmbh | Interpolator mit einem gewichteten Medianfilter |
| EP1104970B1 (en) * | 1998-06-25 | 2009-08-12 | Hitachi, Ltd. | Method and device for converting number of frames of image signals |
-
2002
- 2002-06-05 EP EP02735727A patent/EP1400108A1/en not_active Withdrawn
- 2002-06-05 WO PCT/IB2002/002066 patent/WO2002102058A1/en not_active Application Discontinuation
- 2002-06-05 US US10/479,558 patent/US20040189867A1/en not_active Abandoned
- 2002-06-05 KR KR10-2003-7001804A patent/KR20030024839A/ko not_active Application Discontinuation
- 2002-06-05 CN CNA028114914A patent/CN1515111A/zh active Pending
- 2002-06-05 JP JP2003504664A patent/JP2004521563A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008050502A1 (fr) * | 2006-10-27 | 2008-05-02 | Sharp Kabushiki Kaisha | Dispositif et procédé d'affichage d'image, et dispositif et procédé de traitement d'image |
| US8384826B2 (en) | 2006-10-27 | 2013-02-26 | Sharp Kabushiki Kaisha | Image displaying device and method, and image processing device and method |
| JP2010136367A (ja) * | 2008-12-03 | 2010-06-17 | Sharp Corp | 効率的な映像時空間アップスケーリング |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030024839A (ko) | 2003-03-26 |
| EP1400108A1 (en) | 2004-03-24 |
| US20040189867A1 (en) | 2004-09-30 |
| CN1515111A (zh) | 2004-07-21 |
| WO2002102058A1 (en) | 2002-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1694501B (zh) | 用于确定运动矢量的方法和使用该方法的运动估算器 | |
| US8718138B2 (en) | Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image | |
| Dikbas et al. | Novel true-motion estimation algorithm and its application to motion-compensated temporal frame interpolation | |
| CN1960495B (zh) | 图像编码装置、图像编码方法和集成电路装置 | |
| EP2355038A1 (en) | Image processor and image processing method | |
| JP2003163894A (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| JP2005318611A (ja) | ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器 | |
| US8989272B2 (en) | Method and device for image interpolation systems based on motion estimation and compensation | |
| JP2004521563A (ja) | ビデオフレームを表示する方法及びシステム | |
| EP1489849A1 (en) | Adaptive block-based motion compensation | |
| Tsai et al. | Accurate frame rate up-conversion for advanced visual quality | |
| WO2010026838A1 (ja) | フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム | |
| JP5529161B2 (ja) | ビデオストリームをブラウジングする方法及び装置 | |
| JP5490236B2 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
| JP2007512750A (ja) | ビデオ信号における局所的な画像空間−時間細部の検出 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP5011854B2 (ja) | 高解像度画像処理装置 | |
| US7068721B2 (en) | Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture | |
| US8699577B2 (en) | Method and apparatus for interpolating image | |
| US8817191B2 (en) | Image processing apparatus and image processing method | |
| JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| Li et al. | A Bayer motion estimation for motion-compensated frame interpolation | |
| JPH0730859A (ja) | フレーム補間装置 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| WO2010023782A1 (ja) | 画像表示装置、録画再生装置、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041202 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050603 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070522 |