JP2016525295A - ビデオのマルチレベルの空間‐時間解像度上昇 - Google Patents

ビデオのマルチレベルの空間‐時間解像度上昇 Download PDF

Info

Publication number
JP2016525295A
JP2016525295A JP2016520800A JP2016520800A JP2016525295A JP 2016525295 A JP2016525295 A JP 2016525295A JP 2016520800 A JP2016520800 A JP 2016520800A JP 2016520800 A JP2016520800 A JP 2016520800A JP 2016525295 A JP2016525295 A JP 2016525295A
Authority
JP
Japan
Prior art keywords
video
spatial resolution
resolution
current video
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016520800A
Other languages
English (en)
Inventor
イラン バー−オン
イラン バー−オン
オレグ コステンコ
オレグ コステンコ
Original Assignee
ヌメリ リミテッド
ヌメリ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヌメリ リミテッド, ヌメリ リミテッド filed Critical ヌメリ リミテッド
Publication of JP2016525295A publication Critical patent/JP2016525295A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

空間／時間解像度を上昇させる方法は、ａ．初期時間／空間解像度を有する現在のビデオを供給するステップと、ｂ．最低の時間／空間解像度の現在のビデオを生成するために、現在のビデオの時間／空間解像度を繰り返し低減させるステップと、ｃ．前記最低の時間／空間解像度の現在のビデオの空間／時間解像度を上昇させるステップと、ｄ．次に高い時間／空間解像度の現在のビデオの空間／時間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期時間／空間解像度に至るまで繰り返すステップとを含む。【選択図】図４Ｓ

Description

本発明は画像およびビデオ処理の分野にある。
関連特許出願の相互参照
本特許出願は、２０１３年６月２５日に出願された米国仮特許出願第６１／８３８，８９２号の関連出願で、この仮出願からの優先権を主張するものであり、本米国仮特許出願は参照により本明細書全体に援用される。
未加工のビデオファイルは巨大である。例えば、１秒当たりのフレーム数（ｆｐｓ：ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が１２０、１フレーム当り３８４０×２１６０画素、１画素あたり３色、および１色あたり１６ビットの超高解像度（ＵＨＤ：Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の映画は、以下の帯域幅を必要とする。
３８４０＊２１６０＊１２０＊３＊１６＝４７，７７５，７４４，０００ビット毎秒≒５０ギガビット毎秒であり、約５００個の高速（１００Ｍｂｐｓ）ファイバーチャネルに等しい。
当該映画が、通常通り、２時間続くとすると、以下の記憶容量が必要である。
４７，７７５，７４４，０００＊７，２００≒３４３，９８５ギガビット≒４５テラバイトであり、約５０００枚の普通の（５ギガバイト）ＤＶＤディスクに等しい。
ビデオ圧縮は、「視覚品質に影響を与えずにビデオのサイズを低減する技術」であり、したがって、ビデオを扱うどの用途にも必要なツールである。
一般的に、ビデオはＲＧＢ色空間またはＹＵＶ色空間のコンポーネント等、複数のコンポーネントからなる。ただし、ここではそのコンポーネントのうち１つのみを、一般性を失うことなく考察する。ビデオへ全体の一般化は特許文献１に述べられている。
整数格子Ｚｎは、実ユークリッド空間Ｒｎにおけるｎ組の整数のセットである。フレームは、格子Ｚ２上では矩形のグリッドとして見え、ビデオはＺ３上では立方体形のグリッドとして見ることができる。格子のサブセットは、それ自体が格子であるが、副格子と呼ばれる。非特許文献１を参照されたい。図１にＺ２の副格子の例を示す。２つのＱｕｉｎｃｕｎｘ副格子をユニット１１０に示す。白く丸囲みされた点が偶数の副格子を構成し、黒く丸囲みされた点が奇数の副格子である。４つの二進（ｄｙａｄｉｃ）副格子をユニット１２０に同様に示す。伸張（ｄｉｌａｔｉｏｎ）マトリクスは副格子に関連付けられている。Ｑｕｉｎｃｕｎｘの場合はユニット１１５を、二進の場合はユニット１２５を参照されたい。さらに、可能な副格子の数は、対応する伸張マトリクスの行列式で決まることに留意されたい。
ダウンサンプリングは、所与の格子から副格子を抽出するステップを意味する。例えば、図２に二進ダウンサンプリングを示す。ユニット２１０に入力信号を示す。ユニット２２０に時間ダウンサンプリングを、ユニット２３０に空間ダウンサンプリングを示す。ユニット２４０に時間および空間が組み合わされたダウンサンプリングを示す。
汎用ビデオ・コーデックは、図３に示すように、以下のものからなる。
１．エンコーダ
入力ビデオをＹで示し、符号化された出力ビデオをＹ’で示す。
２．ビット・ストリーム
ビット・ストリームは、符号化されたビデオＹ’である。
用途により、送信されるかまたはディスクに保存される。
３．デコーダ
デコーダへの入力がビット・ストリームであり、復号された出力ビデオを
Figure 2016525295
 で示す。
詳細については、特許文献１を参照されたい。
国際出願公開ＷＯ／２０１４／０５３９８２
"Ｍｕｌｔｉｗａｖｅｌｅｔｓ ｉｎ Ｒｎ ｗｉｔｈ ａｎ Ａｒｂｉｔｒａｒｙ Ｄｉｌａｔｉｏｎ Ｍａｔｒｉｘ"， Ｃ． Ｃａｂｒｅｌｌｉ， Ｃ． Ｈｅｉｌ， ａｎｄ Ｕ． Ｍｏｌｔｅｒ， ｉｎ Ｌ． Ｄｅｂｎａｔｈ， Ｗａｖｅｌｅｔｓ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ， ２００２
本発明の第一の態様によれば、ａ．初期時間解像度を有する現在のビデオを供給するステップと、ｂ．最低の時間解像度の現在のビデオを生成するために、現在のビデオの時間解像度を繰り返し低減させるステップと、ｃ．前記最低の時間解像度の現在のビデオの空間解像度を上昇させるステップと、ｄ．次に高い時間解像度の現在のビデオの空間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期時間解像度に至るまで繰り返すステップとを含む、空間解像度を上昇させる方法が提供される。
ステップ（ａ）における現在のビデオは、元のビデオを空間的に低減したビデオを含んでもよく、ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行ってもよく、ステップ（ｃ）および（ｄ）は、現在のビデオの上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップとをさらに含んでもよく、前記計算するステップは、各々の低減した時間解像度の元のビデオを使用するステップを含んでもよい。
本方法は、ビデオ圧縮方法を含んでもよく、現在のビデオは、元のビデオの既に復号された空間的に低減したビデオを含んでもよく、元のビデオに対する操作は、エンコーダで行われてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
拡張データは、圧縮されたモードで提供されてもよい。
拡張データを計算するステップは、上昇した空間解像度の現在のビデオと、各々の低減した時間解像度の元のビデオとを比較するステップを含んでもよい。
本方法は、ステップ（ｂ）における低減させるステップの前に、現在のビデオを時間的にぼかすステップをさらに含んでもよい。
ステップ（ｄ）は、前記現在のビデオのぼかしを時間的に除去するステップをさらに含んでもよい。
ぼかしを除去するステップは、次に高い時間解像度の現在のビデオの空間解像度を上昇させるステップの後に行ってもよい。
本発明の第二の態様によれば、ａ．初期空間解像度を有する現在のビデオを供給するステップと、ｂ．最低の空間解像度の現在のビデオを生成するために、現在のビデオの空間解像度を繰り返し低減させるステップと、ｃ．前記最低の空間解像度の現在のビデオの時間解像度を上昇させるステップと、ｄ．次に高い空間解像度の現在のビデオの時間解像度を上昇させるステップと、ｅ．ステップ（ｄ）を初期空間解像度に至るまで繰り返すステップとを含む、時間解像度を上昇させる方法が提供される。
ステップ（ａ）における現在のビデオは、元のビデオの時間的に低減したビデオを含んでもよく、ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行ってもよく、ステップ（ｃ）および（ｄ）は、現在のビデオの上昇した時間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含んでもよく、計算するステップは、各々の低減した空間解像度の元のビデオを使用するステップを含んでもよい。
本方法は、ビデオ圧縮方法を含んでもよく、前記現在のビデオは、元のビデオの既に復号された時間的に低減したビデオを含んでもよく、元のビデオに対する操作は、エンコーダで行われてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
拡張データは、圧縮されたモードで提供されてもよい。
拡張データを計算するステップは、上昇した時間解像度の現在のビデオと、各々の低減した空間解像度の元のビデオとを比較するステップを含んでもよい。
本方法は、ステップ（ｂ）における低減させるステップの前に、現在のビデオを空間的にぼかすステップをさらに含んでもよい。
ステップ（ｄ）は、前記現在のビデオのぼかしを空間的に除去するステップをさらに含んでもよい。
ぼかしを除去するステップは、次に高い空間解像度の現在のビデオの時間解像度を上昇させるステップの後に行ってもよい。
本発明の第三の態様によれば、ａ．初期空間解像度を有する元の画像を供給するステップと、ｂ．最低の空間解像度の元の画像を生成するために、前記元の画像の空間解像度を繰り返し低減させるステップと、ｃ．前記最低の空間解像度の元の画像から最低の空間解像度の現在の画像を供給するステップと、ｄ．現在の画像の空間解像度を、元の画像の次に高い空間解像度に上昇させるステップと、ｅ．ステップ（ｄ）を元の画像の初期空間解像度に至るまで繰り返すステップとを含む、画像圧縮方法が提供され、前記ステップ（ｄ）は、現在の画像の上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含んでもよく、前記計算するステップは、各々の低減した空間解像度の元の画像を使用するステップを含んでもよく、元の画像に対する操作は、エンコーダで行われてもよく、前記最低の空間解像度の現在の画像は、前記エンコーダからデコーダへ供給されてもよく、拡張データを計算するステップは、エンコーダで行われてもよく、前記拡張データは、前記エンコーダからデコーダへ供給されてもよく、拡張データを使用するステップは、エンコーダおよびデコーダの両方で行われてもよい。
最低の空間解像度の現在の画像は、圧縮されたモードで提供されてもよい。
拡張データは、圧縮されたモードで提供されてもよい。
拡張データを計算するステップは、上昇した空間解像度の現在の画像と、各々の低減した空間解像度の元の画像とを比較するステップを含んでもよい。
本方法は、ステップ（ｂ）における低減させるステップの前に、元の画像を空間的にぼかすステップをさらに含んでもよい。
ステップ（ｄ）は、前記現在の画像のぼかしを空間的に除去するステップをさらに含んでもよい。
ぼかしを除去するステップは、現在の画像の空間解像度を上昇させるステップの後に行われてもよい。
本発明の第四の態様によれば、レイテンシのないビデオ圧縮方法が提供される。
Ｑｕｉｎｃｕｎｘおよび二進の副格子ならびに伸張マトリクスを示す。 二進ダウンサンプリングを示す。 汎用ビデオ・コーデックの図である。 ビデオの空間解像度上昇の図である。 ビデオの時間解像度上昇の図である。 単一画像エンコーダ・レイズ・アルゴリズムの図である。 単一画像デコーダ・レイズ・アルゴリズムの図である。 具体的な単一画像エンコーダ・レイズ・アルゴリズムの図である。 具体的な単一画像デコーダ・レイズ・アルゴリズムの図である。 レイテンシのないビデオ・エンコーダの図である。 レイテンシのないビデオ・デコーダの図である。 レイテンシのないエンコーダ・レイズ・アルゴリズムの図である。 レイテンシのないデコーダ・レイズ・アルゴリズムの図である。 具体的なレイテンシのないエンコーダ・レイズ・アルゴリズムの図である。 具体的なレイテンシのないデコーダ・レイズ・アルゴリズムの図である。 マルチ・フレーム・ビデオ・コーデックの図である。 マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。 マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。 具体的な時間マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。 具体的な時間マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。 具体的な空間マルチ・フレーム・エンコーダ・レイズ・アルゴリズムの図である。 具体的な空間マルチ・フレーム・デコーダ・レイズ・アルゴリズムの図である。
本発明は、特許文献１に記載されているように、レイズ操作のための新たなアルゴリズム、すなわち、ビデオの空間‐時間解像度上昇の各々の１ステージを提供するものである。レイズ操作は、エンコーダおよびデコーダの両方で行われる。エンコーダは、デコーダのレイズ操作をシミュレートし、必要に応じて追加の詳細を送る。
新たなレイズ・アルゴリズムは、画像およびビデオ・コーデックの現在の技術水準に勝る多くの基本的利点を有する、新たな画像およびビデオ圧縮コーデックをもたらすものである。すなわち以下のものである。
１．デコーダは、レイズ・アルゴリズムのＯｒａｃｌｅ（登録商標）操作を、動きベクトルなどの補足情報の必要なく、行う。
２．エンコーダから補足情報を受取る必要がないため、圧縮率が大幅に向上する。
３．コーデックは、最良の圧縮結果を達成するよう画素レベルで動作できる。対照的に、ｍｐｅｇは様々なブロックサイズの使用を余儀なくされる。
４．画素レベルで動作するので、ｍｐｅｇ規格では普通である、煩わしいブロック・アーティファクトを被ることはない。
５．デコーダは、ズームおよび回転など複雑な動きを検出するために、オプティカルフローなど、より高度な方法を使用できる。対象的に、ｍｐｅｇは平行移動（ｔｒａｎｓｌａｔｉｏｎ）のみを検出するブロック・マッチング・アルゴリズムを使用する。
６．デコーダは、エッジ検出方法など、より高度な空間予測方法を使用することもできる。これはｍｐｅｇでは不可能である。
７．コーデックは、計算を加速するためにＧＰＵなど、ＳＩＭＤ（ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ ｍｕｌｔｉｐｌｅ ｄａｔａ：単一命令複数データ）プロセッシング・ハードウェアを使用できるが、逆にｍｐｅｇでは、ＳＩＭＤがほぼ不可能である。
８．ＳＩＭＤハードウェアを使用することができるため、処理能力と引き換えに圧縮率を得て、より良い圧縮アルゴリズムを設計することができる。これは、補足情報を送る必要のために圧縮におけるいかなる実質的な向上も妨げられる、ｍｐｅｇでは可能ではない。
図４Ｓはビデオの空間解像度上昇のためのレイズ・アルゴリズムのフローチャートである。ステップ４１０で、ビデオの初期時間解像度が、何らかの所与の最低時間解像度ビデオに達するまで、繰り返し低減される。ステップ４２０で、次に、当該の所与の最低時間解像度ビデオの空間解像度が、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。Ｏｒａｃｌｅアルゴリズムでは、最初に最低時間解像度ビデオを時間的および空間的の両方で分析する。時間分析においては、上昇予定の空間解像度ビデオの時間動きフィールドを計算する。同様に、空間分析においては、上昇予定の空間解像度ビデオの空間幾何学的構造を計算する。最後に、当該空間および／または時間情報を使用して、上昇した空間解像度ビデオを予測する。ここで、Ｏｒａｃｌｅアルゴリズムは、所与の最低時間解像度ビデオのより高い空間解像度ビデオを、エンコーダから補足情報を一切受取ることなしに再構築することを強調する。一旦これが終わると、エンコーダは、予測された上昇した空間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にステップ４３０で、これらの不足している詳細が、再構築されたビデオに追加される。ステップ４４０で、ステップ４１０とは反対の操作が行われる。すなわち、ビデオの時間解像度が繰り返し上昇させられる。これは次のサブステップを用いて行われる。
・サブステップ４４１で、次に高い時間解像度ビデオの空間解像度が、ステップ４２０で述べたように、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。ここで、Ｏｒａｃｌｅアルゴリズム予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。
・一旦これが終わると、エンコーダは、当該予測された上昇した空間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。サブステップ４４２で、これらの不足している詳細が、再構築されたより高い空間解像度ビデオに追加される。
上記２つのサブステップが、ステップ４１０の初期時間解像度に達するまで、繰り返し行われる。ただし、この時までに、ビデオ全体の空間解像度が上昇していることに注意されたい。
時間解像度上昇のためのレイズ・アルゴリズムは非常に似ている。図４Ｓの用語、空間と時間とを入れ替えさえすれば、図４Ｔになる。ここで、ステップ４６０において、ビデオの初期空間解像度が、何らかの所与の最低空間解像度ビデオに達するまで、繰り返し低減される。ステップ４７０で、所与の最低空間解像度ビデオの時間解像度が上昇させられる。上述のように、Ｏｒａｃｌｅアルゴリズムでは、最初に最低空間解像度ビデオを時間的および空間的の両方で分析する。時間分析においては、上昇予定の時間解像度ビデオの時間動きフィールドを計算する。同様に、空間分析においては、上昇予定の時間解像度ビデオの空間幾何学的構造を計算する。最後に、当該時間および／または空間情報を使用して、上昇した時間解像度ビデオを予測する。その予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。次にエンコーダは、予測された上昇した時間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にステップ４８０で、これらの不足している詳細が、再構築されたビデオに追加される。ステップ４９０で、ステップ４６０とは反対の操作が行われる。すなわち、次のサブステップを用いて、ビデオの空間解像度が繰り返し上昇させられる。
・サブステップ４９１で、次に高い空間解像度ビデオの時間解像度が、ステップ４７０で述べたように、Ｏｒａｃｌｅアルゴリズムを使用して上昇させられる。ここで、Ｏｒａｃｌｅアルゴリズム予測は、エンコーダから補足情報を一切受取ることなしに行われることを再び強調する。
・一旦これが終わると、エンコーダは、当該予測された上昇した時間解像度ビデオの品質を向上させるため、デコーダに何らかの追加の詳細を送ると決定してもよい。次にサブステップ４９２で、これら不足している詳細が、再構築されたより高い時間解像度ビデオに追加される。
上記２つのサブステップが、ステップ４６０の初期空間解像度に達するまで、繰り返し行われる。上述の通り、この時までに、ビデオ全体の時間解像度が上昇している。
本発明はさらに、超解像、画像マッティングおよび合成、穴埋め、画像スティッチング、３Ｄ再構成、インペインティング、認識その他など、多くの他の画像およびビデオ用途にも有用である。参考文献［４］を参照されたい。例えば、図４Ｓからステップ４３０およびサブステップ４４２を省略すれば、ビデオの空間超解像度上昇のためのアルゴリズムを得る。同様に、図４Ｔからステップ４８０およびサブステップ４９２を省略すれば、ビデオの時間超解像度上昇のためのアルゴリズムを得る。
以下、次の使用例における新たなレイズ・アルゴリズムの説明に進む。使用例は、単一画像圧縮、レイテンシのないビデオ圧縮、およびマルチ・フレーム・ビデオ圧縮である。
使用例：単一画像コーデック
本発明はさらに、単一画像の圧縮にも適用され、その場合は、レイズ・アルゴリズムを、フレーム無しのビデオの時間解像度上昇として見てもよい。レイズ・アルゴリズムを図５および図６に示す。主要ステージの概説の後に、具体的なレイズ実装の説明に進む。
単一画像エンコーダ・レイズ・アルゴリズム
（図５）
ステージＩ
ステップ１：Ｙを入力画像とする。次に、２次元ぼかしフィルタをＹに適用して、その結果のぼかし画像をＢとして示す。
ステップ２：Ｂをダウンサンプリングして、その結果のダウンサンプリングされたサブ画像をＣとして示す。例えば、Ｑｕｉｎｃｕｎｘ法によるダウンサンプリングを、図１のユニット１１０に描く。
ステップ３：ぼかしてダウンサンプリングされたサブ画像Ｃに適用された、現単一画像エンコーダ・レイズ・アルゴリズムを使用して、ＣをＣ’に再帰的に符号化する。最低レベルでは、最低解像度のサブ画像Ｘに達する。次に、参考文献［２］に説明されている方法など、既存の画像圧縮方法を使用して、Ｘを符号化する。再帰を終了する最低レベルは、参考文献［３］に説明されているようなレート歪み技術を使用して、予めあるいは動的に定めることができる。
ステップ４：符号化されたデータＣ’をビット・ストリームにのせる。
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
単一画像ビット・ストリーム
ビット・ストリームは、符号化されたサブ画像Ｃ’および詳細Ｄ’からなる。Ｃ’は再帰的に計算されるので、Ｃ’自体は非常に低い解像度の符号化されたサブ画像および対応する詳細のシーケンスからなる。
単一画像デコーダ・レイズ・アルゴリズム
（図６）
ステージＩ
ステップ１：ビット・ストリームからＣ’を得る。
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
例１：具体的な単一画像レイズ・アルゴリズム
（図７、図８）
本セクションでは、上述の単一画像レイズ・アルゴリズムの可能な一つの実装を説明する。ただし、他の多くのエンコーダ／デコーダ実装が可能なことに留意されたい。
Figure 2016525295
 エッジ検出方法など、多くの画像処理ツールが本目的のために使用できる。例えば、参考文献［４］および参考文献［５］を参照されたい。
Figure 2016525295
使用例：レイテンシのないビデオ・コーデック
レイテンシのないビデオ・コーデックでは、ビデオフレームが順次処理される。すなわち、各ステップでは、既に圧縮されたビデオフレームを所与として、次に来るフレームを圧縮する。本例でのレイズ・アルゴリズムは、追加の最後のフレームを持つビデオの時間解像度上昇に等しい。レイテンシのないビデオ・コーデックは、レイテンシがシステムの最も重要な面である、ビデオ会議およびテレビ電話など、タイム・クリティカルな用途にとって不可欠である。
レイテンシのないビデオ圧縮アルゴリズムは次の各ステップからなる。
Figure 2016525295
上記ステップ４〜６を、ｋ＝１，．．．，ＮとしてＮ回繰り返し適用する。
図９にレイテンシのないビデオ・エンコーダが描かれ、さらに、図１０に対応するレイテンシのないビデオ・デコーダが描かれている。
次に、レイテンシのないレイズ・アルゴリズムの主要ステージを検討し、さらに具体的なレイテンシのないレイズ実装の説明に進む。
レイテンシのないエンコーダ・レイズ・アルゴリズム
ｋ＝１，．．，Ｎ 繰り返し
（図１１）
ステージＩ
Figure 2016525295
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
レイテンシのないビデオ・ビット・ストリーム
ｋ＝１，．．．，Ｎ 繰り返し
Figure 2016525295
レイテンシのないデコーダ・レイズ・アルゴリズム
ｋ＝１，．．．，Ｎ 繰り返し
（図１２）
ステージＩ
Figure 2016525295
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
例２：具体的なレイテンシのないレイズ・アルゴリズム
（図１３、図１４）
本セクションでは、上述のレイテンシのないレイズ・アルゴリズムの可能な一実装を説明する。ただし、他の多くの実装が可能なことに留意されたい。
Figure 2016525295
空間予測
Figure 2016525295
時間予測
Figure 2016525295
ブロック構築
Figure 2016525295
ブロック・マッチング
Figure 2016525295
予測
Figure 2016525295
低レイテンシのＯｒａｃｌｅ予測方法
Figure 2016525295
使用例：マルチ・フレーム・ビデオ・コーデック
マルチ・フレーム・ビデオ・コーデックでは、ビデオフレームは、例えば、ビデオの各々のカットに対応するブロックのようなブロックで処理される。特許文献１を参照されたい。さらに、フレームのそのような各ブロックを、独立して並行に処理する。本セクションでは、したがって、ビデオをそのように対応するフレームのブロックであると単純に考える。マルチ・フレーム・ビデオ・コーデックは、ビデオ・オン・デマンド（ＶＯＤ：Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）またはＤＶＤなど、リアルタイムの相互作用を必要としない用途に有用である。
図１５を参照のマルチ・フレーム・ビデオ・コーデックは、次のステージからなる。
ステージＩ：縮小操作
入力ビデオをＹで示すとし、軸、空間または時間を選ぶ。次に、Ｙを対応する軸方向に沿ってぼかし、ぼかしビデオをＰとして示す。さらに、Ｐを適宜ダウンサンプリングしてＱを得る。例えば、軸が時間の場合、ダウンサンプリングは、ビデオのフレームを１つ置きに取り除く行為であってもよい。図２を参照されたい。同様に、軸が空間の場合、ダウンサンプリングは、各フレームから、奇数のＱｕｉｎｃｕｎｘ副格子を取り除く行為であってもよい。図１を参照されたい。
ステージＩＩ：符号化／復号操作
Figure 2016525295
ステージＩＩＩ：レイズ操作
Figure 2016525295
本セクションでは、マルチ・フレーム・ビデオ・コーデックのためのレイズ・アルゴリズムを説明する。レイズ・アルゴリズムの主要ステージの概説の後、いくつかの具体的なレイズ実装の説明に進む。
マルチ・フレーム・エンコーダ・レイズ・アルゴリズム
（図１６）
ステージＩ
ステップ１：軸方向を、各々の縮小軸方向に対して相補しているものとして設定する。すなわち、各々の縮小軸が空間だった場合、軸は時間で、逆も同様である。
ステップ２：Ｒを、ＰにおけるＱの相補物として示すとする。図１５を参照されたい。例えば、ダウンサンプリングが、ビデオのフレームを１つ置きに取り除く行為である場合、ＲはＰから取り除かれる１つ置きのフレームである。同様に、ダウンサンプリングが、各フレームから奇数のＱｕｉｎｃｕｎｘ副格子を取り除く行為である場合、Ｒはそれぞれの各フーレムの奇数のＱｕｉｎｃｕｎｘ副格子である。
ステップ３：
Figure 2016525295
 軸が空間の場合は、各フレームに２次元ぼかしフィルタを適用し、軸が時間の場合は、フレームの方向に沿って１次元ぼかしフィルタを適用することに留意されたい。
ステップ４：
Figure 2016525295
 軸が空間の場合は、例えば各フレームの奇数のＱｕｉｎｃｕｎｘ副格子を取り除いて、各フレームを空間的にダウンサンプリングすることに留意されたい。図１ユニット１１０を参照されたい。同様に、軸が時間の場合は、例えばフレームを１つ置きに取り除くことによって、フレームを時間的にダウンサンプリングすることに留意されたい。図２を参照されたい。
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
ステージＩＶ
Figure 2016525295
マルチ・フレーム・ビデオ・ビット・ストリーム
Figure 2016525295
マルチ・フレーム・デコーダ・レイズ・アルゴリズム
（図１７）
ステージＩ
Figure 2016525295
ステージＩＩ
Figure 2016525295
ステージＩＩＩ
Figure 2016525295
ステージＩＶ
Figure 2016525295
例３：具体的な時間マルチ・フレーム・レイズ・アルゴリズム
（図１８、図１９）
本セクションでは、上述の時間マルチ・フレーム・レイズ・アルゴリズムの可能な一実装を説明する。ただし、他の多くの実装が可能なことに留意されたい。
Figure 2016525295
空間予測
Figure 2016525295
時間予測
Figure 2016525295
マルチ‐フレームＯｒａｃｌｅ方法
Figure 2016525295
例４：具体的な空間マルチ・フレーム・レイズ・アルゴリズム
（図２０、図２１）
本セクションでは、上述の空間マルチ・フレーム・レイズ・アルゴリズムの可能な一実装を説明する。これは例３と非常に類似しており、ここでは、空間操作および時間操作の役割が交換されただけである。ただし、他の多くの実装が可能なことに留意されたい。
Figure 2016525295
空間予測
上述の例３と同じである。
時間予測
上述の例３と同じである。
マルチ‐フレームＯｒａｃｌｅ方法
Figure 2016525295
次の文献は、本出願において参照されており、全てが本明細書に引用により組み入れられている。
特許文献
特許文献［１］Ｉｌａｎ Ｂａｒ−Ｏｎ 及び Ｏｌｅｇ Ｋｏｓｔｅｎｋｏ， Ａ Ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ，国際公開ＷＯ／２０１４／０５３９８２号
特許文献［２］Ｉｌａｎ Ｂａｒ−Ｏｎ， Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ ａ Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｃｒｅｔｅ Ｍｕｌｔｉｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ， 米国特許第８，３３１，７０８号（Ｂ２）、２０１２年１２月１１日
特許文献［３］Ｉｌａｎ Ｂａｒ−Ｏｎ 及び Ｏｌｅｇ Ｋｏｓｔｅｎｋｏ， Ａ Ｍｅｔｈｏｄ ａｎｄ ａ Ｓｙｓｔｅｍ ｆｏｒ Ｗａｖｅｌｅｔ Ｂａｓｅｄ Ｐｒｏｃｅｓｓｉｎｇ、国際出願公開ＷＯ／２００８／０８１４５９号。
参考文献
参考文献［１］“Ｍｕｌｔｉｗａｖｅｌｅｔｓ ｉｎ Ｒｎ ｗｉｔｈ ａｎ Ａｒｂｉｔｒａｒｙ Ｄｉｌａｔｉｏｎ Ｍａｔｒｉｘ”， Ｃ． Ｃａｂｒｅｌｌｉ， Ｃ． Ｈｅｉｌ， ａｎｄ Ｕ． Ｍｏｌｔｅｒ， ｉｎ Ｌ． Ｄｅｂｎａｔｈ， Ｗａｖｅｌｅｔｓ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ， ２００２
参考文献［２］“Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ”， Ｋｈａｌｉｄ Ｓａｙｏｏｄ， Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ， ２０００
参考文献［３］“Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ”， ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ＿ｏｐｔｉｍｉｚａｔｉｏｎ
参考文献［４］“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ”， Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ， ２０１０
参考文献［５］“Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ： Ａ Ｍｏｄｅｒｎ Ａｐｐｒｏａｃｈ”， Ｄａｖｉｄ Ａ． Ｆｏｒｓｙｔｈ， Ｊｅａｎ Ｐｏｎｃｅ， ２０１１。

Claims (33)

  1. 空間解像度を上昇させる方法であって、
    ａ．初期時間解像度を有する現在のビデオを供給するステップと、
    ｂ．最低の時間解像度の現在のビデオを生成するために、前記現在のビデオの前記時間解像度を繰り返し低減させるステップと、
    ｃ．前記最低の時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
    ｄ．次に高い時間解像度の現在のビデオの前記空間解像度を上昇させるステップと、
    ｅ．ステップ（ｄ）を前記初期時間解像度に至るまで繰り返すステップと、
    を含む、方法。
  2. 時間解像度を上昇させる方法であって、
    ａ．初期空間解像度を有する現在のビデオを供給するステップと、
    ｂ．最低の空間解像度の現在のビデオを生成するために、前記現在のビデオの前記空間解像度を繰り返し低減させるステップと、
    ｃ．前記最低の空間解像度の現在のビデオの前記時間解像度を上昇させるステップと、
    ｄ．次に高い空間解像度の現在のビデオの前記時間解像度を上昇させるステップと、
    ｅ．ステップ（ｄ）を前記初期空間解像度に至るまで繰り返すステップと、
    を含む、方法。
  3. ステップ（ａ）における前記現在のビデオは、元のビデオを空間的に低減したビデオを含み、
    前記ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対して行われ、
    前記ステップ（ｃ）および（ｄ）は、前記現在のビデオの前記上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した時間解像度の元のビデオを使用するステップを含む、請求項１に記載の方法。
  4. ステップ（ａ）における前記現在のビデオは、元のビデオを時間的に低減したビデオを含み、
    前記ステップ（ｂ）は、前記現在のビデオおよび前記元のビデオの両方に対し行われ、
    前記ステップ（ｃ）および（ｄ）は、前記現在のビデオの前記上昇した時間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した空間解像度の元のビデオを使用するステップを含む、請求項２に記載の方法。
  5. 前記現在のビデオは、前記元のビデオの既に復号された空間的に低減したビデオを含み、
    前記元のビデオに対する操作は、エンコーダで行われ、
    前記拡張データを計算するステップは、前記エンコーダで行われ、
    前記拡張データは、前記エンコーダからデコーダへ供給され、
    前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、請求項３に記載の方法を含む、ビデオ圧縮方法。
  6. 前記現在のビデオは、前記元のビデオの既に復号された時間的に低減したビデオを含み、
    前記元のビデオに対する操作は、エンコーダで行われ、
    前記拡張データを計算するステップは、前記エンコーダで行われ、
    前記拡張データは、前記エンコーダからデコーダへ供給され、
    前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、請求項４に記載の方法を含む、ビデオ圧縮方法。
  7. 前記拡張データは、圧縮されたモードで提供される、請求項５に記載の方法。
  8. 前記拡張データは、圧縮されたモードで提供される、請求項６に記載の方法。
  9. 前記拡張データを計算するステップは、前記上昇した空間解像度の現在のビデオと、前記各々の低減した時間解像度の元のビデオとを比較するステップを含む、請求項５に記載の方法。
  10. 前記拡張データを計算するステップは、前記上昇した時間解像度の現在のビデオと、前記各々の低減した空間解像度の元のビデオとを比較するステップを含む、請求項６に記載の方法。
  11. 前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオを時間的にぼかすステップをさらに含む、請求項１に記載の方法。
  12. 前記ステップ（ｄ）は、前記現在のビデオのぼかしを時間的に除去するステップをさらに含む、請求項１１に記載の方法。
  13. 前記ぼかしを除去するステップは、前記次に高い時間解像度の現在のビデオの前記空間解像度を上昇させるステップの後に行われる、請求項１２に記載の方法。
  14. 前記ステップ（ｂ）における低減させるステップの前に、前記現在のビデオを空間的にぼかすステップをさらに含む、請求項２に記載の方法。
  15. 前記ステップ（ｄ）は、前記現在のビデオのぼかしを空間的に除去するステップをさらに含む、請求項１４に記載の方法。
  16. 前記ぼかしを除去するステップは、前記次に高い空間解像度の現在のビデオの前記時間解像度を上昇させるステップの後に行われる、請求項１５に記載の方法。
  17. 画像圧縮方法であって、
    ａ．初期空間解像度を有する元の画像を供給するステップと、
    ｂ．最低の空間解像度の元の画像を生成するために、前記元の画像の前記空間解像度を繰り返し低減させるステップと、
    ｃ．前記最低の空間解像度の元の画像から最低の空間解像度の現在の画像を供給するステップと、
    ｄ．前記現在の画像の前記空間解像度を、前記元の画像の次に高い空間解像度に上昇させるステップと、
    ｅ．前記ステップ（ｄ）を前記元の画像の前記初期空間解像度に至るまで繰り返すステップと、
    を含み、
    前記ステップ（ｄ）は、前記現在の画像の前記上昇した空間解像度を拡張するために、拡張データを計算するステップと、前記拡張データを使用するステップと、をさらに含み、前記計算するステップは、各々の低減した空間解像度の元の画像を使用するステップを含み、
    前記元の画像に対する操作は、エンコーダで行われ、
    前記最低の空間解像度の現在の画像は、前記エンコーダからデコーダへ供給され、
    前記拡張データを計算するステップは、前記エンコーダで行われ、
    前記拡張データは、前記エンコーダから前記デコーダへ供給され、
    前記拡張データを使用するステップは、前記エンコーダおよび前記デコーダの両方で行われる、画像圧縮方法。
  18. 前記最低の空間解像度の現在の画像は、圧縮されたモードで提供される、請求項１７に記載の方法。
  19. 前記拡張データは、圧縮されたモードで提供される、請求項１７に記載の方法。
  20. 前記拡張データを計算するステップは、前記上昇した空間解像度の現在の画像と、前記各々の低減した空間解像度の元の画像とを比較するステップを含む、請求項１７に記載の方法。
  21. 前記ステップ（ｂ）における低減させるステップの前に、前記元の画像を空間的にぼかすステップをさらに含む、請求項１７に記載の方法。
  22. 前記ステップ（ｄ）は、前記現在の画像のぼかしを空間的に除去するステップをさらに含む、請求項２１に記載の方法。
  23. 前記ぼかしを除去するステップは、前記現在の画像の前記空間解像度を上昇させるステップの後に行われる、請求項２２に記載の方法。
  24. レイテンシのないビデオ圧縮方法であって、
    請求項１７に記載の方法を使用して第１のビデオフレームを圧縮するステップと、
    一度に１つの最後のフレームを前記既に処理されたビデオに追加し、請求項６に記載の方法を使用して、次のフレームを繰り返し圧縮するステップとを含み、
    前記現在のビデオは、前記既に復号されたビデオを含み、前記元のビデオは、前記追加された新たな最後のフレームを持つ前記既に処理されたビデオを含む、レイテンシのないビデオ圧縮方法。
  25. 前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、より低い時間解像度の現在のビデオを分析するステップを含む、請求項１に記載の方法。
  26. 前記ステップ（ｃ）および（ｄ）における前記空間解像度を上昇させるステップは、前記上昇させられる空間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップを含む、請求項２５に記載の方法。
  27. 前記上昇させられる空間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項２６に記載の方法。
  28. 前記ステップ（ｃ）および（ｄ）における前記時間解像度を上昇させるステップは、より低い空間解像度の現在のビデオを分析するステップを含む、請求項２に記載の方法。
  29. 前記ステップ（ｃ）および（ｄ）における前記時間解像度を上昇させるステップは、前記上昇させられる時間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップを含む、請求項２８に記載の方法。
  30. 前記上昇させられる時間解像度の現在のビデオの前記時間動きフィールドおよび前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項２９に記載の方法。
  31. 前記ステップ（ｄ）における前記空間解像度を上昇させるステップは、より低い空間解像度の現在の画像を分析するステップを含む、請求項１７に記載の方法。
  32. 前記ステップ（ｄ）の前記空間解像度を上昇させるステップは、前記上昇させられる空間解像度の現在の画像の前記空間幾何学的構造を計算するステップを含む、請求項３１に記載の方法。
  33. 前記上昇させられる空間解像度の現在の画像の前記空間幾何学的構造を計算するステップは、画素レベルで行われる、請求項３２に記載の方法。

JP2016520800A 2013-06-25 2014-06-23 ビデオのマルチレベルの空間‐時間解像度上昇 Pending JP2016525295A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361838892P 2013-06-25 2013-06-25
US61/838,892 2013-06-25
PCT/IB2014/062524 WO2014207643A1 (en) 2013-06-25 2014-06-23 Multi-level spatial-temporal resolution increase of video

Publications (1)

Publication Number Publication Date
JP2016525295A true JP2016525295A (ja) 2016-08-22

Family

ID=52141168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520800A Pending JP2016525295A (ja) 2013-06-25 2014-06-23 ビデオのマルチレベルの空間‐時間解像度上昇

Country Status (11)

Country Link
US (3) US10157447B2 (ja)
EP (1) EP3014870A4 (ja)
JP (1) JP2016525295A (ja)
KR (1) KR20160024975A (ja)
CN (1) CN105359508A (ja)
AU (1) AU2014300624A1 (ja)
BR (1) BR112015031918A2 (ja)
CA (1) CA2921884C (ja)
IL (1) IL242713B (ja)
RU (1) RU2016102196A (ja)
WO (1) WO2014207643A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525261A (ja) 2014-07-09 2017-08-31 ヌメリ リミテッド ユニバーサルビデオコーデック
EP3459250A1 (en) 2016-05-16 2019-03-27 Numeri Ltd. A new pyramid algorithm for video compression and video analysis
US11468542B2 (en) * 2019-01-18 2022-10-11 Arizona Board Of Regents On Behalf Of Arizona State University LAPRAN: a scalable Laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244365A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Systems and methods for increasing the temporal resolution of video data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR20040068973A (ko) * 2001-12-21 2004-08-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 시퀀스들의 움직임 보상형 시간적 보간을 위한방법 및 장치
DE60332328D1 (de) * 2002-03-13 2010-06-10 Imax Corp Systeme und verfahren für ein digitales remastering oder anderweitiges modifizieren von beweglichen bildern oder anderen bildsequenzdaten
JP2008507915A (ja) * 2004-07-20 2008-03-13 クゥアルコム・インコーポレイテッド 映像圧縮のための符号器補助式フレーム速度アップコンバージョンのための方法及び装置
WO2007083312A2 (en) 2006-01-18 2007-07-26 Numeri Ltd. Method and apparatus for a multidimensional discrete multiwavelet transform
EP2082332B1 (en) 2006-10-10 2012-08-22 Zoran (France) Method and apparatus for spatio-temporal subband video enhancement with small time delay
US9521431B2 (en) 2007-01-03 2016-12-13 Numeri Ltd. Method and a system for wavelet based processing
US8279341B1 (en) * 2007-02-26 2012-10-02 MotionDSP, Inc. Enhancing the resolution and quality of sequential digital images
KR101146138B1 (ko) 2008-12-10 2012-05-16 한국전자통신연구원 시간적 스케일러블 비디오 인코더
EP2716041A4 (en) 2011-05-31 2014-10-15 Dolby Lab Licensing Corp VIDEO COMPRESSION WITH RESOLUTION COMPENSATION AND OPTIMIZATION
CN107529708B (zh) 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
WO2014053982A2 (en) 2012-10-07 2014-04-10 Numeri Ltd. Video compression method
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244365A1 (en) * 2008-03-31 2009-10-01 Sharp Laboratories Of America, Inc. Systems and methods for increasing the temporal resolution of video data

Also Published As

Publication number Publication date
US20200193565A1 (en) 2020-06-18
IL242713B (en) 2020-01-30
US20160148346A1 (en) 2016-05-26
KR20160024975A (ko) 2016-03-07
RU2016102196A (ru) 2017-07-28
CN105359508A (zh) 2016-02-24
US10733704B2 (en) 2020-08-04
EP3014870A1 (en) 2016-05-04
AU2014300624A1 (en) 2015-12-10
CA2921884A1 (en) 2014-12-31
EP3014870A4 (en) 2016-12-28
CA2921884C (en) 2020-04-28
BR112015031918A2 (pt) 2017-07-25
US11074673B2 (en) 2021-07-27
US10157447B2 (en) 2018-12-18
WO2014207643A1 (en) 2014-12-31
US20190096036A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP7047119B2 (ja) 変換領域における残差符号予測のための方法および装置
AU2012285356B2 (en) Tiered signal decoding and signal reconstruction
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
JP5399416B2 (ja) 参照フレームの圧縮を伴うビデオ符号化システム
WO2019001108A1 (zh) 视频处理的方法和装置
US11074673B2 (en) Multi-level temporal resolution increase of video
CA2886174C (en) Video compression method
JP2010022006A (ja) 画像データ処理方法
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
EP4365820A1 (en) Video super-resolution network, and video super-resolution, encoding and decoding processing method and device
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
Öztürk et al. Performance evaluation of jpeg standards, webp and png in terms of compression ratio and time for lossless encoding
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
US8798379B2 (en) Image processing method, encoding device, decoding device, and image processing apparatus
CN106954074B (zh) 一种视频数据处理方法和装置
KR20210113057A (ko) 압축 신경망 내에서의 패딩/트리밍을 사용하는 방법, 장치 및 기록 매체
KR20170033355A (ko) 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이
US11769276B2 (en) Method, apparatus, and storage medium using padding/trimming in compression neural network
WO2023245460A1 (en) Neural network codec with hybrid entropy model and flexible quantization
Ibraheem et al. Enhancing Versatile Video Coding Efficiency via Post-Processing of Decoded Frames Using Residual Network Integration in Deep Convolutional Neural Networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190212