JP2018519726A - デジタルビデオサンプリング及びアップスケーリングを実行するシステム及び方法 - Google Patents

Abstract

アップスケーリングを実行する方法であって、入力ビデオを解析することと、入力ビデオを個別のフレームに分解することと、アップスケールフレームを生成するために個別のフレームにおいてアップスケーリングを実行することと、アップスケールビデオを生成するためにアップスケールフレームを互いにステッチングすることと、を備える方法を開示する。
【選択図】図１

Description

この出願は、ＰＣＴに基づく国際出願として２０１６年５月１１日に出願され、米国仮出願第６２／１６２，２２２号の優先権を主張し、その開示を、参照することにより全体をここに組み込む。

多くの従来のビデオ又はビデオ／リールの部分は、４Ｋ ＵＨＤより低い解像度で作成され、これらのビデオの多くは、４Ｋ ＵＨＤで再生するのに要求される。その結果、制作会社は、個別のフレームを所望の解像度にアップスケールすることが要求され、その結果、個別のフレームを全ての４Ｋ ＵＨＤビデオの一部として再生することができる。本開示の態様は、ビデオフレームをアップスケールするための有効なワークフローに関する。ここで開示する技術は、ビデオを符号化する厳密な（ｅｘａｃｔ）フォーマットに関係なくビデオをアップスケールするために用いることができる。ここで開示した例示的なシステム及び方法によって作成した結果的に得られるフレーム又はビデオは、現存する４Ｋ ＵＨＤビデオにステッチされる（ｓｔｉｔｃｈｅｄ）ことができる。ここで開示する態様は、ビデオを伴うオーディオもサポートする。

一態様において、本発明は、アップスケーリングを実行する方法であって、入力ビデオを解析することと、入力ビデオを個別のフレームに分解することと、アップスケールフレームを生成するために個別のフレームにおいてアップスケーリングを実行することと、アップスケールビデオを生成するためにアップスケールフレームを互いにステッチングすることと、を備える方法に関する。

アップサンプリングを実行する例示的なワークフローの図である。 例示的なワークフローシステムである。 ビデオをアップスケールする方法の一実施の形態である。 本実施の形態の一つ以上を実施する適切な動作環境を示す。 ここで開示した種々のシステム及び方法が動作することができる例示的なネットワークの一実施の形態である。

全ての図面において、同一番号は同一素子又は同一タイプの素子を表す。

ここで開示した態様は、デジタルビデオサンプリング及びアップスケーリングを実行するシステム及び方法に関する。例えば、ここで開示した種々の態様は、コンテンツをアップスケールするのに用いることができるワークフローを提供する。コンテンツの例示的な形態は、オーディオコンテンツ、ビデオコンテンツ、画像等を含む。しかしながら、説明を容易にするために、ここで開示した態様を、ビデオにおけるアップスケーリングの実行に関連して説明する。本開示の態様は、あらゆるタイプの動作環境で用いることができるプラットフォームに依存しないワークフローを提供する。ここで開示した態様は、向上した処理スループットを提供するとともに従来のビデオアップスケーリングよりも記憶要件（ｓｔｏｒａｇｅ ｒｅｑｕｉｒｅｍｅｎｔｓ）を減少させる。さらに、ここで開示した態様は、従来のソリューションに比べて処理機能及び／又はコンピューティング資源の要求が少なくなり、これによって、ここで開示したシステム及び方法を、従来のアップサンプリングソリューションをサポートすることができない装置で動作させることができる。

図１は、アップサンプリングを実行する例示的なワークフロー１００の図である。例示的なワークフローを、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組み合わせを用いて実現することができる。例において、ワークフロー１００を、ビデオコンテンツ及び／又はオーディオコンテンツを処理するのに用いることができる。しかしながら、当業者は、本開示の精神を逸脱することなくワークフロー１００を他のタイプのコンテンツと共に用いることができることを理解する。描いたワークフローは、七つの異なる処理経路を含む。しかしながら、当業者は、本開示の範囲を逸脱することなく更に多い又は更に少ない処理経路を用いてもよいことを理解する。

ワークフロー１００において参照番号１によって識別されるワークフローの第１ステップは、入力ビデオを検索することを備える。入力ビデオを、ＷｅｂＭ，Ｈ．２６４／Ｈ．２６５等のような未処理のフレーム（ｒａｗ ｆｒａｍｅ）及び任意のサポートされたフォーマットとすることができる。入力ビデオは、ＭＰ４，ＡＶＩ，ＭＫＶ等のような任意のコンテナに存在してもよい。未処理ビデオは、サイズが大きく、その結果、ディスクの読出し数が多くなる。ディスクアクセスはメモリアクセスよりも低速であるので、ディスクからの読出しを必要とすることは、大きな犠牲を払う。例において、ソリッドステートドライブ（ＳＤＤ）を、検索処理を迅速に行うために用いることができる。

ワークフロー１００において参照番号２によって識別されるワークフローの第２ステップは、入力ビデオをフレームに分割するためにビデオファイルを解析することを含む。例において、分割プロセスは、入力ビデオからオーディオトラックを切り離すこともできる。一例において、分割をソースパーサによって実行してもよい。ソースパーサは、入力ビデオストリームのフォーマットを決定することができる。入力ビデオストリームのフォーマットは、入力ビデオストリームを個別のフレームに分割する方法を決定することができる。例えば、フレームを分割する方法は、入力ビデオストリームで用いられる符号化のタイプ（又はその欠乏（ｌａｃｋ ｔｈｅｒｅｏｆ））に応じて変えてもよい。入力ビデオストリームが符号化される場合、ソースパーサは、ストリームデータを個別のフレームに復号することによってビデオストリームを分割することができる。ソースパーサは、各フレームのサイズを決定することもできる。更に詳しくは、ソースパーサは、フレームの幅及び高さ（解像度）を決定することができる。ソースパーサは、ビデオコンテナについての情報を収集するために入力ビデオストリームを分析してもよい。

ワークフロー１００において参照番号３によって識別されるワークフローの第３ステップは、アップスケールストリームを生成するために入力ビデオストリームを処理することを含む。一例において、入力ビデオストリームの各フレームをアップスケールする。例えば、一旦個別のフレームが決定されると、フレームを、エンジンをアップスケーリング又はアップサンプリングすることによって処理することができる。フレームを、例えば、アルゴリズムに基づく自己相似性、双線形アルゴリズム（ｂｉｌｉｎｅａｒ ａｌｇｏｒｉｔｈｍ）、３次補間（ｂｉｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）又は他の任意のタイプのアップスケーリングアルゴリズムのような任意のタイプのアップスケーリング又はアップサンプリングアルゴリズムを用いてアップスケールしてもよい。例において、アップスケーリングの量を、必要に応じて変えることができる。例えば、２Ｘアップスケーリング、４Ｘアップスケーリング等を実行することができる。アップスケーリングを実行した後、ワークフローは、ワークフロー１００において参照番号４によって識別される第４のステップに進み、この場合、アップスケールフレームがセーブされる。一例において、アップスケールフレームを個別にセーブしてもよい。他の例において、アップスケールフレームを、入力ビデオストリームのアップスケールフレームの全てを含む単一のファイルにセーブしてもよい。

ワークフロー１００において参照番号５によって識別されるワークフローの第５ステップにおいて、アップスケールフレームを互いにステッチングする。例において、第５のステップにおいて、出力プロセッサによって、格納されたアップサンプルフレームのそれぞれからアップサンプルビデオを再構築する。別の例では、ワークフロー１００において参照番号６によって識別されるワークフローの第６ステップにおいて、入力ビデオからのオーディオトラックを受信又は検索するとともにスティチングされたビデオフレームと組み合わせ、オーディオを含む最終的なアップサンプルビデオを生成する。例において、ステッチングによって、未処理のビデオが生成される。態様において、ソーストラックがオーディオを有する場合、ソースパーサは、オーディオ情報を抽出するとともにオーディオ情報を出力プロセッサで利用できるようにすることを保証することができる。ワークフロー１００において参照番号７によって識別されるワークフローの第７ステップにおいて、最終的なアップサンプルビデオを格納する。一例において、最終的なアップサンプルビデオを、未処理のフォーマットで格納してもよい。他の例において、最終的なアップサンプルビデオを格納前に符号化してもよい。

図２は、例示的なワークフローシステム２００である。例示的なワークフローシステムは、入力ビデオ記憶装置２０２を含む。入力ビデオは、入力ビデオ記憶装置２０２から検索され、アップスケーリング部２０４によって処理される。例において、アップスケーリング部２０４は、図１に記載したワークフロー１００に関連して説明した動作を実行することができる。アップスケーリング部２０４によって生成されたアップサンプルビデオは、アップサンプルビデオ記憶装置２０６に格納される。その後、アップサンプルビデオは、アップサンプルビデオ記憶装置２０６から検索され、トランスコーダ部２０８及びトランスコーダ部２１０のような一つ以上のトランスコーダに供給される。例において、各トランスコーダ部は、特定のビデオフォーマット又はコーデックに従ってアップサンプルビデオを符号化する。したがって、単一のアップサンプルビデオは、例えば、ＷｅｂＭ，Ｈ．２６４／Ｈ．２６５のような一つ以上の異なるビデオフォーマットに符号化される。その後、一つ以上のビデオトランスコーダによって生成される（一つ以上の）符号化ビデオは、符号化ビデオ記憶装置２１２に格納される。システム２００を、三つの個別のデータ記憶装置を有するものとして示すが、当業者は、種々の処理段階の間にビデオを格納するために単一のデータ記憶装置を用いることができることを理解する。

図３は、ビデオをアップスケールする方法３００の一実施の形態である。例において、方法３００は、工程、プログラム又は命令を格納するとともに実行するように構成されている少なくとも一つのプロセッサを備える装置において実行される。しかしながら、方法３００は、そのような例に限定されない。方法３００を、ハードウェア、ソフトウェア又はハードウェアとソフトウェアの組合せで実現することができる。他の例において、方法３００を、ロケーションベース（ｌｏｃａｔｉｏｎ−ｂａｓｅｄ）アプリケーション又はサービスを実行するアプリケーション又はサービスによって実行することができる。フローは、入力ビデオが検索される工程３０２で開始する。例において、入力ビデオを、未処理のデータフォーマットで検索してもよい。他の例において、入力ビデオを、符号化フォーマットで検索してもよい。

フローは、入力ビデオが解析される工程３０４に進む。一態様において、入力ビデオを解析することは、ビデオから一つ以上のオーディオトラックを切り離すことを含む。他の例において、入力ビデオが符号化される場合、入力ビデオを、解析工程３０４の間に復号してもよい。オーディオトラックがビデオから切り離された後、フローは、入力ビデオを個別のフレームに分解する工程３０６に進む。一例において、個別のフレームをそれぞれ別々に格納してもよい。代替的な例において、個別のフレームの全てを単一のファイルに格納してもよい。フローは、各フレームのアップスケーリングを行う工程３０８に進む。フレームを、フレームを、例えば、アルゴリズムに基づく自己相似性、双線形アルゴリズム、３次補間又は他の任意のタイプのアップスケーリングアルゴリズムのような任意のタイプのアップスケーリング又はアップサンプリングアルゴリズムを用いてアップスケールしてもよい。例において、アップスケーリングの量を、必要に応じて変えることができる。例えば、２×アップスケーリング、４×アップスケーリング等を実行することができる。

フローは、アップスケールフレームを互いにステッチングする工程３１０に進む。一例において、アップスケールフレームを互いにステッチングすることは、オーディオトラックをアップスケールフレームにステッチングすることを含む。ステッチング工程３１０を、アップスケールビデオを生成するために用いてもよい。フローは、アップスケールビデオを提供する工程３１２に進む。アップスケールビデオを提供することは、アップスケールビデオをデータ記憶装置に格納することを含んでもよい。他の例において、ビデオを提供することは、アップスケールビデオをディスプレイに送信することを含んでもよい。

サブジェクト指向圧縮（ｓｕｂｊｅｃｔ−ｏｒｉｅｎｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ）に用いることができるシステム及び方法の種々の実施の形態を説明したが、本開示は、ここで開示したシステム及び方法を実行するために用いることができる例示的な動作環境をこれから説明する。図４は、本実施の形態の一つ以上を実施する適切な動作環境４００を示す。これは、適切な動作環境の一例にすぎず、使用又は機能の範囲を制限するのを示唆することを意図しない。パーソナルコンピュータ、サーバコンピュータ、携帯型又はラップトップ型装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、スマートフォンのようなプログラマブル家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上述したシステム又は装置のいずれかを含む分散コンピューティング環境等を含むがそれに限定されない他の周知のコンピュータシステム、環境及び／又は形態が使用に適している。

最も基本的な形態において、動作環境４００は、典型的には、少なくとも一つの処理部４０２と、メモリ４０４と、を含む。コンピュータ装置の厳密な形態及びタイプに応じて、（ここで開示したアップスケーリングの実施の形態を実施するための命令を格納する）メモリ４０４を、（ＲＡＭのような）揮発性、（ＲＯＭ、フラッシュメモリ等のような）不揮発性又はこれらの二つのある組合せとすることができる。この最も基本的な形態を、図４において破線４０６で示す。さらに、環境４００は、磁気又は光ディスク又はテープを含むがそれに限定されない記憶装置（取り外しができる記憶装置４０８及び／又は取り外しができない記憶装置４１０）も含んでもよい。同様に、環境４００は、キーボード、マウス、ペン、音声入力部等のような（一つ以上の）入力装置４１４及び／又はディスプレイ、スピーカ、プリンタ等のような（一つ以上の）出力装置４１６も有してもよい。ＬＡＮ，ＷＡＮ、２点間等のような一つ以上の通信接続４１２を環境に含めてもよい。実施の形態において、接続を、設備間通信（ｆａｃｉｌｉｔｙ ｐｏｉｎｔ−ｔｏ−ｐｏｉｎｔ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、接続指向通信（ｃｏｎｎｅｃｔｉｏｎ−ｏｒｉｅｎｔｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、コネクションレス通信等とすることができる。

動作環境４００は、典型的には、コンピュータ可読媒体の少なくとも一部の形態を含む。コンピュータ可読媒体を、処理部４０２又は動作環境を備える他の装置によってアクセスすることができる任意の利用できる媒体とすることができる。例として、コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を備えることができるが、それに限定されない。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータのような情報を記憶する方法又は技術において実現される揮発性媒体、不揮発性媒体、取り外しができる媒体及び取り外しができない媒体を含む。コンピュータ記憶媒体は、ＲＡＭ，ＲＯＭ，ＥＥＰＲＯＭ、フラッシュメモリ若しくは他の記憶技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置又は所望の情報を格納するのに用いることができる他の任意の非一時的な媒体を含む。コンピュータ記憶媒体は、通信媒体を含まない。

通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は搬送波もしくは他の搬送機構のような変調データ信号の他のデータを具体化し、任意の情報提供媒体を含む。用語「変調データ信号」は、信号の特性集合（ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｓｅｔ）の一つ以上を有する又は信号の情報を符号化するように変更される信号を意味する。例として、通信媒体は、有線ネットワーク又は有線直結接続のような有線媒体と、音響、ＲＦ、赤外線、マイクロ波及び他の無線媒体のような無線媒体と、を含むが、それに限定されない。上述したものの任意の組み合わせも、コンピュータ可読媒体の範囲に含めるべきである。

動作環境４００を、一つ以上のリモートコンピュータに対する論理結合を用いてネットワーク化された環境で動作する単一のコンピュータとすることができる。リモートコンピュータを、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードとすることができ、典型的には、リモートコンピュータは、上述した素子及び上述しない素子の多数又は全てを含む。論理結合は、利用できる通信媒体によってサポートされる任意の方法を含んでもよい。そのようなネットワーク化された環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット及びインターネットにおいて一般的である。

図５は、ここで開示した種々のシステム及び方法が動作することができるシステム５００の一実施の形態である。実施の形態において、クライアント装置５０２のようなクライアント装置は、ネットワーク５０８を介してサーバ５０４及び５０６のような一つ以上のサーバと通信を行うことができる。実施の形態において、クライアント装置を、ラップトップ、パーソナルコンピュータ、スマートフォン、ＰＤＡ、ネットブック、タブレット、ファブレット、コンバーチブルラップトップ、テレビジョン又は図５のコンピュータ装置のような他の任意のタイプのコンピュータ装置とすることができる。実施の形態において、サーバ５０４及び５０６を、図５に示すコンピュータ装置のような任意のタイプのコンピュータ装置とすることができる。ネットワーク５０８を、クライアント装置と一つ以上のサーバ５０４及び５０６との間の通信を促進することができる任意のタイプのネットワークとすることができる。そのようなネットワークの例は、ＬＡＮ，ＷＡＮ、セルラーネットワーク、ＷｉＦｉ（登録商標）ネットワーク及び／又はインターネットを含むがそれに限定されない。

実施の形態において、ここで開示した種々のシステム及び方法を一つ以上のサーバ装置によって実行することができる。例えば、一実施の形態において、サーバ５０４のような単一のサーバを、ここで開示したシステム及び方法を実行するために用いることができる。クライアント装置５０２は、例えば、アップスケーリングの際にビデオデータのようなデータ又は情報にアクセスするためにネットワーク５０８を介してサーバ５０４とやり取りを行うことができる。他の実施の形態において、クライアント装置５０６は、ここで開示した機能を実行することもできる。

代替的な実施の形態において、ここで開示したシステム及び方法を、分散コンピューティングネットワーク又はクラウドネットワークを用いて実行することができる。そのような実施の形態において、ここで開示したシステム及び方法を、サーバ５０４及び５０６のような二つ以上のサーバによって実行することができる。そのような実施の形態において、二つ以上のサーバはそれぞれ、ここで説明した動作の一つ以上を実行することができる。特定のネットワーク形態をここで開示したが、当業者は、ここで開示したシステム及び方法を他のタイプのネットワーク及び／又はネットワーク形態を用いて実行することができることを理解する。

ここで説明した実施の形態を、ここで開示したシステム及び方法を実現及び実行するためにソフトウェア、ハードウェア又はソフトウェアとハードウェアの組合せを用いることによって用いることができる。特定の機能を実行するものとして特定の装置を本開示の全体に亘って挙げたが、当業者は、これらの装置が説明のためのものであるとともに本開示の範囲を逸脱することなくここで開示した機能を実行するために他の装置を用いることができることを理解する。

本開示は、ありうる実施の形態の一部のみを示した添付図面を参照しながら本技術の一部の実施の形態を説明する。しかしながら、他の形態を、多数の異なる形態で実施でき、ここで説明した実施の形態に限定されるものと解釈すべきでない。本開示が完全となるとともにあり得る実施の形態の範囲を当業者に完全に伝えるためにこれらの実施の形態を説明した。

特定の実施の形態をここで説明したが、技術の範囲は、これらの特定の実施の形態に限定されない。当業者は、本技術の範囲及び精神内にある他の実施の形態及び改良を理解する。したがって、特定の構成、動作又は媒体を、例示的な実施の形態としてのみ開示する。技術の範囲は、特許請求の範囲及びその等価物によって規定される。

Claims (1)

1. アップスケーリングを実行する方法であって、
   入力ビデオを解析することと、
   前記入力ビデオを個別のフレームに分解することと、
   アップスケールフレームを生成するために前記個別のフレームにおいてアップスケーリングを実行することと、
   アップスケールビデオを生成するために前記アップスケールフレームを互いにステッチングすることと、
   を備える方法。