JP2017532925A - サブジェクト指向圧縮システムおよび方法 - Google Patents

Abstract

【課題】本発明の実施例は、サブジェクト指向圧縮の実行に関する。【解決手段】動画ファイルなどのコンテンツファイルが受け付けられる。１以上の関心対象サブジェクトがコンテンツファイル中から特定される。特定された関心対象サブジェクトには、コンテンツの他の部分に関連づけられる量子化値よりも小さい量子化値が関連づけられる。コンテンツが圧縮/エンコードされるとき、関心対象サブジェクトは関連づけられた量子化値を用いて圧縮/エンコードされ、コンテンツの他の部分はより大きい量子化値を用いて圧縮/エンコードされる。【選択図】図２

Description

本出願は、２０１５年９月１４日に出願された国際特許出願であり、２０１４年９月１２日付米国仮特許出願第６２／０４９，８９４号「サブジェクト指向圧縮システムおよび方法」に基づく優先権を主張し、すべての内容を援用する。

近年の動画圧縮器は、動画フレーム内の個々のブロックに適応量子化を行う機能を有している。適応量子化値が自動的に選択され、ファイルサイズが削減される。しかし、適応量子化値の自動選択技術を用いれば最適な圧縮が行われるというわけではない。例えば、自動化技術は画像や動画の前景と背景のサブジェクトを区別することができないため、自動化技術によって量子化値を積極的に変更することができない。このような全般的状況に関連して、本明細書に開示の実施例は検討された。

本明細書で開示する態様は、圧縮プロセスにフィードバックを組込み、前景と背景のサブジェクトを識別して圧縮プロセスにおいて別個の取扱いを可能とする。この異なるサブジェクトのデータ識別を、サブジェクト指向圧縮（ＳＯＣ:Subject-Oriented Compression）アルゴリズムを用いて処理することができる。ＳＯＣアルゴリズムは、前景サブジェクトを非常に小さい量子化値で圧縮し、前景サブジェクトの表示品質を保持することができる。前景の外にはみ出たサブジェクトは大きい量子化値で圧縮し、関心対象サブジェクトに応じた表示品質を維持しつつ全体ファイルサイズを顕著に減少させることができる。

この概要は、以下の［発明を実施するための形態］で詳述する内容の概要を示すものである。この概要は、特許請求の範囲の主題となる特徴や必須の特徴の特定を意図したものではなく、権利範囲の限定に用いられることを意図したものでもない。

関心対象サブジェクトの特定の好ましい実施形態を示す図である。（すべての図において、同一の符号は同一ないし同種の要素を示す） サブジェクト指向圧縮方法の好ましい実施形態を示す図である。 エディタを使用してサブジェクトにマークする好ましい方法を示す図である。 １以上の関心対象サブジェクトについての情報を含むメタデータファイルの例を示す図である。 実施形態に適用可能なメタデータファイルの他の例を示す図である。 開示の態様に適用可能な好ましいＵＩの例を示す図である。 １以上の実施形態の実装に適した動作環境の一例を示す図である。 開示された態様のシステムおよび方法が動作可能な好ましいネットワークの実施形態を示す図である。

近年の動画圧縮器は、動画フレーム内の個々のブロックに適応量子化を行う機能を有している。適応量子化値が自動的に選択され、ファイルサイズが削減される。しかし、適応量子化値の自動選択技術によって最適な圧縮が行われるというわけではない。例えば、自動化技術は画像や動画の前景と背景のサブジェクトを区別することができないため、自動化技術によっては量子化値を積極的に変更することができない。本発明の実施形態では、圧縮プロセスにユーザフィードバックを組込み、前景と背景のサブジェクトを識別して圧縮プロセスにおいて別個の取扱いを可能とする。この異なるサブジェクトのデータ識別は、サブジェクト指向圧縮（ＳＯＣ:Subject-Oriented Compression）アルゴリズムを用いて処理されてよい。ＳＯＣアルゴリズムは、前景サブジェクトを非常に低い量子化値で圧縮し、前景サブジェクトの表示品質を保持することができる。前景の外にはみ出たサブジェクトは高い量子化値で圧縮し、関心対象サブジェクトに応じた表示品質を維持しつつ全体ファイルサイズを顕著に減少させることができる。

本発明のＳＯＣ実施形態は、マルチメディアファイル（例えば動画ファイル、画像ファイル等）のサイズを減少させるための簡潔かつ効果的な仕組みを提供する。説明の都合上、本発明の実施形態では動画または画像ファイルのサブジェクト指向圧縮の実行に着目する。しかし、本発明の実施形態が他のメディアタイプにも適用可能であることは、当業者には容易に理解できるであろう。そのような実施形態においては、関心対象サブジェクトを別の方法で特定することになる。例えば、音声ファイルでは、会話が関心対象サブジェクトとして特定され、背景ノイズの圧縮に用いる量子化値よりも小さい量子化値を用いて圧縮される。このように、当業者は本願実施形態が他の多くのタイプのファイルに適用可能であることを十分理解できる。

関連して、量子化値を変動させてルールベースの量子化を行う適応量子化（ＡＱ: Adaptive Quantization）がある。ＡＱでは、異なる領域の画像の品質を自動的に改善するために、異なるアルゴリズムを使用する。ＡＱでは、受け入れられやすい結果を得るために、人間の知覚に対する精神物理学的アプローチに基づくルールがしばしば用いられる。本発明の実施形態では、前景（例えば関心対象サブジェクト）の特定が可能となり、特定された関心対象サブジェクトの表示品質が高く維持される。一方背景は許容範囲レベルまで積極的に圧縮され、動画のサイズが縮小されるため、低帯域の状況下でも容易にファイル送信可能となり、動画ファイルの保存に必要なストレージ量も削減できるようになる。

ファイルサイズを削減し圧縮比を高めるために、本発明の実施形態は、ファイルの他のサブジェクトよりも弱く圧縮されるサブジェクトの選択を行う。サブジェクトとは、ファイル全体よりも小さなファイルの一部分である。例えば、サブジェクトは物体、領域、ピクセル群などであってよい。ファイルが画像や動画ファイルであれば、選択されたサブジェクトは、観者にとって画像や動画内の他のサブジェクトよりも視覚的により重要である。このような実施形態では、関心対象でない他のサブジェクトを積極的に圧縮することで全体ファイルサイズが削減されているにもかかわらず、圧縮率の相違に応じて関心対象サブジェクトと背景との間の認識される視覚的相違は、無視して許容できる程度になるだろう。ファイルが動画ファイルであれば、サブジェクトは周波数範囲や背景ノイズ等であってよい。他のタイプのマルチメディアファイルでは、サブジェクトはコンテンツタイプ（例えば文書中の埋め込み画像）に応じて特定可能である。当業者は、本発明のＳＯＣ実施形態を用いて、圧縮されるファイルのタイプに応じて異なる関心対象サブジェクトを特定することができることを十分理解できる。

画像や動画が圧縮される実施形態において、圧縮に用いる量子化値を変更するために、信頼に足る区分マップを画像ごとに作成してよい。以下、信頼に足る区分マップを作成する好ましい例を説明する。一例として、手動のユーザ主導アプローチを適用し、ユーザがグラフィカルユーザインタフェース（ＧＵＩ: Graphical User Interface）を介してサブジェクトを選択することができる。あるいは自動アプローチを適用し、例えば動き、サイズ、位置、精神物理学等に基づいてサブジェクトを自動選択するようにしてもよい。

これまで、特に意図するサブジェクト（例えば観者にとっての関心対象サブジェクト）が他の物体に覆われたり塞がれたりしている状況では、自動アルゴリズムは信頼に足りないことが示されてきている。このような問題を緩和するため、本明細書に開示の実施形態では、何らかの形でユーザの補助を取り入れるようにしてもよい。自動選択されたサブジェクトをユーザが変更/切り替え可能となるよう、ＧＵＩを提供してもよい。

実施形態において、サブジェクト選択方法はコンテンツ（例えば圧縮される画像/動画の種類）に応じて異なる。例えば監視カメラの場合、他のタイプのコンテンツ、例えば映画などのように明確なシーンチェンジを有するコンテンツと比較して、シーンチェンジは滑らかである。例えば監視カメラの場合、動画像中の背景は、静止していたり、一部領域に制限されていたりすることが多い。一方映画には、動画の背景全体が変わるシーンチェンジが複数回含まれる。このように、監視カメラタイプの動画では、選択されたサブジェクトがシーン間で形/向き/サイズが突然変わるということはない。しかし、映画ではそのようにならない。後者のケースでは、関心対象サブジェクトの特定を補助するため、ユーザが介入するようにしてもよい。

実施例において、ＧＵＩを用いて、画像または動画シーンのフレームにおける、サブジェクトまたは関心対象サブジェクトをマークまたは特定する入力を受け付け、手動サブジェクト選択を行うようにしてよい。図１は、本発明の実施態様で適用可能な好ましいＧＵＩ１００である。上述したように、ＧＵＩ１００は関心対象サブジェクトを特定する入力を受け付け可能である。例えば、図１に示すインジケータ１０２および１０４は、ＧＵＩ１００が２つの異なる関心対象サブジェクト、例えばインジケータ１０２が示すカメラとインジケータ１０４が示す女性とを特定する入力を受け付けたことを受けて表示されるものであってよい。図示した例では、インジケータ１０２および１０４は関心対象サブジェクトを囲む長方形の境界で示されている。しかし、本発明のスコープの範囲内で他のタイプのグラフィカルインジケータを適用可能であることは、当業者は容易に理解できるだろう。さらに別の例では、関心対象サブジェクトは、座標やその他の位置定義情報を用いて指定することができる。最初の特定にあたって、１以上のサブジェクトを特定するのに、例えば特定されたサブジェクトを同一シーンの後続フレームで追跡する階層追跡アルゴリズムを用いてもよい。実施例において、正確に追跡されなくなったサブジェクトの修正入力の受け付け、および/または、シーンに登場した新たなサブジェクトの追跡指示の受け付けを、ＧＵＩによって行うようになっていてもよい。実施例において、このような処理が動画のシーンごとに繰り返され、圧縮プロセスのためにデータが保存されるようになっていてよい。

態様によっては、特定されたサブジェクトはファイル内の区分マップに（例えばメタデータとして）保存されてよい。例えば区分は、１以上の選択されたサブジェクトのＸＭＬ情報を含むＸＭＬファイルであってよい。実施例において、区分マップはサブジェクトを、座標、ピクセル位置、領域またはセクション等を用いて特定する。区分マップは、画像の量子化の際に圧縮器/エンコーダに使用されてもよい。実施例において区分マップは、特定されたサブジェクトの予定量子化値や、画像の他の領域の予定量子化値を指定してよい。他の実施形態では、特定されたサブジェクトと画像の他の領域の量子化値は、例えば圧縮されるコンテンツのタイプ、デバイスタイプ、アプリケーション等に基づいて、自動的に決定されるようにしてもよい。異なる２つの量子化値を用いることで、量子化に相違が生ずる。量子化の相違により、出力画像（例えば圧縮および/または符号化画像）は、特定されたサブジェクトと画像のその他の部分との間に視覚的に認識可能な相違を有する場合がある。実施形態においては、ユーザ、アプリケーション、デバイス等から受け付ける入力により、視覚的許容レベルが規定することができる。量子化値は、視覚的許容レベルに基づいて選択可能である。しかし、実施例では、全体での圧縮率の改善は、量子化の差、選択サブジェクトの数、および/または選択サブジェクトのサイズに依存することがある。

実施例で、関心対象サブジェクトの周囲に領域が規定されてもよい。領域の境界は、長方形ベース、輪郭ベース、円形ベース等であってよい。実施形態において、境界を設ける方法は、選択サブジェクトを規定するために必要なメタデータの量および/またはコード化の速度に影響する。このように、あるシナリオにおいては、輪郭ベースのような方法を用いるのが好ましい場合がある。

ある態様では、区分マップは圧縮の際に用いられる。デコードプロセスは、区分マップを必要とせず、これに依存すべきではない。実施例で、本発明のＳＯＣシステムおよび方法は、画像内の複数イメージ領域をサポート可能な、例えばX.264やVP9などのコーデックを用いてもよい。表１は、サブジェクトと残りの動画との間における使用される量子化値の差と、本発明の態様を適用して得られる全体での圧縮比の利得とを示す。

例えば高い量子化値を用いて、背景の画像品質を低下させることにより、画像全体のファイルサイズを低減できる。低減効果は、動画および/または画像の品質が高い方が大きくなる。例えば、表１に示すように、本発明のＳＯＣの例では、高画質設定時にファイルサイズの顕著な低減が得られる。さらに、量子化差異が0と50の間においては、視覚品質の相違はほとんど認識されない。量子化の差異が拡大するにつれ、視覚品質の低下が認識されるようになる。さらに、選択された関心対象サブジェクトと残りの画像との間の境界は視覚的に識別できないことが、試験により示された。これは、実施例において、境界の品質レベルを自動的に調整するのにブロック区分マッピングが行われ、残りの画像と境界とが混合されるからである。

図２は、サブジェクト指向圧縮を実行する好ましい方法２００である。方法２００は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせによって実施可能である。方法２００は、例えばモバイル機器やテレビのような機器によって実行されてよい。実施形態において、方法２００は１以上の一般的コンピューティングデバイスで実行されてよい。ある実施例では、方法２００は動画エンコーダにより実行される。別の実施例では、方法２００は動画エンコーダとは別のアプリケーションまたはモジュールにより実行される。方法２００は動画コンテンツを処理するように記載しているが、方法２００に関して記載された方法が他のコンテンツタイプも同様に処理可能であることは、当業者は容易に理解するであろう。

処理フローは、動画入力を受け付ける処理２０２から始まる。動画入力は、ストリーム動画データであっても動画ファイルであってもよい。実施例では、動画入力はカメラから連続出力される生データであってよい。フローは、次に、１以上の関心対象サブジェクトを特定する処理２０４に進む。ある実施例では、自動的に１以上のサブジェクトが特定される。例えば、サブジェクトは動き、サイズ、位置、精神物理学等に基づいて自動選択されてよい。別の実施例では、インタフェースを介して受け付けたユーザの入力により、１以上のサブジェクトが特定される。このような実施形態では、ＧＵＩが画像を表示してよい。画像を表示すると、１以上の関心対象サブジェクトを特定するユーザの入力をＧＵＩが受け付け可能になる。実施形態において、ＧＵＩは関心対象サブジェクトを選択する手段を提供する。ＧＵＩは動画の各フレームを検査して前方にスキップしてもよい。関心対象サブジェクトの追跡が失われると、ＧＵＩは前方へのフレームスキップを停止し、介入して関心対象サブジェクトを特定するようユーザに通知する。実施例において、自動追跡モードでは、オプティカルフローに基づくサブジェクト移動予測や、関心対象サブジェクトの追跡に適用可能なその他の追跡方法を用いてもよい。実施形態において、ＧＵＩは、自動追跡にユーザが介入するオプションや、補助なしに自動追跡プロセスを継続させるオプションを提供可能である。自動追跡は、関心対象サブジェクトの特定におけるセッション開始時点で指定されてよい。さらなる実施例においては、自動追跡のデフォルト設定が適用されてもよい。自動追跡の設定は、動画全体またはＧＯＰ（Group Of Pictures）に適用される。自動追跡の設定を動画全体に適用するかＧＯＰだけに適用するかを、受信したユーザ入力に基づいて定めるようにしてもよい。更なる態様では、ＧＵＩが、自動追跡対象を特定のフレームに限定するフレーム選択方法を提供してもよい。このような機能により、以前に選択した関心対象サブジェクトを再選択したり、新たな関心対象サブジェクトを選択したり、および/または以前選択した関心対象サブジェクトの選択を解除ないし削除したりすることが可能となる。処理２０４に関してサブジェクトを特定する具体的な例を記載しているが、処理２０４において関心対象サブジェクトを特定する他のモードを適用可能であることは、当業者には自明であろう。

続いて、フローは関心対象サブジェクトの特定に追加入力が必要か否かの判断を行う判断処理２０６に進む。例えば、サブジェクトが他の物体の背後に移動したり、シーンチェンジがあったり、サブジェクトが変形可能なサブジェクト、例えば炎のような形状の変わるサブジェクトであったり等すると、追加ユーザ入力が必要となる。追加入力が必要でないと、フローはＮｏに分岐し、サブジェクトの移動に応じてサブジェクトの特定を行う（例えば、異なるフレームにわたって関心対象サブジェクトの特定を行う）自動サブジェクト追跡が実行される処理２０８に進む。自動サブジェクト追跡が完了すると、フローは処理２１０に進む。判断処理２０６に戻って、もし追加入力が必要であると、ＧＵＩは移動する関心対象サブジェクトを特定する（例えば異なるフレームの関心対象サブジェクトを特定する）追加入力を受け付け可能となる。追加入力を受け付けると、フローはＹｅｓに分岐し、処理２１０に進む。

処理２１０で、複数フレームにわたって移動するサブジェクトを特定するメタデータが生成される。メタデータにより、スクリーン、領域、ピクセル群等における位置ないし座標が特定できる。ある実施形態では、メタデータはXMLファイル形式で保存される。しかし、他の形式ないしファイルタイプでも保存可能であることは、当業者には自明であろう。他の例では、メタデータは一切保存されない。メタデータは、圧縮および/またはエンコードモジュールないし部品に、直接に供給されたり配信されたりする。次に、フローは動画が完了したか否かを判断する判断処理２１２に進む。動画が完了していなければ、フローはＮｏに分岐し、処理２０４に戻る。しかし、動画が完了していれば、フローはＹｅｓに分岐し、処理２１４に進む。処理２１４では、動画データの圧縮および/またはエンコードが行われる。実施形態において、圧縮および/またはエンコードを、画像の異なる場所に異なる量子化値を適用して行ってよい。実施形態において、関心対象サブジェクトを非常に低い量子化値を用いて圧縮し、関心対象サブジェクトの視覚品質を保持するようにしてよい。画像のその他すべての部分を高い量子化値を用いて圧縮し、関心対象サブジェクトの視覚品質を維持しつつ、全体ファイルサイズを顕著に削減してよい。実施例では、低い量子化値を用いて圧縮する部分の決定は、処理２１０で生成されたメタデータにより指示されてよい。圧縮および/またはエンコードが完了すると、フローはＳＯＣを用いて生成された動画が出力される処理２１６に進む。動画はファイルとして出力されてもよく、ストリームデータとして出力されてもよい。本発明の追加態様は、ＧＵＩを用いてアクセス可能な「プレビュー」モードを備える。プレビューモードでは、既存のメタデータを変更することなく、複数フレーム群間を推移する入力を（例えば図６のスライドバー６１６のようなスライドバーを介して）受け付けることができる。

図３は、エディタを用いてサブジェクト追跡を行う好ましい方法である。方法３００は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせによって実施可能である。方法３００は、例えばモバイル機器やテレビのような機器によって実行されてよい。実施形態において、方法３００は１以上の一般的コンピューティングデバイスで実行されてよい。処理フローは、エディタが動画を受け付ける処理３０２から始まる。ある実施例では、この方法を実行する機器は、動画のパス名および場所を指示する入力を受け付けてよい。例えば図６には、本発明の態様に適用可能な好ましいＧＵＩ６００が記載されている。好ましいＧＵＩに記載されているように、ユーザが動画ファイルの位置を示すことができるようにユーザインタフェース部品６０２が提供される。図示した例では、ユーザインタフェース部品６０２は動画ファイルのパスとファイル名を受け付けるよう操作可能なテキストボックスである。他の例では、ユーザインタフェース部品６０２は特定の動画ファイルの選択が可能なドロップダウンメニューであってよく、動画ファイル選択のためのファイルブラウザであってよく、動画ファイルの位置を示す入力を受け付ける操作が可能ないかなるユーザインタフェース部であってよい。受け付けた入力は、記憶装置から動画を取得するために用いられる。他の実施例では、動画が他のアプリケーションを介してエディタに提供されたり、ネットワーク接続を介して配信されたりしてよい。フローは続いて、動画から１以上の個別フレームを抽出する処理３０４に進む。ある実施例では、１以上の個別フレームは、処理３０２で取得した動画の受け付け時に解析される。他の実施例では、処理３０２で、動画の受け付けに先行して１以上の個別フレームの解析が行われてよい。このように、処理３０２で動画の個別フレームの取得が行われてもよい。

フローは、１以上のメタデータファイルが生成される処理３０６に進む。実施例では、１以上のメタデータファイルは、動画および/または個別フレーム内の関心対象サブジェクトを特定するのに用いられる情報（例えば、１以上の関心対象サブジェクトのメタデータ記述）を含む。さらなる実施形態では、１以上のメタデータファイルには、動画および/または個別フレームで用いられる異なる量子化値（例えば、動画または画像全体の量子化値を記述するメタデータ）が保存される。ある態様では、１以上の新たなメタデータファイルが、処理３０６で生成される。他の実施例では、例えばコンテンツ処理の再開時に、既存のメタデータファイルがあると、処理３０６で１以上の既存のメタデータファイルが取得され、および/または、読み出される。再び好ましいＧＵＩ６００を参照すると、コントロール部品６０４のような、新たなメタデータファイルの生成を指示するためのユーザインタフェース制御部品が提供される。これに代えて、またはこれに加えて、コントロール部品６０６のような、既存のメタデータファイルの選択および読み出しを行うためのユーザインタフェース制御部品が提供されてもよい。さらに、ユーザインタフェース部品６０８のような、既存のメタデータファイルの選択を行うためのユーザインタフェース部品が提供されてもよい。実施例において、ユーザインタフェース部品６０８は、ユーザインタフェース部品６０２と同様に動作する。

図４は、１以上の関心対象サブジェクトについての情報を有するメタデータファイル４００の例である。記載された例では、<Frame number="49">というタグで示される個別フレームのフレーム49についての情報が提供されている。メタデータファイル４００は、１以上の関心対象サブジェクトについて、各関心対象サブジェクトに関連づけられたバウンディングボックスの位置およびサイズと、各関心対象サブジェクトに関連づけられた量子化値とを保存していてよい。記載された例では、４つの関心対象サブジェクト４０２、４０４、４０６、４０８が、<Rectangle Id>タグで記述されている。各関心対象サブジェクトの識別子は、ユニークな識別子であってよい。実施例では、各関心対象サブジェクトには量子化値に対応するセグメント識別子も関連づけられる。関連づけられた量子化値は、別個のメタデータファイルに保存されてもよい。セグメント識別子は、量子化値をあるメタデータファイルから第２のメタデータファイルの関心対象サブジェクトにマッピングするのに用いることができる。さらなる実施例では、バウンディングボックスの位置は<pnt>タグで特定される。記載された例では、サブジェクト識別子は、<pnt>タグで特定された、バウンディングボックスの左上角と右下角とに対応する２つの異なる座標を含む。メタデータファイル４００が各関心対象サブジェクトについて長方形の枠を有するように記述されているが、関心対象サブジェクトの特定のためにメタデータファイルに他の形式の情報が含まれてよいことは、当業者には自明であろう。

図５は、本発明の実施例に適用可能なメタデータファイル５００の別の例である。メタデータファイル５００は、異なる量子化値５０２−５１６を保存する。実施例では、各量子化値は<Qindex>タグで示されたユニークな識別子に関連づけられる。実施例では、ユニークな識別子は図４におけるメタデータファイル４００で示されるセグメント識別子のようなセグメント識別子に対応してよい。実際の量子化値は、<QVal>タグにより示される。

図３に戻り、フローは処理３０６から、１以上の関心対象サブジェクトが特定される処理３０８に進む。ある実施例では、１以上の関心対象サブジェクトが自動的に特定される。例えば、動き、サイズ、位置、精神物理学等に基づいて１以上の関心対象サブジェクトが自動的に特定される。異なる実施例では、方法３００を実行するデバイスは、１以上の関心対象サブジェクトを特定する入力を受け付け可能なＧＵＩを提供してよい。ＧＵＩは、１つの、あるいは一連のフレームを表示する。一例として、ＧＵＩは、特定のフレームにおいて、ある関心対象サブジェクトを囲むバウンディングボックスを示す入力の受け付け動作が可能である。例えば、ＧＵＩにおいてクリックアンドドラッグ操作を受け付けることによりバウンディングボックスを描画するようにしてよい。実施例において、複数のバウンディングボックスが重複して配置されてもよい。他の実施形態において、バウンディングボックスは境界外（フレームの外側）となってよい。例えば、図６において、ＧＵＩ６００には現在のフレームを表示するよう動作するディスプレイ６１０を含む。図示しないが、ディスプレイ６１０は現在表示されているフレーム内の１以上の関心対象サブジェクトを特定する入力の受け付け動作も可能である。これに代えて、ＧＵＩは関心対象サブジェクトの位置を示す座標の受け付け動作が可能となっていてもよい。例えば、ＧＵＩ６００において、１以上の関心対象サブジェクトの座標の受け付け動作が可能な座標テーブル６１２が提供されてよい。実施例において、関心対象サブジェクトを囲むバウンディングボックスの左上と右下の座標がテーブル６１２によって受け付けられる。さらなる実施例では、好ましいテーブル６１２に表示されるように、量子化値もしくは品質値が、各関心対象サブジェクトに関連づけられてよい。関心対象サブジェクトを特定する入力の受け付けに加え、処理３０８では関心対象サブジェクトの削除も受け付けるようにしてよい。例えば、バウンディングボックスが削除される。

１以上の関心対象サブジェクトが特定されると、フローは量子化値を関心対象サブジェクトに関連づける処理３１０に進む。ある実施例では、関心対象サブジェクトに関連づけられる量子化値は、自動的に決定される。例えば、量子化値は関心対象サブジェクトの特性（例えば色相、サイズ、色など）に基づいて決定されてよい。これに代えて、特定の関心対象サブジェクトの量子化値を、ユーザまたは他のアプリケーションから受け付けた入力に基づいて決定してもよい。例えば、特定の関心対象サブジェクトの選択ができるようにＧＵＩが提供され、特定の関心対象サブジェクトに対応する量子化値が受け付けられるようにしてもよい。複数の関心対象のサブジェクトが特定された場合、各関心対象サブジェクトに対応する量子化値は、同じであっても異なっていてもよい。これに加えて、ＧＵＩは背景（例えば関心対象サブジェクトと特定されなかった領域）の量子化値を受け付け可能であってよい。例えば、再び図６を参照すると、ＧＵＩ６００は異なる関心対象サブジェクトおよび/または背景に関連づけられる異なる量子化値を受け付け可能に動作する品質設定エリアを含んでよい。実施例では、品質設定エリアは、量子化値を指定する入力を受け付けたり異なる量子化レベルを表示したりする動作を行う、コントロール部品６１４のような、複数のコントロール部品を含んでよい。

１以上の関心対象サブジェクトが特定されると、フローは１以上の関心対象サブジェクトに対して特徴追跡が実行される処理３１２に進む。シーンを通して物体を追跡する複数の技術が知られており、本発明の実施形態にはいずれの方法も適用可能である。階層追跡アルゴリズムを実装すると、各フレームにおいて最も可能性の高いマッチングが可能となる。特徴追跡は、連続テクスチャを持たない剛体の良好な追跡を行う実績がある。特徴追跡は、領域を追跡するときにはひときわ良好に動作する。特徴追跡は、図１で図示した配置において女性を追跡するときでもおおよそうまく働くが、色や顔ベースの追跡の方がよりうまくいく可能性がある。サブジェクトの追跡が困難な場合がある。追跡は、追跡対象のサブジェクトが剛体であるか、変形可能な物体であるか、等に依存する。また、追跡は、サブジェクトが見えなくなるか、回転しているかにも依存する。このように、異なるシナリオに応じて様々な追跡方法が適用可能である。これらの方法としては、色彩追跡、テンプレート照合追跡、特徴追跡、オプティカルフロー等がある。実施例において、関心対象サブジェクトの追跡を行うと、ＧＵＩは更新され、特定のフレームにおける関心対象サブジェクトの位置を特定するようにしてもよい。例えば、別フレームで関心対象サブジェクトの位置が変更されたときに、ＧＵＩ６００の表６０２が各関心対象サブジェクトの新たな座標に更新されるようにしてもよい。

実施例において、１以上のサブジェクトの追跡は、動画またはＧＯＰの持続時間を通して行われてよい。しかし、追跡が喪失するさまざまな状況が存在する。すなわち、追跡していた関心対象サブジェクトがシーン外に移動したり、関心対象サブジェクトがシーン中の別のものに遮蔽されたり、および/または関心対象サブジェクトの外観の変化によってアルゴリズムによる追跡ができなくなったりといった状況である。このように、フローは関心対象サブジェクトの追跡が喪失しているかを判断する判断処理３１４に進む。もし追跡が喪失していると判断されると、フローはＹｅｓに分岐して処理３１６に進む。処理３１６では、特定のフレームにおいて関心対象サブジェクトの追跡が有効でない旨の通知が生成されてよい。このように、実施例では、追跡が喪失したフレームが、関心対象サブジェクトの追跡を継続すべきか否かの確認を要求するユーザプロンプトとともに表示されてよい。サブジェクトがそのフレーム内にない場合、関心対象サブジェクトが追跡できないことを示す入力を受け付けることになる。しかし、サブジェクトがそのフレーム内にあり、サブジェクトの外観の変化やその他の追跡障害によって追跡が喪失した場合、フローは、追跡継続のために関心対象サブジェクトを再選択または特定する入力を受け付ける処理３１８に進む。その後、フローは処理３１２に戻り、関心対象サブジェクトが再び喪失するか動画またはＧＯＰが完了するまで追跡を継続する。

判断処理３１４に戻り、もし追跡が喪失していなければ、フローはＮｏに分岐して判断処理３２０に進む。判断処理３２０では、メタデータを保存すべきか否かがの判断がなされる。一例では、関心対象サブジェクトの追跡が完了しているときにメタデータが保存される。他の例では、メタデータは定期的に保存される。さらに別の例では、メタデータを保存すべきか否かの判断は、データを保存すべきか否かを指示する入力の受け付けに依存する。メタデータを保存すべきでないと判断されると、フローはＮｏに分岐して処理３０８に戻る。実施例において、関心対象サブジェクトの追跡は、動画が完了するまで続いてよい。これに加え、新たな関心対象サブジェクトが以後のフレームで追加されてもよい。このように、実施例では、フローは処理３０８に戻り、新たに関心対象となるサブジェクトを特定して（あるいは喪失した関心対象サブジェクトを特定して）、方法３００が継続する。判断処理３２０に戻り、メタデータを保存すべきと判断されると、フローはＹｅｓに分岐して処理３２２に進み、追跡中に生成されたメタデータは処理３０６で生成され、もしくはオープンされたメタデータファイルに保存される。メタデータの保存後、フローは判断処理３２４に進み、追加フレームが存在するかが判断される。実施例では、関心対象サブジェクトの特定と追跡は、動画全体が完了するまで継続する。したがって、追加フレームが存在すると、フローはＹｅｓに分岐して処理３０８に戻り、動画全体が処理されるまで方法３００が継続する。追加フレームが存在しないと、フローはＮｏに分岐して方法３００が完了する。

上述したように、メタデータファイルは圧縮器および/またはエンコーダが動画に対してサブジェクト指向圧縮を行うのに用いられる。例えば、１以上のメタデータファイルが圧縮器/エンコーダに読み出されてよい。それから圧縮器/エンコーダは、サブジェクト指向圧縮情報をメタデータファイルに基づく量子化値とともに区分マップに配置する。このデータが量子化において使用され、結果ファイルのサイズはサブジェクト指向圧縮を用いないファイルに比べて明らかに小さくなる。圧縮/エンコーダが完了すれば、１以上のメタデータファイルは必要でなくなる。圧縮/エンコードが繰り返されるならば、１以上のメタデータファイルを保存しておいてもよい。これに代えて、１以上のメタデータファイルを元動画ファイルに配置してもよい。

サブジェクト指向圧縮に適用可能なさまざまなシステムと方法の実施形態を説明してきたが、ここで本発明のシステムと方法の実行に用いることのできる好ましい動作環境を説明する。図７は１以上の本発明の実施形態を実施可能な好ましい動作環境の例である。これは好ましい動作環境の一例に過ぎず、使用範囲や機能性の制限を示唆しようとするものではない。使用に適した他の著名なコンピュータシステム、環境、および/または構成には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マルチプロセッサベースのシステム、スマートフォンなどのプログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、汎用コンピュータ、上述のシステムやデバイスを含む分散コンピューティング環境、その他があるが、これに限らない。

最も基本的な構成では、動作環境７００は一般的に、少なくとも１つの処理ユニット７０２とメモリ７０４とを含む。メモリ７０４（本発明の実施形態のサブジェクト指向圧縮を実行するための命令を保存）は、正確な構成と演算デバイスの種類に応じて、揮発性（例えばＲＡＭ）や不揮発性（例えばＲＯＭ、フラッシュメモリなど）やこれらの組み合わせである。最も基本的な構成を、図７中の破線で示している。さらに、環境７００は記憶装置（リムーバブル７０８、および/または非リムーバブル７１０）を含んでよく、これには磁気や光ディスクないしテープが含まれるがこれに限らない。同様に、環境７００にはキーボード、マウス、ペン、音声入力等の入力装置７１４および/またはディスプレイ、スピーカ、プリンタ等の出力装置７１６を有していてもよい。また、ＬＡＮ、ＷＡＮ、ポイントツーポイント等の１以上の通信接続７１２が環境に含まれていてもよい。実施形態において、接続により、ポイントツーポイント通信、コネクション型通信、コネクションレス通信等が可能になる。

動作環境７００は一般的に、少なくともいくつかの形式のコンピュータ可読媒体を含む。コンピュータ可読媒体は、処理ユニット７０２や動作環境を構成する他の機器がアクセス可能な媒体である。例えば、コンピュータ可読媒体はコンピュータ記憶媒体および通信媒体を含むが、これに限らない。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールやその他のデータといった情報を保存する方法または技術が実装された、揮発性および不揮発性の、リムーバブルおよび非リムーバブルの媒体を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤまたは他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクまたは他の磁気記憶装置、またはその他の所望の情報の記憶に使用可能な非一時的媒体が含まれる。通信媒体はコンピュータ記憶媒体に含まれない。

通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールやその他のデータを、搬送波やその他の輸送機構のようなデータ変調信号に統合したものであり、あらゆる情報配信媒体を含む。「データ変調信号」とは、信号に情報がコード化されるような方法で１以上の特性が設定または変更された信号を意味する。例えば、通信媒体は、有線ネットワークや直接有線接続のような有線媒体、および、音響、ＲＦ、赤外線、マイクロ波、その他の無線媒体のような無線媒体を含むがこれに限らない。これらの組み合わせも、コンピュータ可読媒体の範囲に含まれる。

動作環境７００は、１以上のリモートコンピュータとの論理的接続を用いるネットワーク接続環境で動作する単一のコンピュータであってよい。リモートコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、その他の一般的なネットワークノードであってよく、一般的には上述の要素の多く、もしくは、すべてを含んでおり、記載されていないものについても同様である。論理的接続は、適用可能な通信媒体にサポートされるあらゆる方法を含んでよい。このようなネットワーク環境は、オフィス、全社コンピュータネットワーク、イントラネットやインターネットにおいて一般的である。

図８は本発明の様々なシステムや方法が動作可能なシステム８００の実施形態である。実施形態において、クライアント機器８０２のようなクライアント機器は、サーバ８０４や８０６といった１以上のサーバと、ネットワーク８０８を介して通信してよい。実施形態において、クライアント機器はノートパソコン、パーソナルコンピュータ、スマートフォン、ＰＤＡ、ネットブック、ネットブック、タブレット、ファブレット、コンバーチブル型ノートパソコン、テレビ、または、図３におけるコンピューティングデバイスのような、あらゆるタイプのコンピューティングデバイスであってよい。実施形態において、サーバ８０４および８０６は、図３に図示するコンピューティングデバイスのような、あらゆるタイプのコンピューティングデバイスであってよい。ネットワーク８０８は、クライアントデバイスと１以上のサーバ８０４および８０６との間の通信を可能にするあらゆるタイプのネットワークであってよい。そのようなネットワークとしては、例えばＬＡＮ、ＷＡＮ、携帯電話網、Ｗｉ−Ｆｉネットワーク、および/またはインターネットが含まれるが、これに限らない。

実施形態において、本発明の様々なシステムや方法は、１以上のサーバデバイスで実行されてよい。例えば、ある実施形態では、単一のサーバ、例えばサーバ８０４が、本発明のシステムおよび方法の実行に用いられてよい。クライアント機器８０２は、例えばサブジェクト指向圧縮する動画データなどのデータや情報にアクセスするために、ネットワーク８０８を介してサーバ８０４と交信してよい。さらなる実施形態では、クライアント機器８０６は本発明の機能も実行してよい。

別の実施形態では、本発明の方法やシステムは、分散コンピューティングネットワークないしクラウドネットワークを用いて実行されてよい。このような実施形態では、本発明の方法やシステムは、サーバ８０４と８０６のような２以上のサーバにより実行される。このような実施形態では、２以上のサーバはそれぞれ、１以上の上述した処理を行う。記載したのは特定のネットワーク構成であるとしても、他のタイプのネットワークおよび/またはネットワーク構成を用いても本発明のシステムや方法を実施可能であることは、当業者は容易に理解するであろう。

上述の実施形態は、本発明のシステムと方法を実施し実行するために、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせを用いてもよい。特定の機能を実行するにあたって特定のデバイスを用いることが記載されているとしても、デバイスは例示目的で記載されているのであって、本発明の範囲内で上述の機能を実行するのに他のデバイスを適用可能であることは、当業者は容易に理解するであろう。

本開示は図面とともに本技術における実施形態を説明するものであって、可能な一部の実施形態を示しているに過ぎない。しかし、他の態様は多くの形で可能であり、ここで記載した実施形態に限定して解釈されるべきではない。むしろ、これらの実施形態は、この明細書の内容が完全であって、考えうる実施形態を当業者に伝える目的で提供されたものである。

特定の実施形態が記載されているとしても、本技術の範囲はこれらの特定の実施形態に限定されない。当業者は、本技術の範囲に含まれる他の実施形態や改良を認識するだろう。したがって、特定の構造、動作、媒体は、実施形態の説明のみとして記載されたものである。本技術の範囲は、請求項とその均等物により規定される。

Claims (20)

1. サブジェクト指向圧縮の実行方法であって、
   画像の関心対象サブジェクトを特定するステップと、
   第１の量子化値を用いて前記関心対象サブジェクトを圧縮するステップと、
   第２の量子化値を用いて前記画像の残り部分を圧縮するステップとを有し、
   前記第２の量子化値は、前記第１の量子化値より大きいことを特徴とする、サブジェクト指向圧縮の実行方法。
2. 前記関心対象サブジェクトを特定するステップは、前記関心対象サブジェクトの少なくとも１つの特性に基づいて前記関心対象サブジェクトを自動的に特定するステップを有する、請求項１に記載の方法。
3. 前記関心対象サブジェクトを特定するステップは、さらに、
   グラフィカルユーザインタフェース（ＧＵＩ）中にフレームを表示するステップと、
   前記ＧＵＩを介して前記関心対象サブジェクトの指示を受け付けるステップと、
   を有する、請求項１に記載の方法。
4. 前記関心対象サブジェクトの指示を受け付けるステップは、クリックアンドドラッグ入力を受け付けるステップを有する、請求項３に記載の方法。
5. 前記関心対象サブジェクトは、バウンディングボックスにより特定される、請求項１に記載の方法。
6. 第２の関心対象サブジェクトを特定するステップと、
   前記第１の量子化値を用いて前記第２の関心対象サブジェクトを圧縮するステップと、
   をさらに有する、請求項１に記載の方法。
7. 前記第１の関心対象サブジェクトと前記第２の関心対象サブジェクトとが重複する、請求項６に記載の方法。
8. 第３の関心対象サブジェクトを特定するステップと、
   前記第３の関心対象サブジェクトを第３の量子化値を用いて圧縮するステップとをさらに有し、
   前記第３の量子化値は、前記第１の量子化値および前記第２の量子化値と異なることを特徴とする、請求項６に記載の方法。
9. 少なくとも１つのプロセッサと、
   コンピュータが実行可能な命令をエンコードするメモリとを有するシステムであって、
   前記命令は、前記少なくとも１つのプロセッサに実行されると、
   動画を受け付けるステップと、
   少なくとも１つのメタデータファイルを作成するステップと、
   少なくとも１つの関心対象サブジェクトを特定するステップと、
   前記少なくとも１つの関心対象サブジェクトに量子化値を関連づけるステップと、
   前記少なくとも１つの関心対象サブジェクトを追跡するステップと、
   追跡中に生成されたメタデータを前記少なくとも１つメタデータファイルに保存するステップと、
   を行う、システム。
10. 前記少なくとも一つのメタデータファイルを作成するステップは、
    前記少なくとも１つの関心対象サブジェクトについてのデータを有する第１のメタデータファイルを作成するステップと、
    少なくとも１つの量子化値についてのデータを有する第２のメタデータを生成するステップと、
    を有する、請求項９に記載のシステム。
11. 前記追跡中に生成されたメタデータを保存するステップは、前記第１のメタデータファイルに前記少なくとも１つの関心対象サブジェクトについてのメタデータを保存するステップを有する、請求項１０に記載のシステム。
12. 前記第１のメタデータファイルに保存される前記メタデータは、
    フレームを特定するデータと、
    前記少なくとも１つの関心対象サブジェクトの位置を特定するデータと、
    セグメント識別子と、
    を有する、請求項１１に記載のシステム。
13. 前記少なくとも１つの関心対象サブジェクトを追跡するステップは、特徴追跡を実行するステップを有する、請求項９に記載のシステム。
14. 前記少なくとも１つの関心対象サブジェクトを喪失したかを判断するステップと、
    特定のフレームにおいて、前記少なくとも１つの関心対象サブジェクトが有効でないことの通知を生成するステップと、
    をさらに有する、請求項１３に記載のシステム。
15. 前記特定のフレーム内で前記少なくとも１つの関心対象サブジェクトを特定する入力を受け付けるステップをさらに有する、請求項１４に記載のシステム。
16. 少なくとも１つの量子化値を前記少なくとも１つの関心対象サブジェクトに関連づけるステップをさらに有し、
    前記少なくとも１つの量子化値は、背景量子化値よりも小さい、請求項９に記載のシステム。
17. 前記動画を圧縮するステップをさらに有し、
    前記少なくとも１つの関心対象サブジェクトは前記少なくとも１つの量子化値を用いて圧縮され、前記動画の残り部分は前記背景量子化値を用いて圧縮される、請求項１６に記載のシステム。
18. 少なくとも１つのプロセッサに実行されると、
    動画を受け付けるステップと、
    少なくとも１つのメタデータファイルを作成するステップと、
    少なくとも１つの関心対象サブジェクトを特定するステップと、
    量子化値を前記少なくとも１つの関心対象サブジェクトに関連づけるステップと、
    前記少なくとも１つの関心対象サブジェクトを追跡するステップと、
    追跡中に生成されたメタデータを前記少なくとも１つのメタデータファイルに保存するステップと、
    前記少なくとも１つのメタデータファイルを用いて前記動画にサブジェクト指向圧縮を行うステップと、
    を有する方法を行うコンピュータ実行可能な命令をエンコードする、コンピュータ記憶媒体。
19. 少なくとも１つの量子化値を前記少なくとも１つの関心対象サブジェクトに関連づけるステップをさらに有し、
    前記少なくとも１つの量子化値は、背景量子化値よりも小さい、請求項１８に記載のコンピュータ記憶媒体。
20. 前記サブジェクト指向圧縮を行うステップは、前記少なくとも１つの量子化値を用いて前記少なくとも１つの関心対象サブジェクトを圧縮するステップをさらに有する、請求項１９に記載のコンピュータ記憶媒体。

Images