JP2006148875A - ステップ画像を用いた画像ベースビデオの生成 - Google Patents

Abstract

【課題】少なくとも１つのステップ画像を使用して動作ベクトルに関連するソース画像の符号化を実行し、格納されるビデオの量を削減するシステムおよび／または方法を提供すること。
【解決手段】ステップ画像コンポーネントは、動作パラメータやコンピュータ環境パラメータなど入力コンポーネントが受信したデータに基づき、滑らかな動作をシミュレートするための最大ステップ画像サイズおよびステップ画像の適切な数を決定する。さらに、ステップ画像コンポーネントは、ズーム動作中のスムーズなビデオ視覚認知を実行する動作制御コンポーネントを使用することができる。また、ステップ画像コンポーネントは、ステップ画像の符号化の専用技術を提供するエンコーダコンポーネントを使用することもできる。さらに、履歴データに基づく人工知能コンポーネントを含むことができる。
【選択図】図７

Description

本発明は一般に、コンピュータシステムに関し、より詳細には動作ベクトルに関連するソース画像の符号化を実行する画像ベースビデオについてのシステムおよび／または方法に関する。

デジタルカメラのサイズおよび価格の低下、ならびに入手性、使用性、および解像度性能が同時に高まったことに基づき、デジタル写真の使用が増大している。メーカ等は、電子装置を携帯し、格納し、使用することに関する消費者需要を満たすために、より小型の電子機器を提供するよう努力を続けている。したがって、デジタル写真は成長を示し、エレクトロニクスおよびソフトウェアの両方にとって有益な市場であることが明らかになった。

ユーザは、デジタル画像の取り込みに際しデジタル写真の圧倒的な利点を体験する。従来のプリント写真では、撮影者はプリントを見るまでに高価なフィルムを現像するまで待たなければならないが、デジタル写真のデジタル画像では、サムネイル画像を使用することおよび／またはデジタルカメラ上のポートを覗くことによって数秒以内に見ることができる。さらに、各画像はユーザの選択に基づいて削除または保管することができ、それによって限られた画像記憶空間の経済的な使用が可能になる。一般に、デジタル写真を用いることで、写真をより有効に活用できるようになる。

さらに、デジタル画像に使用できる編集技術は非常に多く、編集者の想像力によってのみ制限されることになる。例えば、デジタル画像はトリミング、サイズ変更、ぼかし、輪郭強調、コントラスト、輝度、ガンマ、透過、回転、エンボス、テクスチャ、描画ツール（例えば、塗りつぶしまたはペン、円、ボックスの追加）、テキスト挿入などの技術を使用して編集することができる。一方、従来のプリント写真では、現像者が露光時間、ライトの強度、感光紙の種類、様々な光学フィルタなどの現像変数（ｄｅｖｅｌｏｐｉｎｇ ｖａｒｉａｂｌｅ）を制御できるに過ぎない。さらに、このような従来のプリント写真技術は高価であるが、デジタル写真ソフトウェアはコンピュータ上でますます一般的なものになってきている。

画像取り込みおよび現像に関するデジタル写真の利点に加えて、デジタル写真では撮った画像を容易に共用することができる。取り込んだ後で、他人と共用される画像に、その画像のストーリ（例えば、言葉によるナレーション）および／または物理的な提示を添付することができる。従来のプリント写真では、共用の選択肢はアルバムに限られており、アルバムは構成、保管、利用性などに関して様々な厄介な問題を伴うものである。さらに、プリント写真を相互に共用するためには、アルバムが物理的に存在していることが必要である。

デジタル写真に関する上記の利点およびプリント写真の従来からの欠点が考慮され、そのような欠点を修正するデジタル画像およびデジタルアルバムが、徐々に従来のプリント写真およびアルバムに取って代わるようになってきた。特に、画像ベースビデオは、デジタル画像を共用するための使い易く有効な技術を提供する。画像ベースビデオとは、静止画像に動作（例えば、パン、ズーム、クロスフェードなど）を加えた画像のスライドショーである。画像ベースビデオを使用する効果は、高解像度画像の細部をテレビ画面および／またはコンピュータモニタ上でより良く見ることができるようにする機能強化された動画ビデオが得られることである。例えば、代表的な３メガピクセルデジタルスチルカメラによって撮影された画像の解像度は約２０００×１５００ピクセルであるが、代表的なコンピュータモニタの解像度は１０２４×７６８ピクセルである。ただし、消費者の高まる需要に伴い、ハイエンドのデジタルスチルカメラはより高い解像度の写真を提供することができる。

画像ベースビデオの情報は、後で再生するために（例えば、生成中および／または生成終了時に）ファイルに格納する必要がある。一記憶技術では、ビデオの各フレームが画像として保管される。しかし、この技術は大量の記憶空間とＣＰＵ（例えば、プロセッサ）時間を必要とするものであり、その間に動作に関する情報が失われる可能性がある。他のより効率的な記憶技術では、ある画像についてのソース画像と動作ベクトルが符号化される（例えば、ソース画像は、さらに圧縮するために符号化される）。次に、描画（例えば、再生）時には、各符号化されたソース画像とその画像の符号化された動作ベクトルが復号され、それによって出力ビデオフレームを生成することが可能になる。

画像ベースビデオを生成する場合、大きな動作（例えば、パン、ズーム、クロスフェードなど）によって、表示、解像度、メモリ、および／またはプロセッサ性能などの面で様々な問題が生じる可能性がある。どのようなコンピュータ環境においても、ハードウェアや関連するコンポーネントは限られたものであり、したがって、全体的なユーザの使い勝手にとってきわめて重要なものになる。大きなパンおよび／またはズームでは、ソース画像の内容を高い忠実度で表示できるようにするために、ソース画像のかなりの部分をビデオの形に符号化する必要がある。例えば、高解像度ソース画像のサイズがｍ×ｎ画素であり、動作が、ソース画像のビューを全体の画像（ｍ×ｎ）からそのソース画像のｍ／８×ｎ／８の領域に変更するズームであったとする。その後で、最終的に得られるビデオが、ｐ×ｑ画素の解像度で生成されるとする。ただし、ｍ＞ｐ＞ｍ／８、ｎ＞ｑ＞ｎ／８であるとする。完全にズームされた場合は、理想的には、ｍ／８×ｎ／８画素サイズの絵の部分が最も高い忠実度で表示される。忠実度を維持するためには、ｍ×ｎ画素の全体の画像を格納しなければならない。

前の例によれば、画像ベースビデオの実行中にいくつかの問題が生ずる。この様な高解像度ソース画像を符号化するとそのソース画像を復号する必要があり、復号には、ユーザとプロセッサの両方の時間が大量に消費される。また復号された後で、復元された画像を適切に格納するためには大量のメモリを必要とする。さらに、ソース画像から生成された各フレームをサイズ変更して描画する間に、プロセッサの使用をリサイズして増大させる必要がある。ソース画像が大きくなればなるほど、サイズ変更の間のＣＰＵ使用量は増大する。さらに、代表的なビデオシステムは、毎秒３０フレームの割合で表示するので、ソース画像を復号し、各フレームをサイズ変更し描画して表示するために、約３３ｍｓが許容されることになる。割り振られた３３ｍｓの間に、システムがフレームを生成し、描画できない場合には、ビデオの動作は途切れ途切れになり鑑賞の楽しみが損なわれてしまう。プロセッサ速度は増大を続けているが、代表的な民生用のプロセッサおよびコンピュータ環境では、ソース画像が高解像度の場合には優に３３ｍｓを消費してしまう。

上記のことを考慮すると、動作ベクトルに関連するソース画像の符号化を実行する画像ベースビデオに関係するシステムおよび／または方法を改良および／または提供することが必要とされている。

以下では、本発明のいくつかの態様について基本的な理解が得られるように、本発明の簡単な要約を提示する。この要約は、本発明を幅広く概観するものではない。また、本発明の主要なまたは重要な要素を識別することを意図したものでも、本発明の範囲を示すことを意図したものでもない。この要約の唯一の目的は、本発明のいくつかの概念を、後で示されるより詳細な説明の準備として簡単な形で提示することである。

本発明は、少なくとも１つのステップ画像を使用して、画像ベースビデオの格納を実行するシステムおよび／または方法に関する。本発明は、ステップ画像を使用することにより、記憶量および、ズーム、パン、および／またはパンズームなどの大きな動作を生成する画像ベースビデオに割り当てられるメモリを劇的に低減する。ステップ画像を用いて大きな動作を小さな複数の動作に分解することにより、ビデオ中にソース画像の全体を格納するのではなく、ステップ画像だけを格納することが可能になる。

本発明の一実施形態によれば、少なくとも１つのステップ画像を用いて動作ベクトルに関連するソース画像の符号化を実施し、そのステップ画像によりビデオ量の削減をもたらすステップ画像コンポーネントを使用するシステムが提供される。このシステムは、滑らかで大きな動作をシミュレートするために、最大ステップ画像サイズおよびステップ画像の数を決定することができる。ステップ特性（例えば、最大ステップ画像サイズやステップ画像の数）を決定するために、ステップ画像コンポーネントは、入力コンポーネントを使用して動作パラメータ（例えば、ソース画像、パン、ズーム、パンズームなど）およびコンピュータ環境パラメータ（例えば、プロセッサ速度、メモリ容量、ビデオ表示など）を受信する。ステップ特性が決定されると、ステップ画像コンポーネントは、少なくとも一部は受信したパラメータに基づいて、その動作のために必要なステップ画像を生成することができる。

本発明の他の態様では、このシステムは、大きなズーム動作中のビデオ視覚認知の面倒な問題を緩和する動作制御コンポーネントを含む。動作制御コンポーネントは、非線系２次関数を用いて、それぞれズームインおよびズームアウトにおける、加速および／または減速の視覚認知を緩和するための適切な計算値を決定して、視聴者に円滑で一定した動作を提供する。

本発明の他の態様では、エンコーダコンポーネントは、ステップ画像コンポーネントによって生成されたステップ画像の符号化を実行する。エンコーダコンポーネントは、適切な一連のステップ画像を用いてステップ画像の適切な復号を保証し適切なビデオの描画を提供するために、符号化における様々な専用の技術を提供する。例えば、エンコーダコンポーネントは、デコーダが現在のフレームに関してキャッシュすべき適切な画像を決定し、新しい画像が復号された場合にどの画像を捨てるべきかを決定することを支援することができる。本発明の他の態様では、エンコーダコンポーネントは、少なくとも一部は、ソース画像からのビデオフレームの最初の生成に基づいて、順に画像を符号化する。さらに、エンコーダコンポーネントは、新しく符号化されたソース画像についての遷移の方向を設定し、デコーダコンポーネントは、それに従ってソース画像を復号することができる。

以下の説明および添付の図面は、本発明のいくつかの例示的な態様を詳細に説明したものである。しかし、これらの態様は、本発明の原理を使用することができる様々な方法のほんの一部を示したに過ぎない。したがって本発明は、その様な態様およびその均等物のすべてを含むことを意図するものである。本発明の他の利点および新規の特徴については、以下の本発明についての詳細な説明を図面と併せて考慮した場合に明らかになるであろう。

本発明は図面を参照しながら説明されるが、全図面を通し、類似の要素は類似の参照番号を使用して参照される。以下の記述では、本発明を十分に理解できるように、説明の目的で多くの個々の詳細について説明している。しかし、本発明がこれら個々の詳細がなくても実施できることは明らかであろう。他の例では、本発明の説明を容易にするために周知の構造および装置は構成図の形で示されている。

本出願で使用される「コンポーネント」、「システム」等の用語は、ハードウェア、（例えば、実行中の）ソフトウェア、および／またはファームウェアのいずれにおいても、コンピュータに関連するエンティティを意味することを意図している。例えば、コンポーネントは、プロセッサ上で動作中のプロセス、プロセッサ、オブジェクト、実行ファイル、プログラム、および／またはコンピュータなどであってもよい。例として、サーバ上で動作中のアプリケーションおよびサーバは、どちらもコンポーネントであり得る。１つのプロセスの中に１つまたは複数のコンポーネントを常駐させることができる。また、１つのコンポーネントを、１つのコンピュータ上に配置することおよび／または複数のコンピュータ間に分散させることもできる。

本明細書で説明するように、人工知能ベースのシステム（例えば、明示的および／または暗黙的にトレーニングされた分類子など）を、推論および／または確率的な決定および／または統計ベースの決定を実行することと併せて使用することができる。本明細書では、一般に「推論」という用語は、イベントおよび／またはデータによって取り込まれた一組の観察から、システム、環境、および／またはユーザの状態を推理または推論するプロセスを意味する。例えば推論を使用して、特定のコンテクストまたはアクションを識別することができ、あるいは状態についての確率分布を生成することもできる。推論は確率的であってもよい。すなわち、データおよびイベントの考慮に基づいた、対象の状態についての確率分布の計算であってもよい。また推論は、一組のイベントおよび／またはデータから上位レベルのイベントを構成するために使用される技術を意味する場合もある。この様な推論は、各イベントが相互に時間的にきわめて接近した関係にあるか否か、またイベントおよびデータが１つまたは複数のイベントおよびデータソースから生じたものかどうかにかかわらず、一組の観察されたイベントおよび／または格納されたイベントデータから新しいイベントまたはアクションを構築するものである。様々な分類スキームおよび／またはシステム（例えば、サポートベクトルマシン、ニューラルネットワーク、ベイジアン信頼ネットワーク、ファジー論理、データ統合エンジンなど）は、本発明に関連する自動および／または推論アクションの実行と併せて使用することができる。

次に各図を参照する。図１には、少なくとも１つのステップ画像を用いて動作ベクトルに関連するソース画像の符号化を実行し、そのステップ画像によりビデオ量の削減をもたらすステップ画像コンポーネント１１０を含むシステム１００が示されている。ステップ画像コンポーネント１１０は、最大ステップ画像サイズおよびステップ画像の適切な数を決定して、入力コンポーネント１２０の受信データに基づき、滑らかな動作をシミュレートする。例えば、データは動作パラメータやコンピュータ環境パラメータのこともある。入力コンポーネント１２０は、これに限られるものではないが、（例えば、ズーム、パン、パンズームなどの）動作要求、（例えば、コンピュータモニタ、テレビ画面、携帯情報端末（ＰＤＡ）などの）ビデオ表示装置、（例えば、プロセッサ速度、メモリ、ハードディスクドライブ空間、ビデオカード、マザーボード、バス速度などの）コンピュータ環境特性、および／または（例えば、画像ベースビデオで使用される）ソース画像などのパラメータを受信する。ステップ画像を使用することによって、ステップ画像コンポーネント１１０は、これに限られるものではないが、ズーム、パン、またはパンズームなどの大きな動作を生成する画像ベースビデオのための記憶装置およびメモリの量を大幅に削減する。

例えば、ステップ画像の最大ステップ画像サイズを決定する１つの方法は閾値を決めることである。画像ベースビデオの再生の間に、コンピュータ環境は、限られた時間でビデオの各フレームを復号し、生成し、描画しなければならない。一般に、時間は１／フレームレートで計算され（この場合、ビデオは毎秒３０フレーム速度で再生されるので）、ステップ画像を復号し、フレームを描画するのに約３３ｍｓが与えられることになる。少なくとも一部はＣＰＵ（例えば、プロセッサ）性能およびフレームレートに基づいて、ＣＰＵ（例えば、プロセッサ）が画像を復号しビデオフレームを描画するのに十分な時間を有するようにステップ画像の最大ステップ画像サイズを決定することができる。さらに、少なくとも一部は、そのステップ画像の最大ステップ画像サイズおよびソース画像中の全体のパン／ズーム動作に基づいて、ステップ画像の数を計算することができる。

さらに、ステップ画像コンポーネント１１０は、少なくとも一部は所望の動作（例えば、ズーム、パン、パンズームなど）、ＣＰＵ性能、出力ビデオ解像度、およびフレームレートに基づいて決定された最大ステップ画像サイズとステップ画像の数を使用してステップ画像を生成することができる。ステップ画像コンポーネント１１０は、ステップ画像を使用して、動作のためのより小さな画像のセットを用いたソース画像を表示する。さらに、ステップ画像コンポーネント１１０は、より小さな画像（例えば、ステップ画像）の各々が、ビデオ中の動作部分のソース画像になり、またその動作の部分のビデオを生成するために使用されるように各ステップ画像を生成する。ステップ画像コンポーネント１１０は、元の画像よりも小さい個々のステップ画像を生成し、ステップ画像内の動作は相応してより小さくなるので、メモリおよびプロセッサ性能が損なわれることがなくなる。

例えば、ズーム動作は、フルのソース画像で始まり、そのソース画像の中心の矩形領域にズームするソース画像に基づいて起動することができる。ズームは、開始位置がフル画像で、終了位置がソース画像の中心の矩形になるような、開始位置（Ｒ１）と終了位置（Ｒ２）で起動することができる。動作は、開始位置（Ｒ１）と終了位置（Ｒ２）から、いくつかのステップに分解することができる。最大ステップ画像サイズおよびステップ画像の数が決定された後で、ステップ画像コンポーネントは各ステップ画像を生成することができる。この例として、動作を２つのステップに分解することができる。第１のステップはＲ１からＲｉへの動作であり、第２のステップはＲｉからＲ２への動作である（この場合、ＲｉはＲ１とＲ２の間にある中間矩形であり、その位置は少なくとも一部はビデオ中のフレームの枚数に基づいて決まる）。

前の例を続けると、動作の第１のステップ（例えば、Ｒ１からＲｉ）を用いて、生成されるビデオの解像度とほぼ同一の（またはそれより小さい）解像度をＲｉが有するように、フル画像をより小さなサイズに縮小することができる。この縮小画像を、ステップ画像１と呼ぶことにする。ステップ画像１を用いることにより、ビデオ品質を損なうことなく、Ｒ１からＲｉへの動作に対するビデオフレームを生成することができる。同様に、動作の第２のステップ（例えば、ＲｉからＲ２）によって第２のステップ画像を生成することができる。ＲｉからＲ２への動作中は、矩形Ｒｉの外側にある画像の部分は、ビデオフレームを生成するためにはまったく必要ない。したがって、Ｒｉで示される画像の部分だけが格納される。さらに、格納される画像は、生成されるビデオの解像度とほぼ同一またはそれより小さい解像度を矩形Ｒ２が有するように縮小することができる。Ｒｉの縮小された部分の画像をステップ画像２と呼ぶことにする。ステップ画像２を使用して、ビデオ品質を損なうことなく、ＲｉからＲ２への動作のビデオフレームを生成することができる。上記の例では、ステップ画像１はフル画像と同一の画像である必要はない。なぜならば、動作開始のＲ１は、フル画像のより小さな部分のことがあり得るからであり、また部分Ｒ１をある程度まで縮小し、部分Ｒｉが出力ビデオと同一またはそれより小さい解像度を有するようにできるからである。さらに、ステップ画像２は矩形部分Ｒｉと同一である必要はない。言い換えると、ソース画像を縮小して画像フレームを生成し、その様なステップ画像を生成する場合にルールを適用することになる。

図２には、ステップ画像コンポーネント１１０の代わりに、画像ベースビデオに関する従来技術を使用する画像ベースビデオシステム２００が示されている。ソース画像２１０は、Ｘ軸２１２およびＹ軸２１４上に位置するように示されている。画像ベースビデオから指令された動作は、開始矩形位置２１６から終了矩形位置２１８に向けて示されている。言い換えると、画像ベースビデオは、従来のスライドショーではなく、ソース画像２１０を横切ってパンすることによってビデオのイリュージョンを生成する。開始矩形位置２１６から終了矩形位置２１８への動作は、例えば、高さ２２２および幅２２４を有するビデオビューポートを用いて表示することができる。ビデオポートは、例えば、コンピュータモニタ、テレビ画面、携帯情報端末（ＰＤＡ）などであってもよい。

座標系は画像座標を使用して定義されており、ソース画像２１０内の矩形（Ｒ）は次式で表すことができる。

ｖ＝［ｘ０，ｙ０，ｗ，ｈ］^Ｔ
上式で、ｘ０およびｙ０は、ソース画像２１０の左上隅についてのＸ軸２１２およびＹ軸２１４の座標である。さらに、変数ｗおよびｈはソース画像２１０内の矩形（Ｒ）の幅および高さを表す。この記法を用いると、矩形（Ｒ）の位置とサイズは次式のように表すことができる。

ｖ_１＝［ｘ０_１，ｙ０_１，ｗ_１，ｈ_１］^Ｔ
ｖ_２＝［ｘ０_２，ｙ０_２，ｗ_２，ｈ_２］^Ｔ
開始矩形位置２１６から終了矩形位置２１８への動作の間に、毎秒ｆフレームのビデオフレームレートでの継続時間は時間ｄ秒で表すことができる。動作のためのビデオフレーム数は、ｎ＝ｆ×ｄである。従来のビデオと異なり、画像ベースビデオはソース画像だけを符号化すればよい。ビデオの各フレームは、開始矩形位置２１６から終了矩形位置２１８までの位置およびサイズで定義される。画像２１０内の、フレームｉに関係する矩形の位置およびサイズは次式で計算できる。

開始動作および終了動作は全体のソース画像２１０を含まないこともあるので、符号化すべき画像はフルソース画像２１０でない場合もあるが、開始位置矩形２１６と終了位置矩形２１８の和集合２２６は符号化され格納される。全体の和集合画像が格納されることを理解されたい。さらに、符号化する画像は、少なくとも一部はビデオサイズ、および開始矩形位置２１６から終了矩形位置２１８への動作の最小サイズに基づき、忠実度を失うことなく縮小される。

システム２００は、開始矩形位置２１６から終了矩形位置２１８への動作が大きな比率になる場合は、性能目標を達成することができなくなる。例えば、ソース画像を２５６０×１９２０画素（例えば、代表的な５メガピクセルデジタル画像）とする。動作がフルソース画像から始まりソース画像中央の３２０×２４０矩形へのズームであり、３２０×２４０サイズのビデオが使用される場合は、フル画像サイズである２５６０×１９２０を符号化しなければならない。したがって、画像を復号し、ソース画像の適切なサイズ変更によってサイズ３２０×２４０のビデオフレームを生成するためには、大量の時間およびＣＰＵ（例えば、プロセッサ）時間が必要になる。

次に、図３を参照すると、少なくとも１つのステップ画像を用いて動作ベクトルに関連するソース画像の符号化を実行し、そのステップ画像によりビデオ量の削減をもたらすステップ画像コンポーネント３１０を含むシステム３００が提供される。入力コンポーネント３１２は、動作パラメータおよび／またはコンピュータ環境パラメータなどのデータを受信し、ステップ画像コンポーネント３１０はステップ画像を生成する。ステップ画像コンポーネント３１０はさらに、アナライザコンポーネント３１４を含む。アナライザコンポーネント３１４は、ソース画像を符号化するために使用されるステップ画像の最大ステップ画像サイズとステップ画像の数を決定する。本発明の一態様では、アナライザコンポーネント３１４は、少なくとも一部はＣＰＵ（例えば、プロセッサ）性能およびフレームレートに基づき、ステップ画像を復号しビデオフレームを描画するための十分なＣＰＵ（例えば、プロセッサ）処理時間が存在するように、最大ステップ画像サイズの閾値を定義することができる。最大ステップ画像サイズは閾値として定義することができるが、本発明はその様な手法に制限されるものではない。正確に言えば、アナライザコンポーネント３１４は、復号しユーザに円滑な動作を描画するための十分な時間がＣＰＵ（例えば、プロセッサ）に対して割り振られるように最大ステップ画像サイズを決定する。

さらに、アナライザコンポーネント３１４は、一部は最大ステップ画像サイズに基づいてステップ画像の数を計算する。例えば、ステップ画像の数は、画像フレームのアスペクト比をビデオのアスペクト比とほぼ同一になるように定義することによって計算することができる。アナライザコンポーネント３１４は、最大ステップ画像サイズ

のズーム動作に関するステップファクタ（ｓ）を次式のように定義することができる。

上式で、

はステップ画像の最大幅であり、ｗ_ｖはビデオ幅である。同様に、アナライザコンポーネント３１４は、パン動作に関するステップファクタ（ｓ）を次式のように計算することができる。

ステップファクタの計算に際し、アナライザコンポーネント３１４は、ビデオサイズに対するステップ画像の数を決定する。アナライザコンポーネント３１４は、動作矩形Ｒ１から動作矩形Ｒ２へのズームアウト動作に対するステップ画像の数ｎ_ｚを次式で計算することができる。

上式で、

および

は、それぞれ動作矩形Ｒ１およびＲ２の幅を定める。さらに、アナライザコンポーネント３１４は、開始と終了の動作矩形を入れ替えることによって、ズームインを次式によって同様に処理する。

動作が矩形Ｒ１から矩形Ｒ２への水平パンの場合は、アナライザコンポーネント３１４は、ステップ画像の数ｎ_ｐを次式のように計算する。

Ｘ_Ｒ１およびＸ_Ｒ２はそれぞれ、Ｒ１およびＲ２の左上隅のＸ座標を表す。同様に、Ｒ１およびＲ２の左上隅のＹ座標は、パン動作が垂直方向の場合に、アナライザコンポーネント３１４によって次式の形で使用される。

さらに、アナライザコンポーネント３１４は、動作がズームとパンの両方の場合のステップ画像の数ｎを、次式を使用して決定することができる。

ｎ＝ｍａｘ（ｎ_ｚ，ｎ_ｐ）
ステップ画像の最大ステップ画像サイズと動作に対するステップの数がアナライザコンポーネント３１４によって決定された後で、ステップ画像生成コンポーネント３１６は動作に関するステップ画像を生成する。言い換えると、ある動作（例えば、ズーム、パン、またはパンズーム）についての、決定された数のステップ画像が生成される。ステップ画像生成コンポーネント３１６は、ソース画像の主要な部分と対応する動作ベクトルを格納するのではなく、ステップ画像を用いて大きな動作をいくつかのより小さな動作に分解し、分解した小さな動作をビデオに格納する。

本発明の一態様では、ステップ画像生成コンポーネント３１６は、関連するステップ内の開始および終了動作矩形を定め、和集合矩形を取得し、和集合矩形を縮小し、縮小された和集合矩形の開始および終了動作矩形を計算してステップ画像を生成することができる。丸め誤差によって引き起こされる厄介な問題を避けるために、ステップ画像生成コンポーネント３１６が倍精度浮動小数点を使用していることを理解されたい。例えば、ステップ画像生成コンポーネント３１６は、関連するステップにおけるビデオの最初のフレームを生成するために使用される画像の一部などを定義するＲｉｓを計算する。同様に、ステップ画像生成コンポーネント３１６は、関連するステップのビデオの最終フレームを生成するために使用される画像の一部などを定義するＲｉｅを計算する。次に、ステップ画像生成コンポーネント３１６は和集合矩形を提供し、それを忠実度に影響が出ないように縮小する。縮小ファクタは、ステップ画像生成コンポーネント３１６によって、例えば次式によって決定することができる。

ｆ＝ｍｉｎ（Ｗ_Ｒｉｓ，Ｗ_Ｒｉｅ）／Ｗｖｉｄｅｏ
上式で、Ｗ_Ｒｉｓは開始動作矩形Ｒｉｓの幅、Ｗ_Ｒｉｅは終了動作矩形Ｒｉｅの幅、またＷｖｉｄｅｏは表示されるビデオの幅である。ステップ画像生成コンポーネント３１６は、各ステップごとに、ソース画像から抽出されたＲｉｓおよびＲｉｅからなる和集合領域にこの縮小ファクタを適用することができる。和集合領域に適用される縮小ファクタが、最も近い整数値に切り上げられることを理解されたい。和集合矩形が縮小された後で、ステップ画像生成コンポーネント３１６は、縮小ステップ画像内の開始および終了動作矩形を計算する。ステップ画像生成コンポーネント３１６は、例えば、アナライザコンポーネント３１４によって決定されたステップ画像の数に基づき、ステップ画像を生成するためにこの処理を繰り返すことができる。

図４を参照すると、少なくとも１つのステップ画像を使用して動作ベクトルに関連するソース画像の符号化を実行し、このステップ画像により格納するビデオの量を削減するシステム４００が示されている。ステップ画像コンポーネント４１０は、ステップ画像のサイズおよび数を決定し、入力コンポーネント４１２に基づいてステップ画像を生成する。入力コンポーネント４１２は、これに限られるものではないが、動作（例えば、パン、ズーム、パンズームなど）特性およびコンピュータ環境特性などを受信することができる。システム４００はさらに、画像ベースビデオ内の大きなズーム動作および／または大きなパンズーム動作中のビデオ視覚認知を緩和する動作制御コンポーネント４１４を含む。従来のシステムは、大きな動作に関して加速および減速のビデオ認知に一部基づいており、問題が生じる可能性がある。例えば、ソース画像からそのソース画像内の小さな矩形領域へのズームインでは、動作は、緩やかに始まり終了に向けて加速するように知覚される。他の例では、４０００×３０００画素サイズの矩形から４００×３００画素サイズの矩形へのズームイン動作が示されている。ビデオの１００フレームの期間にわたって行われる線形動作に基づけば、矩形の幅は（４０００−４００）／１００＝３６画素の単位で減少する。これに対して、矩形の高さは（３０００−３００）／１００＝２７の単位で減少する。ズームインの開始時に、４０００×３０００画素のビデオサイズを見ている場合は、３６×２７画素の動作は比較的遅く見える。各フレームごとに、画像の３６／４０００＊１００＝０．９％だけが縮小されることになり、ユーザには表示上緩やかにズームする動作に感じられることになる。しかし、ズームインの最後に、約４８０×３６０画素サイズのビデオの部分を見ている場合には、３６×２７画素の動作は比較的大きなものに見える。ズームインの最後の各フレームについては、画像の３６／４８０＊１００＝７．５％が縮小されることになり、ユーザには表示上でより緩やかにズームする動作に感じられることになる。

動作制御コンポーネント４１４は非線系動作を使用して上記の動作認知を緩和する。従来のシステムでは、次式のように、各後続のフレームに対する動作の差分を定める線形動作が使用されている。

動作制御コンポーネント４１４は、大きなズーム動作の間に、一定でない絶対動作速度を使用して滑らかな動作の認知を実現する。例えば、動作制御コンポーネント４１４は、最初は速い速度でスタートし、時間と共にズームイン動作を減速させる絶対動作速度を使用する。逆に、ズームアウト動作では、動作制御コンポーネント４１４は、最初は低速で、時間と共に速度が増大するように絶対動作速度を調整する必要がある。

本発明の一態様においては、動作制御コンポーネント４１４は、計算された動作速度を、次式のように時間の２次関数として制御する。

Ｗ＝ａ（ｔ−ｂ）^２＋ｃ
上式で、Ｗは動作中の時間ｔにおける動作矩形Ｒの幅であり、ａ、ｂ、およびｃは定数である。上式を時間に関して微分することによって、動作の速度であるＷ’および動作の加速度であるＷ”は、それぞれ次式のように計算される。

Ｗ’＝２ａ（ｔ−ｂ）
Ｗ”＝２ａ
上式を用いると、動作の速度Ｗ’は時間と共に線形に変化し、動作の加速度Ｗ”は一定である。これにより、滑らかな動作の視覚認知が与えられる。

さらに、（動作矩形Ｒの幅である）Ｗに関する上式は、図５に示したグラフによって表すことができる。この図から動作制御装置４１４は定数ａ、ｂ、およびｃを計算する。動作矩形が時間０から時間Ｔまでズームインする（例えば、動作矩形の幅が時間０のＷ１から時間ＴのＷ２まで減少する）場合、この関数に従う曲線上の２点は、座標（０，Ｗ１）、（Ｔ，Ｗ２）を有する。曲線上の第３の点が見つかると、動作制御コンポーネント４１４はパラメータａ、ｂ、およびｃを一意に決定できる。その際、動作制御コンポーネント４１４は、図５に示したように点（Ｔｏ，Ｗｏ）を使用する。この点では速度は０であり、ＴｏはＴの係数倍と想定することができる。例えば、Ｔｏ＝１．２５Ｔとすると、動作制御コンポーネント４１４は曲線上の３点に基づいてズームイン動作を計算できるようになる。

次に、図６を参照すると、システム６００には、ステップ画像を使用して動作ベクトルに関連するソース画像の符号化を実行し、このステップ画像を使用することにより格納されるビデオの量を削減するステップ画像コンポーネント６１０が示されている。ステップ画像コンポーネント６１０は、データを受信する入力コンポーネント６１２に基づいて、ソース画像からステップ画像を生成する。受信されるデータは、例えば、これらに限られるものではないが、動作パラメータおよび／またはコンピュータ環境パラメータである。ステップ画像コンポーネント６１０は、少なくとも一部はこの動作パラメータおよび／またはコンピュータ環境パラメータに基づいてステップ画像の数およびサイズを決定し、その様なステップ画像を生成する。

システム６００はさらに、ステップ画像コンポーネント６１０によって生成されたステップ画像の符号化を実行するエンコーダコンポーネント６１４を含む。従来の符号化技術はこのステップ画像コンポーネントには適さない。例えば、画像ベースビデオの表示には、ソース画像および動作情報を復号するデコーダが必要になる。一般に、従来のデコーダは２つのバッファを維持する。第１のバッファは現在のソース画像フレームに使用され第２のバッファは以前に使用されたソース画像フレームに使用される。例えばクロスフェードなど、フレーム間に適用される何らかの遷移が存在する場合には、これら２つの画像バッファを使用して遷移を適用することができる。バッファ中に２つの画像を維持することによって、デコーダは、各々パンおよび／またはズーム動作を有する連続する画像間の遷移を生成することができる。この例を続けると、ソース画像Ｉ_０、Ｉ_１、Ｉ_２、Ｉ_３、．．．、Ｉ_ｎを、符号化されるソース画像とする。従来技術を使用すると、各画像はビデオに表示される順序と同じ順序で符号化される。

しかし、ステップ画像コンポーネント６１０を使用すると、エンコーダコンポーネント６１４とデコーダコンポーネント６１６は、各ステップ画像に対して特別な考慮を実施することができる。例えば、以下に示すように、ステップ画像

は画像Ｉ_１のステップ画像であり、

はＩ_２のステップ画像である。

ここで、Ｔ_１、Ｔ_２、Ｔ_３はそれぞれ、画像Ｉ_０とＩ_１、Ｉ_１とＩ_２、Ｉ_２とＩ_３間の遷移である。

本発明の一態様では、エンコーダコンポーネント６１４は、２つの画像ペア

と

の間の３つの画像を含む遷移Ｔ_１を使用する。前述のように、従来のデコーダは２つの画像バッファを維持する。したがって、

が復号される場合には、Ｉ_０か

のどちらかが捨てられる。エンコーダコンポーネント６１４は、少なくとも一部はステップ画像Ｉ_０および（ステップ画像コンポーネント６１０によって生成された）

によって生成される後続の出力ビデオフレームに基づいて

を捨てるものとする。従来の符号化／複合化スキームでは、デコーダはメモリ

および

中に最後の２つの復号された画像だけが維持される。この様な場合に、エンコーダコンポーネント６１４を用いると、現在のフレームでデコーダがキャッシュすべき適切な画像、および新しい画像を復号する場合にどの画像を捨てるべきかを決定できることを理解されたい。

本発明の他の態様では、エンコーダコンポーネント６１４は遷移Ｔ_３を使用する。遷移Ｔ_３は３つの画像

、

およびＩ_３を含む。順序は、

、

、Ｉ_３ではなく、

、Ｉ_３、

として、エンコーダコンポーネント６１４によって符号化される。エンコーダコンポーネント６１４は、少なくとも一部はビデオフレームの最初の生成に基づいてソース画像

とＩ_３からこの順序で画像を符号化し、それに従って遷移Ｔ_３を生成する。したがって、遷移のためのビデオフレームは、最初にソース画像

とＩ_３から、その後ソース画像Ｉ_３と

から生成され、それに従ってエンコーダコンポーネント６１４は、適切な再生のための画像の順序づけを正しく決定する。

さらに、エンコーダコンポーネント６１４は遷移の方向を新しく符号化されたソース画像に向けて設定し、デコーダコンポーネント６１６はそれに従ってソース画像を復号する。上の例を続けると、Ｉ_３が新しく復号される画像の場合は、遷移の方向は

からＩ_３である。しかし、

が新しく復号される画像の場合は、方向は

からＩ_３となる。

図７には、画像ベースビデオにおける、ステップ画像コンポーネント７１０を含むシステム７００が示されている。ステップ画像コンポーネント７１０は、少なくとも一部はデータを受信する入力コンポーネント７１２に基づき、ステップ画像を使用してビデオの格納を実行する。データは、例えば、動作パラメータやコンピュータ環境パラメータなどである。例えば、動作パラメータは、パン、ズーム、パンズーム、および／または画像ベースビデオでユーザによって使用されるソース画像などである。さらに、コンピュータ環境パラメータは、例えば、プロセッサ速度、メモリ容量、表示装置、アプリケーションのバージョンなどである。システム７００はさらに、人工知能コンポーネント７１４を含む。人工知能コンポーネント７１４は、少なくとも一部は履歴データコンポーネント７１６に基づいて、ステップ画像コンポーネント７１０によって使用される最大ステップ画像サイズおよび／またはステップ画像の数を推論する。本発明の一態様では、履歴データコンポーネント７１６は、ユーザプロファイル、ソース画像、動作などを提供する。

例えば、人工知能コンポーネント７１４は、指定されたユーザによる動作要求についての最大ステップ画像サイズおよびステップの数を用いるために、そのユーザのユーザプロファイルを使用する。人工知能コンポーネントは、履歴データコンポーネント７１６に基づいて、最大ステップ画像サイズおよびステップの数を推論することができる。ユーザプロファイルは特定のユーザに合わせ込むことができ、過去の特性（例えば、プロセッサ速度、メモリ容量、表示装置、ソース画像サイズ、特定のソース画像、動作要求など）に基づいて最適化された、ユーザプロファイル中のステップ特性（例えば、最大ステップサイズ、ステップ画像の数など）を使用することができる。さらに、履歴データコンポーネント７１６は、ユーザの履歴に基づいて、ステップ画像コンポーネント７１０に以前の最大ステップ画像サイズおよびステップの数を提供することができる。

図８〜１０は、本発明による方法を示すものである。説明を簡単にするために、これらの方法を一連の動作として図示し説明する。本発明が、例示した動作および／または動作の順序に制限されるものではないことを理解し認識されたい。例えば、各動作は様々な順序および／または同時に実行することができ、また本明細書には提示も説明もされていない他の動作と共に実行することもできる。さらに、本発明による方法を実施するために、必ずしも図示の動作のすべてを必要とするわけでもない。さらに当業者ならば、別法として、本方法が状態線図またはイベントを用いた一連の相互に関連付けられた状態として表現できることを理解し認識されたい。

図８は、ソース画像に少なくとも１つのステップ画像を使用することによって、画像ベースビデオにおけるビデオの格納を実行する方法８００を示す。８１０で、ソース画像および動作要求が受信される。動作要求は、例えば、これに限られるものではないが、画像ベースビデオ内でのパン、ズーム、および／またはパンズームなどである。さらに、ソース画像は、例えば、ユーザが画像ベースビデオを適用したいと思う画像のことである。８２０で、ステップ特性が決定される。例えば、ステップ特性は、所与のソース画像に対する最大ステップ画像サイズおよびステップ画像の数である。本発明の一態様では、最大ステップ画像サイズは閾値として定義できる。また、ステップ画像の数は、ズームとパンのどちらについても上述の式によって決定することができる。さらに、ステップ特性は、動作パラメータおよび／またはコンピュータ環境パラメータの少なくとも一方によって決定できることを理解されたい。例えば、動作パラメータはソース画像上のズームおよび／またはパンなどのことであり、コンピュータ環境パラメータは、プロセッサ速度および／またはメモリ容量などのことである。次に、８３０で、最大ステップ画像サイズ、および／またはステップの数、および／またはユーザによって要求された動作に基づいてステップ画像が生成される。ステップ画像が生成された後で、ステップ８４０で方法８００はさらに生成すべきステップ画像があるかどうかを判定する。さらに生成すべきステップ画像が存在する場合は、この方法は８３０に続く。さらに生成すべきステップ画像がない場合は、すべてのステップ画像が生成されたことになり、それらのステップ画像を符号化プロセスで使用することができる。

図９は、符号化のためのソース画像に少なくとも１つのステップ画像を使用して画像ベースビデオにおけるビデオの格納を実行する方法９００を示す。９０２で、ユーザによる動作要求が分析される。動作要求は、例えば、画像ベースビデオの生成または修正におけるズーム、パン、および／またはパンズームのことである。さらに、動作要求の分析の間に、関係するあらゆる特性およびソース画像についてのデータを蓄積することができる。次に、９０４で、最大ステップ画像サイズおよびステップ画像の数を決定することができる。９０４での決定は、これに限られるものではないが、少なくとも一部は、動作要求、ソース画像特性、および／またはコンピュータ環境パラメータに基づいて実行することができる。コンピュータ環境パラメータは、例えば、プロセッサ速度、メモリ容量、表示装置、フレームレート、指定された解像度などのことである。

９０６で、方法９００はステップ画像の生成を開始する。開始および終了動作矩形の計算は、ある動作についてのステップ画像の数の各々に対して計算される。次に、９０８で、開始および終了動作矩形の和集合が計算される。９１０で、出力ビデオ解像度に対して、ステップ画像の忠実度が低下しないようにスケールファクタが計算される。次に９１２で、抽出された和集合領域にそのスケールファクタが適用される。９１２の計算結果が、精度を失わないように最も近い整数値に切り上げられることを理解されたい。次に９１４で、縮小された画像内の開始および終了動作矩形が計算され、その結果そのステップ画像に関する適切な動作が使用できるようになる。９１６で、ステップ画像を生成すべきステップがさらに存在する場合は、方法は９０６に続く。存在しない場合は、それ以上ステップ画像は生成されない。

図１０には、大きなズームおよび少なくとも１つのステップ画像を使用する場合の、動作および符号化に伴う困難な問題を緩和する方法１０００が示されている。ステップ１００２で、ステップ特性が決定される。例えば、最大ステップ画像サイズやステップ画像の数などのステップ特性を、プロセッサ速度、メモリ容量、ビデオ表示、ソース画像サイズ、動作要求などを用いて決定することができる。ステップ特性が決定された後で、１００４で、前述の技術を使用してステップ画像を生成することができる。１００６で、さらにステップが存在する場合は、１００４でステップ画像の生成を続ける。それ以上生成すべきステップが存在しない場合は、方法は１００８に続く。ユーザに要求された動作が動作制御を必要とする場合は、方法は１０１０に進む。一方、動作制御が必要ない場合は、方法は１０１２に続く。例えば、動作制御は、これに限られるわけではないが、ズームイン、ズームアウト、パンＸズームイン、パンＹズームイン、パンＸズームアウト、パンＹズームアウトなど、ズーム関連の動作が存在する場合にのみ適用する必要がある（ただし、ＸおよびＹは、Ｘ軸およびＹ軸の座標方向を示す）。１０１０で、適切な動作制御が適用される。例えば、動作制御は、要求された動作および／または非線形２次関数に一部基づくものである。動作制御が適用された後で、１０１２で、適宜ステップ画像が符号化される。１０１２で、ステップ画像の符号化をデコーダと共に動作させて、画像ベースビデオの適切な順序づけを保証できることを理解されたい。

次いで図１１を参照すると、ステップ画像を使用するソース画像上でズームイン動作を適用する画像ベースビデオが示されている。開始動作矩形１１０２から終了動作矩形１１０４への動作が３ステップに分割される。さらに、開始動作矩形１１０２から終了動作矩形１１０４への動作には、ビデオでｎフレームかかるとする。使用されるステップの数が例であること、および各ステップの決定が少なくとも一部はプロセッサ速度および／またはメモリ容量に基づいて実行できることを理解されたい。第１の中間矩形（Ｒｉ）１１０６および第２の中間矩形（Ｒｊ）１１０８は、０＜ｉ＜ｊ＜ｎを満たすようなフレームｉおよびｊの中間位置に存在する。第１のステップの動作は、開始動作矩形１１０２から第１の中間矩形（Ｒｉ）１１０６までである。第２のステップの動作は、第１の中間矩形（Ｒｉ）１１０６から第２の中間矩形（Ｒｊ）１１０８までである。第３のステップの動作は、第２の中間矩形（Ｒｊ）１１０８から終了動作矩形１１０４までとなる。

開始動作矩形１１０２から第１の中間矩形（Ｒｉ）１１０６までの第１のステップの動作では、第１の中間矩形（Ｒｉ）１１０６が、生成されるビデオの解像度とほぼ同等の（またはそれより低い）解像度を有するように、フル画像をより小さなサイズに縮小することができる。この縮小された画像がステップ画像１である。開始動作矩形１１０２から第１の中間矩形（Ｒｉ）１１０６までの動作についてのビデオフレームは、ビデオ品質を損なうことなく、ステップ画像１から生成される。

第１の中間矩形（Ｒｉ）１１０６から第２の中間矩形（Ｒｊ）１１０８までの第２ステップの動作では、第１の中間矩形（Ｒｉ）１１０６の外側の画像の部分は、ビデオフレームを生成するためには必要ない。したがって、格納すべき画像の部分は第１の中間矩形（Ｒｉ）１１０６によって表される。さらに、第２の中間矩形（Ｒｊ）が、生成されるビデオの解像度とほぼ同等の（またはそれより低い）解像度を有するように、格納すべき画像を縮小することができる。第１の中間矩形（Ｒｉ）１１０６の縮小された部分がステップ画像２であり、それによりＲｉからＲｊへの動作に関するビデオフレームは、ビデオ品質をまったく損なうことなく生成することができる。

第２の中間矩形（Ｒｊ）１１０８から終了動作矩形１１０４までの第３ステップの動作の間に、第２の中間矩形（Ｒｊ）１１０８の外側の画像の部分は、ビデオフレームを生成するためには必要ない。したがって、第２の中間矩形（Ｒｊ）の部分だけが格納される。さらに、格納される画像は、第２の中間矩形が、生成されるビデオの解像度とほぼ同等（またはそれ以下）の解像度を有するように縮小できる。第２の中間矩形（Ｒｊ）１１０８の縮小された画像がステップ画像３である。第２の中間矩形（Ｒｊ）１１０８から終了動作矩形１１０４までの動作のためのビデオフレームは、ステップ画像３からビデオ品質をまったく失うことなく生成することができる。

より小さなステップ画像（例えば、ステップ画像１、ステップ画像２、およびステップ画像３）を格納することにより、全体のソース画像を格納する必要なしに、ほぼ同等の品質を有する画像ベースビデオを生成するようにビデオの格納が実行されることを理解されたい。さらに、各ステップ画像は、関係する画像とほぼ同等のサイズである必要はない（例えば、ステップ画像１は元の画像とほぼ同等のサイズである必要はなく、ステップ画像２は第１の中間矩形（Ｒｉ）１１０６とほぼ同等のサイズである必要はなく、またステップ画像３は第２の中間矩形（Ｒｊ）１１０８とほぼ同等のサイズである必要はない）。

図１２を参照すると、動作矩形とステップ画像のサイズが示されている。ステップ画像を用いることで、画像フレームのサイズを大幅に削減することができる。例えば、ソース画像のサイズが２５６０×１９２０で、フル画像から３２０×２４０サイズの矩形へのズームイン動作を考える。ビデオサイズは３２０×２４０であり、ビデオフレームを生成し忠実度を維持するためにフルソース画像が格納される。一方、６つのステップとステップ画像を使用する場合は、ビデオサイズが３２０×２４０であり、各ステップ画像が４５２×３３９画素であるとする。２５６０×１９２０画素サイズの画像を格納する（結局、格納する情報は、ほぼ２５６０×１９２０画素になる）ことと比べて、４５２×３３９画素サイズの６ステップの画像情報が格納され、６×４５２×３３９画素が格納されることになる。ステップ画像を使用することにより、ビデオ格納容量の改善は５倍を超えることになる。

図１３には、ステップ画像を使用するソース画像上でパン動作を適用する画像ベースビデオが示されている。画像１３０２は、開始動作矩形１３０４から終了動作矩形１３０６にパンされる。前の例と同様に、この動作はビデオのｎフレームの期間にわたって行われる。開始動作矩形１３０４から終了動作矩形１３０６への動作は、２ステップに分解される。この場合、第１の中間矩形（Ｒｉ）１３０８は、０＜ｉ＜ｎを満たすフレームｉの中間位置にある。

第１ステージの動作は、開始動作矩形１３０４から第１の中間矩形１３０８までの動作である。画像の、破線で示された矩形部分は、開始動作矩形１３０４から第１の中間矩形（Ｒｉ）１３０８までの動作の間の、ビデオの各フレームがその部分から生成できるように計算される。この矩形は、矩形１３０４と１３０８の和集合になる。したがって、画像の関連する部分は、このステージの動作に対する各フレームを生成するように格納される。さらに、この和集合矩形は、縮小された矩形１３０４と１３０８の解像度が出力ビデオの解像度とほぼ同等になるように縮小される。この縮小された和集合矩形部分がステップ画像１である。

第２ステージの動作は、第１の中間矩形（Ｒｉ）１３０８から終了動作矩形１３０６までの動作で構成される。同様に、図１３の破線で示された矩形部分は、この動作の間のビデオの各フレームが生成できるように計算される。この矩形は１３０８と１３０６の和集合矩形になる。その部分の画像を格納した後、第１の中間矩形（Ｒｉ）１３０８と終了動作矩形１３０６に対応する部分が出力ビデオと同じ解像度になるように縮小が使用される。この縮小された和集合矩形がステップ画像２である。ステップ画像１とステップ画像２を格納することで、画像ベースビデオ内の記憶量を削減しながら、忠実度を失うことがない可能な最小のサイズが提供されることを理解されたい。

図１４を参照すると、ステップ画像の例示的な計算が示されている。ステップ画像のサイズと数を計算した後で、各ステップごとのソース画像からステップ画像を生成することができる。このステップの開始動作矩形および終了動作矩形、ＲｉｓおよびＲｉｅがそれぞれ計算される。Ｒｉｓは、このステップにおけるビデオの最初のフレームを生成するために使用される画像の部分を表し、Ｒｉｅは、このステップにおけるビデオの最後のフレームを生成するために使用される画像の部分を表す。矩形ＲｉｓとＲｉｅの和集合はＲｕとして定義できる。Ｒｕは所定のスケールファクタに従って縮小することができる。縮小した後で、縮小された画像内の開始および終了動作矩形、ＲｉｓｓおよびＲｉｅｓが計算される。ソース画像内のステップ画像と和集合矩形Ｒｕの間の変換Ｔが最初に計算されることを理解されたい。さらに、このＴを使用して、ステップ画像内の開始および終了矩形の対応する位置を計算することができる。

本発明の様々な態様を実装するための追加のコンテクストを提供するために、図１５〜１６および以下の説明は、本発明を実装することができる適切なコンピュータ環境についての簡潔で一般的な説明を提供することを意図したものである。本発明を、ローカルコンピュータおよび／またはリモートコンピュータ上で動作するコンピュータプログラムのコンピュータ実行可能な命令の一般的なコンテクストでここまで説明してきたが、当業者ならば、本発明を他のプログラムモジュールと組み合わせて実装できることを理解されよう。一般に、プログラムモジュールには、特定のタスクを実行しかつ／または特定の抽象データ型を実装する、ルーチン、プログラム、コンポーネント、データ構造などが含まれる。

さらに当業者ならば、本発明の方法が他のコンピュータシステム構成と共に実施できることも理解されよう。他のコンピュータシステム構成には、シングルプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、ならびにパーソナルコンピュータ、ハンドヘルドコンピュータ装置、マイクロプロセッサベースおよび／またはプログラマブル家電などが含まれ、その各々は、１つまたは複数の関連する装置と動作可能に通信することができる。本発明についての例示の態様は、分散コンピュータ環境でも実施することができる。分散コンピュータ環境では、いくつかのタスクは、通信ネットワークによってリンクされたリモート処理装置によって実行される。一方、本発明の、すべてではないが、いくつかの態様は、スタンドアローンコンピュータ上で実施することができる。分散コンピュータ環境においては、各プログラムモジュールは、ローカルおよび／またはリモートのメモリ記憶装置に配置することができる。

図１５は、本発明が対話できるサンプルとしてのコンピュータ環境１５００の概略構成図である。システム１５００は、１つまたは複数のクライアント１５１０を含む。クライアント１５１０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピュータ装置など）であってもよい。システム１５００はまた、１つまたは複数のサーバ１５２０を含む。サーバ１５２０は、ハードウェアおよび／またはソフトウェア（例えば、スレッド、プロセス、コンピュータ装置など）であってもよい。サーバ１５２０は、例えば、本発明を使用して変換を実行するためのスレッドを格納することができる。

クライアント１５１０とサーバ１５２０の間の１つの可能な通信は、２つ以上のコンピュータプロセス間で送信するようになされたデータパケットの形であってもよい。システム１５００は、クライアント１５１０とサーバ１５２０の間の通信を実行するために使用できる通信フレームワーク１５４０を含む。クライアント１５１０は、クライアント１５１０のローカルに情報を格納するために使用できる１つまたは複数のクライアントデータストア１５５０に動作可能に接続されている。同様に、サーバ１５２０は、サーバ１５２０のローカルに情報を格納するために使用できる１つまたは複数のサーバデータストア１５３０に動作可能に接続されている。

図１６を参照すると、本発明の様々な態様を実装するための例示的環境１６００は、コンピュータ１６１２を含んでいる。コンピュータ１６１２は、処理ユニット１６１４、システムメモリ１６１６、およびシステムバス１６１８を含む。システムバス１６１８は、これに限られるわけではないが、システムメモリ１６１６などの各システムコンポーネントを処理ユニット１６１４に結合する。処理ユニット１６１４は、様々な市販のプロセッサのいずれかであってもよい。処理ユニット１６１４として、デュアルマイクロプロセッサや他のマルチプロセッサアーキテクチャを使用することもできる。

システムバス１６１８には、様々な使用可能なバスアーキテクチャのいずれかを使用する、メモリバスもしくはメモリコントローラ、ペリフェラルバスもしくは外部バス、および／またはローカルバスなど、いくつかの種類のバス構造のいずれかを使用することができる。このようなバスアーキテクチャには、これに限られるものではないが、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＥＩＳＡ（Ｅｘｔｅｎｄｅｄ ＩＳＡ）、ＩＤＥ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）、ＶＬＢ（ＶＥＳＡ Ｌｏｃａｌ Ｂｕｓ）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）、カードバス、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＡＧＰ（Ａｄｖａｎｃｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ ｂｕｓ）、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅ）、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｆａｃｅ）などが含まれる。

システムメモリ１６１６は、揮発性メモリ１６２０および不揮発性メモリ１６２２を含む。基本入／出力システム（ＢＩＯＳ）は、例えば起動時などに、コンピュータ１６１２内の各要素間の情報を転送する基本ルーチンを含み、不揮発性メモリ１６２２に格納されている。制限の意味ではなく例として、不揮発性メモリ１６２２には、ＲＯＭ（読出し専用メモリ）、ＰＲＯＭ（プログラム可能ＲＯＭ）、ＥＰＲＯＭ（電気的プログラム可能ＲＯＭ）、フラッシュメモリなどが含まれる。揮発性メモリ１６２０には、外部キャッシュメモリとして機能するＲＡＭ（ランダムアクセスメモリ）が含まれる。ＲＡＭは、制限の意味ではなく例として、ＳＲＡＭ（シンクロナスＲＡＭ）、ＤＲＡＭ（ダイナミックＲＡＭ）、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、ＤＤＲ ＳＤＲＡＭ（ダブルデータレート方式ＳＤＲＡＭ）、ＥＳＤＲＡＭ（拡張ＳＤＲＡＭ）、ＳＬＤＲＡＭ（同期リンクＤＲＡＭ）、ＤＲＲＡＭ（ダイレクトラムバスＲＡＭ）など様々な形で使用可能である。

コンピュータ１６１２は、リムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体を含む。図１６には、例として、ディスク記憶装置１６２４が含まれる。ディスク記憶装置１６２４には、これに限られるものではないが、磁気ディスクドライブ、フロッピディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ−１００ドライブ、フラッシュメモリカード、メモリスティックなどが含まれる。さらに、ディスク記憶装置１６２４には、他の記憶媒体と独立にまたは他の記憶媒体と組み合わせて、これに限られるものではないが、光ディスクドライブなどの記憶媒体を含めることができる。光ディスクドライブには、ＣＤ−ＲＯＭ（コンパクトディスクＲＯＭ）装置、ＣＤ−Ｒドライブ（書込み可能ＣＤドライブ）、ＣＤ−ＲＷドライブ（再書込み可能ＣＤドライブ）、またはＤＶＤ−ＲＯＭ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ ＲＯＭ）ドライブなどが含まれる。ディスク記憶装置１６２４をシステムバス１６１８に接続するためには、一般に、リムーバブルまたは非リムーバブルのインターフェース、例えばインターフェース１６２６などが使用される。

図１６が、ユーザと、適切な動作環境１６００に記載の基本コンピュータリソースとの間の仲介機能を果たすソフトウェアを説明していることを理解されたい。この様なソフトウェアにはオペレーティングシステム１６２８が含まれる。オペレーティングシステム１６２８は、コンピュータシステム１６１２のリソースを制御し割り振る機能を果たすものであり、ディスク記憶装置１６２４に格納することができる。システムアプリケーション１６３０は、システムメモリ１６１６またはディスク記憶装置１６２４に格納されたプログラムモジュール１６３２およびプログラムデータ１６３４を通して、オペレーティングシステムによるリソース管理を利用する。本発明が、様々なオペレーティングシステムまたはオペレーティングシステムの組合せと共に実装できることを理解されたい。

ユーザは、入力装置１６３６を通してコンピュータ１６１２に命令および情報を入力する。入力装置１６３６には、これに限られるわけではないが、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが含まれる。これらおよび他の入力装置は、インターフェースポート１６３８を経由してシステムバス１６１８を介して処理ユニット１６１４に接続される。インターフェースポート１６３８には、例えば、シリアルポート、パラレルポート、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）などが含まれる。出力装置１６４０は、入力装置１６３６と同種のポートのいくつかを使用する。したがって、例えば、ＵＳＢポートは、入力をコンピュータ１６１２に提供するため、およびコンピュータ１６１２から出力装置１６４０に情報を出力するために使用することができる。出力アダプタ１６４２は、出力装置１６４０の中にモニタ、スピーカ、プリンタなど特別のアダプタを必要とするものが存在することを示すために提供される。出力アダプタ１６４２には、制限の意味ではなく例示として、出力装置１６４０とシステムバス１６１８の間の接続手段を提供するビデオおよびサウンドカードなどが含まれる。リモートコンピュータ１６４４など他の装置および／または装置からなるシステムも、入力および出力の両方の機能を提供することに留意されたい。

コンピュータ１６１２は、リモートコンピュータ１６４４など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することができる。リモートコンピュータ１６４４は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置または共通ネットワークノード、などであってもよく、通常は、コンピュータ１６１２に関して説明した要素の多くまたはすべてを含む。簡潔に示すために、リモートコンピュータ１６４４にはメモリ記憶装置１６４６だけが示されている。リモートコンピュータ１６４４は、ネットワークインターフェース１６４８を介してコンピュータ１６１２と論理的に接続され、次いで通信接続１６５０を介して物理的に接続される。ネットワークインターフェース１６４８は、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）など、有線および／または無線通信ネットワークに対応する。ＬＡＮ技術には、ＦＤＤＩ（光ファイバ分散データインターフェース）、ＣＤＤＩ（銅線分散データインターフェース）、イーサネット（登録商標）、トークンリングなどが含まれる。ＷＡＮ技術には、これに限られるものではないが、ポイントツーポイントリンク、ＩＳＤＮ（統合サービスデジタルネットワーク）などの回線交換ネットワークおよびその変形物、パケット交換ネットワーク、ＤＳＬ（デジタル加入者回線）などが含まれる。

通信接続１６５０は、ネットワークインターフェース１６４８をバス１６１８に接続するために使用されるハードウェア／ソフトウェアを意味する。通信接続１６５０は、説明をわかりやすくするためにコンピュータ１６１２に内蔵されるように示されているが、コンピュータ１６１２の外付けにすることもできる。ネットワークインターフェース１６４８への接続に必要なハードウェア／ソフトウェアには、例示の意味で、標準電話用モデム、ケーブルモデム、ＤＳＬモデムなどのモデム、ＩＳＤＮアダプタ、イーサネット（登録商標）カードなど、内蔵および外付けの技術が含まれる。

上記説明は、本発明のいくつかの例に過ぎない。もちろん、本発明を説明するために、コンポーネントや方法についての考えられるあらゆる組合せを説明することは不可能であるが、当業者ならば、本発明に関して他の多くの組合せおよび置換えが可能であることを理解できよう。したがって本発明は、添付の特許請求の範囲の趣旨および範囲に含まれるようなあらゆる代替形態、修正形態、および変更形態を包含することを意図したものである。

詳細には、上述のコンポーネント、装置、回路、システムなどによって実行される様々な機能に関して、それらのコンポーネントを説明するために使用される（「手段」への参照も含む）用語は、特に指示した場合を除き、開示の構造とは構造的に等価でない場合でも、本明細書で説明した本発明の例示的態様の諸機能を実行する記載のコンポーネントの指定された機能を実行する任意のコンポーネント（例えば、機能等価物）に対応していることが意図される。その際、本発明が、システム、ならびに本発明の様々な方法についての動作および／またはイベントを実行するためのコンピュータ実行可能な命令を有するコンピュータ可読の媒体を含むことも理解されたい。

さらに、本発明の個々の機能は、いくつかの実装のうちのただ１つの実装に関して開示されている場合でも、その機能を、任意の所与のまたは特定のアプリケーションの必要に応じて、またそのアプリケーションに有利になるように、他の実装における１つまたは複数の他の機能と組み合わせることができる。また、「含む（ｉｎｃｌｕｄｅｓ）」および「含む（ｉｎｃｌｕｄｉｎｇ）」という用語、ならびにその変形が詳細な説明および特許請求の範囲で使用される限り、これらの用語は、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語と同様に包含的（ｉｎｃｌｕｓｉｖｅ）であることが意図される。

本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムの構成図である。 従来の画像ベースビデオシステムを示す図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムの構成図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムの構成図である。 本発明の一態様による、画像ベースビデオの格納を実行するために使用されるグラフを示す図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムの構成図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムの構成図である。 本発明の一態様による、画像ベースビデオの格納を実行するステップ画像技術を使用する一例示的方法を示す図である。 本発明の一態様による、画像ベースビデオの格納を実行するステップ画像技術を使用する一例示的方法を示す図である。 本発明の一態様による、画像ベースビデオの格納を実行するステップ画像技術を使用する一例示的方法を示す図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムを示す図である。 本発明の一態様による、動作矩形とステップ画像のサイズを含む表を示す図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムを示す図である。 本発明の一態様による、画像ベースビデオの格納を実行する一例示的システムを示す図である。 本発明の新規の諸態様を使用することができる一例示的ネットワーク環境を示す図である。 本発明の新規の諸態様を使用することができる一例示的動作環境を示す図である。

符号の説明

１５１０ クライアント
１５２０ サーバ
１５３０ サーバデータストア
１５４０ 通信フレームワーク
１５５０ クライアントデータストア
１６１４ 処理ユニット
１６１６ システムメモリ
１６１８ バス
１６２０ 揮発性
１６２２ 不揮発性
１６２４ ディスク記憶装置
１６２６ インターフェース
１６２８ オペレーティングシステム
１６３０ アプリケーション
１６３２ モジュール
１６３４ データ
１６３６ 入力装置
１６３８ インターフェースポート
１６４０ 出力装置
１６４２ 出力アダプタ
１６４４ リモートコンピュータ
１６４６ メモリ記憶装置
１６４８ ネットワークインターフェース

Claims (34)

1. ビデオの格納を実行するシステムであって、
   動作パラメータおよびコンピュータ環境パラメータを受信するコンポーネントと、
   前記動作パラメータおよび前記コンピュータ環境パラメータに基づいて最大ステップ画像サイズおよびステップ画像数を決定し、対応するステップ画像を生成して、ソース画像の代わりにステップ画像を使用してもなお十分な忠実度を維持して前記ビデオを描画できるようにするステップ画像コンポーネントと
   を含むことを特徴とするシステム。
2. 前記動作パラメータは、ソース画像、ズームイン、ズームアウト、水平パン、垂直パン、パンズームのうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。
3. 前記コンピュータ環境パラメータは、プロセッサ速度、メモリ容量、フレームレート、ビデオ表示のうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。
4. 前記ステップ画像が符号化されることを特徴とする請求項１に記載のシステム。
5. 動作のビデオ視覚認知を緩和する動作制御コンポーネントをさらに含むことを特徴とする請求項１に記載のシステム。
6. 非線系絶対動作を使用することを特徴とする請求項５に記載の動作制御コンポーネント。
7. Ｗ＝ａ（ｔ−ｂ）^２＋ｃ
   の形の２次方程式であって、Ｗは動作矩形の幅であり、ｔは時間であり、ａ、ｂ、ｃは定数である２次方程式を使用して前記非線系絶対動作を計算することを特徴とする請求項６に記載の動作制御装置。
8. ステップ画像の符号化を実行するエンコーダコンポーネントをさらに含むことを特徴とする請求項１に記載のシステム。
9. 前記エンコーダコンポーネントは、現在のフレームに関して、デコーダによってキャッシュされる適切な画像、およびどの画像が捨てられるかを決定し、遷移の方向を新しく符号化されたソース画像に向けて設定し、そのソース画像をデコーダが使用することを特徴とする請求項８に記載のシステム。
10. 前記エンコーダコンポーネントは、ソース画像からのビデオフレームの最初の生成に基づいて順に画像を符号化し、新しく符号化されたソース画像に遷移の方向を設定し、そのソース画像をデコーダが使用することを特徴とする請求項８に記載のシステム。
11. 少なくとも一部は履歴データに基づいて、最大ステップ画像サイズとステップ画像の数の少なくとも一方を推論する人工知能コンポーネントをさらに含むことを特徴とする請求項１に記載のシステム。
12. ビデオの格納を実行するシステムであって、
    ソース画像および動作要求に関するステップ特性を決定するアナライザコンポーネントと、
    少なくとも一部は前記ステップ特性に基づいてステップ画像を生成するステップ画像生成コンポーネントと
    を含むことを特徴とするシステム。
13. 前記ステップ特性は、最大ステップ画像サイズとステップ画像の数の少なくとも一方であることを特徴とする請求項１２に記載のシステム。
14. 前記最大ステップ画像サイズが、少なくとも一部は所望のビデオフレームレートとプロセッサ性能に基づいた閾値として定義されることを特徴とする請求項１３に記載のシステム。
15. 前記動作要求がズームインであることを特徴とする請求項１４に記載のシステム。
16. 前記アナライザコンポーネントは、
    

    

    によってステップ画像の数を決定し、ここでｎ_ｚはズームインについてのステップ画像の数であり、
    

    

    は動作矩形Ｒ１の幅であり、
    

    

    は動作矩形Ｒ２の幅であり、ｓ_ｚは
    

    

    によって定義されるズーム動作のステップファクタであり、ここで
    

    

    はステップ画像の最大幅であり、ｗ_ｖはビデオの幅であることを特徴とする請求項１５に記載のシステム。
17. 前記動作要求がズームアウトであることを特徴とする請求項１４に記載のシステム。
18. 前記アナライザコンポーネントは、
    

    

    によってステップ画像の数を決定し、ここでｎ_ｚはズームアウトについてのステップ画像の数であり、
    

    

    は動作矩形Ｒ１の幅であり、
    

    

    は動作矩形Ｒ２の幅であり、ｓ_ｚは
    

    

    によって定義されるズーム動作のステップファクタであり、ここで
    

    

    はステップ画像の最大幅であり、ｗ_ｖはビデオの幅であることを特徴とする請求項１７に記載のシステム。
19. 前記動作要求は水平パンであることを特徴とする請求項１４に記載のシステム。
20. 前記アナライザコンポーネントは、
    

    

    によってステップ画像の数を決定し、ここでｎ_ｐは水平パンについてのステップ画像の数であり、
    

    

    は動作矩形Ｒ２の左上隅のＸ座標であり、
    

    

    は動作矩形Ｒ１の左上隅のＸ座標であり、ｓ_ｐは
    

    

    で定義されるパン動作のステップファクタであり、ここで
    

    

    はステップ画像の最大幅であり、ｗ_ｖはビデオの幅であることを特徴とする請求項１９に記載のシステム。
21. 前記動作要求は垂直パンであることを特徴とする請求項１４に記載のシステム。
22. 前記アナライザコンポーネントは、
    

    

    によってステップ画像の数を決定し、ここでｎ_ｐは垂直パンに対するステップ画像の数であり、
    

    

    は動作矩形Ｒ２の左上隅のＹ座標であり、
    

    

    は動作矩形Ｒ１の左上隅のＴ座標であり、ｓ_ｐは
    

    

    で定義されるパン動作のステップファクタであり、ここで
    

    

    はステップ画像の最大幅であり、ｗ_ｖはビデオの幅であることを特徴とする請求項２１に記載のシステム。
23. 前記動作要求はパンズームであることを特徴とする請求項１４に記載のシステム。
24. 前記アナライザコンポーネントは、ｎ＝ｍａｘ（ｎ_ｚ，ｎ_ｐ）によってステップ画像の数を決定し、
    上式で、ｎはパンズームに対するステップの数であり、ｎ_ｚはズーム動作に対するステップの数であり、ｎ_ｐはパン動作に対するステップの数であることを特徴とする請求項２３に記載のシステム。
25. ビデオの格納を実行するコンピュータ実装される方法であって、
    受信したソース画像および動作要求についてのステップ特性を決定するステップと、
    少なくとも一部は前記ステップ特性に基づいてステップ画像を生成するステップと
    を含むことを特徴とする方法。
26. 前記動作要求は、ズームイン、ズームアウト、垂直パン、水平パン、パンズームのうちの少なくとも１つを含むことを特徴とする請求項２５に記載の方法。
27. 前記ステップ特性は、最大ステップ画像サイズとステップ画像の数の少なくとも一方を含むことを特徴とする請求項２５に記載の方法。
28. 前記最大ステップ画像サイズが、少なくとも一部はフレームレートとプロセッサ性能に基づいた閾値として定義されることを特徴とする請求項２７に記載の方法。
29. 少なくとも一部は前記動作要求に基づいて動作制御を適用するステップと、
    前記ステップ画像を符号化するステップと
    をさらに含むことを特徴とする請求項２５に記載の方法。
30. ビデオの格納を実行するコンピュータ実装される方法であって、
    動作要求を分析するステップと、
    最大ステップ画像サイズおよびステップ画像の数を決定するステップと、
    開始動作矩形および終了動作矩形を計算するステップと、
    開始および終了動作矩形の和集合を得るステップと、
    スケールファクタを計算するステップと、
    開始および終了動作矩形の前記和集合をスケール変更してステップ画像を生成するステップと、
    前記ステップ画像内の開始および終了動作矩形を計算するステップと
    を含むことを特徴とする方法。
31. 画像ベースビデオの格納を実行する２つ以上のコンピュータコンポーネント間で送信されるデータパケットであって、
    少なくとも一部は動作パラメータとコンピュータ環境パラメータに基づいたステップ特性を含むことを特徴とするデータパケット。
32. ビデオの格納を実行するコンピュータ実行可能なコンポーネントを格納するコンピュータ可読の媒体であって、
    動作パラメータおよびコンピュータ環境パラメータの少なくとも一方を受信するコンポーネントと、
    少なくとも一部は前記動作パラメータおよび前記コンピュータ環境パラメータに基づいてステップ特性を決定し、ステップ画像を生成するステップ画像コンポーネントと
    を含むことを特徴とするコンピュータ可読の媒体。
33. ビデオ視覚認知を緩和する動作制御コンポーネントと、
    前記ステップ画像を符号化するエンコーダコンポーネントと
    をさらに含むことを特徴とする請求項３２に記載のコンピュータ可読の媒体。
34. ビデオの格納を実行するコンピュータ実装されるシステムであって、
    動作パラメータおよびソース画像を受信する手段と、
    ステップ特性を決定する手段と、
    少なくとも一部は前記ステップ特性と前記動作パラメータに基づいてステップ画像を生成する手段と、
    前記ステップ画像を符号化する手段と
    を含むことを特徴とするシステム。
    

Images