JP2018501693A - 動画像を作成するための方法 - Google Patents

Abstract

動画の一定の各画像がスケーラビリティ特性を有し，好ましくは，一定の画像のそれぞれは，少なくとも２つのレベル，すなわち，ディテールの少ない第１のレベルと，前のレベルに更なるディテールを提供する次の各レベルとして保存されることを特徴とする，マルチページ形式の動画のための方法。【選択図】図２

Description

発明の詳細な説明

本発明は，主にマルチページの動画像を有する動画の分野に関する。

マルチページ形式の動画像を有する，特に「Graphics Interchange Format」の略語GIFで知られている動画フォーマットが存在する。「GIF」形式の動画は，画像と映像の間の魅力的な中間物（intermediaire）を提案し，つまり，いくつかの連続する静止画像を別々に記憶して（このためにマルチページと呼ばれる），規則的な間隔で表示することができる。これによって，要求されるコンピュータ処理が映像の場合よりも大幅に少ない動画を提供することができる。これらの動画は，概して，各画像が通常規則的な間隔で再登場するような方法で周期的に再生される。

映像では，例えば，MPEGファミリのフォーマットなどにおける動き予測機能のおかげで，画像を別の画像に従って圧縮することができる。一方，マルチページ形式の動画の場合，各静止画像は，他の静止画像から独立しているが，これらのフォーマットは，画像が大きくなると，対応するメディアが重くなり，伝達及び共有が難しくなる，という短所を有する。よって，このような画像で構成される動画は，ウェブサイト上に掲載したり，モバイル機器に送信したりするときに，ロード又は表示に長時間を要する場合がある。

本発明の目的は，GIF形式の動画の利点を取り入れる一方で，より円滑かつ高速にダウンロード／アップロードできる動画を得ることができるプロセスを提案することである。

本発明によれば，このようなプロセスは，好ましくは全ての画像について，スケーラブルな静止画像，すなわちスケーラビリティ特性を有する画像を使用することを含み，各静止画像は，少なくとも２つのレベル，すなわち，ディテールの少ない第１のレベルと，前のレベルに更なるディテールを提供する次の各レベルとで保存されるべきである。ある利点として，画像を再生するために，好ましくは画像の第１のレベルを始めとして，あるレベルが，上位ランクのレベルよりも前に最初に読み出される。各画像について，前記画像に利用可能な全てのレベルに含まれるデータが解凍され表示されるか，又は，全ての画像に利用可能なレベルのみに対応するデータが解凍され表示されるか，又は，レベルの小グループに対応するデータのみが解凍され表示されるかして，少なくとも特定の画像表示解像度を実現することができる。

各画像について，前記メディアの読出し順序で，これらの各レベルを次のレベルよりも前に配置することが好ましい。動画のメディアは，前記メディアの読出し順序で，動画画像の再生が意図される順序に従って，好ましくは第１のレベルを始めとして，第１のランクの全てのレベル，次いで，そのすぐ上位のランクの全てのレベルを認識することができる。

上位ランクのデータを読み出す前に，前記画像のレベルに由来するデータに従って画像を再生し，次いで処理することができる。

要求される表示解像度を実現するために，処理される画像を再生前にサイズ変更することが好ましい。

静止画像をウェーブレット法によって予め圧縮することが好ましい。画像メディアがファイルとなることが好ましい。

本発明の一実施形態として，静止画像は，ウェーブレットによる変換方法を少なくとも１つを含む方法によって予め圧縮された。

本発明の一実施形態として，静止画像は，隣接する２つの画素間の少なくとも１つの差分を含む方法によって予め圧縮された。

本発明の一実施形態として，少なくとも１つの第１の静止画像は，第１の圧縮方法によって圧縮され，少なくとも第２の静止画像は，第２の圧縮方法によって圧縮された。

有利には，本発明によるプロセスは，各静止画像を解析して最適な圧縮方法を決定する段階を含む。

有利には，第１の圧縮方法は，ウェーブレットによる変換方法を少なくとも１つを含み，第２の圧縮方法は，隣接する画素間の少なくとも１つの差分を含む。

本発明の一実施形態として，解析段階は，コントラストレベルによって全ての画像をファイルし，最小コントラストの画像は，第１の方法によって圧縮され，最大コントラストの画像は，第２の方法によって圧縮される。

本発明は，本発明によるプロセスを実施するためのメディアにおいて，前記メディアの読出し順序で，好ましくは第１のレベルを始めとして，動画の画像の再生が意図される順序に従って第１のランクの全てのレベル，次いで，すぐ上位のランクの全てのレベルを含むという事実を特徴するメディアにも基づく。

本発明は，さらに，このような動画メディアから静止画像を選択するためのプロセスに基づき，あるランクのあるレベルが，上位ランクの画像を読み出さずに，又は読み出さず処理もせずに，メディアの画像プレビューを表示するために使用される。

本発明は，さらに，選択された静止画像のレベルから一定の画像メディアを作り出すという事実を特徴とするプロセスに基づく。

本発明は，マルチページ形式の動画を作成するコンピュータプログラムにおいて，動画メディアが，好ましくは全ての画像について，スケーラビリティ特性を有する静止画像を含むことを特徴とするコンピュータプログラムにも基づく。

スケーラビリティによって，使用する圧縮フォーマットのデータの一部のみによって画像プレビューを得ることができ，またデータを解凍するにつれて，レベルごとに，より正確な画像プレビューを得ることができる。このようなスケーラビリティは，すなわち，Jpeg2000フォーマット及びPGFフォーマットなどにおける単一の画像のために静的に使用される。GIFフォーマットによって，いくつかの画像を同一のメディアに記憶することができるが，スケーラブルではない。

「レベル」は，圧縮中に作り出され，前のレベルと組み合わされる一組の整合情報と呼ばれるものであり，決定された解像度で画像を解凍させることができる。有利には，このレベルは，このレベルについて全ての画像レイヤーを含む。例として，画像がYCbCr形式である場合に，レベルは，このレベルについて，Yレイヤー，Cbレイヤー及びCrレイヤーのデータを含むことが好ましい。よって，レベルに含まれ，前のレベルの情報と組み合わされた情報によって，要求される解像度で画像を解凍し，表示することができる。

以下では，添付図面を参照して，非限定的な例として，本発明を実行するいくつかの方法について説明する。

圧縮された静止画像のレベルを示すために，２次元で表した図を使用している。各矩形のサイズは，画像の解像度を表し，全てのレベルは，矩形によって表す解像度まで解凍される。 図１のモードに従って，各画像について３つの等価な解像度レベルを有する圧縮された５つの画像を含むマルチページ動画を示している。 本発明を実施するための第１のモードに従って，図２の動画データの構成を示しており，画像は，各画像内の連続するレベルによって１つずつ記憶される。 本発明を実施するための第２のモードに従って，図２の動画データの構成を示しており，全ての画像における同じランクのレベルは，第１のレベルから最後のレベルまで１つずつ記憶される。 図４の実施方法における本発明のプロセスに従って動画を表示するための可能な方法を１次元の表示によって示している。 図４の実施方法における本発明のプロセスに従って動画を表示するための可能な方法を２次元の表示によって示している。

図１は，予め圧縮された連続する３つのレベルＮ１〜Ｎ３のそれぞれを解凍する際に得られる解像度を示している。このように，ディテールの少ない単一のＮ１レベルを解凍することによって，Ｍ行列の左上隅を占める範囲の解像度などの解像度の画像が生成される。勿論，画像の表示解像度又はスクリーンサイズを実現するために，この部分的に解凍された画像をサイズ変更してもよい。データの第２のレベルＮ２を解凍し，第１のレベルＮ１と組み合わせることによって，ディテールの多い画像が生成され，その解像度は，Ｍ行列の左上部，並びにその下部及び右側に位置するＭ行列の中間範囲を占める範囲全体に等しくなる。最後に，全てのレベルＮ１，Ｎ２及びＮ３を解凍し，１つに組み合わせることによって，Ｍ行列の面と均衡する解像度の完全な画像が生成される。

図示する例では，
−第１のレベルＮ１は，Ｍ行列のサイズの１／１６をカバーし，つまり，第１のレベルＮ１のみを解凍した場合に，元の画像のサイズの１／１６を表す画像が得られ，
−第１及び第２のレベルＮ１及びＮ２のデータは，Ｍ行列のサイズの１／４をカバーし，つまり，２つの第１のレベルＮ１及びＮ２のみを解凍した場合に，元の画像のサイズの１／４を表す画像が得られ，
−第１，第２及び第３のレベルＮ１〜Ｎ３のデータは，Ｍ行列のサイズ全体をカバーし，つまり，３つのレベルＮ１〜Ｎ３を解凍した場合に，元の画像全体が得られる。

各レベルは，次のレベルよりも低い解像度の画像を表すデータを有する。各レベルは，それ自体のデータと共に前のレベルのデータを使用する。したがって，このような画像は，スケーラブルであり，スケーラビリティ特性を有し，つまり，あるレベルを，次のレベルを解凍しなくても，前のレベルの後に解凍することができる。

３つのレベルの解凍を待つよりも，第１のレベルを解凍して第１の画像プレビューを得る方が早く，第２のレベルを解凍してしまうと，第３のレベルを解凍している間に，改良された画像プレビューを得ることができ，このような画像のスケーラビリティ特性は，このように表される。

本発明によって，画像のスケーラビリティ特性をどのように使用するかについては，後で説明する。

図２は，図１の方法に従って圧縮された５つの画像Ｐ１〜Ｐ５のシーケンスを含むマルチページ動画Ａを３つのレベルＮ１〜Ｎ３で示している。説明では，動画Ａ中の各画像ＰｎのレベルＮｍをＰｎ：Ｎｍと記しており，この場合，選択肢１〜５及びｍの選択肢１〜３を有する。画像Ｐｎは，スケーラビリティを有するコード化された一組の画像，又はアプリケーションの要求のためにスケーラビリティを有するコード化又は記録された一組の画像である。例えば，これらは，画像ギャラリ中の一組のJPEG画像又はカメラ画像に由来してもよい。

次いで，画像の解凍及び表示を可能にする全てのデータを「メディア」と呼ぶ。これらのデータは，「ファイル」又は「画像ファイル」に含まれてもよい。これらは，電話又はデジタルカメラなどのモバイル機器のメモリに含まれてもよく，ネットワークプロトコルによって送信されてもよい。

図３は，本発明を実施するための第１のモードに従って，動画Ａに関するメディアＡＭのレイアウトを示している。メディアＡＭは，５つのページＡＭ１〜ＡＭ５で構成され，それぞれが，表示される順序で，それぞれの画像Ｐ１〜Ｐ５に対応する。各ＡＭｎページでは，データは，レベルＮ１〜Ｎ３の順序でファイルされ，それによって，画像Ｐｎの第１のレベルＰｎ：Ｎ１のデータが，第２のレベルＰｎ：Ｎ２のデータよりも前に配置され，第２のレベルＰｎ：Ｎ２のデータが，第３のレベルＰｎ：Ｎ３のデータよりも前に配置される。このように，各画像について，各レベルを次のレベルの前に読み出し，解凍することができる。

各ページについて，ＡＭｎは，動画のペースに対応する所与の表示時間に対応する。レベルによるこの表示によって，各画像について，必要とされる解像度のみを解凍し表示することができる。例えば，各画像のレベルＮ１及びＮ２の解凍が，動画が読み出される機器のスクリーンの解像度で各画像を表示するのに十分である場合に，データのこの表示によって，各画像のレベルＮ１及びＮ２のみを解凍し表示し，よって全てのレベルを完全に解凍する場合と比べてリソースを節約することができる。

本発明の第２の実施形態では，全レベルのデータは，図４に示すように，動画化された特定のメディアＡＧに再構成され，それによって，全ての第１のレベルＮ１が，画像Ｐｎの順序でメディアＡＧの最初にコピーされ，同じ順序で，第２のレベルＮ２，第３のレベルＮ３が続けてコピーされる。この配置では，全ての第１のレベルＰｎ：Ｎ１が，第２のレベルＰｎ：Ｎ２よりも前に読み出され，第２のレベルＰｎ：Ｎ２が，第３のレベルＰｎ：Ｎ３よりも前に読み出される。

この構成では，対応する第１のレベルＰ１：Ｎ１を読出し解凍してしまうと，第１の画像を表示することができ，同じように続けることができ，それによって，このような動画を見るいかなる人も，対応する画像を完全に解凍する必要がない。画像Ｐｎの再生を計画する度に，希望される場合には，この画像に利用可能な全てのデータを使用して画像を再生することができる。

結果として，いくつかの方法によって動画を再生することができ，つまり，配置される各画像について，この画像に利用可能な全てのレベルを解凍することができる。この読出し方法を図５及び図６に表している。図５に示す段階では，全ての第１のレベルＰｎ：Ｎ１，及び２つの第１の画像の第２のレベルＰ１：Ｎ２ Ｐ２：Ｎ２のみが，読出され解凍された。次いで，図６のように動画Ａを再生することができ，第１の画像Ｐ１及びＰ２の両方が，第２のレベルＮ２のディテールに対応するそれらの中間解像度で再生されるときに，次の画像Ｐ３〜Ｐ５は，それらの対応する第１のレベルＮ１のディテールに対応するそれらの最小解像度で再生される。

全ての画像に利用可能な最大解像度によって，画像を解凍することもできる。例えば，全ての画像ＰのレベルＮ１を利用可能であるが，Ｎ２レベルのうちの一部のみを利用可能である場合には，連続する２つの画像間の解像度に変化をもたらさないように，各画像についてレベルＮ１のみを解凍し表示することができる。このように，図５に示す場合では，全ての画像は，レベルＮ１の解像度によって再生される。

「有効な」解像度，すなわち，動画を再生する解像度と少なくとも同じ解像度が得られるまで，画像を解凍してもよい。

圧縮によって空間的なスケーラビリティが許容される瞬間から，様々な圧縮方法によってメディア中の画像を圧縮解凍することができ，その場合には，連続するレベルの情報を組み合わせて，より高い解像度の画像を得ることができる。

本発明の一実施形態として，ウェーブレット法によって少なくとも１つの画像Ｐｎを圧縮することができる。ウェーブレットに基づく圧縮方法は，写真などの「自然」画像を圧縮するのに特に効果的である。さらに，ウェーブレットに基づく方法によって圧縮された画像は，本発明によって，概して，メディアによって構成されるいくつかのレベルを有する。

本発明の第２の実施形態では，メディア中の少なくとも１つの画像が，隣接する画素間の差分値に基づく方法によって符号化される。隣接する画素間の差分に基づく圧縮方法は，概して，強く強調された合成画像を圧縮するのに特に効果的である。隣接する画素間の差分値に基づく方法によって圧縮された画像は，いくつかの連続するレベルを含んでもよく，これは，それらのレベルが，画像の画素サイズが増大する部分集合を表し，あるレベルの画素が，前のレベルの画素との差分に基づいて少なくとも部分的に符号化されるような場合である。図３及び図４によって説明する作成方法のうちの１つに従って構成できる，いくつかの連続するレベルがある。

第３の実施形態では，少なくとも２つの画像が，異なる２つの圧縮方法によって圧縮される。例えば，ウェーブレットによって変換された画像を含む圧縮方法によって，少なくとも１つの第１の画像を圧縮することができ，隣接する２つの画素間の差分を含む圧縮方法によって，少なくとも第２の画像を圧縮することができる。

この実施形態によって，画像形式に応じて可能となる最も効果的な圧縮を得ることができる。ウェーブレットによって変換された画像を含む方法によって，低コントラストの画像を符号化してもよく，隣接する２つの画素間の差分を含む方法によって，強調された画像を符号化してもよい。

本発明の一実施形態として，マルチページ動画を作り出すための方法は，最適な圧縮方法を適用するために画像形式を検出する段階を含む。

適切な方法によって各画像を復号可能にするために，本発明によるメディアは，各画像について，使用された圧縮方法を示す見出し情報を含んでもよい。

毎秒当り再生される画像の数を示す時間情報をメディアＡＭ，ＡＧと組み合わせてもよく，所与の時間情報に従って動画を再生してもよい。スローモーション効果又はスピードアップ効果を使用可能にするために，メディアを書き込み及び／又は読み出すときにメディアの表示レートを修正するように，手段及び段階を計画してもよく，あるいは，さらに，ユーザ又はアプリケーションが要求するときに，各画像の全体又は一部を復元することによってもよい。

動画化されたメディアＡＭ，ＡＧのデータに基づいて，画像Ｐｎに対応するデータを動画の画像から抽出することもできる。このように，画像のレベルＰｎ：Ｎ１，Ｐｎ：Ｎ２などを抽出し又は読み出し，再構成することによって，必要とされるものに応じて画像Ｐｎを静止画像として復元し，圧縮されたデータをそのままに保つことができる。

動画化されたメディアＡＧを，タイミングに基づいて動画の形式で再生するよりも，画像Ｐ１〜Ｐ５のフォルダとして使用してもよい。アイコンの形式で表示するために下位Ｎ１又は中位Ｎ２のレベルを使用してもよく，ユーザが画像Ｐ１〜Ｐ５から画像Ｐｎを選択すると，第３のレベルＰｎ：Ｎ３に対応する情報に基づいて，画像Ｐｎのみが，完全に読み出され解凍されて，最大解像度の静止画像として表示される。

本発明を実行すると，このようなメディアは，いくつかの静止画像を連続して撮影するために使用される。静止画カメラ若しくはフィルムカメラ，又は連続したスクリーンショットによって，このキャプチャを行ってもよい。キャプチャされた後に，画像は，いくつかのレベルに圧縮され記憶される。キャプチャが終了すると，ユーザは，記憶された画像から，動画像に変換したい画像を選択する。この選択は，全ての画像，２つの画像のうちの１つ，複数の画像の後半部などに関わってもよい。ユーザは，キャプチャ速度のみならず，スローモーション効果又はスピードアップ効果を作り出すように加減された速度にも対応し得る読出し速度を，このメディアと組み合わせる。アプリケーションは，圧縮された画像から，図４の動画化されたメディアＡＧなど，レベルによって構成された画像メディアを作り出す。

メディアから抽出された画像を，単一の静止画像を含むメディアの形式で別途に記憶してもよい。

もちろん，本発明は，これまで説明してきた例には限定されない。

このように，レベルの数は３つに限定されず，２つ若しくは４つ又は４つより多くてもよく，よって，本発明によるプロセスのおかげで，GIFで一般に使用される画像よりも段階的に大きなサイズの画像を，特にレベルの数を増やすことによって，高速に表示することができる。

したがって，本発明は，スケーラビリティによって動画像を圧縮解凍するためのプロセスを提案する。これらのプロセスによって，動画受信機は，必ずしも全てを受領していなくても，到達済みのデータにより動画を表示することができる。

Claims (19)

1. マルチページ形式の動画（Ａ）を作成するためのプロセスであって，動画メディア（ＡＭ，ＡＧ）は，好ましくは全ての画像について，スケーラビリティ特性を有する静止画像（Ｐｎ）を含み，各レベルが，前のレベルよりも高い解像度の情報を提供するプロセスにおいて，前記メディアの読出し順序で，好ましくは第１のレベル（Ｐｎ：Ｎ１）を始めとして，前記動画の前記画像（Ｐｎ）の再生が意図される順序に従う第１のランク（ｍ）の全ての前記レベル（Ｎｍ），次いで，すぐ上位のランクの全ての前記レベル（Ｎｍ_＋１）を含むことを特徴とするプロセス。
2. 前記スケーラビリティ特性を有する静止画像のそれぞれは，少なくとも２つのレベル（Ｎｍ）で記憶され，前記第１のレベル（Ｎ１）は，最少のディテールを含み，次の各レベル（Ｎｍ）が，前記前のレベル（Ｎｍ_−１）に追加されるディテールを提供することを特徴とする請求項１記載のプロセス。
3. 前記画像（Ｐｎ）を再生するために，好ましくは前記画像の前記第１のレベル（Ｐｎ：Ｎ１）を始めとして，あるレベル（Ｎｍ）が，上位のランクの前記レベル（Ｎｍ_＋１）よりも前に最初に再生されることを特徴とする請求項２記載のプロセス。
4. 前記各画像（Ｐｎ）について，前記画像（Ｐｎ）に利用可能な全ての前記レベルに含まれるデータが解凍され，表示されることを特徴とする請求項３記載のプロセス。
5. 全ての前記画像に利用可能な前記レベルのみに対応するデータが，解凍され表示されることを特徴とする請求項３記載のプロセス。
6. レベルの最小の組に対応するデータが，解凍され表示され，少なくとも所与の画像表示解像度を実現することができることを特徴とする請求項３記載のプロセス。
7. 前記上位のレベルランク（Ｐｎ：Ｎｍ_＋１）のデータが読み出される前に，画像（Ｐｎ）が，前記画像のレベル（Ｐｎ：Ｎｍ）に由来するデータに従って再生され，次いで処理されることを特徴とする請求項１〜６いずれか一項記載のプロセス。
8. 要求される前記画像表示解像度を実現するために，処理される前記画像が，再生前にサイズ変更されることを特徴とする請求項１〜７いずれか１項記載のプロセス。
9. 前記静止画像は，ウェーブレットによる変換方法を少なくとも１つを含む方法によって予め圧縮されたことを特徴とする請求項１〜８いずれか１項記載のプロセス。
10. 前記静止画像は，隣接する２つの画素間の少なくとも１つの差分を含む方法によって予め圧縮されたことを特徴とする請求項１〜８いずれか１項記載のプロセス。
11. 少なくとも１つの第１の静止画像が，第１の圧縮方法によって圧縮され，少なくとも第２の静止画像が，第２の圧縮方法によって圧縮されたことを特徴とする請求項１〜８いずれか１項記載のプロセス。
12. 最適な圧縮方法を決定するために，各静止画像の解析段階を含むことを特徴とする請求項１１記載のプロセス。
13. 前記第１の圧縮方法は，ウェーブレットによる変換方法を少なくとも１つを含み，前記第２の圧縮方法は，隣接する２つの画素間の少なくとも１つの差分を含むことを特徴とする請求項１１記載のプロセス。
14. 前記解析段階は，コントラストレベルによって前記画像をファイルし，最も少なく強調された画像が，前記第１の方法によって圧縮され，最も多く強調された画像が，前記第２の方法によって圧縮されることを特徴とする請求項１２又は１３記載のプロセス。
15. 前記画像メディアはファイルであることを特徴とする請求項１〜１４いずれか１項記載のプロセス。
16. 請求項１〜１５いずれか１項記載のプロセスを実施するためのメディア（ＡＧ）において，前記メディアの読出し順序で，好ましくは前記第１のレベル（Ｐｎ：Ｎ１）を始めとして，前記動画の画像（Ｐｎ）の再生が意図される順序に従った第１のランク（ｍ）の全ての前記レベル（Ｎｍ），次いで，すぐ上位の全ての前記レベル（Ｎｍ＋１）を含むことを特徴とするメディア。
17. 請求項１５記載の動画メディア（ＡＭ，ＡＧ）中の静止画像を選択するプロセスにおいて，ランク（ｍ）のレベルを使用して，上位のレベル（＞ｍ）の前記画像の読出し又は処理を行わずに前記メディア（ＡＧ）の画像プレビューを表示することを特徴とするプロセス。
18. 選択された前記静止画像のレベルから静止画像メディアを作り出すことを特徴とする請求項１２記載のプロセス。
19. マルチページ形式の動画（Ａ）を作成するコンピュータプログラムであって，前記動画メディア（ＡＭ，ＡＧ）は，好ましくは全ての画像について，スケーラビリティ特性を有する静止画像（Ｐｎ）を含み，各レベルが，前のレベルよりも高い解像度の情報を提供するコンピュータプログラムにおいて，前記メディアの読出し順序で，好ましくは前記第１のレベル（Ｐｎ：Ｎ１）を始めとして，前記動画の前記画像（Ｐｎ）の再生が意図される順序に従った第１のランク（ｍ）の全ての前記レベル（Ｎｍ），次いで，すぐ上位のランクの全ての前記レベル（Ｎｍ_＋１）を含むことを特徴とするコンピュータプログラム。
    
    

Images