JP2006507728A - 残りのバッテリー容量に基づくスケーラブルなビデオ圧縮 - Google Patents

Abstract

モバイルの記録装置によりストリーミングデータの記録を制御する方法及び装置が開示されている。ストリーミングデータの入力信号が入力され、このストリーミングデータの信号は、スケーラブルな符号化器を用いて、スケーラブルな方法で圧縮され、レイヤ符号化されたストリーミングデータストリームを作成する。レイヤ符号化されたストリーミングデータストリームの記憶は、記憶装置において、第１のビットレートで始められる。前記装置に対する残りのバッテリー寿命はこの第１のビットレートで決められる。このビットレートは、前記装置の残りのバッテリー寿命を長くするために、前記レイヤ符号化されたストリーミングデータのストリームの少なくとも１つの記憶を止めることにより第２のビットレートに減少する。

Description

本発明はビデオ圧縮に関する。

ビデオがあるストリームにおいて様々な解像度及び／又は品質で利用可能である場合、多くのビデオアプリケーションが使用可能となる。これを達成するための方法は漠然と、スケーラビリティ技術と呼ばれている。スケーラビリティを実施するための３つの軸がある。第１の軸は、時間軸におけるスケーラビリティであり、しばしば時間スケーラビリティと呼ばれる。第２の軸は、品質軸（量子化）におけるスケーラビリティであり、しばしばＳＮＲ(signal-to-noise)スケーラビリティ又は微細粒子(fine-grain)スケーラビリティと呼ばれる。第３の軸は、解像度軸（画像内のピクセル数）であり、しばしば空間スケーラビリティと呼ばれる。レイヤ符号化において、ビットストリームは２つ以上のビットストリーム、又はレイヤに分割される。各レイヤは結合されることができ、１つの高い品質の信号を作成する。例えば、ベースレイヤは低い品質のビデオ信号を供給する一方、エンハンスメントレイヤは、ベースレイヤの画像を向上させることができる追加の情報を供給する。ビデオソース素材をレイヤ方式で圧縮することにより、１つ以上のレイヤが処分される、故にビットレートを下げる一方、依然としてビデオは表されることができるが、低い品質レベルである。

伸縮性記憶(elastic storage)に対するビットレートスケーラブル圧縮が提案されていた。伸縮性記憶の原理は、国際特許公開番号WO01/69939-A1に記載されている。この伸縮性記憶の原理によれば、記憶されるデジタルデータ項目は最初に、減少した有意さからなる連続するデータ片に分解される。それ故に、これらデータ片は、これらデータ片全てを収容するのに十分な空間がある場合、メモリに記憶される。前記メモリが十分な空間を持たない場合、最も低い有意さを持つ様々な項目からのデータ片を前記メモリから削除することにより空間が作成される。これにより開放された空間は、記憶されるデータ項目のデータ片を記憶するのに用いられる。好ましくは、補助メモリは、前記メモリに記憶されたデータ片全てのＩＤデータ、例えばファイル名及び有意さを記憶するのに用いられる。

上述されたように、伸縮性記憶は、利用可能な記憶量が、ある品質レベルである時間記録するのに必要とされる記憶量よりも少ない状態で使用されることができる。記録する時間を減少させ、それにより記録されるイベントの一部を欠損させるよりも、記録されるイベントの品質レベルが下げられ、故に前記イベントを記録するためにより多くの空間を作る。

モバイルのアプリケーションにおいて、例えばカムコーダの場合、ビデオ記録又は再生セッションのために残される利用可能なバッテリー電力が不十分であると推定される状態が生じる。例えば、ユーザがカムコーダで取り込みたいあるイベントがさらに３０分続くのに対し、バッテリーは１５分の電力しか利用可能ではないと示している。同様に、ポータブルビデオプレーヤで映画を観ている一方、その映画の終りを観るのに十分なバッテリー電力が利用可能でない。

本発明は、利用可能なバッテリーの寿命を増大させるために、記録中又は再生中にビットレートを減少させる必要があるときを判断する方法及び装置を提供することにより、上述される欠陥の少なくとも一部を克服する。本発明は、オーディオ及びビデオのようなデジタルデータの記録及び再生時に、バッテリーの電力消費がビットレートにより強く決められる洞察に基づいている。多くのアプリケーションにおいて、記憶機能が電力消費の大部分を担っていると予想される。これにより、残りのバッテリー寿命が不十分である場合、モバイルレコーダ／ビデオプレーヤによるデジタルデータの記録及び再生のビットレートを低くする方法及び装置の必要がある。

本発明のある実施例によれば、モバイルの記録装置によりストリーミングデータの記録を制御する方法及び装置が開示されている。ストリーミングデータの入力信号が入力され、このストリーミングデータ信号は、スケーラブル符号化器を用いて、スケーラブル方式で圧縮され、レイヤ符号化されたストリーミングデータストリームを作成する。このレイヤ符号化されたストリーミングデータストリームの記憶は、記憶装置において第１のビットレートで始まる。この装置の残りのバッテリー寿命はこの第１のビットレートで決められる。このビットレートは、この装置の残りのバッテリー寿命を長くするために、前記レイヤ符号化されたストリーミングデータストリームの少なくも１つを記憶することを止めることにより第２のビットレートに減少する。

本発明の他の実施例によれば、ベースレイヤ及び少なくとも１つのエンハンスメントレイヤを備えるレイヤ形式で記憶装置に記憶される記憶されたコンテンツをディスプレイに表示する方法及び装置が開示される。第１の品質レベルで表示されるコンテンツが選択される。この選択されたコンテンツの長さが次に決められる。前記装置の残りのバッテリー寿命が決められる。残りのバッテリー寿命が選択されたコンテンツの長さよりも少ない場合、前記表示されるコンテンツの品質レベルは低い品質レベルに変更される。

本発明のこれら及び他の態様は、以下に記載される実施例から明らかであり、これら実施例を参照して説明される。

記録中又は再生中におけるビットレートの減少がバッテリーの寿命を増大させ、それによりバッテリー寿命の不足という問題は解決する。原則的に、伸縮性記憶の場合と同じビットレートスケーラブルな圧縮技術が用いられる。以下に詳細に説明されるように、伸縮性記憶と、本発明の実施例の１つとの違いの１つは、ビットレートを減少させる判断基準に関する違いであり、この判断基準は残りの記憶容量ではなく、利用可能な電力／バッテリー寿命である。本発明によれば、電力管理ツールとしてのビットレートスケーラブルなビデオ圧縮は、伸縮性記憶の場合は記録中だけ利用可能である代わりに、記録中及び再生中の両方で利用可能である。本発明の実施例の例示的な説明がビデオデータを述べているのに対し、当業者は、本発明を例えばオーディオデータ、オーディオ／ビデオデータ、ビデオデータ等のストリーミングデータに適用し、本発明がそれらに限定されないと理解される。

基本的に、記録モード時、モバイルレコーダの利用可能なバッテリー寿命が必要とされる記録時間に対し不十分であると判断される場合、低い品質のビデオが記憶媒体に書き込まれる。再生中、電力消費を減少させるために、１つ以上の低い品質のレイヤだけが前記媒体から読み取られ、これによりビュー装置のバッテリー寿命を延長する。

本発明は、カムコーダ、ビデオプレーヤ等のバッテリーにより給電されるポータブルレコーダ／ビデオプレーヤに関する。光学ディスクドライブにレイヤ方式でビデオを圧縮することが可能である圧縮／伸張機能を備えるカムコーダの例示的な実施例が図１に説明される。つまり、カムコーダ１００は、符号化器１０２によりレイヤ符号化される入力ビデオストリームを入力する。これらレイヤ符号化されたストリームは光学ディスクドライブのような記憶装置１０４に記憶される。これら記憶されたレイヤ符号化されたストリームは、記憶装置１０４から読み出されることができ、復号されたビデオストリームをディスプレイ１０８に送る復号器１０６により復号される。符号化器１０２、記憶装置１０４、復号器１０６及び任意のディスプレイ１０８の動作は、制御器１１０により制御される。その上、ユーザは、ユーザインタフェース１１４を用いてカムコーダに情報を入力することが可能である。さらに、記載されるカムコーダの要素の各々は、バッテリー１１２により給電される。

図２は、カムコーダ１００に用いられる例示的な空間スケーラブルなビデオ符号化器１０２を説明するが、本発明はそれに限定されない。この例示的な実施例は単にベースレイヤと１つのエンハンスメントレイヤを持っているのに対し、当業者は、この符号化器が多数のエンハンスメントレイヤを持つことができ、本発明はそれに限定されないことを理解している。示される符号化システム１０２は、レイヤ圧縮を達成し、これにより、低い解像度のベースレイヤを供給するためにチャンネルの一部が用いられ、残りの部分はエッジエンハンスメント情報を送信するのに用いられる。これにより２つの信号は再結合され、システムを高い解像度にさせる。この高い解像度のビデオ入力はスプリッタ２０２により分割され、これによりデータがローパスフィルタ２０４と減算回路２０６とに送られる。このローパスフィルタ２０４は前記ビデオデータの解像度を減少させ、これが次にベース符号化器２０８に供給される。一般的に、ローパスフィルタ及び符号化器は、従来よく知られてあり、簡潔さを目的とするためにここでは詳細には説明されない。符号化器２０８は、ベースストリームが高精細(High-definition)とみなされる解像度を備えていなくても、放送、入力及び復号器を介してそのまま表示される低い解像度のベースストリームを供給する。

符号化器２０８の出力は、システム１０２内の復号器２１２にも送られる。そこから、復号された信号が補間及びアップサンプル(upsample)回路２１４に供給される。一般的に、この補間及びアップサンプル回路２１４は、復号されたビデオストリームからフィルタリング除去された解像度を復元し、高い解像度の入力と同じ解像度を持つビデオデータストリームを供給する。しかしながら、フィルタリング並びに符号化及び復号により生じる損失のために、復元されたストリームに情報の損失が存在する。この損失は、減算回路２０６において、元の変更されていない高い解像度のストリームから前記復元された高い解像度のストリームを取り去ることにより決められる。この減算回路の出力は、エンハンスメントストリームを出力するエンハンスメント符号化器２１６に与えられ、このエンハンスメントストリームは、ベースストリームと結合されるとき、本来の高い解像度の品質を備えたビデオとなる。

伸縮性記憶装置１０４は、符号化されたビデオストリームの各レイヤ、例えばそれぞれ図３に説明されるような、ベースレイヤ３０２、第１のエンハンスメントレイヤ３０４及び第２のエンハンスメントレイヤ３０６を記憶している。この実施例において、ベースレイヤのビデオストリームと、２つのエンハンスメントレイヤのビデオストリームとは、前記伸縮性記憶装置において別々に記憶されている。

カムコーダ１００の動作は、図４を参照して説明される。カムコーダ１００は、ステップ４０２において、記録を開始し、入力ビデオ信号を作成する。この入力ビデオ信号は次にステップ４０４において、符号化器１０２によりレイヤ方式で圧縮され、レイヤ符号化されたビデオストリームを作成する。レイヤ符号化されたビデオストリームが作成されるので、これらストリームはステップ４０６において伸縮性記憶装置１０４に別々に記憶される。異なるビデオストリーム、例えばベースレイヤとエンハンスメントレイヤとは、記憶装置１０４におけるブロックに記憶されると理解される。ベースレイヤだけを記憶している場合、Ｘmbpsのビットレートが用いられ、エンハンスメントレイヤも記憶される場合、ビットレートはＸ＋Ｙmbpsである。モード（Ｘmbps又はＸ＋Ｙmbps）に依存して、ステップ４０８において、カムコーダはまだ利用可能なバッテリーの寿命を示すことができる。バッテリーの寿命が不十分である場合、ステップ４１０において、エンハンスメントレイヤの少なくとも１つを記憶するのを止めることにより、ビットレートが減少する。高いビットレートモード（Ｘ＋Ｙ）から低いビットレートモード（Ｘ）への切り換えの選択は、手動又は自動のどちらかで行われる。自動的に行われる場合、ユーザは、ユーザインタフェース１１４を用いて、ユーザがまだ必要な最小の記録時間をカムコーダに前もって示しておく。記憶されているビデオストリームのビットレートを減少させるかの判断は、記録処理中のいつでも、又は記録を始める前でさえも行われることができる。加えて、この判断は記録処理中、何度でも再評価されることができる。

本発明の他の実施例によれば、モバイルの記録装置は、ビュー装置としても使用される。このビュー装置は様々なモバイルビデオプレーヤであることも可能であり、本発明はそれらに限定されない。ビデオを記録する代わりに、モバイルのビデオプレーヤは、例えばコンテンツプロバイダ又はサービスプロバイダにより既にレイヤ形式で符号化されたビデオストリームをダウンロード及び記憶してもよい。

ビュー装置の動作は図５を参照して説明される。最初に、ステップ５０２において、表示するための記憶されたビデオコンテンツが選択される。この状況において、ビューされるべきビデオ片の長さは、ステップ５０４で決められる。ステップ５０６において、前記ビデオが利用可能なバッテリーの寿命より長いと判断された場合、ステップ５０８においてビュー装置は低い品質モードに切り換わる。言い換えると、このビュー装置は、伸縮性記憶装置に記憶されるエンハンスメントレイヤの少なくとも１つの読み取り及び復号を止める。

再生中のこの切り換えが電力消費に効果的であるために、前記レイヤ形式は、高い品質のデータをスキップしている間、電力損失が最小となるようにする必要がある。これは様々なやり方で達成されることができる。最初に、ベースレイヤ及びエンハンスメントレイヤに属するデータのブロックが交互にディスクに書き込まれる。これらブロックは、例えばレーザ、サーボ及びチャンネルの電子機器のような記憶エンジンにおいて最も電力依存している回路のシャットダウンを可能にするのに十分な大きさである。第２に、エンハンスメントレイヤのデータは、ディスクの異なる位置にある別のファイルに書き込まれる。これは、この再生状態に対し最適な結果を与える。しかしながら、高い品質で記録及び再生している間、この機構は、前記システムが２つのファイル間に行わなければならない連続する切り換えのために、ドライブの性能にかなり悪い影響となる。第３に、ディスク上のベースレイヤブロックの始まりは、ディスクの整数の回転数に、先行するベースレイヤブロックの終りからの僅かなオフセットを加えて位置決めされる。このオフセットは、読み取りヘッドが次のベースレイヤブロックの始まりが位置特定されるトラックにジャンプするのに十分な時間であるように選択される。

本発明は、品質がスケーリングされる他の記憶装置のアプリケーション領域、例えばオーディオ及び静止画像における同等のアプリケーションであると理解される。記憶媒体はディスク及び固体メモリでもよい。テープに関しては、本発明は記録側でも働く。

本発明の別の実施例は、幾つかのステップのタイミングが本発明の全体的な動作に影響を及ぼすことなく交換され得るので、上述されるステップの正確な順序に制限されない。その上、「有する」という用語が他の要素及びステップを排除することではなく、単数形での表記が複数あることを排除することではなく、１つのプロセッサ又は他のユニットが、特許請求の範囲において述べた幾つかのユニット又は回路の機能を果たしてもよい。

本発明のある実施例によるモバイル記録装置のブロック図である。 本発明のある実施例による例示的な空間的にスケーラブルなビデオ符号化器のブロック図である。 本発明のある実施例による伸縮性記憶装置のブロック図である。 本発明のある実施例によるモバイル記録装置の記録動作を説明するフローチャートである。 本発明のある実施例によるビデオビュー装置の再生動作を説明するフローチャートである。

Claims (13)

1. モバイル記録装置により、ストリーミングデータのようなデータの記録を制御する方法において、
   −データ入力信号を入力するステップと、
   −スケーラブルな符号化されたデータストリームを作成するために、スケーラブルな符号化器を用いてスケーラブルな方式で前記データ信号を圧縮するステップと、
   −第１のビットレートで記憶装置に前記スケーラブルな符号化されたデータストリームの記憶を開始するステップと、
   −前記第１のビットレートでの前記装置に対する残りのバッテリー寿命を決めるステップと、
   −前記残りのバッテリー寿命に依存して、前記装置の前記残りのバッテリー寿命を長くするために、前記スケーラブルな符号化されたデータストリームの前記ビットレートを第２のビットレートに減少させるステップと、
   を有する方法。
2. 前記データはビデオデータ、オーディオデータ及びオーディオ／ビデオデータの少なくとも１つである請求項１に記載の方法。
3. 前記ユーザは前記ビットレートの減少を手動で選択する請求項１に記載の方法。
4. 必要とされる既定量の記録時間を選択するステップであり、前記残りのバッテリー寿命が前記既定量の記録時間よりも少ない場合、前記装置は自動的に低いビットレートに切り換わるステップをさらに有する請求項１に記載の方法。
5. 前記データ信号は、前記スケーラブルな符号化器を用いて、レイヤ方式で圧縮される請求項１に記載の方法。
6. スケーラブルな形式で記憶装置に記憶された記憶されるコンテンツをディスプレイに表示する方法において、前記方法は、
   −第１の品質レベルで表示されるコンテンツを選択するステップと、
   −選択された前記コンテンツの時間を決めるステップと、
   −前記装置に対する残りのバッテリー寿命を決めるステップと、
   −前記残りのバッテリー寿命が前記選択されたコンテンツの前記時間よりも少ない場合、表示される前記コンテンツの品質レベルを低い品質レベルに変更するステップと、
   を有する方法。
7. 前記コンテンツはビデオデータ、オーディオデータ及びオーディオ／ビデオデータの少なくとも１つである請求項６に記載の方法。
8. 前記記憶されたビデオコンテンツは、当該コンテンツを前記低い品質レベルで再生している間、エンハンスメントレイヤのデータをスキップする間の電力損失を最小にするように記憶される請求項６に記載の方法。
9. 前記ベースレイヤ及び少なくとも１つのエンハンスメントレイヤに属するデータのブロックは、前記記憶装置に交互に書き込まれる請求項８に記載の方法。
10. 前記少なくとも１つのエンハンスメントレイヤは、前記記憶装置の異なる位置にある別のファイルに書き込まれる請求項８による方法。
11. ベースレイヤのブロックは、記憶装置の既定回転数に、先行するベースレイヤのブロックの終りからの僅かなオフセットを加えて位置決めされる請求項８に記載の方法。
12. モバイル記録装置により、ストリーミングデータのようなデータの記録を制御する装置において、
    −データ入力信号を入力する手段と、
    −スケーラブルな符号化されたデータストリームを作成するために、スケーラブルな方式で前記データ信号を圧縮する符号化器と、
    −第１のビットストリームで前記スケーラブルな符号化されたデータストリームの記録を開始する記憶手段と、
    −前記第１のビットレートでの前記装置の残りのバッテリー寿命を決める手段と、
    −前記残りのバッテリー寿命に依存して、前記装置の残りのバッテリー寿命を長くするために、前記スケーラブルな符号化されたデータストリームの前記ビットレートを第２のビットレートに減少させる手段と、
    を有する装置。
13. スケーラブルな形式で記憶装置に記憶された記憶されるコンテンツをディスプレイに表示する装置において、
    −第１の品質レベルで表示されるコンテンツを選択する手段と、
    −前記選択されたコンテンツの時間を決める手段と、
    −前記装置の残りのバッテリー寿命を決める手段と、
    −前記残りのバッテリー寿命が前記選択されたコンテンツの時間よりも少ない場合、表示される前記コンテンツの前記品質レベルを低い品質レベルに変更する手段と、
    を有する装置。

Images