JP2013543664A - 広色域動画を取り込むための方法およびシステム - Google Patents

Abstract

本発明の様態は、広色域動画の取り込み、符号化および復号のためのシステムおよび方法に関する。本発明の第１の様態に従って、複数の処理済画像フレームがレガシー・ビットストリームに関連付けられ、複数の未処理画像フレームが拡張ビットストリームに関連付けられる。

Description

本発明の実施形態は、一般に動画の取り込みと動画シーケンスの符号化および復号とに関し、特に、本発明のいくつかの実施形態は、広色域動画を取り込むため、および取り込まれた動画を符号化および復号するための方法およびシステムを備える。

これまで、標準色域および広色域画像データをともにデバイスに伝送する問題が考慮されてきた。最も単純な手法は、例えば米国特許出願公開第２０１０／０００８４２７Ａ１号に開示されるように、標準色域と広色域とを別に送信することである。しかしながら、これは広い伝送帯域幅を必要とする。改良は、米国特許出願公開第２０１０／００４６６１２Ａ１号に開示されるように、標準色域と、標準色域および広色域間の差とを送信することである。その結果、標準色域で動作するデバイスは、標準色域を受信する（復号する）ことができる。広色域で動作するデバイスは、標準色域と差情報とを受信する（復号する）ことができる。次に、色域と別情報とを加えることによって、標準色域と別情報とから広色域が生成される。

これまでの研究では、圧縮システムは、入力として広色域動画シーケンスを受け取る。続いて、圧縮システムは、標準色域動画シーケンスを生成する。次に、生成された（標準色域）信号の各フレームがデバイスへ送信される。次に、入力（広色域信号）および生成された（標準色域）動画シーケンスの各フレーム間の差がデバイスへ送信される。カメラは広色域信号を取り込む必要があるので、モバイルカメラではこれが問題を引き起こす。広色域信号を取り込むことは、カメラとホストプロセッサとの間でより多くのビットを伝送することを意味する。これは、より多くの電力を必要とする。

本発明は、動画シーケンスにおける各フレームに対して、標準色域信号もしくは広色域信号のみを送ることによってこの問題を解決する。広色域フレームの数は、標準色域フレームの数よりずっと少なく、結果として省電力になる。本発明を用いると、広色域信号から標準色域信号への変換がカメラモジュール上で可能になる。これも電力を低減する。

本発明のいくつかの実施形態は、広色域動画を取り込むため、および取り込まれた動画を符号化および復号するための方法およびシステムを備える。

好ましい実施形態は、画像シーケンスを取得するためのシステムであって、前記システムは、画像センサモジュール；およびホストプロセッサ；を備え、前記ホストプロセッサが前記画像センサモジュールから未処理画像フレームを要求したときに、前記画像センサモジュールは、未加工画像フレームを取得して；前記未加工画像フレームを前記ホストプロセッサへ伝送し；さもなければ、前記画像センサモジュールは、前記未加工画像フレームを取得し；前記未加工画像フレームをディスプレイ参照モデルフレームに変換して；
前記変換されたフレームを前記ホストプロセッサへ伝送する。

別の好ましい実施形態は、画像シーケンスを符号化するための方法であって、前記方法は、ホストプロセッサにおいて、画像センサモジュールから、第１の処理済画像フレームを受信することであって、前記第１の処理済画像フレームは、第１のディスプレイ参照モデルフレームに変換された第１の未加工画像フレームに対応する；前記ホストプロセッサから前記画像センサモジュールへ、未処理画像フレームに対する第１の要求を送信すること；前記ホストプロセッサにおいて前記画像センサモジュールから、第１の時刻に関連する第１の未処理画像フレームを受信すること；前記第１の処理済画像フレームに関連するレガシー・ビットストリームを形成すること；および前記第１の未処理画像フレームに関連する拡張ビットストリームを形成することを含む。

別の好ましい実施形態は、動画シーケンスを復号するための方法であって、前記方法は、デコーダにおいて、複数の処理済画像フレームに関連するレガシー・ビットストリームを受信すること；前記デコーダにおいて、複数の未処理画像フレームに関連する拡張ビットストリームを受信すること；前記デコーダが拡張レイヤの復号をサポートしないときに、前記複数の処理済画像フレームにおける各処理済画像フレームを復号すること；および前記デコーダが拡張レイヤの復号をサポートするときに、第１の処理済画像フレームに関連する第１の時刻が、前記複数の未処理画像フレームにおけるいずれの未処理画像フレームにも関連しないときにのみ、前記複数の処理済画像フレームにおける前記第１の処理済画像フレームを復号することを含む。

本発明の前述ならびに他の目的、特徴、および利点は、以下に続く本発明の詳細な説明を添付図面と併せて考察すれば、より容易に理解されるであろう。

画像センサモジュールとホストプロセッサとを備える、本発明の例となる実施形態を示す図面であり、ホストプロセッサは、画像センサモジュールから未処理画像フレームを要求することができ、それに対して画像センサモジュールは、内部画像処理機能を停止させることができる。 処理済および未処理画像フレームを取り込むことを備える、本発明の例となる実施形態を示すチャートである。 画像センサモジュールにおいてホストプロセッサから受信した制御信号に基づいて、内部処理を作動および停止させることを備える、本発明の例となる実施形態を示すチャートである。 処理済画像フレームと未処理画像フレームとを備える、例となる画像シーケンスを示す図面である。 処理済画像フレームをレガシー・ビットストリームと関連付けることを示す図面である。 取得した未処理画像フレームに関連するレガシー・ビットストリームの時刻において処理済画像フレームを補間することを示す図面である。 拡張ビットストリームの未処理画像フレームのレガシー・ビットストリーム画像フレームからの予測を示す図面である。 拡張ビットストリームの未処理画像フレームの拡張レイヤにおける前の未処理画像フレームからの予測を示す図面である。 拡張ビットストリームの未処理画像フレームの拡張レイヤにおける前の未処理画像フレームと、カメラ反転されたレガシー・ビットストリームの処理済画像フレームとからの予測を示す図面である。

本発明の実施形態は、同様の部分が全体にわたって同じ数字によって指定された図面を参照することによって、最もよく理解されるであろう。上記に列挙された図は、この詳細な記載の一部として明示的に組み込まれる。

本明細書に一般的に記載され、図に示されるように、本発明の構成要素は、多種多様な異なった構成に配置され、設計されうることが容易に理解されるであろう。かくして、本発明の方法およびシステムの実施形態に関する以下のより詳細な説明は、本発明の範囲を限定することは意図したものではなく、単に本発明の現在好ましい実施形態を表現するに過ぎない。

本発明の実施形態の要素は、ハードウェア、ファームウェアおよび／またはソフトウェアにおいて実現されうる。本明細書に示される例となる実施形態は、これらの形態の１つを記載しうるに過ぎないが、当然のことながら、当業者は、本発明の範囲内にありつつ、これらの形態のいずれかでこれらの要素を実施できるであろう。

図１に関して記載される本発明のいくつかの実施形態は、広色域動画を取り込むための取得システム１００を備える。これらの実施形態は、画像センサモジュール１０２とホストプロセッサ１０４とを備える。画像センサモジュール１０２は、未加工画像データを取り込むことができ、未加工画像データを処理することができて、それによって未加工画像データがディスプレイ参照モデルに変換される。例となる処理は、ホワイトバランス、デモザイク、ガンマ補正、色空間変換、例えば標準色空間、例えばＢＴ−７０９または他の標準色空間への変換、ならびに未加工画像データをディスプレイ参照モデルに変換するために必要な他の処理を含むことができる。画像センサモジュール１０２は、処理済画像データもしくは未加工、未処理画像データ１０６をホストプロセッサ１０４へ伝送することができる。ホストプロセッサ１０４は、受信した画像データを圧縮することができる。画像センサモジュール１０２は、ホストプロセッサから画像センサモジュール１０２へ送信された制御信号１０８に基づいて、処理済もしくは未加工画像データ１０６を伝送することができる。ホストプロセッサは、未加工とも考えられる未処理画像データ１０６を画像センサモジュール１０２が提供することを要求する、制御信号１０８を周期的に画像センサモジュール１０２へ送信することができる。画像センサモジュール１０２は、未加工画像データを要求する制御信号１０８を受信すると、内部処理、例えばホワイトバランス、デモザイク、色空間変換、ガンマ補正、ならびに未加工画像データをディスプレイ参照モデルに変換するために必要な他の内部処理を停止させることができる。本発明のいくつか実施形態において、画像センサモジュール１０２は、内部処理を再作動させる前に、一定数のフレームに対するホストプロセッサ１０４からの要求に応じて未処理画像データを送信することができる。代わりの実施形態において、画像センサモジュール１０２は、画像センサモジュール１０２においてホストプロセッサ１０４から処理済データに対する次の要求を受信するまで、ホストプロセッサ１０４からの要求に応じて未処理画像データを送信することができる。処理済データに対する次の要求を受信したときに、画像センサモジュール１０２は、内部処理を作動させることができる。

本発明のいくつかの実施形態は、図２に関して理解することができる。画像センサモジュールは、内部処理状態を「作動」または「停止」へ初期化する２００ことができる。画像センサモジュールは、未加工画像データを取り込む２０２ことができる。内部処理状態は、調べる２０４ことができる。内部処理が作動していれば２０６、そのときには、未加工画像データを処理して２０８、未加工画像データをディスプレイ参照モデルに変換することができて、処理済データをホストプロセッサへ伝送する２１０ことができる。未加工画像データの次のフレームを取り込む２０２ことができる。内部処理が停止していれば２１２、そのときには、未加工、未処理画像データをホストプロセッサへ伝送する２１４ことができて、未加工画像データの次のフレームを取り込む２０２ことができる。

本発明のいくつかの実施形態は、図３に関してさらに理解することができる。画像センサモジュールは、内部処理状態を「作動」または「停止」へ初期化する３００ことができる。画像センサモジュールは、ホストプロセッサから、制御信号を受信する３０２ことができて、制御信号を調べる３０４ことができる。内部処理を要求していることを制御信号が示せば３０６、そのときには、画像センサモジュールは、内部処理を作動させて３０８、次の制御信号を受信する３０２のを待つことができる。未加工データを要求していることを制御信号が示せば３１０、そのときには、画像センサモジュールは、内部処理を停止させて３１２、次の制御信号を受信する３０２のを待つことができる。

図１を再び参照すると、本発明のいくつかの実施形態において、ホストプロセッサ１０４は、受信した画像データ１０６を圧縮することができて、圧縮されたデータを別のデバイスまたは外部記憶装置へ伝送することができる。代わりの実施形態において、ホストプロセッサ１０４は、圧縮されたデータを内部に記憶することができる。

本発明のいくつかの実施形態において、ホストプロセッサ１０４は、動画データにおける拡張情報として未処理データを記憶することができる。本発明の代わりの実施形態において、ホストプロセッサ１０４は、拡張情報を圧縮することができる。いくつかの実施形態において、ホストプロセッサ１０４は、画像センサの内部色空間のさらなる拡張記述を、動画データ中に、記憶することができる。

広色域動画を取り込むための取得システム１００は、図４に示されるように、画像フレームのシーケンス４００を発生させることができる。薄い灰色４０２、４０６、４０８、４１２で示されるフレームは、内部処理を作動させて取り込まれたフレームを表し、濃い灰色４０４、４１０で示されるフレームは、内部処理を停止させて取り込まれたフレームを表す。かくして、ｔ＋１およびｔ＋Ｎ＋１において取り込まれたフレームは、ｔ、ｔ＋２、ｔ＋Ｎおよびｔ＋Ｎ＋２において取り込まれたものより広い色域を含む。画像フレームのシーケンス４００は、記憶および伝送のために圧縮することができる。本発明のいくつかの実施形態では、レガシー・デバイスによってサポートされた圧縮システム、例えば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２，ＭＰＥＧ−４およびレガシー・デバイスによって用いられる他の圧縮方法を使用することができる。図５に示されるように、処理済画像フレーム４０２、４０６、４０８、４１２は、レガシー・ビットストリーム５００と呼ぶことができ、これらのフレームは、レガシー・デバイス上で復号されて、表示される。未処理画像データに対応する時間位置４０４、４１０、例えばｔ＋１およびｔ＋Ｎ＋１において、レガシー・ビットストリームは、画像データを含まない。多くの動画符号化システムにおいて、欠落したフレームを合成するために、デコーダは、時間的補間を随意的に行うことができる。

本発明のいくつかの実施形態では、符号化プロセスにおいて、前の時刻から現在の時刻へ画像強度値をコピーするために、ホストプロセッサは、これらの時刻に関連するビットストリーム位置にビットストリーム命令を挿入することができる。このビットストリーム命令は、「スキップフレーム」と呼ぶことができる。

本発明の代わりの実施形態において、ホストプロセッサは、未処理フレームの時刻における補間データを構築するために、未処理フレームを使用して内部カメラ処理をシミュレートすることができる。本発明のいくつかの実施形態において、補間フレームは、明示的に符号化することができる。代わりの実施形態において、補間フレームは、ビットストリーム情報、例えば動きベクトル、符号化モードおよび隣接時間フレームからの他のビットストリーム情報を使用して符号化することができる。図６は、未処理画像フレームに対応する時刻における補間フレーム６０２、６０４を持つレガシー・ビットストリーム６００を示す。

本発明のいくつかの実施形態において、拡張データと呼ばれる広色ガメット未処理画像フレームは、それをレガシー・デコーダが無視しうるように、符号化することができる。本発明のいくつかの実施形態において、これは、拡張ビットストリームを生成することによって達成されうる。いくつかの実施形態において、拡張およびレガシー・ビットストリームは、インタリーブすることができる。拡張およびレガシー・ビットストリームをインタリーブするための例となる方法は、ユーザデータマーカ、代替ＮＡＬユニット値、ならびに当該技術分野で知られる他の方法を使用することを備えることができる。代わりの実施形態において、より大きいトランスポート・コンテナを用いて、拡張ビットストリームとレガシー・ビットストリームとを別のビットストリームとして多重化することができる。本発明のさらに代わりの実施形態において、レガシー・ビットストリームと拡張ビットストリームとを別に伝送もしくは記憶することができる。

本発明のいくつかの実施形態において、拡張ビットストリーム中の拡張レイヤ・データは、他の時刻からの予測なしに、あるいはレガシー・ビットストリームからの予測なしに符号化することができる。

本発明の代わりの実施形態において、拡張レイヤ・データは、参照フレームとしてレガシー・ビットストリーム中の画像フレームを使用して符号化することができる。これらの実施形態は、レガシー・ビットストリーム７１４における複数の画像フレーム７０２、７０４、７０６、７０８、７１０、７１２を示す図７に関して理解することができる。レガシー・ビットストリーム７１４におけるフレーム７０２、７０４、７０６、７０８、７１０、７１２は、２つのタイプ：取得した処理済フレーム７０２、７０６、７０８、７１２と、取得した未処理フレーム７１６、７１８に対応する時刻における補間フレーム７０４、７１０とである。未処理フレーム７１６、７１８は、拡張レイヤ７２０を形成する。レガシー・ビットストリーム７１４におけるフレーム７０２、７０４、７０６、７０８、７１０、７１２は、動き補償と、フレーム間の矢印７２２、７２４、７２６、７２８によって示されるようにレガシー・ビットストリーム７１４内のフレーム間の予測とを使用して、符号化することができる。例えば、時間ｔ＋１における補間フレーム７０４は、フレーム７０２、７０４間の矢印７２２によって示されるように時間ｔにおけるフレーム７０２を使用して予測することができる。時間ｔ＋２におけるフレーム７０６は、フレーム７０４、７０６間の矢印７２４によって示されるように時間ｔ＋１における補間フレーム７０４を使用して予測することができる。時間ｔ＋Ｎ＋１における補間フレーム７１０は、フレーム７０８、７１０間の矢印７２６によって示されるように時間ｔ＋Ｎにおけるフレーム７０８を使用して予測することができる。時間ｔ＋Ｎ＋２におけるフレーム７１２は、フレーム７１０、７１２間の矢印７２８によって示されるように時間ｔ＋Ｎ＋１における補間フレーム７１０を使用して予測することができる。加えて、拡張レイヤ７２０における未処理フレーム７１６、７１８は、レガシー・ビットストリーム７１４内の参照フレームからの動き補償予測を使用して予測することができる。例えば、拡張レイヤ７２０の時間ｔ＋１における未処理フレーム７１６は、フレーム７０２、７１６間の矢印７３０によって示されるように時間ｔにおけるレガシー・ビットストリーム・フレーム７０２から予測することができて、拡張レイヤ７２０の時間ｔ＋Ｎ＋１における未処理フレーム７１８は、フレーム７０８、７１８間の矢印７３２によって示されるように時間ｔ＋Ｎにおけるレガシー・ビットストリーム・フレーム７０８から予測することができる。

本発明のさらに代わりの実施形態において、拡張レイヤ・データは、参照フレームとして拡張ビットストリーム中の画像フレームを使用して符号化することができる。これらの実施形態は、レガシー・ビットストリーム７１４における複数の画像フレーム７０２、７０４、７０６、７０８、７１０、７１２を示す図８に関して理解することができる。レガシー・ビットストリーム７１４におけるフレーム７０２、７０４、７０６、７０８、７１０、７１２は、２つのタイプ：取得した処理済フレーム７０２、７０６、７０８、７１２と、取得した未処理フレーム７１６、７１８に対応する時刻における補間フレーム７０４、７１０とである。未処理フレーム７１６、７１８は、拡張レイヤ７２０を形成する。拡張レイヤ７２０における未処理フレーム７１６，７１８は、拡張レイヤ７２０内の参照フレームからの動き補償予測を使用して予測することができる。例えば、拡張レイヤ７２０の時間ｔ＋１における未処理フレーム７１６は、矢印８０２によって示されるように直前の拡張ビットストリーム・フレームから予測することができ、拡張レイヤ７２０の時間ｔ＋Ｎ＋１における未処理フレーム７１８は、フレーム７１６、７１８間の矢印８０４によって示されるように時間ｔ＋１における拡張ビットストリーム・フレームから予測することができる。拡張ビットストリーム・フレーム７１８は、矢印８０６によって示されるように直後の拡張ビットストリーム・フレームを予測するために使用することができる。

本発明のいくつかの実施形態において、ビットストリーム内のフレーム間およびビットストリーム間の予測をいずれも使用することができる。これらの実施形態のいくつかにおいて、第１の処理状態の下で取り込まれたフレームを第２の処理状態へ投影するためにマッピング・プロセスを使用することができる。例えば、拡張ビットストリーム中の未処理画像フレームの予測のために、レガシー・ビットストリームからの処理済画像フレームを使用する前に、このフレームに対してカメラ反転プロセス（camera inversion process）を使用することができる。カメラ反転プロセスは、画像センサモジュールのオンボード内部処理を入れ替える（reverse）ことができる。図９は、拡張レイヤ７２０内の参照フレームからの動き補償予測と、レガシー・ビットストリーム７１４からの予測フレームとを使用した、拡張レイヤ７２０における未処理フレーム７１６、７１８の予測を示す。例えば、拡張レイヤ７２０の時間ｔ＋１における処理前フレーム７１６は、矢印８０２によって示されるように直前の拡張ビットストリーム・フレームと、矢印９０２によって示されるようにカメラ反転９００後の時間ｔにおけるレガシー・ビットストリーム・フレームとから予測することができる。拡張レイヤ７２０の時間ｔ＋Ｎ＋１における未処理フレーム７１８は、矢印８０４によって示されるように時間ｔ＋１における拡張ビットストリーム・フレーム７１６と、矢印９０６によって示されるようにカメラ反転９０４後の時間ｔ＋Ｎにおけるレガシー・ビットストリーム・フレームとから予測することができる。

本発明のいくつかの実施形態において、レガシー・デコーダは、レガシー・ビットストリームを復号して、動画シーケンスをディスプレイ・デバイスへ出力することができる。本発明のいくつかの実施形態において、レガシー・ビットストリームに加えて、拡張ビットストリームを復号することができて、レガシー・ビットストリームより広い色域を持つ動画シーケンスを出力することができる。本発明のいくつかの実施形態において、デコーダが拡張ビットストリームを復号するときに、拡張ビットストリーム内のフレームの時刻に対応するレガシー・ビットストリーム中のフレームは、復号して再構築することができない。

添付の図面に示されるチャートおよびダイアグラムは、特定の実施順序を示しうるが、当然のことながら、実施順序は、示されたものと異なってもよい。例えば、ブロックの実施順序は、示された順序に対して変化してもよい。同様に、さらなる例として、図に連続して示される２つ以上のブロックは、同時に、あるいは部分的に同時に実施されてもよい。当業者には当然のことながら、本明細書に記載される様々な論理機能を実行するために、ソフトウェア、ハードウェアおよび／またはファームウェアを当業者によって作り出すことができる。

本発明のいくつかの実施形態は、本明細書に記載された特徴および方法のいずれかを行うべく計算システムをプログラムするために使用しうる命令をその上／中に記憶した、コンピュータ可読記憶媒体を含むコンピュータプログラム製品を備えることができる。例となるコンピュータ可読記憶媒体は、以下には限定されないが、フラッシュメモリ・デバイス、ディスク記憶媒体、例えばフロッピーディスク、光ディスク、光磁気ディスク、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、コンパクトディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ）、マイクロドライブおよび他のディスク記憶媒体、リードオンリメモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルリードオンリメモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ビデオランダムアクセスメモリ（ＶＲＡＭ：Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ならびに命令および／またはデータを記憶するのに適した任意のタイプの媒体またはデバイスを含むことができる。

前述の明細書に用いられる用語および表現は、限定ではなく記載の用語として本明細書に使用されており、かかる用語および表現の使用には、図示され、記載された特徴またはその一部の均等物を排除する意図はなく、本発明の範囲は、添付の特許請求の範囲によってのみ規定され、限定されるものと認識される。

Claims (20)

1. 画像シーケンスを取得するためのシステムであって、前記システムは、
   画像センサモジュール；および
   ホストプロセッサ；
   を備え、
   前記ホストプロセッサが、前記画像センサモジュールから未処理画像フレームを要求したときに、前記画像センサモジュールは、
   未加工画像フレームを取得して；
   前記未加工画像フレームを前記ホストプロセッサへ伝送し；
   さもなければ、前記画像センサモジュールは、
   前記未加工画像フレームを取得し；
   前記未加工画像フレームをディスプレイ参照モデルフレームに変換して；
   前記変換されたフレームを前記ホストプロセッサへ伝送することを特徴とするシステム。
2. 画像シーケンスを符号化するための方法であって、前記方法は、
   ホストプロセッサにおいて、画像センサモジュールから、第１の処理済画像フレームを受信することであって、前記第１の処理済画像フレームは、第１のディスプレイ参照モデルフレームに変換された第１の未加工画像フレームに対応する、前記受信すること；
   前記ホストプロセッサから前記画像センサモジュールへ、未処理画像フレームに対する第１の要求を送信すること；
   前記ホストプロセッサにおいて前記画像センサモジュールから、第１の時刻に関連する第１の未処理画像フレームを受信すること；
   前記第１の処理済画像フレームに関連するレガシー・ビットストリームを形成すること；および
   前記第１の未処理画像フレームに関連する拡張ビットストリームを形成することを特徴とする方法。
3. 前記ホストプロセッサから前記画像センサモジュールへ、処理済画像フレームに対する第１の要求を送信することをさらに含むことを特徴とする請求項０に記載の方法。
4. 前記ホストプロセッサにおいて前記画像センサモジュールから、第２の処理済画像フレームを受信することであって、前記第２の処理済画像フレームは、第２のディスプレイ参照モデルフレームに変換された第２の未加工画像フレームに対応する、前記受信すること；
   前記第２の処理済画像フレームを前記レガシー・ビットストリームに関連付けること；および
   前記第１の処理済画像フレームに関する予測に基づいて、前記第２の処理済画像フレームを符号化することをさらに含むことを特徴とする請求項０に記載の方法。
5. 前記第１の処理済画像フレームに関する予測に基づいて、前記第１の未処理画像フレームを符号化することをさらに含むことを特徴とする請求項０に記載の方法。
6. 前記第１の未処理画像フレームを予測する前に、前記第１のディスプレイ参照モデルフレームに前記変換することに関連する内部カメラプロセスに関して、前記第１の処理済画像フレームを反転させることをさらに含むことを特徴とする請求項０に記載の方法。
7. 前記ホストプロセッサから前記画像センサモジュールへ、未処理画像フレームに対する第２の要求を送信することをさらに含むことを特徴とする請求項０に記載の方法。
8. 前記ホストプロセッサにおいて前記画像センサモジュールから、第２の未処理画像フレームを受信すること；
   前記第２の未処理画像フレームを前記拡張ビットストリームに関連付けること；および
   前記第１の未処理画像フレームに関する予測に基づいて、前記第２の未処理画像フレームを符号化することをさらに含むことを特徴とする請求項０に記載の方法。
9. 前記ホストプロセッサにおいて前記画像センサモジュールから、第２の未処理画像フレームを受信すること；
   前記第２の未処理画像フレームを前記拡張ビットストリームに関連付けること；ならびに
   前記第１の未処理画像および前に受信した処理済画像に関する予測に基づいて、前記第２の未処理画像フレームを符号化することをさらに含むことを特徴とする請求項０に記載の方法。
10. 前記レガシー・ビットストリームにおいて、前記第１の時刻に関連するスキップフレーム命令を符号化することをさらに含むことを特徴とする請求項０に記載の方法。
11. 前記レガシー・ビットストリームにおいて、前記第１の時刻に関連する第１の補間フレームを補間することをさらに含むことを特徴とする請求項０に記載の方法。
12. ユーザデータ・マーカ法および代替ＮＡＬユニット値法からなる群から選択された方法を使用して、前記レガシー・ビットストリームと前記拡張ビットストリームとをインタリーブすることをさらに含むことを特徴とする請求項０に記載の方法。
13. トランスポート・コンテナにおいて、前記レガシー・ビットストリームと前記拡張ビットストリームとを別に多重化することをさらに含むことを特徴とする備える請求項０に記載の方法。
14. 前記レガシー・ビットストリームを伝送すること；および
    前記拡張ビットストリームを別に伝送することをさらに含むことを特徴とする請求項０に記載の方法。
15. 動画シーケンスを復号するための方法であって、前記方法は、
    デコーダにおいて、複数の処理済画像フレームに関連するレガシー・ビットストリームを受信すること；
    前記デコーダにおいて、複数の未処理画像フレームに関連する拡張ビットストリームを受信すること；
    前記デコーダが拡張レイヤの復号をサポートしないときに、前記複数の処理済画像フレームにおける各処理済画像フレームを復号すること；および
    前記デコーダが拡張レイヤの復号をサポートするときに、第１の処理済画像フレームに関連する第１の時刻が、前記複数の未処理画像フレームにおけるいずれの未処理画像フレームにも関連しないときにのみ、前記複数の処理済画像フレームにおける前記第１の処理済画像フレームを復号することを特徴とする方法。
16. 前記デコーダが拡張レイヤの復号をサポートするときに、前記複数の未処理画像フレームにおける第１の未処理画像フレームを復号することをさらに含むことを特徴とする請求項０に記載の方法。
17. 前記第１の未処理画像フレームを前記復号することは、前記複数の未処理画像フレームにおける前に復号された未処理画像フレームからの予測を行うことを特徴とする請求項０に記載の方法。
18. 前記第１の未処理画像フレームを前記復号することは、前記複数の処理済画像フレームにおける前に復号された処理済画像フレームからの予測を行うことを特徴とする請求項０に記載の方法。
19. 前記第１の未処理画像フレームを前記復号することは、前記複数の処理済画像フレームにおけるカメラ反転され、前に復号された処理済画像フレーム、および前記複数の未処理画像フレームにおける前に復号された未処理画像フレームからの予測を行うことを特徴とする請求項０に記載の方法。
20. 前記第１の未処理画像フレームを前記復号することは、前記複数の処理済画像フレームにおける前に復号された処理済画像フレーム、および前記複数の未処理画像フレームにおける前に復号された未処理画像フレームからの予測を行うことを特徴とする請求項０に記載の方法。

Images