JP2017521921A - 高ダイナミックレンジセンサ機構を備えたビデオ処理システム及びその動作方法 - Google Patents

Abstract

長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサと、長時間露光パターン及び短時間露光パターンから予測値を生成する、ＨＤＲ光学センサに結合された予測ユニットと、予測値から高度ＨＤＲビットストリームを符号化する、予測ユニットに結合された固定長符号化ユニットと、高度ＨＤＲビットストリームから変換された配信デジタルデータストリームを表示するＨＤＲディスプレイ装置とを含むビデオ処理システム及びその動作方法を提供する。【選択図】図１

Description

本発明は、一般にビデオ処理システムに関し、具体的には、ビデオ処理システム内の高ダイナミックレンジイメージセンサを動作させるシステムに関する。

高ダイナミックレンジディスプレイは、先行技術のディスプレイ技術よりも優れた大幅な改善をもたらす。これらの装置は、従来の技術よりも１桁大きなピーク輝度、及び人間の観察者の能力に迫るダイナミックレンジを生成する。また、これらの装置は、色域を拡大してＬＣＤシステムの被写体ぶれを低減することができる。その結果、先行技術のディスプレイ技術とは用意に区別される感動的な視聴体験が得られる。

残念ながら、現在の技術は、高ダイナミックレンジコンテンツを本質的にサポートしておらず、結果として生じるアーチファクトがシーンとの関連で邪魔になることがある。標準的なダイナミックレンジセンサ技術は、現在のディスプレイ技術に合わせて設計され、高ダイナミックレンジコンテンツを再生できず、従って廃棄すべきであるという前提に基づいて構築されている。

高ダイナミックレンジコンテンツをサポートするように記憶システム及び配信システムを直接拡張することはできるが、これには問題がある。デジタル画像ストリームの場合には、各画素に大きなビット長が必要になる。一方で、アナログシステムの場合には、電気ノイズの低下が絶対的に必要である。この結果、現在の製品提供では、コストと性能のトレードオフが大きくなってしまう。高ダイナミックレンジコンテンツに対応することにより、高ダイナミックレンジデータストリームによって生じるアーチファクトに起因して、従来の標準ダイナミックレンジディスプレイの画質が低下することもある。入力ストリームのダイナミックレンジの増加に関連してコントラスト及びモーションアーチファクトが明確になるとともに、高ダイナミックレンジデータストリームの帯域幅要件が高くなることによって追加情報を正しく処理できなくなるので、消費者がこの結果を受け入れるとは思えない。

従って、スチルビデオ又は動画ビデオの処理のために高ダイナミックレンジビデオコンテンツを取り込み、圧縮して表示することができるビデオ処理システムが依然として必要とされている。パーソナル電子装置におけるビデオカメラ及びスチルカメラの使用の急増を考慮すると、これらの問題の解決策を見つけることがますます重要になっている。増大する商業的競争圧力、消費者期待の高まり、及び市場における有意義な製品差別化の機会減少に照らしても、これらの問題の解決策を見つけることが重要である。また、コストを節約し、効率性及び性能を改善して競争圧力に対応する必要性により、これらの問題の解決策を見つけるという重要な必要性にかつてない程の緊急性も加わっている。

これらの課題の解決策は長年にわたって探し求められてきたが、これまでの進展では何らの解決策も教示又は示唆されておらず、従って当業者は、長年にわたってこれらの課題の解決策を達成できていない。

本発明は、ビデオ処理システムの動作方法であって、長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサにアクセスするステップと、長時間露光パターン及び短時間露光パターンから予測値を生成するステップと、予測値から高度ＨＤＲ（enhanced ＨＤＲ）ビットストリームを符号化するステップと、高度ＨＤＲビットストリームから変換された配信デジタルデータをＨＤＲディスプレイ装置上に表示するステップとを含む方法を提供する。

本発明は、ビデオ処理システムであって、長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサと、長時間露光パターン及び短時間露光パターンから予測値を生成する、ＨＤＲ光学センサに結合された予測ユニットと、予測値から高度ＨＤＲビットストリームを符号化する、予測ユニットに結合された固定長符号化ユニットと、高度ＨＤＲビットストリームから変換された配信デジタルデータストリームを表示するＨＤＲディスプレイ装置とを含むシステムを提供する。

本発明のいくつかの実施形態は、上述したものに加えて、又はこれらの代わりに他のステップ又は要素を有する。添付図面を参照しながら以下の詳細な説明を読めば、当業者にはこれらのステップ又は要素が明らかになるであろう。

本発明の実施形態におけるビデオ処理システムの構造図である。 図１のビデオエンコーダの機能ブロック図である。 図２のビデオエンコーダ予測ユニットの機能ブロック図である。 本発明の例示的な実施形態における高ダイナミックレンジ（ＨＤＲ）光学センサの構造図である。 本発明の第１の実施形態におけるビデオ処理システムの実施形態例である。 本発明の第２の実施形態におけるビデオ処理システムの実施形態例である。 本発明の第３の実施形態におけるビデオ処理システムの実施形態例である。 本発明の実施形態における図１のビデオデコーダの機能ブロック図である。 図８のビデオデコーダ予測ユニットの機能ブロック図である。 本発明のさらなる実施形態におけるビデオ処理システムの動作方法のフローチャートである。

以下の実施形態については、当業者が本発明を実施して使用できるように十分に詳細に説明する。本開示に基づいて他の実施形態が明らかになることもあり、本発明の範囲から逸脱することなく、システム、プロセス又は機構を変更することもできると理解されたい。

以下の説明では、本発明を完全に理解できるように数多くの具体的な詳細を示す。しかしながら、これらの具体的な詳細を伴わずに本発明を実施できることが明らかになるであろう。本発明を曖昧にしないように、周知の回路、システム構成及び行程については詳細に説明していないものもある。

システムの実施形態を示す図面は、半概略的であって縮尺通りではなく、特に図面の図における寸法は表示を明確にするためのものであって誇張して示しているものもある。同様に、説明を容易にするために、一般に図面の視点は同様の配向を示しているが、この図の描写は大部分が任意である。一般に、本発明はあらゆる配向で実施することができる。

いくつかの特徴が共通する複数の実施形態を開示して説明する場合には、一般に図、説明及びその理解を明確かつ容易にするために、互いに類似する同様の特徴については同様の参照符号を用いて説明する。解説すると、本明細書で使用する「水平な」という用語は、不揮発性メモリシステムを有する集積回路の活性表面に対し、その方向に関わらず平行な平面として定義される。「垂直な」という用語は、このような水平に対して垂直な方向を意味する。「上方（ａｂｏｖｅ）」、「下方（ｂｅｌｏｗ）」、「底部（ｂｏｔｔｏｍ）」、「頂部（ｔｏｐ）」、（側壁などの）「側部（ｓｉｄｅ）」、「高い（ｈｉｇｈｅｒ）」、「低い（ｌｏｗｅｒ）」、「上部の（ｕｐｐｅｒ）」、「〜の上方（ｏｖｅｒ）」、及び「〜の下方（ｕｎｄｅｒ）」などの用語は、図に示す水平面に対して定めるものである。「〜の上に直接（ｄｉｒｅｃｔｌｙ ｏｎ）」と言う表現は、要素間に介在要素を伴わずに直接的な接触が存在することを意味する。

本明細書で使用する「処理（ｐｒｏｃｅｓｓｉｎｇ）」という用語は、説明する構造の形成時に必要とされる材料又はフォトレジストの堆積、パターン化、露光、現像、エッチング、クリーニング、及び／又は材料又はフォトレジストの除去を含む。「抵抗変化メモリ（ｒｅｓｉｓｔｉｖｅ ｍｅｍｏｒｙ）」という用語は、低抵抗状態と高抵抗状態との間でプログラム可能な半導体構造として定義される。

図１は、本発明の実施形態におけるビデオ処理システム１００の構造図である。このビデオ処理システム１００の構造図には、レンズを通じて受け取られ、レンズ１０３によって高ダイナミックレンジ（ＨＤＲ）光学センサ１０４上に合焦される光パターンなどの入力光学データストリーム１０２を示している。ＨＤＲ光学センサ１０４は、入力光学データストリーム１０２の現在のセグメントからの画像を特徴付けるために、入力光学データストリーム１０２をモニタすることができる。ＨＤＲ光学センサ１０４は、入力光学データストリーム１０２に反応して、入力光学データストリーム１０２によって刺激を受けたＨＤＲ光学センサ１０４内の一連の画素位置の関係を検出することによって画素ストリーム１０５を生成することができる。

ＨＤＲ光学センサ１０４は、ビットストリーム及びブロックインジケータを、入力光学データストリーム１０２を符号化及び圧縮するハードウェア数学アレイなどのビデオエンコーダ１０６に渡すことができる。ビデオエンコーダ１０６は、高度ＨＤＲビットストリーム１０７の平均値のビット長を最小化することができる。ビデオエンコーダ１０６は、画素ストリーム１０５からの長時間露光パターン及び短時間露光パターンの両方を用いて高度ＨＤＲビットストリーム１０７を生成することができるので、先行技術の解決策よりも高帯域幅をサポートすることができる。

高度ＨＤＲビットストリーム１０７は、高度ＨＤＲビットストリーム１０７を出力装置１１０に転送できる送信機ユニット１０８に結合することができる。出力装置１１０は、有線又は無線送信チャネルなどのハードウェアとすることも、或いはコンパクトディスク、デジタルビデオディスク又は不揮発性メモリデバイスなどのハード媒体とすることもできる。送信チャネルなどの出力装置１１０は、例えば、ＨＤＲ光学センサ１０４によって取り込まれた被写体を表示するディスプレイ画面を含むカメラの内部配線で形成することができると理解される。

高度ＨＤＲビットストリーム１０７は、出力装置１１０を、高度ＨＤＲビットストリーム１０７及び関連するｘ−ｙ座標情報に相当することができる受信機ビットストリーム１１３に逆変換することができる受信機モジュール１１２が、出力装置１１０を通じて受け取ることができる。受信機モジュール１１２は、ハードウェア数学アレイなどのビデオデコーダ１１４に結合されて、高度ＨＤＲビットストリーム１０７を搬送することができる。ビデオデコーダ１１４は、入力光学データストリーム１０２からの品質が全く劣化させることなくビデオエンコーダ１０６の動作を反転させたものとすることができる。

ビデオデコーダ１１４は、画素ストリーム１０５を再構成して配信デジタルデータストリーム１１８を構築するＨＤＲビデオ構築ユニット１１６に結合することができる。信号品質の損失を伴うことなく、入力光学データストリーム１０２から配信デジタルデータストリーム１１８への完全な転送が行われる。配信デジタルデータストリーム１１８は、標準的なダイナミックレンジシステムから入手できるものよりも良好なコントラスト及び細部を有する、入力光学データストリーム１０２を再現したビデオ画像を表示するＨＤＲディスプレイ装置１２０に結合することができる。

ビデオ処理システム１００は、高度ＨＤＲビットストリーム１０７の平均ビット長を最小化するために、入力光学データストリーム１０２の符号化構造のグループサイズをパラメータ化できることが判明した。ビデオ処理システム１００は、画素ストリーム１０５からの長時間露光パターン及び短時間露光パターンの両方を使用することによってビデオストリームを高効率で圧縮することができる。ビデオ処理システム１００は、標準的なモバイルイメージングアーキテクチャ（ＳＭＩＡ）コーデック（図示せず）に比べ、信号対雑音比を７〜１０ｄＢ改善して配信デジタルデータストリーム１１８を処理することができる。

図２は、図１のビデオエンコーダ１０６の機能ブロック図である。このビデオエンコーダ１０６の機能ブロック図には、画素ストリーム１０５を符号化して圧縮するハードウェア数学アレイなどのビデオエンコーダ予測ユニット２０２に結合された画素ストリーム１０５を示している。

ビデオエンコーダ予測ユニット２０２は、画素ストリーム１０５を分析して、画素ストリーム１０５の圧縮をどのように進行すべきかを決定することができる。標準的なダイナミックレンジコーデックでは、１０ビットの画素ストリングを８ビットに圧縮することができるが、ビデオエンコーダ１０６は、図１のＨＤＲ光学センサ１０４によって取り込まれた画像の完全な細部を維持しながら、画素ストリームをピクセル当たり１０ビットから６ビットに圧縮することができる。

ビデオエンコーダ予測ユニット２０２には、再構成画素値アレイ２０３の以前のサンプルを最大５つ提供して、ビデオエンコーダ予測ユニット２０２によって評価される現在の画素の残差インジケータ２０６を生成する、以前の画素バッファ２０４を結合することができる。残差インジケータ２０６は、画素ストリーム１０５の１０ビットのコンテンツから残った６ビットのコンテンツを有する。再構成画素値アレイ２０３は、以前の画素バッファ２０４とビデオエンコーダ予測ユニット２０２との間に並列バスによって設けることができる。以前の画素バッファ２０４は、メモリ構造、シフトレジスタ、組み合わせロジックアレイ、又はこれらの組み合わせとすることができると理解される。

モード決定ユニット２０８は、ビデオエンコーダ予測ユニット２０２を通じて処理される現在の画素の符号化値を反映するモードデータ２１０を生成することができる。モードデータ２１０は、６ビットコンテンツを有する残差インジケータ（２０６）を構築することを含め、固定長符号化ユニット２１２によって処理されて、高度ＨＤＲビットストリーム１０７を形成することができる。

再構成ユニット２１４は、ビデオエンコーダ予測ユニット２０２によって評価される現在の画素の値を再構成するために、高度ＨＤＲビットストリーム１０７をモニタすることができる。画素ストリーム１０５の処理速度は、符号化及び再構成に多くの時間が掛かることを考慮する。画素ストリーム１０５内の次の画素の選択時には、以前に処理された画素を表す再構成画素２１６が以前の画素バッファ２０４ロードされ、符号化及び再構成プロセスが再開される。

画素ストリーム１０５がビデオエンコーダ予測ユニット２０２を通じて移動すると、残差インジケータ２０６及び再構成画素２１６の完全性を維持するように画素ストリーム１０５の分析タイミングが協調されると理解される。以前の画素バッファ２０４は、画素ストリーム１０５の以前の値のうちの少なくとも５つの値を維持することができるが、将来的な拡張として画素ストリーム１０５からの５つの値よりも多くの値を維持することもできる。

図３は、図２のビデオエンコーダ予測ユニット２０２の機能ブロック図である。このビデオエンコーダ予測ユニット２０２の機能ブロック図には、画素ストリーム１０５に結合された、比較器アレイ、組み合わせロジック、数学ユニット又はこれらの組み合わせなどの画素分析ユニット３０２を示している。

画素分析ユニット３０２は、画素ストリーム１０５からのサンプルを取り込む現在の画素レジスタ３０４を有することができる。画素分析ユニット３０２は、以前の画素バッファ２０４に結合されて再構成画素値アレイ２０３を受け取ることができる。画素分析ユニット３０２は、再構成画素値アレイ２０３の値に基づいて、予測値３０６を生成するのに適した期間を選択することができる。画素分析ユニット３０２は、マルチプレクサ又はゲートロジック構造などの予測値選択器３１０を制御する予測値選択バス３０８を生成することができる。

以前の画素バッファ２０４は、予測値選択器３１０に結合する画素履歴バス３１２を生成することができる。予測値選択器３１０は、再構成画素（Ｎ−１）３１４、再構成画素（Ｎ−２）３１６、再構成画素（Ｎ−４）３１８、又は再構成画素（Ｎ−２）３１６と再構成画素（Ｎ−４）３１８との関数３２０を受け渡すことができる。関数３２０は、線形関数、指数関数又は逆関数などとすることができる。一例として、関数３２０は、
Ｆｕｎｃｔｉｏｎ＝（ＲＥＣ_N-2＋ＲＥＣ_N-4＋１）／２ （式１）
などの平均とすることができる。

式中、ＲＥＣ_N-2は、再構成画素（Ｎ−２）３１６であり、ＲＥＣ_N-4は、再構成画素（Ｎ−４）３１８である。

予測値加算器３２２は、残差インジケータ２０６を生成するために、画素ストリーム１０５から予測値３０６を減算することができる。予測値加算器３２２は、画素ストリーム１０５を１０ビットシンボルとして受け入れ、予測値３０６を画素履歴バス３１２からの再構成画素の１０ビットシンボルとして減算するスケーリング加算器とすることができる。

図４は、本発明の例示的な実施形態における高ダイナミックレンジ（ＨＤＲ）光学センサ１０４の構造図である。ＨＤＲ光学センサ１０４は、長時間露光パターン４０４及び短時間露光パターン４０６を有する複数の画素センサ４０２を有することができる。長時間露光パターン４０４は、下付き文字０を有する色で表している。短時間露光パターン４０６は、下付き文字１を有する色で表している。

ＨＤＲ光学センサ１０４は、画素センサ４０２のライン４０８で形成することができる。画素センサ４０２の各々は、図１のビデオエンコーダ１０６によって読み取られた場合、１０ビットコンテンツ４１０を含むことができる。ライン内の長時間露光パターン４０４及び短時間露光パターン４０６の順序は一例にすぎず、異なる順序とすることもできる。原色は、ほんの一例として赤色、緑色及び青色で表すことができる。図１のビデオ処理システム１００の発明構造を変更することなく、シアン、マゼンタ、黄色及び黒色などの他の組み合わせを実装することもできる。

図５に、本発明の第１の実施形態５０１におけるビデオ処理システム１００の実施形態例を示す。このビデオ処理システム１００の第１の実施形態５０１には、第１のカテゴリ及び第２のカテゴリを示している。第１のカテゴリでは、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、緑色などの第１の色である図３の現在の画素レジスタ３０４をサンプリングすることに基づいて予測値３０６を区別することができる。現在の画素レジスタ３０４が第１の色である場合、図３の予測値選択器３１０は、現在の画素レジスタ３０４と同じ色及び同じ露光パターンを有する図３の再構成画素（Ｎ−２）３１６を予測値３０６として渡すことができる。第２のカテゴリ５０４では、現在の画素レジスタ３０４が、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、赤色又は青色などの第２の色である。現在の画素レジスタ３０４が第２の色である場合、予測値選択器３１０は、現在の画素レジスタ３０４と同じ色及び同じ露光パターンを有する再構成画素（Ｎ−４）３１８を予測値３０６として渡すことができる。

ビデオ処理システム１００の第１の実施形態５０１は、５６．２０ｄＢの平均ピーク信号対雑音比（ＰＳＮＲ）をもたらしながら、図１のＨＤＲディスプレイ装置１２０にさらなる細部を提供できることが判明した。

図６に、本発明の第２の実施形態６０１におけるビデオ処理システム１００の実施形態例を示す。このビデオ処理システム１００の第２の実施形態６０１には、第１の予測方法６０２、第２の予測方法６０４及び第３の予測方法６０６を示している。

第１の予測方法６０２では、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、緑色などの第１の色である図３の現在の画素レジスタ３０４に基づいて予測値３０６を区別することができる。ただし、現在の画素レジスタ３０４及び再構成画素（Ｎ−１）３１４は、長時間露光パターン又は短時間露光パターンに適合しなければならない。現在の画素レジスタ３０４が第１の色の画素を含む場合、図３の画素分析ユニット３０２は、予測値３０６の値を求めるために、
ｘ＝（（（Ｒｅｃｎ−４≦Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≦Ｒｅｃｎ−１））ｏｒ（（Ｒｅｃｎ−４≧Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≧Ｒｅｃｎ−１））） （式２）
によって式２を計算することができる。

式中、ｘは、予測値３０６の判定値であり、Ｒｅｃｎ−１は、再構成画素（Ｎ−１）３１４であり、Ｒｅｃｎ−２は、再構成画素（Ｎ−２）３１６であり、Ｒｅｃｎ−４は、再構成画素（Ｎ−４）３１８であり、Ｒｅｃｎ−５は、再構成画素（Ｎ−５）である。ｘが真である場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｒｅｃｎ−２ （式３）
となる。
ｘが真でない場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｆｕｎｃｔｉｏｎ（Ｒｅｃｎ−２，Ｒｅｃｎ−４） （式４）
となる。

式４では、この関数を、線形関数、指数関数又は逆関数などの関数３２０とすることができる。一例として、関数３２０は、式１に示すものと同じ関数、又はＲｅｃｎ−２とＲｅｃｎ−４との間の他の何らかの関係とすることができる。

第２の予測方法６０４では、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、緑色などの第１の色である現在の画素レジスタ３０４に基づいて予測値３０６を区別することができる。ただし、現在の画素レジスタ３０４及び再構成画素（Ｎ−１）３１４は、長時間露光パターン又は短時間露光パターンに適合してはならない。現在の画素レジスタ３０４が第１の色である場合、予測値選択器３１０は、式３及び式４によって求めたように予測値３０６の値を求めるために式２を計算することができる。

第３の予測方法６０６は、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、現在の画素レジスタ３０４が赤色又は青色などの第２の色である時に予測値３０６を求めることができる。現在の画素レジスタ３０４が第２の色である場合、予測値選択器３１０は、現在の画素レジスタ３０４と同じ色及び同じ露光パターンを有する再構成画素（Ｎ−４）３１８を予測値３０６として渡すことができる。

ビデオ処理システム１００の第２の実施形態６０１は、５６．２４ｄＢの平均ピーク信号対雑音比（ＰＳＮＲ）をもたらしながら、図１のＨＤＲディスプレイ装置１２０にさらなる細部を提供できることが判明した。

図６に、本発明の第３の実施形態７０１におけるビデオ処理システム１００の実施形態例を示す。このビデオ処理システム１００の第３の実施形態７０１には、第１の予測方法７０２、第２の予測方法７０４及び第３の予測方法７０６を示している。

第１の予測方法７０２では、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、緑色などの第１の色である現在の画素レジスタ３０４に基づいて予測値３０６を区別することができる。ただし、現在の画素レジスタ３０４及び再構成画素（Ｎ−１）３１４は、長時間露光パターン又は短時間露光パターンに適合しなければならない。現在の画素レジスタ３０４が第１の色である場合、図３の画素分析ユニット３０２は、予測値３０６の値を求めるために、
ｘ＝（（（Ｒｅｃｎ−４≦Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−２≦Ｒｅｃｎ−１））ｏｒ（（Ｒｅｃｎ−４≧Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−２≧Ｒｅｃｎ−１））） （式５）
によって式５を計算することができる。

式中、ｘは、予測値３０６の判定値であり、Ｒｅｃｎ−１は、再構成画素（Ｎ−１）３１４であり、Ｒｅｃｎ−２は、再構成画素（Ｎ−２）３１６であり、Ｒｅｃｎ−４は、再構成画素（Ｎ−４）３１８である。ｘが真である場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｒｅｃｎ−１ （式６）
となる。
ｘが真でない場合、
ｙ＝（（（Ｒｅｃｎ−４≦Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≦Ｒｅｃｎ−１））ｏｒ（（Ｒｅｃｎ−４≧Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≧Ｒｅｃｎ−１））） （式７）
となる。

式中、ｙは、予測値３０６の判定値であり、Ｒｅｃｎ−１は、再構成画素（Ｎ−１）３１４であり、Ｒｅｃｎ−２は、再構成画素（Ｎ−２）３１６であり、Ｒｅｃｎ−４は、再構成画素（Ｎ−４）３１８であり、Ｒｅｃｎ−５は、再構成画素（Ｎ−５）である。ｘが真である場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｒｅｃｎ−２ （式３）
となる。
ｙが真でない場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｆｕｎｃｔｉｏｎ（Ｒｅｃｎ−２，Ｒｅｃｎ−４） （式４）
となる。

式４では、この関数を、線形関数、指数関数又は逆関数などの関数３２０とすることができる。一例として、関数３２０は、式１に示すものと同じ関数、又はＲｅｃｎ−２とＲｅｃｎ−４との間の他の何らかの関係とすることができる。

第２の予測方法７０４では、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、緑色などの第１の色である現在の画素レジスタ３０４の内容に基づいて予測値３０６を区別することができる。しかしながら、現在の画素レジスタ３０４の内容及び再構成画素（Ｎ−１）３１４は、長時間露光パターン又は短時間露光パターンに適合してはならない。現在の画素レジスタ３０４が第１の色の画素を含む場合、画素分析ユニット３０２は、予測値３０６の値を求めるために、
ｘ＝（（（Ｒｅｃｎ−４≦Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≦Ｒｅｃｎ−１））ｏｒ（（Ｒｅｃｎ−４≧Ｒｅｃｎ−２）ａｎｄ（Ｒｅｃｎ−５≧Ｒｅｃｎ−１））） （式２）
によって式２を計算することができる。

式中、ｘは、予測値３０６の判定値であり、Ｒｅｃｎ−１は、再構成画素（Ｎ−１）３１４であり、Ｒｅｃｎ−２は、再構成画素（Ｎ−２）３１６であり、Ｒｅｃｎ−４は、再構成画素（Ｎ−４）３１８であり、Ｒｅｃｎ−５は、再構成画素（Ｎ−５）である。ｘが真である場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｒｅｃｎ−２ （式３）
となる。
ｘが真でない場合、
Ｐｒｅｄｉｃｔｉｏｎ＝Ｆｕｎｃｔｉｏｎ（Ｒｅｃｎ−２，Ｒｅｃｎ−４） （式４）
となる。

式４では、この関数を、線形関数、指数関数又は逆関数などの関数３２０とすることができる。一例として、関数３２０は、式１に示すものと同じ関数、又はＲｅｃｎ−２とＲｅｃｎ−４との間の他の何らかの関係とすることができる。

第３の予測方法７０６は、長時間露光パターンであるか、それとも短時間露光パターンであるかに関わらず、現在の画素レジスタ３０４の内容が赤色又は青色などの第２の色である時に予測値３０６を求めることができる。現在の画素レジスタ３０４の内容が第２の色である場合、予測値選択器３１０は、現在の画素レジスタ３０４と同じ色及び同じ露光パターンを有する再構成画素（Ｎ−４）３１８を予測値３０６として渡すことができる。

ビデオ処理システム１００の第３の実施形態７０１は、５４．０６ｄＢの平均ピーク信号対雑音比（ＰＳＮＲ）をもたらしながら、図１のＨＤＲディスプレイ装置１２０にさらなる細部を提供できることが判明した。

図８は、本発明の実施形態における図１のビデオデコーダ１１４の機能ブロック図である。このビデオデコーダ１１４の機能ブロック図には、組み合わせロジックアレイ、参照テーブル又はメモリアレイなどの画素復号ユニット８０２に結合された受信機ビットストリーム１１３を示している。

画素復号ユニット８０２は、図１のビデオエンコーダ１０６の動作を反転させたものとすることができる。受信機ビットストリーム１１３は、図１の受信機モジュール１１２によって提供されるｘ−ｙ座標情報を含むこともできる。画素復号ユニット８０２は、残差コード８０４を生成して再構成ユニット８０６に提供する。

予測値計算ユニット８０８は、受信機ビットストリーム１１３のｘ−ｙ座標部分と、再構成画素の少なくとも最後の５つのインスタンスを提供できる再構成画素値アレイ８１０とを受け取ることができる。予測値計算ユニット８０８は、予測値８１２を計算して、復号画素ストリーム８１４の再構成において再構成ユニット８０６を導くことができる。

復号画素ストリーム８１４は、メモリ構造、シフトレジスタ、組み合わせロジックアレイ又はこれらの組み合わせなどの、以前の画素バッファ８１６に結合することができる。以前の画素バッファ８１６は、予測値計算ユニット８０８が予測値８１２を計算するために使用する、再構成画素値の少なくとも最後の５つのインスタンスを提供することができる。

ビデオデコーダ１１４は、図１の高度ＨＤＲビットストリーム１０７と全く一致する復号画素ストリーム８１４を提供できることが判明した。ビデオ処理システム１００によって行われる圧縮の結果、復号画素ストリーム８１４を提供するために必要な帯域幅を最大４０％低減することができる。

図９は、図８のビデオデコーダ予測ユニット８０８の機能ブロック図である。このビデオデコーダ予測ユニット８０８の機能ブロック図には、受信機ビットストリーム１１３と、再構成画素の少なくとも最後の５つのインスタンスを提供できる再構成画素値アレイ８１０とに結合された画素分析ユニット９０２を示している。画素分析ユニット９０２は、再構成画素値アレイ８１０の値に基づいて、予測値８１２を生成するのに適した期間を選択することができる。画素分析ユニット９０２は、マルチプレクサ又はゲートロジック構造などの予測値選択器３１０を制御する予測値選択バス３０８を生成することができる。

以前の画素バッファ８１６は、予測値選択器３１０に結合する画素履歴バス３１２を生成することができる。予測値選択器３１０は、再構成画素（Ｎ−１）３１４、再構成画素（Ｎ−２）３１６、再構成画素（Ｎ−４）３１８、又は再構成画素（Ｎ−２）３１６と再構成画素（Ｎ−４）３１８との関数３２０を受け渡すことができる。関数３２０は、線形関数、指数関数又は逆関数などとすることができる。一例として、関数３２０は、
Ｆｕｎｃｔｉｏｎ＝（ＲＥＣ_N-2＋ＲＥＣ_N-4＋１）／２ （式１）
などの平均とすることができる。

式中、ＲＥＣ_N-2は、再構成画素（Ｎ−２）３１６であり、ＲＥＣ_N-4は、再構成画素（Ｎ−４）３１８である。

ビデオデコーダ予測ユニット８０８は、図１の高度ＨＤＲビットストリーム１０７を生成するために使用した予測値８１２を同じように再構成できることが発見された。予測値８１２を同じように再構成することにより、図１のビデオ処理システム１００は、高度ＨＤＲビットストリーム１０７の転送に必要な帯域幅を低減しながら、図１のＨＤＲディスプレイ装置１２０に強化された映像の明瞭さ及び細部を与えることができる。

図１０は、本発明のさらなる実施形態におけるビデオ処理システムの動作方法１０００のフローチャートである。方法１０００は、ブロック１００２において、長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサにアクセスするステップと、ブロック１００４において、長時間露光パターン及び短時間露光パターンから予測値を生成するステップと、ブロック１００６において、予測値から高度ＨＤＲビットストリームを符号化するステップと、ロック１００８において、高度ＨＤＲビットストリームから変換された配信デジタルデータをＨＤＲディスプレイ装置上に表示するステップとを含む。

結果として得られる方法、プロセス、装置、機器、製品及び／又はシステムは、直接的であり、コスト効率が高く、単純であり、汎用性が高く、正確であり、高感度であり、効果的であり、既知の構成要素を準備の整った効率的かつ経済的な製造、応用及び利用に適合させることによって実装することができる。

本発明の別の重要な側面は、経費の削減、システムの単純化、性能の向上という歴史的傾向を有益に支援して提供する点である。

従って、本発明のこれらの及びその他の有益な側面は、先端技術を少なくとも次の水準に押し進める。

特定の最良の形態に関連して本発明を説明したが、当業者には、上述の説明に照らして多くの代替例、変更例及び変形例が明らかになると理解されたい。従って、本発明は、添付の特許請求の範囲に含まれる全てのこのような代替例、変更例及び変形例を含むことが意図されている。本明細書で上述した、又は添付図面に示す全ての事項は、例示的かつ非限定的な意味で解釈すべきである。

１００ ビデオ処理システム
１０２ 入力光学データストリーム
１０３ レンズ
１０４ ＨＤＲ光学センサ
１０５ 画素ストリーム
１０６ ビデオエンコーダ
１０７ 高度ＨＤＲビットストリーム
１０８ 送信機ユニット
１１０ 出力装置
１１２ 受信機モジュール
１１３ 受信機ビットストリーム
１１４ ビデオデコーダ
１１６ ＨＤＲビデオ構築ユニット
１１８ 配信デジタルデータストリーム
１２０ ＨＤＲディスプレイ装置

Claims (24)

1. ビデオ処理システムの動作方法であって、
   長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサにアクセスするステップと、
   前記長時間露光パターン及び短時間露光パターンから予測値を生成するステップと、
   前記予測値から高度ＨＤＲビットストリームを符号化するステップと、
   前記高度ＨＤＲビットストリームから変換された配信デジタルデータストリームをＨＤＲディスプレイ装置上に表示するステップと、
   を含むことを特徴とする方法。
2. 前記ＨＤＲ光学センサに入力光学データストリームを合焦させるステップをさらに含む、
   請求項１に記載の方法。
3. 前記高度ＨＤＲビットストリームを受け取ることによって受信機ビットストリームを変換するステップをさらに含む、
   請求項１に記載の方法。
4. 前記ＨＤＲ光学センサから画素ストリームを生成するステップをさらに含む、
   請求項１に記載の方法。
5. 前記高度ＨＤＲビットストリームを、出力装置を通じて転送するステップをさらに含む、
   請求項１に記載の方法。
6. ビデオ処理システムの動作方法であって、
   長時間露光パターン及び短時間露光パターンを有する複数の画素センサを有する高ダイナミックレンジ（ＨＤＲ）光学センサにアクセスするステップと、
   現在の画素レジスタをサンプリングするステップを含めて、前記長時間露光パターン及び短時間露光パターンから予測値を生成するステップと、
   再構成画素（Ｎ−２）、再構成画素（Ｎ−４）又はこれらの組み合わせを選択するステップを含めて、前記予測値から高度ＨＤＲビットストリームを符号化するステップと、
   入力光学データストリームを再現するステップを含めて、前記高度ＨＤＲビットストリームから変換された配信デジタルデータストリームをＨＤＲディスプレイ装置上に表示するステップと、
   を含むことを特徴とする方法。
7. 前記ＨＤＲ光学センサに前記入力光学データストリームを合焦させることによって、一連の画素センサを活性化させるステップをさらに含む、
   請求項６に記載の方法。
8. ６ビットコンテンツを有する残差インジケータを、前記高度ＨＤＲビットストリームを生成するように構築するステップを含めて、前記高度ＨＤＲビットストリームを受け取ることによって受信機ビットストリームを変換するステップをさらに含む、
   請求項６に記載の方法。
9. 前記予測値を選択する前記現在の画素レジスタを取り込むステップを含めて、前記ＨＤＲ光学センサから画素ストリームを生成するステップをさらに含む、
   請求項６に記載の方法。
10. 有線送信チャネル、デジタルビデオディスク、コンパクトディスク又は不揮発性メモリ装置を通じて転送するステップを含めて、前記高度ＨＤＲビットストリームを、出力装置を通じて転送するステップをさらに含む、
    請求項６に記載の方法。
11. ビデオ処理システムの動作方法であって、
    長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサにアクセスするステップと、
    前記長時間露光パターン及び短時間露光パターンから予測値を生成するステップと、
    前記予測値から高度ＨＤＲビットストリームを符号化するステップと、
    前記高度ＨＤＲビットストリームを、出力装置を通じて転送するステップと、
    を含むことを特徴とする方法。
12. ビデオ処理システムの動作方法であって、
    高度ＨＤＲビットストリームを受け取るステップと、
    前記高度ＨＤＲビットストリームからの受信機ビットストリームを変換してＨＤＲディスプレイ装置上に表示するステップと、
    を含むことを特徴とする方法。
13. ビデオ処理システムであって、
    長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサと、
    前記長時間露光パターン及び短時間露光パターンから予測値を生成する、前記ＨＤＲ光学センサに結合された予測ユニットと、
    前記予測値から高度ＨＤＲビットストリームを符号化する、前記予測ユニットに結合された固定長符号化ユニットと、
    前記高度ＨＤＲビットストリームから変換された配信デジタルデータストリームを表示するＨＤＲディスプレイ装置と、
    を備えることを特徴とするビデオ処理システム。
14. 前記ＨＤＲ光学センサに入力光学データストリームを合焦させる、前記ＨＤＲ光学センサに光学的に結合されたレンズをさらに備える、
    請求項１３に記載のシステム。
15. 前記高度ＨＤＲビットストリームを受け取ることによって受信機ビットストリームを変換する受信機ユニットをさらに備える、
    請求項１３に記載のシステム。
16. 前記ＨＤＲ光学センサから画素ストリームを生成する、前記ＨＤＲ光学センサに結合されたビデオエンコーダをさらに備える、
    請求項１３に記載のシステム。
17. 前記高度ＨＤＲビットストリームを転送する出力装置をさらに備える、
    請求項１３に記載のシステム。
18. 前記ＨＤＲ光学センサ内の複数の画素センサと、
    前記ＨＤＲ光学センサに結合された、現在の画素レジスタを含む画素分析ユニットと、
    前記画素分析ユニットに結合された以前の画素バッファと、
    をさらに備える請求項１３に記載のシステム。
19. 前記ＨＤＲ光学センサに合焦した入力光学データストリームによって活性化される一連の画素センサをさらに備える、
    請求項１８に記載のシステム。
20. 前記高度ＨＤＲビットストリームを生成するように構築された６ビットコンテンツを有する残差インジケータを含む、受信機ビットストリームを変換する受信機ユニットをさらに備える、
    請求項１８に記載のシステム。
21. 前記予測値を選択するために、現在の画素レジスタを含む、前記ＨＤＲ光学センサから生成された画素ストリームをさらに備える、
    請求項１８に記載のシステム。
22. 前記高度ＨＤＲビットストリームを有する有線送信チャネル、デジタルビデオディスク、コンパクトディスク又は不揮発性メモリ装置を含む、前記高度ＨＤＲビットストリームを転送する出力装置をさらに備える、
    請求項１８に記載のシステム。
23. ビデオ処理システムであって、
    長時間露光パターン及び短時間露光パターンを有する高ダイナミックレンジ（ＨＤＲ）光学センサと、
    前記長時間露光パターン及び短時間露光パターンから予測値を生成する、前記ＨＤＲ光学センサに結合された予測ユニットと、
    前記予測値から高度ＨＤＲビットストリームを符号化する、前記予測ユニットに結合された固定長符号化ユニットと、
    前記高度ＨＤＲビットストリームを転送する出力装置と、
    を備えることを特徴とするシステム。
24. ビデオ処理システムであって、
    受信機ユニットと、
    前記受信機ユニットに結合された高度ＨＤＲビットストリームと、
    を備え、前記高度ＨＤＲビットストリームは、該高度ＨＤＲビットストリームからの受信機ビットストリームをＨＤＲディスプレイ装置上に表示できるように変換する、
    ことを特徴とするシステム。

Images