JP2021524694A

JP2021524694A - 撮像方法およびシステム

Info

Publication number: JP2021524694A
Application number: JP2020570465A
Authority: JP
Inventors: ジー．ピエリ，エリザベス; アトキンス，ロビン; アンピトラルツ，ジャクリーン
Original assignee: ドルビーラボラトリーズライセンシングコーポレイション
Priority date: 2018-06-18
Filing date: 2019-06-13
Publication date: 2021-09-13
Anticipated expiration: 2039-06-13
Also published as: EP3808068A1; US11711486B2; CN112514359B; CN112514359A; EP3808068B1; WO2019245876A1; KR102369148B1; US20210250564A1; KR20210021062A; JP7003304B2

Abstract

カメラなどのイメージセンサを用いて撮影された画像を処理するための、方法およびシステムを記載する。一実施形態において、前記撮影された画像の推定周囲光レベルが決定され、これは、視聴環境において、前記推定周囲光レベル下での前記画像の見かけ上のコントラストを保持するように前記画像を補正するために用いられる、光−光学伝達関数（ＯＯＴＦ）の算出のために用いられる。前記推定周囲光レベルは、カメラキャリブレーションから導出された露出パラメータおよびカメラ固有パラメータを含む関数を用いて、前記イメージセンサからの画素値をスケーリングすることにより決定される。

Description

関連出願への相互参照
本願は、２０１８年６月１８日付け出願の米国仮出願第６２／６８６，３７１号および２０１８年６月１８日付け出願の欧州特許出願第１８１７８２６６．５号に基づく優先権を主張し、これらの各々の全体を参考のため本願に援用する。
技術

本発明は、画像全般に関する。特に、本発明の一実施形態は、カメラまたは他のデバイスで撮影された画像に関する。

カメラによって撮影された元のシーンからのシーン画像を、様々な表示能力を有する１つ以上の表示装置（例えば、ターゲットディスプレイ）上で描画される表示画像に変換するために、しばしば画像処理動作が使用されるが、これらの動作は、ターゲットディスプレイ上に表示されたときに、元のシーンのシーン画像のコントラストおよび色度を保持しない場合がある。例えば、人間の視覚的には、ターゲットディスプレイ上で描画された表示画像は、その場で視聴者が見るもの、またはカメラが元のシーンから撮影するものとは、コントラストおよび色度が異なるように見えるかもしれない。これは、ドルビーのディスプレイマネジメントテクノロジー（Ｄｏｌｂｙ’ｓＤｉｓｐｌａｙＭａｎａｇｅｍｅｎｔｔｅｃｈｎｏｌｏｇｙ）などの高度な画像処理技術が使用されている場合でも同様である。

本明細書において、「ディスプレイマネジメント」または「ディスプレイマッピング」という用語は、第１のダイナミックレンジ（例えば１０００ニト）の入力ビデオ信号の画像またはピクチャを、限られた色域を有するかもしれないターゲットディスプレイを用いた第２のダイナミックレンジ（例えば５００ニト）での表示にマッピングするために必要な処理（例えば、色調および色域マッピング）を意味する。ディスプレイマネジメントプロセスの例は、２０１６年１月１４日付け出願の、「Ｄｉｓｐｌａｙｍａｎａｇｅｍｅｎｔｆｏｒｈｉｇｈｄｙｎａｍｉｃｒａｎｇｅｉｍａｇｅｓ」の名称を有するＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１６／０１３３５２号（以下’３５２出願と呼ぶ）に見出すことができる。この出願の全体を参考のため本願に援用する。

典型的なコンテンツ制作パイプラインでは、映像は５ニトの周囲環境においてカラーグレーディングされる。実際には、視聴者は、例えば５ニト（暗いホームシアターで映画を見る場合など）、１００〜１５０ニト（比較的明るいリビングルームで映画を見る場合など）、またはそれ以上（例えば、非常に明るい部屋や屋外の昼光下においてタブレットで映画を見る場合など）と、様々な周囲環境でコンテンツを表示することがあり得る。

本節に記載されているアプローチは、追求され得るアプローチであるが、必ずしも以前に想到されたり、追求されたアプローチであるとは限らない。したがって、特に明記されていない限り、本節に記載されているアプローチのいずれかが、本節に記載されているというだけで先行技術として適格であると仮定すべきではない。同様に、１つ以上のアプローチに関して特定された問題は、特に明記されていない限り、本節に基づいて先行技術において既に認識されたものであると仮定すべきではない。

本発明を、添付の図面の図において例示しているが、これに限定されるものではない。図面において、類似の参照符号は類似の要素を示している。

図１は、本発明の１つ以上の実施形態の一例をフローチャート形式で示す。図２は、本発明の１つ以上の実施形態において使用され得る補正曲線または関数の実施形態を示す。図３は、本発明の１つ以上の実施形態で使用可能な一連の動作を伴うシステムの例を示す。図４は、本発明の１つ以上の実施形態を実行または実施するために使用できるデータ処理システムの一例を示す。

様々な実施形態および局面を、以下に考察する詳細を参照して説明される。添付の図面において、様々な実施形態を例示する。以下の説明および図面は例示的なものであり、これを限定するものとして解釈されるべきではない。数多くの具体的な詳細は、様々な実施形態の完全な理解を提供するために記載されている。しかしながら、特定の例においては、実施形態の簡潔な考察を提供するために、周知または従来の詳細は記載されていない。

本明細書中の「一実施形態（ｏｎｅｅｍｂｏｄｉｍｅｎｔ）」または「ある実施形態（ａｎｅｍｂｏｄｉｍｅｎｔ）」への言及は、その実施形態に関連して記載された特定の特徴、構造、または特性が、少なくとも一実施形態に含まれ得ることを意味する。本明細書の様々な場所での「一実施形態において」という表現が現れるとき、必ずしもすべてが同じ実施形態を指すものではない。後述の図に描かれた処理は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア、またはその両方の組み合わせからなる処理ロジックによって実行される。以下では、いくつかの連続した動作について説明するが、説明された動作のいくつかは、異なる順序で実行されてもよいことを理解すべきである。また、一部の動作は順次ではなく並列に実行される場合がある。

本明細書に記載された実施形態は、カメラやスマートフォンなどのデバイス、またはカメラを含む他のデバイスによって撮影されたコンテンツから、見栄えの良いハイダイナミックレンジおよびスタンダードダイナミックレンジ画像ならびに映像を一貫して達成するために使用することができる。画像が撮影されたデバイスの露出および特性に関する情報を用いて、本実施形態は、画像のシーンにおける絶対的な明るさレベルを決定することができ、そしてこれを、画像の周囲条件を予測するために使用することができる。この情報を人間の明るさおよび色の知覚に関する知見と組み合わせることにより、撮影された画像は、元のシーンの周囲環境とは異なる可能性のある視聴環境で画像を表示しながら、シーンの元の環境におけるシーンの見た目を最もよく保持するような様態で、様々なディスプレイに対してマッピングすることができる。

シーン画像によって捉えられた、元のシーンのその場にいる視聴者に対する元のシーンの視覚的外観を、シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）の視覚的外観と呼ぶことがある。シーン画像から導出／変換された表示画像が、表示装置上で描画されたときの視覚的外観を、ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）の視覚的外観と呼ぶことがある。

本明細書において、「視覚的外観」という用語は、視覚的に知覚可能なコントラストと視覚的に知覚可能な色度（色相および彩度）との組み合わせを意味し、または視覚的に知覚可能なコントラストと視覚的に知覚可能な色相との組み合わせを意味する。

本明細書に記載される手法は、元のシーンのディスプレイ−リファードの視覚的外観が、忠実に（例えば、完全に、知覚的に、人間が気付くしきい値以下で、または比較的小さな誤差の範囲内でなど）元のシーンのシーン−リファードの視覚的外観を再現することを確実にするために適用することができる。いくつかの実施形態では、元のシーンのシーン−リファードの視覚的外観とは、元のシーンから心地よい（ｐｌｅａｓｉｎｇ）シーン画像を生成することを意図して選択された特定のカメラ設定および特定のカメラ画像信号処理（カメラＩＳＰ）を用いた、元のシーンの視覚的外観を指すことがあることに留意すべきである。

本明細書に記載される手法の下で生成され、描画された表示画像は、視聴者（例えば、人間など）が、元のシーン、または、視聴者が指定した好みの要素を持った元のシーンと同じ視覚的外観を知覚することを可能にする。視聴者は、元のシーンのシーン−リファードの視覚的外観な意味において、視聴者（または仮想的な視聴者）が元のシーンのその場で見るであろうものを、表示画像から見ることができる。

一実施形態における方法は、以下の動作を包含し得る：カメラを介して画像を撮影する工程であって、前記撮影された画像は前記画像中の画素を表す第１の複数の画像データを含む、工程と、前記第１の複数の画像データに基づいて前記撮影された画像の推定周囲光レベルを決定する工程であって、前記推定周囲光レベルは、（前記画像が撮影されたときに前記カメラ上で用いられた）カメラ固有パラメータおよび露出パラメータを含む関数を用いて、１つ以上の絶対シーン光レベルを得るために前記カメラ内のセンサからの画素値をスケーリングすることによって決定され、前記露出パラメータは絞り設定、露光時間設定およびセンサ感度設定を含み、前記カメラ固有パラメータはカメラキャリブレーションから導出される、工程と、推定周囲光レベルに基づいて光−光学伝達関数（ＯＯＴＦ）を算出する工程と、前記ＯＯＴＦを用いて前記第１の複数の画像データから導出された前記画像データを補正することによって、前記第１の複数の画像データから導出された画像データを変換する工程であって、前記変換は、ある視聴環境において、前記画像が前記視聴環境で表示されるとき、前記推定周囲光レベルの下での前記画像の見かけ上のコントラストを保持するように構成されている、工程と。一実施形態において、前記光−光学伝達関数は、異なる周囲光条件における人間の知覚を補償することによって、前記画像が撮影されたシーン環境に由来する前記画像の見た目を保持することができる。一実施形態において方法は、複数の異なるターゲットディスプレイにまたがってディスプレイマネジメントを提供するように適応されることができ、それら異なるターゲットディスプレイにわたって、前記撮影された画像に由来する実質的に同じ見た目を達成する。一実施形態において方法は、ターゲットディスプレイに対して構成された色調マッピング関数を介して、前記第１の複数の画像データから導出された画像データをマッピングすることにより、前記画像を前記ターゲットディスプレイ上で表示する用にマッピングする工程であって、前記色調マッピング関数は前記ターゲットディスプレイの色域および輝度パラメータに基づいて構成されている、工程を包含し得る。一実施形態において、前記変換は、前記色調マッピング関数を介した前記マッピングよりも前に、前記第１の複数の画像データから導出された前記画像データを補正することによって、前記色調マッピング関数は前記変換から導出されたデータに対して作用し得る。一実施形態において、前記色調マッピング関数は、前記ターゲットディスプレイの色域および輝度パラメータに合致するように、前記画像のダイナミックレンジを圧縮し得る。別の実施形態において、前記変換およびマッピングは、前記ＯＯＴＦを組み込んだ前記色調マッピング関数によって同時に実行され得る。

一実施形態において、前記推定周囲光レベルは、前記画像の画像データとともにメタデータとして保存され、前記色調マッピングは、絶対シーン光レベルにスケーリングされた画素値に対して行われる。一実施形態において、前記カメラ固有パラメータは、カメラキャリブレーション動作から経験的に導出された定数値である。一実施形態において、前記カメラキャリブレーションは、異なる露出パラメータ設定（例えば可能な異なる露出パラメータ設定のすべて、またはそのような設定の部分集合）においてテストターゲットの画像を撮影し、前記カメラの位置における前記テストターゲットの輝度を測定して、キャリブレーションプロセス中に用いられる前記カメラ固有パラメータおよび前記露出パラメータを含む関数に最もよく合致する定数値の値を解くことを包含し得る。一実施形態において、前記カメラ固有パラメータは、前記カメラのカメラキャリブレーションから導出され、前記キャリブレーションされたカメラと同一のセンサ設計を有する同様なカメラに対して用いられるために格納される。

一実施形態において、前記推定周囲光レベルは、前記画像中のすべての画素（またはすべての画素の部分サンプリングされた集合）の輝度値の中央値または平均値、前記画像のある部分（顔やその他の前記画像のうち顕著な部分）の輝度値の中央値または平均値、前記画像内の最大輝度値と前記画像内の最小輝度値との間の輝度値のある選択された範囲における中央値または平均値、前記画像中の最大輝度値、周囲光センサの読み取り値、露出センサの読み取り値、露出の最適化専用の画素からのデータ、および手動のユーザー入力、のうちの１つから導出され得る。

一実施形態において、前記ＯＯＴＦは、推定周囲光と前記視聴環境の所定のまたは動的に測定された周囲光との差に基づいて前記画像データを補正し、かつ、前記ＯＯＴＦは、前記カメラが自動露出モードに設定されたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しでターゲット視聴環境中の前記ターゲットディスプレイ上に表示される。一実施形態において、前記手動露出調整は、手動露出設定または前記画像が撮影されたときにユーザーによって設定された露出アンダーまたは露出オーバー設定などの、手動選択された露出補償設定のうち１つであり得る。一実施形態において、前記視聴環境の前記所定の周囲光は５ニトであり得る。一実施形態において、前記視聴環境の前記動的に測定された周囲光は、前記ターゲットディスプレイに一体化された周囲光センサによって測定されることにより、前記ＯＯＴＦは前記周囲光センサの出力によって動的に制御され得る。

一実施形態において、前記ＯＯＴＦは、前記カメラが自動露出モードで用いられたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しで前記視聴環境中の前記ターゲットディスプレイ上に表示される。一実施形態において、前記カメラは、スマートフォンに一体化されたカメラ、タブレットコンピュータに一体化されたカメラ、一眼レフカメラ、ミラーレスカメラ、または前記画像を前記センサ上にフォーカスするレンズと、記憶装置と、前記センサおよび前記記憶装置に接続された制御システムとを有するデバイス、のうち１つであり得る。

一実施形態において方法は、前記絶対光レベルを用いて前記画像の白色点を推定し、色適応変換（ｃｈｒｏｍａｔｉｃａｄａｐｔｉｎｇｔｒａｎｓｆｏｒｍ）を適用して、前記画像を基準適応白色点に変換することをさらに包含し得る。

一実施形態において、前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度より高い輝度を有するときには前記相対的に暗い領域におけるコントラストを減少するように調整することによって、前記見かけ上のコントラストを保持し、かつ、前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度よりも低い輝度を有するときには前記画像の前記相対的に暗い領域におけるコントラストを増大するように調節することによって、前記見かけ上のコントラストを保持する。

一実施形態において、前記メタデータは、前記画像におけるフレアを補償するために用いられ得、前記フレア補償は、前記推定周囲光レベルを表す値の関数である。この実施形態において、前記メタデータは、本明細書に記載のように導出された絶対シーン光レベルに関するメタデータを含み得る。

一実施形態において、前記色調マッピング関数は前記画像の１つ以上の領域における局所的色調マッピングを包含し得、前記局所的色調マッピングは、前記撮影された画像からスタンダードダイナミックレンジ画像を生成するためのマッピング中において用いられ得る。一実施形態において、前記メタデータは、逆マッピングを介してハイダイナミックレンジ画像を再構成するときに用いられる前記スタンダードダイナミックレンジ画像とともに、保存され得る。一実施形態において、前記メタデータは、スタンダードダイナミックレンジ画像から前記ハイダイナミックレンジ画像への逆マッピングのための多変量重回帰（ＭＭＲ）係数を計算するために用いられ得る。

本明細書に記載された実施形態は、処理システム中に１つ以上のプロセッサおよびメモリを含み、かつ本明細書に記載された方法のいずれか１つを実行するように構成された装置において用いることができる。さらに、本明細書に記載された実施形態は、機械によって実行されたとき、機械に本明細書に記載された方法のいずれか１つを実行させる実行可能なコンピュータプログラム命令を格納する、非一時的な機械可読性の記憶媒体を用いて実施することができる。

図１は、本発明の一実施形態による方法の一例を示す。動作１０において、デバイスは、撮影された画像および、その画像を撮影するために使用された露出パラメータを記憶することができる。一実施形態において、デバイスはカメラであることができ、露出パラメータは、絞り設定、露光時間設定、およびセンサの感度設定を含むことができる。一実施形態において、撮影された画像は、特定のカメラのためのカメラキャリブレーション動作から導出される特定のカメラパラメータ値と関連付けられることができる。カメラキャリブレーション動作の例を以下に説明する。カメラ固有パラメータ値は、撮影された画像を処理する際に使用するために取り出す（ｒｅｔｒｉｅｖｅ）ことができる。動作１２において、デバイスは、カメラ固有パラメータ値ならびに画像が撮影されたときに使用された露出パラメータを用いて、撮影された画像内の画素値をスケーリングすることにより、絶対シーン光値を生成することができる。画素値のスケーリングは、各画素の輝度チャネルを用いて、各画素の絶対シーン光レベル値（シーンの周囲光レベルを推定するために、これを後の動作において使用することができる）を導出するために実行することができる。一実施形態において、以下のスケーリング式を使用して、画像内の各画素の輝度チャネルから絶対シーンレベルを導出することができる。

ここで、相対カメラ露出（ＲｅｌａｔｉｖｅＣａｍｅｒａＥｘｐｏｓｕｒｅ）は、イメージセンサのＲＧＢ出力から導出される画素あたりの露出値を表すことができ、絞り（Ａｐｅｒｔｕｒｅ）は、画像の絞り設定（例えば、ｆ／４）であり、露光時間（ＥｘｐｏｓｕｒｅＴｉｍｅ）は、画像の露光時間設定（例えば、１／６０秒）であり、ＩＳＯは、画像のセンサの感度設定（例えば、ＩＳＯ＝１００）であり、ｋは、本明細書に記載されるカメラキャリブレーションから導出されるカメラ固有パラメータである。

動作１４では、次に、本方法は、スケーリングされた画素値に基づいて、撮影された画像の推定周囲光レベルを決定することができる。一実施形態において、推定周囲光レベルは、画像内のすべての画素値の中央値または平均値から導出または決定することができる。別の実施形態において、推定周囲光レベルは、画像の顕著な部分（ｓａｌｉｅｎｔｐｏｒｔｉｏｎ）の中央値または平均値から決定することができる。一実施形態において、推定周囲光レベルは、画像内の画素の最大値から決定することができる。一実施形態において、推定周囲光レベルは、画像内の最大輝度値と画像内の最小輝度値との間の輝度値のある選択された範囲における中央値または平均値から決定することができる。一実施形態において、撮影された画像の推定周囲光レベルは、デバイス上の周囲光センサの読み取り値、または露出センサの読み取り値、または手動のユーザー入力から決定することができる。

動作１６において、本方法は、推定周囲光レベルを、後続の処理ステップにおける画像のさらなる処理で使用することができるメタデータとして保存することができる。オプションとして、メタデータは、画像に関する他のメタデータならびに、ターゲットディスプレイに関するメタデータおよび、ソースあるいは画像を撮影するために使用されたカメラなどの撮影装置に関するメタデータとともに、格納することができる。動作１８において、デバイスは、次に、推定周囲光レベルおよびターゲットディスプレイの視聴環境に関するメタデータを使用して、光−光学伝達関数（ｏｐｔｉｃａｌ−ｏｐｔｉｃａｌｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ；ＯＯＴＦ）などの補正曲線を算出することができる。一実施形態において、ＯＯＴＦは、画像が視聴環境において表示されるとき、視聴環境にある間、推定周囲光レベルの下での画像の見かけ上のコントラストを保持するように構成することができる。例えば、ＯＯＴＦは、推定周囲光レベルが視聴環境の輝度よりも高い輝度を有するときに、画像の相対的に暗い領域のコントラストを減少させるように画像の相対的に暗い領域の画像データを調整することによって見かけ上のコントラストを保持することができ、逆に、推定周囲光レベルが視聴環境の輝度よりも低い輝度を有するときに、画像の相対的に暗い領域のコントラストを増加させるように画像の相対的に暗い領域の画像データを調整することによって、ＯＯＴＦは見かけ上のコントラストを保持することができる。一実施形態において、視聴環境に関するメタデータは、５ニトの基準レベルなどのような、視聴環境の所定値であってもよい。別の実施形態において、メタデータは、視聴環境にある表示装置のその視聴環境の周囲光を動的に測定する周囲光センサから導出することができ、言い換えれば、周囲光センサは、ターゲットディスプレイまたはその近傍に取り付けられた周囲光センサであることができ、その周囲光センサは、ユーザーがターゲットディスプレイを使用しターゲットディスプレイ上の画像を視聴している間、視聴環境の周囲光を測定することができる。また、ターゲットディスプレイに関するメタデータは、ターゲットディスプレイの色域に関する情報と、ターゲットディスプレイがターゲット表示装置上に提示し得る最大輝度値および最小輝度値などのターゲットディスプレイの輝度パラメータに関する情報とを含むことができる。

動作２０において、デバイスは、本明細書に記載するＯＯＴＦのような補正曲線を使用して、絶対シーン光値における画素値で表すことができる画像データを補正することができる。一実施形態において、動作２０は、画像が撮影されたときにユーザーがカメラで手動露出補償を選択したかどうかに依存することができる。例えば、一実施形態において、画像データは、ユーザーが露出アンダーまたは露出オーバーの手動補正設定などの手動露出補償を選択した（画像が撮影されたときにユーザーによって選択された）場合には、本明細書に記載されたＯＯＴＦによって補正されないことがある。多くのカメラは、ユーザーが画像を露出アンダーまたは露出オーバーになるようにカメラを手動設定することを可能にする操作部（例えば、ノブなど）を含み、また、多くのカメラは、ユーザーが絞り、露光時間、およびＩＳＯ（センサ感度）を手動選択することを可能にすることにより、露出を手動設定することを可能にしている。また、ユーザーがカメラの自動露出モードを使用しない露出設定などの手動露出設定を使用してカメラを設定したときの実施形態でも、補正をスキップすることができる。動作２０がデバイス内で使用された場合（例えば、手動補償なしで自動露出が使用された場合）、１つ以上の実施形態において、本明細書に記載されるようにコントラストを保持するよう画像を補正する。

動作２２が動作２０に続くことができる。動作２２は、リファレンスディスプレイよりも低いダイナミックレンジを有し得るターゲットディスプレイ上に表示されるために適するように、画像のダイナミックレンジを圧縮することが可能な色調マッピング関数を用いることを包含することができる。色調マッピング関数は輝度値をマッピングすることができ、また、ドルビービジョン（ＤｏｌｂｙＶｉｓｉｏｎ）に関連する技術（様々な異なるターゲットディスプレイのためのディスプレイマネジメントのための技術を提供する）など当該技術分野で公知の技術を使用し、ターゲット表示装置上で彩度および色相を保持するために、他の関数がカラーチャネル値を調整することができる。一実施形態において、動作２０および２２は、画像データの補正および画像データの色調マッピングを同時に行う動作によって、同時に実行され得る。

動作２０および２２から得られる画像は、一実施形態において、その後、視聴環境におけるターゲットディスプレイ上に表示され得る。これは、図１に動作２４として示されている。

図２は、一実施形態において、１つ以上の光−光学伝達関数を用いて実施され得る補正曲線の例を示す。本明細書に記載されるような光−光学伝達関数（ＯＯＴＦ）が、元のシーンから撮影されたシーン画像で表される元のシーンのシーン光レベルをマッピング後の光レベルに変換するために、適用されてもよい。マッピング後の光レベルを用いて、１つ以上の表示装置によって描画されるための表示画像内のディスプレイ光レベルを表現することができる。またはマッピング後の光レベルがさらにマッピングされることで、これを生成することができる。ＯＯＴＦの例は、本明細書に参考として援用するＲｅｃｏｍｍｅｎｄａｔｉｏｎＩＴＵ−ＲＢＴ．２１００−０（０７／２０１６）に記載されている。図２に示された曲線は、ＯＯＴＦを用いて実施され得る異なるタイプの補正の例として意図されている。図２に示されたものとは異なる形状を有する他の曲線を、本明細書に記載された方法およびシステムにおいて画像を補正するために代替的に使用することができる。グラフ５０は、入力値を表すＸ軸５２と、関数に供給された入力値に基づいてＯＯＴＦ関数から導出された出力値を表すＹ軸５４とを示す。曲線５６は、画像データを補正しない補正曲線の例を示しており、言い換えれば、すべての可能な入力値について入力値は出力値と等しくなる。一実施形態において、補正曲線５６は、ＯＯＴＦがここから画像データを補正するための基準補正曲線とみなすことができる。一実施形態において、基準補正曲線５６は、グラフ５０上で４５°に傾斜した直線とは異なるものであってもよい。補正曲線５８および５９は、一実施形態において、周囲光レベル（元のシーンの）が視聴環境の光レベルよりも大きい場合に使用され得る補正曲線の２つの例を示す。これらの補正曲線５８および５９の例では、これらの曲線は、推定周囲光レベルが視聴環境の輝度よりも高い輝度を有する場合に、画像の相対的に暗い領域の画像データを調整して、相対的に暗い領域のコントラストを減少させることにより、元のシーンの見かけ上のコントラストを保持する。補正曲線６０は、周囲光レベルが視聴環境の光レベルよりも低い場合に使用できる別の補正曲線である。補正曲線６０は、推定周囲光レベルが視聴環境の輝度よりも低い輝度を有する場合に、画像の相対的に暗い領域の画像データを調整して、画像の相対的に暗い領域のコントラストを増加させることにより、見かけ上のコントラストを保持することができる補正の一例である。一実施形態において、視聴環境の光レベルは、５ニトなどの所定値に設定することができる。別の実施形態において、視聴環境の光レベルは、ターゲットディスプレイに一体化された周囲光センサなどの周囲光センサから動的に決定することができる。例えば、スマートフォンはターゲットディスプレイを有することができ、またスマートフォンは、視聴環境の周囲光を動的に測定するために使用することができる（これはそして本明細書に記載された１つ以上の方法に従ってＯＯＴＦ関数の使用を制御することができる）、少なくとも１つの周囲光センサを有することができる。補正曲線５６などの基準補正曲線が図２に示されているような直線とは異なる場合には、他の補正曲線の形状は図２に示されているものとは異なって見え得ることが理解されるであろう。一実施形態において、補正曲線への入力は、図１の動作１２のスケーリング動作のようなスケーリング動作に基づいて生成された絶対シーン値であってもよい。

一実施形態における一連の処理動作の例を、図３を参照しながら説明する。図３に示すブロックは、カメラ、またはカメラを含む他のデバイス、またはカメラからデータを受信するがそれ自体はカメラではない他のデバイスに含まれることができる、データ処理システムで実行される処理動作を表し得る。図３に示されたブロックは、専用ハードウェアで処理されるか、あるいはカメラからデータを受信するように接続されているかまたはカメラをシステムの一部として含む汎用プロセッサ上で実行される、ソフトウェアで処理されることができる。動作は、システムがカメラ３０１からデータを受信したときに開始することができる。一実施形態において、カメラ３０１からのデータはテキストファイル内のテキストデータを含むことができ、これは画像の絞り設定、画像の露光時間、画像のセンサ感度レベルなどの露出メタデータ３０３を指定することができる。カメラ３０１からのデータはまた、当該技術分野で公知のＲＡＷ画像データであり得る画像データ３０５を含む。一実施形態において、画像データ３０５は、画像に対するさらなる動作に先立って画像を処理するために、当該技術分野で知られているディベイヤ処理（ｄｅｂａｙｅｒｉｎｇｐｒｏｃｅｓｓｉｎｇ）などの処理動作を実行することができる画像信号処理３０７によって処理され得る。一実施形態において、露出メタデータ３０３を、画像信号処理３０７における処理動作の入力として使用することができる。一実施形態において、画像信号処理３０７からの出力が、線形ＲＧＢ画素値３０９をスケーラ３１１に提供することができる。一実施形態において、スケーラ３１１は、画素値を絶対画素値にスケーリングするために、露出メタデータ３０３およびソースデバイスデータ３１２を受信することができる。一実施形態において、スケーラ３１１は、線形ＲＧＢ画素値３０９を絶対ＲＧＢ画素値３１４にスケーリングするために、以下の式を使用することができる。

式の出力は、各画素について、その画素の絶対シーン光レベルを表す絶対画素値を提供する。絶対ＲＧＢ画素値３１４の出力は、その後、以下にさらに説明するようなさらなる処理のために、周囲光分析器３１５に提供され得る。スケーラ３１１への他の入力は、カメラキャリブレーションに基づく定数値（例えばｋ）を含む、ソースデバイスデータ３１２である。一実施形態において、カメラ製造業者の代表的なカメラまたはスマートフォン製造業者の代表的なスマートフォンを、定数値（カメラ固有パラメータ）を導出するために一連の１つ以上のキャリブレーション動作において使用することができる。この定数値はそして、そのカメラによってその特定のデバイスのために取得された画像を処理する際に使用するために、保存されることができる。一実施形態において、カメラのセンサ設計が変更されない限り、定数値は、そのカメラ（例えば、特定のカメラまたはスマートフォンのモデル）に対して有効なままであり得、図３または図１に示すかあるいは本明細書にその他記載される動作を提供するため、そのカメラと共に使用するために配布され得る処理ソフトウェアで使用され得る。一実施形態において、カメラキャリブレーション動作は、異なる露出パラメータ設定でテストターゲットの１つ以上の画像を撮影し、カメラの位置でテストターゲットの輝度を測定し、次いで、カメラ固有パラメータと露出パラメータとを含む上記の関数または式に最もよく適合する定数値の値を解くことを含むことができる。カメラ固有パラメータは、代表的なカメラから導出された後に、代表的なカメラまたはデバイスと同じセンサ設計を有する類似のカメラで使用するために記憶されることができる。この例では、カメラ固有値あるいは定数Ｋは、式の中で分かっていない唯一の値である。なぜならば、露出パラメータ設定および（カメラの位置での）テストターゲットの輝度は既知であり、したがって、定数値またはカメラ固有パラメータについて解くことは可能であるからである。一実施形態において、異なる露出パラメータ設定と異なる光強度で複数の画像を取得することで値の配列を提供してから、これを用いて定数値に最もよく合致する解を導き出すことができる。

周囲光分析器３１５は、絶対ＲＧＢ画素値３１４を受信し、本明細書に記載するように、絶対ＲＧＢ画素値３１４に基づいて、周囲光レベルまたは推定周囲光レベルを計算する。例えば、周囲光分析器３１５は、全ての絶対ＲＧＢ画素値３１４の輝度値の平均値または中央値を計算することができる。その平均値または中央値は、シーンの推定周囲光レベル（絶対光レベルでの）を表すことができ、図２に関連して上述したような光−光学伝達関数の補正曲線を選択するために使用することができる。一実施形態において、周囲光分析器３１５はまた、ターゲットディスプレイなどのディスプレイに関する情報を受信することができ、この情報は、ターゲットディスプレイ３１６に関するメタデータ３１６であり得る。このメタデータ３１６は、周囲光分析器３１５からのメタデータ３１７中において、他のメタデータと共に提供され得る。一実施形態において、メタデータ３１７はターゲットディスプレイメタデータ３１６を含み、さらに、後述するさらなる処理動作で使用することができる、シーンの推定周囲光レベルも含む。ターゲットディスプレイメタデータ３１６は、画像が表示される可能性のある特定のターゲットディスプレイまたは一群のディスプレイに関するメタデータを含むことができる。例えば、ターゲットディスプレイメタデータ３１６は、ターゲットディスプレイの色域、ならびに最大輝度値および最小輝度値を含む様々なレベルの輝度を表示することに関してのその能力に関するメタデータ、およびターゲットディスプレイに関する他の情報を含むことができる。一実施形態において、ターゲットディスプレイメタデータは、ドルビーのディスプレイマネジメントシステム（Ｄｏｌｂｙ’ｓＤｉｓｐｌａｙＭａｎａｇｅｍｅｎｔｓｙｓｔｅｍ）で使用されるターゲットディスプレイメタデータと類似していてもよい。一実施形態において、ターゲットディスプレイメタデータ３１６は、ターゲットディスプレイの視聴環境の周囲光レベルを追加的に含むこともでき、例えば、ターゲットディスプレイが周囲光センサを備えている場合、その周囲光センサからの出力は、そのターゲットディスプレイメタデータ３１６の一部として視聴環境の周囲光レベルを提供するために使用することができる。

周囲光分析器３１５からのメタデータ３１７の出力は、カラーボリュームマッピング３２３へ提供することができる。絶対ＲＧＢ画素値３１４を含むスケーラ３１１の出力は、色空間変換３２１への入力として提供することができる。一実施形態において、色空間変換３２１は、絶対ＲＧＢ画素値を絶対ＩＣ_TＣ_P値に変換することができ、これらの値は、知覚的量子化（ＰＱ）を利用した色空間内にあり得る。

本明細書で使用される用語「ＰＱ」は、知覚的量子化を意味する。人間の視覚システムは、非常に非線形的に光レベルの増加に応答する。刺激を見る人間の能力は、刺激の輝度、刺激の大きさ、刺激を構成する空間周波数（単数または複数）、および刺激を見ている特定の瞬間に目が適応している輝度レベル、およびその他の要因によって影響を受ける。好ましい実施形態では、知覚的量子化器関数は、線形入力グレーレベルを、人間の視覚システムにおけるコントラスト感度しきい値とよりよく合致する出力グレーレベルにマッピングする。ＰＱマッピング関数の例は、Ｊ．Ｓ．Ｍｉｌｌｅｒらによる「Ｐｅｒｃｅｐｔｕａｌｌｕｍｉｎａｎｃｅｎｏｎｌｉｎｅａｒｉｔｙ−ｂａｓｅｄｉｍａｇｅｄａｔａｅｘｃｈａｎｇｅａｃｒｏｓｓｄｉｆｆｅｒｅｎｔｄｉｓｐｌａｙｃａｐａｂｉｌｉｔｉｅｓ」の名称を有する２０１２年１２月６日付け出願のＰＣＴ出願（Ｓｅｒ．ＮｕｍｂｅｒＰＣＴ／ＵＳ２０１２／０６８２１２）（’２１２出願と呼ぶ）に記載されている。この出願の全体を参考のため本願に援用する。この出願では、固定の刺激サイズが与えられたとき、すべての輝度レベル（すなわち、刺激レベル）について、その輝度レベルでの最小可視コントラストステップが、最も感度の高い適応レベルおよび最も感度の高い空間周波数（ＨＶＳモデルによる）に応じて選択される。’２１２出願によって決定されたＰＱ曲線は、物理的な陰極線管（ＣＲＴ）装置の応答曲線を表し偶然にも人間の視覚システムの応答方法と非常に大まかな類似性を持ち得る従来のガンマ曲線と比較して、比較的単純な機能モデルを用いて人間の視覚システムの真の視覚応答を模倣している。

色空間変換３２１の出力は、カラーボリュームマッピング３２３に与えることができる。カラーボリュームマッピング３２３は、例えばターゲットディスプレイメタデータ３１６に基づきターゲットディスプレイまたは一群のターゲットディスプレイ上に適切に表示されるように明度を圧縮するために、色調マッピングおよびその他の画像処理動作を実行することができる。一実施形態において、カラーボリュームマッピング３２３は、ＯＯＴＦを使用して画像データの補正を実行することができ、言い換えれば、カラーボリュームマッピング３２３は、図１の動作１４で提供されたまたは計算された推定周囲光レベルに基づいて、選択された補正曲線を使用して画像データを補正するために、図１に示された動作１８および２０を実行することができる。さらに、カラーボリュームマッピング３２３は、ターゲットディスプレイメタデータ３１６などのターゲットディスプレイのメタデータに基づいて（例えば、図１の動作２２において）色調マッピングを実行することができる。一実施形態において、色調マッピング関数は、ターゲットディスプレイの色域および輝度パラメータに基づいて構成され、これらのパラメータは、ターゲットディスプレイメタデータ３１６の一部として提供される。一実施形態において、カラーボリュームマッピング３２３は、ドルビーのディスプレイマネジメントシステム（Ｄｏｌｂｙ’ｓＤｉｓｐｌａｙＭａｎａｇｅｍｅｎｔｓｙｓｔｅｍ）に従って、色域マッピングおよび色調マッピングを実行することができる。一実施形態において、色調マッピング動作または関数は、ターゲットディスプレイの色域および輝度能力に合致するように画像のダイナミックレンジを圧縮する。一実施形態において、ＯＯＴＦによる補正と色調マッピングによる補正は、ＯＯＴＦ関数および色調マッピング関数の両方を含む補正関数を介して同時に行うことができる。一実施形態において、カラーボリュームマッピング３２３は、図１に示す動作２０および２２の両方を実行することができる。

カラーボリュームマッピング３２３からの画素データの出力は色空間変換３２５へ提供することができる。色空間変換３２５は、ＩＣ_TＣ_P内の画素データを、ハイダイナミックディスプレイ３３１上で表示するためのＲＧＢ値に変換し戻すことができる。カラーボリュームマッピング３２３からの画素出力は、一実施形態において、カラーボリュームマッピング３２７およびカラーボリュームマッピング３２９として示される他の２つのカラーボリュームマッピング動作にも提供することができる。カラーボリュームマッピング３２７およびカラーボリュームマッピング３２９は、カラーボリュームマッピング３２３によって実行される動作と同様のカラーマッピング動作を実行して、スタンダードダイナミックレンジディスプレイ３３７およびパネルディスプレイ３３９への出力を提供することができる。また、カラーボリュームマッピング３２７およびカラーボリュームマッピング３２９は、メタデータ３１７またはカラーボリュームマッピング３２３によってカラーボリュームマッピングまたは色調マッピング動作によって補正されたメタデータと同じであり得る、メタデータ３１９を受信する。メタデータ３１９は、ターゲットディスプレイのそれぞれに関するメタデータを含むことができ、特に、スタンダードダイナミックレンジディスプレイ３３７に関するメタデータおよびパネルディスプレイ３３９に関するメタデータを含むことができる。カラーマッピング３２７およびカラーボリュームマッピング３２９からの出力は、適切なディスプレイに出力を提供するために、それぞれの色空間変換動作３３３および３３５に提供される。パネルディスプレイ３３９は、一体化された周囲光センサを有するターゲットディスプレイの一例であってもよく、これは、一体化された周囲光センサからの出力に基づいてＯＯＴＦ関数を動的に調整するために使用することができる。

一実施形態において、１つ以上のシステムまたは方法は、画像中のフレアの検出を利用することができる。フレアを検出すると、推定周囲光レベルを表す値の関数として、フレア補償を計算することができる。例えば、推定周囲光レベルは、フレアが存在するかどうかを判断し、計算された絶対光レベルが画像内のフレアによって悪影響を受け（ｃｏｒｒｕｐｔｅｄ）ないように画像内のフレアを補償するために使用することができる。

一実施形態において、スタンダードダイナミックレンジディスプレイ用のカラーボリュームマッピングは、ハイライト領域中の詳細をより良く保持するために、局所的色調マッピングを利用することができる。例えば、カラーボリュームマッピング３２７は、スタンダードダイナミックレンジディスプレイ３３７上に表示する際のハイライト領域中の詳細をより良く保持するために、画像の異なる領域に対して局所的色調マッピングを利用することができる。一実施形態において、推定周囲光レベルなどの周囲光レベルデータを含む、画像に関するメタデータは、画像と共に保存され、ＳＤＲ画像のＨＤＲ画像への変換などの画像の変換において後に使用され得る。一実施形態において、ＨＤＲパイプラインは、例えば、ＳＤＲ輝度のヒストグラムを用い、それを色調曲線に転送することによって、ＨＤＲヒストグラムがＳＤＲヒストグラムに対して明るさやコントラストなどの類似特性を持つようにすることで、ＳＤＲ画像から見た目の一部を継承しようとすることができる。これは、色についても、例えば３×３の行列を解いたり、ＲＧＢの色調曲線などを用いて行うことができる。絶対シーン光レベルの計算において手動露出調整を使用しないようにすることができるが、一実施形態において、問題とする領域に関するメタデータを埋めるために手動露出調整を使用することもできる。例えば、ユーザーが手動露出調整の一部として画像の一部を選択した場合、または顔検出の場合のように自動的に選択された場合、その領域の輝度を、問題とする領域に関するメタデータを埋めるための中間オフセット（ｍｉｄ−ｏｆｆｓｅｔ）として使用することができ、これにより、ディスプレイマネジメントは、ＨＤＲまたはＳＤＲにマッピングする際に、この領域を優先させることができる。

図４は、本明細書に記載された１つ以上の実施形態を提供するために、カメラまたは他のデバイスによって、またはカメラまたは他のデバイス内で使用され得る、データ処理システムの例を示す。本明細書に記載されたシステムおよび方法は、汎用コンピュータシステム、専用コンピュータシステム、または汎用コンピュータシステムと専用コンピュータシステムとのハイブリッドを含む、様々な異なるデータ処理システムおよびデバイスにおいて実施することができる。本明細書に記載された方法のいずれかを用いることができるデータ処理システムは、カメラ、スマートフォン、セットトップボックス、ラップトップまたはタブレットコンピュータなどのコンピュータ、組込み機器、ゲームシステム、コンシューマー用電子機器など、またはその他の電子機器を含む。

図４は、ある実施形態によるデータ処理システムハードウェアのブロック図である。図４は、データ処理システムの様々な構成要素を図示しているが、そのような詳細は本発明には関係しないため、構成要素を相互接続するいかなる特定のアーキテクチャも様態も表すことを意図していないことに注意されたい。また、図４に示された構成要素よりも少ない構成要素または図４に示された構成要素よりも多い構成要素を有する他のタイプのデータ処理システムも、本発明の１つ以上の実施形態において用いられることができることが理解されるであろう。

図４に示すように、データ処理システムは、システムの様々な構成要素を相互接続する１つ以上のバス１３０９を含む。図４のシステムは、カメラを含むか、またはカメラに接続されることができる。当該技術分野で公知のように、１つ以上のプロセッサ１３０３は、１つ以上のバス１３０９に接続されている。メモリ１３０５は、ＤＲＡＭまたは不揮発性ＲＡＭであってもよいし、フラッシュメモリまたは他のタイプのメモリであってもよいし、そのようなメモリデバイスの組み合わせであってもよい。このメモリは、当該技術分野で公知の技術を用いて、１つ以上のバス１３０９に接続される。データ処理システムはまた不揮発性メモリ１３０７を含むことができ、これは、ハードディスクドライブ、フラッシュメモリ、または磁気光学ドライブ、磁気メモリ、または光学ドライブ、またはシステムから電力が除去された後でもデータを維持する他のタイプのメモリシステムであってもよい。不揮発性メモリ１３０７およびメモリ１３０５は共に、公知のインターフェースおよび接続技術を用いて、１つ以上のバス１３０９に接続されている。ディスプレイコントローラ１３２２は、ディスプレイ３３１、３３７、または３３９のうちの１つであり得る表示装置上に表示される表示データを受信するために、１つ以上のバス１３０９に接続されている。データ処理システムはまた、１つ以上の入力／出力（Ｉ／Ｏ）コントローラ１３１５を含むことができ、このコントローラは、１つ以上のＩ／Ｏデバイス、例えば、１つ以上のカメラ、タッチスクリーン、周囲光センサ、および当該技術分野で公知のものを含む他の入力デバイス、および出力デバイス（例えば、スピーカ）のためのインタフェースを提供する。入出力デバイス１３１７は、当該技術分野で公知のように、１つ以上のＩ／Ｏコントローラ１３１５を介して接続される。周囲光センサは、図４のシステムに一体化することができる。

図４は、不揮発性メモリ１３０７およびメモリ１３０５が、ネットワークインターフェースを介してではなく、１つ以上のバスに直接接続されていることを示しているが、本発明は、モデムまたはイーサネットインターフェースのようなネットワークインターフェースを介してデータ処理システムに接続されたネットワーク記憶装置のような、システムから離れた不揮発性メモリを利用することができることが理解されるであろう。バス１３０９は、当技術分野で周知のように、様々なブリッジ、コントローラおよび／またはアダプタを介して互いに接続されることができる。一実施形態において、Ｉ／Ｏコントローラ１３１５は、ＵＳＢ周辺機器を制御するためのＵＳＢ（ユニバーサル・シリアル・バス）アダプタ、ＩＥＥＥ１３９４準拠の周辺機器を制御するためのＩＥＥＥ１３９４コントローラ、またはサンダーボルト周辺機器を制御するためのサンダーボルトコントローラのうちの１つ以上を含む。一実施形態において、１つ以上のネットワークデバイス１３２５は、バス１３０９に接続され得る。ネットワークデバイス（単数または複数）１３２５は、カメラなどから画像を受信する有線ネットワークデバイス（例えば、イーサネット）または無線ネットワークデバイス（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｏｔｈ）であり得る。

別個の実施形態が以下に列挙されているが、これらの実施形態は、全体または部分的に組み合わせるかまたは修正されることにより、様々な異なる組み合わせにすることができることが理解されるであろう。これらの実施形態の組み合わせは、分離された実施形態のすべての可能な組み合わせのうちの任意の１つであり得る。

実施形態１は、
カメラを介して画像を撮影する工程であって、前記撮影された画像は前記画像中の画素を表す第１の複数の画像データを含む、工程と、
前記第１の複数の画像データに基づいて前記撮影された画像の推定周囲光レベルを決定する工程であって、前記推定周囲光レベルは、前記画像が撮影されたときに前記カメラ上で用いられたカメラ固有パラメータおよび露出パラメータを含む関数を用いて、１つ以上の絶対シーン光レベルを得るために前記カメラ内のセンサからの画素値をスケーリングすることによって決定され、前記露出パラメータは絞り設定、露光時間設定およびセンサ感度設定を含み、前記カメラ固有パラメータはカメラキャリブレーションから導出される、工程と、
前記推定周囲光レベルに基づいて光−光学伝達関数（ＯＯＴＦ）を算出する工程と、
前記ＯＯＴＦを用いて前記第１の複数の画像データから導出された前記画像データを補正することによって、前記第１の複数の画像データから導出された画像データを変換する工程であって、前記変換は、ある視聴環境において、前記画像が前記視聴環境で表示されるとき、前記推定周囲光レベルの下での前記画像の見かけ上のコントラストを保持するように構成されている、工程と、
を包含する、方法である。

実施形態２は、実施形態１に記載の方法であって、
ターゲットディスプレイに対して構成された色調マッピング関数を介して、前記第１の複数の画像データから導出された画像データをマッピングすることにより、前記画像を前記ターゲットディスプレイ上で表示する用にマッピングする工程であって、前記色調マッピング関数は前記ターゲットディスプレイの色域および輝度パラメータに基づいて構成されている、工程
をさらに包含する方法である。

実施形態３は、実施形態２に記載の方法であって、前記変換は、前記色調マッピング関数を介した前記マッピングよりも前に、前記第１の複数の画像データから導出された前記画像データを補正することによって、前記色調マッピング関数は前記変換から導出されたデータに対して作用する。

実施形態４は、実施形態３に記載の方法であって、前記色調マッピング関数は、前記ターゲットディスプレイの色域および輝度パラメータに合致するように、前記画像のダイナミックレンジを圧縮する。

実施形態５は、実施形態２に記載の方法であって、前記変換および前記マッピングは、前記ＯＯＴＦを組み込んだ前記色調マッピング関数によって同時に実行される。

実施形態６は、実施形態２に記載の方法であって、前記推定周囲光レベルは、前記画像の画像データとともにメタデータとして保存され、前記色調マッピングは、絶対シーン光レベルにスケーリングされた画素値に対して行われる。

実施形態７は、実施形態６に記載の方法であって、前記カメラ固有パラメータは、前記カメラキャリブレーションから経験的に導出された定数値である。

実施形態８は、実施形態７に記載の方法であって、前記カメラキャリブレーションは、異なる露出パラメータ設定においてテストターゲットの画像を撮影し、前記テストターゲットの輝度を測定して、前記カメラ固有パラメータおよび前記露出パラメータを含む関数に最もよく合致する定数値の値を解くことを包含する。

実施形態９は、実施形態８に記載の方法であって、前記カメラ固有パラメータは、前記カメラの前記カメラキャリブレーションから導出され、前記カメラと同一のセンサ設計を有する同様なカメラに対して用いられるために格納される。

実施形態１０は、実施形態７に記載の方法であって、前記推定周囲光レベルは、前記画像中のすべての画素の輝度値の中央値または平均値、あるシーン画像部分の輝度値の中央値または平均値、前記画像内の最大輝度値と前記画像内の最小輝度値との間の輝度値のある選択された範囲における中央値または平均値、前記画像中の最大輝度値、周囲光センサの読み取り値、露出センサの読み取り値、露出の最適化専用の画素からのデータ、または手動のユーザー入力、のうちの１つから導出される。

実施形態１１は、実施形態７に記載の方法であって、前記ＯＯＴＦは、推定周囲光と前記視聴環境の所定のまたは動的に測定された周囲光との差に基づいて前記画像データを補正し、かつ、前記ＯＯＴＦは、前記カメラが自動露出モードに設定されたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しで前記視聴環境中の前記ターゲットディスプレイ上に表示される。

実施形態１２は、実施形態１１に記載の方法であって、前記手動露出調整は、手動露出設定または手動選択された露出補償設定のうち１つを包含する。

実施形態１３は、実施形態１１に記載の方法であって、前記視聴環境の前記所定の周囲光は５ニトである。

実施形態１４は、実施形態１１に記載の方法であって、前記視聴環境の前記動的に測定された周囲光は、前記ターゲットディスプレイに一体化された周囲光センサによって測定されることにより、前記ＯＯＴＦは前記周囲光センサの出力によって動的に制御される。

実施形態１５は、実施形態６に記載の方法であって、前記ＯＯＴＦは、前記カメラが自動露出モードで用いられたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しで前記視聴環境中の前記ターゲットディスプレイ上に表示され、かつ、前記カメラは、スマートフォンに一体化されたカメラ、タブレットコンピュータに一体化されたカメラ、一眼レフカメラ、ミラーレスカメラ、または前記画像を前記センサ上にフォーカスするレンズと、記憶装置と、前記センサおよび前記記憶装置に接続された制御システムとを備えたデバイス、のうち１つである。

実施形態１６は、実施形態６に記載の方法であって、前記絶対光レベルを用いて前記画像の白色点を推定し、色適応変換（ｃｈｒｏｍａｔｉｃａｄａｐｔｉｎｇｔｒａｎｓｆｏｒｍ）を適用して、前記画像を基準適応白色点に変換することをさらに包含する、方法である。

実施形態１７は、実施形態６に記載の方法であって、前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度より高い輝度を有するときには前記相対的に暗い領域におけるコントラストを減少するように調整することによって、前記見かけ上のコントラストを保持し、かつ、前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度よりも低い輝度を有するときには前記画像の前記相対的に暗い領域におけるコントラストを増大するように調節することによって、前記見かけ上のコントラストを保持する。

実施形態１８は、実施形態６に記載の方法であって、前記メタデータは、前記画像におけるフレアを補償するために用いられ、前記フレア補償は、前記推定周囲光レベルを表す値の関数である。

実施形態１９は、実施形態６に記載の方法であって、前記色調マッピング関数は前記画像の１つ以上の領域における局所的色調マッピングを包含し、前記局所的色調マッピングは、前記撮影された画像からスタンダードダイナミックレンジ（ＳＤＲ）画像を生成するためのマッピング中において用いられる。

実施形態２０は、実施形態１９に記載の方法であって、前記メタデータは、逆マッピングを介してハイダイナミックレンジ（ＨＤＲ）画像を再構成するときに用いられる前記ＳＤＲ画像とともに、保存される。

実施形態２１は、実施形態２０に記載の方法であって、前記メタデータは、前記ＳＤＲ画像から前記ＨＤＲ画像への逆マッピングのための多変量重回帰（ＭＭＲ）係数を計算するために用いられる。

実施形態２２は、実施形態６に記載の方法であって、前記メタデータは前記色調マッピングによって、色調マッピングされた画像の下流処理（ｄｏｗｎｓｔｒｅａｍｐｒｏｃｅｓｓｉｎｇ）をガイドするためのメタデータの中間セットに調整される。

実施形態２３は、処理システムとメモリとを備えた装置であって、実施形態１〜２２の方法のうちいずれか１つを実行するように構成された装置である。

実施形態２４は、機械によって実行されたとき、前記機械に、実施形態１〜２２の方法のうちいずれか１つを実行させる実行可能なプログラム命令を格納した、非一時的な機械可読性の記憶装置である。

本発明の１つ以上の実施形態は、少なくとも部分的にはソフトウェアで具現化されてもよいことは、本明細書から明らかであろう。すなわち、本技術は、その１つ以上のプロセッサが、非一時的な機械可読性の記憶媒体（例えばＤＲＡＭまたはフラッシュメモリ）などの記憶媒体に含まれる一連の命令を実行することに応答して、データ処理システムにおいて実行されてもよい。様々な実施形態において、本発明を実施するためにハードワイヤードな回路をソフトウェア命令と組み合わせて用いてもよい。したがって、本技術は、ハードウェア回路とソフトウェアの任意の特定の組み合わせ、またはデータ処理システムによって実行される命令のための任意の特定のソースに限定されるものではない。

前述の明細書において、特定の例示的な実施形態を記載した。以下の特許請求の範囲に記載されたより広い主旨および範囲から逸脱することなく、これらの実施形態に様々な変更を加え得ることは明らかであろう。本明細書および図面は、したがって、限定的な意味ではなく例示的な意味で捉えられるべきである。

Claims

カメラによって撮影された画像を受信する工程であって、前記撮影された画像は前記画像中の画素を表す第１の複数の画像データを含む、工程と、
前記第１の複数の画像データに基づいて前記撮影された画像の推定周囲光レベルを決定する工程であって、前記推定周囲光レベルは、前記画像が撮影されたときに前記カメラ上で用いられたカメラ固有パラメータおよび露出パラメータを含む関数を用いて、１つ以上の絶対シーン光レベルを得るために前記カメラ内のセンサからの画素値をスケーリングすることによって決定され、前記露出パラメータは絞り設定、露光時間設定およびセンサ感度設定を含み、前記カメラ固有パラメータはカメラキャリブレーションから導出される、工程と、
前記推定周囲光レベルに基づいて光−光学伝達関数（ＯＯＴＦ）を算出する工程と、
前記ＯＯＴＦを用いて前記第１の複数の画像データから導出された前記画像データを補正することによって、前記第１の複数の画像データから導出された画像データを変換する工程であって、前記変換は、ある視聴環境において、前記画像が前記視聴環境で表示されるとき、前記推定周囲光レベルの下での前記画像の見かけ上のコントラストを保持するように構成されている、工程と、
を包含する、方法。
ターゲットディスプレイに対して構成された色調マッピング関数を介して、前記第１の複数の画像データから導出された画像データをマッピングすることにより、前記画像を前記ターゲットディスプレイ上で表示する用にマッピングする工程であって、前記色調マッピング関数は前記ターゲットディスプレイの色域および輝度パラメータに基づいて構成されている、工程をさらに包含する請求項１に記載の方法。
前記変換は、前記色調マッピング関数を介した前記マッピングよりも前に、前記第１の複数の画像データから導出された前記画像データを補正することによって、前記色調マッピング関数は前記変換から導出されたデータに対して作用し、かつ、前記色調マッピング関数は、前記ターゲットディスプレイの色域および輝度パラメータに合致するように、前記画像のダイナミックレンジを圧縮する、請求項２に記載の方法。
前記推定周囲光レベルは、前記画像の画像データとともにメタデータとして保存され、前記色調マッピングは、絶対シーン光レベルにスケーリングされた画素値に対して行われ、かつ、前記カメラ固有パラメータは、前記カメラキャリブレーションから経験的に導出された定数値である、請求項１から３のいずれかに記載の方法。
前記カメラキャリブレーションは、異なる露出パラメータ設定においてテストターゲットの画像を撮影し、前記テストターゲットの輝度を測定して、前記カメラ固有パラメータおよび前記露出パラメータを含む関数に最もよく合致する定数値の値を解くことを包含し、かつ、前記カメラ固有パラメータは、前記カメラの前記カメラキャリブレーションから導出され、前記カメラと同一のセンサ設計を有する同様なカメラに対して用いられるために格納され、かつ、前記推定周囲光レベルは、前記画像中のすべての画素の輝度値の中央値または平均値、あるシーン画像部分の輝度値の中央値または平均値、前記画像内の最大輝度値と前記画像内の最小輝度値との間の輝度値のある選択された範囲における中央値または平均値、前記画像中の最大輝度値、周囲光センサの読み取り値、露出センサの読み取り値、露出の最適化専用の画素からのデータ、または手動のユーザー入力、のうちの１つから導出される、請求項１から４のいずれかに記載の方法。
前記ＯＯＴＦは、前記推定周囲光と前記視聴環境の所定のまたは動的に測定された周囲光との差に基づいて前記画像データを補正し、かつ、前記ＯＯＴＦは、前記カメラが自動露出モードに設定されたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しで前記視聴環境中の前記ターゲットディスプレイ上に表示される、請求項１から５のいずれかに記載の方法。
前記視聴環境の前記動的に測定された周囲光は、前記ターゲットディスプレイに一体化された周囲光センサによって測定されることにより、前記ＯＯＴＦは前記周囲光センサの出力によって動的に制御される、請求項６に記載の方法。
前記ＯＯＴＦは、前記カメラが自動露出モードで用いられたときは前記画像データを補正するが、前記カメラが手動露出調整で設定されたときは、前記画像は前記ＯＯＴＦ補正無しで前記視聴環境中の前記ターゲットディスプレイ上に表示され、かつ、前記カメラは、スマートフォンに一体化されたカメラ、タブレットコンピュータに一体化されたカメラ、一眼レフカメラ、ミラーレスカメラ、または前記画像を前記センサ上にフォーカスするレンズと、記憶装置と、前記センサおよび前記記憶装置に接続された制御システムとを備えたデバイス、のうち１つである、請求項１から５のいずれかに記載の方法。
前記絶対光レベルを用いて前記画像の白色点を推定し、色適応変換（ｃｈｒｏｍａｔｉｃａｄａｐｔｉｎｇｔｒａｎｓｆｏｒｍ）を適用して、前記画像を基準適応白色点に変換することをさらに包含する、請求項１から８のいずれかに記載の方法。
前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度より高い輝度を有するときには前記相対的に暗い領域におけるコントラストを減少するように調整することによって、前記見かけ上のコントラストを保持し、かつ、前記ＯＯＴＦは、前記画像の相対的に暗い領域における画像データを、前記推定周囲光レベルが前記視聴環境の輝度よりも低い輝度を有するときには前記画像の前記相対的に暗い領域におけるコントラストを増大するように調節することによって、前記見かけ上のコントラストを保持する、請求項１から５のいずれかに記載の方法。
前記メタデータは、前記画像におけるフレアを補償するために用いられ、前記フレア補償は、前記推定周囲光レベルを表す値の関数である、請求項１から１０のいずれかに記載の方法。
前記色調マッピング関数は前記画像の１つ以上の領域における局所的色調マッピングを包含し、前記局所的色調マッピングは、前記撮影された画像からスタンダードダイナミックレンジ（ＳＤＲ）画像を生成するためのマッピング中において用いられ、かつ、前記メタデータは、逆マッピングを介してハイダイナミックレンジ（ＨＤＲ）画像を再構成するときに用いられる前記ＳＤＲ画像とともに、保存される、請求項１から１１のいずれかに記載の方法。
前記メタデータは、前記ＳＤＲ画像から前記ＨＤＲ画像への逆マッピングのための多変量重回帰（ＭＭＲ）係数を計算するために用いられ、かつ、前記メタデータは前記色調マッピングによって、色調マッピングされた画像の下流処理（ｄｏｗｎｓｔｒｅａｍｐｒｏｃｅｓｓｉｎｇ）をガイドするためのメタデータの中間セットに調整される、請求項１２に記載の方法。
処理システムとメモリとを備えた装置であって、請求項１から１３のいずれかに記載の方法を実行するように構成された装置。
機械によって実行されたとき、前記機械に、請求項１から１３のいずれかに記載の方法を実行させる実行可能なプログラム命令を格納した、非一時的な機械可読性の記憶装置。