JP2020507220A - 高ダイナミックレンジ処理 - Google Patents

高ダイナミックレンジ処理 Download PDF

Info

Publication number
JP2020507220A
JP2020507220A JP2019513076A JP2019513076A JP2020507220A JP 2020507220 A JP2020507220 A JP 2020507220A JP 2019513076 A JP2019513076 A JP 2019513076A JP 2019513076 A JP2019513076 A JP 2019513076A JP 2020507220 A JP2020507220 A JP 2020507220A
Authority
JP
Japan
Prior art keywords
image
gamma
value
display device
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019513076A
Other languages
English (en)
Other versions
JP6983874B2 (ja
Inventor
イェルン ロッテ
イェルン ロッテ
ディルク スヌーク−ヘンケマンス
ディルク スヌーク−ヘンケマンス
ペトルス ヘイスベルトゥス センテン
ペトルス ヘイスベルトゥス センテン
Original Assignee
ジーブイビービー ホールディングス エス.エイ.アール.エル.
ジーブイビービー ホールディングス エス.エイ.アール.エル.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーブイビービー ホールディングス エス.エイ.アール.エル., ジーブイビービー ホールディングス エス.エイ.アール.エル. filed Critical ジーブイビービー ホールディングス エス.エイ.アール.エル.
Publication of JP2020507220A publication Critical patent/JP2020507220A/ja
Application granted granted Critical
Publication of JP6983874B2 publication Critical patent/JP6983874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HDR画像処理用の装置が提供される。装置は、イメージング感度値を決定する。次いで、装置は、決定したイメージング感度値とイメージング情報のサブセットを比較し、及びイメージング情報のガンマ補正サブセットを得るために、比較に基づいてガンマ低コントラストカーブ又はガンマ高コントラストカーブを使用して、イメージング情報の各サブセットにガンマ補正を適用する。【選択図】図4

Description

関連出願の相互参照
本出願は、その内容全体が本明細書に援用される、2016年9月7日に出願された米国特許仮出願第62/384,606号明細書に対する優先権を主張する、2017年9月6日に出願された米国特許出願第15/697,187号明細書に対する優先権を主張する。
本開示は、一般に、画像処理に関し、より詳細には、高ダイナミックレンジ処理に関する。
カメラ、コンピュータモニタ、携帯電話、テレビ、及びパーソナルデバイスを含むディスプレイデバイスは、画像及びビデオを表示するための多くの個々のピクセルを含み得る。各ピクセルは、ディスプレイ内のある特定の点において、様々な色を生成することができる。同時に、複数のピクセルを使用して、ディスプレイスクリーン上で、異なる強度又は輝度で異なる色を表示することによって、画像又はビデオを形成することができる。
多くのデバイスは、標準ダイナミックレンジ(SDR)で画像を表示する。SDRは、従来のガンマカーブを使用して調節された画像及びビデオのダイナミックレンジを表す。従来のガンマカーブは、陰極線管(CRT)の特定の制限に基づき、及び最大輝度100カンデラ毎平方メートル(cd/m)を可能にするものであった。最近では、カメラなどの画像捕捉デバイスは、SDRと比較して、より広範なダイナミックレンジの光度を可能にする技術である高ダイナミックレンジ(HDR)イメージングをサポートし始めている。HDRは、人間の視覚をシミュレートする、より高いコントラスト及び明るさ特性を提供することができる。画像を捕捉する方法の進歩は、画像捕捉結果を表示する方法の開発及び向上を伴わなければならない。
以下は、1つ又は複数の態様の基本的理解を提供するために、当該態様の簡易的概要を提示する。この概要は、企図されるあらゆる態様の詳細な総括ではなく、且つ、あらゆる態様の主要又は重要な要素を特定するものでもなく、何れかの又はあらゆる態様の範囲を詳細に記述するものでもない。その唯一の目的は、後に提示するより詳細な説明の前段階として、1つ又は複数の態様の幾つかの概念を簡易的な形で提示することである。
HDR画像の広ダイナミックレンジにより、画像処理は、ユーザが、HDR画像の恩恵を受けることを可能にするために、調節される必要がある場合がある。本開示のある態様においては、方法、コンピュータ可読媒体、及び装置が提供される。装置は、イメージング感度値を決定するように構成されてもよい。装置は、決定したイメージング感度値とイメージング情報のサブセットを比較するように構成されてもよい。装置は、イメージング情報のガンマ補正サブセットを得るために、比較に基づいてガンマ低コントラストカーブ又はガンマ高コントラストカーブを使用して、イメージング情報の各サブセットにガンマ補正を適用するように構成されてもよい。
従って、ある例示的実施形態によれば、高ダイナミックレンジ(HDR)画像を表示するように構成されたデバイスのイメージング感度に基づいて、HDR画像の光度を調節する画像処理システムが、提供される。この実施形態では、画像処理システムは、少なくとも1つのガンマ低コントラストカーブ及び少なくとも1つの1つのガンマ高コントラストカーブを保存するように構成された電子メモリと、捕捉HDR画像の画像データを生成するイメージング装置と、ディスプレイデバイスのイメージング感度値を、ディスプレイデバイスにおいて所定の出力輝度を提供するディスプレイデバイスの入力値に基づいて決定するように構成されたイメージング感度決定器と、ディスプレイデバイスの決定したイメージング感度値を、生成した画像データの輝度値と比較するように構成された画像情報比較器と、輝度値が、ディスプレイデバイスの決定したイメージング感度値未満である場合に、少なくとも1つのガンマ低コントラストカーブを選択し、及び輝度値が、ディスプレイデバイスの決定したイメージング感度値を超える場合に、少なくとも1つのガンマ高コントラストカーブを選択するように構成されたガンマカーブ選択器と、HDR画像の光度を調節するために、選択された少なくとも1つのガンマ高コントラストカーブ又は選択された少なくとも1つのガンマ低コントラストカーブを生成した画像データに適用することによって、捕捉HDR画像の画像データを補正するように構成された画像補正器と、調節したHDR画像をディスプレイデバイスに表示するように構成された画像ディスプレイとを含む。
別の例示的態様においては、高ダイナミックレンジ(HDR)画像を表示するように構成されたデバイスのイメージング感度に基づいて、HDR画像の光度を調節する画像処理システムが、提供される。この態様においては、画像処理システムは、複数のガンマコントラストカーブを保存する電子メモリと、捕捉HDR画像の画像データを生成するイメージング装置と、ディスプレイデバイスのイメージング感度値を決定するように構成されたイメージング感度決定器と、ガンマカーブ選択決定を生成するために、ディスプレイデバイスの決定したイメージング感度値を生成した画像データの輝度値と比較するように構成された画像情報比較器と、生成したガンマカーブ選択決定に基づいて、複数のガンマコントラストカーブから少なくとも1つのガンマコントラストカーブを選択するように構成されたガンマカーブ選択器と、HDR画像の光度を調節するために、選択された少なくとも1つのガンマコントラストカーブを生成した画像データに適用することによって、捕捉HDR画像の画像データを補正するように構成された画像補正器とを含む。
さらに別の例示的態様においては、ディスプレイデバイスのイメージング感度に基づいて、画像の光度を設定する画像プロセッサが、提供される。この態様においては、画像プロセッサは、ディスプレイデバイス上に表示される際の捕捉画像の最適輝度レベルを決定するために、捕捉画像の輝度をディスプレイデバイスのイメージング感度と比較することによって、少なくとも1つの輝度調節変更子を選択するように構成された輝度調節選択器と、ディスプレイデバイスの最適輝度レベルでディスプレイデバイス上に表示されるように構成された改良画像を生成するために、少なくとも1つの輝度調節変更子を捕捉画像に適用するように構成された画像エンハンサとを含む。
上記及び関連の目的の達成のために、1つ又は複数の態様は、以下に十分に説明され、及び特許請求の範囲において具体的に挙げられる特徴を含む。以下の説明及び添付の図面は、1つ又は複数の態様の特定の特徴例を詳細に記載する。しかし、これらの特徴は、様々な態様の原理を用いることができる様々な方法のほんの数例を示し、及びこの説明は、そのようなあらゆる態様及びそれらの均等物を含むことが意図される。
ある例示的実施形態による、画像捕捉及び表示ネットワークの図である。 ある例示的実施形態による、OOTFコントラストカーブの第1のセットの図である。 ある例示的実施形態による、OOTFコントラストカーブの第2のセットの図である。 ある例示的実施形態による、高ダイナミックレンジ処理の第1の方法の図である。 ある例示的実施形態による、ノイズを考慮した高ダイナミックレンジ処理の第2の方法の図である。 ある例示的実施形態による、線形値を対数値に変換する方法の図である。 ある例示的実施形態による、二進法指数値を図示する図である。 ある例示的実施形態による、対数値を線形値に変換する方法の図である。 ある例示的実施形態による、HDR処理技術のMatlab実装を図示する。 ある例示的実施形態による、HDR処理の方法のフローチャートである。 ある例示的実施形態による、開示のシステムの異なるコンポーネント間のデータフローを図示する概念データフロー図である。 ある例示的実施形態による、処理システムを用いた装置のハードウェア実装の一例を図示する図である。
添付の図面に関連して以下に記載する詳細な説明は、様々な構成の説明であることを意図したものであり、且つ本明細書に記載する概念を実施することができる唯一の構成を示すことを意図したものではない。詳細な説明は、様々な概念の深い理解をもたらすことを目的として、具体的な詳細を含む。しかし、これらの概念が、これらの具体的な詳細を用いることなく実施され得ることは、当業者には明白となるだろう。幾つかの実例では、このような概念を曖昧にすることを避けるために、周知の構造及びコンポーネントが、ブロック図形式で示される。
様々な装置及び方法を参照して、これより、ディスプレイシステムの幾つかの態様を示す。これらの装置及び方法は、以下の詳細な説明において説明されるとともに、添付の図面において、様々なブロック、コンポーネント、回路、プロセス、アルゴリズムなど(「要素」と総称される)によって図示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの任意の組み合わせを使用して実施することができる。このような要素がハードウェアとして、あるいはソフトウェアとして実施されるかは、具体的な用途及びシステム全体に課される設計制約によって決まる。
例として、要素、又は要素の何れかの部分、又は要素の任意の組み合わせは、1つ又は複数のプロセッサを含む「処理システム」として実施することができる。プロセッサの例には、マイクロプロセッサ、マイクロコントローラ、グラフィック処理ユニット(GPU)、中央処理装置(CPU)、アプリケーションプロセッサ、デジタル信号プロセッサ(DSP)、縮小命令集合計算(RISC)プロセッサ、システムオンチップ(SoC)、ベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、状態機械、ゲート論理、ディスクリートハードウェア回路、及び本開示全体を通して記載される様々な機能性を行うために構成された他の適宜のハードウェアが含まれる。処理システム内の1つ又は複数のプロセッサは、ソフトウェアを実行してもよい。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはそれ以外の名称で呼ばれようと、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアコンポーネント、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数などを意味すると広く解釈されるものとする。
従って、1つ又は複数の実施形態例においては、記載の関数は、ハードウェア、ソフトウェア、又はそれらの任意の組み合わせで実施することができる。ソフトウェアで実施される場合、関数は、コンピュータ可読媒体に保存されてもよく、又はコンピュータ可読媒体に1つ又は複数の命令又はコードとして符号化されてもよい。コンピュータ可読媒体は、コンピュータストレージ媒体を含む。ストレージ媒体は、コンピュータがアクセス可能な任意の入手可能な媒体でもよい。例として、及び限定ではなく、このようなコンピュータ可読媒体には、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的消去可能プログラマブルROM(EEPROM)、光ディスクストレージ、磁気ディスクストレージ、他の磁気ストレージデバイス、上記のタイプのコンピュータ可読媒体の組み合わせ、又はコンピュータがアクセス可能な命令又はデータ構造の形態でコンピュータ実行可能コードを保存するために使用することができるその他の媒体が含まれ得る。
図1は、画像捕捉及び表示ネットワーク100の図である。図1を参照して、カメラ102(又はその他のタイプの画像又はビデオ捕捉デバイス)は、環境に基づいて、画像データ110(又はビデオデータ)を生成することができる。画像データ110を捕捉するために、カメラ102は、光−電子伝達関数(OETF:opto−electronic transfer function)を利用して、光データを画像データ110などの電気信号に変換することができる。OETFは、カメラ伝達関数であってもよい。画像データ110は、カメラ102自体から表示されてもよく、又は配布ネットワーク112を介して、数あるディスプレイデバイスの中でも、パーソナルコンピュータ104、ユーザ機器106、及び/又はテレビ108に送信されてもよい。
画像データ110を表示するために、カメラ102又は他のディスプレイデバイスは、画像データ110の電気信号を表示のための光信号に変換する電気−光伝達関数(EOTF:electrical−optical transfer function)を適用してもよい。ある態様では、カメラ102又は他のディスプレイデバイスは、EOTFの前に、電気−電気伝達関数(EETF:electrical−electrical transfer function)も行うことができる。EETFは、カメラ102から受信した入力画像データ110を、カメラ102又は他のディスプレイデバイスの表示能力に従ってフォーマットされた電子信号の異なるセットにマッピングすることができる。
光−光伝達関数(OOTF:opto−optical transfer function)として知られる第4の伝達関数も利用することができる。OOTF関数を使用して、ある形態から別の形態へと光信号を変更する(例えば、画像のコントラスト特性を変更する)ことができる。本開示は、画像に言及する場合があるが、画像に適用されるあらゆる方法、技術、及びプロトコルを同様にビデオに適用することができることを当業者であれば理解するだろう。
SDRの場合、伝達関数は、標準化されてもよい。例えば、SDRのOETFは、ITU−R BT.709(カメラガンマ)に従って標準化され、及びSDRのEOTFは、ITU−R BT.1886(CRT応答)下で標準化される。OETF/EOTFの他に、放送カメラは、可変ガンマ及びコントラストカーブなどのOETFに対する芸術的調節を行うこともできる。ディスプレイは、明るさ及びコントラスト調節も行うこともできる。
HDRの場合、OETF及びEOTF伝達関数は、定義済みである。これらには、SMPTE2084、及びハイブリッドログガンマ(HLG:Hybrid Log Gamma)伝達関数が含まれる。SMPTE2084及びHLG伝達関数は、互いに逆のものであるOETF又はEOTFに対して使用することができる。HDRのOETFにおいては、カメラの感度は、HDRチェーンのある点にマッピングされる必要がある場合がある。例えば、カメラが、2000LUX及び90%の反射でF12において設定される場合、SDRビデオ出力は、100%又は100cd/mである。
別の態様では、SMPTE2084は、[0,1]の正規化入力を用いてEOTFを定義する。この態様においては、入力の0.5の値は、100cd/mのディスプレイ輝度を提供する。実験的に、これは、100%のカメラ感度のために良好な動作点であることが分かっている。HLGの場合、0.5の入力も、100%のカメラ感度をもたらす。
HDRにおける広いダイナミックレンジにより、ディスプレイが、フルレンジコントラストを提供するために、光度の追加のレンダリングが必要とされる場合がある。ある態様では、HDRの場合、画像の微光部分は、SDRにおける画像の微光部分と同様に見えるべきである。高コントラストを正しく表示するために、OOTFを使用して、微光に対する応答をSDRにおける微光に対する応答と同様に維持することができる。例えば、SDRモードの基準ディスプレイ上のガンマチャートのパッチを測定してもよい。ユーザは、例えば、モニタ出力における光度レベル(cd/m単位)が同じであるように、HDRモードのカメラOOTFを調節することが可能である。
図2は、OOTFコントラストカーブの第1のセットの図200である。太い曲線は、計算されたSDRのOOTFカーブを表す。SDRのOOTFカーブは、BT1886(Rec709)に基づいた1.2〜1.4のガンマに基づく。細く濃い曲線は、LDXカメラのHDRパドックカーブを表す。X軸及びY軸は、cd/mなどの輝度単位を表す。
図3は、OOTFコントラストカーブの第2のセットの図300である。図3を参照して、ディスプレイデバイス(例えば、カメラ102)は、イメージング感度値を有していてもよい。イメージング感度値は、100cd/mであってもよい。ディスプレイデバイスは、ガンマ補正が適用されるイメージング情報が、イメージング感度値を超える輝度値と関連付けられるか、あるいはイメージング感度値未満の輝度値と関連付けられるかに応じて、異なるガンマコントラストカーブを提供してもよい。輝度値が、イメージング感度値未満であれば、ガンマ低コントラストカーブが適用されてもよい。ある態様では、ガンマ低コントラストカーブは、[1.0,3.0]の傾きを有していてもよい。イメージング情報が、イメージング感度値未満の光度を有する場合、1を超えるガンマ値は、光度を減衰させ、一方、1未満のガンマ値は、光度を増幅させる。好ましくは、光度は、マッチするように減衰又は増幅され、及び捕捉画像がディスプレイデバイス上に表示される際の捕捉画像の最適輝度レベル。
第1の例示的態様によれば、イメージング感度値は、例えばディスプレイデバイスの所定の輝度値などの定義されたブレークポイントであってもよい。ただし、イメージング感度値が、必ずしも所定のブレークポイントに限定されないことが認識されるものとする。例えば、ある代替態様においては、イメージング感度値は、ディスプレイデバイスの定義された輝度値範囲であってもよい。この態様においては、捕捉画像の輝度値と、ディスプレイデバイスのイメージング感度値の範囲との比較に基づいて、1つ又は複数の輝度調節値(例えば、1つ又は複数のガンマ補正値又はカーブ)を選択することができる。また、イメージング感度値は、イメージング感度決定器(例えば、以下に記載するような処理のモジュール)によって決定することができる。
別の態様において、イメージング情報が、イメージング感度値を超える輝度値と関連付けられる場合、ガンマ高コントラストカーブが適用されてもよい。ガンマ高コントラストカーブは、ガンマ低コントラストカーブとは異なる傾きを有していてもよい。ある態様においては、ガンマ高コントラストカーブは、[0.8,1.2]の傾きを有していてもよい。イメージング情報が、イメージング感度値を超える光度を有する場合、1を超えるガンマ値は、光度を増幅させることができ、一方、1未満のガンマ値は、光度を減衰させる。
ある態様においては、ガンマ高コントラストカーブを使用して、圧縮を強調することができる。ガンマ高コントラストカーブの値は、動作最大輝度を示すためにメタデータで使用されてもよい。他のメタデータパラメータも提供されてもよい。
図4は、高ダイナミックレンジ処理の第1の方法の図400である。図4を参照して、ディスプレイデバイス(例えば、カメラ又はモニタ)は、イメージング情報(例えば、原画像データ又は原ビデオデータ)を受信してもよい。イメージング情報は、線形領域内に存在してもよい。乗算、商、累乗、並びに、乗算、加算、及び減算演算に対するルート演算を減らすために、イメージング情報は、線形領域から対数領域に変換されてもよい。ある態様においては、例えばFPGAによるリアルタイム処理は、イメージング情報を対数領域に変換した後に、より速くなることができる。第1のプロセッサ402は、線形イメージング情報を対数イメージング情報に変換してもよい(ただし、このような変換は、HDR処理にとって必須ではない)。ディスプレイデバイスは、ディスプレイデバイスに関連付けられたイメージング感度値を決定してもよい。ある態様においては、イメージング感度値は、ディスプレイデバイス(又は他のディスプレイデバイス)において100cd/mの出力輝度をもたらす入力値であってもよい。別の態様においては、イメージング感度値は、ディスプレイデバイス内で事前設定されてもよい。
イメージング情報を対数領域に変換した後、イメージング情報のサブセット(例えば、1つ又は複数のピクセルに対応した輝度情報)は、比較器404によって、イメージング感度値と比較されてもよい。具体的には、ディスプレイデバイスの比較器404は、イメージング情報のサブセットが、イメージング感度値を超える輝度と関連付けられるか否かを決定してもよい。比較の結果を使用して、ガンマ高コントラストカーブ、あるいはガンマ低コントラストカーブをイメージング情報のサブセットに適用するかを決定してもよい。ディスプレイデバイスは、イメージング情報のサブセットから、正規化値(イメージング感度値と等しくてもよい)を減算(406)してもよい。その差は、ガンマ高コントラストカーブ及び/又はガンマ低コントラストカーブに供されてもよい。ある態様においては、イメージング情報のサブセットが、イメージング感度値を超える輝度と関連付けられる場合、ガンマ高コントラストカーブに供されたイメージング情報の正規化サブセットが、スイッチ408を介して選択される。別の態様においては、イメージング情報のサブセットが、イメージング感度値未満の輝度と関連付けられる場合、ガンマ低コントラストカーブに供されたイメージング情報の正規化サブセットが、スイッチ408を介して選択される。スイッチ408からの選択結果(これは、イメージング情報の中間サブセットと呼ばれる場合がある)が、正規化値に加算される(例えば、加算器410を用いて)ことによって、イメージング情報のガンマ補正サブセットを生成することができる。従って、スイッチ408は、開示のシステムの処理システムによって制御することができ、及び捕捉画像の輝度をディスプレイデバイスのイメージング感度と比較することにより、画像が最終的にディスプレイデバイス上に表示される際の捕捉画像の最適輝度レベルを決定することによって、輝度調節変更子(例えば、特定のガンマ調節値及び/又はガンマコントラストカーブ)を選択するように構成されることが認識されるべきである。
ある例示的態様においては、ディスプレイデバイスは、第2のプロセッサ412(第1のプロセッサ402と同じであってもよい)を介して、イメージング情報のガンマ補正サブセットを対数領域から線形領域に戻すように変換してもよい。ディスプレイデバイスは、イメージング情報のセット全体に対して演算が行われるまで、イメージング情報のサブセットの全てに対して上記の演算を繰り返し行うことによって、ガンマ補正画像を生成することができる画像補正器又は画像エンハンサを含んでいてもよい。ある態様においては、ガンマ補正画像は、ガンマ低コントラストカーブ及びガンマ高コントラストカーブの両方に、及び/又はガンマ低コントラストカーブ及びガンマ高コントラストカーブの複数のバリエーションに供されていた可能性がある。図4には示されないが、システム400は、ディスプレイデバイスに補正/調節画像を表示する、すなわちガンマ補正画像を表示する画像ディスプレイを含む。
図5は、ノイズを考慮した高ダイナミックレンジ処理の第2の方法の図500である。幾つかの実例では、ガンマコントラストカーブによって導入された増幅は、イメージング情報に過剰なノイズをもたらし得る。そのため、あらゆる増幅が、最大差動利得によって制限されてもよい。図5を参照して、ディスプレイデバイス(例えば、カメラ又はモニタ)は、イメージング情報(例えば、原画像データ又は原ビデオデータ)を受信してもよい。イメージング情報は、線形領域内に存在してもよい。乗算、商、累乗、並びに、乗算、加算、及び減算演算に対するルート演算を減らすために、イメージング情報は、線形領域から対数領域に変換されてもよい。ある態様においては、例えばFPGAによるリアルタイム処理は、イメージング情報を対数領域に変換した後に、より速くなることができる。第1のプロセッサ502は、線形イメージング情報を対数イメージング情報に変換してもよい(ただし、このような変換は、HDR処理にとって必須ではない)。ディスプレイデバイスは、ディスプレイデバイスに関連付けられたイメージング感度値を決定することができる。ある態様においては、イメージング感度値は、カメラ(又は他のディスプレイデバイス)において100cd/mの出力輝度をもたらす入力値であってもよい。別の態様においては、イメージング感度値は、ディスプレイデバイス内で事前設定されてもよい。
イメージング情報を対数領域に変換した後、イメージング情報のサブセット(例えば、1つ又は複数のピクセルに対応した輝度情報)は、比較器504によって、イメージング感度値と比較されてもよい。具体的には、ディスプレイデバイスの比較器504は、イメージング情報のサブセットが、イメージング感度値を超える輝度と関連付けられるか否かを決定してもよい。比較の結果を使用して、ガンマ高コントラストカーブ、あるいはガンマ低コントラストカーブをイメージング情報のサブセットに適用するかを決定してもよい。ディスプレイデバイスは、イメージング情報のサブセットから、正規化値を減算(506)してもよい。その差は、ガンマ高コントラストカーブ及び/又はガンマ低コントラストカーブに供されてもよい。ある態様においては、イメージング情報のサブセットが、イメージング感度値を超える輝度と関連付けられる場合、ガンマ高コントラストカーブに供されたイメージング情報の正規化サブセットが、スイッチ508を介して選択される。別の態様においては、イメージング情報のサブセットが、イメージング感度値未満の輝度と関連付けられる場合、ガンマ低コントラストカーブに供されたイメージング情報の正規化サブセットが、スイッチ508を介して選択される。スイッチ508からの選択結果(これは、イメージング情報の中間サブセットと呼ばれる場合がある)が、正規化値に加算される(例えば、加算器510を用いて)ことによって、イメージング情報の第2の中間サブセットを生成してもよい。ある態様においては、第2の加算器514を使用して、イメージング情報のサブセットを最大差動利得値と加算することによって、最大合計値を生成してもよい。第2の比較器512は、最大合計値をイメージング情報の第2の中間サブセットと比較し、及び2つの入力の内の小さい方をイメージング情報のガンマ補正サブセットとして使用するために選択してもよい。2つの入力の内の小さい方を利用することによって、ディスプレイデバイスは、最大差動利得値を使用することによって、イメージング情報のガンマ補正サブセットにおけるノイズ量を制限することができる。その後、ディスプレイデバイスは、第2のプロセッサ516(第1のプロセッサ502と同じであってもよい)を介して、イメージング情報のガンマ補正サブセットを対数領域から線形領域に戻すように変換してもよい。ディスプレイデバイスは、イメージング情報のセット全体に対して演算が行われるまで、イメージング情報のサブセットの全てに対して上記の演算を繰り返し行うことによって、ガンマ補正画像を生成してもよい。ある態様においては、ガンマ補正画像は、ガンマ低コントラストカーブ及びガンマ高コントラストカーブの両方に、及び/又はガンマ低コントラストカーブ及びガンマ高コントラストカーブの複数のバリエーションに供されていた可能性がある。
ある態様においては、図4及び図5に関して説明したHDR処理方法は、相対システムを示してもよい。イメージング感度は、特定の出力値に正規化されてもよく、及びディスプレイデバイスは、正規化感度値を基準とした値を生成してもよい。その後、ガンマ低コントラストカーブ及びガンマ高コントラストカーブを使用して、生成した値を変更することができる。
異なる方法又は技術を用いて、線形領域から対数領域へ、及びその逆にイメージング情報を変換してもよい。図6及び図8は、線形−対数変換及びその逆のための方法を図示する。他の方法又は技術も使用されてもよい。
図6は、線形値を対数値に変換する方法の図600である。図6の演算は、1つ又は複数のプロセッサによって行われてもよい。例えば、図6を参照して、プロセッサは、線形値(Vlin)を受信してもよい。プロセッサは、線形値がゼロであるかどうかを決定してもよい。線形値がゼロであれば、対応する対数値が、ゼロ処理コンポーネントによって提供される。線形値がゼロでなければ、プロセッサは、線形値の絶対値を計算し、及び線形値の符号を抽出してもよい。プロセッサは、線形値に関連付けられた指数を決定し、及び指数で除算される線形値の比率を計算してもよい。比率の結果は、最上位ビット(MSB)コンポーネント及び最下位ビット(LSB)コンポーネントに入力されてもよい。MSBコンポーネントの出力は、ルックアップテーブル(LUT)及び差分LUTに提供されてもよい。LSBコンポーネントの出力は、差分LUTコンポーネントからの出力で乗算されてもよい。その積は、LUTコンポーネントの出力に加算されてもよく、及びその和は、指数に加算されることによって、第2の和を生成してもよい。第2の和は、対数値であってもよい。
設計手法は、まず、2、2、2、…2を比較することによって、二進法対数値の指数を決定することである。指数が求められると、各オクターブ内の補間は、同一である。オクターブ中の仮数は、線形値を決定した指数で除算することによって求められる。これは、それが二進法演算であるため、シフト演算である。指数による除算後では、その結果は、常に、1〜2の(2は、基数である)仮数値である。補間値は、1〜2の値であってもよく、及び補間値は、LUTに提供されてもよい。より高い精度を達成するために、LUTは、LUT(LUTは、差分値を保持する)内の点と、LUT内の次の点との間の線形補間を使用してもよい。図7は、二進法指数値を図示する図700である。
各オクターブのLUTを用いた補間の絶対精度は、低下していくが、この関数は、画像又はビデオに使用されるため、相対精度がより重要である。ある態様においては、非可視であるために、1パーセント極限が使用されてもよい。
図8は、対数値を線形値に変換する方法の図800である。図8の演算は、1つ又は複数のプロセッサによって行われてもよい。図8を参照して、対数−線形変換は、線形−対数変換と同様に機能してもよい。対数値(Vlog)は、符号なしの16ビット値(その内、5ビットが指数であり、及び11ビットが仮数である)であってもよい。5ビット指数値は、2又は32ビットを保持してもよく、及び仮数は、オクターブ内の精度のために、11ビットを保持してもよい。図8に示すように、指数及び仮数は、対数値の5MSB及び11LSBを抽出することによって分離される。仮数は、オクターブ内にn個の点を保持し得るLUTの入力として使用されてもよい。仮数から抽出するMSBの量は、
Figure 2020507220
であってもよい。LUT内の64個の点に関して、5ビットが抽出されてもよい。仮数からの残りのビット(例えば、この例では、6)は、2つのLUT点間の線形補間であってもよい。補間は、LUT内の次の点に対する差分である、差分LUTに保存された値を使用する。差分LUTを有することにより、処理速度を上げることができる。その後、図8に示すように、上記の結果を用いて、線形値(Vlin)を生成する。
図9は、HDR処理技術のMatlab実装900を図示する。図9を参照して、Initialization_VarGamma.mを使用して、LUTにおいて必要とされる値を計算してもよく、tb_VarGamma.slxは、線形−対数変換、Var Gamma、及び対数−線形変換のテストベンチであってもよく、及びGV_LIB_LinLogLin.slxは、Lin2Log及びLog2Linのライブラリ関数であってもよい。HDLCoderを使用して、ブロック「VAG_VarGamma」からコードを生成してもよい。Matlab実装は、表1に示す以下の入力/出力ポートリストも使用してよい。
Figure 2020507220
初期化スクリプトは、入力及び出力フォーマットのパラメータ、及びMatlab/Simulink用に完全にパラメータ化されたLUTサイズを保持してもよい。コード生成中に、HDLcoderが、総称を生成していない場合があるため、これらは、所望の値に設定されるべきである。
図10は、HDR処理の方法のフローチャート1000である。この方法は、装置(例えば、プロセッサ、ディスプレイデバイス、装置1102/1102’)によって行われてもよい。1002では、装置は、線形イメージング情報を受信してもよい。イメージング情報は、1つ又は複数のピクセルの輝度値を示してもよい。
1004では、装置は、線形イメージング情報を対数イメージング情報に変換してもよい。例えば、輝度値は、線形領域から対数領域に変換されてもよい。
1006では、装置は、イメージング感度値を決定してもよい。例えば、イメージング感度値は、事前設定されてもよい。装置は、記憶場所にある値を検索し、及びその値を抽出することによって、イメージング感度値を決定してもよい。例えば、イメージング感度値は、100cd/mであってもよい。
1008では、装置は、決定したイメージング感度値とイメージング情報のサブセットを比較してもよい。イメージング情報は、変換対数イメージング情報であってもよい。イメージング情報のサブセットは、1つ又は複数のピクセルの輝度値に対応してもよい。装置は、イメージング情報が、イメージング感度値以上の輝度値を示すか否かを決定してもよい。
1010では、装置は、イメージング情報のガンマ補正サブセットを得るために、比較に基づいてガンマ低コントラストカーブ又はガンマ高コントラストカーブを使用して、イメージング情報の各サブセットに対してガンマ補正を適用してもよい。
図11は、例示的装置1102における異なるコンポーネント間のデータフローを図示する概念データフロー図1100である。装置は、プロセッサ又はディスプレイデバイスであってもよい。装置は、Lin2Logコンポーネント1104、比較器コンポーネント1106、ガンマコンポーネント1108、及びLog2Linコンポーネント1110を含む。ガンマコンポーネント1108は、イメージング感度値を決定するように構成されてもよい。比較器コンポーネント1106は、決定したイメージング感度値とイメージング情報のサブセットを比較するように構成されてもよい。ガンマコンポーネント1108は、イメージング情報のガンマ補正サブセットを得るために、比較に基づいてガンマ低コントラストカーブ又はガンマ高コントラストカーブを使用して、イメージング情報の各サブセットに対してガンマ補正を適用するように構成されてもよい。例えば、ガンマコンポーネント1108は、例示的実施形態によれば、1つ又は複数のガンマ低コントラストカーブ及びガンマ高コントラストカーブを保存するコンピュータ/電子メモリを含んでいてもよい。
また、ある例示的態様においては、イメージング感度値は、装置において100cd/mの出力輝度をもたらす入力値であってもよい。別の態様においては、イメージング感度値は、装置内で事前設定されてもよい。別の構成では、装置は、インタフェース(例えば、バスインタフェース)を含んでいてもよい。インタフェースは、線形イメージング情報を受信するように構成されてもよい。この構成では、Lin2Logコンポーネント1104は、線形イメージング情報を対数イメージング情報に変換するように構成されてもよい。対数イメージング情報は、イメージング情報であってもよい。別の構成では、比較器コンポーネント1106は、イメージング情報の各サブセットが、イメージング感度値と関連付けられた第2の輝度を超える第1の輝度に対応するか否かを決定することによって、イメージング情報のサブセットを比較するように構成されてもよい。別の構成では、ガンマコンポーネント1108は、正規化値に基づいてイメージング情報のサブセットを正規化し、イメージング情報のサブセットがイメージング感度値と関連付けられた第2の輝度未満の第1の輝度に対応する場合に、ガンマ低コントラストカーブを選択し、及びイメージング情報のサブセットがイメージング感度値と関連付けられた第2の輝度を超える第3の輝度に対応する場合に、ガンマ高コントラストカーブを選択することによって、ガンマ補正を適用するように構成されてもよい。この構成では、選択されたガンマ低コントラストカーブ又は選択されたガンマ高コントラストカーブが、イメージング情報の中間サブセットを得るために、イメージング情報の正規化サブセットに適用されてもよい。別の態様においては、正規化値は、イメージング感度値と等しくてもよい。別の構成では、ガンマコンポーネント1108は、イメージング情報のガンマ補正サブセットを得るために、正規化値をイメージング情報の中間サブセットに加算することによって、ガンマ補正を適用するように構成されてもよい。別の構成では、Log2Linコンポーネント1110は、イメージング情報のガンマ補正サブセットを対数フォーマットから線形フォーマットに変換するように構成されてもよい。別の構成では、ガンマコンポーネント1108は、イメージング情報のサブセットを最大差動利得値と加算することによって最大合計値を計算し、及び正規化値をイメージング情報の中間サブセットに加算することによってイメージング情報の第2の中間サブセットを計算することによって、ガンマ補正を適用するように構成されてもよい。イメージング情報のガンマ補正サブセットは、最大合計値又はイメージング情報の第2の中間サブセットの内の小さい方であってもよい。別の構成では、ガンマコンポーネント1108は、イメージング情報のガンマ補正サブセットを蓄積することによってガンマ補正画像を生成するように構成されてもよい。ガンマ補正画像は、ガンマ低コントラストカーブ及びガンマ高コントラストカーブの両方に供されていた可能性がある。
装置は、図10の上述のフローチャートにおけるアルゴリズムの各ブロックを行う追加のコンポーネントを含んでいてもよい。そのため、図10の上述のフローチャートにおける各ブロックは、1つのコンポーネントによって行われてもよく、及び装置は、これらのコンポーネントの1つ又は複数を含んでいてもよい。コンポーネントは、プロセッサによる実施のためにコンピュータ可読媒体内に保存された、上記のプロセス/アルゴリズムを行うように構成されたプロセッサによって実施される、上記のプロセス/アルゴリズムを実行するように特別に構成された1つ又は複数のハードウェアコンポーネント、又はそれらのある組み合わせであってもよい。
図12は、処理システム1214を用いた装置1102’のハードウェア実装の一例を図示する図1200である。処理システム1214は、一般にバス1224によって表されるバスアーキテクチャを用いて実施されてもよい。バス1224は、処理システム1214の具体的な用途及び全体的な設計制約に応じて、任意の数の相互接続バス及びブリッジを含んでいてもよい。バス1224は、プロセッサ1204、コンポーネント1104、1106、1108、1110、及びコンピュータ可読媒体/メモリ1206によって表される、1つ又は複数のプロセッサ及び/又はハードウェアコンポーネントを含む様々な回路同士をつなぐ。バス1224は、当該技術分野において周知であり、従ってこれ以上の説明は行わない、タイミングソース、周辺機器、電圧レギュレータ、及び電力管理回路などの様々な他の回路もつなぐことができる。
処理システム1214は、トランシーバ1210に結合されてもよい。トランシーバ1210は、1つ又は複数のアンテナ1220に結合される。トランシーバ1210は、伝送媒体上で、様々な他の装置と通信するように構成される。トランシーバ1210は、1つ又は複数のアンテナ1220から信号を受信し、受信した信号から情報を抽出し、及び抽出した情報を処理システム1214(例えば、Lin2Logコンポーネント1104)に提供する。加えて、トランシーバ1210は、処理システム1214から情報を受信し、及び受信した情報に基づいて、1つ又は複数のアンテナ1220に適用される信号を生成する。処理システム1214は、コンピュータ可読媒体/メモリ1206に結合されたプロセッサ1204を含む。プロセッサ1204は、コンピュータ可読媒体/メモリ1206に保存されたソフトウェアの実行を含む、一般的処理を担う。ソフトウェアは、プロセッサ1204によって実行されると、任意の特定の装置に対して上記に記載した様々な機能を処理システム1214に行わせる。コンピュータ可読媒体/メモリ1206は、ソフトウェアを実行する際にプロセッサ1204によって操作されるデータを保存するためにも使用されてもよい。処理システム1214は、コンポーネント1104、1106、1108、1110の少なくとも1つをさらに含む。これらのコンポーネントは、コンピュータ可読媒体/メモリ1206内に常駐する/保存された、プロセッサ1204で起動するソフトウェアコンポーネント、プロセッサ1204に結合された1つ又は複数のハードウェアコンポーネント、又はそれらのある組み合わせであってもよい。処理システム1214は、ディスプレイデバイスのコンポーネントであってもよく、及びメモリ及びメモリに結合された1つ又は複数のプロセッサを含んでいてもよい。
ある構成では、画像処理用の装置1102/1102’は、イメージング感度値を決定するように構成される(すなわち、イメージング感度決定器)。装置は、決定したイメージング感度値とイメージング情報のサブセットを比較する画像情報比較器を含んでいてもよい。装置は、イメージング情報のガンマ補正サブセットを得るために比較に基づいてガンマ低コントラストカーブ又はガンマ高コントラストカーブを使用して、ガンマ補正をイメージング情報の各サブセットに適用する画像補正器又は画像エンハンサを含んでいてもよい。ある態様においては、イメージング感度値は、装置において、100cd/mの出力輝度をもたらす入力値であってもよい。別の態様においては、イメージング感度値は、装置内で事前設定されてもよい。
別の構成では、装置は、線形イメージング情報を受信するレシーバを含んでいてもよい。この構成では、装置は、線形イメージング情報を対数イメージング情報に変換する変換器を含んでいてもよい。対数イメージング情報は、イメージング情報であってもよい。別の構成では、イメージング情報のサブセットを比較する画像情報比較器は、イメージング情報の各サブセットが、イメージング感度値に関連付けられた第2の輝度を超える第1の輝度に対応するか否かを決定するように構成されてもよい。別の構成では、ガンマ補正を適用する画像補正器/エンハンサは、正規化値に基づいてイメージング情報のサブセットを正規化し、イメージング情報のサブセットがイメージング感度値と関連付けられた第2の輝度未満の第1の輝度に対応する場合に、ガンマ低コントラストカーブを選択し、及びイメージング情報のサブセットがイメージング感度値と関連付けられた第2の輝度を超える第3の輝度に対応する場合に、ガンマ高コントラストカーブを選択するように構成されてもよい。この構成では、選択されたガンマ低コントラストカーブ又は選択されたガンマ高コントラストカーブが、イメージング情報の中間サブセットを得るために、イメージング情報の正規化サブセットに適用されてもよい。別の態様においては、正規化値は、イメージング感度値と等しくてもよい。別の構成では、ガンマ補正を適用する画像補正器/エンハンサは、イメージング情報のガンマ補正サブセットを得るために、正規化値をイメージング情報の中間サブセットに加算するように構成されてもよい。別の構成では、装置は、イメージング情報のガンマ補正サブセットを対数フォーマットから線形フォーマットに変換する変換器を含んでいてもよい。別の構成では、ガンマ補正を適用する画像補正器/エンハンサは、イメージング情報のサブセットを最大差動利得値と加算することによって最大合計値を計算し、及び正規化値をイメージング情報の中間サブセットに加算することによってイメージング情報の第2の中間サブセットを計算するように構成されてもよい。イメージング情報のガンマ補正サブセットは、最大合計値又はイメージング情報の第2の中間サブセットの内の小さい方であってもよい。別の構成では、装置は、イメージング情報のガンマ補正サブセットを蓄積することによってガンマ補正画像を生成する画像補正器/エンハンサを含んでいてもよい。ガンマ補正画像は、ガンマ低コントラストカーブ及びガンマ高コントラストカーブの両方に供されていた可能性がある。
開示のシステムの上述のコンポーネントは、上記の機能を行うように構成された装置1102及び/又は装置1102’の処理システム1214の上述のコンポーネントの1つ又は複数であってもよい。処理システム1214は、1つ又は複数のプロセッサ、スイッチ、比較器、数学的論理ユニット、及び/又はコントローラを含んでいてもよい。例えば、イメージング感度値を決定する決定器は、処理システム1214及び/又はメモリ1206を含んでいてもよい。イメージング情報のサブセットを比較する画像情報比較器は、処理システム1214を含んでいてもよい。ガンマ補正を適用する画像補正器/エンハンサは、処理システム1214を含んでいてもよい。線形イメージング情報を受信するレシーバは、トランシーバ1210及び/又はバスインタフェースを含んでいてもよい。イメージング情報のガンマ補正サブセットを変換する変換器は、処理システム1214を含んでいてもよい。ガンマ補正画像を生成する画像補正器/エンハンサは、処理システム1214を含んでいてもよい。
開示したプロセス/フローチャートにおけるブロックの具体的な順序又は階層は、例示的手法の例示であることが理解される。設計の好みに基づいて、プロセス/フローチャートにおけるブロックの具体的な順序又は階層が、並べ替えられてもよいことが理解される。さらに、幾つかのブロックは、統合又は除外されてもよい。添付の方法クレームは、様々なブロックの要素を見本の順序で提示し、及び提示された具体的な順序又は階層に限定されることを目的としたものではない。
上記の説明は、当業者が本明細書に記載の様々な態様を実施することを可能にするために提供されるものである。これらの態様に対する様々な変更は、当業者には容易に明らかとなり、及び本明細書に記載の一般的原理は、他の態様に適用されてもよい。従って、クレームは、本明細書に示す態様に限定されることが意図されるのではなく、単数形の要素への言及が、別段の言明のない限り、「唯一の」を意味することは意図されず、「1つ又は複数の」を意味する、文言クレームと一致した全範囲が与えられることが意図される。「例示的な」という用語は、本明細書では、「例、実例、又は例示として機能すること」を意味するために使用される。「例示的」であると本明細書に記載した何れの態様も、必ずしも、他の態様と比較して好ましい、又は有利であると見なされるものではない。別段の言明のない限り、「幾つかの」という用語は、1つ又は複数を指す。「A、B、又はCの少なくとも1つ」、「A、B、又はCの1つ又は複数」、「A、B、及びCの少なくとも1つ」、「A、B、及びCの1つ又は複数」、及び「A、B、C、又はそれらの任意の組み合わせ」は、A、B、及び/又はCの任意の組み合わせを含み、及びAの倍数、Bの倍数、又はCの倍数を含んでもよい。具体的には、「A、B、又はCの少なくとも1つ」、「A、B、又はCの1つ又は複数」、「A、B、及びCの少なくとも1つ」、「A、B、及びCの1つ又は複数」、及び「A、B、C、又はそれらの任意の組み合わせ」は、Aのみ、Bのみ、Cのみ、A及びB、A及びC、B及びC、又はA及びB及びCでもよく、このような何れの組み合わせも、A、B、又はCの1つ又は複数のメンバーを包含してもよい。当業者に知られている、又は後に知られるようになる、本開示全体に記載した様々な態様の要素に対するあらゆる構造的及び機能的均等物は、明確に本明細書に援用され、及びクレームによって包含されることが意図される。また、本明細書に開示されるものは全て、そのような開示がクレームに明示的に記載されているか否かにかかわらず、公衆に捧げられることを意図したものではない。「モジュール」、「機構」、「要素」、「デバイス」などの用語は、「手段」という用語の代用ではない場合がある。そのため、クレーム要素は、要素が、「ための手段(means for)」というフレーズを用いて明確に記載されない限り、米国特許法第112条(f)により、ミーンズプラスファンクションと解釈されないものとする。

Claims (33)

  1. 高ダイナミックレンジ(HDR)画像を表示するように構成されたデバイスのイメージング感度に基づいて、前記HDR画像の光度を調節する画像処理システムであって、
    少なくとも1つのガンマ低コントラストカーブ及び少なくとも1つの1つのガンマ高コントラストカーブを保存するように構成された電子メモリと、
    捕捉HDR画像の画像データを生成するイメージング装置と、
    ディスプレイデバイスのイメージング感度値を、ディスプレイデバイスにおいて所定の出力輝度を提供する前記ディスプレイデバイスの入力値に基づいて決定するように構成されたイメージング感度決定器と、
    前記ディスプレイデバイスの前記決定したイメージング感度値を前記生成した画像データの輝度値と比較するように構成された画像情報比較器と、
    前記輝度値が、前記ディスプレイデバイスの前記決定したイメージング感度値未満である場合に、前記少なくとも1つのガンマ低コントラストカーブを選択し、及び前記輝度値が、前記ディスプレイデバイスの前記決定したイメージング感度値を超える場合に、前記少なくとも1つのガンマ高コントラストカーブを選択するように構成されたガンマカーブ選択器と、
    前記HDR画像の前記光度を調節するために、前記選択された少なくとも1つのガンマ高コントラストカーブ又は前記選択された少なくとも1つのガンマ低コントラストカーブを前記生成した画像データに適用することによって、前記捕捉HDR画像の前記画像データを補正するように構成された画像補正器と、
    前記調節したHDR画像を前記ディスプレイデバイスに表示するように構成された画像ディスプレイと、
    を含む、画像処理システム。
  2. 前記イメージング感度決定器が、前記入力値が、前記ディスプレイデバイスにおいて、100カンデラ毎平方メートル(cd/m)の前記所定の出力輝度をもたらす時の前記ディスプレイデバイスの前記イメージング感度値を決定するように構成される、請求項1に記載の画像処理システム。
  3. 前記生成した画像データを線形イメージング情報から対数イメージング情報に変換するように構成された画像データ変換器をさらに含み、及び前記輝度値が、前記対数イメージング情報から決定される、請求項1に記載の画像処理システム。
  4. 前記ガンマカーブ選択器が、前記生成した画像データの前記輝度値と前記ディスプレイデバイスの前記イメージング感度値と関連付けられた輝度値を比較するように構成される、請求項1に記載の画像処理システム。
  5. 前記画像補正器が、正規化値に基づいて、前記生成した画像データを正規化することによって、前記画像データを補正するように構成され、
    前記ガンマカーブ選択器が、前記生成した画像データの前記輝度値が、前記イメージング感度値に関連付けられた第1の輝度未満である場合に、前記少なくとも1つのガンマ低コントラストカーブを選択するように構成され、
    前記ガンマカーブ選択器が、前記生成した画像データの前記輝度値が、前記第1の輝度を超える前記イメージング感度値に関連付けられた第2の輝度を超える場合に、前記少なくとも1つのガンマ高コントラストカーブを選択するように構成され、及び
    前記画像補正器が、イメージング情報の中間サブセットを得るために、前記選択されたガンマ低コントラストカーブ又は前記選択されたガンマ高コントラストカーブを前記生成した及び正規化した画像データに適用するように構成される、請求項1に記載の画像処理システム。
  6. 前記正規化値が、前記ディスプレイデバイスの前記イメージング感度値と等しい、請求項5に記載の画像処理システム。
  7. 前記画像補正器が、イメージング情報のガンマ補正サブセットを得るために、前記正規化値を前記イメージング情報の中間サブセットに加算することによって、前記選択されたガンマコントラストカーブを適用するようにさらに構成される、請求項5に記載の画像処理システム。
  8. 前記画像補正器が、前記調節したHDR画像を生成するために、前記イメージング情報のガンマ補正サブセットを対数フォーマットから線形フォーマットに変換するようにさらに構成される、請求項7に記載の画像処理システム。
  9. 前記画像補正器が、前記イメージング情報の中間サブセットを最大差動利得値と加算することによって最大合計値を計算し、及び前記正規化値を前記イメージング情報の中間サブセットに加算することによってイメージング情報の第2の中間サブセットを計算するようにさらに構成され、及び前記画像補正器が、前記計算した最大合計値又は前記計算したイメージング情報の第2の中間サブセットの小さい方に基づいて、前記捕捉HDR画像の前記画像データを補正する、請求項5に記載の画像処理システム。
  10. 高ダイナミックレンジ(HDR)画像を表示するように構成されたデバイスのイメージング感度に基づいて、前記HDR画像の光度を調節する画像処理システムであって、
    複数のガンマコントラストカーブを保存する電子メモリと、
    捕捉HDR画像の画像データを生成するイメージング装置と、
    ディスプレイデバイスのイメージング感度値を決定するように構成されたイメージング感度決定器と、
    ガンマカーブ選択決定を生成するために、前記ディスプレイデバイスの前記決定したイメージング感度値を前記生成した画像データの輝度値と比較するように構成された画像情報比較器と、
    前記生成したガンマカーブ選択決定に基づいて、前記複数のガンマコントラストカーブから少なくとも1つのガンマコントラストカーブを選択するように構成されたガンマカーブ選択器と、
    前記HDR画像の前記光度を調節するために、前記選択された少なくとも1つのガンマコントラストカーブを前記生成した画像データに適用することによって、前記捕捉HDR画像の前記画像データを補正するように構成された画像補正器と、
    を含む、画像処理システム。
  11. 前記電子メモリが、少なくとも1つのガンマ低コントラストカーブ及び少なくとも1つの1つのガンマ高コントラストカーブを保存する、請求項10に記載の画像処理システム。
  12. 前記ガンマカーブ選択器が、前記輝度値が、前記ディスプレイデバイスの前記決定したイメージング感度値未満である場合に、前記少なくとも1つのガンマ低コントラストカーブを選択し、及び前記輝度値が、前記ディスプレイデバイスの前記決定したイメージング感度値を超える場合に、前記少なくとも1つのガンマ高コントラストカーブを選択するようにさらに構成される、請求項11に記載の画像処理システム。
  13. 前記画像補正器が、前記HDR画像の前記光度を調節するために、前記選択された少なくとも1つのガンマ高コントラストカーブ又は前記選択された少なくとも1つのガンマ低コントラストカーブを前記生成した画像データに適用することによって、前記捕捉HDR画像の前記画像データを補正するようにさらに構成される、請求項12に記載の画像処理システム。
  14. 前記調節したHDR画像を前記ディスプレイデバイスに表示するように構成された画像ディスプレイをさらに含む、請求項10に記載の画像処理システム。
  15. 前記イメージング感度値が、前記ディスプレイデバイス内で事前設定される、請求項10に記載の画像処理システム。
  16. 前記イメージング感度決定器が、入力値が、前記ディスプレイデバイスにおいて100カンデラ毎平方メートル(cd/m)の出力輝度をもたらす時の前記ディスプレイデバイスの前記イメージング感度値を決定するようにさらに構成される、請求項10に記載の画像処理システム。
  17. 前記生成した画像データを線形イメージング情報から対数イメージング情報に変換するように構成された画像データ変換器をさらに含み、及び前記輝度値が、前記対数イメージング情報から決定される、請求項10に記載の画像処理システム。
  18. 前記画像補正器が、正規化値に基づいて、前記生成した画像データを正規化することによって、前記画像データを補正するように構成され、
    前記ガンマカーブ選択器が、前記生成した画像データの前記輝度値が、前記イメージング感度値に関連付けられた第1の輝度未満である場合に、前記少なくとも1つのガンマ低コントラストカーブを選択するように構成され、
    前記ガンマカーブ選択器が、前記生成した画像データの前記輝度値が、前記第1の輝度を超える前記イメージング感度値に関連付けられた第2の輝度を超える場合に、前記少なくとも1つのガンマ高コントラストカーブを選択するように構成され、及び
    前記画像補正器が、イメージング情報の中間サブセットを得るために、前記選択されたガンマ低コントラストカーブ又は前記選択されたガンマ高コントラストカーブを前記生成した及び正規化した画像データに適用するように構成される、請求項10に記載の画像処理システム。
  19. 前記画像補正器が、イメージング情報のガンマ補正サブセットを得るために、前記正規化値を前記イメージング情報の中間サブセットに加算することによって、前記選択されたガンマコントラストカーブを適用するようにさらに構成される、請求項18に記載の画像処理システム。
  20. 前記画像補正器が、前記調節したHDR画像を生成するために、前記イメージング情報のガンマ補正サブセットを対数フォーマットから線形フォーマットに変換するようにさらに構成される、請求項19に記載の画像処理システム。
  21. ディスプレイデバイスのイメージング感度に基づいて、画像の光度を設定する画像プロセッサであって、
    前記ディスプレイデバイス上に表示される際の捕捉画像の最適輝度レベルを決定するために、前記捕捉画像の輝度をディスプレイデバイスのイメージング感度と比較することによって、少なくとも1つの輝度調節変更子を選択するように構成された輝度調節選択器と、
    生成した改良画像が、前記ディスプレイデバイス上に表示される際の前記最適輝度レベルで構成されるように、前記少なくとも1つの輝度調節変更子を前記捕捉画像に適用することによって、前記改良画像を生成するように構成された画像エンハンサと、
    を含む、画像プロセッサ。
  22. 前記輝度調節選択器が、前記少なくとも1つの輝度調節変更子として基づいて、複数のガンマコントラストカーブから少なくとも1つのガンマコントラストカーブを選択するように構成される、請求項21に記載の画像プロセッサ。
  23. ガンマカーブ選択決定を生成するために、前記ディスプレイデバイスの前記イメージング感度を前記捕捉画像データの輝度と比較するように構成された画像情報比較器をさらに含む、請求項22に記載の画像プロセッサ。
  24. 前記輝度調節選択器が、前記生成したガンマカーブ選択決定に基づいて、前記少なくとも1つのガンマコントラストカーブを選択するように構成される、請求項23に記載の画像プロセッサ。
  25. 前記輝度調節選択器が、前記捕捉画像の前記輝度が、前記ディスプレイデバイスの前記イメージング感度未満である場合に、少なくとも1つのガンマ低コントラストカーブを選択し、及び前記捕捉画像の前記輝度が、前記ディスプレイデバイスの前記イメージング感度を超える場合に、少なくとも1つのガンマ高コントラストカーブを選択するようにさらに構成される、請求項22に記載の画像プロセッサ。
  26. 前記画像エンハンサが、前記光度を調節するために、前記選択された少なくとも1つのガンマ高コントラストカーブ又は前記選択された少なくとも1つのガンマ低コントラストカーブを前記捕捉画像に適用することによって、前記捕捉画像を補正するようにさらに構成される、請求項25に記載の画像プロセッサ。
  27. 前記生成した改良画像を前記ディスプレイデバイスに表示するように構成された画像ディスプレイをさらに含む、請求項21に記載の画像プロセッサ。
  28. 前記ディスプレイデバイスの前記イメージング感度が、前記ディスプレイデバイス内で事前設定される、請求項21に記載の画像処理システム。
  29. 前記ディスプレイデバイスの前記イメージング感度が、前記ディスプレイデバイスにおいて100カンデラ毎平方メートル(cd/m)の出力輝度をもたらす入力値に基づいて決定される、請求項21に記載の画像プロセッサ。
  30. 前記画像エンハンサが、正規化値に基づいて、前記生成した画像データを正規化することによって、前記画像データを補正するように構成され、
    前記輝度調節選択器が、前記生成した画像データの前記輝度が、前記イメージング感度に関連付けられた第1の輝度未満である場合に、前記少なくとも1つのガンマ低コントラストカーブを選択するように構成され、
    前記輝度調節選択器が、前記生成した画像データの前記輝度が、前記第1の輝度を超える前記イメージング感度に関連付けられた第2の輝度を超える場合に、前記少なくとも1つのガンマ高コントラストカーブを選択するように構成され、及び
    前記画像エンハンサが、イメージング情報の中間サブセットを得るために、前記選択されたガンマ低コントラストカーブ又は前記選択されたガンマ高コントラストカーブを前記生成した及び正規化した画像データに適用するように構成される、請求項21に記載の画像プロセッサシステム。
  31. 前記画像エンハンサが、イメージング情報のガンマ補正サブセットを得るために、前記正規化値を前記イメージング情報の中間サブセットに加算することによって、前記選択されたガンマコントラストカーブを適用するようにさらに構成される、請求項30に記載の画像プロセッサ。
  32. 前記画像エンハンサが、前記ディスプレイデバイスに表示されるように構成された前記改良画像を生成するために、前記イメージング情報のガンマ補正サブセットを対数フォーマットから線形フォーマットに変換するようにさらに構成される、請求項19に記載の画像プロセッサ。
  33. 前記輝度調節選択器が、前記捕捉画像の前記輝度が、前記ディスプレイデバイスの前記イメージング感度未満の場合に、前記捕捉画像の前記輝度を減衰させるための輝度調節変更子を選択し、及び前記捕捉画像の前記輝度が、前記ディスプレイデバイスの前記イメージング感度を超える場合に、前記捕捉画像の前記輝度を増幅させるための輝度調節変更子を選択するようにさらに構成される、請求項22に記載の画像プロセッサ。
JP2019513076A 2016-09-07 2017-09-07 高ダイナミックレンジ処理 Active JP6983874B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662384606P 2016-09-07 2016-09-07
US62/384,606 2016-09-07
US15/697,187 2017-09-06
US15/697,187 US10242435B2 (en) 2016-09-07 2017-09-06 High dynamic range processing
PCT/EP2017/072502 WO2018046614A1 (en) 2016-09-07 2017-09-07 High dynamic range processing

Publications (2)

Publication Number Publication Date
JP2020507220A true JP2020507220A (ja) 2020-03-05
JP6983874B2 JP6983874B2 (ja) 2021-12-17

Family

ID=61280832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019513076A Active JP6983874B2 (ja) 2016-09-07 2017-09-07 高ダイナミックレンジ処理

Country Status (5)

Country Link
US (3) US10242435B2 (ja)
EP (1) EP3510760A1 (ja)
JP (1) JP6983874B2 (ja)
CA (1) CA3035942A1 (ja)
WO (1) WO2018046614A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2713869C1 (ru) * 2017-02-15 2020-02-07 Долби Лэборетериз Лайсенсинг Корпорейшн Преобразование тоновой кривой для изображений с расширенным динамическим диапазоном
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
JP7257768B2 (ja) * 2018-09-28 2023-04-14 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
CN111510698A (zh) * 2020-04-23 2020-08-07 惠州Tcl移动通信有限公司 图像处理方法、装置、存储介质及移动终端
EP3934223A1 (en) * 2020-06-29 2022-01-05 AMS Sensors Belgium BVBA Converting digital image data
US11587213B1 (en) * 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
WO2015194101A1 (ja) * 2014-06-16 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置
JP2016533071A (ja) * 2013-07-18 2016-10-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108317A1 (ja) * 2006-03-20 2007-09-27 Sony Corporation 画像信号処理装置及び画像信号処理方法
US8120679B2 (en) * 2008-08-01 2012-02-21 Nikon Corporation Image processing method
JP2014155005A (ja) * 2013-02-07 2014-08-25 Canon Inc 表示装置及びその制御方法
MX350910B (es) * 2013-02-21 2017-09-25 Koninklijke Philips Nv Métodos y dispositivos de codificación y decodificación de imágenes mejoradas de alto rango dinámico (hdr).
CN105432069B (zh) * 2013-07-25 2018-09-25 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及程序
JP2016058848A (ja) 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002132243A (ja) * 2000-10-27 2002-05-09 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2016533071A (ja) * 2013-07-18 2016-10-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
WO2015194101A1 (ja) * 2014-06-16 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置

Also Published As

Publication number Publication date
EP3510760A1 (en) 2019-07-17
US20190220961A1 (en) 2019-07-18
US10242435B2 (en) 2019-03-26
CA3035942A1 (en) 2018-03-15
JP6983874B2 (ja) 2021-12-17
WO2018046614A1 (en) 2018-03-15
US11049229B2 (en) 2021-06-29
US20200034955A1 (en) 2020-01-30
US20180068427A1 (en) 2018-03-08
US10430931B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
JP6983874B2 (ja) 高ダイナミックレンジ処理
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
EP3731532A1 (en) Conversion of high dynamix range (hdr) luminance
KR101225058B1 (ko) 콘트라스트 조절 방법 및 장치
EP2833317A1 (en) Image display device and/or method therefor
US20180041373A1 (en) Signal processing device, display device, signal processing method, and program
CN110099194B (zh) 使用可变分段查找表改善视频信号的传输
US10645359B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
US20210027437A1 (en) Method and system for improved visibility in blended layers for high dynamic range displays
US20140348428A1 (en) Dynamic range-adjustment apparatuses and methods
US20170124983A1 (en) Adaptive Display Management Using 3D Look-Up Table Interpolation
CN108694030B (zh) 处理高动态范围图像的方法和装置
KR20230003066A (ko) 동적 범위 맵핑 방법 및 장치
CN113096035A (zh) 高动态范围图像生成方法、装置、智能终端及存储介质
KR101113483B1 (ko) 컬러 영상의 가시성 향상 장치 및 방법
US20180374202A1 (en) Method for tone adapting an image to a target peak luminance lt of a target display device
JP5152203B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
US10326971B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
KR101642034B1 (ko) 입력 영상의 동적 범위를 변환하는 방법 및 장치
CN112541863A (zh) 使用暗伽玛传递函数来压缩图像中的动态范围
US11388348B2 (en) Systems and methods for dynamic range compression in multi-frame processing
JP2019080156A (ja) 画像処理方法および画像処理装置
WO2023070582A1 (en) A device and method for noise-adaptive high dynamic range image processing
JP5361624B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20240119573A1 (en) Image processing apparatus, image processing method and computer-readable storage medium for direct memory accesses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R150 Certificate of patent or registration of utility model

Ref document number: 6983874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371