JP2013527732A - 階調および色再現域のマッピング方法および装置 - Google Patents

階調および色再現域のマッピング方法および装置 Download PDF

Info

Publication number
JP2013527732A
JP2013527732A JP2013513184A JP2013513184A JP2013527732A JP 2013527732 A JP2013527732 A JP 2013527732A JP 2013513184 A JP2013513184 A JP 2013513184A JP 2013513184 A JP2013513184 A JP 2013513184A JP 2013527732 A JP2013527732 A JP 2013527732A
Authority
JP
Japan
Prior art keywords
color
pixel data
mapping
specific
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013513184A
Other languages
English (en)
Other versions
JP5611457B2 (ja
Inventor
メスマー、ニール
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2013527732A publication Critical patent/JP2013527732A/ja
Application granted granted Critical
Publication of JP5611457B2 publication Critical patent/JP5611457B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G1/00Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
    • G09G1/002Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Abstract

階調および/または色再現域マッピング装置および方法の適用により、画像データにおける色値をマッピングして特定の表示装置またはその他の下流装置に表示することができる。マッピングアルゴリズムは、マッピングする画素データの位置および/または色座標に基づいて選択してもよい。この装置および方法は、画素が画像中の光源に対応するか否か、および/または特定色値もしくは予約色値を有するか否かに応じて、色座標に異なるマッピングを施すように構成される。

Description

本発明は、画像処理、画像表示、および画像再生に関する。本発明の実施形態は、画像データを処理して、ローカルまたは下流装置での表示または再生のために色および/または階調を変換する方法および装置を提供する。また、幾つかの例示的な実施形態は、画像データを受信および処理して、処理された画像データを閲覧のために表示するように構成された表示装置である。
通常、コマーシャル映像の制作においては、映像シーケンスの取得および編集を行う。この映像制作において、配信前にカラーグレーディング工程で色を調整する場合がある。通常、カラーグレーディングにおいて、理想閲覧条件下の基準表示装置上に映像制作物を表示し、映像制作物の色および階調を調整して所望の芸術的目標を実現する。例えば、カラーグレーディング装置のオペレータ(カラーグレーダー)は、画像の輝度を抑えることによって、そのシーンの雰囲気を暗くしてもよい。また、芸術的目標は、例えば特定の表示物体の色の変更、シーン全体のコントラストの変更、シーン全体の輝度の変更等の調整により達成してもよい。その結果を基準表示装置上に表示すると、カラーグレーダーの芸術的目標に合致する。
その他、実に多くの表示技術が商業的に利用可能である。その範囲は、デジタル映画表示装置から、陰極線管、プラズマディスプレイ、LEDディスプレイ、様々なタイプのバックライトシステムでLCDパネルを照らすLCDパネルディスプレイ等を用いたテレビ受像機にまで至る。
このような表示装置は、それぞれ異なる性能を有する。例えば、他の表示装置より広い色再現域を有する場合や、より広範囲の輝度および/またはより高い最大輝度を再生できるものがある。本発明者らは、画像データ中の画像で表される芸術的目標を妥協することなく、特定の表示装置の性能を利用可能な態様で画像データを変換可能な方法および装置が必要と考えた。
また、この必要性は、画像データによる想定とは異なる色および/または階調を再生可能な様々なタイプの印刷、版画等の画像再生技術による静止画像の再生にまで及ぶ。
さらには、柔軟で費用対効果に優れた階調および/または色再現域のマッピング装置および方法も必要である。特に、高画質表示装置上への娯楽画像の生成に適用可能な上記装置および方法が必要である。
例示的な一実施形態に係る表示装置側に配置可能な装置の構成要素のブロック図である。 例示的な一実施形態に係るカラーグレーディングツールに配置可能な装置の構成要素のブロック図である。 例示的な一実施形態に係る方法を示したフローチャートである。 別の例示的な実施形態に係る装置を示したブロック図である。 別の例示的な実施形態に係る装置を示したブロック図である。 標準的な映像データおよび光源が存在する画像領域の階調曲線のグラフである。 標準的な映像データならびに放射光源および反射光源がそれぞれ存在する画像領域の階調曲線のグラフである。 階調/色再現域パラメータを記述する所定のメタデータの表示例である。 映像配信パイプラインの一部を通る映像データおよびメタデータの配信を示したフローチャートである。 例示的な一実施形態に係るカラーグレーディングプロセスを模式的に示した図である。
本発明ならびに本発明の例示的な実施形態に係る種々態様については、以下に説明するとともに添付の図面に例示する。
添付の図面は、本発明の例示的な実施形態を示しているが、これらに限定されるものではない。
以下の説明では、当業者がより深く理解できるように、具体的詳細を記載する。ただし、開示の明瞭性が不必要に妨げられることのないよう、周知の要素については詳細な図示または説明を省略している場合がある。したがって、以下の説明および図面は、ほんの一例に過ぎず、限定的な意味で捉えるべきものではない。
図1Aおよび図1Bは、例示的な一実施形態に係る階調・色再現域マッピング装置10を示したハイレベル・ブロック図である。装置10の構成要素(例えば、図1Aに示す構成要素)は、表示装置側(display end)に配置してもよい。装置10のその他の構成要素(例えば、図1Bに示す構成要素)は、表示装置の上流のカラーグレーディングツールに配置してもよい。また、カラーグレーダーツールセット(例えば、カラーグレーディングツールが提供するカラーグレーディング機能セット)との協働により、メタデータの作成を進めるようにしてもよい。カラーグレーディングツールは、例えばカラーグレーダーの操作により入力画像データを受信して、当該入力画像データ領域内の画素データの色および/または輝度の調整により当該画像の所望の芸術的効果を実現可能なソフトウェアおよび/またはハードウェアベースのシステムを備えていてもよい。
装置10は、表示装置側において、画像データ14を受信する入力12を有する。画像データ14として、映像データ、1または複数の静止画像を規定するデータ等が挙げられる。また、入力12として、シリアルまたはパラレルデータバス等の物理的入力、無線データ入力、画像データ14へのアクセスが可能なメモリー位置、何らかのデータ通信チャンネルから画像データ14を受信するインターフェース、DVD、CD−ROM、フラッシュメモリ、またはその他のデータ記録等の媒体から画像データ14を読み出すハードウェア等が挙げられる。
画像データ14には、表示する画像中の画素の画素データ15が含まれる。また、画素データ15の各セットには、画素の色および階調を示す多くの色座標(この例では、C1、C2、C3)が含まれる。画素データ15には、明示的または暗示的に、それが表す画素の位置情報(この例では、座標X、Yで識別)も含まれる。この位置情報X、Yは、画像データ14における特定の画素データ15のオフセットまたはその他の相対位置で表してもよい。図1Aに示す例示的な実施形態においては、位置情報X、Yが明示的に示されている。
装置10は、座標C1、C2、C3を画像データ14とは異なる色空間に変換する座標変換ブロック16を任意に備えている。幾つかの実施形態において、装置10が異なる色空間の内部で動作すると都合が良い。この異なる色空間は、例えば線形色空間(すなわち、明るさ(例えば、明度、強度、または輝度)等の物理的な値が直線的に表される色空間)であってもよい。このような実施形態において、座標変換ブロック16は、線形色空間への変換を行ってもよく、特定の実施形態において、IPT、LAB、またはRGB色空間もしくは画像データ14の色空間よりも階調または色再現域のマッピングに適した別の色空間への変換を行ってもよい。
ブロック18は、画素データ15を受け取って、当該画素データ15のマッピングによりマッピング画素データ15’を取得する。このマッピングは、ルックアップテーブル、マッピングアルゴリズムを実行する論理回路等を用いて行ってもよい。実施する特定のマッピングは、マッピングロジック19の動作に影響を及ぼすマッピングパラメータ20によって規定される。
マッピング画素データ15’は、マッピング画像データ14’として出力される。マッピング画像データ14’の出力において、例えばマッピング画素データ15’をファイルまたはバッファに保存してシリアルまたはパラレルデータバスに流し、下流装置または回路等に送信・供給するようにしてもよい。
図示の実施形態において、マッピングパラメータ20には、設定機構26が設定したパラメータ22が含まれる。設定機構26は、メタデータ抽出/受信ユニット24から受け取ったメタデータに従ってマッピングパラメータ22を設定する。幾つかの実施形態において、メタデータは、画像データ14の信号、データ構造、またはその他の表象に埋め込まれ、メタデータ抽出/受信ユニット24によって画像データ14から抽出される。別の実施形態において、メタデータは、独立したチャンネル、独立したデータ構造等にて受信される。いずれにしろ、マッピングロジック19の動作は、メタデータに応じて少なくとも一部が設定または選択されるパラメータ22により制御される。
図示の実施形態において、パラメータ22には、通常パラメータ(general metadata)22A、色パラメータ22B、および位置パラメータ22Cが含まれる。本実施形態において、マッピングロジック19が行うマッピングは、マッピングを行う画素データ15中の色座標および/またはマッピングを行う画素15に対応した位置情報に応じて変化してもよい。これら機能の適用例については後述する。
例示的な一実施形態において、設定ユニット26に供給されるメタデータ21には、映像データ14の全体または選択部分に適用する通常メタデータが含まれる。例えば、この一般メタデータは、映像データ14中の選択シーンまたはフレームに対して規定されたものであってもよい。また、設定ユニット26は、上記通常設定メタデータに基づいて画像データ14をマッピングする際に使用するマッピングパラメータ22のセットを(例えば、選択または計算により)確立するように構成されていてもよい。この通常設定メタデータは、装置10が組み込まれるか、または装置10の下流に配置された特定の表示装置または画像再生技術に固有のものであってもよい。
また、設定ユニット26に渡されるメタデータとして、特定の色または色領域についての特有のマッピング動作を規定するメタデータが挙げられる。例えば、ブロック18の変換の影響を受けない1または複数の予約色または予約色領域をメタデータにより規定してもよい。このような予約色または領域は、パラメータ22Bに規定してもよい。また、マッピングロジック19による変換は、パラメータ22Bに特定された予約色が変換によって変化することのないように構成されていてもよい。
別の例として、幾つかの実施形態において、マッピングパラメータ22で規定されたマッピングにより、少なくとも一部の色を画像データ14中の色再現域外の変換色にマッピング可能であってもよい。幾つかの実施形態において、色再現域の境界近くの色領域内における色は、画像データ14を表す色再現域の境界から離れた色座標の色に適用される変換とは異なる変換を適用してもよい。
別の例としては、画像データ14からの1または複数の選択色を画像データ14の色再現域外の対応する目標色に関連付けてもよい。この場合、マッピングロジック19は、対応する目標色に関連付けられる選択色を表示装置またはその他の対象装置の表示性能範囲内の色にマッピングするように構成されていてもよい。
また、マッピングロジック19は、画素データに対応した位置情報(例えば、図示の例における座標X、Yに関する情報)に応じて異なる変換を行うように構成されていてもよい。例えば、設定ユニット26で受け取ったメタデータにより、その時の画像(current image)中の光源の位置を規定してもよい。また、処理する画素データに対応した位置情報により、当該画素データが光源内または光源外の位置に対応していることが示唆されているか否かに応じて、異なるマッピングを適用してもよい。異なるマッピングは、階調曲線の調整により適用してもよい。例えば、図5Aは、(光源の調整を一切施していない)標準的な映像データの階調曲線および光源として識別される領域に調整を施した階調曲線(「調整済み階調曲線」)を示している。継ぎ目なく調整を行うため、調整済み階調曲線は、光源領域と非光源領域との境界で標準的な映像データの階調曲線に合致させてもよい。例えば、図5Aに示すように、(例えば、光源として識別される領域外の領域に対応する)小さな入力画素駆動値(lower input pixel drive value)の場合、調整済み階調曲線は、標準的な映像データの階調曲線と同一であってもよい。調整済み階調曲線は、小さな入力画素駆動値と大きな入力画素駆動値との間の値では、標準的な映像データの階調曲線から分岐する。光源として識別される領域に対応する大きな入力画素駆動値の場合、調整済み階調曲線は、標準的な映像データの階調曲線と異なっていてもよい(例えば、図5Aに示すように、大きな入力画素駆動値は、標準的な映像データよりも大きな出力値としてマッピングしてもよい)。大きな入力画素駆動値の場合、調整済み階調曲線が光源として識別される領域の画素の強度を規定する。図5Aの調整済み階調曲線は、例示的な一実施形態として、光源領域における画素の強度の調整方法を示している。別の実施形態において、調整済み階調曲線は、図5Aとは異なる曲線であってもよい(例えば、種々実施形態として、曲線の上下いずれかに特定の変曲点を有していてもよい)。画像には、所望の効果に応じて特定の調整済み階調曲線を適用することにより、画像の他の領域に対する光源領域の強度の調整方法を変えるようにしてもよい。
幾つかの実施形態において、光源の種類に応じて異なるマッピングを適用する。例えば、メタデータにおいて光源が反射光源または放射光源のいずれとして識別されるかに応じて、異なるマッピングを適用してもよい。幾つかの実施形態において、複数種の異なる光源のそれぞれに対して、独立したマッピングアルゴリズムおよび/またはマッピングパラメータが提供される。図5Bは、放射光源および反射光源を含むものと識別された領域に適用される階調曲線ならびに(光源の調整を一切施していない)標準的な映像データの階調曲線を例示している。
図1Bは、カラーグレーディングツールに配置可能な装置10の構成要素を示している。装置10は、カラーグレーディングツールにおいて、入力12Aにより入力画像データ14Aを受信するとともに、(メタデータ21を含んでいてもよい)カラーグレーデッド画像データ14Bを出力する。画像データ14Aおよび14Bとしては、映像データ、1または複数の静止画像を規定するデータ等が挙げられる。画像データ14Aには、表示する画像中の画素の画素データ15Aが含まれていてもよい。カラーグレーディングツールは、カラーグレーディングプロセッサ11を備えていてもよく、画素データ15Aを受け取り、ユーザー入力に応じて1または複数のカラーグレーディング機能を実行して、カラーグレーデッド画素データ15Bを取得する。カラーグレーディング機能は、ソフトウェアおよび/またはハードウェアにより具体化してもよい。また、プロセッサ11によるカラーグレーディング機能の動作は、専門のカラーグレーダーが制御するようにしてもよい。例えば、カラーグレーダーは、特定の色を強くするか、もしくは、画像中の画素の輝度、彩度、および/または色相を変更するようにしてもよい。あるいは、適当なユーザー入力をカラーグレーディングツールに付与し、カラーグレーディングツールのカラーグレーディング機能を選択して画素データ15Aに適用することにより、所望の芸術的効果を実現するようにしてもよい。
図示した実施形態においては、カラーグレーディングプロセッサ11がメタデータ生成器17に通信可能に結合されている。メタデータ生成器17は、階調/色再現域パラメータを記述可能なメタデータ定義のセット13にアクセス可能であるか、または当該セットを生成してもよい。また、メタデータ生成器17は、カラーグレーデッド画素データ15Bにアクセス可能であってもよいし、カラーグレーデッド画素データ15Bとともに送信するメタデータ21を生成してもよい。メタデータの生成は、カラーグレーディングプロセッサ11による通信および/またはカラーグレーデッド画素データ15Bによる決定のため、画像特性およびカラーグレーディングプロセッサ11による画素データの調整に基づくものであってもよい。メタデータ生成器17は、カラーグレーデッド画素データのパラメータを識別することによって、メタデータの作成を進めるようにしてもよい。
図示の実施形態において、メタデータ生成器17は、ソフトウェア機能を格納するプログラムメモリー23を備え、メタデータ生成器17のプロセッサ27による動作に際して、例えば画像中の光源の位置、色再現域外で意図的にカラーグレーディングが行われる色、予約色等のカラーグレーデッド画素データのパラメータを識別するものであってもよい。また、メタデータ生成器17は、このようなパラメータに関する情報を用いて、メタデータ21を生成してもよい。メタデータ生成器17により生成されたメタデータ21は、カラーグレーデッド画素データ15Bと組み合わせるか、または一緒に送信して、下流装置に画像データ14Bとして出力してもよい。特定の実施形態において、図1Aに示す装置10の構成要素により、画像データ14B(図1B)を画像データ14として受信してもよい。
図8は、例示的な一実施形態に係るカラーグレーディングプロセスを示している。専門のカラーグレーダー35は、基準表示装置の制御により当該プロセスを開始して、外部の映像コンテンツソースからの映像データを表示する。このような映像データは、カメラ撮影、CGI(コンピュータ生成画像)等で作成したものであってもよい。カラーグレーディングプロセスにおいて、カラーグレーダー35は、基準表示装置上に表示された映像データを見ながら、カラーグレーディングツール88を用いることにより、作成者の芸術的目標に従って映像フレーム78A(または、一連のフレーム群(すなわち、シーン))を調整または修正する。カラーグレーディングプロセッサ11は、カラーグレーダー35の入力に従って映像フレーム78Aを調整することにより、カラーグレーデッド映像フレーム47を生成する。
カラーグレーディングプロセスにおいて、各フレームの部分ごとに異なる修正を加えてもよい。その対象は、(例えば、光源位置に対応する画像領域に特定の階調マッピングを適用してもよい)特定の画像領域、(例えば、色特有マッピングに従って特定の色または階調/色再現域をマッピングしてもよい)特定色、および/または(例えば、階調/色再現域のマッピング中は、カラーグレーディングプロセスで予約色として指定された肌色、緑色、その他の階調の調整を禁止してもよい)予約色である。フレームまたはシーンにおいて、カラーグレーディングプロセスで階調/色再現域を調整済みの特定画素の位置および/またはカラーグレーディングプロセスでは階調/色再現域を意図的に調整していない特定画素の位置(例えば、予約色の場合)を規定するメタデータグリッド41上に階調または色再現域のローカルフラグを設定してもよい。また、この階調または色再現域のローカルフラグにより、当該画素に施した階調/色再現域の調整に関する情報を識別するようにしてもよい。カラーグレーデッド映像コンテンツ、階調または色再現域のローカルフラグ、および各ローカルフラグに対応する画素位置は、記憶装置またはバッファ装置49に保存してもよい。また、階調または色再現域のローカルフラグおよびこれらフラグが示す情報については、蓄積ローカルメタデータとして、フレームメタデータコンテナ48に保存してもよい。
コーデック82は、メタデータコンテナ48に格納されたメタデータ、映像フレーム47中のカラーグレーデッドコンテンツ、および階調または色再現域のローカル調整結果(記憶装置49に格納)を受け取って、当該メタデータおよびカラーグレーデッドコンテンツを配信のために符号化する。コーデック82による符号化としては、例えば以下のような方法が挙げられる。
蓄積ローカルメタデータを符号化して、映像またはシーンの先頭のメタデータに配置する。映像およびフレームメタデータは、符号化の上、蓄積メタデータに追従させてもよい。また、フレームメタデータは、フォーマットにより蓄積ローカルメタデータのインデキシング(index)を行って、メタデータの送信に必要なデータ量を最小限に抑えるようにしてもよい。
あるいは、蓄積メタデータは無視して、カラーグレーデッド映像とともにフレームメタデータを符号化する(この場合は、全帯域が増加する場合がある)。
図7は、カラーグレーディング段階80に始まって表示階調/色再現域マッピング段階84で終了する映像配信パイプラインの一部を示している。映像配信パイプラインの段階80、84の前段および後段については、図示を省略している。カラーグレーディング段階80において、図1Bに示す装置10の構成要素および/または図8に示すカラーグレーディングツールを用いて、下流装置における階調/色再現域マッピング用のメタデータを生成してもよい。メタデータは、映像データとともにコーデック段階82に渡して、映像データおよびメタデータの符号化および/または復号化を行ってもよい。幾つかの実施形態において、メタデータを独立した通信チャンネルで渡すようにしてもよい。映像データおよびメタデータは、下流装置に渡して、段階84で階調/色再現域のマッピングを行う。階調/色再現域マッピング段階84においては、図1Aに示す装置10の構成要素を用いて、本明細書に記載の階調/色再現域マッピング方法を実施してもよい。
図2Aは、画像データ14のマッピングによるマッピング画像データ14’の取得に適用可能な方法25を示している。ブロック28においては、メタデータを取得する。このメタデータは、映像ストリーム、映像データを含むファイル、独立したデータストリームで受信した独立したデータ構造等から抽出したものであってもよい。また、メタデータは、画像データの取得前および/または取得中に取得してもよい。幾つかの実施形態において、画像データの処理中にもブロック28の動作が継続してもよい。
ブロック29において、受信したメタデータに応じてマッピングロジックを設定する。この設定には、例えば色値および/または階調値のマッピングに用いられるルックアップテーブルへの値の書き込み、予約色の記録、独立マッピングまたは修正マッピングを有する特定色領域の識別、特有マッピングまたは修正マッピングを有する特定位置の識別、マッピングアルゴリズムがアクセスするレジスタへのパラメータ値の書き込み、設定可能なロジック実装マッピングアルゴリズムの設定等が含まれていてもよい。ブロック29は、更新メタデータの受信ごとに繰り返してもよい。
メタデータとしては、表示装置上における画素データの色/輝度値の表示態様、または送信された色/輝度値の(同じ色空間または異なる色空間における)マッピングによるマッピングされた色/輝度値の取得態様に影響を及ぼすメタデータ等が挙げられる。また、メタデータの短縮または送信に必要なデータ量の抑制に役立つメタデータ等も挙げられる。例えば、幾つかの実施形態において、メタデータは、階調/色再現域のマッピングで後に使用する階調/色再現域マップを定義するものであってもよい。後続のメタデータは、特定の画素に対して所定の色再現域マップのうちの1つを利用することを示してもよい。この所定のマップは、マッピング装置が参照可能なデータ構造の映像配信パイプラインの表示装置の下流に格納またはバッファリングしてもよい。データ構造は、例えば1次元または2次元のデータ構造であってもよい。
幾つかの実施形態において、メタデータは、カラーグレーディングプロセスにおける階調または色再現域の調整に関する情報を提供するメタデータフラグを定義してもよい。この階調または色再現域の調整に関する情報は、例えば、予約色である未調整の色、色再現域外で意図的にカラーグレーディングが行われた色、色特有マップ(color specific map)に従ってマッピングされる特定色等を識別するものであってもよい。メタデータフラグおよび対応する階調または色再現域の調整に関する情報は、表示装置側に格納またはバッファリングしてマッピング装置により後に参照可能なデータ構造(例えば、ルックアップテーブル)に格納してもよい(例えば、図6参照(画像データのフレームに対応するメタデータグリッド上の画素に設定された階調または色再現域のローカルフラグおよび所定の色再現域メタデータ構造を示している))。表示装置側に送信される後続のメタデータは、階調または色再現域の特定ローカルフラグが画素データ中の特定画素に対応することを示してもよい。マッピング装置でこれらの情報を用いることにより、格納されたメタデータ構造中で上記画素に対する階調または色再現域の調整結果を探索し、これら階調または色再現域の調整結果に基づいて階調/色再現域マッピング方法を選択・適用するようにしてもよい。
方法25には、画素データのマッピングを行うデータ処理シーケンス25Bが含まれる。このシーケンス25Bは、画像データ14中の画素データ15ごとに繰り返してもよい。ブロック30においては、画素データを受信する。このブロック30には、例えばバッファからの次の画素データの読み出し、メモリーからの画素データの読み出し、パラレルまたはシリアルバス等の入力線上での画素データの受信等が含まれていてもよい。ブロック32において、画素データの色座標をゼロ以上の予約色のセットと比較する。予約色がない場合、ブロック32は任意であるため実行の必要はない。処理する画素データの色座標が予約色に対応する場合は、矢印33で示すように画素データをマッピングせずに通過させるか、または、ブロック34を通過させて画素データの階調のみマッピングを行う(例えば、ブロック34は、画素データのダイナミックレンジを拡大するか、あるいは画素データの輝度値を変更して、下流用途に適合するようにしてもよい)。特定の実施形態において、画像の特定の物体または領域を表す画素(例えば、肌、草、空等を表す画素)の階調を保護する。したがって、予約色は、これら物体の描写に用いられる予約色に対応していてもよい。また、予約色は、カラーグレーダーがカラーグレーディング段階で設定してもよい(例えば、カラーグレーダーは、肌の階調として特定の階調を指定してもよい)。画素データのマッピング中は、予約色の所定限度内の階調を保護してもよい。
ブロック36において、画素データに対応する位置情報をゼロ以上の特定位置のセットと比較する。メタデータによる特定位置の規定がない場合、ブロック36は任意であるため実行の必要はない。特定位置が確認された場合、当該画素データの位置情報が特定位置に対応するか否かをブロック36において判定し、対応する場合は、ブロック38において、当該画素データの位置特有マッピング(location specific mapping)を有効にする。
幾つかの実施形態において、特定位置は、異なる種類のマッピングアルゴリズムに関連付けられていてもよい。例えば、異なる種類の光源には、異なるマッピングアルゴリズム(または、マッピングアルゴリズムの異なる変形例)を提供するようにしてもよい。例えば、光を放射する物体および反射する物体それぞれに、異なるマッピングアルゴリズムを提供するようにしてもよい。また、幾つかの実施形態において、画素データ15が関連する画素の位置特有メタデータにより、デフォルトのアルゴリズム、放射性物体用アルゴリズム、または反射性物体用アルゴリズムに従って画素データ15をマッピングする。このような実施形態においては、複数のアルゴリズムからの選択がブロック38に含まれていてもよい。
ブロック39において、画素データに位置特有マッピングを適用してマッピング画素データを取得する。
ブロック40において、画素データ(階調または輝度値を含む場合あり)の色座標をゼロ以上の特定色領域のセットと比較する。特定色領域は、色空間または色空間の領域における単一点で構成されていてもよい。特定色の規定がない場合、ブロック40は任意であるため省略してもよい。画素データの色座標が色空間の特定領域に対応する場合は、ブロック42において色特有マップを選択する。ブロック43において、色特有マップを適用して、画素データを、マッピングされた画素データにマッピングする。
ブロック44において、予約色、特定位置、および特定色のいずれにも対応しない画素データのマッピングを通常マッピング(general mapping)に従って行う。ブロック45において、マッピング画素データを出力する。ブロック45には、例えばマッピング画素データのシリアルまたはパラレルデータバス上への配置、有線または無線通信チャンネルを介したマッピング画素データの送信、さらなる画像処理、表示、または再生ハードウェアへのマッピング画素データの適用、メモリーへのマッピング画素データの書き込み等が含まれていてもよい。
幾つかの実施形態において、メタデータには、画像ヒストグラム等の画像統計値が含まれる。マッピングアルゴリズムでは、このような情報として、例えばカレント画像の平均輝度を用いることにより、階調および/または色再現域のマッピングを制御するようにしてもよい。幾つかの実施形態において、画像統計値は、カレント画像の画素データをマッピングする前のデータ処理シーケンス25Bに利用可能である。これにより、画像の全データを受信する前にマッピングが開始された場合であっても、当該画像の統計値に基づいて画素データのマッピングを行うことができる。幾つかの実施形態において、マッピングはローカルである(すなわち、画素データ15の各セットのマッピングは、画像中の他の画素の画素データ15の値に関係なく行われる)。
画像データのフレームに対してメタデータが提供する画像ヒストグラムは、例えば各ヒストグラムバケットに関連付けられた輝度範囲内の輝度値を有する各色チャンネルの画素数を識別するものであってもよい(例えば、各色チャンネルに対して、256個の24ビットヒストグラムバケットが提供されていてもよい)。画像ヒストグラムおよび/または画像統計値は、画像データの解析に用いてもよい。また、このような画像データの解析に基づいて、階調/色再現域のマッピングを行ってもよい。例えば、幾つかの実施形態において、画像全体の明るさまたは暗さの評価、平均輝度に対する明領域又は暗領域の有意性、もしくはヒストグラムまたは画像統計値から推定されるその他の基準に基づいて、特定階調/色再現域マッピングアルゴリズムを実行してもよい。また、幾つかの実施形態において、階調/色再現域のマッピングでは、例えば画像の明領域の物体が強調されないように適用する階調曲線を調整するか、または画像の暗領域の物体がより強調されるように適用する階調曲線を調整することによって、画像の明暗領域間のバランスを実現するようにしてもよい。
幾つかの実施形態において、通常メタデータには、階調/色再現域マッピング装置の選択動作モードを規定する情報が含まれる。この特性を利用して、例えばテレビ等の下流装置に適用される階調/色再現域マッピングアルゴリズムの実装が上流装置と下流装置とで共通の場合は、ディレクタが当該マッピングアルゴリズムに対する制御を行えるようにしてもよい。幾つかの実施形態において、上記選択動作モードは、当該モードの特性を全体的に示すコードによって識別される。例えば、本明細書に記載の階調/色再現域マッピング装置を内蔵したテレビには、「鮮明」、「映画」、「標準」、および「プロ」の各モードからの選択に対応するものがあってもよい。別のテレビでは、対応するモードをそれぞれの方法で具体化するようにしてもよい。
図3は、別の例示的な実施形態に係る装置50を示している。装置50は、画像データ14またはその他のソースからメタデータ21を読み出すメタデータ抽出器52を備えている。制御装置54は、メタデータの検出に応じてスイッチ55を制御する。例えば、制御装置54は、メタデータ21が示す所望のモードに応じて、スイッチ55の位置を設定してもよい。
スイッチ55としては、物理スイッチまたは論理スイッチが挙げられる。スイッチ55の各位置において、マッピングロジック57がマッピングアルゴリズムの異なるセット56を利用可能である。図示の実施形態は、セット56A、56B、および56Cを提供する(セット56と総称する)。各セット56には、例えば一般アルゴリズム57A、特定の異なる種類の光源に対する複数のアルゴリズム57B−1、57B−2、および特定の色または色領域に対する複数のアルゴリズム57C−1、57C−2が含まれる。
幾つかの実施形態において、テレビ等の下流装置は、映像データ14に適用されるマッピングアルゴリズムの仕様を受信するように構成された階調/色再現域マッピング装置を内蔵していてもよい。この仕様は、ルックアップテーブル値、装置が実行する階調および/または色再現域マッピングアルゴリズムの何らかの動作態様を制御するパラメータ、または画像データ14の階調および/または色再現域のマッピングにおいて装置が実行する1または複数の特定アルゴリズムの仕様等、特定のマッピングパラメータの仕様であってもよい。ルックアップテーブルは初期化時に設定可能であり、また、メタデータを用いてルックアップテーブルのインデキシングを行うことにより、所望の階調/色再現域マッピングを選択するようにしてもよい。初期化は、固定データセット(受信側には内蔵されていないがユーザーが供給するデータを含む場合あり)を用いて行ってもよいし、メタデータの送信により行ってもよい。
表1は、本発明に関連して使用可能な位置特有メタデータコードの例をいくつか示している。表1に示すコードは、ほんの一例に過ぎない。
表2は、本発明に関連して使用可能な色特有メタデータコードの例をいくつか示している。表2に示すコードは、ほんの一例に過ぎない。
表3は、本発明に関連して使用可能な通常メタデータ情報の例をいくつか示している。表3に示す情報項目は、ほんの一例に過ぎない。
方法25の動作順序は変更してもよい。例えば、処理する画素データが特定位置に対応するか否かの判定は、当該画素データが色空間の特定領域に対応するか否かを判定した後に行ってもよい。図2Aに示す別の例示的な実施形態において、画素データが特定位置に対応するものと識別された場合は、ブロック40Aの実行により、当該画素データが色空間の特定点または領域にも対応するか否かを判定する。対応する場合は、ブロック42Aにおいて位置特有マップおよび色特有マップを選択し、ブロック43Aにおいて当該マップを適用することにより画素の色座標をマッピングする。
適用例においては、映像信号にカラーグレーディングが施され、「標準的なカラーテレビ」に表示されている。ただし、この映像信号は、標準的なテレビよりも色再現域およびダイナミックレンジが広いテレビに表示される。この適用例では、入力映像データのダイナミックレンジをわずかに拡大した後、色再現域をわずかに拡大することによって、表示装置の性能を利用するのが望ましい。ダイナミックレンジおよび色再現域を適当に拡大するデフォルトのマッピングは、例えばルックアップテーブルセットの形態で提供される。これを容易化するため、画像データは、色相座標および明度座標を含む色空間に提供または変換してもよい。
カラーグレーディングに際しては、例えば映像に描写された人の表皮に見られる色範囲等の特定の色が予約色として識別される。メタデータは、マッピングによって表皮の階調が変化することのないように、これらの予約色を識別する。また、映像コンテンツの作成またはマッピング装置の上流の後続位置において、映像処理により光源が画像内に配置される。これら光源の位置(および、場合によっては光源の種類)を識別するメタデータが生成される。
画素位置情報は、光源の位置と比較される。処理する画素データが光源の位置に対応する場合、異なるマッピングを適用してもよい。幾つかの実施形態において、光源に対応する位置について選択したマッピングは、光源に対応するものと識別されない領域に適用されるマッピングよりもダイナミックレンジを大きく拡大する。
図4は、例示的な一実施形態に係るマッピングロジック60を示している。マッピングする画素データ15は、バッファまたはメモリー62で受信される。比較ユニット64は、画素データ15の色座標をバッファまたはメモリー66中の予約色座標セット65と比較する。第2の比較ユニット68は、画素データの位置情報をバッファまたはメモリー70中の特定位置のセット69と比較する。アルゴリズム選択ロジック72は、比較ユニット64および68の出力に基づいて、当該画素データの然るべきマッピングアルゴリズムを選択する。図示の実施形態は、それぞれ異なるマッピングアルゴリズムを実行するように構成された複数のパラレルマッピングパイプライン75を有している。アルゴリズム選択ロジック72は、画素データ15の処理に使用するパイプライン75を決定する。マッピング画素データ15’は、メモリーまたはバッファ77に書き込まれる。
パイプライン75の選択は、任意の適当な方法で具体化してもよい。その例を以下に示す。
・パイプライン75のうちの1つを選択的に有効化する。
・選択したパイプライン75にのみ画素データ15を適用する。
・マッピング画素データ15’を書き込むパイプライン75の出力を選択する。
別の選択肢として、アルゴリズム選択ユニット72は、オンザフライ(on the fly)でプログラム可能あるいは設定可能なロジックパイプラインを再設定することによって、比較ユニット64および68の出力に対応したマッピングアルゴリズムを実行するように構成されていてもよい。比較ユニット64および68は、2状態出力を有していてもよいが、これに限定されるものではない。幾つかの実施形態において、比較ユニット64および68の一方または両方の出力が3つ以上の状態を有していてもよい。
本発明に係る方法および装置が利用可能となる特定の手段としては、以下のようなものが挙げられる。
・本発明の一実施形態に係る装置を備えた画像処理チップ
・本明細書に記載の階調および/または色再現域マッピング装置を内蔵したセットトップボックス、テレビ、コンピュータモニター、プロジェクター、および/またはその他の表示装置
・本明細書に記載の階調および/または色再現域マッピング装置を内蔵したDVDプレーヤ(例えば、ブルーレイプレーヤ)、ビデオプレーヤ、カメラ、携帯電話等の画像データソース
・実行時にプログラム可能なプロセッサおよび/または設定可能なロジック装置を構成して本発明に係る方法を実施するファームウェアまたはその他のコンピュータ可読命令を備えた物理的または持続的コンピュータ可読媒体
・本発明に係る方法を実施可能なハードウェアおよび/またはソフトウェアを備えた1または複数の中央演算処理ユニット(CPU:central processing unit)、1または複数のマイクロプロセッサ、1または複数のフィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)、1または複数の特定用途向け集積回路(ASIC:application−specific integrated circuit)、1または複数のグラフィックス処理ユニット(GPU:graphics processing unit)、またはそれらの任意の組み合わせ、もしくはその他任意の適当な処理ユニット
・本明細書に記載の階調および/または色再現域マッピング装置を内蔵したカラーグレーディングツール
以上、多数の例示的な態様および実施形態について説明したが、当業者であれば、それらに対する特定の改良、置換、追加、および副結合が認識できよう。したがって、以下に添付する請求の範囲および今後導入する請求の範囲については、その精神と範囲から逸脱することなく、上記すべての改良、置換、追加、および副結合を含むものと解釈する。
以上から、本発明は、任意の要素を適宜備えていてもよいし、(本質的に)任意の要素で適宜構成されていてもよい(本明細書に記載、現存、および/または今後開発の本発明の種々部分もしくは特徴ならびにその均等物)。さらに、一例として本明細書に開示した本発明は、本明細書に具体的に開示されているか否かに関わらず、すべての要素を除外して実施してもよい。上記教示内容に照らして、本発明の様々な改良および変形が可能なことは明らかである。したがって、当然のことながら、本発明は、添付の請求の範囲内において、本明細書の具体的な記載内容とは異なる態様で実施してもよい。
以上から、本発明は、本明細書に記載の任意の形態で具現化してもよい。そのような形態としては、本発明の一部の構造、特徴、および機能を記載した以下に列挙の例示的な実施形態(EEE:Enumerated Example Embodiment)が挙げられるが、これらに限定されるものではない。
EEE1:画素データのマッピング方法であって、当該画素データに対応する位置情報を1または複数の特定位置のセットと比較すること、当該位置情報が1または複数の特定位置のセットのうちの1つと合致した場合に、特定マッピングアルゴリズムに従って上記画素データの階調および色再現域のマッピングの一方または両方を行うことを含む方法。
EEE2:上記画素データの色座標を1または複数の予約色セットと比較すること、当該色座標が予約色セットのうちの1つと合致した場合に、上記画素データの色再現域のマッピングを禁止することをさらに含む、EEE1に記載の方法。
EEE3:上記画素データの色座標を1または複数の特定色領域のセットと比較すること、当該色座標が複数の特定色領域のセットのうちの1つと合致した場合に、色特有マップを選択し、当該色特有マップに従って上記画素データのマッピングを行うことをさらに含む、EEE1に記載の方法。
EEE4:上記1または複数の特定位置のセットを規定する情報を含むメタデータを受信して格納することをさらに含む、EEE1に記載の方法。
EEE5:上記1または複数の予約色セットを規定する情報を含むメタデータを受信して格納することをさらに含む、EEE2に記載の方法。
EEE6:上記1または複数の特定色領域セットを規定する情報を含むメタデータを受信して格納することをさらに含む、EEE3に記載の方法。
EEE7:上記メタデータを受信することが、上記画素データを含む信号またはファイルから当該メタデータを抽出することを含む、EEE4〜6のいずれか1つに記載の方法。
EEE8:上記特定位置が複数種の特定位置を含み、上記位置情報と合致した特定位置の種類に基づいて、複数の所定の特定アルゴリズムから上記特定マッピングアルゴリズムを選択することをさらに含む、EEE1に記載の方法。
EEE9:上記特定位置の種類が、放射光源および反射光源の一方を含む、EEE8に記載の方法。
EEE10:上記画素データの輝度値またはクロミナンス値に関する統計情報を受信すること、当該統計情報に一部基づいて、上記画素データのマッピングによりマッピング画素データを取得することをさらに含む、EEE1〜9のいずれか1つに記載の方法。
EEE11:上記統計情報が、複数の所定のヒストグラムバケットのうちの1つと関連する輝度範囲内の輝度値を有する各色チャンネルの画素数のヒストグラムを含む、EEE10に記載の方法。
EEE12:対応するマッピングアルゴリズムに従って、画素データのマッピングによりマッピングされた画素データを取得するように構成された複数の並列パイプラインと、特定画素データに対応する位置情報に少なくとも一部基づいて、特定画素データをマッピングするために上記複数のパイプラインのうちの1つを選択するように構成されたアルゴリズム選択ロジックとを備えた画像処理装置。
EEE13:特定位置のセットを含むバッファまたはメモリーと、上記画素データの位置情報を上記特定位置のセット中の位置と比較するように構成された第1比較ユニットとをさらに備え、上記アルゴリズム選択ロジックが、上記第1比較ユニットの出力に少なくとも一部基づいて、上記複数のパイプラインのうちの1つを選択するように構成された、EEE12に記載の画像処理装置。
EEE14:1または複数の特定色を規定する情報を含むバッファまたはメモリーと、上記画素データの色座標を上記特定色セットと比較するように構成された第2比較ユニットとをさらに備え、上記アルゴリズム選択ロジックが、上記第2比較ユニットの出力に少なくとも一部基づいて、上記複数のパイプラインのうちの1つを選択するように構成された、EEE13に記載の画像処理装置。
EEE15:画像データ中の画素データの階調、色再現域、または階調および色再現域の両者をマッピングする方法において、マッピング装置で画像の画素データを受信すること、1または複数の特定位置のセットを規定する情報、1または複数の予約色のセットを規定する情報、および1または複数の特定色領域のセットを規定する情報のうちの1または複数を含むメタデータを上記マッピング装置で受信する工程と、上記メタデータから決定されるマッピングパラメータに少なくとも一部基づいて、アルゴリズムに従って上記画素データのマッピングによりマッピングされた画素データを取得することを含む方法。
EEE16:上記メタデータが1または複数の特定位置のセットを規定する情報を含み、上記画素データに対応する位置情報を上記1または複数の特定位置のセットと比較すること、当該位置情報が1または複数の特定位置のセットのうちの1つと合致した場合に、特定マッピングアルゴリズムに従って上記画素データの階調および色再現域のマッピングの一方または両方を行うことをさらに含む、EEE15に記載の方法。
EEE17:上記メタデータが1または複数の予約色セットを規定する情報を含み、上記画素データの色座標を上記1または複数の予約色セットと比較すること、当該色座標が予約色セットのうちの1つと合致した場合に、上記画素データの色再現域のマッピングを禁止することをさらに含む、EEE16に記載の方法。
EEE18:上記メタデータが1または複数の特定色領域のセットを規定する情報を含み、上記画素データの色座標を上記1または複数の特定色領域のセットと比較すること、当該色座標が複数の特定色領域のセットのうちの1つと合致した場合に、色特有マップを選択し、当該色特有マップに従って上記画素データのマッピングを行うことをさらに含む、EEE17に記載の方法。
EEE19:上記メタデータが、複数の所定のヒストグラムバケットのうちの1つと関連する輝度範囲内の輝度値を有する各色チャンネルの画素数のヒストグラムを含み、当該ヒストグラムを解析して画像の明るさまたは暗さを評価すること、当該画像の明るさまたは暗さの評価に一部基づいて、上記画素データをマッピングする階調曲線を生成することをさらに含む、EEE18に記載の方法。
EEE20:上記メタデータを受信することが、上記画素データを含む信号またはファイルから当該メタデータを抽出することを含む、EEE19に記載の方法。
EEE21:上記特定位置が複数種の特定位置を含み、上記位置情報と合致した特定位置の種類に基づいて、複数の所定の特定アルゴリズムから上記特定マッピングアルゴリズムを選択することをさらに含む、EEE16に記載の方法。
EEE22:上記特定位置の種類が、放射光源および反射光源の一方を含む、EEE21に記載の方法。
EEE23:カラーグレーダーにより調整された上記画素データの階調または色再現域パラメータに少なくとも一部基づいて、上記メタデータを生成すること、画像データ中の上記メタデータを符号化して上記マッピング装置に送信することをさらに含む、EEE15に記載の方法。
EEE24:上記メタデータを生成することが、フレームまたはシーンのローカルメタデータ定義を規定することを含み、当該フレームまたはシーンの画像データよりも前に当該ローカルメタデータ定義を上記マッピング装置に配信することをさらに含む、EEE23に記載の方法。
EEE25:上記メタデータを受信することが、上記画素データを含む画像データから当該メタデータを抽出することを含む、EEE24に記載の方法。
EEE26:画像データ中の画素データの階調、色再現域、または階調および色再現域の両者をマッピングする装置において、画像データからメタデータを抽出するように構成されたメタデータ抽出ユニットと、上記抽出されたメタデータを受信し、当該抽出メタデータに少なくとも一部基づいてマッピングパラメータセットを生成するように構成された設定ユニットであって、上記マッピングパラメータが位置パラメータおよび色パラメータのうちの1または複数を含む設定ユニットと、上記マッピングパラメータセットおよび画像の画像データ中の画素データを受信し、当該マッピングパラメータセットに少なくとも一部基づいて、上記画素データのマッピングによりマッピングされた画素データを取得するマッピングユニットとを備えた装置。
EEE27:上記マッピングユニットが、上記画素データに対応する位置情報を上記位置パラメータに規定された1または複数の特定位置のセットと比較し、当該位置情報が1または複数の特定位置のセットのうちの1つと合致した場合に、特定マッピングアルゴリズムに従って上記画素データの階調および色再現域のマッピングの一方または両方を行うように構成された、EEE26に記載の装置。
EEE28:上記マッピングユニットが、上記画素データの色座標を上記色パラメータに規定された1または複数の予約色セットと比較し、当該色座標が複数の予約色のセットのうちの1つと合致した場合に、上記画素データの色再現域のマッピングを禁止するように構成された、EEE27に記載の装置。
EEE29:上記マッピングユニットが、上記画素データの色座標を上記色パラメータに規定された1または複数の特定色領域のセットと比較し、当該色座標が複数の特定色領域のセットのうちの1つと合致した場合に、色特有マップを選択し、当該色特有マップに従って上記画素データのマッピングを行うように構成された、EEE28に記載の装置。
EEE30:上記設定ユニットにより生成されたマッピングパラメータが、画像データを表示する表示装置に固有の通常設定パラメータ、統計的画像パラメータ、およびディレクタの選択動作モードに対するパラメータのうちの1または複数を含む、EEE26に記載の装置。

Claims (16)

  1. 画素データのマッピング方法であって、
    前記画素データに対応する位置情報を1または複数の特定位置のセットと比較すること、
    前記位置情報が前記1または複数の特定位置のセットのうちの1つと合致した場合に、特定マッピングアルゴリズムに従って前記画素データの階調および色再現域のマッピングの一方または両方を行うことを備える、方法。
  2. 前記画素データの色座標を1または複数の予約色のセットと比較すること、
    前記色座標が前記1または複数の予約色のセットのうちの1つと合致した場合に、前記画素データの色再現域のマッピングを禁止することをさらに含む、請求項1に記載の方法。
  3. 前記画素データの色座標を1または複数の特定色領域のセットと比較すること、
    前記色座標が前記1または複数の特定色領域のセットのうちの1つと合致した場合に、色特有マップを選択し、当該色特有マップに従って前記画素データのマッピングを行うことをさらに含む、請求項1に記載の方法。
  4. 前記1または複数の特定位置のセットを規定する情報を含むメタデータを受信して格納することをさらに含む、請求項1に記載の方法。
  5. 前記1または複数の予約色のセットを規定する情報を含むメタデータを受信して格納することをさらに含む、請求項2に記載の方法。
  6. 前記1または複数の特定色領域のセットを規定する情報を含むメタデータを受信して格納することをさらに含む、請求項3に記載の方法。
  7. 前記メタデータを受信することが、前記画素データを含む信号またはファイルから当該メタデータを抽出することを含む、請求項4〜6のいずれか1項に記載の方法。
  8. 前記特定位置が複数種の特定位置を含み、
    前記位置情報と合致した特定位置の種類に基づいて、複数の所定の特定アルゴリズムから前記特定マッピングアルゴリズムを選択することをさらに含む、請求項1に記載の方法。
  9. 前記特定位置の種類が、放射光源および反射光源の一方を含む、請求項8に記載の方法。
  10. 前記画素データの輝度値またはクロミナンス値に関する統計情報を受信すること、
    前記統計情報の一部分に基づいて、前記画素データのマッピングによりマッピングされた画素データを取得することをさらに含む、請求項1〜9のいずれか1項に記載の方法。
  11. 前記統計情報が、複数の所定のヒストグラムバケットのうちの1つと関連する輝度範囲内の輝度値を有する各色チャンネルの画素数のヒストグラムを含む、請求項10に記載の方法。
  12. 画像処理装置であって、
    対応するマッピングアルゴリズムに従って、画素データのマッピングによりマッピングされた画素データを取得するように構成された複数の並列パイプラインと、
    特定画素データに対応する位置情報の少なくとも一部分に基づいて、前記特定画素データをマッピングするために前記複数のパイプラインのうちの1つを選択するように構成されたアルゴリズム選択ロジックとを備えた、画像処理装置。
  13. 特定位置のセットを含むバッファまたはメモリーと、
    前記画素データの位置情報を前記特定位置のセットにおける位置と比較するように構成された第1比較ユニットとをさらに備え、
    前記アルゴリズム選択ロジックが、前記第1比較ユニットの出力の少なくとも一部分に基づいて、前記複数のパイプラインのうちの1つを選択するように構成された、請求項12に記載の画像処理装置。
  14. 1または複数の特定色を規定する情報を含むバッファまたはメモリーと、
    前記画素データの色座標を前記1または複数の特定色のセットと比較するように構成された第2比較ユニットとをさらに備え、
    前記アルゴリズム選択ロジックが、前記第2比較ユニットの出力の少なくとも一部分に基づいて、前記複数のパイプラインのうちの1つを選択するように構成された、請求項13に記載の画像処理装置。
  15. 画像データにおける画素データの階調、色再現域、または階調および色再現域の両方をマッピングする方法であって、
    マッピング装置で画像の画素データを受信すること、
    1または複数の特定位置のセットを規定する情報、1または複数の予約色セットを規定する情報、および1または複数の特定色領域のセットを規定する情報のうちの1または複数を含むメタデータを前記マッピング装置で受信すること、
    前記メタデータから決定されるマッピングパラメータに少なくとも一部基づいて、アルゴリズムに従って前記画素データのマッピングによりマッピングされた画素データを取得することを備える、方法。
  16. カラーグレーダーにより調整された前記画素データの階調または色再現域パラメータに少なくとも一部基づいて、前記メタデータを生成すること、
    画像データ中の前記メタデータを符号化して前記マッピング装置に送信することをさらに含む、請求項15に記載の方法。
JP2013513184A 2010-06-08 2011-05-10 階調および色再現域のマッピング方法および装置 Active JP5611457B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35244410P 2010-06-08 2010-06-08
US61/352,444 2010-06-08
PCT/US2011/035966 WO2011156074A2 (en) 2010-06-08 2011-05-10 Tone and gamut mapping methods and apparatus

Publications (2)

Publication Number Publication Date
JP2013527732A true JP2013527732A (ja) 2013-06-27
JP5611457B2 JP5611457B2 (ja) 2014-10-22

Family

ID=45098581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513184A Active JP5611457B2 (ja) 2010-06-08 2011-05-10 階調および色再現域のマッピング方法および装置

Country Status (6)

Country Link
US (2) US8928686B2 (ja)
EP (1) EP2580913A4 (ja)
JP (1) JP5611457B2 (ja)
KR (1) KR101538912B1 (ja)
CN (1) CN103004213B (ja)
WO (1) WO2011156074A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125583A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 画像処理装置および撮像装置
JP2017123684A (ja) * 2014-08-29 2017-07-13 シャープ株式会社 受信装置、受信方法、制御プログラム、および制御プログラムの記録媒体

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2617184B1 (en) * 2010-09-13 2019-01-16 Dolby Laboratories Licensing Corporation Data transmission using out-of-gamut color coordinates
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
HUE058712T2 (hu) 2011-05-27 2022-09-28 Dolby Laboratories Licensing Corp Skálázható rendszerek színkezelés vezérlésére, amelyek változó szintû metaadatokat tartalmaznak
EP2792145B1 (en) 2011-12-15 2018-03-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
JP6283348B2 (ja) * 2012-04-30 2018-02-21 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン基準のメタデータ捕捉のための基準カード
US10199011B2 (en) * 2012-09-11 2019-02-05 Apple Inc Generation of tone mapping function for dynamic pixel and backlight control
US8988452B2 (en) * 2012-10-18 2015-03-24 Intel Corporation Color enhancement via gamut expansion
US9609177B2 (en) * 2013-01-29 2017-03-28 Hewlett-Packard Development Company, L.P. To generate a print specification color separation look-up table
EP2779151B1 (en) * 2013-03-11 2018-05-16 Renesas Electronics Europe Limited Video output checker
US9607658B2 (en) 2013-07-30 2017-03-28 Dolby Laboratories Licensing Corporation System and methods for generating scene stabilized metadata
JP6236148B2 (ja) 2013-10-02 2017-11-22 ドルビー ラボラトリーズ ライセンシング コーポレイション Hdmiを介したディスプレイマネジメントメタデータの送信
US9412336B2 (en) * 2013-10-07 2016-08-09 Google Inc. Dynamic backlight control for spatially independent display regions
JP6290390B2 (ja) 2013-10-10 2018-03-07 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジ・プロジェクタにおけるdciおよびその他のコンテンツの表示
CN105379263B (zh) 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
US10009588B2 (en) 2013-12-26 2018-06-26 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
US10812801B2 (en) 2014-02-25 2020-10-20 Apple Inc. Adaptive transfer function for video encoding and decoding
US9462239B2 (en) * 2014-07-15 2016-10-04 Fuji Xerox Co., Ltd. Systems and methods for time-multiplexing temporal pixel-location data and regular image projection for interactive projection
KR102190233B1 (ko) * 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
WO2016076497A1 (ko) * 2014-11-14 2016-05-19 삼성전자 주식회사 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
EP3029925A1 (en) * 2014-12-01 2016-06-08 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a picture
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
WO2016172314A1 (en) 2015-04-21 2016-10-27 Vid Scale, Inc. Artistic intent based video coding
US9942489B2 (en) * 2015-06-02 2018-04-10 Samsung Electronics Co., Ltd. Adaptive tone mapping based on local contrast
EP3119086A1 (en) * 2015-07-17 2017-01-18 Thomson Licensing Methods and devices for encoding/decoding videos
US10516810B2 (en) * 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
WO2018017112A1 (en) * 2016-07-22 2018-01-25 Halliburton Energy Services, Inc. A fiber optic interrogation system for multiple distributed sensing systems
WO2018023545A1 (en) * 2016-08-04 2018-02-08 Intel Corporation Tone-mapping high dynamic range images
US10575028B2 (en) * 2016-09-09 2020-02-25 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
CN116582673A (zh) * 2016-10-05 2023-08-11 杜比实验室特许公司 与源颜色体积信息的处理相关的装置
US11336895B2 (en) 2017-09-06 2022-05-17 Dolby Laboratories Licensing Corporation Tone-curve optimization method and associated video encoder and video decoder
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
JP2019184714A (ja) * 2018-04-04 2019-10-24 株式会社ジャパンディスプレイ 表示装置
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
CN113168672B (zh) * 2018-10-19 2024-02-02 高途乐公司 用于图像处理的色调映射和色调控制集成
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
BR112022026943A2 (pt) * 2020-07-13 2023-01-24 Qualcomm Inc Correção de pixels matizados de cores capturados em condições de baixa luminosidade
CN113066153B (zh) * 2021-04-28 2023-03-31 浙江中控技术股份有限公司 管道流程图的生成方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63316992A (ja) * 1987-06-19 1988-12-26 Fuji Photo Film Co Ltd 画像信号の色変換方法
JPH03127284A (ja) * 1989-10-13 1991-05-30 Brother Ind Ltd カラー画像処理装置
JPH11341296A (ja) * 1998-05-28 1999-12-10 Sony Corp 色域変換方法及び色域変換装置
JP2004318705A (ja) * 2003-04-18 2004-11-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2005252728A (ja) * 2004-03-04 2005-09-15 Casio Electronics Co Ltd 色変換処理装置
WO2008122702A1 (fr) * 2007-04-03 2008-10-16 Thomson Licensing Procedes et systemes pour des affichages de correction chromatique avec des gammes chromatiques differentes
WO2009126258A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
JP2010074661A (ja) * 2008-09-19 2010-04-02 Sanyo Electric Co Ltd 画像処理装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3124113B2 (ja) 1992-08-06 2001-01-15 富士写真フイルム株式会社 再現画像濃度補正装置
JP4017797B2 (ja) 1999-11-17 2007-12-05 富士フイルム株式会社 画像処理方法、装置およびコンピュータ読取可能な記録媒体
JP2001218047A (ja) 2000-02-04 2001-08-10 Fuji Photo Film Co Ltd 画像処理装置
US7024055B2 (en) * 2002-01-02 2006-04-04 Canon Kabushiki Kaisha Sparse representation of extended gamut images
JP4078534B2 (ja) 2002-06-13 2008-04-23 カシオ計算機株式会社 画像処理装置および画像処理方法
KR100467600B1 (ko) 2002-07-30 2005-01-24 삼성전자주식회사 컬러 정정 방법
JP2004153554A (ja) * 2002-10-30 2004-05-27 Fuji Photo Film Co Ltd 色領域写像方法、色領域写像装置、および色領域写像プログラム
GB2398715A (en) 2003-02-21 2004-08-25 Sony Uk Ltd Pixel-based colour correction using two or more colour correction processes
US7280705B1 (en) * 2003-08-04 2007-10-09 Pixim, Inc. Tone correction method using a blending mask
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP2005328845A (ja) * 2004-05-06 2005-12-02 Oce Technologies Bv デジタルカラー画像を変換する方法、装置およびコンピュータプログラム
CN1874526A (zh) 2005-05-05 2006-12-06 创世纪微芯片公司 色调、饱和度和亮度方向上的检测、校正衰减和处理
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
CN101331515B (zh) 2005-12-21 2013-03-27 日本电气株式会社 色调校正方法、色调校正装置以及图像设备
KR20070091853A (ko) * 2006-03-07 2007-09-12 삼성전자주식회사 영상 적응적인 색 재현 장치 및 방법
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US20080056566A1 (en) * 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
KR100834762B1 (ko) * 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
JP2008141237A (ja) * 2006-11-29 2008-06-19 Canon Inc 色処理装置およびその方法
US8159500B1 (en) * 2006-12-18 2012-04-17 Pixar Methods and apparatus for color grading with gamut match preview
US8155434B2 (en) 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
US8207932B2 (en) * 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US9014533B2 (en) * 2008-01-31 2015-04-21 Thomson Licensing Method and system for look data definition and transmission over a high definition multimedia interface
US8165395B2 (en) * 2008-04-15 2012-04-24 Sony Corporation Automatic image color tone correction
EP2120448A1 (en) * 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
KR101662696B1 (ko) * 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
US8466936B2 (en) * 2008-10-21 2013-06-18 Hisense Beijing Electric Co., Ltd. Color gamut mapping method for multimedia equipment, a television and a color processing apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63316992A (ja) * 1987-06-19 1988-12-26 Fuji Photo Film Co Ltd 画像信号の色変換方法
JPH03127284A (ja) * 1989-10-13 1991-05-30 Brother Ind Ltd カラー画像処理装置
JPH11341296A (ja) * 1998-05-28 1999-12-10 Sony Corp 色域変換方法及び色域変換装置
JP2004318705A (ja) * 2003-04-18 2004-11-11 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2005252728A (ja) * 2004-03-04 2005-09-15 Casio Electronics Co Ltd 色変換処理装置
WO2008122702A1 (fr) * 2007-04-03 2008-10-16 Thomson Licensing Procedes et systemes pour des affichages de correction chromatique avec des gammes chromatiques differentes
WO2009126258A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
JP2010074661A (ja) * 2008-09-19 2010-04-02 Sanyo Electric Co Ltd 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125583A (ja) * 2013-12-26 2015-07-06 キヤノン株式会社 画像処理装置および撮像装置
JP2017123684A (ja) * 2014-08-29 2017-07-13 シャープ株式会社 受信装置、受信方法、制御プログラム、および制御プログラムの記録媒体

Also Published As

Publication number Publication date
CN103004213B (zh) 2016-04-20
EP2580913A2 (en) 2013-04-17
US20150103091A1 (en) 2015-04-16
JP5611457B2 (ja) 2014-10-22
US20130076763A1 (en) 2013-03-28
KR101538912B1 (ko) 2015-07-23
CN103004213A (zh) 2013-03-27
KR20130016347A (ko) 2013-02-14
EP2580913A4 (en) 2017-06-07
WO2011156074A3 (en) 2012-04-19
US8928686B2 (en) 2015-01-06
WO2011156074A2 (en) 2011-12-15
US9728117B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
JP5611457B2 (ja) 階調および色再現域のマッピング方法および装置
JP6085011B2 (ja) 画像データ変換のための方法及び装置
EP2539884B1 (en) Display management methods and apparatus
KR101537510B1 (ko) 디스플레이 관리 서버
KR101954851B1 (ko) 메타데이터 기반 영상 처리 방법 및 장치
JPWO2006059573A1 (ja) 色彩調整装置及び方法
US20090010538A1 (en) Apparatus and method for automatically computing gamma correction curve
JP2014519730A (ja) Hdr画像を符号化及び復号するための装置及び方法
US10713764B2 (en) Method and apparatus for controlling image data
JP2002232728A (ja) 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
JP6742417B2 (ja) デジタル画像の処理方法、付随する装置、端末機器およびコンピュータプログラム
JP2013501261A (ja) 画像に関連付けられるべき属性値を決定するための方法及び装置
JP2010263552A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140902

R150 Certificate of patent or registration of utility model

Ref document number: 5611457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250