JP2017139613A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2017139613A JP2017139613A JP2016019080A JP2016019080A JP2017139613A JP 2017139613 A JP2017139613 A JP 2017139613A JP 2016019080 A JP2016019080 A JP 2016019080A JP 2016019080 A JP2016019080 A JP 2016019080A JP 2017139613 A JP2017139613 A JP 2017139613A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- luminance range
- microcomputer
- luminance conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、高ダイナミックレンジの画像データを記録等する際の画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for recording high dynamic range image data.
デジタルカメラやデジタルビデオカメラといった画像記録装置は、被写体像をＣＭＯＳセンサやＣＣＤ等の撮像素子により画素単位で光電変換して、光の強度に応じた画像信号を生成し、更にデジタル変換した画像データに対して画像処理を行う。近年は、撮像素子の性能が向上しており、高ダイナミックレンジの画像データを生成できるようになりつつある。以下、高ダイナミックレンジを「ＨＤＲ」と表記し、ＨＤＲの画像の撮影と記録が可能なデジタルビデオカメラ等の画像記録装置を「ＨＤＲ対応カメラ」と表記する。 An image recording apparatus such as a digital camera or a digital video camera photoelectrically converts a subject image pixel by pixel using an image sensor such as a CMOS sensor or CCD, generates an image signal corresponding to the intensity of light, and further digitally converts the image data. Image processing is performed on In recent years, the performance of image pickup devices has improved, and image data with a high dynamic range can be generated. Hereinafter, the high dynamic range is referred to as “HDR”, and an image recording apparatus such as a digital video camera capable of capturing and recording HDR images is referred to as “HDR compatible camera”.
しかしながら、表示装置が対応できるダイナミックレンジには制限があり、ＨＤＲ画像を表示できない表示装置が用いられた場合には、ＨＤＲ画像を撮影時のダイナミックレンジでそのまま表示することはできない。ＨＤＲ画像を表示できない表示装置としては、標準的な輝度範囲（標準ダイナミックレンジ）の画像表示にのみ対応している表示装置が考えられる。以下、標準ダイナミックレンジにのみ対応している表示装置を「ＨＤＲ非対応表示装置」と表記し、また、標準ダイナミックレンジを「ＳＤＲ」と表記する。このため、ＨＤＲ画像データをＨＤＲ非対応表示装置に表示する場合には、ＨＤＲ画像データをＳＤＲ画像データに変換する必要がある。 However, the dynamic range that can be supported by the display device is limited, and when a display device that cannot display an HDR image is used, the HDR image cannot be displayed as it is in the dynamic range at the time of shooting. As a display device that cannot display an HDR image, a display device that supports only image display in a standard luminance range (standard dynamic range) can be considered. Hereinafter, a display device that supports only the standard dynamic range is referred to as a “non-HDR compatible display device”, and the standard dynamic range is referred to as “SDR”. For this reason, when displaying HDR image data on a display device that does not support HDR, it is necessary to convert the HDR image data into SDR image data.
特許文献１には、ＨＤＲのデータと、ＨＤＲのデータをＳＤＲのデータに変換する際に用いられる輝度変換情報とを記録し、表示装置がＨＤＲに対応していない場合には、輝度変換情報に基づいてＨＤＲのデータをＳＤＲのデータに変換する技術が開示されている。
しかしながら、上述した従来の技術では、ＨＤＲ対応カメラで撮影したＨＤＲの画像が、ＨＤＲ非対応表示装置でどのように表示されるかについては確認できない。 However, with the above-described conventional technology, it is not possible to confirm how an HDR image captured by an HDR-compatible camera is displayed on an HDR non-compatible display device.
そこで、本発明は、撮影された高ダイナミックレンジの画像が、高ダイナミックレンジに非対応の表示装置にどのように表示されるかを確認可能にすることを目的とする。 Therefore, an object of the present invention is to make it possible to check how a photographed high dynamic range image is displayed on a display device that does not support the high dynamic range.
本発明は、輝度のダイナミックレンジが第１の輝度範囲となっている画像に対して、前記第１の輝度範囲のうちの一部の輝度範囲を第２の輝度範囲として指定する指定手段と、前記第１の輝度範囲の画像の中で、前記第２の輝度範囲から外れる画像領域に対して、所定の画像を合成して、画面に表示される画像を生成する合成手段と、を有することを特徴とする。 The present invention provides a designation means for designating a part of the first luminance range as a second luminance range for an image having a luminance dynamic range of the first luminance range; Synthesizing means for synthesizing a predetermined image with an image region out of the second luminance range in the image of the first luminance range and generating an image displayed on the screen. It is characterized by.
本発明によれば、撮影された高ダイナミックレンジの画像が、高ダイナミックレンジに非対応の表示装置でどのように表示されるかを確認可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to confirm how the image | photographed high dynamic range image is displayed with the display apparatus not corresponding to a high dynamic range.
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
＜第１実施形態＞
図１は、第１実施形態に係る画像処理装置の一適用例であるカメラ１００の概略的な内部構成例を示す図である。本実施形態のカメラ１００は、高ダイナミックレンジ（ＨＤＲ）の画像データを撮影して記録するデジタルカメラやデジタルビデオカメラなどのＨＤＲ対応カメラであるとする。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram illustrating a schematic internal configuration example of a
図１において、マイクロコンピュータ１０８（以下、マイコン１０８とする。）は、カメラ１００の全体を制御する。レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット１０１によって、センサ１０２の結像面上に被写体像が結像される。
In FIG. 1, a microcomputer 108 (hereinafter referred to as a microcomputer 108) controls the
センサ１０２は、撮像素子であり、光を電荷に変換してアナログ撮像信号を生成する。本実施形態のカメラ１００は、ＨＤＲの画像撮影が可能となされており、センサ１０２はＨＤＲに対応した撮像素子となされている。本実施形態では、センサ１０２は、アナログデジタル変換部を含み、一例として１２ビットのデジタルデータ出力を行うセンサとなされている。本実施形態のカメラ１００では、一例として、動画の画像データが得られるとする。また、センサ１０２には、カラー画像を生成するためのＲ（赤），Ｇ（緑），Ｂ（青）に対応したカラーフィルタも備えられているとする。このため、センサ１０２からはそれぞれ１２ビットのＲ，Ｇ，Ｂの画像データが出力される。
The
本実施形態のカメラ１００では、センサ１０２以降の各構成においても１２ビットのデータを処理可能となされている。画像処理部１０３は、センサ１０２から送られてきた画像データに適したホワイトバランスのゲイン値を算出して、画像データに乗算する。その後、画像処理部１０３は、各１２ビットのＲ，Ｇ，Ｂの画像データを、各１２ビットのＹ，Ｃｂ，Ｃｒの画像データ（以下、ＹＣｂＣｒデータと表記する。）に変換して、画像データの輝度値（Ｙ値）を算出する。画像処理部１０３による画像処理後の画像データは、ＲＡＭ１１１に一時的に保持される。また、画像処理部１０３は、後述するダイナミックレンジ情報も生成する。
In the
圧縮伸張回路１０４は、ＲＡＭ１１１の画像データをいわゆるＭＰＥＧやＨ．２６４等の規格で圧縮して圧縮ビデオデータを生成（エンコード）した後、その圧縮ビデオデータをＲＡＭ１１１に保持させる。また、圧縮伸張回路１０４は、ＭＰＥＧやＨ．２６４等の規格で圧縮された圧縮ビデオデータを伸張（デコード）する機能も兼ね備えている。また、図示は省略しているが、本実施形態のカメラ１００はマイクユニットやスピーカーをも備えており、圧縮伸張回路１０４は、画像データと共に音声データの圧縮伸張をも行う。そして、圧縮伸張回路１０４は、前述の圧縮データに音声データを多重化する。
The compression /
ＲＯＭ１１０は、フラッシュＲＯＭであり、マイコン１０８が実行するプログラムなどを格納している。また、ＲＯＭ１１０の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。ＲＡＭ１１１は、マイコン１０８、画像処理部１０３、圧縮伸張回路１０４、後述する輝度情報生成部１０５や輝度変換部１１４などがワークメモリとして使用する揮発性メモリである。メモリカードコントローラ１１２は、ＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）ファイルシステムなどコンピュータに用いられるフォーマットにしたがって、メモリカード１１３に対するデータの書き込みと読み出しとを制御する。圧縮伸張回路１０４で生成されてＲＡＭ１１１に一時的に記憶された圧縮ビデオデータは、メモリカードコントローラ１１２によりメモリカード１１３に記録される。メモリカード１１３は、圧縮伸張回路１０４で生成された圧縮ビデオデータや、マイコン１０８がＲＡＭ１１１上に生成した後述する管理情報等を、ＦＡＴファイルシステムなどの所定のフォーマットに従って記録する記録媒体である。また、メモリカード１１３は、カメラ１００から取り外し可能な着脱可能なＳＤカード等の記録媒体であり、ビデオカメラ以外にＰＣ等にも装着することができる。
The
バス１１６は、本実施形態のカメラ１００が備える各ブロックの間でデータのやり取りを行うためのものである。外部出力部１１５は、マイコン１０８による制御の下、外部の機器、例えば表示装置などに、画像データ等を出力するものである。外部出力部１１５から外部に出力される画像データは、画像処理部１０３から出力されてＲＡＭ１１１に記憶された画像データや、メモリカード１１３から読み出されて圧縮伸張回路１０４でデコードされてＲＡＭ１１１に記憶された画像データなどである。なお、外部出力部１１５は、ケーブル等を介して外部機器と有線接続がなされるものに限定されず、無線接続を行うものであってもよい。
The
液晶パネル１０７は、前述した１２ビットのＨＤＲ画像データを表示可能なパネルである。液晶パネル１０７には、本実施形態のカメラ１００が撮影したＨＤＲ画像や、メモリカードコントローラ１１２を介してメモリカード１１３から読み出されて圧縮伸張回路１０４でデコードされた画像等が表示される。ＯＳＤ部１０６は、例えば、各種設定メニューやタイトル、時間などの情報をオンスクリーンディスプレイ（ＯＳＤ）用の表示情報として、ＨＤＲ画像データに重畳させることができる。この場合、液晶パネル１０７には、ＯＳＤ用の表示情報が合成されたＨＤＲ画像が表示されることになる。また、ＯＳＤ部１０６は、ＯＳＤ用の表示情報が合成されたＨＤＲ画像のデータを、外部出力部１１５を介して接続された外部の表示装置に出力することも可能である。
The
なお、外部出力部１１５に接続される外部の表示装置は、ＨＤＲ画像を表示可能な装置だけでなく、ＨＤＲ画像を表示することができないＨＤＲ非対応表示装置の場合も考えられる。ＨＤＲ非対応表示装置としては、例えば、標準的な輝度範囲（標準ダイナミックレンジ：ＳＤＲ）の画像表示にのみ対応している表示装置が考えられる。本実施形態では、ＳＤＲのみに対応したＨＤＲ非対応表示装置は、一例として、８ビットデータを扱う表示装置であるとする。詳細については後述するが、外部出力部１１５を介してＨＤＲ非対応表示装置が接続される場合、本実施形態のカメラ１００は、ＨＤＲの画像データをＳＤＲの画像データに変換して出力可能となされている。
Note that the external display device connected to the
操作スイッチ群１０９は、ユーザが指示等を入力するために設けられている。操作スイッチ群１０９には、例えば、主に撮影を行うためのカメラモードや、主に画像を再生表示させるための再生モード、電源をオフにするパワーオフモード等を、ユーザが選択して指示するためのスイッチ等が設けられている。また、操作スイッチ群１０９にはいわゆるタッチパネルも含まれる。タッチパネルは、例えば液晶パネル１０７の画面上に配されている。ユーザにより操作スイッチ群１０９のタッチパネルへの操作がなされた場合、マイコン１０８は、タッチパネルに対する以下の操作を検出できる。マイコン１０８は、タッチパネルに対し、指等が、触れたこと（タッチダウン）、触れている状態（タッチオン）、触れたまま移動する状態（ムーブ）、触れていた指等を離したこと（タッチアップ）、何も触れていない状態（タッチオフ）等の操作を検出できる。これら操作の情報やタッチパネル上に指等が触れているときの位置座標の情報は、マイコン１０８に通知され、このときのマイコン１０８は、それら通知された情報に基づいて、タッチパネル上に対しどのような操作が行なわれたかを判定する。また、マイコン１０８は、位置座標の変化に基づき、例えばムーブによりタッチパネル上で移動する指等の移動方向を、タッチパネル上の垂直・水平成分毎に検出可能である。また、マイコン１０８は、タッチダウンから一定のムーブを経てタッチアップがなされた場合、ストロークが描かれたことを検出する。なお、素早くストロークを描く操作はフリックと呼ばれる。フリックは、タッチパネル上に指等を触れたまま、ある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指で弾くように素早くなぞる操作である。マイコン１０８は、所定距離以上で且つ所定速度以上のムーブがされたことを検出し、そのままタッチアップがなされたことを検出した場合には、フリックが行なわれたと判定する。また、マイコン１０８は、所定距離以上で且つ所定速度未満のムーブがなされたことを検出した場合には、ドラッグが行なわれたと判定する。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものが用いられてもよい。
The
輝度変換部１１４は、ＨＤＲ画像データに対し、輝度変換情報に応じた階調変換処理を行う。詳細については後述するが、輝度変換情報は、輝度情報生成部１０５により生成される。本実施形態において、階調変換処理は、ＨＤＲ画像における１２ビットの輝度の階調を、８ビットの階調に変換してＳＤＲ画像を生成する階調処理であり、以下、特に輝度に関する階調変換を「輝度変換」と表記する。本実施形態のカメラ１００は、例えばカメラモードである場合、例えばユーザからの指示に応じて、撮影されてＲＡＭ１１１に一時的に記憶されたＨＤＲ画像データに対して、輝度変換部１１４による輝度変換を行うことが可能となされている。また、本実施形態のカメラ１００は、輝度変換部１１４にて輝度変換が行われた後（以下、「輝度変換後」と表記する）の画像データを、マイコン１０８による制御の下、液晶パネル１０７や、外部出力部１１５を介して外部表示装置に送ることも可能である。なお、以下の説明では、「輝度変換が行われた後」を「輝度変換後」と表記し、一方、「輝度変換が行われる前」を「輝度変換前」と表記することにする。
The
以下、ＨＤＲ画像をＳＤＲ画像に変換する階調変換のうち特に輝度変換の概要について、図２（ａ）と図２（ｂ）を参照しながら説明する。なお、図２（ａ）と図２（ｂ）は、本実施形態において、後述するようなユーザによるＳＤＲの輝度範囲指定がなされない場合の輝度変換例を示している。図２（ａ）は、輝度変換前のＹＣｂＣｒの１２ビットの画像値と、輝度変換後のＹＣｂＣｒの８ビットの画素値との対応関係を表すグラフである。図２（ａ）の縦軸が輝度変換後の画素値を、横軸が輝度変換前の画素値を示しており、画素値＝輝度値（Ｙ値）である。 Hereinafter, an outline of luminance conversion among gradation conversions for converting an HDR image into an SDR image will be described with reference to FIGS. 2 (a) and 2 (b). 2A and 2B show an example of luminance conversion in the present embodiment when the SDR luminance range is not designated by the user as described later. FIG. 2A is a graph showing the correspondence between the 12-bit YCbCr image value before luminance conversion and the 8-bit YCbCr pixel value after luminance conversion. In FIG. 2A, the vertical axis indicates the pixel value after luminance conversion, and the horizontal axis indicates the pixel value before luminance conversion, where pixel value = luminance value (Y value).
図２（ａ）に示すように、輝度変換は、１２ビットのＹＣｂＣｒデータを、８ビットのＹＣｂＣｒデータに変換するような処理となされている。ただし、１２ビットのデータは「０」から「４０９５」までの値をとることができる一方で、８ビットのデータは「０」から「２５５」までの値しかとることができない。このため、輝度変換では、１２ビットのＹＣｂＣｒデータのうち、輝度値が「０〜１５」の画素値は８ビットのデータでは「０」にし、輝度値が「１６〜３１」の画素値は８ビットのデータでは「１」（以下同様）にするような処理が行われる。輝度情報生成部１０５は、このような１２ビットのデータを８ビットのデータに変換するためのテーブル（以下、輝度変換テーブルと表記する。）の情報を生成する。図２（ｂ）は、輝度変換テーブルの一例を示している。図２（ｂ）に示す輝度変換テーブルは、１２ビットのＹＣｂＣｒデータである輝度変換前の画素値と、８ビットのＹＣｂＣｒデータである輝度変換後の画素値との対応関係を表すテーブルである。この輝度変換テーブルは、輝度変換前の画素値「０〜１５」は変換後には「０」、変換前の画素値「１６〜３１」は変換後には「１」のように、変換前の画素値が「１６」上がる毎に、変換後の画素値が「１」上がるようなテーブルとなされる。
As shown in FIG. 2A, the luminance conversion is a process of converting 12-bit YCbCr data into 8-bit YCbCr data. However, while 12-bit data can take values from “0” to “4095”, 8-bit data can take only values from “0” to “255”. For this reason, in the luminance conversion, among the 12-bit YCbCr data, the pixel value with the luminance value “0 to 15” is set to “0” with the 8-bit data, and the pixel value with the luminance value “16 to 31” is 8 For bit data, a process of setting “1” (hereinafter the same) is performed. The luminance
ここで、本実施形態のカメラ１００は、操作スイッチ群１０９を介したユーザによる指定に応じて、ＨＤＲ画像の輝度範囲内においてＳＤＲに対応した輝度範囲を輝度の高低方向へ任意に移動させるような調整が可能となされている。ＨＤＲ画像の輝度範囲内でＳＤＲの輝度範囲をユーザが任意に指定する際の具体的なユーザーインタフェース例については後述する。本実施形態のカメラ１００では、操作スイッチ群１０９を介してユーザによりＳＤＲの輝度範囲の指定がなされた場合、輝度情報生成部１０５は、その指定された輝度範囲に応じた重み付けがなされた輝度変換情報を生成する。詳細は後述するが、輝度変換生成部１０５は、ユーザにより指定されたＳＤＲの輝度範囲に応じて重み付けがなされた輝度変換テーブルを生成する。この場合の輝度変換テーブルは、前述の図２（ｂ）に示した輝度変換テーブルとは異なる。
Here, the
また、ユーザによりＳＤＲの輝度範囲が指定された場合、マイコン１０８は、ＨＤＲ画像のうち、ＳＤＲの輝度範囲内に輝度値が入らない各画素が集まっている画像領域を算出する。すなわち、マイコン１０８は、ＨＤＲ画像のうち、ＳＤＲの輝度範囲内に輝度値が入らない画像領域を特定する。そして、マイコン１０８は、その特定した画像領域を、をＯＳＤ部１０６に通知する。この通知を受けたＯＳＤ部１０６は、特定した画像領域に対応したゼブラ模様（縞模様）の画像を生成し、ゼブラ模様の画像をＯＳＤ用の表示情報として画像データに重畳させる。これにより、液晶パネル１０７の画面上には、ユーザにより指定されたＳＤＲの輝度範囲内に入らない画像領域がゼブラ模様になされた画像が、表示されることになる。以下、ゼブラ模様の画像を「ゼブラ画像」と表記し、ゼブラ画像を画像に合成して表示させることを「ゼブラ表示」と表記する。このようなゼブラ表示が行われることで、ユーザは、撮影されたＨＤＲ画像の中で意図した画像領域が、指定したＳＤＲの輝度範囲内に入っているかどうかを視覚的に確認することができることになる。なお、本実施形態ではゼブラ画像をＨＤＲ画像に合成する例を挙げたが、合成されるのは他の模様等の画像であってもよい。また、本実施形態の場合、ゼブラ画像を合成するのみの簡単な処理のみ行えばよいため、カメラ１００における画像処理の負担は少ない。
When the SDR luminance range is designated by the user, the
また、本実施形態によれば、前述したように、ユーザは、操作スイッチ群１０９を介した指示入力により、ＨＤＲ画像の輝度範囲内でＳＤＲの輝度範囲を輝度の高低方向へ移動させるような任意の指定が可能となされている。したがって、ユーザは、液晶パネル１０７に表示されたＨＤＲ画像の中で、意図した画像領域がゼブラ表示されてしまわないように、ＳＤＲに対応した輝度範囲を、輝度の高低方向へ移動させるような指定を行うことができる。
Further, according to the present embodiment, as described above, the user can arbitrarily move the SDR luminance range in the luminance range of the HDR image within the luminance range of the HDR image by an instruction input via the
図１に説明を戻し、輝度情報生成部１０５は、輝度変換テーブルと後述するダイナミックレンジ情報とを含む輝度変換情報を生成する。操作スイッチ群１０９を介してユーザから記録指示が入力された場合、マイコン１０８は、輝度情報生成部１０５にて生成された輝度変換情報を、メモリカードコントローラ１１２を介して圧縮ビデオデータと関連付けてメモリカード１１３に記録させる。また、操作スイッチ群１０９を介してユーザから再生指示が入力された場合、マイコン１０８は、メモリカードコントローラ１１２を介してメモリカード１１３から圧縮ビデオデータと輝度変換情報とを読み出させ、ＲＡＭ１１１に一時的に記憶させる。そして、マイコン１０８による制御の下、圧縮伸張回路１０４は、ＲＡＭ１１１から読み出された圧縮ビデオデータをデコードする。このときの輝度変換部１１４は、そのデコードされた画像データを、輝度変換情報内の輝度変換テーブルに基づいて輝度変換することができる。再生モードにおいて、輝度変換部１１４にて輝度変換された後の画像データは、マイコン１０８による制御の下、液晶パネル１０７や、外部出力部１１５を介して外部表示装置に送られる。
Returning to FIG. 1, the luminance
図３は、本実施形態のカメラ１００において、ユーザにより指定されたＳＤＲの輝度範囲外の画像領域に対してゼブラ表示を行う場合の処理のフローチャートである。図３のフローチャートにおける各処理ステップは、カメラ１００のマイコン１０８が、ＲＯＭ１１０に保存されている本実施形態に係る画像処理プログラムを実行して各部を制御することにより実現される。なお、以下の説明では、図３の各処理ステップＳ３０１〜ステップＳ３０５を、Ｓ３０１〜Ｓ３０５と略記する。本実施形態のカメラ１００において、画像の撮影がなされている場合、センサ１０２は動画のフレーム毎の撮像画像を取り込み、そのフレーム毎の撮像画像のデータが画像処理部１０３で処理されてＲＡＭ１１１に送られる。図３のフローチャートは、動画の撮影が開始されたことでスタートする。
FIG. 3 is a flowchart of processing when the
図３のＳ３０１では、マイコン１０８は、撮影されたＨＤＲ画像を液晶パネル１０７等に表示させる際に、前述したゼブラ表示を行う設定（ゼブラ表示の設定が有効（ＯＮ））になっているか否かを判断する。ここで、本実施形態の場合、ユーザは、操作スイッチ群１０９の操作を介することにより、ゼブラ表示を有効（ＯＮ）又は無効（ＯＦＦ）に設定することができる。図４（ａ）は、ユーザが操作スイッチ群１０９を操作してゼブラ表示を有効又は無効に設定する際のユーザーインタフェース（以下、ＵＩと表記する。）画面４０１の一例を示す。この図４（ａ）は、マイコン１０８による制御の下で、ＯＳＤ部１０６により後述する各種メニュー画像等がＨＤＲ画像に合成されて液晶パネル１０７等に表示された画面例である。
In S301 of FIG. 3, when the
図４（ａ）のＵＩ画面４０１には、センサ１０２から出力されて画像処理部１０３の画像処理を介してＲＡＭ１１１に一時記憶されたＨＤＲ画像データに基づくＨＤＲ画像４３０が表示されている。ＨＤＲ画像４３０は、例えば打ち上げ花火を撮影した画像であるとする。また、図４（ａ）のＵＩ画面４０１には、液晶パネル１０７の表示設定を行うパネル設定メニュー４４１の下位メニューとして、ゼブラ表示の設定の際に用いられる輝度範囲外ゼブラ表示メニュー４４２が表示される。さらに、このメニュー４４２の下位メニューには、ゼブラ表示を有効（ＯＮ）に設定する際に選択されるＯＮメニュー４４３と、無効（ＯＦＦ）に設定する際に選択されるＯＦＦメニュー４４４とが用意されている。図４（ａ）のＵＩ画面４０１の例は、操作スイッチ群１０９の操作を介してユーザによりＯＮメニュー４４３が選択されて、例えばハイライト表示されている状態を表している。そして、Ｓ３０１において、マイコン１０８は、ゼブラ表示が有効（ＯＮ）に設定されていると判断した場合にはＳ３０２に処理を進め、一方、無効（ＯＦＦ）に設定されていると判断した場合には図３のフローチャートの処理を終了する。
On the
Ｓ３０２に進んだ場合、マイコン１０８は、操作スイッチ群１０９を介してユーザより指定入力された、ＳＤＲの輝度範囲の情報を取得する。図４（ｂ），図４（ｃ）は、ユーザが操作スイッチ群１０９を操作してＳＤＲの輝度範囲を指定する際のＵＩ画面４１１，４２１の例を示している。ＵＩ画面４１１，４２１には、ＳＤＲの輝度範囲を指定する際にユーザにより操作されるスライドバー４１２，４２２と、スライドバー４１２，４２２が配置されるスライドレール４１５とが、それぞれ表示される。スライドレール４１５の上端部には例えば「輝度：高」、下端部には例えば「輝度：低」等の文字が表示されており、「輝度：高」から「輝度：低」までの高低幅は例えばＨＤＲ画像における輝度範囲に対応している。スライドバー４１２，４２２は、例えばＳＤＲにおける輝度範囲に対応しており、スライドレール４１５の「輝度：高」から「輝度：低」までの間の高低何れの方向へもスライド可能となされている。以下、スライドバー４１２と４２２をそれぞれ区別しない場合には「スライドバー」とのみ表記し、スライドレール４１５についても「スライドレール」とのみ表記する。マイコン１０８は、タッチパネル上のスライドバー上をユーザの指等が触れた状態で、その指等がムーブされた場合、そのムーブに応じてスライドバーをスライドレール内でスライドさせる。
When the process proceeds to S <b> 302, the
ユーザによるムーブでスライドバーがスライドされた場合、マイコン１０８は、スライドレール内におけるスライドバーの位置情報を取得して、ＲＡＭ１１１に記憶させる。マイコン１０８は、スライドレールの高低幅で表されるＨＤＲの輝度範囲内において、一例としてスライドバーの下端部（「輝度：低」側の端部）に対応した輝度値を、スライドバーの位置（座標値）に対応した情報として取得する。そして、マイコン１０８は、そのスライドバーの位置に基づいてＳＤＲの輝度範囲を設定する。また例えば、ユーザのムーブ操作によりスライドバーが「輝度：低」方向にスライドされた場合、マイコン１０８は、ＳＤＲの輝度範囲を、より低輝度側に設定する。逆に、ユーザのムーブ操作により、スライドバーが「輝度：高」方向にスライドされた場合、マイコン１０８は、ＳＤＲの輝度範囲を、より高輝度側に設定する。
When the slide bar is slid by the user's move, the
ここで、カメラ１００にて撮影されてメモリカード１１３に記録されたＨＤＲ画像を、ユーザにより指定されたＳＤＲの輝度範囲に基づいてＳＤＲ画像へ輝度変換して、例えば外部出力部１１５からＨＤＲ非対応表示装置に送って表示させる場合を考えてみる。図４（ｂ）のＵＩ画面４１１と図４（ｃ）のＵＩ画面４２１は、ユーザがＳＤＲの輝度範囲を指定するために、それぞれスライドバーをスライドさせた状態の例を示している。ＵＩ画面４１１とＵＩ画面４２１とではそれぞれスライドバーの位置が異なっており、ＵＩ画面４２１は、スライドバー４２２が、ＵＩ画面４１１のスライドバー４１２よりも「輝度：高」の側にスライドされた例を示している。これらの例において、スライドバーの位置に応じたＳＤＲの輝度範囲で輝度変換が行われた場合、ＨＤＲ画像４３０のうちＳＤＲの輝度範囲外の画像領域は、ＨＤＲ非対応表示装置ではいわゆる黒つぶれや白飛びした状態で表示されることになる。例えば、ＨＤＲ画像４３０のうちＳＤＲの輝度範囲より低輝度の画像領域は、ＨＤＲ非対応表示装置では黒つぶれした状態で表示され、ＳＤＲの輝度範囲より高輝度の画像領域は、ＨＤＲ非対応表示装置では白飛びした状態で表示される。このため、例えばＨＤＲ非対応表示装置の表示画像を見たユーザは、それら白飛び或いは黒飛びした状態で表示されている画像領域に何が映っていたのかを確認できなくなってしまう。
Here, the HDR image captured by the
このようなことから、本実施形態の場合、マイコン１０８は、ＳＤＲの輝度範囲外となって黒つぶれ或いは白飛びする状態になる画像領域については、ＯＳＤ部１０６を介してゼブラ表示を行わせる。このため、図３のフローチャートのＳ３０２の後、マイコン１０８は、Ｓ３０３に処理を進める。Ｓ３０３では、マイコン１０８は、Ｓ３０２で設定されたＳＤＲの輝度範囲に応じた輝度変換テーブルを使用してＨＤＲ画像を輝度変換し、ＳＤＲの輝度範囲外になって黒つぶれや白飛びしてしまう画像領域を特定する。なお、この場合の輝度変換の際の分解能は２５６で固定しておく。このようにして特定された画像領域がゼブラ表示される画像領域である。Ｓ３０３の後、マイコン１０８は、Ｓ３０４に処理を進める。
For this reason, in the case of the present embodiment, the
Ｓ３０４では、マイコン１０８は、Ｓ３０３でＳＤＲの輝度範囲外になるとして特定された画像領域に対し、ＯＳＤ部１０６によりゼブラ画像を合成させることによりゼブラ表示を行わせる。例えば、前述した図４（ｂ）のＵＩ画面４２１の例の場合、例えば画像領域４１３，４１４は、白飛びや黒つぶれせずに、ユーザが確認可能な状態であるとする。一方、図４（ｃ）のＵＩ画面４２１の例は、スライドバー４２２が「輝度：高」側にスライドされてＳＤＲの輝度範囲が高輝度側に調整されたことで黒つぶれしてしまう画像領域に対して、ゼブラ画像４２３，４２４が表示された状態を示している。なお、図４（ｃ）のＵＩ画面４２１では、黒つぶれしてしまう特定の画像領域に対してゼブラ画像４２３，４２４を表示する例を挙げたが、白飛びする特定の画像領域に対してゼブラ画像を表示してもよいし、それら両方にゼブラ画像を表示してもよい。それら両方にゼブラ画像を表示するような場合、黒つぶれする特定の画像領域に表示するゼブラ画像と、白飛びする特定の画像領域に表示するゼブラ画像とは、それぞれ異なる画像にすることが望ましい。なお、図４（ｂ）、図４（ｃ）の例では、画像４３０はＨＤＲ画像となされているが、スライドバー４２２によるＳＤＲの輝度範囲の調整に応じて、画像４３０の輝度を調整してもよい。
In S <b> 304, the
以下、図５（ａ）から図５（ｇ）を参照して、前述したスライドバーの位置、スライドバーの位置に応じた輝度変換、スライドバーの位置に応じた輝度変換のための輝度変換テーブルについて説明する。ここでは、前述したように、ＳＤＲの輝度範囲を設定する際のスライドバーの位置が、スライドバーの下端部に対応した輝度値により表される例を挙げて説明する。 Hereinafter, referring to FIG. 5A to FIG. 5G, the above-described slide bar position, the luminance conversion according to the slide bar position, and the luminance conversion table for the luminance conversion according to the slide bar position. Will be described. Here, as described above, an example will be described in which the position of the slide bar when setting the SDR luminance range is represented by the luminance value corresponding to the lower end of the slide bar.
図５（ａ）は、スライドバーの下端部の位置と、ＨＤＲの輝度値との対応関係を表すグラフである。図５（ａ）では、スライドバーの下端部の位置（座標値）を「スライドバーの下限値」と表記し、スライドバーの下限値に対応したＨＤＲの輝度値を「輝度変換前の画素下限値」と表記している。図５（ａ）に示すように、スライドバーの位置は、輝度変換前の画素値により表すことが可能となっている。 FIG. 5A is a graph showing the correspondence between the position of the lower end of the slide bar and the HDR luminance value. In FIG. 5A, the position (coordinate value) of the lower end portion of the slide bar is expressed as “lower limit value of the slide bar”, and the HDR luminance value corresponding to the lower limit value of the slide bar is expressed as “pixel lower limit before luminance conversion”. Value ”. As shown in FIG. 5A, the position of the slide bar can be expressed by a pixel value before luminance conversion.
ここで、本実施形態では、前述したように、輝度変換前のＨＤＲの各画素値は０〜４０９５の値をとり得る一方で、輝度変換後のＳＤＲの各画素値は０〜２５５までの値しかとることができない。このため、本実施形態における輝度変換テーブルは、０〜２５５の２５６の分解能を有するテーブルとなされている。また、本実施形態では、輝度変換テーブルは、前述したように、輝度変換前の画素値と輝度変換後の画素値との対応関係を表している。このため、輝度変換は、スライドバーの下限値（スライドバーの位置）に応じた輝度変換前の画素値から、輝度変換テーブルを用いて輝度変換後の画素値を求めるような処理となる。さらに、本実施形態では、スライドバーの位置により、輝度変換前の画素値の０〜４０９５の中のどこに重みを付けるかを決め、そのスライドバーの位置に応じた重み付けがなされた輝度変換テーブルを用いて、輝度変換を行うようになされている。なお、図５（ａ）の例では、スライドバーの下端部の位置（下限値）のみを挙げたが、スライドバーの上端部の位置（上限値）が用いられてもよい。また、スライドバーの下限値と上限値に基づいて、ＳＤＲの輝度範囲が設定されてもよい。この場合、ＨＤＲ画像のうち、スライドバーの下限値に対応した輝度値より低い輝度となる特定の画像領域は、ＳＤＲ画像では黒つぶれする画像領域になる。一方、ＨＤＲ画像のうち、スライドバーの上限値に対応した輝度値より高い輝度となる特定の画像領域は、ＳＤＲ画像では白飛びする画像領域となる。 In this embodiment, as described above, each HDR pixel value before luminance conversion can take a value from 0 to 4095, while each SDR pixel value after luminance conversion is a value from 0 to 255. It can only be taken. For this reason, the luminance conversion table in the present embodiment is a table having a resolution of 256 from 0 to 255. In this embodiment, as described above, the luminance conversion table represents the correspondence between the pixel value before luminance conversion and the pixel value after luminance conversion. For this reason, the luminance conversion is a process of obtaining a pixel value after luminance conversion using a luminance conversion table from a pixel value before luminance conversion corresponding to the lower limit value (slide bar position) of the slide bar. Furthermore, in the present embodiment, the position of the pixel value before luminance conversion is determined where the weight is to be applied depending on the position of the slide bar, and the luminance conversion table weighted according to the position of the slide bar is determined. And luminance conversion is performed. In the example of FIG. 5A, only the position (lower limit value) of the lower end portion of the slide bar is described, but the position (upper limit value) of the upper end portion of the slide bar may be used. Further, the SDR luminance range may be set based on the lower limit value and the upper limit value of the slide bar. In this case, in the HDR image, a specific image region having a luminance lower than the luminance value corresponding to the lower limit value of the slide bar is an image region that is blackened in the SDR image. On the other hand, in the HDR image, a specific image region having a luminance higher than the luminance value corresponding to the upper limit value of the slide bar is an image region that is overexposed in the SDR image.
図５（ｅ）は、スライドバーの下端部の位置（下限値）がスライドレールの下端部にある場合に、輝度変換前の画素値の０〜４０９５のうち画素値が低い側（０〜２０４８）に重み付けされた輝度変換テーブルを示している。また、図５（ｂ）は、図５（ｅ）の輝度変換テーブルを用いた場合の輝度変換前の画素値と輝度変換後の画素値との対応関係を表すグラフである。図５（ｅ）の輝度変換テーブルは、輝度変換前の画素値０〜２０４７については２５６の分解能による輝度変換を行って輝度変換後の画素値とし、輝度変換前の画素値２０４８〜４０９５については輝度変換後の画素値を全て２５５にするようなテーブルである。具体的には、図５（ｅ）の輝度変換テーブルは、輝度変換前の画素値０〜２０４７については画素値が８上がるごとに輝度変換後の画素値を１上げ、輝度変換前の画素値２０４８以上については輝度変換後の画素値を全て２５５にするようなテーブルである。この輝度変換テーブルを用いて輝度変換を行った場合、輝度変換前の画素値２０４８〜４０９５から得られる輝度変換後の画素値は白飛びする値になるが、輝度変換前の画素値０〜２０４８から得られる輝度変換後の画素値は白飛びしない値になる。また、この輝度変換テーブルを用いて輝度変換を行った場合、輝度変換前の画素値０〜２０４８から得られる輝度変換後の画像は、前述の図２（ｂ）に示したような輝度変換テーブルよりも高い解像度の画像となる。
FIG. 5E shows a lower pixel value (0 to 2048) of 0 to 4095 of the pixel value before luminance conversion when the position (lower limit value) of the lower end of the slide bar is at the lower end of the slide rail. ) Shows a weighted luminance conversion table. FIG. 5B is a graph showing the correspondence between the pixel value before luminance conversion and the pixel value after luminance conversion when the luminance conversion table of FIG. 5E is used. In the luminance conversion table of FIG. 5E, the pixel values 0 to 2047 before the luminance conversion are subjected to luminance conversion with a resolution of 256 to obtain the pixel values after the luminance conversion, and the
図５（ｆ）は、スライドバーがスライドレールの略々中央部にある場合に、輝度変換前の画素値０〜４０９５のうち１０２４〜３０７１までの画素値に重み付けされた輝度変換テーブルを示している。また、図５（ｃ）は、図５（ｆ）の輝度変換テーブルを用いた場合の輝度変換前の画素値と輝度変換後の画素値との対応関係を表すグラフである。図５（ｆ）の輝度変換テーブルは、輝度変換前の画素値０〜１０２３は輝度変換後の画素値を０とし、輝度変換前の画素値１０２４〜３０７１は２５６の分解能で輝度変換し、輝度変換前の画素値３０７２以上は輝度変換後の画素値を２５５にするテーブルである。具体的には、図５（ｆ）の輝度変換テーブルは、輝度変換前の画素値が１０２４〜３０７１では画素値が８上がるごとに輝度変換後の画素値が１上がるようなテーブルとなされている。一方、輝度変換前の画素値０〜１０２３では輝度変換後の画素値が全て０となり、輝度変換後の画素値が３０７２以上では全て２５５の画素値となるようなテーブルとなされている。この輝度変換テーブルを用いた輝度変換処理が行われた場合、輝度変換前の画素値０〜１０２３から得られる輝度変換後の画素値は黒つぶれする値になり、輝度変換前の画素値３０７２以上から得られる輝度変換簿の画素値は白飛びする値になる。一方、輝度変換後の画素値１０２４〜３０７１から得られる輝度変換後の画素値は黒つぶれも白飛びも発生しない値になる。また、この輝度変換テーブルを用いて輝度変換を行った場合、輝度変換前の画素値１０２４〜３０７１から得られる輝度変換後の画像は、前述の図２（ｂ）に示したような輝度変換テーブルよりも高い解像度の画像となる。
FIG. 5F shows a luminance conversion table weighted to pixel values from 1024 to 3071 out of
図５（ｇ）は、スライドバーの位置がスライドレールの一番上（スライドバーの上端部がスライドレールの上端部）にある場合、輝度変換前の画素値の０〜４０９５のうち画素値が高い側（２０４８〜４０９５）に重み付けされた輝度変換テーブルを示している。また、図５（ｄ）は、図５（ｇ）の輝度変換テーブルを用いた場合の輝度変換前の画素値と輝度変換後の画素値との対応関係を表すグラフである。図５（ｇ）の輝度変換テーブルは、輝度変換前の画素値０〜２０４７は輝度変後の画素値を０とし、輝度変換前の画素値２０４８〜４０９５は２５６の分解能で輝度変換して輝度変換後の画素値とするようなテーブルである。具体的には、図５（ｇ）の輝度変換テーブルは、輝度変換前の画素値０〜２０４７では輝度変換後の画素値が全て０となり、輝度変換前の画素値２０４８以上では画素値が８上がるごとに輝度変換後の画素値は１上がるようなテーブルである。この輝度変換テーブルを用いて輝度変換を行った場合、輝度変換前の画素値０〜２０４７から得られる輝度変換後の画素値は黒つぶれするが、輝度変換前の画素値２０４８〜４０９５から得られる輝度変換後の画像は、黒つぶれしない値となる。また、この輝度変換テーブルを用いて輝度変換を行った場合、輝度変換前の画素値２０４８〜４０９５から得られる輝度変換後の画像は、前述の図２（ｂ）に示した輝度変換テーブルよりも高い解像度の画像となる。
In FIG. 5G, when the position of the slide bar is at the top of the slide rail (the upper end of the slide bar is the upper end of the slide rail), the pixel value of 0 to 4095 of the pixel value before luminance conversion is The luminance conversion table weighted to the high side (2048-4095) is shown. FIG. 5D is a graph showing the correspondence between the pixel value before luminance conversion and the pixel value after luminance conversion when the luminance conversion table of FIG. 5G is used. In the luminance conversion table of FIG. 5G,
図３のフローチャートに説明を戻す。Ｓ３０４の後、マイコン１０８は、Ｓ３０５に処理を進める。Ｓ３０５では、マイコン１０８は、ＯＳＤ部１０６を介して、ＨＤＲ画像の中に、ＳＤＲの輝度範囲外となる画像領域が存在することをユーザに通知するための警告用の表示情報を液晶パネル１０７に表示させる。具体的には、マイコン１０８は、例えば図４（ｃ）のＵＩ画面４２１に例示しているような警告用のメッセージ４２５を表示させる。なお、ユーザに対する警告は、警告表示用メッセージ４２５の表示の他に、音声等により行われてもよい。Ｓ３０５の後、マイコン１０８は、図３のフローチャートの処理を終了する。
Returning to the flowchart of FIG. After S304, the
以上説明したように、本実施形態によれば、ユーザは、ＨＤＲ画像のデータがメモリカード１１３に記録される前に、その後ＨＤＲ非対応表示装置で表示されることになった場合でも、意図した画像領域が黒つぶれや色飛びせずに表示されるか否かを確認できる。一例として、図４（ｃ）のＵＩ画面４２１の例でユーザが意図した画像領域が花火の画像領域であったとする。この場合、その後、ＨＤＲ非対応表示装置に表示された場合には、少なくとも花火の画像領域が表示されればよいと考えられる。図４（ｃ）の例の場合、ユーザが意図していない他の画像領域（例えば図４（ｃ）でゼブラ画像４２３や４２４が表示された領域）については黒つぶれすることになるが、少なくとも花火の画像領域については黒つぶれ等することなく表示される。
As described above, according to the present embodiment, the user intended the HDR image data even before it was displayed on the non-HDR compatible display device before being recorded on the
そして、本実施形態のカメラ１００では、ユーザが意図した画像領域に対する確認が行われた画像をメモリカード１１３から読み出し、外部出力部１１５からＨＤＲ非対応表示装置に送って表示させる場合、ユーザの意図を反映させた輝度変換が行われる。このため、本実施形態のカメラ１００は、メモリカード１１３にＨＤＲ画像データ（圧縮ビデオデータ）を記録する際には、前述したように、そのＨＤＲ画像データに関連付けるようにして輝度変換情報をも記録する。なお、本実施形態において、輝度変換情報は、ユーザが指定したＳＤＲの輝度範囲に応じた輝度変換テーブルと、後述するダイナミックレンジ情報とを含む情報である。
In the
図６は、本実施形態のカメラ１００において、ユーザ指定のＳＤＲの輝度範囲に応じた輝度変換テーブル等を含む輝度変換情報を生成して、ＨＤＲ画像データと関連付けるようにしてメモリカード１１３に記録する場合の画像処理のフローチャートである。図６のフローチャートにおける各処理ステップは、カメラ１００のマイコン１０８が、ＲＯＭ１１０に保存されている本実施形態に係る画像処理プログラムを実行して各部を制御することにより実現される。なお、以下の説明では、図６の各処理ステップＳ６０１〜ステップＳ６１１を、Ｓ６０１〜Ｓ６１１と略記する。本実施形態のカメラ１００において、画像の撮影がなされている場合、センサ１０２は動画のフレーム毎に撮像画像を取り込み、そのフレーム毎の撮像画像のデータが画像処理部１０３で処理されてＲＡＭ１１１に送られる。図６のフローチャートは、動画の撮影が開始されたことでスタートする。
FIG. 6 shows that the
図６のＳ６０１では、マイコン１０８は、撮影したＨＤＲ画像データをメモリカード１１３に記録する場合に、輝度変換テーブルの情報をＨＤＲ画像データに関連付けるようにしたメタデータとして記録する設定がオンになされているか否かを判断する。本実施形態の場合、ユーザは、操作スイッチ群１０９を介して、輝度変換テーブルの情報をメタデータとして記録する設定のオンやオフの指示を入力可能となされている。操作スイッチ群１０９を介したユーザからの各種指示入力情報は例えばＲＯＭ１１０に記憶されている。したがって、マイコン１０８は、ＲＯＭ１１０に保持された指示入力情報をみることにより、輝度変換テーブルをメタデータとして記録する設定がオンになされているか否かを判断する。マイコン１０８は、Ｓ６０１において、輝度変換テーブルをメタデータとして記録する設定がオンになされていると判定した場合にはＳ３０２に処理を進める。一方、マイコン１０８は、Ｓ６０１において、設定がオフ（無効）になされていると判断した場合には、後述するＳ６０４に処理を進める。
In S601 of FIG. 6, when recording the captured HDR image data in the
図７は、輝度変換テーブルをメタデータとして記録する設定を行う場合に例えば液晶パネル１０７に表示されるＵＩ画面７０１の一例を示す図である。なお、図７は、マイコン１０８による制御の下で、ＯＳＤ部１０６により各種メニュー画像がＨＤＲ画像に合成されて液晶パネル１０７等に表示された画面例である。図７のＵＩ画面７０１には、センサ１０２から出力されて画像処理部１０３の画像処理を介してＲＡＭ１１１に一時記憶されたＨＤＲ画像データに基づくＨＤＲ画像７１０が表示されている。また、図７のＵＩ画面７０１には、メモリカード１１３への記録設定を行うための記録設定メニュー７４１の下位メニューとして、メタデータ記録設定の際に用いられる標準ＤＲ（ＳＤＲ）メタデータ記録メニュー７４２が表示される。さらに、このメタデータ記録メニュー７４２の下位メニューには、メタデータ記録を有効（ＯＮ）に設定する際に選択されるＯＮメニュー７４３と、無効（ＯＦＦ）に設定する際に選択されるＯＦＦメニュー７４４とが用意されている。図７のＵＩ画面７０１の例は、操作スイッチ群１０９の操作を介してユーザによりＯＮメニュー７４３が選択されて、例えばハイライト表示されている状態を表している。
FIG. 7 is a diagram illustrating an example of a
図６のフローチャートに説明を戻す。Ｓ３０２に進んだ場合、マイコン１０８は、操作スイッチ群１０９を介してユーザより入力された、ＳＤＲの輝度範囲の情報を取得する。このＳ３０２の処理は、前述した図３のＳ３０２の処理と同様であるため、ここではその詳細な説明については省略する。Ｓ３０２の後、マイコン１０８は、Ｓ６０２に処理を進める。
Returning to the flowchart of FIG. When the process proceeds to S <b> 302, the
Ｓ６０２では、マイコン１０８は、Ｓ３０２で取得したＳＤＲの輝度範囲の情報に基づいて輝度情報生成部１０５が作成した輝度変換テーブルの情報をＲＡＭ１１１に記憶させる。このときの輝度変換テーブルは、前述の図５（ａ）〜図５（ｇ）で説明したような、スライドバーの位置情報に応じて重み付けされた輝度変換テーブルであり、ここではその詳細な説明については省略する。Ｓ６０２の後、マイコン１０８は、Ｓ６０３に処理を進める。
In step S <b> 602, the
Ｓ６０３では、マイコン１０８は、カメラ１００において画像の撮影がなされた際のダイナミックレンジ情報を、画像処理部１０３から取得し、ＲＡＭ１１１に記憶させる。このときのダイナミックレンジ情報は、例えばＳＤＲのダイナミックレンジを基準とし、その基準ダイナミックレンジに対する比率を示す情報であってもよい。比率が分かれば、撮影がなされた際のダイナミックレンジを、基準ダイナミックレンジから相対的に一意に決めることが可能となる。Ｓ６０３の後、マイコン１０８は、Ｓ６０４に処理を進める。
In step S <b> 603, the
Ｓ６０４では、マイコン１０８は、操作スイッチ群１０９を介してユーザより、カメラ１００に対して記録開始指示が入力されたか否かを判断する。マイコン１０８は、Ｓ６０４において、ユーザから操作スイッチ群１０９を介して記録開始指示が入力されたと判断した場合には、Ｓ６０５へ処理を進める。一方、マイコン１０８は、Ｓ６０４において、記録開始指示が入力されていないと判断した場合にはＳ６０１に処理を戻す。
In step S <b> 604, the
Ｓ６０５に進むと、マイコン１０８は、画像処理部１０３からＲＡＭ１１１に送られて一時記憶されている１フレーム分の画像データを圧縮伸張回路１０４に出力させ、その画像データを圧縮伸張回路１０４により圧縮させる。そして、圧縮伸張回路１０４により圧縮された画像データは、１フレーム分の圧縮ビデオデータとして、ＲＡＭ１１１のバッファ領域に書き込まれる。Ｓ６０５の後、マイコン１０８は、Ｓ６０６に処理を進める。
In step S <b> 605, the
Ｓ６０６では、マイコン１０８は、ＲＡＭ１１１のバッファ領域を確認し、一定量の圧縮ビデオデータがたまっているか否かを判断する。マイコン１０８は、Ｓ６０６において、ＲＡＭ１１１のバッファ領域に一定量の圧縮ビデオデータがたまっていると判断した場合には、Ｓ６０７に処理を進める。一方、マイコン１０８は、Ｓ６０６において、一定量の圧縮ビデオデータがたまっていないと判断した場合には、Ｓ６０８に処理を進める。
In S606, the
Ｓ６０７に進むと、マイコン１０８は、メモリカードコントローラ１１２を制御して、ＲＡＭ１１１に保持されている圧縮ビデオデータをメモリカード１１３に書き込ませる。Ｓ６０７の後、マイコン１０８は、Ｓ６０８に処理を進める。
In step S <b> 607, the
Ｓ６０８では、マイコン１０８は、操作スイッチ群１０９を介してユーザより、カメラ１００に対して記録停止指示が入力されたか否かを判断する。マイコン１０８は、Ｓ６０８において、記録停止指示が入力されたと判断した場合にはＳ６０９に処理を進め、記録停止指示が入力されていないと判断した場合にはＳ６０５に処理を戻す。
In step S <b> 608, the
Ｓ６０９では、マイコン１０８は、ＲＡＭ１１１のバッファ領域を確認し、圧縮ビデオデータがたまっているか（残っているか）否かを判断する。マイコン１０８は、Ｓ６０９において、バッファにデータがたまっていると判断した場合にはＳ６１０に処理を進め、たまっていないと判断した場合にはＳ６１１に処理を進める。
In S609, the
Ｓ６１０では、マイコン１０８は、メモリカードコントローラ１１２を制御して、ＲＡＭ１１１に保持されている圧縮ビデオデータをメモリカード１１３に書き込ませる。Ｓ６１０の後、マイコン１０８は、Ｓ６１１に処理を進める。
In step S <b> 610, the
Ｓ６１１では、マイコン１０８は、圧縮ビデオデータの管理情報を生成して、ＲＡＭ１１１上に一時的に記憶させた後、メモリカードコントローラ１１２を介してメモリカード１１３に書き込ませる。図８は、圧縮ビデオデータの管理情報８０１の一例を示す図である。管理情報８０１は、圧縮ビデオデータの画像サイズを示す解像度、圧縮ビデオデータのデータサイズを示すビットレート、圧縮ビデオデータのフレームレートを含む。また、本実施形態において、前述した輝度変換テーブルをメタデータとして記録する設定が有効（ＯＮ）であった場合には、ＲＡＭ１１１に保持されている輝度変換情報はメタデータとして記録される。このため、管理情報８０１には、輝度変換テーブルの有無を示す情報、撮影時のダイナミックレンジ情報、輝度変換の際の前述した分解能の情報、輝度変換テーブルのファイル名等が含まれる。なお、輝度変換テーブルの有無と記録される画像データとを関連付ける必要があるため、輝度変換テーブルのファイル名は、動画や音声のデータと同じファイル名となされる。Ｓ６１１の後、マイコン１０８は、この図６のフローチャートの処理を終了する。
In S <b> 611, the
図９には、メモリカード１１３に記録される画像データのフォルダ構成例を示す。なお、図９は、操作スイッチ群１０９を介してユーザより記録開始指示と記録終了指示の入力がなされた後のフォルダとファイルの構成を表している。図９に示すように、マイコン１０８は、メモリカード１１３のルート上に、ＣＯＮＴＥＮＳフォルダ、そのフォルダ内にＣＬＩＰＳ００１のフォルダを生成する。ＣＬＩＰＳ００１のフォルダ内には、カメラ１００のメニュー設定に関連する情報や、ＩＮＤＥＸ．ＭＩＦ、ＭＸＦファイル、ＸＭＬファイル、ＣＰＦファイルが含まれる。ＩＮＤＥＸ．ＭＩＦは、図８の管理情報８０１を管理するためのファイルである。ＭＸＦファイルは、動画や音声データが記録されているファイルである。ＸＭＬ（ＥｘｔｅｎｓｉｂｅＭａｒｋｕｐＬａｎｇｕａｇｅ）ファイルは、クリップに関する情報を管理しているファイルである。ＣＰＦ（ＣｕｓｔｏｍＰｉｃｔｕｒｅＦｉｌｅ）ファイルは、カメラ１００のカメラ信号処理に関係する設定値を管理しているファイルである。そして、マイコン１０８は、輝度変換テーブル９０２を、動画や音声データと同一のファイル名で記録する。
FIG. 9 shows a folder configuration example of image data recorded on the
図１０は、本実施形態のカメラ１００が再生モードになされた場合において、前述したように画像データに輝度変換情報がメタデータとして記録されたメモリカード１１３から、画像データを読み出して再生する場合のフローチャートである。図１０のフローチャートにおける各処理ステップは、カメラ１００のマイコン１０８が、ＲＯＭ１１０に保存されている本実施形態に係る画像処理プログラムを実行して各部を制御することにより実現される。なお、以下の説明では、図１０の各処理ステップＳ１００１〜ステップＳ１００９を、Ｓ１００１〜Ｓ１００９と略記する。本実施形態において、図１０のフローチャートは、カメラ１００が再生モードに遷移して、メモリカード１１３から画像データの読み出しが可能な状態になったときにスタートする。
FIG. 10 shows a case where the image data is read out and reproduced from the
図１０のＳ１００１では、マイコン１０８は、操作スイッチ群１０９を介してユーザより、カメラ１００に対して再生開始指示が入力されたか否かを判断する。マイコン１０８は、Ｓ１００１において、再生開始指示が入力されたと判断した場合にはＳ１００２に処理を進め、再生開始指示が入力されていないと判断した場合にはＳ１００１の判断に戻る。
In S <b> 1001 of FIG. 10, the
Ｓ１００２では、マイコン１０８は、ユーザより再生開始指示を受けたクリップの管理情報を読み出すための指示を、メモリカードコントローラ１１２に行い、その指示に応じてメモリカード１１３から読み出された管理情報をＲＡＭ１１１に展開する。Ｓ１００２の後、マイコン１０８は、Ｓ１００３に処理を進める。
In step S <b> 1002, the
Ｓ１００３では、マイコン１０８は、Ｓ１００２でＲＡＭ１１１に展開された管理情報を解析し、再生対象のクリップに対する管理情報を取得する。Ｓ１００３の後、マイコン１０８は、Ｓ１００４に処理を進める。
In S1003, the
Ｓ１００４では、マイコン１０８は、操作スイッチ群１０９を介してユーザより、メモリカード１１３から読み出された画像データを例えば外部出力部１１５から出力するときに、ＳＤＲへの輝度変換が有効と無効の何れに設定されているかを判断する。マイコン１０８は、Ｓ１００４において、ＳＤＲへの輝度変換が有効に設定されていると判断した場合にはＳ１００５に処理を進め、一方、無効に設定されていると判断した場合にはＳ１００８に処理を進める。
In S1004, when the
図１１（ａ）は、メモリカード１１３から読み出された画像データを外部出力部１１５から出力するときにＳＤＲへの輝度変換を有効又は無効に設定する場合に、例えば液晶パネル１０７に表示されるＵＩ画面１１０１の一例を示す図である。なお、図１１（ａ）は、マイコン１０８による制御の下で、ＯＳＤ部１０６により各種メニュー画像がＨＤＲ画像に合成されて液晶パネル１０７等に表示された画面例である。図１１（ａ）のＵＩ画面１１０１には、メモリカード１１３から読み出されて圧縮伸張回路１０４にて伸張された画像データに基づく画像１１１０が表示されている。また、図１１（ａ）のＵＩ画面１１０１には、外部出力部１１５を介した画像出力を行う場合にＳＤＲへ輝度変換して出力する際の出力設定メニュー１１４１の下位メニューとして、標準ＤＲ（ＳＤＲ）出力メニュー１１４２が表示される。さらに、この出力メニュー１１４２の下位メニューには、ＳＤＲへ輝度変換した出力を有効（ＯＮ）に設定する際に選択されるＯＮメニュー１１４３と、無効（ＯＦＦ）に設定する際に選択されるＯＦＦメニュー１１４４とが用意されている。図１１（ａ）のＵＩ画面１１０１の例は、操作スイッチ群１０９の操作を介してユーザによりＯＮメニュー１１４３が選択されて、例えばハイライト表示されている状態を表している。
FIG. 11A is displayed on the
図１０のフローチャートに説明を戻す。Ｓ１００５に進んだ場合、マイコン１０８は、ＲＡＭ１１１に保持されている管理情報を見て、輝度変換のための輝度変換情報が存在し、且つその輝度変換情報の輝度変換テーブルが含まれているか否かを判断する。マイコン１０８は、Ｓ１００５において、再生出力する画像データに関連した輝度変換テーブルが含まれていると判断した場合にはＳ１００６に処理を進める。一方、マイコン１０８は、Ｓ１００５において、輝度変換テーブルが含まれていないと判断した場合には、輝度変換テーブルに基づく輝度変換が行えないため、Ｓ１００８に処理を進める。
Returning to the flowchart of FIG. When the process proceeds to S1005, the
Ｓ１００８の処理に進んだ場合、マイコン１０８は、メモリカードコントローラ１１２に指示を出し、メモリカード１１３から所望の画像データを読み出し、ＲＡＭ１１１に展開する。そして、マイコン１０８は、ＲＡＭ１１１に展開された画像データを圧縮伸張回路１０４に送ってデコードさせ、そのデコードされた画像データをＲＡＭ１１１に展開する。さらに、マイコン１０８は、ＲＡＭ１１１に展開された画像データを、液晶パネル１０７や外部出力部１１５に送る。
When the processing proceeds to S1008, the
一方、Ｓ１００６に進んだ場合、マイコン１０８は、ＲＡＭ１１１に記憶されている管理情報を元に、メモリカードコントローラ１１２に指示を出し、メモリカード１１３から画像データと同じファイル名の輝度変換テーブルの情報を読み出す。そして、マイコン１０８は、その輝度変換テーブルをＲＡＭ１１１に展開した後、Ｓ１００７に処理を進める。
On the other hand, when the processing proceeds to S1006, the
Ｓ１００７では、マイコン１０８は、メモリカードコントローラ１１２に指示を出し、メモリカード１１３から所望の画像データを読み出し、ＲＡＭ１１１に展開する。そして、マイコン１０８は、ＲＡＭ１１１に展開された画像データを、圧縮伸張回路１０４に送って伸張（デコード）を行わせ、そのデコードされた画像データをＲＡＭ１１１に展開する。さらに、マイコン１０８は、その画像データとＳ１００６で読み込んだ輝度変換テーブルを、輝度変換部１１４に送って、輝度変換部１１４にてＨＤＲ画像データをＳＤＲ画像に輝度変換させ、その後ＹＣｒＣｂのＳＤＲ画像データを外部出力部１１５に送る。
In step S <b> 1007, the
ここで、前述した図４（ｃ）で例示したようにＳＤＲの輝度範囲が高めに設定され、そのＳＤＲの輝度範囲に応じた輝度変換テーブルに基づいて輝度変換されたＳＤＲ画像データが外部出力部１１５から出力されてＨＤＲ非対応表示装置に送られたとする。この場合、ＨＤＲ非対応表示装置では、例えば図１１（ｂ）に示すような輝度の低い画像領域１１０３や１１０４は黒につぶれした状態で表示されることになる。なお、ＨＤＲに対応した液晶パネル１０７であれば、図１１（ｃ）に示すように黒つぶれのない画像領域１１１３，１１１４が表示されることになる。一方、撮影画像を記録する前に図４（ｃ）のＵＩ画面４２１でユーザが意図した画像領域が、例えば花火の画像領域であった場合、ＨＤＲ非対応表示装置では、図１１（ｂ）のように、少なくとも花火の画像領域については黒つぶれ等せずに表示される。
Here, as exemplified in FIG. 4C described above, the SDR image data in which the luminance range of the SDR is set higher and the luminance is converted based on the luminance conversion table corresponding to the luminance range of the SDR is output to the external output unit. Suppose that it is output from 115 and sent to a display device that does not support HDR. In this case, in the non-HDR compatible display device, for example, the low-
図１０のフローチャートに説明を戻す。Ｓ１００７の後、マイコン１０８は、Ｓ１００９に処理を進める。Ｓ１００９では、マイコン１０８は、操作スイッチ群１０９を介してユーザより、再生終了の指示が入力されたか否か、または、圧縮伸張回路１０４から再生中の動画の画像データが最終位置（最後のフレーム）のデータになったか否かを判定する。マイコン１０８は、Ｓ１００９において、再生終了の指示が入力されたと判断した場合、または、動画の画像データが最終位置のデータになったと判断した場合には、図１０のフローチャートの処理を終了する。一方、マイコン１０８は、Ｓ１００９において、再生終了の指示が入力されていない場合、または、動画の画像データが最終位置のデータになっていない場合には、Ｓ１００４に処理を戻す。
Returning to the flowchart of FIG. After S1007, the
以上説明したように、本実施形態の場合、撮影されたＨＤＲ画像データをメモリカード１１３に記録する前に、前述した図４（ｃ）のように黒つぶれや白飛びしてしまう特定の画像領域にゼブラ画像４２３，４２４を表示することでユーザに通知する。そして、本実施形態の場合、撮影されたＨＤＲ画像データをメモリカード１１３に記録する前に、ユーザが意図した画像領域が黒つぶれや白飛びしないようにＳＤＲの輝度範囲の調整が可能となされている。また、ＳＤＲの輝度範囲が調整された場合、それに応じた輝度変換テーブルが、輝度変換情報として画像データに関連付けてメモリカード１１３に記録される。したがって、メモリカード１１３から読み出した画像データを、その輝度変換テーブルを用いて輝度変換した後の画像データは、図１１（ｂ）のように、ユーザが意図した例えば花火の画像領域については黒つぶれや白飛びしない状態で表示される。このため、外部出力部１１５から出力された画像データが、ＨＤＲ非対応表示装置に表示された場合、その画像データが記録された際に意図された画像領域がどのような画像であったかを、ＨＤＲ非対応表示装置のユーザは確認することができる。このように、本実施形態では、画像撮影がなされた際に、ユーザが意図した画像領域が表示されるようなＳＤＲの輝度範囲を指定可能となされている。このため、本実施形態によれば、その後の再生時に外部表示装置がＨＤＲ対応しているか否かによらず、外部表示装置のユーザは、カメラ１００のユーザが意図した画像領域の画像を確認可能となっている。
As described above, in the case of the present embodiment, before recording the captured HDR image data on the
＜第２実施形態＞
図１２は、第２実施形態に係る画像処理装置の一適用例であるカメラ１２００の概略的な内部構成例を示す図である。第２実施形態のカメラ１２００は、前述した図１のカメラ１００と比較して、メモリカード、メモリカードコントローラ、輝度情報生成部が、それぞれＡ，Ｂ二つずつ設けられていることが異なっている。図１２の例では、メモリカードＡ，Ｂをメモリカード１１３Ａ，１１３Ｂ、メモリカードコントローラＡ，Ｂをメモリカードコントローラ１１２Ａ，１１２Ｂ、輝度情報生成部Ａ，Ｂを輝度情報生成部１０５Ａ，１０５Ｂとして示している。メモリカード１１３Ａ、メモリカードコントローラ１１２Ａ、輝度情報生成部１０５Ａは、それぞれ前述した図１のメモリカード１１３、メモリカードコントローラ１１２、輝度情報生成部１０５と同様のものである。メモリカード１１３Ｂ、メモリカードコントローラ１１２Ｂについても、図１のメモリカード１１３、メモリカードコントローラ１１２と同様のものである。ただし、メモリカードコントローラ１１２Ｂは、メモリカード１１３Ｂに対するデータの書き込みと読み出しを行うためのものである。また、輝度情報生成部１０５Ｂについても、輝度情報生成部１０５Ａと同様のものである。なお、第２実施形態のカメラ１２００において、メモリカード１１３Ａ，１１３Ｂ、メモリカードコントローラ１１２Ａ，１１２Ｂ、輝度情報生成部１０５Ａ，１０５Ｂ以外の他の構成部分は図１と同じであるためそれらの説明は省略する。また、第２実施形態において、第１実施形態と同様のフローチャートについても説明は省略する。
Second Embodiment
FIG. 12 is a diagram illustrating a schematic internal configuration example of a
第２実施形態において、マイコン１０８は、輝度情報生成部１０５Ｂにより生成された輝度変換情報を、メモリカードコントローラ１１２Ｂに指示することによりメモリカード１１３Ｂに画像データと関連付けて記録させる。また、マイコン１０８は、操作スイッチ群１０９を介してユーザにより指定されたＳＤＲの輝度範囲外となる特定の画像領域については、第１実施形態の例と同様に、ＯＳＤ部１０６を介してゼブラ表示させる。
In the second embodiment, the
図１３（ａ）は、第２実施形態において、ユーザが操作スイッチ群１０９を操作してゼブラ表示を有効又は無効に設定する際のＵＩ画面１３０１の一例を示す。図１３（ａ）のＵＩ画面１３０１には、センサ１０２から出力されて画像処理部１０３の画像処理を介してＲＡＭ１１１に一時記憶されたＨＤＲ画像データに基づくＨＤＲ画像１３３０が表示されている。また、図１３（ａ）のＵＩ画面１３０１には、液晶パネル１０７の表示設定を行うパネル設定メニュー１３４１の下位メニューとして、ゼブラ表示の設定の際に用いられる輝度範囲外ゼブラ表示メニュー１３４２が表示される。さらに、このメニュー１３４２の下位メニューには、ゼブラ表示を有効（ＯＮ）又は無効（ＯＦＦ）に設定する際に選択されるメニューが用意されている。ただし、第２実施形態のカメラ１２００の場合、二つのメモリカード１１３Ａ，１１３Ｂがある。このため、ゼブラ表示を有効に設定するメニューは、メモリカード１１３Ａ，１１３Ｂをそれぞれ個別に有効に設定するＯＮメニュー１３４３，１３４４と、メモリカード１１３Ａ，１１３Ｂの両方を有効に設定するＯＮメニュー１３４５が用意されている。また、ゼブラ表示を無効に設定するメニューとしては、ＯＦＦメニュー１３４６が用意されている。図１３（ａ）のＵＩ画面１３０１の例は、操作スイッチ群１０９の操作を介してユーザによりＯＮメニュー１３４５が選択されて、例えばハイライト表示されている状態を表している。
FIG. 13A illustrates an example of a
図１３（ｂ）は、メモリカード１１３Ａに対するゼブラ表示が有効に設定されている場合において、ユーザが操作スイッチ群１０９を操作してＳＤＲの輝度範囲を指定する際のＵＩ画面１３０２の例を示している。図１３（ｂ）のＵＩ画面１３０２は、前述の図４（ｃ）で説明したＵＩ画面４２１と同様の例であり、前述したようなスライドバー４２２とスライドレール４１５が表示されている。ただし、図１３（ｂ）の例の場合、メモリカード１１３Ａに対するＵＩ画面１３０２であることをユーザが認識できるように、メモリカード１１３Ａを表す例えばＣａｒｄＡ１３０３が表示されている。
FIG. 13B shows an example of the
図１３（ｃ）は、メモリカード１１３Ｂに対するゼブラ表示が有効に設定されている場合において、ユーザが操作スイッチ群１０９を操作してＳＤＲの輝度範囲を指定する際のＵＩ画面１３０４の例を示している。図１３（ｃ）のＵＩ画面１３０４についても図１３（ｂ）と同様のスライドバー４２２とスライドレール４１５が表示されている。また、図１３（ｃ）の場合、メモリカード１１３Ｂに対するＵＩ画面１３０４であることをユーザが認識できるように、メモリカード１１３Ｂを表す例えばＣａｒｄＢ１３０７が表示されている。ただし、図１３（ｃ）のＵＩ画面１３０４の場合、ユーザが図１３（ｂ）のＵＩ画面１３０２と区別できるように、ゼブラ画像の種別が図１３（ｃ）のゼブラ画像１３０５，１３０６のように、図１３（ｂ）のゼブラ画像４２３，４２４とは異なっている。一例として、図１３（ｂ）のゼブラ画像４２３，４２４は右上がりのゼブラ画像となされているのに対し、図１３（ｃ）のゼブラ画像１３０５，１３０６は右下がりのゼブラ画像となされている。
FIG. 13C shows an example of the
第２実施形態のカメラ１２００において、輝度変換情報を生成し、ＨＤＲ画像データと関連付けるようにしてメモリカード１１３Ａ，１１３Ｂに記録する場合の画像処理のフローチャートについて、前述した図６を用いて説明する。ここでは、前述の図６とは異なる処理のみ説明する。
A flow chart of image processing in the case where the
図６のＳ６１１では、マイコン１０８は、画像データの圧縮ビデオデータの管理情報を生成して、ＲＡＭ１１１上に一時的に記憶させる。第２実施形態の場合、マイコン１０８は、ＲＡＭ１１１に記憶させた管理情報を、メモリカードコントローラ１１２Ａを介してメモリカード１１３Ａに書き込ませ、メモリカードコントローラ１１２Ｂを介してメモリカード１１３Ｂに書き込ませる。
In S <b> 611 of FIG. 6, the
図１４は、第２実施形態における圧縮ビデオデータの管理情報１４０１の一例を示す図である。なお、図１４の管理情報１４０１は、図１３（ａ）のＯＮメニュー１３４５によりメモリカード１１３Ａ，１１３Ｂの両方が有効に設定されている場合の例を挙げている。このように、メモリカード１１３Ａ，１１３Ｂの両方が有効に設定されている場合、メモリカード１１３Ａ，１１３Ｂには同時に画像データが記録される。管理情報１４０１は、前述した図８の管理情報８０１と同様に、圧縮ビデオデータの画像サイズを示す解像度、圧縮ビデオデータのデータサイズを示すビットレート、圧縮ビデオデータのフレームレートを含む。また、管理情報１４０１には、ＲＡＭ１１１に保持されている輝度変換情報がメタデータとして含められる。ただし、第２実施形態の場合、異なる重み付けの輝度変換テーブルをメタデータとして記録可能となされている。このため、管理情報１４０１には、輝度変換テーブルの有無を示す情報の他に、輝度変換テーブルの個数の情報も含まれる。図１４の管理情報１４０１の例では、１個目と２個目の二つの輝度変換テーブルの情報があり、それぞれについて、撮影時のダイナミックレンジ情報、輝度変換の際の分解能の情報、輝度変換の重み付けの情報、輝度変換テーブルのファイル名等が含まれている。このように第２実施形態では、それぞれ異なる重み付けの輝度変換テーブルを記録しておくことで、複数の輝度変換テーブルを用いた輝度変換が可能となり、それぞれ輝度が異なるＳＤＲ画像の表示が可能となる。この例のように、メモリカード１１３Ａ，１１３Ｂに同時に画像データを記録した場合、ユーザよって使用する輝度変換テーブルが異なる場合があるため、メモリカード１１３Ａ，１１３Ｂのどちらも同じメタデータ、複数の輝度変換テーブルファイルの記録を行う。
FIG. 14 is a diagram showing an example of compressed video
図１５は、前述のようにメモリカード１１３Ａ，１１３Ｂに同時に記録される画像データのフォルダ構成例を示す。図１５は、前述の図９の例と同様に、操作スイッチ群１０９を介してユーザより記録開始指示と記録終了指示の入力がなされた後のフォルダとファイルの構成を表している。ただし、図１５に示すように、例えば二つの輝度変換テーブルが記録される場合、マイコン１０８は、それら輝度変換テーブル１５０２，１５０３を動画や音声データと同一のファイル名で記録する。また、第２実施形態の場合、マイコン１０８は、それら輝度変換テーブル１５０２，１５０３のファイル名の最後に、メモリカード１１３Ａ，１１３Ｂをそれぞれ識別できる情報を付加する。
FIG. 15 shows an example of the folder structure of image data recorded simultaneously on the
図１６は、第２実施形態において、カメラ１２００が再生モードになされた場合、画像データに関連付けられた輝度変換情報がメタデータとして記録されたメモリカード１１３Ａや１１３Ｂから、画像データを読み出して再生する場合のフローチャートである。図１６のフローチャートにおける各処理ステップは、カメラ１２００のマイコン１０８が、ＲＯＭ１１０に保存されている本実施形態に係る画像処理プログラムを実行して各部を制御することにより実現される。図１６のＳ１００２〜Ｓ１００９は図１０のＳ１００２〜Ｓ１００９と同様の処理であるが、図１６の場合、Ｓ１００２とＳ１００３の処理はＳ１００１の処理の前に行われ、Ｓ１００３の後にステップＳ１６０１に進むようなフローチャートとなされている。
FIG. 16 shows that in the second embodiment, when the
Ｓ１６０１では、マイコン１０８は、ＲＡＭ１１１に展開された前述の図１４に示した管理情報１４０１を解析し、輝度変換テーブルが複数存在する場合には輝度変換の重み付けの上限値と下限値の比較（輝度範囲の比較）を行う。そして、マイコン１０８は、比較した結果を、画像再生時に外部出力部１１５から出力する画像データにＳＤＲの輝度変換を行うか否かの設定メニューに反映させる。Ｓ１６０１の後、マイコン１０８は、Ｓ１００１に処理を進め、Ｓ１００１において再生開始要求が入力されたと判断した場合にＳ１００４に処理を進め、再生開始要求が入力されていないと判断した場合にはＳ１００１の判断に戻る。Ｓ１００４以降の処理は、前述同様であるためそれらの説明は省略する。
In S1601, the
以下、画像データの再生時に外部出力部１１５から出力する画像データをＳＤＲへ輝度変換するか否かの設定方法について説明する。図１７は、メモリカード１１３Ａや１１３Ｂから読み出された画像データを外部出力部１１５から出力する際、ＳＤＲへの輝度変換を有効又は無効に設定する場合に、例えば液晶パネル１０７に表示されるＵＩ画面１７０１の一例を示す図である。なお、図１７は、マイコン１０８による制御の下で、ＯＳＤ部１０６により各種メニュー画像がＨＤＲ画像に合成されて液晶パネル１０７等に表示された画面例である。
Hereinafter, a setting method for determining whether or not the luminance of the image data output from the
図１７のＵＩ画面１７０１には、メモリカード１１３Ａや１１３Ｂから読み出されて圧縮伸張回路１０４にて伸張された画像データに基づく画像１７１０が表示されている。また、図１７のＵＩ画面１７０１には、外部出力部１１５を介した画像出力を行う場合にＳＤＲへ輝度変換して出力する際の出力設定メニュー１７４１の下位メニューとして、標準ＤＲ（ＳＤＲ）出力メニュー１７４２が表示される。さらに、この出力メニュー１７４２の下位メニューには、ＳＤＲへ輝度変換した出力を有効（ＯＮ）に設定する際に選択されるＯＮメニュー１７４５，１７４６と、無効（ＯＦＦ）に設定する際に選択されるＯＦＦメニュー１７４４とが用意されている。第２実施形態の場合、マイコン１０８は、ＳＤＲへの輝度変換をユーザに判り易く示すために、Ｓ１６０１の比較結果に基づいて、ＯＮメニュー１７４５，１７４６を輝度のレベルが高い方から優先して表示させる。図１７では、ＯＮメニュー１７４５として「ＯＮ（輝度レベル１）」、ＯＮメニュー１７４６としてＯＮ（輝度レベル２）が表示された例を示している。なお、図１７のＵＩ画面１７０１の例は、操作スイッチ群１０９の操作を介してユーザによりＯＦＦメニュー１７４４が選択されて、例えばハイライト表示されている状態を表している。また、図１７のＵＩ画面１７０１には、外部出力部１１５を介して出力されるＳＤＲ画像の輝度を設定する際にユーザにより操作されるスライドバー１７１２とスライドレール１７１５も表示されている。
The
第２実施形態においては、前述したように、複数のメモリカード（１１３Ａや１１３Ｂ）に対して画像データを同時に記録するようにし、且つ異なった複数の輝度変換テーブルをメタデータとして記録するようになされている。そして、第２実施形態によれば、複数のメモリカードに記録された全ての輝度変換テーブル等の情報をユーザに通知することにより、ユーザは、画像データを再生する際に、どの輝度変換テーブルを使用するかを判別することができる。このように、第２実施形態によれば、ユーザの確認範囲を広げることで、ユーザに対する利便性の向上が期待できる。 In the second embodiment, as described above, image data is simultaneously recorded on a plurality of memory cards (113A and 113B), and a plurality of different luminance conversion tables are recorded as metadata. ing. Then, according to the second embodiment, by notifying the user of information such as all the luminance conversion tables recorded on the plurality of memory cards, the user can select which luminance conversion table when reproducing the image data. It is possible to determine whether to use. Thus, according to 2nd Embodiment, the improvement with respect to a user can be anticipated by expanding a user's confirmation range.
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００，１２００ カメラ、１０２ センサ、１０３ 画像処理部、１０４ 圧縮伸張回路、１０５，１０５Ａ，１０５Ｂ 輝度情報生成部、１０６ ＯＳＤ部、１０７ 液晶パネル、１０８ マイコン、１０９ 操作スイッチ群、１１４ 輝度変換部、１１２，１１２Ａ，１１２Ｂ メモリカードコントローラ、１１３，１１３Ａ，１１３Ｂ メモリカード、１１５ 外部出力部 100, 1200 camera, 102 sensor, 103 image processing unit, 104 compression / decompression circuit, 105, 105A, 105B luminance information generation unit, 106 OSD unit, 107 liquid crystal panel, 108 microcomputer, 109 operation switch group, 114 luminance conversion unit, 112 , 112A, 112B Memory card controller, 113, 113A, 113B Memory card, 115 External output unit
Claims (13)
前記第１の輝度範囲の画像の中で、前記第２の輝度範囲から外れる画像領域に対して、所定の画像を合成して、画面に表示される画像を生成する合成手段と、
を有することを特徴とする画像処理装置。 Designating means for designating a part of the first luminance range as a second luminance range for an image having a dynamic luminance range of the first luminance range;
A synthesizing unit that synthesizes a predetermined image with an image region out of the second luminance range in the image of the first luminance range, and generates an image displayed on the screen;
An image processing apparatus comprising:
前記記録媒体から読み出された前記第１の輝度範囲の画像のデータを、前記変換情報に基づいて前記第２の輝度範囲の画像のデータに変換する変換手段を有することを特徴とする請求項７に記載の画像処理装置。 The control means reads from the recording medium image data of the first luminance range and the conversion information associated with the image of the first luminance range,
2. The image processing apparatus according to claim 1, further comprising: conversion means for converting image data in the first luminance range read from the recording medium into image data in the second luminance range based on the conversion information. 8. The image processing apparatus according to 7.
合成手段が、前記第１の輝度範囲の画像の中で、前記第２の輝度範囲から外れる画像領域に対して、所定の画像を合成して、画面に表示される画像を生成するステップと、
を含むことを特徴とする画像処理方法。 A step of designating a part of the first luminance range as a second luminance range for an image whose luminance dynamic range is the first luminance range;
Synthesizing means for synthesizing a predetermined image with an image region outside the second luminance range in the image of the first luminance range, and generating an image to be displayed on the screen;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016019080A JP2017139613A (en) | 2016-02-03 | 2016-02-03 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016019080A JP2017139613A (en) | 2016-02-03 | 2016-02-03 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017139613A true JP2017139613A (en) | 2017-08-10 |
| JP2017139613A5 JP2017139613A5 (en) | 2019-03-14 |
Family
ID=59566127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016019080A Pending JP2017139613A (en) | 2016-02-03 | 2016-02-03 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017139613A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019205062A (en) * | 2018-05-23 | 2019-11-28 | キヤノン株式会社 | Image processing apparatus, control method of the same, and program |
| JP2020025178A (en) * | 2018-08-07 | 2020-02-13 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP2020108116A (en) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
| US11330187B2 (en) | 2019-08-19 | 2022-05-10 | Canon Kabushiki Kaisha | Electronic apparatus, method of controlling electronic apparatus, and storage medium |
| JP7373299B2 (en) | 2019-04-26 | 2023-11-02 | キヤノン株式会社 | Image processing device and its control method |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11103403A (en) * | 1997-09-29 | 1999-04-13 | Matsushita Electric Ind Co Ltd | Video signal processor and video signal processing method |
| JP2001136492A (en) * | 1999-11-09 | 2001-05-18 | Fuji Photo Film Co Ltd | Image reproducing device |
| JP2002135589A (en) * | 2000-10-27 | 2002-05-10 | Sony Corp | Image processing apparatus and method, and recording medium |
| JP2004153447A (en) * | 2002-10-29 | 2004-05-27 | Fuji Photo Film Co Ltd | Image reproducing apparatus |
| JP2004180320A (en) * | 2002-11-27 | 2004-06-24 | Ge Medical Systems Global Technology Co Llc | Method for managing dynamic range of radiation image |
| JP2007235421A (en) * | 2006-02-28 | 2007-09-13 | Ricoh Co Ltd | Imaging apparatus |
| JP2008054115A (en) * | 2006-08-25 | 2008-03-06 | Samsung Electronics Co Ltd | Image pickup device and image picking up method |
| JP2008060866A (en) * | 2006-08-31 | 2008-03-13 | Sony Corp | Imaging apparatus, control method thereof and program of control method of the imaging apparatus |
| JP2010200097A (en) * | 2009-02-26 | 2010-09-09 | Olympus Corp | Imaging apparatus |
| JP2012208776A (en) * | 2011-03-30 | 2012-10-25 | Fujitsu Ltd | Image processing device, image processing method, and program |
-
2016
- 2016-02-03 JP JP2016019080A patent/JP2017139613A/en active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11103403A (en) * | 1997-09-29 | 1999-04-13 | Matsushita Electric Ind Co Ltd | Video signal processor and video signal processing method |
| JP2001136492A (en) * | 1999-11-09 | 2001-05-18 | Fuji Photo Film Co Ltd | Image reproducing device |
| US7457479B1 (en) * | 1999-11-09 | 2008-11-25 | Fujifilm Corporation | Image playback apparatus |
| JP2002135589A (en) * | 2000-10-27 | 2002-05-10 | Sony Corp | Image processing apparatus and method, and recording medium |
| JP2004153447A (en) * | 2002-10-29 | 2004-05-27 | Fuji Photo Film Co Ltd | Image reproducing apparatus |
| JP2004180320A (en) * | 2002-11-27 | 2004-06-24 | Ge Medical Systems Global Technology Co Llc | Method for managing dynamic range of radiation image |
| JP2007235421A (en) * | 2006-02-28 | 2007-09-13 | Ricoh Co Ltd | Imaging apparatus |
| JP2008054115A (en) * | 2006-08-25 | 2008-03-06 | Samsung Electronics Co Ltd | Image pickup device and image picking up method |
| JP2008060866A (en) * | 2006-08-31 | 2008-03-13 | Sony Corp | Imaging apparatus, control method thereof and program of control method of the imaging apparatus |
| US20090251568A1 (en) * | 2006-08-31 | 2009-10-08 | Masaya Nakatani | Imaging device, imaging device control method and program for imaging device control method |
| JP2010200097A (en) * | 2009-02-26 | 2010-09-09 | Olympus Corp | Imaging apparatus |
| JP2012208776A (en) * | 2011-03-30 | 2012-10-25 | Fujitsu Ltd | Image processing device, image processing method, and program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019205062A (en) * | 2018-05-23 | 2019-11-28 | キヤノン株式会社 | Image processing apparatus, control method of the same, and program |
| JP7199158B2 (en) | 2018-05-23 | 2023-01-05 | キヤノン株式会社 | Image processing device, its control method, and program |
| JP2020025178A (en) * | 2018-08-07 | 2020-02-13 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| US11295422B2 (en) * | 2018-08-07 | 2022-04-05 | Canon Kabushiki Kaisha | Image processing apparatus having image adjustment based on dynamic range, image processing method, and storage medium |
| JP7098475B2 (en) | 2018-08-07 | 2022-07-11 | キヤノン株式会社 | Image processing equipment, image processing methods, and programs |
| JP2020108116A (en) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
| JP7373299B2 (en) | 2019-04-26 | 2023-11-02 | キヤノン株式会社 | Image processing device and its control method |
| US11330187B2 (en) | 2019-08-19 | 2022-05-10 | Canon Kabushiki Kaisha | Electronic apparatus, method of controlling electronic apparatus, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101624648B1 (en) | Digital image signal processing method, medium for recording the method, digital image signal pocessing apparatus | |
| JP2017139613A (en) | Image processing apparatus, image processing method, and program | |
| US8767093B2 (en) | Image-capturing device, image reproduction device, and image reproduction method | |
| US10033931B2 (en) | Image processing apparatus and image processing method for processing still image data | |
| JPH104531A (en) | Information processor | |
| JP6727989B2 (en) | Image processing apparatus and control method thereof | |
| JP2005318125A (en) | Method for dividing and recording data, method for dividing and recording data of electronic camera, and the electronic camera | |
| JP2011211696A (en) | Image data processing system, image data processing program, and image data processing apparatus | |
| JP2017068207A (en) | Image processing device, image processing method, and program | |
| US9756278B2 (en) | Image processing system and image capturing apparatus | |
| CN101601067B (en) | Image recording device and image recording method | |
| JP2017139618A (en) | Image data generating apparatus, image data generating method, and program | |
| JP4696921B2 (en) | Image processing apparatus, still image generation method, program, and storage medium | |
| JP6021594B2 (en) | Imaging apparatus and program | |
| JP4595832B2 (en) | Imaging apparatus, program, and storage medium | |
| JP2007228453A (en) | Imaging apparatus, reproduction device, program, and storage medium | |
| JP2007274661A (en) | Imaging apparatus, image reproducing device and program | |
| US10348957B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
| CN107295247B (en) | Image recording apparatus and control method thereof | |
| JP2005236496A (en) | Image recording display system | |
| JP5656496B2 (en) | Display device and display method | |
| JP2008099147A (en) | Image processor and image processing method | |
| US10440218B2 (en) | Image processing apparatus, control method for image processing apparatus, and non-transitory computer-readable recording medium | |
| US20200258203A1 (en) | Image output apparatus and control method thereof | |
| JPH1042180A (en) | Image input device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200526 |