JP2020141334A - 撮像装置及びその制御方法及びプログラム - Google Patents

撮像装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP2020141334A
JP2020141334A JP2019036855A JP2019036855A JP2020141334A JP 2020141334 A JP2020141334 A JP 2020141334A JP 2019036855 A JP2019036855 A JP 2019036855A JP 2019036855 A JP2019036855 A JP 2019036855A JP 2020141334 A JP2020141334 A JP 2020141334A
Authority
JP
Japan
Prior art keywords
image data
setting
hdr
sdr
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019036855A
Other languages
English (en)
Inventor
孝之 中▲浜▼
Takayuki Nakahama
孝之 中▲浜▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019036855A priority Critical patent/JP2020141334A/ja
Publication of JP2020141334A publication Critical patent/JP2020141334A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】 撮像装置のユーザの意図に沿った画像データの出力を行うこと。【解決手段】 撮影モードと再生モードとを切り替え可能な撮像装置は、撮影設定がSDR画像を撮影する設定である場合に、現像手段で取得したSDR画像データを変換手段で変換せずに出力手段から外部機器へ出力し、撮影設定がHDR画像を撮影する設定であり且つ外部機器がHDR対応でない場合に、現像手段で取得したHDR画像データを変換手段でSDR画像データに変換して出力手段から外部機器へ出力し、撮影設定がHDR画像を撮影する設定であり且つ外部機器がHDR対応である場合に、現像手段で取得したHDR画像データを変換手段で変換せずに出力手段から外部機器へ出力する。【選択図】 図4A

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。
昨今のデジタルカメラに代表される撮像装置は、HDR画像を撮像し、そのHDR画像を記録媒体に記録可能になっている。ここで、HDRとはHigh Dynamic Range(ハイダイナミックレンジ)のことであり、SDR(スタンダードダイナミックレンジ)に比べてより広いダイナミックレンジを持つ画像を生成する技術である。また、RAW画像とは現像前の生の画像を指す。
また、有機ELディスプレイや液晶ディスプレイ等のディスプレイ技術の進歩により、標準よりも明るいHDR対応のディスプレイが市販されている。
撮像装置で撮影した画像を正しくディスプレイ(背面モニタや外部モニタ)に表示するためには、ディスプレイの性能に応じて適切な画像データを出力させる必要がある。
なお、ディスプレイがSDR対応又はHDR対応に応じて、SDR画像データ又はHDR画像データを出力する再生装置が提案されている(特許文献1)。
WO2015/198552号
しかし、再生装置と異なり撮像装置の場合に、ディスプレイがSDR対応又はHDR対応に応じてSDR画像データ又はHDR画像データを出力するだけでは、撮像装置のユーザの意図に沿った画像データの出力を行うことは困難である。
そこで、本発明の一側面としての撮像装置は、撮影モードと再生モードとを切り替え可能な撮像装置であって、画像データを取得する撮像手段と、前記画像データを現像して、SDR画像データ又はHDR画像データを取得する現像手段と、SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換する変換手段と、SDR画像データ又はHDR画像データを外部機器に出力する出力手段と、前記撮影モードにおける撮影設定を設定する撮影設定手段と、を有し、前記撮影設定がSDR画像を撮影する設定である場合に、前記現像手段で取得したSDR画像データを前記変換手段で変換せずに前記出力手段から前記外部機器へ出力し、前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応でない場合に、前記現像手段で取得したHDR画像データを前記変換手段でSDR画像データに変換して前記出力手段から前記外部機器へ出力し、前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応である場合に、前記現像手段で取得したHDR画像データを前記変換手段で変換せずに前記出力手段から前記外部機器へ出力することを特徴とする。
また、本発明の別の一側面としての撮像装置は、撮影モードと再生モードとを切り替え可能な撮像装置であって、画像データを取得する撮像手段と、前記画像データを現像して、SDR画像データ又はHDR画像データを取得する現像手段と、SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換する変換手段と、SDR画像データ又はHDR画像データを外部機器に出力する出力手段と、前記撮影モードにおける撮影設定を設定する撮影設定手段と、前記再生モードにおける再生設定を設定する再生設定手段と、を有し、前記撮像装置が前記撮影モードのときに、前記撮影設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更し、前記撮像装置が前記再生モードのときに、前記再生設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更することを特徴とする。
撮像装置のユーザの意図に沿った画像データの出力を行うことが可能となる。
実施形態における撮像/表示装置の外観図。 実施形態における撮像/表示装置の構成を示すブロック図。 外部機器との接続構成図。 実施形態におけるLV撮影モード処理のフローチャート。 クイックレビューのフローチャート。 実施形態におけるHDMI(登録商標)接続処理のシーケンス図。 実施形態におけるHDMI接続処理のシーケンス図。 実施形態におけるHDMI接続処理のシーケンス図。 実施形態におけるHDR撮影メニュー処理のフローチャート。 実施形態におけるHDR撮影メニュー処理のフローチャート。 実施形態におけるHDR撮影処理のフローチャート。 実施形態におけるRAWファイルの構成図。 RAWファイルにおける領域ImageDataの例を示す図。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態における再生モード処理のフローチャート。 実施形態におけるHDMI再生処理のフローチャート。 実施形態におけるHDMI再生処理のフローチャート。 実施形態における再生メニュー処理のフローチャートと、データの流れを示す図。 実施形態における現像処理のフローチャート。 CxCy平面を示す図。 階調補正パラメータ生成処理のフローチャート。 階調補正量を示す図。 SDR、HDRでの見えの例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1(a)、(b)に本実施形態が適用する装置の一例としてのデジタルカメラ100の外観図を示す。図1(a)はデジタルカメラ100の前面斜視図であり、図1(b)はデジタルカメラ100の背面斜視図である。図1(a),(b)において、表示部28は画像や各種情報を表示する、カメラ背面に設けられた表示部である。ファインダー外表示部43は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は撮影指示を行うための操作部である。モード切替スイッチ60は各種モードを切り替えるための操作部である。端子カバー40は外部機器との接続ケーブルとデジタルカメラ100とを接続する接続ケーブル等のコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は操作部70に含まれる回転操作部材であり、ユーザはこのメイン電子ダイヤル71を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ72はデジタルカメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は、操作部70に含まれる回転操作部材であり、選択枠の移動や画像送りなどに利用される。十字キー74は操作部70に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー(4方向キー)である。十字キー74の押した部分に応じた操作が可能である。SETボタン75は操作部70に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。LVボタン76は操作部70に含まれ、静止画撮影モードにおいてライブビュー(以下、LV)のONとOFFを切り替えるボタンである。動画撮影モードにおいては、動画撮影(記録)の開始、停止の指示に用いられる。拡大ボタン77は操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFF及び拡大モード中の拡大率の変更を行うための操作ボタンである。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。縮小ボタン78は操作部70に含まれ、拡大された再生画像の拡大率を低減させ、表示された画像を縮小させるためのボタンである。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28、または、外部機器300に表示させることができる。クイックリターンミラー12は、システム制御部50から指示されて、不図示のアクチュエータによりアップダウンされる。通信端子10はデジタルカメラ100がレンズ側(着脱可能)と通信を行う為の通信端子である。接眼ファインダー16はフォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。蓋202は記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザがデジタルカメラ100を構えた際に右手で握りやすい形状とした保持部である。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、レンズユニット150は、交換可能な撮影レンズを搭載するレンズユニットである。
レンズ103は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6はレンズユニット150がデジタルカメラ100側と通信を行う為の通信端子であり、通信端子10はデジタルカメラ100がレンズユニット150側と通信を行う為の通信端子である。レンズユニット150は、この通信端子6,10を介してシステム制御部50と通信し、内部のレンズシステム制御回路4によって絞り駆動回路2を介して絞り1の制御を行い、AF駆動回路3を介して、レンズ103の位置を変位させることで焦点を合わせる。
AEセンサー17は、レンズユニット150を通した被写体の輝度を測光する。焦点検出部11は、システム制御部50にデフォーカス量情報を出力する。システム制御部50はそれに基づいてレンズユニット150を制御し、位相差AFを行う。
クイックリターンミラー12(以下、ミラー12)は、露光、ライブビュー撮影、動画撮影の際にシステム制御部50から指示されて、不図示のアクチュエータによりアップダウンされる。ミラー12は、レンズ103から入射した光束をファインダ16側と撮像部22側とに切替えるためのミラーである。ミラー12は通常時はファインダ16へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部22へと光束を導くように上方に跳ね上がり光束中から待避する(ミラーアップ)。またミラー12はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出部11に入射するように透過させる。
ユーザ(撮影者)は、ペンタプリズム14とファインダー16を介して、フォーカシングスクリーン13を観察することで、レンズユニット150を通して得た被写体の光学像の焦点や構図の確認が可能となる。
シャッター101は、システム制御部50の制御で撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。この撮像部22の撮像面には、R,G,Bの各色成分のフィルタが2次元的に周期的に配置されている。隣接する2×2個のフィルタについて着目したとき、その対角関係にある2つにはG成分のフィルタが配置され、残りの2つにG成分とB成分のフィルタが配置される。そして、この2×2個のフィルタが、撮像部22の撮像面に配列されている。かかる配列は一般にベイヤ配列と呼ばれる。それ故、撮像部22から出力される信号(アナログ信号)が表す画像も、ベイヤ配列の画素信号となる。A/D変換器23は、撮像部22から出力される1画素のアナログ信号を、例えば10ビットのデジタル信号に変換する。なお、この段階での画像データは、上記のように、1画素1成分で、1成分当たり10ビットのベイヤ配列の画像データであり、未現像の画像データである。それ故、この段階での画像データをRAW画像データという。なお、欠陥画素を補った後のベイヤ配列の画像データをRAW画像データとしても良い。なお、実施形態ではA/D変換器23がアナログ信号を10ビットのデジタルデータに変換するものとしているが、このビット数は8ビットを超えるビット数であれば良く、特に制限はない。ビット数が多いほど、高階調表現が可能となる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。更に画像処理部24は、システム制御部50の制御下で、画像データの符号化/復号処理をも行う。この符号化には、JPEG,HEVC(High Efficiency Video Coding)が含まれる。JPEGは1色成分当たり8ビットの画像データを符号化するためのものであり、HEVCは1色成分当たり8ビットを超える画像データを符号化するためのものである。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28、または、外部機器300に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている表示用画像データをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用画像データはD/A変換器19を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器19においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示(ライブビュー表示)を行える。
ファインダー内液晶表示部41には、ファインダー内表示部駆動回路42を介して、現在オートフォーカスが行われている測距点を示す枠(AF枠)や、カメラの設定状態を表すアイコンなどが表示される。ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
デジタル出力I/F90は、メモリ32に格納されている画像表示用のデータをデジタル信号のまま外部機器300に供給する。例えば、HDMI(登録商標)(High−Definition Multimedia Interface)規格に準拠した通信プロトコルに従って、動画データをストリーム形式で出力する。こうして、メモリ32に書き込まれた表示用の画像データは外部機器300に表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、少なくとも1つのプロセッサーを有する制御部であり、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。参照符号52はシステムメモリであり、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器19、デジタル出力I/F90、表示部28等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段として機能する。
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
ユーザが操作するシャッターボタン61は、第1シャッタースイッチ62と第2シャッタースイッチ63を含む。第1シャッタースイッチ62は、ユーザがシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1を入力した場合、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28、または、外部機器300に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタン70eが押されると各種の設定可能なメニュー画面が表示部28、または、外部機器300に表示される。ユーザは、表示部28、または、外部機器300に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
なお、実施形態における表示部28はSDR画質の画像表記機能、すなわち、R,G,Bの各色成分が8ビット(256階調)で表示可能とする。また、外部機器300がデジタルカメラ100に接続された場合は、外部機器300が、表示部28に代わって撮像画像やライブ画像の出力対象デバイスとして設定されるものとする。また、ユーザが、操作部70を操作して、表示部28、外部機器300のいずれにするかを明示的に選択した場合には、その選択した方が出力対象デバイスとなるものとする。
操作部70は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部70には、少なくとも以下の操作部が含まれる。シャッターボタン61、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、LVボタン76、拡大ボタン77、縮小ボタン78、再生ボタン79である。十字キー74は、十字キー74における上、下、右、左の各部を押し込み可能な方向ボタンである。本実施形態では一体的な操作部として説明しているが、上ボタン、下ボタン、右ボタン、左ボタンがそれぞれ独立したボタンであってもよい。以下、上、または下部分を上下キー、左または右部分を左右キーと称する。また、操作部70には以下の操作部も含まれる。
AF−ONボタン70bは、操作部70に含まれる押しボタンスイッチであり、押下することでAFの実行を指示することができる。AF−PNボタン70bの押下方向は、レンズ103から撮像部22に入射する被写体光の方向(光軸)と平行である。
クイック設定ボタン70c(以下、Qボタン70c)は、操作部70に含まれる押しボタンスイッチであり、押下することで、各動作モードにおいて設定可能な設定項目の一覧であるクイック設定メニューが表示される。例えばライブビュー撮影での撮影待機中に押下されると、電子先幕シャッター、モニターの明るさ、LV画面のWB、2点拡大、無音撮影などの設定項目の一覧がLVに重畳して1列に表示される。ユーザは表示されたクイック設定メニューの内、任意の選択肢を上下キーで選択してセットボタンを押下することで、選択した設定項目に関する設定変更や動作モードへの移行を行うことができる。
アクティブ枠切替ボタン70dは、操作部70に含まれる押しボタンスイッチであり、後述する2点拡大処理において押下することで、拡大している2箇所のうち、アクティブな拡大位置(枠)を切り替えることができる。また、動作モードによって異なる機能が割り当てられており、再生モードにおいて押下すると、表示している画像にプロテクト属性を付与することができる。
メニューボタン70eは、操作部70に含まれる押しボタンスイッチであり、各種の設定が可能なメニュー画面が表示部28、または、外部機器300に表示される。
ファンクションボタン70fは、操作部70に含まれる3つの押しボタンスイッチであり、それぞれ機能が割り当てられている。ファンクションボタン70fのそれぞれは、グリップ部90を保持する右手の指(中指または薬指または小指)によって操作可能な位置に配置されており、押下方向はレンズ103から撮像部22に入射する被写体光の方向(光軸)と平行である。
インフォボタン70gは、操作部70に含まれる押しボタンスイッチであり、各種情報表示の切り替えなどに使用される。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(スルー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。
なお、操作部70の一つとして、表示部28に対する接触を検知可能なタッチパネル70aを有する。タッチパネル70aと表示部28とは一体的に構成することができる。例えば、タッチパネル70aを光の透過率が表示部28の表示を妨げないように構成し、表示部28の表示面の上層に取り付ける。そして、タッチパネル70aにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、恰もユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)を構成することができる。システム制御部50はタッチパネル70aへの以下の操作あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は、通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
なお、上記では、デジタルカメラに適用した場合を例にして説明したが、本発明はこれに限定されない。例えば、PDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、表示部を備えた装置であれば、本発明は適用可能である。
図3はデジタルカメラ100と外部機器300との接続例を示す図である。デジタルカメラ100と外部機器300を接続ケーブル302で接続すると、デジタルカメラ100の表示部28が消灯し、外部機器300のディスプレイ301にデジタルカメラ100の表示が切り替わり表示される。
図4Aは、デジタルカメラ100でのLV撮影モード処理を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
まず、本実施形態におけるHDR撮影モード及びSDR撮影モードについて説明する。本実施形態のデジタルカメラ100は、ユーザからのメニュー操作などによってHDR撮影モードまたはSDR撮影モードを設定できる。これらのモードは、ユーザが最終的にHDR画質の画像データを得るかSDR画質の画像データを得るかの意図を設定するためのものであり、以下の処理はいずれのモードが設定されているかに応じて種々の制御が行われる。以下、HDR撮影モード及びSDR撮影モードで撮影を行うことを「HDR撮影」、「SDR撮影」と記載することがある。ただし、後述するようにRAW形式のみの記録を設定することも可能であるため、HDR撮影モードで撮影された場合に必ずHDR画像が記録されるとは限らない。
S401にて、システム制御部50は、ユーザによる操作部70に対する設定がHDR撮影モードとなっているか否かを判定する。システム制御部50は、HDR撮影モードに設定されていると判定した場合は処理をS402に、SDR撮影モードになっていると判定した場合は処理をS422に進める。
S402にて、システム制御部50は、デジタルカメラ100に外部機器300が接続されているか否かを判定する。システム制御部50は、外部機器300が接続されていると判定した場合はS403に、接続されていないと判定した場合は処理をS404に進める。
S403にて、システム制御部50は、デジタルカメラ100と外部機器300の接続処理を行う。そして、システム制御部50は処理をS404へ進める。この接続処理の詳細は図5を用いて後述する。なお、外部機器がHDR接続に対応していればHDR接続され、対応していなければSDR接続となる。
S404にて、システム制御部50は、撮像部22で撮像しA/D変換器23でデジタル信号に変換して得たライブのRAW画像データに対し、画像処理部24を用いてHDR画質の現像処理を行う。以下、HDR画質の現像処理で得た画像をHDR画像という。
なお、実施形態における、HDR画像データとは、1画素が3成分(LuvやYCbCr等)で構成され、且つ、実施形態では各成分が10ビット(1024階調)で表されるデータである。HDR画像データには、HDR画像用のガンマカーブ(例えば、ITU−Rの勧告BT.2100のPQやHLG)が適用されている。なお、PQは、Perceptual Quantizationの略称であり、HLGは、Hybrid Log−Gammaの略称である。
S405にて、システム制御部50は、LV画像を表示するデバイス(表示部28または外部機器300)がHDR対応かどうかを判定し、HDR対応していないと判定した場合は処理をS406に、HDR対応していると判定した場合は処理をS409へ進める。
S406にて、システム制御部50は、HDRアシスト表示設定を確認する。システム制御部50は、アシスト1が設定されていると判定した場合は処理をS407へ、アシスト2が設定されている場合は処理をS408へ進める。アシスト1は、HDR画像の高輝度領域を確認するための設定であり、HDR画像の高輝度範囲に多くの階調(コード値)を割り当てる処理が行われる。アシスト2は、HDR画像の中間輝度範囲を確認するための設定であり、HDR画像の中間輝度領域に多くの階調を割り当てる処理が行われる。
S407にて、システム制御部50は、S404の現像処理で得たHDR画像データに対して、アシスト1の設定に従ってHDR→SDR変換処理を行い、且つ、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行う。それらの処理を行って得たSDR画質のLV画像データを表示し、処理をS410に進める。
S408にて、システム制御部50は、S404の現像処理で得たHDR画像データに対してアシスト2の設定に従いHDR→SDR変換処理を行い、且つ、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行う。それらの処理を行って得たSDR画質のLV画像データを表示し、処理をS410に進める。
ここで、S407、S408におけるSDR画質の画像データ(SDR画像データ)とは、1成分当たり8ビットの画像データをいう。SDR画質の画像データには、SDR画像用のガンマカーブ(例えば、sRGB規格のガンマカーブ)が適用されている。なお、sRGB規格のガンマカーブは、一般的には暗部が直線で明部が2.4のべき乗のカーブであるが、簡易的には2.2のべき乗のカーブを用いても良い。
S409にて、システム制御部50は、S404での現像処理で得たHDR画像データを、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理する。そして、そのリサイズ後のHDR画質の画像(以降、HDL_LV画像)をライブ表示し、処理をS410に進める。
S410にて、システム制御部50は、メニュー表示ボタン70eが押されたかを判定し、押されたと判定した場合は処理をS411に、押されていないと判定した場合は処理をS412に進める。S411にて、システム制御部50は、撮影メニュー処理を行い、処理をS412に進める。この撮影メニュー処理の詳細は図6を用いて後述する。
S412にて、システム制御部50は、インフォ表示ボタン70gが押されたかを判定し、押されたと判定した場合は処理をS413に、押されていないと判定した場合は処理をS414に進める。S413では、システム制御部50は、撮影情報の表示を切り替え、S414に進む。撮影情報には、ヒストグラムやハイライト警告表等がある。
S414にて、システム制御部50は、信号SW1を受信しているか否かに基づき、シャッターボタン61が半押し状態かどうかを判定し、半押しされていないと判定した場合は処理をS420に、半押し状態であると判定した場合は処理をS415に進める。
S415にて、システム制御部50は、図2で説明したAF/AE処理を行い、S416に進む。S416にて、システム制御部50は、信号SW2を受信しているか否かに基づき、シャッターボタン61が全押し状態かどうかを判定し、全押し状態でないと判定した場合は処理をS417に進み、全押し状態であると判定した場合は処理をS418に進める。S417にて、システム制御部50は、シャッターボタン61が半押し状態が保持されているかを判定し、半押し状態が保持されていれば処理をS415に戻し、半押し状態が保持されていないと判定した場合は処理をS420に進める。S418にて、システム制御部50は、HDR撮影処理を行い、記録媒体に予め設定した記録形式に応じた画像データファイルを記録する。図8Aは、記録されるファイルのデータ構造を示している。そして、システム制御部50は処理をS419に進める。なお、このHDR撮影処理の詳細は図7を用いて後述する。そして、S419にて、システム制御部50は、クイックレビュー表示処理を行い、処理をS420に進める。このクイックレビュー表示処理の詳細は図4Bを用いて後述する。
S420にて、システム制御部50は、LVボタン76が押されたかを判定し、押されていると判定した場合は処理をS421に、押されていないと判定した場合は処理をS422に進める。
S421にて、システム制御部50は、S404でHDR画質に現像処理した画像データ(1画素3成分で、1成分当たり10ビットの画像データ)をHEVC(H.265)圧縮し、HDR動画ファイルとして記録し、S438に処理を進める。
S422にて、システム制御部50は、外部機器300がデジタルカメラ100に接続されているか否かを判定する。システム制御部50は、外部機器300が接続されていると判定した場合は処理をS423に、接続されていないと判定した場合は処理をS424に進める。S423にて、システム制御部50は、デジタルカメラ100と外部機器300の接続処理を行い、処理をS424へ進める。この接続処理の詳細は図5を用いて後述する。なお、SDR撮影モードのため外部機器とはSDR接続されることになる。
S424にて、システム制御部50は、撮像部22で撮像し、A/D変換器23でデジタル信号に変換した画像を画像処理部24でSDR画質(1画素3成分で、1成分当たり8ビット(256階調))に現像し、処理をS425に進む。なお、以降、SDR画質の現像処理後の画像をSDR画像という。
S425にて、システム制御部50は、S424の現像処理で得たSDR画像を、出力先のデバイスの解像度(表示部28または外部機器300)に適したサイズにリサイズ処理を行い、SDR画質のライブ画像(SDR_LV画像)を生成する。そして、生成したSDR_LV画像を表示する。
S426にて、システム制御部50は、メニュー表示ボタン70eが押されたかを判定し、押されたと判定した場合は処理をS427に、押されていないと判定した場合は処理をS428に進める。S427にて、システム制御部50は、撮影メニュー処理を行い、処理をS428に進める。このS427の撮影メニュー処理の詳細は図6を用いて後述する。
S428にて、システム制御部50は、インフォ表示ボタン70gが押されたかを判定し、押されたと判定した場合は処理をS429に、押されていないと判定した場合は処理をS430に進める。S429にて、システム制御部50は、撮影情報の表示を切り替え、S430に進む。撮影情報には、ヒストグラムやハイライト警告表等がある。
S430にて、システム制御部50は、シャッターボタン61が半押し状態かどうかを判定し、半押し状態にないと判定した場合は処理をS436に、半押し状態であると判定した場合は処理をS431に進める。
S431にて、システム制御部50は、図2で説明したAF/AE処理を行い、S432に進める。S432にて、システム制御部50は、信号SW2を受信したか否かに基づき、シャッターボタン61が全押し状態かどうかを判定する。システム制御部50は、全押し状態でないと判定した場合は処理をS433に、全押し状態であると判定した場合は処理をS434に進める。S433にて、システム制御部50は、信号SW1を受信したか否かに基づき、シャッターボタン61が半押し状態が保持されているかを判定する。システム制御部50は、半押し状態が保持されていると判定した場合は処理をS431に戻し、半押し状態が保持されていないと判定した場合は処理をS436に進める。
S434にて、システム制御部50は、SDR撮影処理を行いS435に進む。このSDR撮影処理では、システム制御部50は、SDR撮影で得たRAW画像データをSDR画質で現像処理し、SDR画質の画像をJPEG符号化してJPEG画像データを生成し、JPEG形式のJPEGファイルとして記録媒体に記録する。記録設定として、SDR画像のみをJPEGファイルとして記録する設定がされている場合は、JPEGファイルのみを記録する。記録設定として、JPEGファイルとRAW画像ファイルの記録が設定されている場合は、JPEGファイルを記録すると共に、図8Aに示すRAW画像ファイル形式でRAW画像ファイルとして記録媒体に記録する。このRAW画像ファイルには、SDR撮影で得たRAW画像データを符号化したデータと、JPEG画像データと、が含まれている。RAW画像ファイルにおいて、図8Aのデータ構造におけるImageData809は、図8B(a)に示す形式となる。すなわち、表示用の各サイズの画像は8ビットの精度で、JPEG符号化して得た符号化データを統合して1つのファイルに格納される。そして、S435にて、システム制御部50は、クイックレビュー表示処理を行い、S436に進む。このクイックレビュー表示処理の詳細は図4Bを用いて後述する。
S436にて、システム制御部50は、LVボタン76が押されたかを判断し、押されたと判定した場合は処理をS437に、押されていないと判定した場合は処理をS438に進める。S437にて、システム制御部50は、S425でSDR画質の現像処理で得たSDR画像をH264圧縮し、SDR動画ファイルとして記録し、処理をS438に進める。
S438にて、システム制御部50は、再生ボタン79が押されたかを判定する。システム制御部50は、再生ボタン79が押されたと判定した場合は処理をS439に、押されていないと判定した場合は処理をS440に進める。S439にて、システム制御部50は、再生モード処理を行い、処理をS440に進む。この再生モード処理の詳細は図9、図10を用いて後述する。
S440にて、システム制御部50は、LVモードの終了指示があったか否かを判定し、LVモードの終了指示がないと判定した場合は処理をS401に戻し、終了指示があったと判定した場合は本処理を終了する。
図4Bは、システム制御部50のクイックレビュー表示処理を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して、システム制御部50が実行することで実現するものである。
S451にて、システム制御部50は、クイックレビュー表示有りに設定されているかを判定し、クイックレビュー表示有りに設定されていると判定した場合は処理をS452に、クイックレビュー表示無しに設定されていると判定した場合は本処理を終了する。
S452にて、システム制御部50は、HDR撮影モードでの撮影であるかを判定し、HDR撮影モードでの撮影であると判定した場合は処理をS453に、SDR撮影モードでの撮影であると判定した場合は処理をS460に進める。
S453にて、システム制御部50は、クイックレビュー表示するデバイス(表示部28または外部機器300)がHDR対応かどうかを判定し、HDR対応でないと判定した場合は処理をS454に、HDR対応であると判定した場合は処理をS457へ進む。
S454にて、システム制御部50は、RAW静止画撮影で撮影したかを判定し、RAW静止画撮影での撮影であると判定した場合は処理をS455に、HIEF静止画撮影の場合は処理をS456へ進める。
S455にて、システム制御部50は、HDR RAW画像内の表示用HDR画像828を、S406〜S408と同等の処理でHDR→SDR変換を行い、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行う。そして、システム制御部50は、それらの処理を行った画像をSDR画質で表示し、処理をS463に進める。
S456にて、システム制御部50は、HEIF画像内の表示用HDR画像をS406〜S408と同等の処理でHDR→SDR変換を行い、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行う。そして、システム制御部50は、それらの処理を行った画像をSDR画質で表示し、処理をS463に進める。
S457にて、システム制御部50はRAW静止画撮影で撮影したかを判定し、RAW静止画撮影で撮影したと判定した場合は処理をS458に、HIEF静止画撮影での撮影であると判定した場合は処理をS459へ進める。S458にて、システム制御部50は、HDR RAW画像内の表示用HDR画像828を、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行い、HDR画質で表示し、処理をS463に進める。S459にて、システム制御部50は、HEIF画像内の表示用HDR画像を、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行いHDR画質で表示し、処理をS463に進める。
S460では、外部機器300はRAW静止画撮影で撮影したかを判定し、RAW静止画撮影での撮影であると判定した場合は処理をS461に進み、HIEF静止画撮影での撮影であると判定した場合は処理をS462へ進める。S461にて、システム制御部50は、SDR RAW画像内の表示用SDR画像823を、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行いSDR画質で表示し、処理をS463に進める。S462にて、システム制御部50は、JPEG画像内の表示用SDR画像を、出力対象デバイス(表示部28または外部機器300)に適したサイズにリサイズ処理を行い、SDR画質で表示し、処理をS463に進める。
S463にて、システム制御部50は、シャッターボタン61が押されたかを判定し、押されていないと判定した場合は処理をS464に、押されたと判定した場合は本処理を終了する。
S464にて、システム制御部50は、クイックレビュー表示時間で設定された時間が経過したかを判定し、経過していないと判定した場合は処理をS463に戻し、経過していると判定した場合は本処理を終了する。
図5Aは、デジタルカメラ100と外部機器300が接続された場合の、デジタルカメラ100と外部機器300の制御手順を示すシーケンス図である。ここでは、デジタルカメラ100と外部機器300がHDMI接続されるものとして説明する。
S501にて、システム制御部50はデジタル出力I/F90を制御して+5V信号の送信開始を指示する。この結果、デジタル出力I/F90は+5V信号の送信を開始する。送信された+5V信号は接続ケーブル302の+5V信号線(不図示)を通じて、外部機器300に伝送される。外部機器300は、接続ケーブル302の+5V信号を受信し、S502へ進む。
S502にて、外部機器300は、デジタルカメラ100が外部機器300の接続を確認したと判定し、処理をS503へ進む。
S503では、外部機器300は、接続ケーブル302のHPD信号線(不図示)からHPD信号の送信を開始する。デジタルカメラ100のデジタル出力I/F90は、送信されたHPD信号を、接続ケーブル302を介して受信する。デジタル出力I/F90は、HPD信号を受信すると、システム制御部50にHPD受信を通知する。
S504にて、システム制御部50は、HPDの通知によって外部機器300からの接続応答を検知し、処理をS505へ進める。
S505にて、システム制御部50は、デジタル出力I/F90を制御して、接続ケーブル302からEDID要求信号を送信する。送信されたEDID要求信号は接続ケーブル302のEDID信号線(不図示)を通じて、外部機器300に伝送される。外部機器300は、このEDID要求信号を受信し、処理をS506へ進める。
S506にて、外部機器300は、接続ケーブル302のEDID信号線(不図示)からEDIDを送信する。デジタルカメラ100のデジタル出力I/F90は、このEDIDを、接続ケーブル302を介して受信する。そして、デジタル出力I/F90は、EDIDを受信すると、システム制御部50にEDID受信を通知する。
S507にて、システム制御部50は、EDID受信の通知を受けることで、デジタル出力I/F90に対し、S506において受信したEDIDのメモリ32へのコピーを指示する。コピー完了後、システム制御部50は、メモリ32に展開されたEDIDを解析し、外部機器300が受付可能な映像信号の能力の判断処理を行い、処理をS508へ進める。
S508にて、システム制御部50は本体設定がHDR有効かつS507で判断した外部機器300が受付可能な映像信号の能力がHDR信号対応である場合、外部機器300にHDR信号を出力すると判断する。システム制御部50は、それ以外の場合はSDR信号を出力すると判断する。その後、システム制御部50は、処理をS509へ進める。
S509にて、システム制御部50はデジタル出力I/F90に対し、S508で判断したHDRまたはSDR映像信号の送信開始を指示する。映像信号送信開始指示を受信したデジタル出力I/F90は接続ケーブル302を通して映像信号の送信を開始し、S510へ進める。
S510にて、デジタルカメラ100は接続ケーブル302のTMDS信号線(不図示)へ映像信号を出力する。外部機器300は接続ケーブル302のTMDS信号線(不図示)を介して前記映像信号を受信し、S511へ進む。
S511にて、外部機器300はS508において受信した映像信号を解析し、映像信号を表示できる設定にディスプレイ301の駆動を切り替え、処理をS512に進める。S512にて、外部機器300は、S508において受信した映像信号を外部機器300のディスプレイ301に表示する。
図5Bは、デジタルカメラ100と外部機器300の映像出力をSDR画像からHDR画像に切り替える処理を示すシーケンス図である。
このシーケンスでは、デジタルカメラ100と外部機器300との接続は図5Aで説明したシーケンスで完了しているものとする。
S521にて、システム制御部50はデジタル出力I/F90に対しSDR映像信号の送信を指示し、S522へ進む。
S522にて、デジタルカメラ100は接続ケーブル302のTMDS信号線(不図示)へSDR映像信号を出力する。外部機器300は、接続ケーブル302のTMDS信号線(不図示)を介してSDR映像信号を受信し、処理をS523へ進める。
S523にて、外部機器300は、S522において受信したSDR映像を外部機器300のディスプレイ301に表示する。
デジタルカメラ100がSDR信号を出力している間は、S521からS523を繰り返すことで、外部機器300のディスプレイ301にSDR画像が表示されることになる。
デジタルカメラ100が外部機器300への映像出力をSDR画像からHDR画像に切り替える場合、S524以降の処理が実行される。
S524にて、システム制御部50はデジタル出力I/F90に対しSDR映像信号の停止を指示し、処理をS525へ進める。
S525にて、システム制御部50は、接続ケーブル302のTMDS信号線(不図示)へ映像信号を停止する。外部機器300は接続ケーブル302のTMDS信号線(不図示)を介してSDR映像信号の受信を停止し、処理をS526へ進める。
S526にて、外部機器300は、デジタルカメラ100からの映像の受信が停止したため、外部機器300のディスプレイ301への映像の表示を停止する。
S527にて、システム制御部50は、デジタル出力I/F90に対しHDR映像信号の送信を指示し、処理をS528へ進める。
S528にて、システム制御部50は、接続ケーブル302のTMDS信号線(不図示)へHDR映像信号を出力する。外部機器300は、接続ケーブル302のTMDS信号線(不図示)を介してHDR映像信号を受信し、処理をS529へ進める。
S529にて、外部機器300はS528において受信した映像信号を解析し、HDR映像信号を表示できる設定にディスプレイ301の駆動を切り替えS530に進める。
S530にて、外部機器300はS528において受信したHDR映像信号を外部機器300のディスプレイ301に表示する。
この時、S529からS530の処理時間は、外部機器300の性能によって異なり、映像が表示されるまで1秒から5秒程度の時間がかかる。
図5Cは、デジタルカメラ100と外部機器300の映像出力をHDR画像からSDR画像に切り替える処理を示すシーケンス図である。
このシーケンスでは、デジタルカメラ100と外部機器300との接続は図5Aで説明したシーケンスで完了しているものとする。
S541にて、システム制御部50は、デジタル出力I/F90に対しHDR映像信号の送信を指示し、処理をS542へ進める。S542にて、システム制御部50は、接続ケーブル302のTMDS信号線(不図示)へHDR映像信号を出力する。また、外部機器300は接続ケーブル302のTMDS信号線(不図示)を介してHDR映像信号を受信し、処理をS523へ進める。
S543にて、外部機器300は、S542にて受信したHDR映像を外部機器300のディスプレイ301に表示する。
デジタルカメラ100がHDR信号を出力している間は、S541からS543を繰り返すことで、外部機器300のディスプレイ301にHDR画像が表示されることになる。
デジタルカメラ100が外部機器300への映像出力をHDR画像からSDR画像に切り替える場合にはS544以降の処理が実行される。
S544にて、システム制御部50はデジタル出力I/F90に対しHDR映像信号の停止を指示し、処理をS545へ進める。S545にて、システム制御部50は、接続ケーブル302のTMDS信号線(不図示)へ映像信号を停止する。外部機器300は接続ケーブル302のTMDS信号線(不図示)を介してHDR映像信号の受信を停止し、処理をS546へ進める。
S546にて、外部機器300は、デジタルカメラ100からの映像の受信が停止したため、外部機器300のディスプレイ301への映像の表示を停止する。
S547にて、システム制御部50は、デジタル出力I/F90に対しSDR映像信号の送信を指示し、処理をS548へ進める。
S548にて、システム制御部50は、接続ケーブル302のTMDS信号線(不図示)へSDR映像信号を出力する。外部機器300は、接続ケーブル302のTMDS信号線(不図示)を介してSDR映像信号を受信し、処理をS549へ進める。
S549にて、外部機器300はS548にて受信した映像信号を解析し、SDR映像信号を表示できる設定にディスプレイ301の駆動を切り替え、処理をS530に進める。S550にて、外部機器300はS528において受信したSDR映像信号を外部機器300のディスプレイ301に表示する。
なお、S549からS550の処理時間は、外部機器300の性能によって異なり、映像が表示されるまで1秒から5秒程度の時間がかかる。
図6A、6Bは、図4AのS411,427の撮影メニュー処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
S601にて、システム制御部50は、ユーザによりHDR撮影モードが有効にされているかに基づき、HDR撮影するか否かを判定する。システム制御部50は、HDR撮影しないと判定した場合は処理をS602に進み、通常のSDR撮影時のメニューを表示する。また、システム制御部50は、HDR撮影すると判定した場合は処理をS602に進め、HDR撮影時のメニューを表示する。このS603で、HDR撮影時に併用させない機能についてグレーアウトの無効状態にしてメニュー上に表示させる。
S604にて、システム制御部50は、ユーザにより、HDR撮影を行うか否かの設定項目が選択されたか否かを判定する。選択されたと判定した場合、システム制御部50は処理をS605に、そうでない場合は処理をS611に進める。S605にて、システム制御部50は、ユーザによりHDR撮影を行うか否かの設定が有効に切り替わったか否かを判定する。有効に切り替わったと判定された場合は、システム制御部50は処理をS606に進み、そうでない場合は処理をS607に進める。S606にて、システム制御部50は、HDR撮影を行うか否かの設定を有効に変更し、設定値をシステムメモリ52に記憶する。
HDR撮影を行うか否かの設定が有効の時のS607にて、システム制御部50は、ユーザによりHDRアシスト表示設定が変更に切り替わったか否かを判定する。変更に切り替わったと判定された場合は処理をS608に進め、そうでない場合は処理をS609に進める。尚、HDR撮影を行うか否かの設定が無効の時はHDRアシスト表示設定を変更できないことが望ましい。
S608にて、システム制御部50は、撮影時のHDRアシスト表示設定をするか否かに変更し、設定値をシステムメモリ52に記憶する。HDRアシスト表示設定「する」のバリエーションは2つ以上あっても構わない。
なお、このように、メニュー画面において、HDR撮影設定やHDRアシスト表示設定を変更した場合には、ライブビュー画面へ遷移したタイミングで表示設定の変更結果を表示に反映させてもよい。メニュー画面ではなくライブビュー画面において、操作部70の特定のボタンを使用する等して、それらの設定を変更した場合には、その変更したタイミング(そのボタンを押下したタイミング)で変更結果を表示に反映させてもよい。
S609にて、システム制御部50は、ユーザによりHDR設定メニュー表示処理の終了指示がされたか否かを判定する。終了指示がされたと判定した場合、システム制御部50は処理をS610に進める。
S610にて、システム制御部50は、ユーザにより、静止画記録画質の設定項目が選択されたか否かを判定する。システム制御部50は、その選択があったと判定した場合は処理をS611に進み、そうでない場合は処理をS651に進める。
S611にて、システム制御部50は、ユーザによりHDR撮影の指示入力があった否かの設定を判定する。システム制御部50は、HDR撮影の指示入力があったと判定した場合は処理をS612に、その指示入力が無いと判定した場合は処理をS614に進める。
S612にて、システム制御部50はHDR撮影用の画面表示を行い、S613にて、HDR撮影用の記録画質のユーザ選択を受け付ける。HDR撮影用の設定記録画質としては、ファイルフォーマットとして、RAW、HDR静止画ファイルおよび、RAW+HDR静止画ファイルの2画像同時出力を用意する。また画像サイズについても、センサー読み出し時の画素数に近いLargeから、少し小さいMiddle、さらに小さいSmallなどがある。さらに、ファイルサイズ容量を下げるために圧縮するための圧縮率も高画質(低圧縮率)から標準(高圧縮率)、低画質(高圧縮率)などがある。
S614にて、システム制御部50は、SDR撮影用の画面表示を行い、S615にてSDR撮影用の記録画質のユーザ選択を受け付ける。SDR撮影用の設定記録画質としても、HDR撮影用と同様の選択肢を用意する。
S651にて、システム制御部50は、ユーザにより、動画記録画質の設定項目が選択されたか否かを判定する。システム制御部50は、動画記録画質の設定項目が選択されたと判定した場合は処理をS652に進み、そうでない場合は処理をS657に進める。
S652にて、システム制御部50は、ユーザによるHDR撮影を行うか否かの設定を判定する。設定が行うことを示している場合、システム制御部50は処理をS653に、そうでない場合は処理をS655に進める。
S653にて、システム制御部50はHDR撮影用の画面表示を行い、S654にてHDR撮影用の記録画質のユーザ選択を受け付ける。HDR撮影用の設定記録画質としては、ファイルフォーマットとして、RAW動画、RAW動画+プロキシ動画、HDR動画ファイルおよび、RAW+プロキシ動画+HDR動画ファイルの3動画同時出力を用意する。また画像サイズについても、8K、4K、FullHD、HD、VGAなどがある。さらに、ファイルサイズを下げるための圧縮率も、ALL−Iなどの高画質(低圧縮率)からIPBなどの標準〜低画質(高圧縮率)などがある。その他、フレームレートの選択、NTSC/PALなどの放送方式の選択もある。
S655にて、システム制御部50は、S653と同様にSDR撮影用の画面表示を行い、S656にてSDR撮影用の記録画質のユーザ選択を受け付ける。SDR撮影用の設定記録画質としても、HDR撮影用と同様の選択肢を用意する。
S657にて、システム制御部50は、ユーザにより、HDR出力の設定項目が選択されたか否かを判定する。システム制御部50は、ユーザにより、HDR出力の設定項目が選択されたと判定した場合は処理をS658に、そうでない場合は処理をS660に進める。S658にて、システム制御部50は、ユーザによりHDR出力設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定した場合は処理をS659に、そうでない場合は処理をS660に進める。S659にて、システム制御部50は、HDR出力設定を有効に変更し、設定値をシステムメモリ52に記憶する。
S660にて、システム制御部50は、ユーザにより、再生時のビューアシストの設定項目が選択されたか否かを判定する。システム制御部50は、再生時のビューアシストの設定項目が選択されたと判定した場合は処理をS661に、そうでない場合は処理をS663に進める。S661にて、システム制御部50は、ユーザにより再生時のビューアシストの設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定した場合は処理をS662に、そうでない場合は処理をS663に進める。S662にて、システム制御部50は、再生時のビューアシスト設定を有効に変更し、設定値をシステムメモリ52に記憶する。
S663にて、システム制御部50は、ユーザにより、転送時のSDR変換の設定項目が選択されたか否かを判定し、選択されたと判定した場合は処理をS664に、そうでない場合は処理をS665に進める。S664にて、システム制御部50は、ユーザにより転送時のSDR変換の設定が有効に切り替わったか否かを判定し、有効に切り替わったと判定された場合はS664にて、転送時のSDR変換設定を有効に変更し、処理をS665に進める。
S665にて、システム制御部50は、ユーザにより、その他HDR撮影に関連する設定項目が選択されたか否かを判定し、選択されたと判定した場合は処理をS666に、そうでない場合は処理をS667に進める。S666にて、システム制御部50は、その他の処理を有効に変更し、処理をS667に進める。
S667にて、システム制御部50は、ユーザにより、メニューを抜ける指示があったか否かを判定し、抜けないと判定した場合に処理をS660に戻し、抜けると判定した場合は本処理を終了する。
図7は、システム制御部50のHDR撮影処理の詳細を示すフローチャートである。メモリ32に書き込まれたRAWデータを画像処理部24でHDR現像するフローである。
デジタルカメラやデジタルビデオカメラ等の撮像装置は、撮影時の光源に応じて撮影画像の色調を補正するホワイトバランス機能を備えている。ホワイトバランス機能は、光源(晴天や曇天等の自然光源、蛍光灯や白熱灯等の人工光源)によって変わる色調の違いを補正し、光源に関わらず白さが同じに見えるようにする機能である。S701〜S703において、ホワイトバランス処理に必要なホワイトバランス係数が算出されることになる。また、本実施形態では、空などの高輝度領域の階調をなるべく白飛びさせないよう、人物などの明るさが適正となる露出よりも低い露出で撮影するものとする。
まずS701にて、システム制御部50は、メモリ制御部15を介して、RAW画像データを取得する。
S702にて、システム制御部50は、ホワイトバランス係数を算出するために取得したRAW画像データに対して白らしい画素を判定する、白サーチ枠内判定処理を行う。
S703にて、システム制御部50は、白サーチ枠内判定結果に基づいてホワイトバランス用係数を算出する。
S702,703の処理の詳細について図12のフローチャートを用いて説明する。
RAW画像データは、先に説明したように、1つの画素はR,G,Bのいずれか1つの成分の信号しか有さない。白サーチを行うため、システム制御部50は、色信号に変換する必要があるためデベイヤ処理S1201を行い、1画素につきR,G,Bの全チャンネルの信号を生成する。デベイヤの方法は幾つかあるが、例えばローパスフィルターによる線形補間で信号生成できる。RAW画像データは一般的にノイズによる影響があるため光学的黒(Optical Black)は、0ではなく値を持っている。よってシステム制御部50は、デベイヤ後の信号からOB分を減算する処理(S1202)を行う。そして、システム制御部50は、取得したRGB信号から色信号Cx、Cyを次式により算出する(S1203)。
ここで、G,Gは、ベイヤ配列の2×2画素における2つのG成分値である。また、Cは色温度を表し、Cは緑方向補正量を表している。また、Yは輝度値である。
図13に、C−C平面を図示する。同図に示すように、撮像装置において予め白色を高色温度下(例えば日中など)から低色温度下(例えば日暮れ時など)まで撮影し、色評価値Cx、Cyを座標上にプロットすることで、白色を検出するための基準となる白軸1200を定めることができる。実際の光源において白色には若干のばらつきが存在するため、システム制御部50は、白軸1200の両側に或る程度の幅を持たせる(S1204)。この白軸に幅を持たせた枠を白サーチ枠1201と呼ぶ。
S1205にて、システム制御部50は、デベイヤ後の各画素についてC−C座標系にプロットし、白サーチ枠内に入っているかどうかを判定する。S1206にて、システム制御部50は、白サーチ枠内に入った画素の中で、積分対象とする画素を輝度方向で制限する明暗除外処理を行う。これは暗すぎる色はノイズの影響を受けやすくなるのでホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。同様に明るすぎる色は各チャンネルのいずれかがセンサー飽和することでR/GもしくはB/G比のバランスが崩れ正しい色から離れていってしまいホワイトバランス係数の算出精度が低下してしまうことを防ぐために行う。このとき、SDRとHDRでは明暗除外処理の対象とする画素の輝度を異ならせる。つまり、SDRとHDRとで後述するホワイトバランス係数の算出に用いる画素を異ならせる。これはSDRに比べてHDRの方が高輝度域の再現性が高いことによる。本実施形態では、SDRでは明度側が例えば+1EVまでの明るさまで対象とするのに対して、HDRでは+2EVまでの明るさまで対象とすることでよりHDRに最適化されたホワイトバランス係数を算出することが可能となる。
S1207にて、システム制御部50は、白サーチ枠内でかつ明暗除外処理のなされたC、Cからそれぞれの色評価値の積分値SumR、SumG、SumBを算出する。そして、S1208にて、システム制御部50は、算出した積分値から、次式によりホワイトバランス係数WBCo、WBCo、WBCoを算出する。
上式における右辺の“1024”は、1色成分が10ビット精度となっているためである。
尚、ホワイトバランス係数はユーザによって設定されている撮影モード(SDR撮影もしくはHDR撮影)用の値を算出してもよいし、SDR用、HDR用の両方を算出してもよい。
図7の説明に戻る。S704〜S706において、システム制御部50は、階調補正処理に必要な階調補正テーブルを算出する。階調補正の詳細を図14のフローチャートを用いて説明する。
S1221にて、システム制御部50は、図7のS701〜S703の処理で生成したWB係数を用いてWB処理を行う。S1222にて、システム制御部50は、ヒストグラム検出を行う。具体的には、S1221で得られたホワイトバランスのゲイン値を画像データ全体に適用し、さらにガンマ補正処理を行った画素値について、輝度情報としてヒストグラムを作成する。ガンマ補正処理は公知のルックアップテーブルを用いる方法で良いが、現像で用いるものと同じガンマ特性を用いることが好ましい。ただし、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。なお、画像の端の部分は、一般に重要でないことが多く、また撮像レンズによっては周辺光量の低下の影響を受ける部分であるため、周縁部の画素を除いてヒストグラムを作成してもよい。
S1223にて、システム制御部50は、顔検出前処理を行う。これは画像データに対して縮小処理、ガンマ処理等を施して、顔を容易に検出しやすいようにする処理である。S1224にて、システム制御部50は、前処理した画像データに対し、公知の方法を用いて顔検出処理を実行する。この顔検出処理により、顔と思われる領域(顔領域)の位置とサイズ、検出の信頼度とが得られる。
S1225にて、システム制御部50は、露出補正量(低下量)を補うための階調補正量(階調補正量(A))を第1の階調補正量として算出する。この際、画像の暗部については適正露出になるようにする一方、予め定めた輝度レベル以上の高輝度画素については補正されない(少なくとも、露出補正量を完全には補わない)、入出力特性の階調補正量を算出する。これにより、階調補正後の明部が白トビすることをさらに抑制することができる。この階調補正量は、露出補正量に応じた複数の補正テーブルとして予め用意しておくことができる。
S1226にて、システム制御部50は、S1224の顔検出処理により検出された顔領域のうち、信頼度があらかじめ設定した評価閾値より高い顔領域がある場合に、顔が検出されたと判定する。システム制御部50は、顔が検出されたと判定した場合は処理をS1227に、顔が検出されなかったと判定した場合は処理をS1231に進める。
S1227にて、システム制御部50は、検出された顔領域の一部の領域を、顔輝度取得領域として算出する。顔輝度取得領域は、顔の明るい部分の輝度を取得するための領域であり、その数や位置などに関して特に制限はない。S1228にて、システム制御部50は、顔輝度取得領域の各々について、含まれるR画素、G画素、B画素の種類ごとに平均値を求める。さらにシステム制御部50は、RGB画素の各平均値に対し、ヒストグラム検出と同様にしてホワイトバランスのゲイン値を適用し、ガンマ補正を行った後、以下の式により輝度値Yに変換する。
Y=0.299×R+0.587×G+0.114×B
なお、ヒストグラム検出および顔検出において適用するホワイトバランスのゲイン値は、同一画像データに対してWB処理で使用したゲイン値を用いることが好ましい。輝度ガンマも、理想的には現像と同じものを用いるのが好ましいが、処理時間やメモリ量の節約のために、折れ線で近似したガンマ特性など、簡略化したガンマ特性を用いてもよい。
S1229にて、システム制御部50は、S1228で顔輝度取得領域の各々について求めた輝度値を、適正露出時を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりも顔の輝度が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量(低下量)を補償するように行ってもよいし、S1225で算出した階調補正量を用いて行ってもよい。
S1230にて、システム制御部50は、検出された顔の輝度の代表値を算出する。代表値としては、例えば、検出されている顔領域の顔輝度取得領域の各々の輝度値の中から求めた最大値を用いても良い。
S1231の処理は、S1226にてシステム制御部50が顔領域が検出されなかったと判定した場合の処理である。S1231にて、システム制御部50は、ヒストグラム特徴量を検出する。ヒストグラム特徴量は例えば、ヒストグラムで暗部側から累積度数が1%である画素が属するレベル(SD)、明部側から累積度数が1%である画素が属するレベル(HL)等であってよい。続くS1232にて、システム制御部50は、S1231で算出したヒストグラム特徴量を、適正露出での撮像を想定した値に変換する。これは、画像データが、適正露出よりも低い露出で撮像されていることから、適正露出で撮像した場合よりもヒストグラム特徴量が低く検出されることを補正する処理である。輝度値の変換は、露出制御が決定した露出補正量(低下量)を補償するように行ってもよいし、S1225で算出した階調補正量を用いて行ってもよい。
S1233にて、システム制御部50は、目標の補正量の算出を行う。システム制御部50は、顔の代表輝度値、もしくはヒストグラム特徴量に対する目標輝度レベルを求める。そして、システム制御部50は、これらの目標輝度レベルと、画像データ中の輝度の最小値と最大値とから、スプライン補間などにより、入力輝度レベルに対する出力輝度レベルを定めたルックアップテーブル(入出力特性)を、階調補正量(B)として作成する。階調補正量(B)は、第2の階調補正量である。
ここでHDRではSDRと目標の階調補正量を変えても良い。例えば、図16(a)はSDRでの見え、図16(b)はHDRでの見えの例を示している。被写体(人物)の輝度値はいずれも同じ値であるが、背景についてSDRでは高くても100cd/mで突き当たるのに対して、HDRでは100cd/mを超えた値となる。その結果、被写体の輝度値は同じであっても、HDRの方が暗く感じる場合がある。これは明度対比と言って、人間の視覚特性に起因する現象である。例えば図16(a)と図16(b)では被写体の輝度は同じであるが、被写体の輝度と背景の輝度の差は、図16(a)よりも図16(b)の方が大きい。このような場合、ユーザは、図16(a)よりも図16(b)の方が被写体を暗く感じてしまう。つまり、HDRは空などの高輝度域をより明るく表現することが可能であるため、SDRに比べて被写体が暗く見えてしまう可能性が高い。そこで本実施形態では、SDRの場合は図15(a)に示すような階調特性を用いるのに対し、HDRの場合派図15(b)で示すような階調特性を用いて、より暗部を持ち上げる階調補正量を適用することで、見た目として好ましい結果にすることができる。なお、本実施形態の階調補正は露出の不足を補うための補正を例としたが、画作りのための明るさ補正においても同様の階調補正を行うことができる。
顔の代表輝度値や画像データのヒストグラム特徴量に対する目標輝度レベルは、経験的に好ましいと考えられる固定値に設定することが可能であるが、代表輝度値やヒストグラム特徴量の値に応じて異なる目標輝度レベルを設定してもよい。この場合、目標輝度レベルを設定するパラメータ(代表輝度値やヒストグラム特徴量)毎に、入力レベルに対する目標輝度レベルの関係を定めたルックアップテーブルを用意しておけばよい。
このようにして定めた目標輝度レベルへの変換を実現するための補正特性を、スプライン補間などの方法によって求め、必要であれば階調補正量(B)を適用するルックアップテーブル(又は関係式)として保存する。
S1234にて、システム制御部50は、S1225で算出した階調補正量(A)と、S1233で算出した階調補正量(B)を合成する。システム制御部50は、例えば各入力輝度レベルに対して、まず階調補正量(A)を適用した後に、補正後の輝度レベルに対して階調補正量(B)を適用した結果の輝度値を求め、各入力輝度レベルに対する出力輝度レベルのルックアップテーブルを作成する。
S1235にて、システム制御部50は、S1234で求めた合成補正量(合成階調補正量)の上限値を制限する処理(リミッター処理)を行う。階調補正量(A)と階調補正量(B)を合成することで、補正量が大きくなり、補正後の画像においてノイズ量が目立ちやすくなるため、全体の補正量に制限を設ける。リミッター処理は、各輝度値において許容する最大の補正量をテーブルとして用意しておき、S1234で作成したルックアップテーブルの値のうち、最大補正量を超える出力レベルを最大補正量に対応する出力レベルに置換することで実現できる。尚、階調補正量はユーザによって設定されている撮影モード(SDR撮影もしくはHDR撮影)用の値を算出してもよいし、SDR用、HDR用の両方を算出してもよい。
図7の説明に戻る。S707にて、システム制御部50は、算出したホワイトバランス係数、階調補正用パラメータおよび種々のHDR用のパラメータを用いて現像する。その他の現像パラメータとして、色マトリクス、カメラOETFカーブデータ、色調整パラメータ、ノイズリダクションパラメータ、シャープネスパラメータなどを用いてHDR現像画像を生成する。カメラOETF(ガンマカーブ)としては、例えばITU−Rの勧告BT.2100のPQのEOTF(Electro−Optical Transfer Function)の逆特性を想定している。しかし、カメラ側の特性や味付けをOOTF(Opto−Optical Transfer Function)としてそのEOTFの逆特性に対して組み合わせても良い。もしくは同じくITU−Rの勧告BT.2100のHLGのOETFを使用しても構わない。
S708にて、システム制御部50は、S707で現像した画像からリサイズして2画面比較画像用などの簡易表示用としてMPF(Multi Picture Format)用画像を生成し、HEVC形式で圧縮符号化する。
S709にて、システム制御部50は、S708で生成したMPF画像をさらにリサイズしてインデックス表示などに用いるサムネイル画像を生成、圧縮する。
S710にて、システム制御部50は、本画像としてS707で現像したHDR画像を圧縮する。圧縮する方法はいろいろ考えられるが例えば、10bitのYUV422のデータであればH.265(ISO/IEC 23008−2 HEVC)で圧縮すればよい。
S711にて、システム制御部50は、システム制御部50は、ユーザにより記録画質設定を判定する。システム制御部50は、RAW画像のみが記録される設定であると判定した場合は処理をS712に進める。システム制御部50は、HDR画像のみが記録される設定であると判定した場合は処理をS713に進める。システム制御部50は、RAW画像及びHDR画像が記録される設定であると判定した場合は処理をS714に進める。
S712にて、システム制御部50は、RAW画像を圧縮してヘッダを付加して図8Aのような構造のRAW画像ファイルとして、記録媒体I/F18を介して記録媒体200に記録される。圧縮方式としては幾つか考えられるが劣化のない可逆であるロスレス圧縮や、非可逆ではあるがファイルサイズが軽くなるロッシー圧縮などを用いればよい。またヘッダには、検出メタデータとしてS1205で求めたホワイトバランスの白サーチ枠内判定結果とS704で求めたヒストグラムおよびS705で求めた顔検出結果を記録する。ここで検出される白サーチ枠内判定結果は、S1206における明暗除外処理を行う前の判定結果である。したがって、HDR撮影でもSDR撮影でも同じ判定結果が記録されることになる。また、ユーザによりHDR撮影モードとなっていた場合は、メタデータとして図8B(b)のように併せて記録する。そのメタデータは、例えば、図12で求めたホワイトバランス係数や図14で求めた階調補正量といったHDR用の現像パラメータ、S708でHDR現像した画像データからHEVC形式で符号化して生成した表示用のMPF用画像である。上述したようにこれらのデータはHDR撮影かSDR撮影かで内容が異なる。なお、SDR撮影であれば、上述したSDR用の白サーチ枠内判定や階調特性を用いた場合の現像パラメータが記録される。なお、HDR撮影時であっても、SDR用にS702〜S706の処理を行い、SDR用の現像パラメータも生成して両方を記録しても構わない。なお、HDR、SDR両方の現像パラメータを生成するのは処理負荷が大きいため、連写時などには行わず、単写時など比較的処理負荷に余裕がある場合に行うようにしてもよい。
また単写など処理負荷に余裕がある時はHDR用の表示用画像とは別に、SDR用の現像パラメータを用いてSDR画質の本画像、MPF用画像、サムネイル用画像を作成しても構わない。さらに、その際、HDR用の表示用画像とSDR用の表示用画像を同じファイルに記録しても構わない(図8B(c))。
また、サムネイルを表示する際は、画像が小さいのでどのような画像かが分かれば十分であるため、S709で作成するサムネイル用画像のみSDR現像画像で作成し保存しても構わない(図8B(d))。このような構成にすることで、HDRの圧縮方式であるH.265のデコードに対応していない表示装置やPCでもサムネイル画像のみ表示することも可能になる。
S713にて、システム制御部50は、現像したHDR画像をHEVC形式で圧縮符号化して静的メタデータもしくは動的メタデータを付加し、HIEF形式のHEIFファイルとして、記録媒体I/F18を介して記録媒体200に記録する。ここで、HIEFは、High Efficiency Image File Formatの略称である。静的メタデータとしては、CEA−861.3に準拠したディスプレイの3原色および白色点のx,y座標、マスタリングディスプレイの最大輝度値、最小輝度値、コンテンツ最大輝度値(MaxCLL)、フレーム平均輝度レベル(MaxFALL)などである。なお、MaxCLLは、Maximum Content Light Levelの略称であり、MaxFALLは、Maximum Frame Average Light Levelの略称である。また、動的メタデータとしては、SMPTE ST 2094で定義されているカラーボリューム変換の動的トーンマッピングのメタデータなどである。尚、HDR特性をPQ信号で表すには10bit以上の深度であることが好ましいが従来のJPEGフォーマットだと8bitであるため新たに静止画HDR用のコンテナを採用する必要がある。ここでは、MPEG(Moving Picture Experts Group)によって開発され、MPEG−H Part 12(ISO/IEC 23008−12)で定義された画像ファイルフォーマットであるHEIFのコンテナを使用する。HEIFは本画像だけでなく、サムネイルや複数の時間的に関連ある画像やEXIFやXMPといったメタデータも1つのファイルの中に格納することができるという特徴がある。よって、HEVCでエンコードされた10bitのイメージシーケンスも格納できるため使い回しが良い。
S714及びS715では、S712及びS713の処理を順次行い、RAW画像とHDR画像の両方を記録する。
続いて前述した記録処理において記録媒体200に記録する静止画RAW画像データのファイル構造を図8Aに示す。以下で例示するファイルフォーマットはISO/IEC14496−12で規定されているISOベースメディアファイルフォーマットである。そのため、本ファイルフォーマットは木構造を持ちボックスと呼ばれる各ノードを持っている。また、各ボックスは複数のボックスを子要素として持つことができる。
画像データ801は先頭にファイルタイプの記述のためのボックスftyp802、全てのメタデータを含むボックスmoov803、トラックのメディアデータ本体のボックスmdat808、その他のボックス807を有する。前述のボックスmoov803は子要素として、MetaData805を格納するボックスuuid804とImageDataを参照する情報を格納するtrakボックス806を有する。MetaData805には、画像のメタデータが記載されており、例えば画像の作成日時、撮影時条件、HDRまたはSDRで撮影したかどうかの情報、前述した検出メタデータ、その他の撮影情報から構成される。前述のボックスmdat808は子要素として、撮影した静止画像データであるImageData809を持つ。
なお、SDRで撮影したRAW画像と、HDRで撮影したRAW画像では、ImageData809に記録される画像データが異なる。
図8B(a)はSDRで撮影したRAW画像に記録されるImageData809である。この場合のImageData809は、SDR画質現像しJPEG圧縮したTHM画像821、MPF画像822、本画像823とRAW画像824及び、RAW現像パラメータ825を持つ。各SDR画質の画像は、その1色成分が8ビット(256階調)の画像である。なお、図8B(a)のRAW現像パラメータ825は、少なくともSDR現像用の現像パラメータを含む。
図8B(b)はHDRで撮影時にHDR画像のみ表示用画像として持つRAW画像に記録されるImageData809である。この場合のImageData809は、HDR画質現像しHEVC圧縮したTHM画像826、MPF画像827、本画像828とRAW画像824及び、RAW現像パラメータ825を持つ。各HDR画質の画像は、1色成分が10ビット(1024階調)の画像である。図8B(b)、(c)、(d)のRAW現像パラメータ825は、少なくともHDR現像用の現像パラメータを含む。
図8B(c)はHDRで撮影時にHDR画像とSDR画像の両方を表示用画像として持つRAW画像に記録されるImageData809である。この場合のImageData809は、THM画像821、MPF画像822、本画像823とTHM画像826、MPF画像827、本画像828とRAW画像824及び、RAW現像パラメータ825を持つ。なお、THM画像821は、SDR画質現像しJPEG圧縮した画像であり、THM画像826は、HDR画質現像しHEVC圧縮した画像である。
図8B(d)はHDRで撮影時にTHM画像のみSDR画像で、MPFと本画像はHDR画像の表示用画像として持つRAW画像に記録されるImageData809である。この場合のImageData809は、SDR画質現像しJPEG圧縮したTHM画像821とHDR画質現像しHEVC圧縮したMPF画像827、本画像828とRAW画像82)及び、RAW現像パラメータ825を持つ。
本例で示したファイルフォーマットは実施形態の1つであり、必要に応じて他のボックスを有しても良い。また、表示用画像をmoov803内のボックスや、その他のボックス807に持つ構成としてもよい。
上記のようなファイルフォーマットを有することにより、SDRとして撮影されたRAW画像ファイルにはSDR画像用の現像パラメータが記録され、HDRとして撮影されたRAW画像ファイルにはHDR画像用の現像パラメータが記録されることになる。このようにすることで、後からRAW画像を現像する場合も、撮影時の設定を反映した現像パラメータで現像を行うことが可能となる。例えばRAW現像を行う装置(デジタルカメラ100でもよいし、PCなどの他の装置でもよい)は、RAW画像のMetaData805を参照し、HDRとして撮影したか、SDRとして撮影したかを判定する。そしてHDRとして撮影したと判定した場合は、RAW画像をそのファイルに含まれるHDR画像用の現像パラメータを用いてHDR画像として現像する。また、SDRとして撮影したと判定した場合は、RAW画像をそのファイルに含まれるSDR画像用の現像パラメータを用いてSDR画像として現像する。このような処理を行うことを可能とするために、デジタルカメラ100は、SDRとして撮影されたRAW画像ファイルにはSDR画像用の現像パラメータを記録し、HDRとして撮影されたRAW画像ファイルにはHDR画像用の現像パラメータを記録している。なお、RAW現像を行う装置は、前述したHEIFのコンテナを使用して現像した静止画HDR画像を記録するようにすればよい。
さらに、検出メタデータとしてHDR撮影でもSDR撮影でも同じ判定結果を記録することとしたため、HDR撮影モードで撮影されたRAW画像ファイルであっても、記録された検出データを用いてSDR画像に現像することも可能となる。したがって、SDR画像にしか対応していない装置でも、HDR撮影モードで撮影されたRAW画像ファイルを適切に表示することが可能となる。
図9Aは、システム制御部50の、表示部28を使用した再生モード処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
S901にて、システム制御部50は、インデックス再生か、通常の再生かを判定する。S901にて、システム制御部50はインデックス再生と判定した場合は処理をS902に進める。このS902にて、システム制御部50は、再生する画像枚数を決定する。
S903にて、システム制御部50は、再生する画像を決定する。そして、S904にて、システム制御部50は、再生する画像の描画処理を行う。
S905にて、システム制御部50は、表示する全ての画像の描画が完了したかを判定し、完了していないと判定した場合は、S903に戻し、描画処理を継続する。また、システム制御部50は、描画処理が完了したと判定した場合、処理をS906に進める。このS906にて、システム制御部50は、表示部28へ、S906の画像出力処理を行い表示処理を終了する。その後、システム制御部50は、操作受付処理を行う。
図9Bは、システム制御部50の、表示部28を使用した再生モード処理の描画処理の詳細を示すフローチャートである。
S911にて、システム制御部50は、再生する画像の情報を取得する。S912にて、システム制御部50は、再生する画像を決定する。S913にて、システム制御部50は、再生する画像を記録媒体200から読み出す。S914にて、システム制御部50は、再生する画像の伸長処理を行う。S915にて、システム制御部50は、S914で伸長処理を施した画像データから画素ごとのデータを収集する。この画像データとは例えば輝度情報であり、ヒストグラム処理やハイライト警告処理などに用いる。
S916にて、システム制御部50は、再生する画像がHDR画像であるかSDR画像であるかを判定する。システム制御部50は、再生する画像がHDR画像であると判定した場合は処理をS917に、SDR画像であると判定した場合は処理をS920に進める。S917にて、システム制御部50は、再生時のHDRアシスト表示設定を確認し、アシスト1の設定の場合には処理をS918へ、アシスト設定2の場合には処理をS919へ進める。S918にて、システム制御部50は、S914で伸長した画像に対してアシスト1の設定に従ってHDR→SDR変換処理を行う。また、S919にて、システム制御部50は、S914で伸長した画像に対してアシスト2の設定に従ってHDR→SDR変換処理を行う。
S920にて、システム制御部50は、S914で伸長した画像または、S918、S910でSDR変換処理を行った画像に対し、表示部28に適したサイズに拡縮処理を行う。そして、S921にて、システム制御部50は、生成した画像の配置を決定し、描画処理を終了する。
図9C〜9Hは、システム制御部50の読込画像選択処理の詳細を示すフローチャートである。
S926にて、システム制御部50は、取得した画像の情報を判定し、再生可能であるかを判定し、可能であると判定した場合は処理をS927に、再生不可と判定した場合は処理をS936に進める。
S927にて、システム制御部50は、再生する画像が静止画像か否かを判定する。システム制御部50は、再生する画像が静止画像であると判定した場合には処理をS928に、そうでない場合は処理をS935に進める。
S928にて、システム制御部50は、再生する画像がRAW画像か否かを判定する。システム制御部50は、再生する画像がRAW画像であると判定した場合は処理をS929に、そうでない場合は処理をS930に進める。
S929にて、システム制御部50は、RAW画像がHDRで撮影されたRAW画像か、SDRで撮影されたRAW画像かを判定する。システム制御部50は、このときの判定を、図8で説明した、RAWファイル内にあるメタデータを用いて行う。システム制御部50は、HDRで撮影されたRAW画像であると判定した場合は処理をS931に、SDR画像であると判定した場合は処理をS932に進める。
S930にて、システム制御部50は、RAW画像でないと判定された静止画像がHDRで撮影された画像か、SDRで撮影された画像かを判定する。本実施形態ではHDRで撮影した画像はHEIFとして記録、SDRで撮影した画像はJPEGとして記録するため、ファイル形式がHEIFかJPEGかでHDR画像かSDR画像かを判定している。しかし、ファイル形式で判定するのではなく、画像データ(HEIF)内のメタデータを使用してHDR画像かSDR画像かを判定してもよい。
S931にて、システム制御部50は、HDRで撮影されたRAW画像から再生に使用する画像データを選択する。S932にて、システム制御部50は、SDRで撮影されたRAW画像から再生に使用する画像データを選択する。S933にて、システム制御部50は、HDR現像した静止画像から再生に使用する画像データを選択する。S934にて、システム制御部50は、SDR現像した静止画像から再生に使用する画像データを選択する。S935にて、システム制御部50は、動画ファイルの中から表示すべき画像データを選択する。S936にて、システム制御部50は、再生画像の非表示処理を行う。この場合、再生できない画像ということをユーザに知らせるために再生不可の情報を表示する。
図9Dは、システム制御部50が、HDRで撮影されたRAW画像から再生に使用する画像データを選択するフローである。
S941にて、システム制御部50は、インデックス再生か、通常の再生かを判定する。システム制御部50は、インデックス再生であると判定した場合は処理をS942に、通常再生であると判定した場合は処理をS943に進める。
S942にて、システム制御部50は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。本実施形態は36枚を閾値とするものとするが、その枚数は一例であって、ユーザにより適宜設定するようにしても良いし、表示部28のサイズに依存して決定しても良い。システム制御部50は、表示する画像が36枚以上であると判定した場合は処理をS945に進み、36枚より少ないと判定した場合はS944に処理を進める。
S943にて、システム制御部50は、「表示用 HDR 本画像(HEVC)」(828)を再生に使用する画像データとして決定する。S944にて、システム制御部50は、「表示用 HDR MPF画像(HEVC)」(827)を再生に使用する画像データとして決定する。S945にて、システム制御部50は、「表示用 HDR THM画像(HEVC)」(826)を再生に使用する画像データとして決定する。
図9Eは、HDRで撮影されたRAW画像がSDRの表示用画像を持つ場合にRAW画像から再生に使用する画像データの選択処理を示すフローである。
S951にて、システム制御部50が、インデックス再生か、通常の再生かを判定する。システム制御部50は、インデックス再生であると判定した場合は処理をS952に、通常再生と判定した場合は処理をS953に進める。
S952にて、システム制御部50は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。ここでは、36枚を判定の際の閾値とする。システム制御部50は、再生画像数が36枚以上であると判定した場合は処理をS955に、36枚未満であると判定した場合は処理をS954に進める。
S953、S954、S955では、システム制御部50は、再生するRAW画像にSDR画像が含まれているかを確認する。このときの判定は図8で説明した、RAWファイル内にあるメタデータを用いる。
S956にて、システム制御部50は、「表示用 HDR 本画像(HEVC)」(828)を再生に使用する画像データとして決定する。S957にて、システム制御部50は、「表示用 SDR 本画像(JPEG)」(823)を再生に使用する画像データとして決定する。S958にて、システム制御部50は、「表示用 HDR MPF画像(HEVC)」(827)を再生に使用する画像データとして決定する。S959にて、システム制御部50は、「表示用 SDR MPF画像(JPEG)」(822)を再生に使用する画像データとして決定する。S960にて、システム制御部50は、「表示用 HDR THM画像(HEVC)」(826)を再生に使用する画像データとして決定する。S961にて、システム制御部50は、「表示用 SDR THM画像(JPEG)」(821)を再生に使用する画像データとして決定する。
図9Fは、システム制御部50が、HDR現像静止画像から再生に使用する画像データを選択するフローである。
S971にて、システム制御部50は、インデックス再生か、通常の再生かを判定する。システム制御部50は、インデックス再生と判定した場合は処理をS972に、通常再生であると判定した場合は処理をS973に進める。
S972にて、システム制御部50は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として36枚とする。システム制御部50は、再生画像枚数が36枚以上であると判定した場合は処理をS975に、36枚未満であると判定した場合は処理をS974に進める。
S973にて、システム制御部50は、「HDR 本画像(HEVC)」(不図示)を再生に使用する画像データとして決定する。S974にて、システム制御部50は、「HDR MPF画像(HEVC)」(不図示)を再生に使用する画像データとして決定する。S975にて、システム制御部50は、「HDR THM画像(HEVC)」(不図示)を再生に使用する画像データとして決定する。
図9GはSDRで撮影されたRAW画像から再生に使用する画像データを選択するフローである。
S981にて、システム制御部50は、インデックス再生か、通常の再生かを判定する。システム制御部50は、インデックス再生と判定した場合は処理をS982に、通常再生と判定した場合は処理をS983に進める。
S982にて、システム制御部50は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として36枚とする。システム制御部50は、表示する画像が36枚以上と判定した場合は処理をS985に、36枚未満であると判定した場合は処理をS984に進める。
S983にて、システム制御部50は、「表示用 SDR 本画像(JPEG)」(823)を再生に使用する画像データとして決定する。S984にて、システム制御部50は、「表示用 SDR MPF画像(JPEG)」(822)を再生に使用する画像データとして決定する。S985にて、システム制御部50は、「表示用 SDR THM画像(JPEG)」(821)を再生に使用する画像データとして決定する。
図9Hは、SDR現像静止画像から再生に使用する画像データを選択するフローである。
S991にて、システム制御部50は、インデックス再生か、通常の再生かを判定する。システム制御部50は、インデックス再生と判定した場合は処理をS992に、通常再生と判定した場合は処理をS993に進める。
S992にて、システム制御部50は、インデックス再生の再生画像枚数によって、使用する画像データを判定する。実施形態では、枚数の閾値として36枚とする。システム制御部50は、再生する画像が36枚以上と判定した場合は処理をS995に、36枚未満であると判定した場合は処理をS994に進める。
S993にて、システム制御部50は、「SDR 本画像(JPEG)」(不図示)を再生に使用する画像データとして決定する。S994にて、システム制御部50は、「SDR MPF画像(JPEG)」(不図示)を再生に使用する画像データとして決定する。S995にて、システム制御部50は、「SDR THM画像(JPEG)」(不図示)を再生に使用する画像データとして決定する。
図10Aは、外部機器300を使用した再生モード処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
S1001にて、システム制御部50は、外部機器300がデジタルカメラ100に接続されているか否かを判定する。システム制御部50は、外部機器300が接続されていると判定した場合は処理をS1002に、接続されていないと判定した場合は処理をS1005に進める。
S1002にて、システム制御部50は、再生時HDR設定が有効かどうかを判定する。再生設定としては、「HDR再生する」、「HDR再生しない」、「撮影モード連動」が選択可能である。「HDR再生する」を設定している場合は、再生する画像がHDR画像かSDR画像かに関係なく、外部機器300がHDRに対応していれば、HDR出力するモードであり、「HDR再生しない」はSDR出力するモードとなる。「撮影モード連動」は再生時の出力を撮影モードに連動させるモードである。すなわち、「HDR撮影」が「する」に設定されているHDR撮影モードの場合は、再生時もHDR出力し、「HDR撮影」が「しない」に設定されているSDR撮影モードの場合は再生時もSDR出力するモードである。なお、デフォルトは「撮影モード連動」に設定されており、ユーザが撮影モードを変更しても再生設定は「撮影モード連動」のまま維持される。ユーザが再生設定を「撮影モード連動」から「HDR再生する」又は「HDR再生しない」へ変更した場合だけ、その連動が切れる。また、「HDR再生する」及び「HDR再生しない」の代わりに「HEIF(再生)」及び「JPEG(再生)」等のファイルフォーマットを選択肢としてもよい。なお、同様に、「HDR撮影する」及び「HDR撮影しない」の代わりに「HEIF(撮影)」及び「JPEG(撮影)」等のファイルフォーマットを選択肢としてもよい。
S1002において、システム制御部50は、「HDR再生する」の場合は処理をS1003に、「HDR再生しない」の場合は処理をS1005に進める。また、システム制御部50は、「撮影モード連動」の場合であって、S606で設定した「HDR撮影」が「する」の場合は処理をS1003に進め、「しない」の場合はS1005に処理を進める。
S1003にて、システム制御部50は、外部機器300がHDRに対応したディスプレイかどうかを判定する。システム制御部50は、HDRに対応したディスプレイであると判定した場合は処理をS1004に、対応していないと判定した場合は処理をS1005に進める。
S1004にて、システム制御部50は、外部機器300にHDRの信号を出力する。S1005にて、システム制御部50は、外部機器300にSDRの信号を出力する。
S1006〜S1011は、図9AのS901〜906と同じため、ここでの説明は省略する。
図10Bは、外部機器300にHDRの信号を出力した場合の描画処理(S1009)の詳細を示すフローチャートである。
S1021〜S1025、S1028、S1029は図9Bで説明した、S911〜S915、S920、S921と同じため、ここでの説明は省略する。
S1026にて、システム制御部50は、再生する画像がHDR画像であるかSDR画像であるかを判定する。システム制御部50は、再生する画像がHDR画像であると判定した場合は処理をS1028に、SDR画像であると判定した場合は処理をS1027に進める。
S1027にて、システム制御部50は、SDR→HDR変換処理を行う。この後のS1028,S1029は、図9BのS920、S921と同じである。なお、外部機器300にSDRの信号を出力した場合の描画処理(S1009)の詳細は、図9Bと同じであるため、説明を省略する。
図11(a)は再生メニュー処理の詳細を示すフローチャートである。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
S1101にて、システム制御部50は、ユーザによりRAW現像の設定項目(不図示)でRAW現像すると設定された否かを判定する。システム制御部50は、RAW現像しないと判定した場合は処理をS1103に、RAW現像すると判定した場合は処理をS1102に進める。
S1103にて、システム制御部50は、HDRファイルのSDR変換の設定項目(不図示)でHDR→SDR変換すると設定されているか否かを判定する。システム制御部50は、HDR→SDR変換しないと判定した場合は処理をS1105へ、HDR→SDR変換すると判定した場合は処理をS1104へ進める。
S1105にて、システム制御部50は、ファイル転送の設定項目(不図示)でファイル転送すると設定されたか否かを判定する。システム制御部50は、ファイル転送しないと判定した場合は処理をS1107へ、ファイル転送すると判定した場合は処理をS1106へ進める。
S1107にて、システム制御部50は、メニューを抜けるか否かを判定する。システム制御部50は、メニューを抜けないと判定した場合は処理をS1101に戻し、メニューを抜けると判定した場合は、この再生メニュー処理を終了する。
S1106にて、システム制御部50は、ユーザ指定の画像ファイルに対して転送処理を行う。HDR画像ファイルを転送する際は、受信先がSDR表示しかできない場合はS1104で示すHDR→SDR変換をカメラ内で実施してからSDR画像ファイルとして転送してもよい。
S1102にて、システム制御部50は、ユーザ指定のRAW画像ファイルに対してRAW現像を行う。このRAW現像処理の詳細を、図11(b)のブロック図を参照して以下に説明する。なお、図11(b)に示す各処理部は、画像処理部24に含まれるものとするが、システム制御部50が実行するプログラムで実現させても構わない。
記録媒体200に記録されている撮影されたRAW画像1101をシステム制御部50が読み出し画像処理部24でRAW現像処理を行わせる。RAW画像はベイヤ配列の画素の集合であるので、1つの画素は単一の色成分の強度データしか有さない。尚、RAW画像はSDR撮影されたときのRAW(SDR)とHDR撮影されたときのRAW(HDR)が存在する。また、現像時にRAW(SDR)をそのままSDR現像する場合と、HDR現像する場合も有り得る。反対にRAW(HDR)をHDR現像する場合と、SDR現像する場合もある。ホワイトバランス部1102では、白を白くする処理がなされる。RAW(HDR)をHDR現像の場合は、ファイルに記録されているHDR現像メタであるHDR用のホワイトバランス係数を用いてホワイトバランス処理を実施する。逆に、SDR現像する場合は、ファイルに格納されている検出メタである白サーチ枠内判定結果からSDR用のホワイトバランス係数を生成して、ホワイトバランス処理を実施する。もちろんRAWにHDR用、SDR用の両方のホワイトバランス係数が記録されている場合は適宜必要な方を用いればよい。
色補間部1103は、ノイズリダクションや色モザイク画像を補間することによって、全ての画素において、1画素が3成分(例えばR、G、Bの色情報)を持つカラー画像を生成する。生成されたカラー画像は、マトリクス変換部1104およびガンマ変換部1105を経て基本的なカラー画像が生成される。その後、色輝度調整部1106が、画像の見栄えを改善するための処理をカラー画像に対し行う。例えば、夕景検出して彩度強調といった画像補正がシーンに応じて行われる。階調補正も同様に実施するが、RAW(HDR)をHDR現像する場合は、ファイルに格納されているHDR現像メタであるHDR用の階調補正量を用いて階調補正を実施する。逆にSDR現像する場合は、ファイルに記録されている検出メタである顔検出結果、ヒストグラムを用いてSDR用の階調補正量を算出し階調補正を実施する。もちろんRAWにHDR用、SDR用の両方の階調補正量が記録されている場合は適宜必要な方を用いればよい。
所望の色調整を行った画像に対して、圧縮部1107で高解像度画像をJPEGやHEVC等の方法で圧縮し、記録部1108にてフラッシュメモリ等の記録媒体に記録する現像画像が生成される。尚、先述したHEIFコンテナには複数の画像を格納できるので、HDR現像した画像の他にSDR現像した画像も含めて格納しても構わない。
S1104にて、システム制御部50は、ユーザ指定のHDR画像ファイルに対してSDR変換を行う。HDR画像はOETFがPQ、色域がBT.2020などの色空間で生成された画像であるため、SDRのγ2.2、sRGBなどの色空間にトーンマッピングおよびガマットマッピング処理を行う必要がある。具体的な方法としては公知の技術を用いれば良いが、例えば適正露出をSDRと揃えるようなトーンマッピングを行うとSDRと比較して明るさを合わせた結果を得ることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記実施形態では、1色成分が8ビットを超える画像データの符号化にHEVCを採用するものとしたが、1色成分当たり8ビットを超える画像を符号化することが可能であれば、特にその種類は問わない。また、上記実施形態ではデジタルカメラに適用するものとして説明したが、撮像機能を有するコンピュータ(スマートフォンやカメラ付きノートPC等)に適用しても構わず、上記実施形態に限定されるものではない。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
50 システム制御部
70 操作部
100 デジタルカメラ
150 レンズユニット
200 記録媒体
300 外部機器

Claims (17)

  1. 撮影モードと再生モードとを切り替え可能な撮像装置であって、
    画像データを取得する撮像手段と、
    前記画像データを現像して、SDR画像データ又はHDR画像データを取得する現像手段と、
    SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換する変換手段と、
    SDR画像データ又はHDR画像データを外部機器に出力する出力手段と、
    前記撮影モードにおける撮影設定を設定する撮影設定手段と、を有し、
    前記撮影設定がSDR画像を撮影する設定である場合に、前記現像手段で取得したSDR画像データを前記変換手段で変換せずに前記出力手段から前記外部機器へ出力し、
    前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応でない場合に、前記現像手段で取得したHDR画像データを前記変換手段でSDR画像データに変換して前記出力手段から前記外部機器へ出力し、
    前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応である場合に、前記現像手段で取得したHDR画像データを前記変換手段で変換せずに前記出力手段から前記外部機器へ出力する
    ことを特徴とする撮像装置。
  2. 記録媒体から再生する画像データを読み出す読み出し手段と、
    前記再生モードにおける再生設定を設定する再生設定手段と、を有する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記再生設定がHDR画像を再生する設定であり且つ前記読み出し手段で読み出した画像データがSDR画像データである場合に、前記読み出し手段で読み出したSDR画像データを前記変換手段でHDR画像データに変換して前記出力手段から前記外部機器へ出力する
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記再生設定がSDR画像を再生する設定であり且つ前記読み出し手段で読み出した画像データがHDR画像データである場合に、前記読み出し手段で読み出したHDR画像データを前記変換手段でSDR画像データに変換して前記出力手段から前記外部機器へ出力する
    ことを特徴とする請求項2又は3に記載の撮像装置。
  5. 前記変換手段は、HDR画像データを第1のSDR画像データ又は前記第1のSDR画像データと輝度範囲が異なる第2のSDR画像データに変換する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応でない場合に、前記現像手段で取得したHDR画像データを前記変換手段で前記第1のSDR画像データ又は前記第2のSDR画像データに変換して前記出力手段から前記外部機器へ出力する
    ことを特徴とする請求項5に記載の撮像装置。
  7. 前記再生設定がSDR画像を再生する設定であり且つ前記読み出し手段で読み出した画像データがHDR画像データである場合に、前記読み出し手段で読み出したHDR画像データを前記変換手段で第1のSDR画像データ又は第2のSDR画像データに変換して前記出力手段から前記外部機器へ出力する
    ことを特徴とする請求項5に記載の撮像装置。
  8. 撮影モードと再生モードとを切り替え可能な撮像装置であって、
    画像データを取得する撮像手段と、
    前記画像データを現像して、SDR画像データ又はHDR画像データを取得する現像手段と、
    SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換する変換手段と、
    SDR画像データ又はHDR画像データを外部機器に出力する出力手段と、
    前記撮影モードにおける撮影設定を設定する撮影設定手段と、
    前記再生モードにおける再生設定を設定する再生設定手段と、を有し、
    前記撮像装置が前記撮影モードのときに、前記撮影設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更し、
    前記撮像装置が前記再生モードのときに、前記再生設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更する
    ことを特徴とする撮像装置。
  9. 前記撮像装置が前記撮影モードのとき、前記撮影設定がSDR画像を撮影する設定である場合には、前記外部機器にSDR画像データを出力し、前記撮影設定がHDR画像を撮影する設定である場合には、前記外部機器にHDR画像データを出力する
    ことを特徴とする請求項8に記載の撮像装置。
  10. 前記撮像装置がクイックレビュー表示処理を実行するとき、前記撮影設定がSDR画像を撮影する設定である場合には、前記外部機器にSDR画像データを出力し、前記撮影設定がHDR画像を撮影する設定である場合には、前記外部機器にHDR画像データを出力する
    ことを特徴とする請求項8又は9に記載の撮像装置。
  11. 前記再生設定手段は、SDR画像を再生する設定、HDR画像を再生する設定及び前記撮影設定に連動する設定のいずれかを前記再生設定として設定する
    ことを特徴とする請求項8乃至10のいずれか1項に記載の撮像装置。
  12. 前記再生設定手段は、前記撮影設定に連動する設定をデフォルトとして設定する
    ことを特徴とする請求項11に記載の撮像装置。
  13. 前記撮像装置が前記再生モードのとき、前記再生設定がSDR画像を再生する設定である場合には、前記外部機器にSDR画像データを出力し、前記再生設定がHDR画像を再生する設定である場合には、前記外部機器にHDR画像データを出力する
    ことを特徴とする請求項8乃至12のいずれか1項に記載の撮像装置。
  14. 前記撮像装置が前記再生モードのとき、前記再生設定手段が前記撮影設定に連動する設定を設定している場合には、前記撮影設定がSDR画像を撮影する設定である場合に前記外部機器にSDR画像データを出力し、前記撮影設定がHDR画像を撮影する設定である場合に前記外部機器にHDR画像データを出力する
    ことを特徴とする請求項8乃至13のいずれか1項に記載の撮像装置。
  15. 撮影モードと再生モードとを切り替え可能な撮像装置を制御する制御方法であって、
    画像データを取得するステップと、
    前記画像データを現像して、SDR画像データ又はHDR画像データを取得するステップと、
    SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換するステップと、
    SDR画像データ又はHDR画像データを外部機器に出力するステップと、
    前記撮影モードにおける撮影設定を設定するステップと、を有し、
    前記撮影設定がSDR画像を撮影する設定である場合に、SDR画像データを変換せずに前記外部機器へ出力し、
    前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応でない場合に、HDR画像データをSDR画像データに変換して前記外部機器へ出力し、
    前記撮影設定がHDR画像を撮影する設定であり且つ前記外部機器がHDR対応である場合に、HDR画像データを変換せずに前記外部機器へ出力する
    ことを特徴とする制御方法。
  16. 撮影モードと再生モードとを切り替え可能な撮像装置を制御する制御方法であって、
    画像データを取得するステップと、
    前記画像データを現像して、SDR画像データ又はHDR画像データを取得するステップと、
    SDR画像データをHDR画像データに、又は、HDR画像データをSDR画像データに変換するステップと、
    SDR画像データ又はHDR画像データを外部機器に出力するステップと、
    前記撮影モードにおける撮影設定を設定するステップと、
    前記再生モードにおける再生設定を設定するステップと、を有し、
    前記撮像装置が前記撮影モードのときに、前記撮影設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更し、
    前記撮像装置が前記再生モードのときに、前記再生設定の変更に応じて、前記外部機器に出力する画像データをSDR画像データ又はHDR画像データに変更する
    ことを特徴とする制御方法。
  17. 請求項15又は16に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019036855A 2019-02-28 2019-02-28 撮像装置及びその制御方法及びプログラム Pending JP2020141334A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019036855A JP2020141334A (ja) 2019-02-28 2019-02-28 撮像装置及びその制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019036855A JP2020141334A (ja) 2019-02-28 2019-02-28 撮像装置及びその制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2020141334A true JP2020141334A (ja) 2020-09-03

Family

ID=72280752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019036855A Pending JP2020141334A (ja) 2019-02-28 2019-02-28 撮像装置及びその制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2020141334A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117383A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 再生装置、情報処理方法、およびプログラム
JP2017117476A (ja) * 2011-09-27 2017-06-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
JP2018512637A (ja) * 2015-02-06 2018-05-17 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像を処理する方法および装置
WO2018092711A1 (ja) * 2016-11-17 2018-05-24 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018125789A (ja) * 2017-02-03 2018-08-09 株式会社リコー 撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117476A (ja) * 2011-09-27 2017-06-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
WO2016117383A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 再生装置、情報処理方法、およびプログラム
JP2018512637A (ja) * 2015-02-06 2018-05-17 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像を処理する方法および装置
WO2018092711A1 (ja) * 2016-11-17 2018-05-24 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018125789A (ja) * 2017-02-03 2018-08-09 株式会社リコー 撮影装置

Similar Documents

Publication Publication Date Title
JP7263053B2 (ja) 撮像装置、画像処理装置、それらの制御方法、プログラム
JP7313893B2 (ja) 撮像装置及び記録制御方法及びプログラム
JP7365133B2 (ja) 通信装置およびその制御方法、プログラム
JP2021124638A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
US11050943B2 (en) Electronic apparatus
JP2024015185A (ja) 撮像装置及びその制御方法及びプログラム
JP7091068B2 (ja) 電子機器
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
CN113491103B (zh) 摄像设备及其控制方法和存储介质
JP2020141334A (ja) 撮像装置及びその制御方法及びプログラム
JP5195317B2 (ja) カメラ装置、及び撮影方法、撮影制御プログラム
JP2010198212A (ja) 画像表示装置、撮像装置、画像表示方法及び画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613