JP2022135222A

JP2022135222A - 撮像装置、撮像装置の制御方法、及びプログラム

Info

Publication number: JP2022135222A
Application number: JP2021034886A
Authority: JP
Inventors: 貴明福井; Takaaki Fukui
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2022-09-15
Also published as: US20220294982A1; US11641525B2

Abstract

【課題】高輝度側の視認性が高いライブビュー画像を表示することができる撮像装置を提供する。
【解決手段】デジタルカメラ１００は、ライブビュー機能を実現する動作モードとして、記録ライブビューモード及びＯＶＦシミュレーションモードを備える。ＯＶＦシミュレーションモードが設定された場合、デジタルカメラ１００の撮像部１０３は、ＯＶＦシミュレーションモードにおける露出条件を、判別された適正露出より１段暗い露出条件で撮影する。デジタルカメラ１００の画像処理部１０５は、適正露出との露出条件の差分を補うための階調変換を行う。デジタルカメラ１００の画像表示部１０８は、ＯＶＦシミュレーションモードにおける表示輝度を記録ライブビューモードにおける表示輝度より明るく制御する。
【選択図】図８

Description

本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。

ミラーレスカメラは、撮影画像を確認する機能として、一眼レフカメラが備えるＯＶＦ（オプティカルビューファインダ）の代わりに、ＥＶＦ（エレクトリックビューファインダ）や背面液晶にライブビュー画像を表示するライブビュー機能を備える。ＯＶＦでは、光学レンズを通した光をユーザがそのまま見ることができるため、ユーザは、被写体の色や明るさを、カメラのファインダを介さないで見たときと同じように見ることができる。このため、ＯＶＦでは、被写体を追いかけながらの撮影や逆光シーン等においても、ユーザは被写体を認識しながら撮影を行うことができる。一方、ＥＶＦや背面液晶に表示されるライブビュー画像は、撮像素子によって取得された画像に対して画像処理を施した画像であるため、逆光シーン等において限られたダイナミックレンジの画像となる。このため、逆光シーン等のダイナミックレンジが広いシーンにおいて、ＥＶＦや背面液晶では、被写体を追いかけながらの撮影や被写体の表情を見ながらの撮影が難しい。

一般的に、逆光シーンにおいて人物の撮影を行う場合、人物領域を基準とした適正露出で撮影を行うと、背景領域が露出オーバーとなり、逆に背景領域を基準とした適正露出で撮影を行うと、人物領域が暗くなる。このため、逆光シーンにおいて人物の撮影を行う場合、人物領域が適正露出となる露出条件と背景領域が適正露出となる露出条件の中間となる露出条件で撮影を行うことになる。しかし、このような露出条件で撮影された画像は、人物は暗く、また、背景等の高輝度部のコントラストが小さいといった視認性の低い画像となってしまう。そこで、逆光シーン等においても視認性の高い画像を取得可能な技術が求められている。関連する技術として、特許文献１の技術が提案されている。特許文献１では、例えば、撮影した画像に対して低輝度部から高輝度部までの全輝度領域でリニアな特性となる階調変換が行われ、この階調変換が行われた画像が記録される。また、人の目は低中輝度域に対して感度が高いため、この画像をライブビュー画像等として表示する際には、この画像に対して低中輝度域の表示輝度を上げるにように階調変換が行われる。

特開２０１７－１６３３３９号公報

しかしながら、上述したように画像をライブビュー画像として表示する際に低中輝度域の表示輝度を上げるにように階調変換が行われると、低中輝度域は人の目で見易く調整されるものの、高輝度側の階調が圧縮されるため、高輝度側の視認性が低下してしまうという問題が生じる。

本発明の目的は、高輝度側の視認性が高いライブビュー画像を表示することができる撮像装置、撮像装置の制御方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明の撮像装置は、記録手段と表示手段とを備える撮像装置であって、撮影した被写体からの光を画像信号に変換する撮像手段と、前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備え、ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第１のライブビューモードと異なる第２のライブビューモードが設定された場合、前記撮像手段は、前記第２のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影し、前記画像処理手段は前記適正露出との露出条件の差分を補うための階調変換を行い、前記表示手段は前記第２のライブビューモードにおける表示輝度を前記第１のライブビューモードにおける表示輝度より明るく制御することを特徴とする。

本発明によれば、高輝度側の視認性が高いライブビュー画像を表示する。

本発明の実施の形態に係る撮像装置としてのデジタルカメラの構成を概略的に示す構成図である。図１のデジタルカメラによる画像処理の流れを説明するためのブロック図である。図１の画像処理部の構成を概略的に示すブロック図である。図３の表示変換部の構成を概略的に示すブロック図である。図１の画像表示部における記録ライブビューモード及びＯＶＦシミュレーションモード時の最大表示輝度の一例を示す図である。図３の階調変換部の階調変換特性を説明するための図である。図４のスケーリング調整部によってスケーリングが行われた画像信号と出力輝度の入出力特性のイメージ図である。図４の最適化階調変換部による階調変換後の出力輝度を説明するための図である。ＯＶＦシミュレーションモード時の出力輝度を説明するための図である。

以下、本発明の実施の形態について図面を参照しながら詳述する。なお、本実施の形態では、画像処理装置の一例として、撮像装置としてのデジタルカメラに本発明を適用した場合について説明するが、本発明はデジタルカメラに限られない。例えば、パーソナルコンピュータ（ＰＣ）、携帯電話、及びタブレット端末といったライブビュー機能を備える装置であっても良い。撮像装置としてのデジタルカメラ１００は、ユーザによって設定された撮影設定に従って撮影を行い、撮影した画像を記録する記録モードを備える。撮影設定は、例えば、露出補正値の設定、ダイナミックレンジの設定、ホワイトバランスの設定、色味の設定、コントラストの設定、及び後述する色変換マトリックス係数を設定するための記録設定である。また、デジタルカメラ１００は、撮影した画像を記録せずに、後述する撮像部１０３によって取得した画像信号に基づいてＥＶＦや背面液晶等の後述する画像表示部１０８にライブビュー画像を表示するライブビュー機能を備える。デジタルカメラ１００は、ライブビュー機能を実現する動作モードとして、記録ライブビューモード、及びＯＶＦを模擬したＯＶＦシミュレーションモードを備える。記録ライブビューモードでは、画像の撮影時と同じ撮影設定に従って後述する画像表示部１０８にライブビュー画像が表示される。ＯＶＦシミュレーションモードでは、逆光シーン等のダイナミックレンジの広いシーンに対応したライブビュー画像が後述する画像表示部１０８に表示される。ユーザは、ライブビュー機能を使用する際に、記録ライブビューモード及びＯＶＦシミュレーションモードの何れか一方を後述する操作部１１７等によって設定する。

図１は、本発明の実施の形態に係る撮像装置としてのデジタルカメラ１００の構成を概略的に示す構成図である。

図１において、デジタルカメラ１００は、レンズ群１０１、シャッター１０２、撮像部１０３、Ａ／Ｄ変換器１０４（図１では、単に「Ａ／Ｄ」と記す。）、画像処理部１０５、画像メモリ１０６、メモリ制御部１０７、画像表示部１０８、顔・顔器官検出部１０９、コーデック部１１０、システム制御部１１１、Ｉ／Ｆ１１２、測距センサ１１４、システムメモリ１１５、不揮発性メモリ１１６、及び操作部１１７（受付手段）を備える。

レンズ群１０１は、ズームレンズ及びフォーカスレンズを含む撮像光学系である。シャッター１０２は、絞り機能を備える。レンズ群１０１及びシャッター１０２を介して入射した光は、撮像部１０３によって光電変換される。撮像部１０３は、ＣＣＤやＣＭＯＳ素子等で構成され、光電変換によって得られた電気信号を、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から取得したアナログ画像信号をデジタル画像信号に変換し、当該デジタル画像信号を画像処理部１０５へ出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から取得したデジタル画像信号で構成される画像データ、又はメモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランス等の色変換処理、階調変換処理、輪郭強調処理、色補正処理等の各種画像処理を施す。画像処理済みの画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、画像処理部１０５から出力された画像データや、画像表示部１０８に表示するための画像データを格納する。画像表示部１０８は、ＥＶＦや背面液晶等である。

顔・顔器官検出部１０９は、撮影された画像から、人物の顔、顔に含まれる目や鼻といった器官、及び顔器官領域を検出する。画像処理部１０５は、顔・顔器官検出部１０９による検出結果、測距センサ１１４による測定結果、及び撮像部１０３から取得したデジタル画像信号を用いて所定の評価値算出処理を行う。この評価値算出処理によって得られた評価値に基づいてシステム制御部１１１が露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。コーデック部１１０は、画像メモリ１０６に格納された画像データをＪＰＥＧやＭＰＥＧ等の規格に基づいて圧縮して符号化する。

システム制御部１１１は、システムメモリ１１５や不揮発性メモリ１１６に格納されたプログラムを実行して、デジタルカメラ１００全体を制御する。例えば、システム制御部１１１は、画像メモリ１０６に格納された画像データを符号化し、符号化した画像データを、Ｉ／Ｆ１１２を介してメモリカードやハードディスク等の記録媒体１１３に格納する。また、システム制御部１１１は、Ｉ／Ｆ１１２を介して記録媒体１１３から読み出された画像データをコーデック部１１０により復号して伸長し、コーデック部１１０による処理済みの画像データを画像メモリ１０６に格納する。画像メモリ１０６に格納された画像データは、画像表示部１０８に表示される。システムメモリ１１５は、プログラム等を格納する。不揮発性メモリ１１６は、プログラムや設定データ等を格納する。操作部１１７は、ユーザによる設定指示や撮影指示等に対応する各種操作を受け付ける。例えば、操作部１１７は、ライブビュー機能を使用するユーザから、記録ライブビューモード及びＯＶＦシミュレーションモードの何れかの設定指示を受け付ける。

図２は、図１のデジタルカメラ１００による画像処理の流れを説明するためのブロック図である。撮像部１０３から出力されたアナログ画像信号は、Ａ／Ｄ変換器１０４によってデジタル画像信号に変換され、当該デジタル画像信号が画像処理部１０５へ出力される。画像処理部１０５は、取得したデジタル画像信号に基づいて記録用画像データや表示用画像データを生成する。画像処理部１０５は、記録用画像データをコーデック部１１０へ出力し、表示用画像データを画像表示部１０８へ出力する。記録用画像データは、コーデック部１１０によってエンコードされて記録媒体１１３に格納される。例えば、ＳＤＲ（Standard Dynamic Range）静止画はＪＰＥＧ形式の画像ファイルとして記録媒体１１３に記録され、ＨＤＲ（High Dynamic Range）静止画はＨＥＩＦ形式の画像ファイルとして記録媒体１１３に記録される。また、動画は、ＳＤＲ画像、ＨＤＲ画像共通でＭＰ４等の画像ファイルとして記録媒体１１３に記録される。画像表示部１０８は、画像処理部１０５から取得した表示用画像データをライブビュー画像として表示する。画像表示部１０８は、上述したようにＥＶＦや背面液晶であり、ＳＤＲ準拠のｓＲＧＢ画像を受け取るデバイスである。このような仕様の画像表示部１０８に対し、画像処理部１０５は、ＨＤＲ画像をそのまま出力せず、ＨＤＲ画像からＳＤＲ画像へ変換し、当該ＳＤＲ画像を出力する。また、本実施の形態では、画像表示部１０８の他に、ＨＤＭＩ（登録商標）等の外部出力端子を介して接続された外部表示装置に画像を表示させることも可能である。

図３は、図１の画像処理部１０５の構成を概略的に示すブロック図である。図３において、画像処理部１０５は、ホワイトバランス乗算部（図３では、「ＷＢ乗算部」と記す。）３０１、色補間部３０２、色変換部３０３、階調変換部３０４、３次元ルックアップテーブル変換部３０５、色輝度変換部３０６、及び表示変換部３０７を備える。これら画像処理部１０５の構成要素による処理は、システム制御部１１１がシステムメモリ１１５や不揮発性メモリ１１６に格納されたプログラムを実行することによって実現される。

ホワイトバランス乗算部３０１は、撮像部１０３から取得したデジタル画像信号（以下、単に「画像信号」という。）にホワイトバランス係数を乗算する。ホワイトバランス係数は、顔検出や白点抽出等の画像解析によって算出されるオートホワイトバランス係数や、ユーザによって設定されたプリセットホワイトバランスモードに基づいて決定されたホワイトバランス係数である。色補間部３０２は、ホワイトバランス乗算部３０１による処理後の画像信号に対して色補間処理を施す。色補間処理を行うことで全画素に対応するＲＧＢ信号が生成される。色変換部３０３は、色補間処理後の画像信号で構成される画像データに対して、色変換処理を施す。なお、色変換処理の詳細について後述する。階調変換部３０４は、階調特性を設定し、色変換処理後の画像データに対して階調変換を行う。３次元ルックアップテーブル変換部３０５は、階調変換後の画像データに対して、所望の色味に合うように微調整する色変換を行い、また、記録や表示に適したガマットマッピングを行う。色輝度変換部３０６は、３次元ルックアップテーブル変換部３０５による処理済みの画像データを構成する画像信号を、３原色信号であるＲＧＢ信号から色輝度信号であるＹＵＶ信号に変換する。

ユーザが記録モードを設定した場合、画像処理部１０５は、ＹＵＶ信号に変換された画像信号をコーデック部１１０へ出力する。この画像信号で構成される画像データは、コーデック部１１０によってエンコードされた後、ＳＤＲ撮影時にはＪＥＰＧ形式の画像ファイルとして記録媒体１１３に記録され、ＨＤＲ撮影時にはＨＥＩＦ形式の画像ファイルとして記録媒体１１３に記録される。

ユーザが記録ライブビューモード又はＯＶＦシミュレーションモードを設定した場合、表示変換部３０７は、ＹＵＶ信号に変換された画像信号に対し、画像表示部１０８に適した色変換や階調変換を施す。その後、処理済みの画像信号で構成される表示用画像データがライブビュー画像として画像表示部１０８に表示される。なお、図３には、表示変換部３０７が１つのみ記されているが、画像処理部１０５は、各表示デバイスに対応する複数の表示変換部３０７を備えている。表示変換部３０７は、対応する表示デバイスの仕様に適した画像を出力する。このようにして、デジタルカメラ１００では、複数の表示デバイスに同時に画像が表示される。

図４は、図３の表示変換部３０７の構成を概略的に示すブロック図である。図４において、表示変換部３０７は、ＹＵＶＲＧＢ変換部４０１、スケーリング調整部４０２、逆階調変換部４０３、最適化階調変換部４０４、色空間変換部４０５、ガマットマッピング部４０６、出力用階調変換部４０７、及び出力階調調整部４０８を備える。

ＹＵＶＲＧＢ変換部４０１は、色輝度変換部３０６によってＹＵＶ信号に変換された画像信号を、ＹＵＶ信号からＲＧＢ信号に変換する。ＹＵＶＲＧＢ変換部４０１は、ＹＵＶ信号からＲＧＢ信号に変換するための変換係数として、画像処理部１０５に設定された出力色空間に対応する変換係数を用いる。スケーリング調整部４０２は、ＲＧＢ信号に変換された画像信号に対して、階調変換部３０４に設定された階調特性によって取り得る最大値に応じて、出力レンジのスケーリングを行う。

逆階調変換部４０３は、スケーリング調整部４０２から取得した画像信号に対し、画像生成時のＯＥＴＦ階調の逆階調変換特性であるＥＯＴＦにより逆階調変換を行う。逆階調変換部４０３では、国際規格であるＩＴＵ－ＲＢＴ．２１００規格に準拠するＰＱ方式及びＨＬＧ方式のうち、例えば、ＰＱ方式が採用される。最適化階調変換部４０４は、逆階調変換部４０３から取得した画像信号に対して、画像表示部１０８にて最適な表示となる階調変換を行う。色空間変換部４０５は、色空間がＲｅｃ．２０２０の画像信号を最適化階調変換部４０４から取得し、この画像信号の色空間を、画像表示部１０８に表示される色空間、例えば、ｓＲＧＢに変換する。ガマットマッピング部４０６は、色空間変換部４０５から取得した画像信号と画像表示部１０８に表示される色空間に合わせてガマットマッピング処理を行う。

出力用階調変換部４０７は、ガマットマッピング部４０６から取得した画像信号に対して、画像表示部１０８の入力色空間、例えば、ｓＲＧＢに対応するＯＥＴＦによる階調変換を行う。出力階調調整部４０８は、出力用階調変換部４０７から取得した画像信号を画像表示部１０８に入力可能なＢｉｔ数、例えば、ｓＲＧＢで定義される８Ｂｉｔとなるように階調数を調整して画像表示部１０８に出力する。

次に、画像表示部１０８における表示輝度特性について説明する。画像表示部１０８は、画像の明るさを制御する表示輝度設定に基づいて、ｓＲＧＢで定義される８Ｂｉｔの入力信号に対して階調変換を行う。デジタルカメラ１００では、ＯＶＦシミュレーションモードによるライブビュー画像の表示時に、デジタルカメラ１００によって検出された周辺の明るさ（被写体輝度）に基づいて、表示輝度設定が適切な値に切り替わる。

図５は、図１の画像表示部１０８における記録ライブビューモード及びＯＶＦシミュレーションモード時の最大表示輝度の一例を示す図である。デジタルカメラ１００では、表示輝度設定として、１～５の５段階の設定値のうち、被写体輝度に対応する設定値が設定される。例えば、表示輝度設定の設定値が１段階上がると、画像表示部１０８の表示輝度が１．７５倍明るくなる。記録ライブビューモードとＯＶＦシミュレーションモードにおいて表示輝度設定に同じ設定値が設定された場合、画像表示部１０８は、記録ライブビューモードにおける表示輝度より、ＯＶＦシミュレーションモードにおける表示輝度を、１．７５倍、つまり、表示輝度設定の設定値の１段階上昇分明るくなるように制御する。なお、本実施の形態では、記録モードで記録媒体１１３に記録された画像を画像表示部１０８に表示する際にも記録ライブビューモードと同じ明るさで当該画像が画像表示部１０８に表示される。すなわち、記録モードとＯＶＦシミュレーションモードにおいて表示輝度設定に同じ設定値が設定された場合、画像表示部１０８は、記録媒体１１３に記録された画像を表示する際の表示輝度より、ＯＶＦシミュレーションモードにおける表示輝度を、１．７５倍、つまり、表示輝度設定の設定値の１段階上昇分明るくなるように制御する。このような画像表示部１０８の表示輝度の制御は、システム制御部１１１がシステムメモリ１１５や不揮発性メモリ１１６に格納されたプログラムを実行することによって実現される。

次に、デジタルカメラ１００が行う画像形成における撮像部１０３及び色変換部３０３の各動作について説明する。撮像部１０３及び色変換部３０３の各処理は、システム制御部１１１がシステムメモリ１１５や不揮発性メモリ１１６に格納されたプログラムを実行することによって実現される。

撮像部１０３は、記録モード又は記録ライブビューモード時には、ＡＥ処理による評価結果や解析結果、撮影設定に含まれる露出補正値に基づいて決定された露出条件で撮影を行う。一方、撮像部１０３は、ＯＶＦシミュレーションモード時には、撮影設定に関わらず、シーン解析によって適正と判断された後述する適正露出より１段暗い露出条件にて撮影を行う。

色変換部３０３は、記録モードにおける本画像の撮影時又は記録ライブビューモード時には、撮影設定に含まれる記録設定に基づいて色変換マトリックス係数を設定する。例えば、色変換部３０３は、上記記録設定に基づいて、ユーザの好みを反映した色に合うように調整された色変換マトリックス係数、又は出力色空間上で忠実な色となるように調整された色変換マトリックス係数を設定する。ユーザによって出力色空間が変更された場合、色変換マトリックス係数は、ユーザが指定した出力色空間に合わせて変更される。一般的に、ＳＤＲ用の出力色空間としてｓＲＧＢが用いられ、ＨＤＲ用の出力色空間としてＲｅｃ．２０２０が用いられる。ＳＤＲ用に調整された色変換マトリックス係数に対し、色空間をｓＲＧＢからＲｅｃ.２０２０に変換する変換係数を乗算することでＨＤＲ用の色変換マトリックス係数を算出可能である。Ｒｅｃ．２０２０の色空間では、ｓＲＧＢの色空間より広い色空間が定義されている。このため、ＨＤＲ用の色変換マトリックス係数で変換された画像信号は、ＳＤＲ用の色変換マトリックス係数で変換された画像信号より広い色域の画像信号となる。一方、色変換部３０３は、ＯＶＦシミュレーションモード時には、ＨＤＲ撮影に用いられる色変換マトリックス係数、つまり、ＨＤＲ用の色変換マトリックス係数を設定する。これにより、ＯＶＦシミュレーションモードにおいて、より広い色空間のシーンを再現したライブビュー画像を表示することができる。

次に、図３の階調変換部３０４の階調変換特性について説明する。図６（ａ）は、階調変換部３０４に設定される階調特性の一例を示す図である。６０１は、ｓＲＧＢで定義される階調特性の一例である。６０２は、ＳＤＲ画像の生成時に階調変換部３０４に設定される階調特性であって適正露出で撮影された際の階調特性の一例である。６０３は、ＳＤＲ画像の生成時に階調変換部３０４に設定される階調特性であって適正露出より１段暗い露出条件で撮影されて階調変換により適正レベルまで持ち上げるために設定される階調特性の一例である。図６（ａ）において、横軸は被写体の入力輝度に対する反射率（以下、「入力レンジ」という。）を表し、縦軸は出力特性を表す。図６（ａ）の横軸では、入力レンジ１００％の白色の被写体を「１．０」と表し、入力レンジ２００％、３００％、４００％、５００％の被写体をそれぞれ「２．０」、「３．０」、「４．０」、「５．０」と表している。

一般的には、入力レンジ１８％の被写体の出力輝度が所定の明るさとなるように露出条件が決定される。なお、スポット測光のような撮影領域の１点で露出条件を決定してもよく、また、画面全体の情報や顔領域における特定の部分の明るさに基づいて露出条件を決定してもよい。本実施の形態では、適正露出とは、入力レンジ１８％の被写体の出力輝度が所定の明るさとなる露出条件である。また、適正露出輝度とは、適正露出で撮影した画像の表示輝度である。デジタルカメラ１００では、ＳＤＲ撮影時及びＨＤＲ撮影時において、入力レンジが２００％となる露出条件で撮影を行い、ＯＶＦシミュレーションモード時には１段暗く撮影して４００％の入力レンジとなる露出条件で撮影を行う。ここで、入力レンジが２００％となる露出条件で撮影とは、絞り等を制御することで、入力レンジ１８％の被写体を基準として入力レンジ２００％の光までが、撮像部１０３において飽和しないように撮影可能な露出条件にて撮影を行うことである。なお、適正露出で撮影された場合の階調特性（例えば、６０２を参照。）では、ｓＲＧＢで定義される階調特性（例えば、６０１を参照。）より画像のコントラストを上げるために暗部をより黒くして飽和側に階調性を残すようにニー特性が設定される。

上述したように適正露出より１段暗い露出条件で撮影を行い、１段暗く撮影された分を補うための階調特性、具体的に、その分を持ち上げるための階調特性を階調変換部３０４に設定することで、１段暗く撮影された分を持ち上げた出力特性の画像データを記録することが可能となる。しかし、この出力特性では、例えば、図６（ａ）の６０３に示すように、ダイナミックレンジが改善される出力輝度領域が０．８以上となっており、飽和部の階調数が少なく、飽和部の視認性が低い。このため、本実施の形態では、ＯＶＦシミュレーションモード時には、ＨＤＲ撮影が行われる。

図６（ｂ）は、図３の階調変換部３０４に設定される階調特性の一例を示す図である。６０４は、ＳＤＲ撮影時におけるｓＲＧＢガンマ設定の階調特性の一例である。６０５は、ＨＤＲ撮影時のＰＱガンマ設定の階調特性の一例である。６０６は、ＯＶＦシミュレーションモード時の階調特性の一例である。図６（ｂ）において、横軸は入力レンジを表し、縦軸は出力特性を表す。例えば、図６（ｂ）において、６０４は８Ｂｉｔの出力が縦軸において１．０となる階調特性を示している。

ＨＤＲ画像は、１０Ｂｉｔで記録媒体１１３に記録されるため、８Ｂｉｔで記録されるＳＤＲ画像の４倍の階調を持つ。図６（ｂ）では、ＳＤＲ撮影時の階調特性（例えば、６０４を参照。）よりＨＤＲ撮影時の階調特性（例えば、６０５を参照。）が、高輝度側において多くの階調数を持っている。さらに、ＯＶＦシミュレーションモードの階調特性（例えば、６０６を参照。）では、適正露出より１段暗い露出条件で撮影して４００％の入力レンジで撮影を行い、１段暗く撮影された分を持ち上げるための階調特性を階調変換部３０４に設定することで、高輝度側の階調数がＨＤＲ撮影時の階調特性（例えば、６０５を参照。）より多く保持される。

図６（ｃ）は、図６（ｂ）の各階調特性に基づいて変換した画像を表示した際の表示輝度特性の一例を示す図である。図６（ｃ）において、横軸は入力レンジを表し、縦軸は表示輝度を表す。ｓＲＧＢの規格上では、最高輝度が１００ｎｉｔで定義されているため、図６（ｃ）では１００ｎｉｔで表示する際の表示輝度特性を表している。なお、図６（ｃ）ではＨＤＲ撮影時の表示輝度値（例えば、６０８を参照。）及びＯＶＦシミュレーションモード時の表示輝度値（例えば、６０９を参照。）は、ＨＤＲＰＱ規格に準拠した変換が行われたものが表現されており、ＨＤＲ規格に対応する表示モニタに出力された場合の出力輝度値が示されている。図６（ｃ）において、ＳＤＲ撮影時の表示輝度特性（例えば、６０７を参照。）とＨＤＲ撮影時の表示輝度特性（例えば、６０８を参照。）を比較すると、入力レンジ０％（暗部）から入力レンジ３０％まで、同等の特性である。入力レンジ３０％を超えると、ＨＤＲ撮影時の表示輝度特性が、ＳＤＲ撮影時の表示輝度特性より高い階調性を持っていることがわかる。さらに、ＯＶＦシミュレーションモード時の表示輝度特性（例えば、６０９を参照。）は、ＨＤＲ撮影時の表示輝度特性より高い階調性を持っていることがわかる。

次に、図３の表示変換部３０７による処理について説明する。表示変換部３０７のスケーリング調整部４０２は、階調変換部３０４の最大出力値に基づいてスケーリング係数を決定する。本実施の形態では、スケーリング調整部４０２は、ＯＶＦシミュレーションモード時の逆階調変換部４０３の出力が１００ｎｉｔになるようにスケーリング係数を算出する。例えば、ＳＴ．２０８４に定義されるＰＱ信号の規定から、１０Ｂｉｔ時の１００ｎｉｔの出力が５２０ＬＳＢ程度となるため、スケーリング調整部４０２は、階調変換部３０４の最大出力値が５２０ＬＳＢとなるようなスケーリング係数を算出する。スケーリング調整部４０２は、算出したスケーリング係数をＲＧＢの各信号値に乗算する。本実施の形態では、ＯＶＦシミュレーションモード時において、適正露出より１段暗い露出条件で撮影が行われるので、階調変換部３０４の出力値が７２０ＬＳＢ程度（ＰＱ変換後では６５５ｎｉｔ）となり、スケーリング係数は５２０／７２０＝０．７２となる。

図７は、図４のスケーリング調整部４０２によってスケーリングが行われた画像信号と出力輝度の入出力特性のイメージ図である。図７において、横軸は入力レンジを表し、縦軸は出力輝度値を表している。７０１は、ＳＤＲ撮影におけるスケーリング後の出力輝度の一例である。７０１で示すように、ＳＤＲ撮影におけるスケーリング後の出力輝度（Ｎｉｔ値）は、ＲＧＢ＝２５５（８Ｂｉｔ）における画像表示部１０８の出力輝度値が１００Ｎｉｔとなる。７０２は、ＨＤＲ撮影におけるスケーリング後の出力輝度の一例である。７０１と７０２を比較すると、ＨＤＲ撮影では、ＳＤＲ撮影より高輝度側の階調性が高いものの、低中輝度域においてＳＤＲ撮影より暗い。つまり、ＨＤＲ撮影では、ＳＤＲ撮影より低中輝度域の視認性が低い。７０３は、ＯＶＦシミュレーションモード時のスケーリング後の出力輝度の一例である。ＯＶＦシミュレーションモードでは、上述したように、記録ライブビューモードにおける画像表示部１０８の表示輝度や、記録モードで記録媒体１１３に記録された画像を表示する際の画像表示部１０８の表示輝度より１．７５倍明るくなるように制御される。これにより、高輝度側の高い階調性を保ちつつ、低中輝度域を明るくしてＯＶＦシミュレーションモードにおけるライブビュー画像の視認性を向上することができる。

図８（ａ）は、図４の最適化階調変換部４０４に設定される表示出力用階調変換特性の一例を示す図である。８０１は、ガンマ１／１．２５の階調変換特性である。本実施の形態では、最適化階調変換部４０４における明るさを合わせるためのガンマ値は、階調変換部３０４における入力レンジ１８％に対するＳＤＲ及びＨＤＲの出力特性、及び上述したスケーリング係数を用いて、入力レンジ１８％に対する出力値を計算することで算出してもよい。また、ＯＶＦシミュレーションモードと適正露出との露出差分及びパネルの明るさ設定の組み合わせに対して階調変換特性を予め算出しておいてもよい。

図８（ｂ）は、図４の最適化階調変換部４０４による階調変換後の画像信号と出力輝度の入出力特性のイメージ図である。図８（ｂ）において、横軸は入力レンジを表し、縦軸は出力輝度値を表している。８０１は、ＳＤＲ撮影における最適化階調変換部４０４による階調変換後の出力輝度の一例である。８０２は、ＯＶＦシミュレーションモード時の最適化階調変換部４０４による階調変換前の出力輝度の一例である。８０３は、ＯＶＦシミュレーションモード時の最適化階調変換部４０４による階調変換後の出力輝度の一例である。８０２と８０３を比較すると、最適化階調変換部４０４による階調変換前より、低中輝度域がより明るくなり、ＯＶＦシミュレーションモードにおけるライブビュー画像の視認性がより向上する。

上述したように、本実施の形態によれば、ＯＶＦシミュレーションモードが設定された場合、撮像部１０３は、ＯＶＦシミュレーションモードにおける露出条件を、判別された適正露出より１段暗い露出条件で撮影する。画像処理部１０５は、適正露出との露出条件の差分を補うための階調変換を行う。画像表示部１０８は、ＯＶＦシミュレーションモードにおける表示輝度を記録ライブビューモードにおける表示輝度より明るく制御する。これにより、高輝度側の階調が圧縮されないライブビュー画像、つまり、高輝度側の視認性が高いライブビュー画像を表示することができる。

また、上述した実施の形態では、画像を記録媒体１１３に記録する際には１０Ｂｉｔに変換した画像が記録媒体１１３に記録される。画像を画像表示部１０８に表示する際には出力階調調整部４０８によって８Ｂｉｔに変換した画像が画像表示部１０８へ出力される。ここで、ＨＤＲ画像はＨＤＲ規格において１０Ｂｉｔ以上の階調数で記録されることが求められている。一方、ＥＶＦ等の表示デバイスは８Ｂｉｔ出力である。これらを考慮して、本実施の形態では、画像を生成する処理において、色輝度変換部３０６による処理まで高い階調数で画像を生成する。この画像を記録媒体１１３に記録する際には１０Ｂｉｔに変換した画像を記録媒体１１３に記録する。一方、この画像を画像表示部１０８に表示する際には出力階調数調整部３２６によって８Ｂｉｔに変換した画像を画像表示部１０８へ出力する。これにより、高輝度側の視認性が高いライブビュー画像を表示することができ、また、階調性が高い画像を記録媒体１１３に記録することができる。

上述した実施の形態では、ＳＤＲ撮影では、画像処理部１０５によってｓＲＧＢに準拠する８Ｂｉｔの画像が生成される。これにより、画像の表示や記録のために用いられる画像メモリ１０６の容量を抑えることができる。

また、上述した実施の形態では、ＯＶＦシミュレーションモードでは、ユーザによる設定に関わらず、ＨＤＲ撮影が設定される。これにより、階調性が高い画像データを取得することができ、もって、当該画像データに基づいて階調性が高いライブビュー画像を表示することができる。

さらに、上述した実施の形態では、画像処理部１０５は、複数の表示デバイスにそれぞれ対応する複数の表示変換部３０７を備える。これにより、仕様の異なる複数の表示デバイスに最適な画像をそれぞれ提供することができる。その結果、複数の表示デバイスに高輝度側の視認性が高いライブビュー画像を表示させることができる。

上述した実施の形態では、表示変換部３０７は、処理対象となる画像データの階調数を、対応する表示デバイスに入力可能な階調数に変換する。これにより、対応する表示デバイスの仕様に適した画像を各表示デバイスに提供することができる。

上述した実施の形態では、複数の表示デバイスは、ＥＶＦ及び背面液晶を含むので、ＥＶＦ及び背面液晶にそれぞれ高輝度側の視認性が高いライブビュー画像を表示させることができる。

以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、逆階調変換部４０３では、ＨＬＧ方式が採用されてもよい。

また、上述した実施の形態では、ＯＶＦシミュレーションモードにおいて、記録ライブビューモードにおける表示輝度設定の１．７５倍の明るさになるように制御したが、これに限られない。例えば、低中輝度域においてＳＤＲ撮影と同等の明るさになるように制御しても良い。図９（ａ）は、図１の画像表示部１０８における記録ライブビューモード及びＯＶＦシミュレーションモード時の最大表示輝度の一例を示す図である。例えば、図９（ａ）に示すように、記録ライブビューモードにおける表示輝度設定の４倍の明るさになるように制御する。このように制御することで、例えば、図９（ｂ）に示すように、ＯＶＦシミュレーションモード時の表示輝度（例えば、９０１を参照。）が、低中輝度域において、ＳＤＲ撮影時の表示輝度（例えば、９０２を参照。）と同程度となる。これにより、最適化階調変換部４０４による階調変換を行うことなく、ＯＶＦシミュレーションモードにおいて、低中輝度域の視認性が高いライブビュー画像を表示することができる。

また、上述した実施の形態では、画像表示部１０８にライブビュー画像を表示し、且つＨＤＭＩ等の外部出力端子を介して接続された外部表示装置にＨＤＲ画像を出力しながら、撮影を行っても良い。これにより、ＨＤＲ対応の外部表示装置であって画像表示部１０８より大画面の外部表示装置に高輝度側の視認性の高い画像を表示させることができる。

上述した実施の形態では、ＯＶＦシミュレーションモード時の露出制御値は、シーン解析によるダイナミックレンジ量に応じて決定されてもよい。露出制御値が撮影設定ではなく、シーン解析に基づいて自動的に決定された場合、決定された露出制御値及び画像表示部１０８の表示輝度設定に基づいて、階調変換部３０４や出力用階調変換部４０７の階調変換特性が調整される。

また、上述した実施の形態では、ＯＶＦシミュレーションモードにおいてライブビュー画像を表示中にユーザによって撮影設定の変更を指示する操作がなされた場合には、ユーザが指定した撮影設定に基づいて撮影した画像を記録媒体１１３に記録しても良い。例えば、ＯＶＦシミュレーションモードにおいてライブビュー画像を表示中にユーザが露出補正値を設定した場合、当該露出補正値に基づく露出補正が行われていないライブビュー画像がそのまま表示され、この露出補正値に基づいて撮影された画像データが記録媒体１１３に記録される。

上述した実施の形態では、上述した高輝度側の視認性を向上したライブビュー画像の表示がＥＶＦにのみ行われ、背面液晶には記録ライブビューモード時に相当するライブビュー画像、つまり、画像の撮影時と同じ撮影設定に基づくライブビュー画像が表示されてもよい。これにより、小さいパネルを覗き込むように見る必要があるＥＶＦにはＯＶＦに近いライブビュー画像を表示し、背面液晶には記録画像と同等の画像を表示することができる。その結果、ＯＶＦを持たないミラーレスカメラにおいて一眼レフカメラと同等の使い方が実現可能となる。

また、上述した実施の形態では、デジタルカメラ１００は、ＯＶＦシミュレーションモードにおいて、ＥＶＦの最高輝度を、背面液晶の最高輝度より高くなるように制御してもよい。これにより、小さいパネルを覗き込むように見る必要があるＥＶＦには、背面液晶より視認性が高いライブビュー画像を表示することができ、もって、ユーザの使用感を向上させることができる。

上述した実施の形態では、連写撮影後に記録された画像の表示において、ＥＶＦには上述した高輝度側の視認性を向上した画像が表示され、背面液晶には撮影時の撮影設定に従った画像が表示されてもよい。このように制御することで、連写中において視認性の高いライブビュー画像をＥＶＦに表示することが可能となり、ユーザの使用感を向上させることができる。

なお、上述したように、ＥＶＦと背面液晶に異なる画像を表示させる制御は、上述した高輝度側の視認性を向上した画像を生成する画像生成手段と、撮影時の撮影設定に基づく画像を生成する他の画像生成手段の両方を備えることで実現可能となる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００デジタルカメラ
１０５画像処理部
１０８画像表示部
１１１システム制御部
１１３記録媒体

Claims

記録手段と表示手段とを備える撮像装置であって、
撮影した被写体からの光を画像信号に変換する撮像手段と、
前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、
前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備え、
ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第１のライブビューモードと異なる第２のライブビューモードが設定された場合、前記撮像手段は、前記第２のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影し、前記画像処理手段は前記適正露出との露出条件の差分を補うための階調変換を行い、前記表示手段は前記第２のライブビューモードにおける表示輝度を前記第１のライブビューモードにおける表示輝度より明るく制御することを特徴とする撮像装置。
ＳＤＲ（Standard Dynamic Range）撮影及びＨＤＲ（High Dynamic Range）撮影の何れかが設定され、
前記第２のライブビューモードでは、ユーザによる設定に関わらず、前記ＨＤＲ撮影が設定されることを特徴とする請求項１に記載の撮像装置。
前記ＨＤＲ撮影が設定された場合、ＩＴＵ－ＲＢＴ．２１００規格に準拠するＰＱ方式及びＨＬＧ方式の何れかが用いられることを特徴とする請求項２に記載の撮像装置。
前記ＨＤＲ撮影が設定された場合、前記画像処理装置は、Ｒｅｃ．２０２０の色空間をｓＲＧＢの色空間に変換する変換処理を実行することを特徴とする請求項２又は３に記載の撮像装置。
複数の表示手段を備え、
前記画像処理手段は、前記複数の表示手段にそれぞれ対応する複数の表示変換手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記表示変換手段は、処理対象となる画像データの階調数を、対応する表示手段に入力可能な階調数に変換することを特徴する請求項５に記載の撮像装置。
前記複数の表示手段は、ＥＶＦ及び背面液晶を含むことを特徴とする請求項５又は６に記載の撮像装置。
前記第２のライブビューモードにおいて、前記ＥＶＦの最高輝度が、前記背面液晶の最高輝度より高くなるように制御することを特徴とする請求項７に記載の撮像装置。
記録手段と、表示手段と、制御手段と、撮影した被写体からの光を画像信号に変換する撮像手段と、前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備える撮像装置の制御方法であって、
前記制御手段は、
ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第１のライブビューモードと異なる第２のライブビューモードが設定された場合、前記撮像手段に、前記第２のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影させ、前記画像処理手段に前記適正露出との露出条件の差分を補うための階調変換を行わせ、前記表示手段に前記第２のライブビューモードにおける表示輝度を前記第１のライブビューモードにおける表示輝度より明るく表示させることを特徴とする撮像装置の制御方法。
請求項１乃至８のうち何れか１項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。