JP2022135222A - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents
撮像装置、撮像装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2022135222A JP2022135222A JP2021034886A JP2021034886A JP2022135222A JP 2022135222 A JP2022135222 A JP 2022135222A JP 2021034886 A JP2021034886 A JP 2021034886A JP 2021034886 A JP2021034886 A JP 2021034886A JP 2022135222 A JP2022135222 A JP 2022135222A
- Authority
- JP
- Japan
- Prior art keywords
- image
- live view
- display
- unit
- view mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 125
- 238000012545 processing Methods 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 54
- 239000004973 liquid crystal related substance Substances 0.000 claims description 16
- 238000004088 simulation Methods 0.000 abstract description 46
- 238000010586 diagram Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Viewfinders (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【課題】高輝度側の視認性が高いライブビュー画像を表示することができる撮像装置を提供する。
【解決手段】デジタルカメラ100は、ライブビュー機能を実現する動作モードとして、記録ライブビューモード及びOVFシミュレーションモードを備える。OVFシミュレーションモードが設定された場合、デジタルカメラ100の撮像部103は、OVFシミュレーションモードにおける露出条件を、判別された適正露出より1段暗い露出条件で撮影する。デジタルカメラ100の画像処理部105は、適正露出との露出条件の差分を補うための階調変換を行う。デジタルカメラ100の画像表示部108は、OVFシミュレーションモードにおける表示輝度を記録ライブビューモードにおける表示輝度より明るく制御する。
【選択図】図8
【解決手段】デジタルカメラ100は、ライブビュー機能を実現する動作モードとして、記録ライブビューモード及びOVFシミュレーションモードを備える。OVFシミュレーションモードが設定された場合、デジタルカメラ100の撮像部103は、OVFシミュレーションモードにおける露出条件を、判別された適正露出より1段暗い露出条件で撮影する。デジタルカメラ100の画像処理部105は、適正露出との露出条件の差分を補うための階調変換を行う。デジタルカメラ100の画像表示部108は、OVFシミュレーションモードにおける表示輝度を記録ライブビューモードにおける表示輝度より明るく制御する。
【選択図】図8
Description
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。
ミラーレスカメラは、撮影画像を確認する機能として、一眼レフカメラが備えるOVF(オプティカルビューファインダ)の代わりに、EVF(エレクトリックビューファインダ)や背面液晶にライブビュー画像を表示するライブビュー機能を備える。OVFでは、光学レンズを通した光をユーザがそのまま見ることができるため、ユーザは、被写体の色や明るさを、カメラのファインダを介さないで見たときと同じように見ることができる。このため、OVFでは、被写体を追いかけながらの撮影や逆光シーン等においても、ユーザは被写体を認識しながら撮影を行うことができる。一方、EVFや背面液晶に表示されるライブビュー画像は、撮像素子によって取得された画像に対して画像処理を施した画像であるため、逆光シーン等において限られたダイナミックレンジの画像となる。このため、逆光シーン等のダイナミックレンジが広いシーンにおいて、EVFや背面液晶では、被写体を追いかけながらの撮影や被写体の表情を見ながらの撮影が難しい。
一般的に、逆光シーンにおいて人物の撮影を行う場合、人物領域を基準とした適正露出で撮影を行うと、背景領域が露出オーバーとなり、逆に背景領域を基準とした適正露出で撮影を行うと、人物領域が暗くなる。このため、逆光シーンにおいて人物の撮影を行う場合、人物領域が適正露出となる露出条件と背景領域が適正露出となる露出条件の中間となる露出条件で撮影を行うことになる。しかし、このような露出条件で撮影された画像は、人物は暗く、また、背景等の高輝度部のコントラストが小さいといった視認性の低い画像となってしまう。そこで、逆光シーン等においても視認性の高い画像を取得可能な技術が求められている。関連する技術として、特許文献1の技術が提案されている。特許文献1では、例えば、撮影した画像に対して低輝度部から高輝度部までの全輝度領域でリニアな特性となる階調変換が行われ、この階調変換が行われた画像が記録される。また、人の目は低中輝度域に対して感度が高いため、この画像をライブビュー画像等として表示する際には、この画像に対して低中輝度域の表示輝度を上げるにように階調変換が行われる。
しかしながら、上述したように画像をライブビュー画像として表示する際に低中輝度域の表示輝度を上げるにように階調変換が行われると、低中輝度域は人の目で見易く調整されるものの、高輝度側の階調が圧縮されるため、高輝度側の視認性が低下してしまうという問題が生じる。
本発明の目的は、高輝度側の視認性が高いライブビュー画像を表示することができる撮像装置、撮像装置の制御方法、及びプログラムを提供することにある。
上記目的を達成するために、本発明の撮像装置は、記録手段と表示手段とを備える撮像装置であって、撮影した被写体からの光を画像信号に変換する撮像手段と、前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備え、ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第1のライブビューモードと異なる第2のライブビューモードが設定された場合、前記撮像手段は、前記第2のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影し、前記画像処理手段は前記適正露出との露出条件の差分を補うための階調変換を行い、前記表示手段は前記第2のライブビューモードにおける表示輝度を前記第1のライブビューモードにおける表示輝度より明るく制御することを特徴とする。
本発明によれば、高輝度側の視認性が高いライブビュー画像を表示する。
以下、本発明の実施の形態について図面を参照しながら詳述する。なお、本実施の形態では、画像処理装置の一例として、撮像装置としてのデジタルカメラに本発明を適用した場合について説明するが、本発明はデジタルカメラに限られない。例えば、パーソナルコンピュータ(PC)、携帯電話、及びタブレット端末といったライブビュー機能を備える装置であっても良い。撮像装置としてのデジタルカメラ100は、ユーザによって設定された撮影設定に従って撮影を行い、撮影した画像を記録する記録モードを備える。撮影設定は、例えば、露出補正値の設定、ダイナミックレンジの設定、ホワイトバランスの設定、色味の設定、コントラストの設定、及び後述する色変換マトリックス係数を設定するための記録設定である。また、デジタルカメラ100は、撮影した画像を記録せずに、後述する撮像部103によって取得した画像信号に基づいてEVFや背面液晶等の後述する画像表示部108にライブビュー画像を表示するライブビュー機能を備える。デジタルカメラ100は、ライブビュー機能を実現する動作モードとして、記録ライブビューモード、及びOVFを模擬したOVFシミュレーションモードを備える。記録ライブビューモードでは、画像の撮影時と同じ撮影設定に従って後述する画像表示部108にライブビュー画像が表示される。OVFシミュレーションモードでは、逆光シーン等のダイナミックレンジの広いシーンに対応したライブビュー画像が後述する画像表示部108に表示される。ユーザは、ライブビュー機能を使用する際に、記録ライブビューモード及びOVFシミュレーションモードの何れか一方を後述する操作部117等によって設定する。
図1は、本発明の実施の形態に係る撮像装置としてのデジタルカメラ100の構成を概略的に示す構成図である。
図1において、デジタルカメラ100は、レンズ群101、シャッター102、撮像部103、A/D変換器104(図1では、単に「A/D」と記す。)、画像処理部105、画像メモリ106、メモリ制御部107、画像表示部108、顔・顔器官検出部109、コーデック部110、システム制御部111、I/F112、測距センサ114、システムメモリ115、不揮発性メモリ116、及び操作部117(受付手段)を備える。
レンズ群101は、ズームレンズ及びフォーカスレンズを含む撮像光学系である。シャッター102は、絞り機能を備える。レンズ群101及びシャッター102を介して入射した光は、撮像部103によって光電変換される。撮像部103は、CCDやCMOS素子等で構成され、光電変換によって得られた電気信号を、アナログ画像信号としてA/D変換器104へ出力する。A/D変換器104は、撮像部103から取得したアナログ画像信号をデジタル画像信号に変換し、当該デジタル画像信号を画像処理部105へ出力する。
画像処理部105は、A/D変換器104から取得したデジタル画像信号で構成される画像データ、又はメモリ制御部107を介して画像メモリ106から読み出された画像データに対し、ホワイトバランス等の色変換処理、階調変換処理、輪郭強調処理、色補正処理等の各種画像処理を施す。画像処理済みの画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。画像メモリ106は、画像処理部105から出力された画像データや、画像表示部108に表示するための画像データを格納する。画像表示部108は、EVFや背面液晶等である。
顔・顔器官検出部109は、撮影された画像から、人物の顔、顔に含まれる目や鼻といった器官、及び顔器官領域を検出する。画像処理部105は、顔・顔器官検出部109による検出結果、測距センサ114による測定結果、及び撮像部103から取得したデジタル画像信号を用いて所定の評価値算出処理を行う。この評価値算出処理によって得られた評価値に基づいてシステム制御部111が露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等が行われる。コーデック部110は、画像メモリ106に格納された画像データをJPEGやMPEG等の規格に基づいて圧縮して符号化する。
システム制御部111は、システムメモリ115や不揮発性メモリ116に格納されたプログラムを実行して、デジタルカメラ100全体を制御する。例えば、システム制御部111は、画像メモリ106に格納された画像データを符号化し、符号化した画像データを、I/F112を介してメモリカードやハードディスク等の記録媒体113に格納する。また、システム制御部111は、I/F112を介して記録媒体113から読み出された画像データをコーデック部110により復号して伸長し、コーデック部110による処理済みの画像データを画像メモリ106に格納する。画像メモリ106に格納された画像データは、画像表示部108に表示される。システムメモリ115は、プログラム等を格納する。不揮発性メモリ116は、プログラムや設定データ等を格納する。操作部117は、ユーザによる設定指示や撮影指示等に対応する各種操作を受け付ける。例えば、操作部117は、ライブビュー機能を使用するユーザから、記録ライブビューモード及びOVFシミュレーションモードの何れかの設定指示を受け付ける。
図2は、図1のデジタルカメラ100による画像処理の流れを説明するためのブロック図である。撮像部103から出力されたアナログ画像信号は、A/D変換器104によってデジタル画像信号に変換され、当該デジタル画像信号が画像処理部105へ出力される。画像処理部105は、取得したデジタル画像信号に基づいて記録用画像データや表示用画像データを生成する。画像処理部105は、記録用画像データをコーデック部110へ出力し、表示用画像データを画像表示部108へ出力する。記録用画像データは、コーデック部110によってエンコードされて記録媒体113に格納される。例えば、SDR(Standard Dynamic Range)静止画はJPEG形式の画像ファイルとして記録媒体113に記録され、HDR(High Dynamic Range)静止画はHEIF形式の画像ファイルとして記録媒体113に記録される。また、動画は、SDR画像、HDR画像共通でMP4等の画像ファイルとして記録媒体113に記録される。画像表示部108は、画像処理部105から取得した表示用画像データをライブビュー画像として表示する。画像表示部108は、上述したようにEVFや背面液晶であり、SDR準拠のsRGB画像を受け取るデバイスである。このような仕様の画像表示部108に対し、画像処理部105は、HDR画像をそのまま出力せず、HDR画像からSDR画像へ変換し、当該SDR画像を出力する。また、本実施の形態では、画像表示部108の他に、HDMI(登録商標)等の外部出力端子を介して接続された外部表示装置に画像を表示させることも可能である。
図3は、図1の画像処理部105の構成を概略的に示すブロック図である。図3において、画像処理部105は、ホワイトバランス乗算部(図3では、「WB乗算部」と記す。)301、色補間部302、色変換部303、階調変換部304、3次元ルックアップテーブル変換部305、色輝度変換部306、及び表示変換部307を備える。これら画像処理部105の構成要素による処理は、システム制御部111がシステムメモリ115や不揮発性メモリ116に格納されたプログラムを実行することによって実現される。
ホワイトバランス乗算部301は、撮像部103から取得したデジタル画像信号(以下、単に「画像信号」という。)にホワイトバランス係数を乗算する。ホワイトバランス係数は、顔検出や白点抽出等の画像解析によって算出されるオートホワイトバランス係数や、ユーザによって設定されたプリセットホワイトバランスモードに基づいて決定されたホワイトバランス係数である。色補間部302は、ホワイトバランス乗算部301による処理後の画像信号に対して色補間処理を施す。色補間処理を行うことで全画素に対応するRGB信号が生成される。色変換部303は、色補間処理後の画像信号で構成される画像データに対して、色変換処理を施す。なお、色変換処理の詳細について後述する。階調変換部304は、階調特性を設定し、色変換処理後の画像データに対して階調変換を行う。3次元ルックアップテーブル変換部305は、階調変換後の画像データに対して、所望の色味に合うように微調整する色変換を行い、また、記録や表示に適したガマットマッピングを行う。色輝度変換部306は、3次元ルックアップテーブル変換部305による処理済みの画像データを構成する画像信号を、3原色信号であるRGB信号から色輝度信号であるYUV信号に変換する。
ユーザが記録モードを設定した場合、画像処理部105は、YUV信号に変換された画像信号をコーデック部110へ出力する。この画像信号で構成される画像データは、コーデック部110によってエンコードされた後、SDR撮影時にはJEPG形式の画像ファイルとして記録媒体113に記録され、HDR撮影時にはHEIF形式の画像ファイルとして記録媒体113に記録される。
ユーザが記録ライブビューモード又はOVFシミュレーションモードを設定した場合、表示変換部307は、YUV信号に変換された画像信号に対し、画像表示部108に適した色変換や階調変換を施す。その後、処理済みの画像信号で構成される表示用画像データがライブビュー画像として画像表示部108に表示される。なお、図3には、表示変換部307が1つのみ記されているが、画像処理部105は、各表示デバイスに対応する複数の表示変換部307を備えている。表示変換部307は、対応する表示デバイスの仕様に適した画像を出力する。このようにして、デジタルカメラ100では、複数の表示デバイスに同時に画像が表示される。
図4は、図3の表示変換部307の構成を概略的に示すブロック図である。図4において、表示変換部307は、YUVRGB変換部401、スケーリング調整部402、逆階調変換部403、最適化階調変換部404、色空間変換部405、ガマットマッピング部406、出力用階調変換部407、及び出力階調調整部408を備える。
YUVRGB変換部401は、色輝度変換部306によってYUV信号に変換された画像信号を、YUV信号からRGB信号に変換する。YUVRGB変換部401は、YUV信号からRGB信号に変換するための変換係数として、画像処理部105に設定された出力色空間に対応する変換係数を用いる。スケーリング調整部402は、RGB信号に変換された画像信号に対して、階調変換部304に設定された階調特性によって取り得る最大値に応じて、出力レンジのスケーリングを行う。
逆階調変換部403は、スケーリング調整部402から取得した画像信号に対し、画像生成時のOETF階調の逆階調変換特性であるEOTFにより逆階調変換を行う。逆階調変換部403では、国際規格であるITU-R BT.2100規格に準拠するPQ方式及びHLG方式のうち、例えば、PQ方式が採用される。最適化階調変換部404は、逆階調変換部403から取得した画像信号に対して、画像表示部108にて最適な表示となる階調変換を行う。色空間変換部405は、色空間がRec.2020の画像信号を最適化階調変換部404から取得し、この画像信号の色空間を、画像表示部108に表示される色空間、例えば、sRGBに変換する。ガマットマッピング部406は、色空間変換部405から取得した画像信号と画像表示部108に表示される色空間に合わせてガマットマッピング処理を行う。
出力用階調変換部407は、ガマットマッピング部406から取得した画像信号に対して、画像表示部108の入力色空間、例えば、sRGBに対応するOETFによる階調変換を行う。出力階調調整部408は、出力用階調変換部407から取得した画像信号を画像表示部108に入力可能なBit数、例えば、sRGBで定義される8Bitとなるように階調数を調整して画像表示部108に出力する。
次に、画像表示部108における表示輝度特性について説明する。画像表示部108は、画像の明るさを制御する表示輝度設定に基づいて、sRGBで定義される8Bitの入力信号に対して階調変換を行う。デジタルカメラ100では、OVFシミュレーションモードによるライブビュー画像の表示時に、デジタルカメラ100によって検出された周辺の明るさ(被写体輝度)に基づいて、表示輝度設定が適切な値に切り替わる。
図5は、図1の画像表示部108における記録ライブビューモード及びOVFシミュレーションモード時の最大表示輝度の一例を示す図である。デジタルカメラ100では、表示輝度設定として、1~5の5段階の設定値のうち、被写体輝度に対応する設定値が設定される。例えば、表示輝度設定の設定値が1段階上がると、画像表示部108の表示輝度が1.75倍明るくなる。記録ライブビューモードとOVFシミュレーションモードにおいて表示輝度設定に同じ設定値が設定された場合、画像表示部108は、記録ライブビューモードにおける表示輝度より、OVFシミュレーションモードにおける表示輝度を、1.75倍、つまり、表示輝度設定の設定値の1段階上昇分明るくなるように制御する。なお、本実施の形態では、記録モードで記録媒体113に記録された画像を画像表示部108に表示する際にも記録ライブビューモードと同じ明るさで当該画像が画像表示部108に表示される。すなわち、記録モードとOVFシミュレーションモードにおいて表示輝度設定に同じ設定値が設定された場合、画像表示部108は、記録媒体113に記録された画像を表示する際の表示輝度より、OVFシミュレーションモードにおける表示輝度を、1.75倍、つまり、表示輝度設定の設定値の1段階上昇分明るくなるように制御する。このような画像表示部108の表示輝度の制御は、システム制御部111がシステムメモリ115や不揮発性メモリ116に格納されたプログラムを実行することによって実現される。
次に、デジタルカメラ100が行う画像形成における撮像部103及び色変換部303の各動作について説明する。撮像部103及び色変換部303の各処理は、システム制御部111がシステムメモリ115や不揮発性メモリ116に格納されたプログラムを実行することによって実現される。
撮像部103は、記録モード又は記録ライブビューモード時には、AE処理による評価結果や解析結果、撮影設定に含まれる露出補正値に基づいて決定された露出条件で撮影を行う。一方、撮像部103は、OVFシミュレーションモード時には、撮影設定に関わらず、シーン解析によって適正と判断された後述する適正露出より1段暗い露出条件にて撮影を行う。
色変換部303は、記録モードにおける本画像の撮影時又は記録ライブビューモード時には、撮影設定に含まれる記録設定に基づいて色変換マトリックス係数を設定する。例えば、色変換部303は、上記記録設定に基づいて、ユーザの好みを反映した色に合うように調整された色変換マトリックス係数、又は出力色空間上で忠実な色となるように調整された色変換マトリックス係数を設定する。ユーザによって出力色空間が変更された場合、色変換マトリックス係数は、ユーザが指定した出力色空間に合わせて変更される。一般的に、SDR用の出力色空間としてsRGBが用いられ、HDR用の出力色空間としてRec.2020が用いられる。SDR用に調整された色変換マトリックス係数に対し、色空間をsRGBからRec.2020に変換する変換係数を乗算することでHDR用の色変換マトリックス係数を算出可能である。Rec.2020の色空間では、sRGBの色空間より広い色空間が定義されている。このため、HDR用の色変換マトリックス係数で変換された画像信号は、SDR用の色変換マトリックス係数で変換された画像信号より広い色域の画像信号となる。一方、色変換部303は、OVFシミュレーションモード時には、HDR撮影に用いられる色変換マトリックス係数、つまり、HDR用の色変換マトリックス係数を設定する。これにより、OVFシミュレーションモードにおいて、より広い色空間のシーンを再現したライブビュー画像を表示することができる。
次に、図3の階調変換部304の階調変換特性について説明する。図6(a)は、階調変換部304に設定される階調特性の一例を示す図である。601は、sRGBで定義される階調特性の一例である。602は、SDR画像の生成時に階調変換部304に設定される階調特性であって適正露出で撮影された際の階調特性の一例である。603は、SDR画像の生成時に階調変換部304に設定される階調特性であって適正露出より1段暗い露出条件で撮影されて階調変換により適正レベルまで持ち上げるために設定される階調特性の一例である。図6(a)において、横軸は被写体の入力輝度に対する反射率(以下、「入力レンジ」という。)を表し、縦軸は出力特性を表す。図6(a)の横軸では、入力レンジ100%の白色の被写体を「1.0」と表し、入力レンジ200%、300%、400%、500%の被写体をそれぞれ「2.0」、「3.0」、「4.0」、「5.0」と表している。
一般的には、入力レンジ18%の被写体の出力輝度が所定の明るさとなるように露出条件が決定される。なお、スポット測光のような撮影領域の1点で露出条件を決定してもよく、また、画面全体の情報や顔領域における特定の部分の明るさに基づいて露出条件を決定してもよい。本実施の形態では、適正露出とは、入力レンジ18%の被写体の出力輝度が所定の明るさとなる露出条件である。また、適正露出輝度とは、適正露出で撮影した画像の表示輝度である。デジタルカメラ100では、SDR撮影時及びHDR撮影時において、入力レンジが200%となる露出条件で撮影を行い、OVFシミュレーションモード時には1段暗く撮影して400%の入力レンジとなる露出条件で撮影を行う。ここで、入力レンジが200%となる露出条件で撮影とは、絞り等を制御することで、入力レンジ18%の被写体を基準として入力レンジ200%の光までが、撮像部103において飽和しないように撮影可能な露出条件にて撮影を行うことである。なお、適正露出で撮影された場合の階調特性(例えば、602を参照。)では、sRGBで定義される階調特性(例えば、601を参照。)より画像のコントラストを上げるために暗部をより黒くして飽和側に階調性を残すようにニー特性が設定される。
上述したように適正露出より1段暗い露出条件で撮影を行い、1段暗く撮影された分を補うための階調特性、具体的に、その分を持ち上げるための階調特性を階調変換部304に設定することで、1段暗く撮影された分を持ち上げた出力特性の画像データを記録することが可能となる。しかし、この出力特性では、例えば、図6(a)の603に示すように、ダイナミックレンジが改善される出力輝度領域が0.8以上となっており、飽和部の階調数が少なく、飽和部の視認性が低い。このため、本実施の形態では、OVFシミュレーションモード時には、HDR撮影が行われる。
図6(b)は、図3の階調変換部304に設定される階調特性の一例を示す図である。604は、SDR撮影時におけるsRGBガンマ設定の階調特性の一例である。605は、HDR撮影時のPQガンマ設定の階調特性の一例である。606は、OVFシミュレーションモード時の階調特性の一例である。図6(b)において、横軸は入力レンジを表し、縦軸は出力特性を表す。例えば、図6(b)において、604は8Bitの出力が縦軸において1.0となる階調特性を示している。
HDR画像は、10Bitで記録媒体113に記録されるため、8Bitで記録されるSDR画像の4倍の階調を持つ。図6(b)では、SDR撮影時の階調特性(例えば、604を参照。)よりHDR撮影時の階調特性(例えば、605を参照。)が、高輝度側において多くの階調数を持っている。さらに、OVFシミュレーションモードの階調特性(例えば、606を参照。)では、適正露出より1段暗い露出条件で撮影して400%の入力レンジで撮影を行い、1段暗く撮影された分を持ち上げるための階調特性を階調変換部304に設定することで、高輝度側の階調数がHDR撮影時の階調特性(例えば、605を参照。)より多く保持される。
図6(c)は、図6(b)の各階調特性に基づいて変換した画像を表示した際の表示輝度特性の一例を示す図である。図6(c)において、横軸は入力レンジを表し、縦軸は表示輝度を表す。sRGBの規格上では、最高輝度が100nitで定義されているため、図6(c)では100nitで表示する際の表示輝度特性を表している。なお、図6(c)ではHDR撮影時の表示輝度値(例えば、608を参照。)及びOVFシミュレーションモード時の表示輝度値(例えば、609を参照。)は、HDRPQ規格に準拠した変換が行われたものが表現されており、HDR規格に対応する表示モニタに出力された場合の出力輝度値が示されている。図6(c)において、SDR撮影時の表示輝度特性(例えば、607を参照。)とHDR撮影時の表示輝度特性(例えば、608を参照。)を比較すると、入力レンジ0%(暗部)から入力レンジ30%まで、同等の特性である。入力レンジ30%を超えると、HDR撮影時の表示輝度特性が、SDR撮影時の表示輝度特性より高い階調性を持っていることがわかる。さらに、OVFシミュレーションモード時の表示輝度特性(例えば、609を参照。)は、HDR撮影時の表示輝度特性より高い階調性を持っていることがわかる。
次に、図3の表示変換部307による処理について説明する。表示変換部307のスケーリング調整部402は、階調変換部304の最大出力値に基づいてスケーリング係数を決定する。本実施の形態では、スケーリング調整部402は、OVFシミュレーションモード時の逆階調変換部403の出力が100nitになるようにスケーリング係数を算出する。例えば、ST.2084に定義されるPQ信号の規定から、10Bit時の100nitの出力が520LSB程度となるため、スケーリング調整部402は、階調変換部304の最大出力値が520LSBとなるようなスケーリング係数を算出する。スケーリング調整部402は、算出したスケーリング係数をRGBの各信号値に乗算する。本実施の形態では、OVFシミュレーションモード時において、適正露出より1段暗い露出条件で撮影が行われるので、階調変換部304の出力値が720LSB程度(PQ変換後では655nit)となり、スケーリング係数は520/720=0.72となる。
図7は、図4のスケーリング調整部402によってスケーリングが行われた画像信号と出力輝度の入出力特性のイメージ図である。図7において、横軸は入力レンジを表し、縦軸は出力輝度値を表している。701は、SDR撮影におけるスケーリング後の出力輝度の一例である。701で示すように、SDR撮影におけるスケーリング後の出力輝度(Nit値)は、RGB=255(8Bit)における画像表示部108の出力輝度値が100Nitとなる。702は、HDR撮影におけるスケーリング後の出力輝度の一例である。701と702を比較すると、HDR撮影では、SDR撮影より高輝度側の階調性が高いものの、低中輝度域においてSDR撮影より暗い。つまり、HDR撮影では、SDR撮影より低中輝度域の視認性が低い。703は、OVFシミュレーションモード時のスケーリング後の出力輝度の一例である。OVFシミュレーションモードでは、上述したように、記録ライブビューモードにおける画像表示部108の表示輝度や、記録モードで記録媒体113に記録された画像を表示する際の画像表示部108の表示輝度より1.75倍明るくなるように制御される。これにより、高輝度側の高い階調性を保ちつつ、低中輝度域を明るくしてOVFシミュレーションモードにおけるライブビュー画像の視認性を向上することができる。
図8(a)は、図4の最適化階調変換部404に設定される表示出力用階調変換特性の一例を示す図である。801は、ガンマ1/1.25の階調変換特性である。本実施の形態では、最適化階調変換部404における明るさを合わせるためのガンマ値は、階調変換部304における入力レンジ18%に対するSDR及びHDRの出力特性、及び上述したスケーリング係数を用いて、入力レンジ18%に対する出力値を計算することで算出してもよい。また、OVFシミュレーションモードと適正露出との露出差分及びパネルの明るさ設定の組み合わせに対して階調変換特性を予め算出しておいてもよい。
図8(b)は、図4の最適化階調変換部404による階調変換後の画像信号と出力輝度の入出力特性のイメージ図である。図8(b)において、横軸は入力レンジを表し、縦軸は出力輝度値を表している。801は、SDR撮影における最適化階調変換部404による階調変換後の出力輝度の一例である。802は、OVFシミュレーションモード時の最適化階調変換部404による階調変換前の出力輝度の一例である。803は、OVFシミュレーションモード時の最適化階調変換部404による階調変換後の出力輝度の一例である。802と803を比較すると、最適化階調変換部404による階調変換前より、低中輝度域がより明るくなり、OVFシミュレーションモードにおけるライブビュー画像の視認性がより向上する。
上述したように、本実施の形態によれば、OVFシミュレーションモードが設定された場合、撮像部103は、OVFシミュレーションモードにおける露出条件を、判別された適正露出より1段暗い露出条件で撮影する。画像処理部105は、適正露出との露出条件の差分を補うための階調変換を行う。画像表示部108は、OVFシミュレーションモードにおける表示輝度を記録ライブビューモードにおける表示輝度より明るく制御する。これにより、高輝度側の階調が圧縮されないライブビュー画像、つまり、高輝度側の視認性が高いライブビュー画像を表示することができる。
また、上述した実施の形態では、画像を記録媒体113に記録する際には10Bitに変換した画像が記録媒体113に記録される。画像を画像表示部108に表示する際には出力階調調整部408によって8Bitに変換した画像が画像表示部108へ出力される。ここで、HDR画像はHDR規格において10Bit以上の階調数で記録されることが求められている。一方、EVF等の表示デバイスは8Bit出力である。これらを考慮して、本実施の形態では、画像を生成する処理において、色輝度変換部306による処理まで高い階調数で画像を生成する。この画像を記録媒体113に記録する際には10Bitに変換した画像を記録媒体113に記録する。一方、この画像を画像表示部108に表示する際には出力階調数調整部326によって8Bitに変換した画像を画像表示部108へ出力する。これにより、高輝度側の視認性が高いライブビュー画像を表示することができ、また、階調性が高い画像を記録媒体113に記録することができる。
上述した実施の形態では、SDR撮影では、画像処理部105によってsRGBに準拠する8Bitの画像が生成される。これにより、画像の表示や記録のために用いられる画像メモリ106の容量を抑えることができる。
また、上述した実施の形態では、OVFシミュレーションモードでは、ユーザによる設定に関わらず、HDR撮影が設定される。これにより、階調性が高い画像データを取得することができ、もって、当該画像データに基づいて階調性が高いライブビュー画像を表示することができる。
さらに、上述した実施の形態では、画像処理部105は、複数の表示デバイスにそれぞれ対応する複数の表示変換部307を備える。これにより、仕様の異なる複数の表示デバイスに最適な画像をそれぞれ提供することができる。その結果、複数の表示デバイスに高輝度側の視認性が高いライブビュー画像を表示させることができる。
上述した実施の形態では、表示変換部307は、処理対象となる画像データの階調数を、対応する表示デバイスに入力可能な階調数に変換する。これにより、対応する表示デバイスの仕様に適した画像を各表示デバイスに提供することができる。
上述した実施の形態では、複数の表示デバイスは、EVF及び背面液晶を含むので、EVF及び背面液晶にそれぞれ高輝度側の視認性が高いライブビュー画像を表示させることができる。
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、逆階調変換部403では、HLG方式が採用されてもよい。
また、上述した実施の形態では、OVFシミュレーションモードにおいて、記録ライブビューモードにおける表示輝度設定の1.75倍の明るさになるように制御したが、これに限られない。例えば、低中輝度域においてSDR撮影と同等の明るさになるように制御しても良い。図9(a)は、図1の画像表示部108における記録ライブビューモード及びOVFシミュレーションモード時の最大表示輝度の一例を示す図である。例えば、図9(a)に示すように、記録ライブビューモードにおける表示輝度設定の4倍の明るさになるように制御する。このように制御することで、例えば、図9(b)に示すように、OVFシミュレーションモード時の表示輝度(例えば、901を参照。)が、低中輝度域において、SDR撮影時の表示輝度(例えば、902を参照。)と同程度となる。これにより、最適化階調変換部404による階調変換を行うことなく、OVFシミュレーションモードにおいて、低中輝度域の視認性が高いライブビュー画像を表示することができる。
また、上述した実施の形態では、画像表示部108にライブビュー画像を表示し、且つHDMI等の外部出力端子を介して接続された外部表示装置にHDR画像を出力しながら、撮影を行っても良い。これにより、HDR対応の外部表示装置であって画像表示部108より大画面の外部表示装置に高輝度側の視認性の高い画像を表示させることができる。
上述した実施の形態では、OVFシミュレーションモード時の露出制御値は、シーン解析によるダイナミックレンジ量に応じて決定されてもよい。露出制御値が撮影設定ではなく、シーン解析に基づいて自動的に決定された場合、決定された露出制御値及び画像表示部108の表示輝度設定に基づいて、階調変換部304や出力用階調変換部407の階調変換特性が調整される。
また、上述した実施の形態では、OVFシミュレーションモードにおいてライブビュー画像を表示中にユーザによって撮影設定の変更を指示する操作がなされた場合には、ユーザが指定した撮影設定に基づいて撮影した画像を記録媒体113に記録しても良い。例えば、OVFシミュレーションモードにおいてライブビュー画像を表示中にユーザが露出補正値を設定した場合、当該露出補正値に基づく露出補正が行われていないライブビュー画像がそのまま表示され、この露出補正値に基づいて撮影された画像データが記録媒体113に記録される。
上述した実施の形態では、上述した高輝度側の視認性を向上したライブビュー画像の表示がEVFにのみ行われ、背面液晶には記録ライブビューモード時に相当するライブビュー画像、つまり、画像の撮影時と同じ撮影設定に基づくライブビュー画像が表示されてもよい。これにより、小さいパネルを覗き込むように見る必要があるEVFにはOVFに近いライブビュー画像を表示し、背面液晶には記録画像と同等の画像を表示することができる。その結果、OVFを持たないミラーレスカメラにおいて一眼レフカメラと同等の使い方が実現可能となる。
また、上述した実施の形態では、デジタルカメラ100は、OVFシミュレーションモードにおいて、EVFの最高輝度を、背面液晶の最高輝度より高くなるように制御してもよい。これにより、小さいパネルを覗き込むように見る必要があるEVFには、背面液晶より視認性が高いライブビュー画像を表示することができ、もって、ユーザの使用感を向上させることができる。
上述した実施の形態では、連写撮影後に記録された画像の表示において、EVFには上述した高輝度側の視認性を向上した画像が表示され、背面液晶には撮影時の撮影設定に従った画像が表示されてもよい。このように制御することで、連写中において視認性の高いライブビュー画像をEVFに表示することが可能となり、ユーザの使用感を向上させることができる。
なお、上述したように、EVFと背面液晶に異なる画像を表示させる制御は、上述した高輝度側の視認性を向上した画像を生成する画像生成手段と、撮影時の撮影設定に基づく画像を生成する他の画像生成手段の両方を備えることで実現可能となる。
本発明は、上述の実施の形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 デジタルカメラ
105 画像処理部
108 画像表示部
111 システム制御部
113 記録媒体
105 画像処理部
108 画像表示部
111 システム制御部
113 記録媒体
Claims (10)
- 記録手段と表示手段とを備える撮像装置であって、
撮影した被写体からの光を画像信号に変換する撮像手段と、
前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、
前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備え、
ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第1のライブビューモードと異なる第2のライブビューモードが設定された場合、前記撮像手段は、前記第2のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影し、前記画像処理手段は前記適正露出との露出条件の差分を補うための階調変換を行い、前記表示手段は前記第2のライブビューモードにおける表示輝度を前記第1のライブビューモードにおける表示輝度より明るく制御することを特徴とする撮像装置。 - SDR(Standard Dynamic Range)撮影及びHDR(High Dynamic Range)撮影の何れかが設定され、
前記第2のライブビューモードでは、ユーザによる設定に関わらず、前記HDR撮影が設定されることを特徴とする請求項1に記載の撮像装置。 - 前記HDR撮影が設定された場合、ITU-R BT.2100規格に準拠するPQ方式及びHLG方式の何れかが用いられることを特徴とする請求項2に記載の撮像装置。
- 前記HDR撮影が設定された場合、前記画像処理装置は、Rec.2020の色空間をsRGBの色空間に変換する変換処理を実行することを特徴とする請求項2又は3に記載の撮像装置。
- 複数の表示手段を備え、
前記画像処理手段は、前記複数の表示手段にそれぞれ対応する複数の表示変換手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 - 前記表示変換手段は、処理対象となる画像データの階調数を、対応する表示手段に入力可能な階調数に変換することを特徴する請求項5に記載の撮像装置。
- 前記複数の表示手段は、EVF及び背面液晶を含むことを特徴とする請求項5又は6に記載の撮像装置。
- 前記第2のライブビューモードにおいて、前記EVFの最高輝度が、前記背面液晶の最高輝度より高くなるように制御することを特徴とする請求項7に記載の撮像装置。
- 記録手段と、表示手段と、制御手段と、撮影した被写体からの光を画像信号に変換する撮像手段と、前記撮像手段によって得られた画像信号で構成される画像データに画像処理を施す画像処理手段と、前記画像処理が施された画像データを前記記録手段に記録せずに前記表示手段に表示するライブビュー機能を実現するための動作モードであるライブビューモードの設定指示を受け付ける受付手段とを備える撮像装置の制御方法であって、
前記制御手段は、
ユーザが設定した撮影設定に基づいて前記画像処理が施された画像データを前記表示手段に表示する第1のライブビューモードと異なる第2のライブビューモードが設定された場合、前記撮像手段に、前記第2のライブビューモードにおける露出条件を、判別された適正露出より暗い露出条件で撮影させ、前記画像処理手段に前記適正露出との露出条件の差分を補うための階調変換を行わせ、前記表示手段に前記第2のライブビューモードにおける表示輝度を前記第1のライブビューモードにおける表示輝度より明るく表示させることを特徴とする撮像装置の制御方法。 - 請求項1乃至8のうち何れか1項に記載の撮像装置の各手段をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034886A JP2022135222A (ja) | 2021-03-05 | 2021-03-05 | 撮像装置、撮像装置の制御方法、及びプログラム |
US17/684,549 US11641525B2 (en) | 2021-03-05 | 2022-03-02 | Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021034886A JP2022135222A (ja) | 2021-03-05 | 2021-03-05 | 撮像装置、撮像装置の制御方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022135222A true JP2022135222A (ja) | 2022-09-15 |
Family
ID=83194158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021034886A Pending JP2022135222A (ja) | 2021-03-05 | 2021-03-05 | 撮像装置、撮像装置の制御方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11641525B2 (ja) |
JP (1) | JP2022135222A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5239881B2 (ja) * | 2008-03-31 | 2013-07-17 | カシオ計算機株式会社 | 画像表示装置、画像表示処理プログラム、及び、画像表示方法 |
JP5701664B2 (ja) * | 2011-04-07 | 2015-04-15 | オリンパス株式会社 | 撮像装置 |
JP6028928B2 (ja) * | 2013-04-16 | 2016-11-24 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP2017163339A (ja) | 2016-03-09 | 2017-09-14 | キヤノン株式会社 | 映像処理装置、映像処理方法、及びプログラム |
JP2018042198A (ja) * | 2016-09-09 | 2018-03-15 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP7190355B2 (ja) * | 2019-01-07 | 2022-12-15 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2021129144A (ja) * | 2020-02-10 | 2021-09-02 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
-
2021
- 2021-03-05 JP JP2021034886A patent/JP2022135222A/ja active Pending
-
2022
- 2022-03-02 US US17/684,549 patent/US11641525B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220294982A1 (en) | 2022-09-15 |
US11641525B2 (en) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412296B2 (en) | Camera using preview image to select exposure | |
TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
JP5412553B2 (ja) | 視覚処理装置、視覚処理方法 | |
KR20060079248A (ko) | 광도 보정 기능을 지닌 촬상장치 및 상 광도의 보정방법 | |
JP2008118383A (ja) | デジタルカメラ | |
JP7157714B2 (ja) | 画像処理装置およびその制御方法 | |
KR20120016475A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP2019071568A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
US10785462B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2022183218A (ja) | 画像処理装置およびその制御方法 | |
JP2019004230A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP2012124652A (ja) | 撮像装置及び画像処理方法 | |
US11641525B2 (en) | Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium | |
JP7257768B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP7332325B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US11778308B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
JP2012129611A (ja) | 撮像装置 | |
JP5091734B2 (ja) | 撮像装置および撮像方法 | |
KR20100096494A (ko) | 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
JP2002209138A (ja) | デジタルカメラ | |
JP6624895B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2021185649A (ja) | 画像処理装置、方法及びプログラム | |
JP2024060345A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240301 |