JP2016134862A - 撮像装置、撮像方法、画像表示装置、およびプログラム - Google Patents

撮像装置、撮像方法、画像表示装置、およびプログラム Download PDF

Info

Publication number
JP2016134862A
JP2016134862A JP2015009863A JP2015009863A JP2016134862A JP 2016134862 A JP2016134862 A JP 2016134862A JP 2015009863 A JP2015009863 A JP 2015009863A JP 2015009863 A JP2015009863 A JP 2015009863A JP 2016134862 A JP2016134862 A JP 2016134862A
Authority
JP
Japan
Prior art keywords
imaging
display
luminance
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015009863A
Other languages
English (en)
Other versions
JP5984975B2 (ja
Inventor
豊田 哲也
Tetsuya Toyoda
哲也 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015009863A priority Critical patent/JP5984975B2/ja
Priority to PCT/JP2015/059038 priority patent/WO2016117137A1/ja
Priority to CN201580074081.2A priority patent/CN107211097A/zh
Priority to EP15878828.1A priority patent/EP3249906A4/en
Publication of JP2016134862A publication Critical patent/JP2016134862A/ja
Application granted granted Critical
Publication of JP5984975B2 publication Critical patent/JP5984975B2/ja
Priority to US15/650,701 priority patent/US20170318208A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0285Improving the quality of display appearance using tables for spatial correction of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Abstract

【課題】ハイライトからハイエストライトまでの十分な階調表現を行おうことにより、表示画像に眩しさ感を与え、高い臨場感を表示する。【解決手段】画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段を有する撮像装置において、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップ(S1)と、撮像データから表示手段に表示するための画像データを生成する画像処理ステップ(S3)と、撮像ステップにおける撮像条件および表示手段における表示輝度のエンハンス量を制御する制御ステップ(S7〜S25)を有し、制御ステップは、基準となる階調特性に対して高輝度側の階調を拡張して撮像するように撮像ステップを制御し(S13)、該画像データを表示手段に表示する際に、撮像ステップにおける高輝度側の階調の拡張量に基づき表示手段の表示輝度のエンハンス量を制御する(S15)。【選択図】 図3

Description

本発明は、被写体の高輝度の部分を高い臨場感で再現することができる撮像装置、撮像方法、画像表示装置、およびプログラムに関する。
表示部でライブビューを観察する場合、表示パネルの輝度レンジの中で、シャドーからハイライトまで表現される。このため、ハイライトを超える輝度(ハイエストライト)を表示することができず、肉眼で見るような眩しさ感を表現することができない。また、露出時間を変えて撮影した画像を合成して、ダイナミックレンジを拡大することにより、ハイライトからハイエストライトに至る階調を表現することができる。
しかし、この方法では、あくまでの表示パネルの輝度レンジ内での表現にとどまる。特許文献1には、画像の光沢部分を検出し、この検出結果に基づき光沢部分のバックライトの発光強度を上げることにより、光沢部分の輝度を向上させることが開示されている。
特開2009−63694号公報
上述の特許文献1に開示の技術により、光沢部分(=ハイエストライト)の眩しさ感は向上すると思われる。しかし、同時にハイライトも明るくなってしまい、ハイライトからハイエストライトに至る階調表現は不十分である。
本発明は、このような事情を鑑みてなされたものであり、ハイライトからハイエストライトまでの十分な階調表現を行おうことにより、表示画像に眩しさ感を与え、高い臨場感を表示することができる撮像装置、撮像方法、画像表示装置、およびプログラムを提供することを目的とする。
上記目的を達成するため第1の発明に係る撮像装置は、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像手段と、画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段と、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理手段と、上記撮像手段における上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御手段と、を有し、上記制御手段は、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像手段を制御し、上記画像処理手段にて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像手段の高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御する。
第2の発明に係る撮像装置は、上記第1の発明において、上記画像処理手段は、上記撮像手段の高輝度側の階調の拡張量と、上記表示輝度を明るくした上記表示手段の入出力特性に基づき、上記撮像手段から出力される撮像データに階調変換を施し、上記表示手段にて表示するための画像データを生成する。
第3の発明に係る撮像装置は、上記第1または第2の発明において、さらに、被写界の輝度分布を測定する輝度分布測定手段を有し、上記制御手段は、上記測定された輝度分布に基づき上記撮像手段の高輝度側の階調の拡張量を決定する。
第4の発明に係る撮像装置は、上記第3の発明において、上記撮像手段は複数のエリア毎に撮像条件を変更可能であり、上記表示手段は上記撮像手段から出力される上記撮像データの各エリアに対応するように設けられた表示エリア毎に表示輝度をエンハンス可能であり、上記輝度分布測定手段は上記撮像手段の各エリアに対応した被写界の輝度分布を測定可能であり、上記制御手段は、上記各エリア毎に測定された輝度分布に基づき上記撮像手段の各エリア毎の高輝度側の階調拡張量を決定し、上記撮像手段の各エリア毎の高輝度側の階調拡張量に基づき上記表示手段の各エリア毎の表示輝度のエンハンス量を制御する。
第5の発明に係る画像表示装置は、所定の撮像条件で被写体を撮像して生成した画像データと、表示輝度拡張情報を有する画像ファイルに基づいて画像表示する画像表示装置において、表示輝度を所定の基準輝度よりもエンハンストできる表示手段と、上記表示輝度拡張情報に基づいて、高輝度拡張する場合に、上記表示手段における表示輝度を変更する制御手段と、を有する。
第6の発明に係る撮像方法は、画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段を有する撮像装置において、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、上記撮像ステップにおける上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御ステップと、を有し、上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップを制御し、上記画像処理ステップにて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御する。
第7の発明に係るプログラムは、画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段を有する撮像装置におけるコンピュータを実行させるプログラムにおいて、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、上記撮像ステップにおける上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御ステップと、を有し、上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップを制御し、上記画像処理ステップにて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御することを上記コンピュータに実行させる。
本発明によれば、ハイライトからハイエストライトまでの十分な階調表現を行おうことにより、表示画像に眩しさ感を与え、高い臨場感を表示することができる撮像装置、撮像方法、画像表示装置、およびプログラムを提供することができる。
本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、シーンの輝度と表示部での表示特性の関係を示すグラフである。 本発明の一実施形態に係るカメラの動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、シーンの輝度と画像データのヒストグラムの関係(初期条件)を示すグラフである。 本発明の一実施形態に係るカメラにおいて、シーンの輝度と画像データのヒストグラムの関係(高輝度拡張時)を示すグラフである。 本発明の一実施形態に係るカメラにおいて、撮像エリア(表示エリア)とシーンの例を示す図である。 本発明の一実施形態に係るカメラにおいて、高輝度割合と高輝度拡張幅の関係を示すグラフである。 本発明の一実施形態に係るカメラにおいて、撮像の高輝度拡張幅と、表示の高輝度拡張幅の関係を示す図である。 本発明の一実施形態の変形例に係るカメラの動作を示すフローチャートである。 本発明の一実施形態の変形例に係るカメラの再生の動作を示すフローチャートである。
以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
図1は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
撮影レンズ101は、被写体像を形成するための複数の光学レンズ(ピント調節用のフォーカスレンズを含む)から構成され、単焦点レンズまたはズームレンズであり、また固定式または交換式のレンズ鏡筒内に配置される。また、撮影レンズ101はフォーカス駆動部103によって光軸方向に移動でき、後述するCPU(Central Processing Unit)140からの制御信号に基づいて、撮影レンズ101内のフォーカスレンズを移動させることによりフォーカス位置が制御され、ズームレンズの場合には、不図示のズーム駆動部によりズームレンズ群を移動させて焦点距離も制御される。
撮影レンズ101の光軸の後方には、絞り105が配置されており、絞り105は開口径が可変であり、撮影レンズ101を通過した被写体光束の光量を制御する。絞り駆動部107は、CPU140からの制御信号に基づいて、絞り105の開口径の制御を行う。
撮影レンズ101によって形成される被写体像は、撮像部110によって画像データに変換される。この撮像部110は、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像手段としての機能を果たす。撮像部110は、撮像素子111、アンプ(A−Gain)113、A/D変換器115、混合部(MIX)117、インターフェース(I/F)119を有する。撮像部110は、バス130を介して、CPU140からの制御信号に応じて撮像素子111から画像信号を読み出して処理を行い、撮像処理部120に画像データを出力する。
撮像素子111は、撮影レンズ101の光軸上であって、被写体像の結像位置付近に配置されている。撮像素子111は、被写体像(光学像)を電気信号に変換する光電変換部を有する複数の画素を備えている。すなわち、撮像素子111は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のRGBフィルタが配置されている。これらの複数のフォトダイオードが、前述の複数の画素に対応する。
また、撮像素子111の複数の画素は、画素へ入射する光束の入射方向を制限するよう構成された位相差画素(「焦点検出用画素」ともいう)と、画素へ入射する光束が位相差画素よりも制限されないように構成された撮像用画素を含んでいる。
撮像素子111の出力はアンプ113に出力される。アンプ113は、撮像素子111から出力されるアナログの画像信号を所定のゲインで増幅する。アンプ113の出力はA/D変換器115に出力される。A/D変換器115は、アナログの画像信号をアナログ・デジタル変換し、画像データを混合部117に出力する。
混合部117は、ライブビュー表示や動画撮影時に、複数の画素からの画像データを加算処理してI/F119に出力する。すなわち、混合部117は、撮像素子の画素信号を混合して読み出して混合画素出力を出力する。なお、本実施形態においては、画素からの信号の混合は、A/D変換後に行っているが、A/D変換前に行ってもよく、また撮像素子111から画像信号を読み出す際に行うようにしてもよい。
混合部117の出力はI/F119を介して、撮像処理部120のI/F121に出力される。I/F119とI/F121の間で、画像データを高速で通信する。
撮像処理部120は、撮像部110から出力される画像データに対して、CPU140からの制御信号に従って、種々の撮像処理を施し、バス130に出力する。I/F121、AF検波部123、AE/WB部125、リサイズ部127を有する。なお、各部は、図中の画像データの流れに沿って直列にデータが処理してもよいが、それぞれ個別に処理ができるようにする。
I/F121で受信した画像データは、AF検波部123に出力される。AF検波部123は、画像データの中から位相差画素からの画像データのみを抽出する。撮像素子111の中には、撮像用画素と位相差画素の画素が所定の周期で混在している。これらの画素の画素データは水平方向に読みだされてくるので、AF検波部123は、位相差画素の画素データのみを抽出する。
AF検波部123で抽出された位相差画素の画素データは、バス130を介してCPU140に入力される。CPU140は、位相差画素の画素データを用いて位相差検出方式に基づくAF演算を行う。そして、CPU140は、AF演算の結果に基づいてフォーカス駆動部103によりフォーカスレンズの移動を制御してオートフォーカスを実行する。
AE/WB部125は、AE部とWB部を有している。AE(Automatic Exposure)部は、画像データから被写体の輝度に相当する信号を検出し、輝度信号として出力する。またWB(White Balance)部は画像データのホワイトバランス処理を行うためにR信号、B信号にかけるべきホワイトバランスゲインを検出する。
リサイズ部127は、画像データのサイズを変更する。ライブビュー表示時や動画撮影時には、画像サイズは静止画撮影時ほど大きくなくてもよい。リサイズ部127は、ライブビュー表示や動画撮影が要求する画像の大きさに応じて、リサイズを行う。画像サイズを小さくすることにより、迅速な処理ができるようになる。
CPU140は、このカメラ全体の制御部としての機能を果たし、フラッシュROM143に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。CPU140は、撮像手段における撮像条件および表示手段における表示輝度のエンハンス量を制御する制御手段として機能する(例えば、図3のS11〜S17参照)。この制御手段は、予め準備された基準となる階調特性(例えば、図2の初期条件の階調特性Ld1参照)に対して高輝度側の階調を拡張して、被写体を撮像するように撮像手段を制御し(例えば、図3のS11、S13参照)、画像処理手段にて画像データを生成し(例えば、図2の高輝度拡張時の階調特性Le1参照)、該画像データを表示手段に表示する際に、撮像手段の高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御する(例えば、図2の第3象限に記載の表示の高輝度拡張域HD、図3のS15参照)。
また、CPU140は、測定された輝度分布に基づき撮像手段の高輝度側の階調の拡張量を決定する制御手段としても機能する(例えば、図3のS11参照)。
CPU140には、前述のバス130以外に、操作部141が接続されている。操作部141は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、OK釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をCPU140に出力する。CPU140は、操作部141からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
フラッシュROM143は、CPU140の各種シーケンスを実行するためのプログラムを記憶している。CPU140はこのプログラムに基づいてカメラ全体の制御を行う。
DRAM145は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)であり、画像データ等の一時記憶用の電気的書き換えできるような揮発性メモリである。このDRAM145は、撮像部110から出力され撮像処理部120によって処理された画像データや、後述する画像処理部150等において処理された画像データを一時記憶する。
バス130には、画像処理部150が接続されている。画像処理部150は、撮像処理部120から出力された画像データの画像処理を行う。画像処理部150は、OB/WB部151、同時化部153、カラーマトリックス(CMX)155、ガンマ変換部157、RGB2YC部159、エッジ強調部161、NR部163、リサイズ165、画像圧縮・伸張部167を有する。なお、各部は、図中の画像データの流れに沿って直列にデータが処理してもよいが、それぞれ個別に処理ができるようにする。
OB/WB部151は、OB(Optical Black)部とWB(White Balance)部を有する。OB部は、撮像素子111に設けられた遮光部からの画素データを、被写体像を表す画素データから減算し、暗電流等の撮像素子に起因するノイズを除去する。また、WB部は、撮像処理部120内のWB部と同様に、画像データのホワイトバランス処理を行う。
同時化部153は、RGBの各画素データは、それぞれ異なる位置からのデータを用いて、各画素位置におけるRGBのデータを生成する。例えば、各色ごとに存在しない色成分の画素値を周囲画素から補間によって求める。カラーマトリックス部135は、撮像素子111の分光感度特性や光学系の分光透過率特性等を考慮して、RGBの各データを理想とするRGBの画像データに補正する。
ガンマ変換部157は、カメラで撮影した際の被写体の光量と表示部での表示輝度を略線形に保つと同時に、表示画像の階調特性を好ましくみせるために行う補正である。RGB2YC部157は、RGBの色空間から輝度・色差の色空間変換を行う。ガンマ変換後のRGB画像データを用いて、YC変換後に、色差補正を行う。
エッジ強調部161は、画像中の輪郭部分を強調する画像処理を行う。NR(Noise Reduction)部163は、周波数に応じたコアリング処理等を行うことにより画像データ中に含まれるノイズを除去する。リサイズ部165は、撮像処理部120中のリサイズ部127と同様に、画像データのサイズを変更する。画像圧縮・伸張部167は、画像データに対してJPEGやMPEG等の圧縮を行い、また圧縮されたデータの伸張を行う。
画像処理部150は、撮像データから表示手段に表示するための画像データを生成する画像処理手段として機能する。この画像処理部は、撮像手段の高輝度側の階調の拡張量(例えば、図2の高輝度拡張時に撮像される高輝度域EHLと基準となる高輝度域HLとの差参照)と、表示輝度を明るくした表示手段の入出力特性(例えば、図2のLe3参照)に基づき、撮像手段から出力される撮像データに階調変換(例えば、図2の高輝度拡張時の階調特性Le1参照)を施し、表示手段にて表示するための画像データを生成する。
バス130には、ヒストグラム生成部170が接続されている。このヒストグラム生成部170は、画像処理部150で処理された画像データを入力し、ヒストグラムを生成する。ヒストグラムは、画像データの各画素の輝度値を複数の値と比較し、それぞれの領域に含まれる画素の輝度値の数をカウントしたデータを出力する。ヒストグラム生成部170は、ハードウエア回路で構成してもよいが、CPU140がソフトウエアによって処理する。ヒストグラム生成部170は、被写界の輝度分布を測定する輝度分布測定手段として機能する。ヒストグラムについては、図3のS7、図4、図5等において詳述する。
バス130に接続されたEVF(Electrical View Finder)181は、電子ビューファインダであり、画像処理部150からの画像データに基づいて、被写体像のライブビュー表示等を行う。ユーザは接眼部からEVFを覗くことにより、ライブビュー表示等を観察することができる。また、EVF181は、後述する撮像エリア(図6に示すエリア1〜8参照)に対応する表示エリア毎に表示輝度を変更することができる。EVF181は、画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段としての機能を果たす。
バス130に接続された背面パネル183は、液晶パネル等の表示部を有し、画像処理部150からの画像データに基づいて、被写体像のライブビュー表示等を行う。ユーザは接眼部を介さず背面パネル183を直接観察できる。
バス130に接続された外部メモリ185は、カメラ本体に装填自在な記録媒体であり、電気的に書き換えできるような不揮発性メモリを有する。画像処理部150において、記録用に画像処理された画像データを記録し、また画像データを読み出すことができる。
次に、図2を用いて、シーンの輝度とEVFでの表示特性の関係について説明する。まず、グラフ中の一点鎖線で示す初期条件(デフォルト)について、説明する。
図2の第1象限(グラフの右上部分)において、横軸はシーンの輝度であり、縦軸は画像データ(この例では、画像データは8ビット)の値である。ここで、Hは、適正露光である18%グレイの被写体輝度を(logH=0)と正規化した場合の相対的な被写体輝度であり、横軸はHを対数(log)で表現する。この第1象限は、シーンの輝度と画像データの関係を示し、曲線Ld1は、初期条件の階調特性を示す。例えば、適正露光である18%グレイの被写体輝度(logH=0)の場合には、画像データは128ビットとなる。この初期条件の階調特性において、高輝度領域HLは、輝度が2〜4(適正露光から2〜4段明るい輝度)であり、この時の画像データは、224〜256ビットである。このため、シーンの輝度が4を超えるまでは画像データは飽和することがないので、表示パネルに表現することができる。しかし、シーンの輝度が4を超えると、画像データは飽和してしまい、表示パネルに表現することができなくなる。
図2の第2象限(グラフの左上部分)において、横軸は表示用画像データ(この例では、表示画像データは8ビットで表す)の値であり、縦軸は画像データである。この第2象限は、画像データと表示用画像データの関係を示し、曲線Le2は表示用階調変換特性を示す。初期条件(デフォルト)では、画像データに対して表示用画像データは、リニアの関係となっている。すなわち、撮像処理部120で処理された画像データを、そのまま表示用画像データとして採用している。
図2の第3象限(グラフの左下部分)において、横軸は表示用画像データの値であり、縦軸は表示パネルの輝度値である。ここで、シーンの適正露光レベル(H=1)に対する表示パネルの輝度をH’=1と定義する。この第3象限は、表示用画像データに基づいて表示パネル上での表示される輝度を表しており、曲線Ld3は初期条件の表示輝度特性を示す。初期条件(デフォルト)では、表示用画像データが大きい値でも表示パネル上の輝度は3であり、十分、高輝度に対応した明るい表示とはなっていない。
図2の第4象限(グラフの右下部分)において、縦軸は表示パネルの輝度値であり、横軸はシーンの輝度値である。この第4象限は、表示用パネルの輝度とシーンの輝度の関係を表し、曲線Ld4は初期条件(デフォルト)の表示特性、即ち、階調Ld1で撮像、階調変換され、更に表示用階調変換Le2で階調変換(実質的に無変換)された表示用画像データが表示輝度特性Ld3にて表示パネルに表示されるときのシーンの輝度と表示される画像の輝度の関係を示している。初期条件においては、シーンが暗い場合には、シーンの輝度に応じた表示パネルの輝度となっている。しかし、シーンが明るい場合には(シーンの輝度が2以上)、シーンの輝度変化に対する表示パネルの輝度変化が非常に小さく圧縮され、シーンの明るい部分の階調表現に乏しい、臨場感に欠ける表示になる。
なお、図2の第2象限における一点鎖線Ld2および第4象限における破線Lpは、前述した特許文献1の技術を採用した場合の表示階調変換特性およびシーン輝度と表示用パネルの輝度の関係を表す表示特性を示す。Ld2は階調変換特性Ld1で撮像・階調変換された画像データを表示輝度特性Le3で表示する場合に適用する表示用階調変換特性であり、暗い部分が圧縮され明るい部分が伸張されるような特性を持つ。この技術では、シーンの輝度が2〜4の範囲においては、シーンの輝度変化に対する表示パネルの輝度変化が大きくなるが、シーンの輝度が4を超えると、初期条件の場合と同じく明るさが飽和してしまい、シーンの高輝度部分の階調表現に乏しいものとなる。
次に、高輝度拡張を行った場合について、説明する。高輝度拡張を行った場合の特性を、図4のグラフ中の実線で示す。
図2の第1象限(グラフの右上部分)は、前述したように、シーンの輝度と画像データの関係を表し、曲線Le1は高輝度拡張時の階調特性を示す。高輝度拡張時には、一点鎖線で示す初期条件の拡張特性と比較して、全体に右側にシフトし、高輝度側においても画像データが飽和することがない。すなわち、適正露光である18%グレイの被写体の場合には、画像データは64ビット付近であり、また、輝度が4を超えても画像データでは飽和することがない。すなわち、高輝度拡張時に撮像される高輝度域EHLにおいても、画像データは飽和していない。このため、シーンの輝度が4を超えても、画像データは飽和することがなく、表示パネルに明るさを表現することができる。
図2の第2象限(グラフの左上部分)は、前述したように、画像データと表示用画像データの関係を表し、直線Le2は、表示用階調変換特性を示す。高輝度拡張時では、画像データに対して表示用画像データは、リニアの関係となっている。すなわち、画像処理部150で処理された画像データを、そのまま表示用画像データとして採用している。
図2の第3象限(グラフの左下部分)は、前述したように、表示用画像データに基づいて表示パネル上での表示される輝度を表し、曲線Le3は高輝度拡張時の表示輝度特性を示す。高輝度拡張時では、表示用画像データが大きくなるにつれて表示パネルの輝度も大きくなり、十分、高輝度に対応した明るい表示となっている。図2の第3象限に示すように、高輝度拡張時には、表示の高輝度拡張域HDだけ、表示範囲が広がり、高輝度に対しても表現することができる。
図2の第4象限(グラフの右下部分)は、前述したように、表示用パネルの輝度とシーンの輝度の関係を表し、曲線Le4は高輝度拡張時の表示特性を示す。高輝度拡張時では、シーンが暗い場合から明るい場合に応じて、表示パネルの輝度も変化している。特に、シーンが明るい場合であっても(シーンの輝度が2以上)、表示用パネルの輝度は飽和することなく、シーンの明るさに応じた表示パネルの明るさとはなっている。すなわち、初期条件の表示特性では、シーンの高輝度域HLに対応する表示画像の高輝度域はLLであるのに対して、高輝度拡張することにより、高輝度域がLEに広がっている。
次に、図3に示すフローチャートを用いて、本実施形態における動作について説明する。なお、図3(後述する図9、図10も含めて)に示すフローチャートは、フラッシュROM143に記憶されているプログラムに従ってCPU140が各部を制御し実行する。また、これらのフローチャートは、カメラの動作の内の階調特性処理に関わる動作のみであり、他の動作については省略している。
操作部141のパワースイッチがオンとなると、図3に示すフローがスタートする。まず、ライブビュー撮像処理を行う(S1)。ここでは、図2に示した初期条件(デフォルト、曲線Ld1で示す条件)に従い、撮像部110および撮像処理部120が被写体像を画像データに変換し、ライブビュー用に撮像処理を行う。
ライブビュー撮像処理を行うと、次に、ライブビュー画像処理を行う(S3)。ここでは、画像処理部150が、図1に示した初期条件の階調特性(曲線Ld1で示す条件)および図2に示した初期条件の表示用階調特性(直線Le2で示す条件、実際には無変換に相当)に従い、ステップS1において撮像された画像データのライブビュー表示用の画像処理を行う。
ライブビュー画像処理を行うと、次に、画像表示(初期条件)を行う(S5)。ここでは、初期条件に従い、ステップS3において画像処理された表示用データをEVF181に表示する。この表示にあたっては、初期条件であることから、高輝度のシーンに対しては、図2の第4象限に示すように、十分な明るさの表示とはなっていない。
初期条件が画像表示を行うと、次にヒストグラム生成を行う(S7)。ここでは、ヒストグラム生成部170が、表示用データのヒストグラムを生成する。初期条件におけるヒストグラム生成の一例を、図4を用いて説明する。図4は、横軸に画像データの頻度とシーンの輝度(輝度をlogで表す)をとり、縦軸に画像データ値を示す。
図4に示す一例では、画像データを、0−31、32−63、64−95、96−127、128−159、160−191、192−223、224−255の8段階に分けてヒストグラムを生成する。図4の右側には、画像データに対応するシーンの輝度を示してある。画像データが224−255の領域(図中、網線で示す)が高輝度域LHであり、シーンの輝度が2−4(高輝度域HL)についてはある程度(但し、変化が小さくなっているが)表現できる。しかし、シーンにおいて輝度が4を超える部分が増えると、画像データは飽和してしまい、高輝度のシーンを表現することができない。
また、ステップS7におけるヒストグラムの生成にあたっては、撮像エリアを複数に分割し、エリアごとに生成する。この撮像エリア毎の設定の一例について、図6を用いて説明する。図6に示す撮影エリアは、エリア1〜エリア8の8つの領域に分けて、帯状に分割されている。EVF181における表示エリアも、撮像エリアの領域分割に合せて帯状に分割される。例えば、撮像エリアのエリア1に対応する撮像データに基づいて表示される領域を表示エリアのエリア1とする。
ヒストグラムを生成するにあたって、図6に示す例では、エリア4〜エリア8には通常の被写体輝度(山)が存在し、エリア2とエリア3に高輝度被写体(太陽)が存在している。高輝度被写体に対しては、後述するように、高輝度拡張を行うことによって、輝度に応じた表示を行うようにしている。なお、撮像エリアの数は、8に限らず、これより多くても少なくてもよい。また、撮像素子111としてCMOSイメージセンサを使用する場合には、水平方向を更に分割して撮像エリアを設定することができる。
ステップS7において、ヒストグラムを生成すると、次に、シーンの高輝度割合を測定する(S9)。初期条件においては、高輝度域LHは、画像データが、224−255ビットの範囲である。このステップでは、CPU140がヒストグラム生成部170によって生成されたヒストグラムに基づいて、高輝度域LHに含まれる画像データの割合を測定する。図4に示す例では、高輝度域LHは15%を超えている。
ステップS9において、シーンの高輝度割合を測定すると、次に、高輝度拡張幅を決定する(S11)。ここでは、CPU140が高輝度割合に応じて、次フレームに採用すべき各撮影エリアの高輝度拡張幅を決定する。すなわち、高輝度域LHに含まれる画像データの割合が、図4に示したように大きい場合には、前述したように、高輝度の被写体の明るさを十分に表現できないことから、高輝度域LHを広げる。高輝度域LHを広げる幅は、高輝度割合に応じて、適宜、設計事項として決める。
この高輝度拡張幅の例を図7に示す。図7において、横軸は高輝度域LHの頻度であり、縦軸は高輝度拡張幅である。図7に示す例では、高輝度域の頻度が15%の場合に、高輝度拡張幅を1EVとしている。高輝度の頻度が15%を超えると、その拡張幅は1EVで一定とし、頻度が15%より少なくなると、頻度に応じて拡張幅を小さくしている。このように、高輝度拡張幅の決定にあたって、拡張幅には上限を持たせて、急激な変化を抑制するようにしている。
図5を用いて、ステップS11において行う高輝度域拡張幅について説明する。図5は、図4と同様に、横軸に画像データの頻度とシーンの輝度(輝度をlogで表す)をとり、縦軸に画像データ値を示す。高輝度拡張時には、この例では、高輝度拡張域HLはシーンの輝度4〜6に相当し、HLに対応する画像データ(ELH)は192ビット付近から255ビットとなる。また、高輝度拡張域を含む高輝度域EHLはシーン輝度2〜6となり、EHLに対応する画像データ(LH)は128ビット付近から255ビットの範囲となる。
高輝度拡張時には、図4の右側のグラフと図5の右側のグラフを対比すると分かるように、高輝度拡張域HLに加えて撮像される高輝度域EHLに広がることにより、高輝度側の被写体が、輝度に応じて明るく表現される。
ステップS11において、高輝度拡張幅の決定を行うと、次に、撮像エリアごとの撮像条件の決定を行う(S13)。ここでは、CPU140が、撮像エリアごとの高輝度拡張幅に基づき撮像エリア毎の撮影条件(露光時間)を決定する。図6を用いて説明したように、撮像エリアによっては高輝度被写体が存在し、一方、高輝度被写体が存在しない撮像エリアもある。そこで、本実施形態においては、撮像エリア毎に最適な高輝度拡張幅を決めるようにしている。
すなわち、ステップS13においては、ステップS11で決定した高輝度拡張幅に基づき、各エリアごとの露光時間を決定する。例えば、図8に示す例では、エリア1は高輝度域の撮像拡張幅が0.38EVなので、露光時間は現在の条件に対して―0.38EVとなるように決定する。その他のエリアについても、図8に示す撮像拡張幅に基づき露光時間を決定する。
撮像エリアごとの撮像条件を決定すると、表示エリア毎の最大表示輝度を決定する(S15)。ここでは、CPU140が、各撮像エリアに対応した表示エリア毎の最大表示輝度を決定する。すなわち、EVF181のバックライトの明るさを決める。この最大表示輝度は、図2の第3象限に示した表示の高輝度拡張域HDに相当する。また、表示エリア毎に最大表示輝度を決めており、図8に示す例では、エリア1は表示拡張幅が0.5EVなので、現在の条件に対して0.5EVバックライトが明るくなるように決定する。その他のエリアについても、図8に示す表示拡張幅に基づきEVF18のバックライトの明るさを決定する。
表示エリア毎の最大表示輝度を決定すると、次に、階調変換特性を決定する(S17)。ここでは、CPU140が、ステップS11、S13で決めた高輝度拡張幅に基づき、撮像エリア毎の階調変換特性(ガンマテーブル)を決定する。この階調変換特性は、図2の第1象限(図2の右上の部分)および第2焦点(図2の左上)に描かれたカーブの総合特性、すなわち、シーンの輝度に対する表示用画像データへの変換特性である。ガンマ変換部157(図1B参照)は、ライブビュー表示時には、この階調変換特性を用いて、画像データのガンマ変換を行う(後述するステップS21参照)。
階調変換特性を決定すると、次に、ライブビュー撮像処理を行う(S19)。ここでは、撮像部100と撮像処理部110がステップS13において決定した撮像条件に基づきライブビューの撮像処理を実施する。
ライブビュー撮像処理を行うと、次に、ライブビュー画像処理を行う(S21)。ここでは、画像処理部150(ガンマ変換部157を含む)が、決定した階調変換特性に基づき撮像された画像データの画像処理を実施する。なお、本実施形態においては、撮像エリア毎に階調変換特性が異なる場合があり、この場合には撮像エリア毎に決定された階調変換特性に基づいて画像データの画像処理を行う。
ライブビュー画像処理を行うと、次に、高輝度拡張する表示エリアの表示輝度の変更を行う(S23)。ここでは、CPU140は、ステップS15において決定した最大表示輝度に従って、EVF181の表示輝度を変更する。なお、本実施形態においては、撮像エリア毎(表示エリア毎)に最大表示輝度が異なる場合があり、この場合には、表示エリア毎に決定された表示輝度に変更する。
高輝度拡張表示エリアの表示輝度の変更を行うと、次に、画像表示を行う(S25)。ここでは、ステップS21においてライブビュー表示用に画像処理された画像データを用いて、EVF81にライブビュー表示を行う。
画像表示を行うと、次に、パワースイッチがオンか否かを判定する(S27)。ここでは、操作部141の内の1つであるパワースイッチの操作状態に基づいて判定する。この判定の結果、パワースイッチがオンであった場合には、次に、レリーズがオンか否かを判定する(S29)。ここでは、操作部141の内の1つであるレリーズ釦が全押しされ、2ndレリーズスイッチがオンか否かを判定する。この判定の結果、レリーズオンでない場合には、ステップS7に戻り、撮像部110から画像データが読み出される毎に、前述の動作を繰り返す。
一方、ステップS29における判定の結果、レリーズオンの場合には、静止画撮像処理を行う(S31)。ここでは、撮像部110と撮像処理部120が、静止画用の撮影条件(シャッタ速度、絞り値、ISO感度等)に基づき、静止画の画像データを取得する。続いて、静止画の画像処理を施す(S33)。ここでは、ステップS31において取得した静止画の画像データに対して、画像処理部150が静止画記録用の画像処理を施す。
静止画画像処理を行うと、次に、画像ファイルを生成する(S35)。ここでは、CPU140が、ステップS33において画像処理を施した画像データに基づいて、記録用画像ファイルを生成する。画像ファイルを生成すると、次に、画像ファイルを記録する(S37)。ここでは、CPU140が、ステップS35で生成した画像ファイルを外部メモリ185に記録する。
ステップS37において画像ファイルを外部メモリに記録すると、またはステップS27における判定の結果、パワースイッチがオフであった場合には、このフローを終了する。
このように、本実施形態においては、被写体のシーンの中で高輝度の領域が多い場合には(本実施形態においては15%を超える)、撮像にあたって高輝度領域を拡張して撮像を行うと共に(S11、S13)、高輝度拡張に連動して表示パネルの表示輝度を上げるようにしている(S15)。また、撮像の高輝度拡張幅と、表示輝度を上げた表示パネルの入出力特性(入力データと表示輝度の関係)とに基づき、露光時間を適宜制御することでシーンのハイライトからハイエストライトに至る階調を撮像し、表示パネルの輝度を適宜制御すると共に、輝度レンジを考慮した階調変換を施すことにより、表示画像に眩しさ感を与え、高い臨場感を表現することができる。
また、本実施形態においては、撮像手段は複数のエリア毎に撮像条件を変更できるようであり(例えば、図3のS13、図6参照)、表示手段は撮像手段から出力される撮像データの各エリアに対応するように設けられた表示エリア毎に表示輝度をエンハンスできるようであり(例えば、図3のS15参照)、輝度分布測定手段は撮像手段の各エリアに対応した被写界の輝度分布を測定できるようであり(例えば、図3のS7、ヒストグラム生成部170参照)、制御手段は、各エリア毎に測定された輝度分布に基づき撮像手段の各エリア毎の高輝度側の階調拡張量を決定し(例えば、図3のS17参照)、撮像手段の各エリア毎の高輝度側の階調拡張量に基づき表示手段の各エリア毎の表示輝度のエンハンス量を制御している(例えば、図3のS23参照)。このため、図6に示すように、画面内の一部に高輝度の被写体が有る場合でも、画面全体の明暗をバランスよく表示することができる。
次に、本実施形態の一変形例を図9および図10を用いて説明する。本発明の一実施形態においては、ライブビュー表示の際に高輝度域のシーンに対して、表示画像に眩しさ感を与え、高い臨場感を表現していた。これに対して、本変形例においては、ライブビュー表示に限らず、記録画像の再生表示の際にも、本実施形態と同様に、表示画像に眩しさ感を与え、高い臨場感を表現できるようにしている。
本変形においては、図1Bに示す背面パネル183は、表示エリア毎に表示輝度を変更できるものとする。本変形例においては、背面パネル183は、画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段としての機能を果たす。
本変形例は、一実施形態に係る図3のフローチャートを図9のフローチャートに置き換え、更に図10に示すフローチャートを追加している。そこで、図9および図10に示すフローチャートを用いて、本実施形態における動作について説明する。なお、図9、図10に示すフローチャートは、フラッシュROM143に記憶されているプログラムに従ってCPU140が各部を制御し実行する。また、これらのフローチャートは、カメラの動作の内の階調特性処理に関わる動作のみであり、他の動作については省略している。
図9に示すフローチャートは、本変形例のメインフローを示しており、図3に示したフローチャートと比較して、ステップS36が追加されている点のみが相違する。同様の処理を行うステップは同一のステップ番号を付して説明を省略し、相違するステップS36を中心に説明する。
ステップS29において、レリーズオンであると判定されると、静止画撮像処理を行い(S31)、静止画画像処理を行い(S33)、画像ファイルを生成する(S35)。画像ファイルを生成すると、次に、表示輝度拡張情報を追加する(S36)。ここでは、ステップS15において決定した表示エリアごとの最大表示輝度を、ステップS35において生成した画像ファイルに追加する。
表示輝度拡張情報を追加すると、次に、画像ファイルの記録を行う(S37)。ここでは、ステップS35で生成し、ステップS36において表示輝度拡張情報を追加した画像ファイルを、外部メモリ185に記録する。ステップS37において、画像ファイルを記録すると、またステップS27における判定の結果、パワーオフであった場合には、図9に示すフローを終了する。
次に、図10に示すフローチャートを用いて、再生時の動作について説明する。図10に示すフローは、再生モードオンでスタートする。再生モードは、操作部141の内の再生釦等が操作されると、再生モードオンとなる。
図10に示すフローがスタートすると、画像ファイルの読み込みを行う(S41)。ここでは、CPU140は、外部メモリ185より、ステップS37において記録した画像ファイルを読み出す。
画像ファイルの読み出しを行うと、次に、画像データの展開を行う(S43)。ここでは、画像処理部150内の画像圧縮・伸張部167が、ステップS41において読み出した画像ファイルを伸張し、DRAM145に転送する。
画像データの展開を行うと、次に、表示輝度拡張幅情報の確認を行う(S45)。ここでは、CPU140が、ステップS41において読み出した画像ファイル中に、表示輝度拡張幅情報の有無を確認する。前述したように、高輝度拡張した場合には、ステップS36において表示輝度拡張情報を画像ファイルに追加している。このステップでは、この情報追加の有無を確認する。
表示輝度拡張幅情報の確認を行うと、次に、表示輝度拡張が有るか否かの判定を行う(S47)。ここでは、ステップS45における確認結果に基づいて判定する。
ステップS47における判定の結果、表示輝度拡張が有った場合には、表示輝度拡張幅の確認を行う(S49)。ここでは、CPU140が、各表示エリアに対応した表示エリア毎の表示輝度拡張幅を確認する。
表示輝度拡張幅の確認を行うと、次に、表示エリア毎の最大表示輝度を決定する(S51)。ここでは、CPU140が、画像ファイルから読み出した表示輝度拡張情報に基づいて、各表示エリアに対応した表示エリア毎の最大表示輝度を決定する。
表示エリア毎の最大表示輝度を決定すると、次に、高輝度拡張する表示エリアの表示輝度を変更する(S53)。ここでは、CPU140が背面パネル183に対して、決定した最大表示輝度に基づき各表示エリアの表示輝度を変更する。
高輝度拡張する表示エリアの表示輝度を変更すると、次に、画像表示を行う(S55)。ここでは、外部メモリ185から読み出し、画像処理部150において再生表示用に画像処理が施された画像データに基づいて、背面パネル183に記録画像の再生表示を行う。この再生表示にあたって、高輝度拡張で撮影がなされていた場合には、対応する表示エリアの表示輝度が変更されているので、表示画像に眩しさ感を与え、高い臨場感を表現できる。
ステップS55において、画像表示を行うと、次に、次の画像があるか否かを判定する(S57)。ここでは、操作部141における操作によって、次の画像が指定されたか否かを判定する。この判定の結果、次の画像が有る場合には、ステップS41に戻り、前述の動作を繰り返す。
一方、ステップS57における判定の結果、次の画像がない場合には、再生オフか否かを判定する(S59)。ここでは、再生モードが解除されたか否かを判定する。この判定の結果、再生モードがオフでない場合には、ステップS57に戻る。一方、再生オフの場合には、図10に示す再生のフローを終了する。
このように、本変形例においては、撮像の際に、表示輝度拡張情報を追加して記録しておき(S36)、再生の際に、表示輝度拡張情報を読み出して、高輝度拡張表示を行うようにしている。このため、再生表示の際にも、表示画像に眩しさ感を与え、高い臨場感を表現できる。
また、本変形例においては、所定の撮像条件で被写体を撮像して生成した画像データと、表示輝度拡張情報(例えば、図9のS36参照)を有する画像ファイルに基づいて画像表示することができるようであり、表示輝度を所定の基準輝度よりもエンハンストできる表示手段(例えば、背面パネル183)と、表示輝度拡張情報に基づいて、高輝度拡張する場合に、表示手段における表示輝度を変更する制御手段(例えば、CPU140、図10のS49〜S53)を有している。このため、再生表示の際にも、高輝度域の被写体に眩しさ感を与え、高い臨場感を表現することができる。
以上説明したように、本発明の一実施形態や変形例においては、基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように制御し、画像データを生成し、この画像データを表示手段に表示する際に、高輝度側の階調の拡張量に基づき表示手段の表示輝度のエンハンス量を制御している。このため、高輝度域の被写体に眩しさ感を与え、高い臨場感を表現することができる。
なお、本発明の一実施形態や変形例においては、表示手段としてEVF181や背面パネル183は、表示輝度を基準輝度よりも明るくすること(エンハンスト)ができる。表示手段としては、EVFや背面パネルに限らず、表示機能を有していればよい。また、表示手段は、エリア毎にエンハンストできたが、エリア毎に高輝度域への対応が必要でなければ、画面全体としてエンハンストできればよい。この場合には、ヒストグラム生成部170も、画面全体としてヒストグラムが生成することができればよい。
また、本発明の一実施形態や変形例においては、撮像処理部120、画像処理部150を、マイクロコンピュータ140とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ140によって実行するようにしても勿論かまわない。
また、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末(PDA:Personal Digital Assist)、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、表示機能を有する機器であれば、本発明を適用することができる。
また、本発明の一実施形態や変形例においては、撮像部を有し、この撮像部で取得した画像データに基づいて表示する撮像装置の例について説明した。しかし、撮像部を有さず、撮像装置において生成した画像ファイルを、画像表示装置において表示する場合にも、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定できることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
101・・・撮影レンズ、103・・・フォーカス駆動部、105・・・絞り、107・・・絞り駆動部、110・・・撮像部、111・・・撮像素子、113・・・アンプ部、115・・・A/D変換部、117・・・混合部、119・・・I/F部、120・・・撮像処理部、121・・・I/F部、123・・・AF検波部、125・・・AE/WB部、127・・・リサイズ部、130・・・バス、140・・・CPU、141・・・操作部、143・・・フラッシュROM、145・・・DRAM、150・・・画像処理部、151・・・OB/WB部、153・・・同時化部、155・・・CMX、157・・・ガンマ変換部、159・・・RGB2YC、161・・・エッジ強調部、163・・・NR部、165・・・リサイズ部、167・・・画像圧縮・伸張部、170・・・ヒストグラム生成部、181・・・EVF、183・・・背面パネル、185・・・外部メモリ
上記目的を達成するため第1の発明に係る撮像装置は、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像手段と、画像データの表示輝度を所定の基準輝度よりもエンハンスできる表示手段と、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理手段と、上記画像データから輝度毎の分布を求め、高輝度割合に応じて求めた階調の拡張量に基づいてエンハンス量を算出するエンハンス量算出手段と、上記画像データを記憶する記憶手段と、上記撮像手段における上記撮像条件および上記エンハンス量に応じて、上記表示手段における表示輝度を制御する制御手段と、を有し、上記制御手段は、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像手段を制御し、上記画像処理手段にて画像データを生成すると共に、上記エンハンス量を上記画像データに対応させて上記記憶手段により記憶し、該画像データを上記表示手段に表示する際に、上記記憶手段に記憶された対応する上記エンハンス量に応じて上記表示手段の表示輝度を制御する。
第2の発明に係る撮像装置は、上記第1の発明において、上記画像処理手段は、上記撮像手段の高輝度側の階調の拡張量と、上記表示輝度を明るくした上記表示手段の入出力特性に基づき、上記撮像手段から出力される撮像データに階調変換を施し、上記表示手段にて表示するための画像データを生成する。
第3の発明に係る撮像装置は、上記第1または第2の発明において、さらに、被写界の輝度分布を測定する輝度分布測定手段を有し、上記制御手段は、上記測定された輝度分布に基づき上記撮像手段の高輝度側の階調の拡張量を決定する。
第4の発明に係る撮像装置は、上記第3の発明において、上記エンハンス量算出手段は、上記撮像データから輝度毎の分布を求めた高輝度割が予め設定した閾値より大きい場合には、上記エンハンス量を一定とする。
第5の発明に係る刷層装置は、上記第3の発明において、上記エンハンス量算出手段は、上記撮像データから輝度毎の分布を求めた高輝度割合が予め設定した閾値より小さい場合には、上記エンハンス量を上記高輝度割合に応じて小さくする。
の発明に係る撮像装置は、上記第3の発明において、上記撮像手段は複数のエリア毎に撮像条件を変更可能であり、上記表示手段は上記撮像手段から出力される上記撮像データの各エリアに対応するように設けられた表示エリア毎に表示輝度をエンハンス可能であり、上記輝度分布測定手段は上記撮像手段の各エリアに対応した被写界の輝度分布を測定可能であり、上記制御手段は、上記各エリア毎に測定された輝度分布に基づき上記撮像手段の各エリア毎の高輝度側の階調拡張量を決定し、上記撮像手段の各エリア毎の高輝度側の階調拡張量に基づき上記表示手段の各エリア毎の表示輝度のエンハンス量を制御する。
の発明に係る画像表示装置は、所定の撮像条件で被写体を撮像して生成した画像データと、表示輝度拡張情報を有する画像ファイルに基づいて画像表示する画像表示装置において、表示輝度を所定の基準輝度よりもエンハンスできる表示手段と、上記表示輝度拡張情報に基づいて、高輝度拡張する場合に、上記表示手段における表示輝度を変更する制御手段と、を有する。
の発明に係る撮像方法は、画像データの表示輝度を所定の基準輝度よりもエンハンスできる表示手段を有する撮像装置の撮影方法において、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、上記画像データから輝度毎の分布を求め、高輝度割合に応じて求めた階調の拡張量に基づいてエンハンス量を算出するエンハンス量算出ステップと、上記撮像ステップにおける上記撮像条件および上記エンハンス量に応じて、上記表示手段における表示輝度を制御する制御ステップと、上記画像データを記憶する記憶ステップと、を有し、上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップ制御し、上記画像処理ステップにて画像データを生成すると共に、上記エンハンス量を上記画像データに対応させて上記記憶ステップで記憶し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度を制御する。
の発明に係るプログラムは、画像データの表示輝度を所定の基準輝度よりもエンハンスできる表示手段を有する撮像装置におけるコンピュータを実行させるプログラムにおいて、所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、
上記画像データから輝度毎の分布を求め、高輝度割合に応じて求めた階調の拡張量に基づいてエンハンス量を算出するエンハンス量算出ステップと、上記撮像ステップにおける上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御ステップと、上記画像データを記憶する記憶ステップと、を有し、上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップ制御し、上記画像処理ステップにて画像データを生成すると共に、上記エンハンス量を上記画像データに対応させて上記記憶ステップで記憶し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度を制御することを上記コンピュータに実行させる。

Claims (7)

  1. 所定の撮像条件で被写体を撮像し、撮像データを出力する撮像手段と、
    画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段と、
    上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理手段と、
    上記撮像手段における上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御手段と、
    を有し、
    上記制御手段は、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像手段を制御し、上記画像処理手段にて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像手段の高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御することを特徴とする撮像装置。
  2. 上記画像処理手段は、上記撮像手段の高輝度側の階調の拡張量と、上記表示輝度を明るくした上記表示手段の入出力特性に基づき、上記撮像手段から出力される撮像データに階調変換を施し、上記表示手段にて表示するための画像データを生成することを特徴とする請求項1の撮像装置。
  3. さらに、被写界の輝度分布を測定する輝度分布測定手段を有し、
    上記制御手段は、上記測定された輝度分布に基づき上記撮像手段の高輝度側の階調の拡張量を決定することを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 上記撮像手段は複数のエリア毎に撮像条件を変更可能であり、上記表示手段は上記撮像手段から出力される上記撮像データの各エリアに対応するように設けられた表示エリア毎に表示輝度をエンハンス可能であり、上記輝度分布測定手段は上記撮像手段の各エリアに対応した被写界の輝度分布を測定可能であり、上記制御手段は、上記各エリア毎に測定された輝度分布に基づき上記撮像手段の各エリア毎の高輝度側の階調拡張量を決定し、上記撮像手段の各エリア毎の高輝度側の階調拡張量に基づき上記表示手段の各エリア毎の表示輝度のエンハンス量を制御することを特徴とする請求項3に記載の撮像装置。
  5. 所定の撮像条件で被写体を撮像して生成した画像データと、表示輝度拡張情報を有する画像ファイルに基づいて画像表示する画像表示装置において、
    表示輝度を所定の基準輝度よりもエンハンストできる表示手段と、
    上記表示輝度拡張情報に基づいて、高輝度拡張する場合に、上記表示手段における表示輝度を変更する制御手段と、
    を有することを特徴とする画像表示装置。
  6. 画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段を有する撮像装置において、
    所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、
    上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、
    上記撮像ステップにおける上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御ステップと、
    を有し、
    上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップを制御し、上記画像処理ステップにて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御することを特徴とする撮像方法。
  7. 画像データの表示輝度を所定の基準輝度よりもエンハンストできる表示手段を有する撮像装置におけるコンピュータを実行させるプログラムにおいて、
    所定の撮像条件で被写体を撮像し、撮像データを出力する撮像ステップと、
    上記撮像データから上記表示手段に表示するための上記画像データを生成する画像処理ステップと、
    上記撮像ステップにおける上記撮像条件および上記表示手段における表示輝度のエンハンス量を制御する制御ステップと、
    を有し、
    上記制御ステップは、予め準備された基準となる階調特性に対して高輝度側の階調を拡張して被写体を撮像するように上記撮像ステップを制御し、上記画像処理ステップにて画像データを生成し、該画像データを上記表示手段に表示する際に、上記撮像ステップにおける高輝度側の階調の拡張量に基づき上記表示手段の表示輝度のエンハンス量を制御することを上記コンピュータに実行させることを特徴とするプログラム。
JP2015009863A 2015-01-21 2015-01-21 撮像装置、撮像方法、およびプログラム Active JP5984975B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015009863A JP5984975B2 (ja) 2015-01-21 2015-01-21 撮像装置、撮像方法、およびプログラム
PCT/JP2015/059038 WO2016117137A1 (ja) 2015-01-21 2015-03-25 撮像装置、撮像方法、および画像表示装置
CN201580074081.2A CN107211097A (zh) 2015-01-21 2015-03-25 摄像装置、摄像方法以及图像显示装置
EP15878828.1A EP3249906A4 (en) 2015-01-21 2015-03-25 Image-capturing device, image-capturing method, and image display device
US15/650,701 US20170318208A1 (en) 2015-01-21 2017-07-14 Imaging device, imaging method, and image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015009863A JP5984975B2 (ja) 2015-01-21 2015-01-21 撮像装置、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016134862A true JP2016134862A (ja) 2016-07-25
JP5984975B2 JP5984975B2 (ja) 2016-09-06

Family

ID=56416702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015009863A Active JP5984975B2 (ja) 2015-01-21 2015-01-21 撮像装置、撮像方法、およびプログラム

Country Status (5)

Country Link
US (1) US20170318208A1 (ja)
EP (1) EP3249906A4 (ja)
JP (1) JP5984975B2 (ja)
CN (1) CN107211097A (ja)
WO (1) WO2016117137A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111312132B (zh) * 2015-11-10 2023-08-22 佳能株式会社 显示控制装置及其控制方法
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
JP2021145302A (ja) * 2020-03-13 2021-09-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
US10991190B1 (en) 2020-07-20 2021-04-27 Abbott Laboratories Digital pass verification systems and methods
JP2022135678A (ja) 2021-03-05 2022-09-15 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214211A (ja) * 1995-02-03 1996-08-20 Canon Inc 画像合成装置
JP2012220672A (ja) * 2011-04-07 2012-11-12 Sharp Corp 映像表示装置およびテレビ受信装置
WO2013141071A1 (ja) * 2012-03-22 2013-09-26 富士フイルム株式会社 画像表示装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100580B2 (en) * 2009-08-25 2015-08-04 Robert Bosch Gmbh Digital camera system and method
JP5895409B2 (ja) * 2011-09-14 2016-03-30 株式会社リコー 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214211A (ja) * 1995-02-03 1996-08-20 Canon Inc 画像合成装置
JP2012220672A (ja) * 2011-04-07 2012-11-12 Sharp Corp 映像表示装置およびテレビ受信装置
WO2013141071A1 (ja) * 2012-03-22 2013-09-26 富士フイルム株式会社 画像表示装置及び方法

Also Published As

Publication number Publication date
CN107211097A (zh) 2017-09-26
JP5984975B2 (ja) 2016-09-06
EP3249906A4 (en) 2018-07-25
EP3249906A1 (en) 2017-11-29
WO2016117137A1 (ja) 2016-07-28
US20170318208A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
JP5701664B2 (ja) 撮像装置
JP5123137B2 (ja) 撮像装置および撮像方法
JP5169318B2 (ja) 撮像装置、撮像方法
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2017108309A (ja) 撮像装置および撮像方法
JP2013055567A (ja) 撮像装置
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2017022610A (ja) 画像処理装置、画像処理方法
JP4999871B2 (ja) 撮像装置およびその制御方法
US11798143B2 (en) Image processing apparatus and control method thereof
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP6047686B2 (ja) 撮影装置
US20190246043A1 (en) Image processing apparatus configured to generate auxiliary image showing luminance value distribution, method for controlling the image processing apparatus, and storage medium
JP5335964B2 (ja) 撮像装置およびその制御方法
JP5803233B2 (ja) 撮像装置および撮像方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP2010068331A (ja) 撮像装置および撮像方法
JP2009118052A (ja) 画像信号処理方法及び装置
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
US20240048822A1 (en) Image capture apparatus and control method for same
JP5091734B2 (ja) 撮像装置および撮像方法
JP5169540B2 (ja) 撮像装置および撮像方法
KR20070119221A (ko) 디지털 영상 처리 방법
JP2008092472A (ja) 画像処理装置

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160802

R151 Written notification of patent or utility model registration

Ref document number: 5984975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250