JP2021019314A - Image processing apparatus, control method thereof, and program - Google Patents
Image processing apparatus, control method thereof, and program Download PDFInfo
- Publication number
- JP2021019314A JP2021019314A JP2019134798A JP2019134798A JP2021019314A JP 2021019314 A JP2021019314 A JP 2021019314A JP 2019134798 A JP2019134798 A JP 2019134798A JP 2019134798 A JP2019134798 A JP 2019134798A JP 2021019314 A JP2021019314 A JP 2021019314A
- Authority
- JP
- Japan
- Prior art keywords
- range
- exposure
- dynamic range
- image processing
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Abstract
Description
本発明は、撮像する際の露出を調整するための技術に関するものである。 The present invention relates to a technique for adjusting exposure at the time of imaging.
近年、提案されているITU-R BT.2100(非特許文献1)などのHDR(High Dynamic Range)の映像信号システムでは、高輝度部の階調を、被写体の見た目に近いコントラストで再現できる。一方で、出力モニタのピーク輝度によって、再現できる輝度階調が変わってしまう場合がある。したがって、HDRの映像信号をカメラで撮影、現像する際、撮影中の被写体が、最終的な鑑賞用のモニタで、どのように再現されるかを確認できるようにすると、ユーザの作画意図を反映させやすくなる。従来、HDRに対応した画像処理装置の露出決定方法としては、画像における代表輝度値を出力機器の入出力特性に基づいて変換した絶対輝度値に基づき、撮影時の基準露出を決定するものが提案されている(例えば特許文献1)。 In an HDR (High Dynamic Range) video signal system such as ITU-R BT.2100 (Non-Patent Document 1), which has been proposed in recent years, the gradation of a high-luminance portion can be reproduced with a contrast close to the appearance of the subject. On the other hand, the reproducible luminance gradation may change depending on the peak luminance of the output monitor. Therefore, when shooting and developing an HDR video signal with a camera, if it is possible to check how the subject being shot is reproduced on the final viewing monitor, the user's drawing intention is reflected. It will be easier to make. Conventionally, as an exposure determination method for an image processing device compatible with HDR, a method of determining a reference exposure at the time of shooting has been proposed based on an absolute luminance value obtained by converting a representative luminance value in an image based on the input / output characteristics of an output device. (For example, Patent Document 1).
特許文献1では、撮影シーンのダイナミックレンジや、作画意図によってユーザが基準露出を変更したい場合に、どの露出範囲であれば、最終的な出力モニタの輝度再現範囲で適切に再現されるのかを把握することはできない。また、適正な露出設定値を確認するために、露出ブラケッティング撮影する場合にも、カメラ内表示デバイスの輝度レンジが、観賞用の出力モニタで再現可能な輝度レンジと異なる場合には、撮影中の表示画像からカメラ設定が適切かを確認することが困難である。 In Patent Document 1, when the user wants to change the reference exposure according to the dynamic range of the shooting scene or the drawing intention, it is grasped which exposure range is appropriately reproduced in the brightness reproduction range of the final output monitor. You can't. Also, in order to confirm the appropriate exposure setting value, even when taking exposure bracketing shots, if the brightness range of the in-camera display device is different from the brightness range reproducible on the ornamental output monitor, shooting is in progress. It is difficult to confirm whether the camera settings are appropriate from the displayed image of.
本発明は、ユーザが映像を撮影時に、観賞用のモニタの輝度レンジを考慮して、露出調整を行えるようにするための技術を提供しようとするものである。 The present invention is intended to provide a technique for allowing a user to adjust the exposure in consideration of the brightness range of an ornamental monitor when shooting an image.
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
撮像手段の露出を調整するための情報をユーザに提示する画像処理装置であって、
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出手段と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定手段と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較手段と、
該比較手段の比較の結果に基づき、前記検出手段で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理手段とを有する。
In order to solve this problem, for example, the image processing apparatus of the present invention has the following configuration. That is,
An image processing device that presents information to the user for adjusting the exposure of the imaging means.
A detection means that detects representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
A setting means for setting a display dynamic range that represents the brightness range of the target display device, and
A comparison means for comparing the input dynamic range representing the brightness range imaged by the imaging means with the display dynamic range, and
Based on the comparison result of the comparison means, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected by the detection means, and the user interface for adjusting the exposure in the determined range. It has a processing means for presenting.
本発明によれば、ユーザが映像を撮影時に、観賞用のモニタの輝度レンジを考慮して、露出調整を行うことが可能になる。 According to the present invention, when a user shoots an image, the exposure can be adjusted in consideration of the brightness range of an ornamental monitor.
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are designated by the same reference numbers, and duplicate description is omitted.
[第1の実施形態]
本実施形態は、撮影画像に対して、ITU-R BT.2100などのHDR規格に対応した現像処理、映像信号のエンコードを行ってダイナミックレンジの広い画像を記録する画像処理装置に関する。したがって、本画像処理装置で撮影、現像された映像信号は、HDR規格に対応した外部モニタで再生表示することを想定している。さらに、本画像処理装置で撮影中に画像を確認するための内部表示部(背面液晶パネル、電子ビューファインダーなど)では、輝度再現範囲が前記外部モニタと異なる場合があることを想定している。
[First Embodiment]
The present embodiment relates to an image processing apparatus that records an image having a wide dynamic range by performing development processing corresponding to an HDR standard such as ITU-R BT.2100 and encoding a video signal on a captured image. Therefore, it is assumed that the video signal captured and developed by this image processing device is reproduced and displayed on an external monitor compatible with the HDR standard. Further, it is assumed that the brightness reproduction range of the internal display unit (rear liquid crystal panel, electronic viewfinder, etc.) for confirming an image during shooting by the image processing device may be different from that of the external monitor.
図1は実施形態における画像処理装置のブロック構成図であり、撮像装置に適用した場合の構成を示している。 FIG. 1 is a block configuration diagram of an image processing apparatus according to an embodiment, and shows a configuration when applied to an imaging apparatus.
図1において、光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系101は、撮像素子102に結像する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子102は、CCDやCMOSセンサー等の光電変換素子で構成され、光学系101を通過した結像した被写体の光束を光電変換し電気信号に変換し、出力する。A/D変換部103は、撮像素子102から入力した1画素当たりの映像信号を所定のbit数(例えば14bit)でデジタル画像に変換し、出力する。
In FIG. 1, the
画像処理部104は、A/D変換部103からの出力信号に対して現像処理を行う。具体的には、画像処理部104は、A/D変換部103からの信号に対し、ノイズ抑圧、デモザイク、階調変換、色補正、輪郭補償等を含む現像処理を行い、輝度信号、色信号を生成する。また、画像処理部104は、A/D変換部103から出力された信号のみでなく、記録部110から読み出した画像データに対しても同様の画像処理を行うことができる。
The
入力画像解析部105は、入力画像の信号レベルを解析し、光学系101、撮像部102、画像処理部104の制御パラメータを制御するための評価値を生成する。
The input
想定輝度再現範囲決定部106は、本画像処理装置で記録されたHDR対応の映像信号を、ユーザの目標として外部モニタで表示したときに再現可能な輝度範囲を決定する。
The assumed luminance reproduction
露出調整範囲決定部107は、想定輝度再現範囲決定部106の決定結果と、入力画像解析部105からの解析結果の評価値に基づいて、撮影中のシーンに対して露出調整可能な範囲を決定する。
The exposure adjustment
表示処理部109は、画像処理部104から出力される映像信号を液晶パネルなどの表示用部材に逐次表示することにより、電子ビューファインダ(EVF)として機能する。記録処理部108は、画像処理部104から出力される映像信号を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードなどの情報記録媒体を含んでもよい。ユーザ指示部110は、タッチパネル、ボタンを含み、ユーザが露出設定や現像設定などの画像処理装置の処理内容を指定するためのユーザインタフェースである。
The
システム制御部111は、CPU、当該CPUが実行するプログラムを格納したROM、及び、CPUのワークエリアとして機能するRAMで構成される。そして、このシステム制御部111は、実施形態の画像処理装置の各処理部と接続し、画像信号および、制御信号を介して、画像処理装置全体の動作を制御する。
The
次に、図2のフローチャートを参照して、本実施形態の画像処理装置の処理フローを説明する。 Next, the processing flow of the image processing apparatus of this embodiment will be described with reference to the flowchart of FIG.
S100にて、システム制御部111は、画像処理装置の入力ダイナミックレンジを決定する。
In S100, the
ここで、入力ダイナミックレンジは、撮像素子102で取得し、再現できる被写体の輝度レンジを示す。入力ダイナミックレンジの下限値Cmin(nitsまたはcd/m2)は、撮像素子102に光が入っていない状態に相当し、ダイナミックレンジの設定によらず常にCmin=0となる。入力ダイナミックレンジの上限値Cmax(nitsまたはcd/m2)は、撮像素子が飽和する被写体輝度に相当する。また、本実施形態では、反射率100%の被写体の輝度が100nitsである想定で撮像を行うものとする。例えば、3段階のダイナミックレンジ設定があり、それぞれ、撮像素子が飽和する被写体輝度のレベルが、Cmax={200nits、400nits、800nits}のいずれかであるとする。
Here, the input dynamic range indicates the brightness range of the subject that can be acquired and reproduced by the
入力ダイナミックレンジは、ユーザが、撮影したいシーンのダイナミックレンジに応じて設定するか、入力画像解析部105の解析結果に基づき、画像処理装置が自動的に設定するものとする。入力ダイナミックレンジが設定されると、システム制御部111は、入力ダイナミックレンジに応じた飽和レベルで撮像素子102が飽和するよう、光学系101の絞り、シャッタースピード、撮像素子102のISO感度の設定を行う。
The input dynamic range is set by the user according to the dynamic range of the scene to be photographed, or is automatically set by the image processing device based on the analysis result of the input
S101にて、システム制御部111は、ユーザの指示に基づき、想定輝度再現範囲決定部105を制御し、想定輝度再現範囲を設定させる。
In S101, the
具体的には、最終的にユーザが想定する鑑賞用の出力モニタの表示ダイナミックレンジの最大輝度値Dmax(nitsまたはcd/m2)と最小輝度値Dmin(nitsまたはcd/m2)、前記出力モニタが対応するHDR信号のエンコード方式(PQ(Perceptual Quantization)、HLG(Hybrid Log-Gamma)など)を設定する。 Specifically, the maximum brightness value Dmax (nits or cd / m 2 ) and the minimum brightness value Dmin (nits or cd / m 2 ) of the display dynamic range of the output monitor for viewing finally assumed by the user, and the above output. Set the HDR signal encoding method (PQ (Perceptual Quantization), HLG (Hybrid Log-Gamma), etc.) supported by the monitor.
なお、ここで言う最大輝度値Dmax,最小輝度値Dmin、並びに、エンコード方式は、ユーザがユーザ指示部110を操作して設定するものとする。ただし、システム制御部111が有するROM等の記憶装置に、各種モニタを特定するための情報(例えばメーカ名、モデル名)と、そのモニタの最大輝度値Dmax、最小輝度値Dmin、(場合によっては更にエンコード方式)が予めテーブルとして記憶してき、ユーザがその中の1つをユーザ指示部110から選択するようにしても良い。また、図示しない通信部を介して、ネットワークからその情報を取得するようにしても良い。また、ユーザが最終出力モニタを設定しない場合には、システム制御部111が初期値を設定するものとする。一例としては、最大輝度Dmax=600nits、最小輝度Dmin=0nits、HDR信号のエンコード方式がPQという情報が、想定輝度再現範囲設定部で設定されるものとする。
The maximum luminance value Dmax, the minimum luminance value Dmin, and the encoding method referred to here are set by the user operating the
S102にて、システム制御部111は光学系101、撮像素子102を制御し、撮影を開始することで、画像の取り込みを開始する。
In S102, the
S103にて、システム制御部111は入力画像解析部105を制御し、A/D変換部103から出力される画像の信号レベルを解析し、以下の手順で撮影シーンのダイナミックレンジを算出させる。
In S103, the
まず、入力画像解析部105は、入力される画像を複数のブロック領域に分割し、各ブロックの平均輝度値を算出する。そして、入力画像解析部105は、算出した平均輝度値に基づく、図8に示すような輝度ヒストグラムを作成する。次に、入力画像解析部105は、作成した輝度ヒストグラムを参照し、撮影シーンの明部の代表輝度値Smax(nitsまたはcd/m2)、撮影シーンの暗部の代表輝度値Smin(nitsまたはcd/m2)を求め、これらSmaxとSminの差分を撮影シーンのダイナミックレンジに設定する。また、Smaxは、輝度ヒストグラムにおいて、上位の輝度領域LHの平均輝度値、Sminは、輝度ヒストグラムにおいて、下位の輝度領域LLの平均輝度値とする。LH、LLは、あらかじめ所定の範囲を設定するものとする。具体的には、輝度ヒストグラムが示す分布の上位10%の平均輝度値をLH、下位10%の平均輝度値をLLとする。なお、ここで示した10%という数値はあくまで例示であると理解されたい。ユーザがユーザ指示部110から適宜設定もしくは選択するようにしても良いからである。
First, the input
上記では、撮影シーンから代表輝度Smin,Smaxを検出するものとしたが、撮影シーン中のユーザが望む領域(例えば人物の顔等)を設定し、その設定した領域内の画像から求めるようにしても良い。 In the above, the representative brightness Smin and Smax are detected from the shooting scene, but the area desired by the user in the shooting scene (for example, the face of a person) is set and obtained from the image in the set area. Is also good.
S104にて、システム制御部111は露出調整範囲決定部107を制御し、想定輝度再現範囲決定部106と、入力画像解析部105の出力を参照し、撮影中のシーンにおいて、露出調整可能な範囲を決定させる。そして、その範囲内での露出調整を行って、撮像処理を行う。
In S104, the
S105にて、システム制御部111は、画像処理部104を制御し、A/D変換部103の出力信号に対して現像処理を行わせる。
In S105, the
S106にて、システム制御部111は表示処理部109、記録処理部108を制御し、画像処理部104の出力信号を受けての表示や記録に係る処理を行わせる。表示処理部109は、撮影時の撮像装置の光学系、撮像素子、現像の設定値や、画像の特徴を示すヒストグラムなどの付帯情報を、現像処理部104の出力画像と対応づけて表示する。記録処理部108は、現像処理部104の出力画像を、撮影中の付帯情報と対応づけて記録する。
In S106, the
ここで、表示処理部109で表示可能な最大の輝度は、本画像処理装置で撮影、現像された映像信号を生成する外部モニタの最大輝度よりも低い場合がある。
Here, the maximum brightness that can be displayed by the
これは、外部モニタと表示処理部109のデバイスが異なることに加えて、電力消費を抑えるため、撮像動作中は、表示処理部109での表示輝度を下げるような制御を行うことに起因している。このような条件下では、撮像中に、表示処理部109に表示される現像結果の画像を視認しながら、ユーザが露出設定の可否を判断することが困難となる。したがって、本実施形態では、露出調整範囲決定部107において、最終出力モニタの輝度表示性能とHDR信号のエンコード方式を考慮し、撮影時に設定された基準の露出に対してユーザが露出設定を変更できる範囲を算出し、表示するための情報を決定する。
This is because the devices of the external monitor and the
次に、図3のフローチャートと、図4、図5、図6の模式図を参照して、本実施形態の特徴である、システム制御部111の制御下の露出調整範囲決定部107の処理内容について説明する。
Next, referring to the flowchart of FIG. 3 and the schematic views of FIGS. 4, 5, and 6, the processing content of the exposure adjustment
尚、図4、図5、図6は、入力ダイナミックレンジ、想定輝度再現範囲、撮影シーンの輝度分布情報の大小関係の一例を示す模式図である。 Note that FIGS. 4, 5 and 6 are schematic views showing an example of the magnitude relationship between the input dynamic range, the assumed luminance reproduction range, and the luminance distribution information of the shooting scene.
図3において、S200,S201、S202にて、露出調整範囲決定部107は、画像処理装置の入力ダイナミックレンジCmin,Cmax、最終出力モニタの想定輝度再現範囲Dmin、Dmax、HDR信号のエンコード方式、撮影シーンの輝度分布情報Smin,Smax,を入力する。
In FIG. 3, in S200, S201, and S202, the exposure adjustment
S203にて、露出調整範囲決定部107は、入力画像の輝度解析結果を参照し、露出調整のための基準レベルSave(nitsまたはcd/m2)を決定する。露出調整のための基準値は、入力画像の中央の所定領域の平均輝度値としてもよいし、ユーザが選択した画像中の矩形領域内の平均輝度値としてもよい。
In S203, the exposure adjustment
S204〜S209にて、露出調整範囲決定部107は、想定輝度再現範囲、入力ダイナミックレンジ、HDR信号のエンコード方式、撮影シーンの輝度分布情報に基づき、露出調整範囲を決定する。
In S204 to S209, the exposure adjustment
まず、S204にて、露出調整範囲決定部107は、想定輝度再現範囲と入力ダイナミックレンジを比較し、想定輝度再現範囲が、入力ダイナミックレンジ以上である場合には処理をS205に進める。また、想定輝度再現範囲が、入力ダイナミックレンジ未満である場合、露出調整範囲決定部107は処理をS206に進める。
First, in S204, the exposure adjustment
S205にて、露出調整範囲決定部107は、撮影シーンの輝度分布が入力ダイナミックレンジを超えないよう、式(1)、(2)によって、露出調整量ΔEV+、ΔEV-を算出する。
In S205, the exposure adjustment
ここで、ΔEV+は、S203で決定した露出調整の基準レベルSaveに対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。また、ΔEV-は、S203で決定した露出調整の基準レベルSaveに対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。 Here, ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203. Further, ΔEV- indicates the lower limit correction amount (nits or cd / m 2 ) that can negatively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203.
図4の模式図に示すように、撮影シーンの暗部の代表輝度値Sminと、撮像素子102が出力可能な最小の輝度レベルCminとの差分が、ΔEV-となる。また、撮影シーンの明部の代表輝度値Smaxと撮像素子102で出力可能な最大の輝度レベルCmaxの差分が、ΔEV+となる
ΔEV- = Smin - Cmin …(1)
ΔEV+ = Cmax - Smax …(2)
As shown in the schematic diagram of FIG. 4, the difference between the representative luminance value Smin of the dark part of the shooting scene and the minimum luminance level Cmin that can be output by the
ΔEV + = Cmax --Smax… (2)
S206,S208にて、露出調整範囲決定部107は、HDR信号のエンコード方式に応じて、露出調整範囲の設定方法を切り替える。
In S206 and S208, the exposure adjustment
露出調整範囲決定部107は、HDR信号のエンコード方式がPQ方式の場合はS207、HDR信号のエンコード方式がHLGの場合にはS209、そして、その以外の場合はS205に処理を分岐させる。
The exposure adjustment
HDR信号のエンコード方式で、PQ方式とは、非特許文献1(p.5 TABEL4 Reference PQ OETF)に記載の方式であり、HLG方式とは、非特許文献1(p.6 TABLE5 HLG Reference OETF)に記載のエンコード方式である。また、その他の方式としては、一例として、ログ形式のエンコード方式を想定しているが、それ以外のエンコード方式でも構わない。 In the HDR signal encoding method, the PQ method is the method described in Non-Patent Document 1 (p.5 TABEL4 Reference PQ OETF), and the HLG method is the non-patent Document 1 (p.6 TABLE5 HLG Reference OETF). It is the encoding method described in. As another method, a log format encoding method is assumed as an example, but other encoding methods may be used.
S207にて、露出調整範囲決定部107は、HDR信号のエンコード方式がPQの場合の露出調整範囲を決定する。
In S207, the exposure adjustment
PQ方式は、シーンの明るさをモニタ表示の絶対輝度に対応づけてエンコードするため、画像処理装置において、撮影シーンの輝度分布が出力モニタの輝度範囲内に収まるように撮影、現像されていれば、モニタ表示時に正しく再現できる。 Since the PQ method encodes the brightness of the scene in association with the absolute brightness of the monitor display, if the image processing device shoots and develops the brightness distribution of the shooting scene so that it falls within the brightness range of the output monitor. , Can be reproduced correctly when displayed on a monitor.
したがって、撮影シーンの輝度分布が想定輝度再現範囲を超えないよう、式(3)、(4)で露出調整量の上限値ΔEV+、下限値ΔEV-を決定する。 Therefore, the upper limit value ΔEV + and the lower limit value ΔEV- of the exposure adjustment amount are determined by the equations (3) and (4) so that the brightness distribution of the shooting scene does not exceed the assumed brightness reproduction range.
ΔEV+は、S203で決定した露出調整の基準レベルSaveに対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。また、ΔEV-は、S203で決定した露出調整の基準レベルSaveに対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。
ΔEV- = Smin - Dmin …(3)
ΔEV+ = Dmax - Smax …(4)
ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203. Further, ΔEV- indicates a lower limit correction amount (nits or cd / m2) capable of negatively correcting the exposure with respect to the reference level Save of the exposure adjustment determined in S203.
ΔEV- = Smin --Dmin… (3)
ΔEV + = Dmax --Smax… (4)
図5の模式図に示すように、撮影シーンの暗部の代表輝度値Sminと、観賞用の出力モニタで再現可能な最小の輝度レベルDminとの差分がΔEV-となる。また、撮影シーンの明部の代表輝度値Smaxと、観賞用の出力モニタで再現可能な最大の輝度レベルDmaxの差分がΔEV+となる
S209,S210にて、露出調整範囲決定部107は、HDR信号のエンコード方式がHLGの場合の露出調整範囲を決定する。
As shown in the schematic diagram of FIG. 5, the difference between the representative brightness value Smin of the dark part of the shooting scene and the minimum brightness level Dmin reproducible on the ornamental output monitor is ΔEV-. Further, in S209 and S210 where the difference between the representative brightness value Smax of the bright part of the shooting scene and the maximum brightness level Dmax reproducible on the ornamental output monitor is ΔEV +, the exposure adjustment
HLG方式は、シーンの明るさの最大輝度をモニタ表示の最大輝度に相対的に対応づけたエンコードを行う。したがって、画像処理装置の入力ダイナミックレンジに対して、鑑賞用の出力モニタの上限の輝度値が低い場合に、暗部から中間の輝度域にある被写体が暗くなってしまう場合がある。 The HLG method encodes the maximum brightness of the scene brightness relative to the maximum brightness of the monitor display. Therefore, when the upper limit brightness value of the output monitor for viewing is lower than the input dynamic range of the image processing device, the subject in the brightness range from the dark part to the middle may become dark.
そのため、S209にて、露出調整範囲決定部107は、入力ダイナミックレンジと想定輝度再現範囲の差分に応じた所定のゲインk(ΔL)をかけて、撮影シーンの輝度値を補正する。
Therefore, in S209, the exposure adjustment
図6において、撮影シーンの暗部の代表輝度値Smin、明部の代表輝度値Smax、基準露出Saveをそれぞれ露出補正したものが、Smin'、Smax'、Save'となる。 In FIG. 6, the representative brightness value Smin of the dark part, the representative brightness value Smax of the bright part, and the reference exposure Save of the shooting scene are exposed and compensated, which are Smin', Smax', and Save'.
ΔLは、入力ダイナミックレンジの上限値(撮像部で出力可能な最大の輝度レベルCmax)と観賞用の出力モニタで再現可能な最大の輝度レベルDmaxを用いて、式(5)に従って求める。補正ゲインkは、あらかじめ定められた係数αを用いて、式(6)に従って求める。
ΔL = Dmax - Cmax …(5)
k = ΔLα …(6)
ΔL is obtained according to Equation (5) using the upper limit of the input dynamic range (maximum luminance level Cmax that can be output by the imaging unit) and the maximum luminance level Dmax that can be reproduced by the ornamental output monitor. The correction gain k is obtained according to the equation (6) using a predetermined coefficient α.
ΔL = Dmax --Cmax… (5)
k = ΔL α … (6)
HLG方式の場合も、画像処理装置において、露出補正後の撮影シーンの輝度分布が出力モニタの輝度範囲内に収まるように撮影、現像されていれば、モニタ表示時に正しく再現できる。 Even in the case of the HLG method, if the image processing device shoots and develops the brightness distribution of the shooting scene after exposure compensation so as to be within the brightness range of the output monitor, it can be correctly reproduced at the time of display on the monitor.
したがって、S210にて、露出調整範囲決定部107は、露出補正後の撮影シーンの輝度分布情報Smin’、Smax’が想定輝度再現範囲を超えないよう、式(7)、(8)で露出調整量の上限値ΔEV+、下限値ΔEV-を決定する。
Therefore, in S210, the exposure adjustment
ΔEV+は、S209で決定した露出調整の基準レベルSave’に対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。ΔEV-は、S209で決定した露出調整の基準レベルSave’に対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。
ΔEV- = Smin'- Dmin' …(7)
ΔEV+ = Dmax - Smax' …(8)
ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save'of the exposure adjustment determined in S209. ΔEV-indicates the lower limit correction amount (nits or cd / m 2 ) capable of negatively correcting the exposure with respect to the reference level Save'of the exposure adjustment determined in S209.
ΔEV- = Smin'-Dmin'… (7)
ΔEV + = Dmax --Smax'… (8)
図6の模式図に示すように、基準露出補正後の撮影シーンの暗部の代表輝度値Smin’と、観賞用の出力モニタで再現可能な最小の輝度レベルDminとの差分がΔEV-となる。また、基準露出補正後の撮影シーンの明部の代表輝度値Smax’と、観賞用の出力モニタで再現可能な最大の輝度レベルDmaxの差分がΔEV+となる
以上で、露出補正量決定部107での処理を終了する。
As shown in the schematic diagram of FIG. 6, the difference between the representative brightness value Smin'of the dark part of the shooting scene after the reference exposure compensation and the minimum brightness level Dmin that can be reproduced by the ornamental output monitor is ΔEV-. In addition, the difference between the representative brightness value Smax'of the bright part of the shooting scene after the reference exposure compensation and the maximum brightness level Dmax that can be reproduced on the ornamental output monitor is ΔEV +, and the exposure compensation
システム制御部111は、露出調整範囲決定部107で算出された、露出調整範囲にかかかるユーザインタフェースもしくは情報を、表示処理部109を介して、現像結果とともに提示する。ここで表示処理部109により提示されたユーザインタフェースの表示の一例を図7に示す。
The
図7において、参照符号750は表示処理部109により表示される画面を示している。参照符号751は、撮像画像した入力画像を示している。矩形領域700は、入力画像において露出調整を行う際の基準被写体領域を示しており、画像表示画面の下部に、基準露出レベルと、露出調整可能な範囲を示すスライダーのアイコンが描画される。
In FIG. 7,
参照符号701は、矩形領域700の平均輝度値を示している。参照符号702は、撮影シーンの輝度分布の幅を示すバー、参照符号703(両端矢印の範囲)は、露出調整範囲決定部で算出された、最終出力モニタで再現可能な露出調整範囲(ΔEV−〜ΔEV+)を示す。この露出調整範囲703は、前述したように最終出力モニタの再現範囲を考慮して決定されたものであり、画像処理装置がその仕様上調整できる露出量の幅とは異なる範囲である。
Reference numeral 701 indicates the average luminance value of the
ユーザが露出を調整する操作を行うと、輝度分布幅のバー702が左右に動き、ユーザの露出調整の目安となる。バー702は露出調整範囲703の範囲でのみ移動可能である。 When the user performs an operation to adjust the exposure, the brightness distribution width bar 702 moves left and right, which serves as a guide for the user's exposure adjustment. The bar 702 can only be moved within the exposure adjustment range 703.
なお、本実施形態では、バー702は、露出調整範囲703の範囲でのみ調整できるが、その幅を超えて調整できるようにしてもよい。一部の領域で白飛びや黒つぶれが生じたとしても、所望の露出に設定したい場合があるからである。このとき、例えばバー702および露出調整範囲703を示す表示に加えて、画像処理装置の仕様上調整可能な露出範囲(例えば−3段〜+3段)を表示してもよい。つまり、図7の画面では、現在の露出設定が最終出力モニタで再現可能かをユーザに認識させることができればよい。 In the present embodiment, the bar 702 can be adjusted only within the exposure adjustment range 703, but the bar 702 may be adjusted beyond the range. This is because even if overexposure or underexposure occurs in a part of the area, it may be desired to set the desired exposure. At this time, in addition to the display showing, for example, the bar 702 and the exposure adjustment range 703, an exposure range that can be adjusted according to the specifications of the image processing apparatus (for example, -3 steps to +3 steps) may be displayed. That is, on the screen of FIG. 7, it is sufficient that the user can recognize whether the current exposure setting can be reproduced on the final output monitor.
前述したように、露出調整範囲703は、図3〜図6を用いて説明した処理の結果に基づき異なるものとなる。つまり、同じシーンを同じ入力ダイナミックレンジで撮影する場合であっても、最終出力モニタが異なる場合は、露出調整範囲703は異なる範囲となる場合がある。 As described above, the exposure adjustment range 703 is different based on the results of the processes described with reference to FIGS. 3 to 6. That is, even when the same scene is shot with the same input dynamic range, the exposure adjustment range 703 may be in a different range if the final output monitors are different.
また、露出調整範囲決定部107での処理は、撮像部102において、撮像動作が更新されるごとに実施するが、表示処理部109での露出調整範囲の表示は、想定輝度再現範囲決定部106の設定が更新された場合か、撮影シーンの輝度分布が大きく変化した場合、もしくは、所定のフレーム間隔で更新するものとする。
Further, the processing by the exposure adjustment
上記構成において、ユーザがバー702を操作すると、その操作に応じて撮像に係る露出が決定される。そのうえで、ユーザが撮像に係る操作を行うことで、ユーザが望むモニタにて高い階調性が再現できる画像を得ることできることになる。 In the above configuration, when the user operates the bar 702, the exposure related to the imaging is determined according to the operation. Then, when the user performs an operation related to imaging, an image capable of reproducing high gradation on the monitor desired by the user can be obtained.
以上説明したように、本実施形態によれば、HDR規格に対応した映像信号を生成する際に、最終出力モニタの想定輝度再現範囲と、入力画像の信号レベルとに基づいて、ユーザが露出調整範囲を把握し、露出調整を行うことができる。 As described above, according to the present embodiment, when generating a video signal corresponding to the HDR standard, the user adjusts the exposure based on the assumed luminance reproduction range of the final output monitor and the signal level of the input image. You can grasp the range and adjust the exposure.
(その他の実施例)
上記実施形態ではHDR規格に対応した映像信号について説明したが、必ずしもHDR規格に限定されない。本発明は、撮像により得られる映像のダイナミックレンジと最終的な表示デバイスが対応するダイナミックレンジに差がある場合に適用することができる。
(Other Examples)
In the above embodiment, the video signal corresponding to the HDR standard has been described, but the video signal is not necessarily limited to the HDR standard. The present invention can be applied when there is a difference between the dynamic range of the image obtained by imaging and the dynamic range supported by the final display device.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.
101…光学系、102…撮像部、103…A/D変換部、104…画像処理部、105…入力画像解析部、106…想定輝度再現範囲決定部、107…露出調整範囲決定部、108…記録処理部、109…表示処理部、110…ユーザ指示部、111…システム制御部 101 ... Optical system, 102 ... Imaging unit, 103 ... A / D conversion unit, 104 ... Image processing unit, 105 ... Input image analysis unit, 106 ... Assumed brightness reproduction range determination unit, 107 ... Exposure adjustment range determination unit, 108 ... Recording processing unit, 109 ... Display processing unit, 110 ... User instruction unit, 111 ... System control unit
Claims (9)
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出手段と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定手段と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較手段と、
該比較手段の比較の結果に基づき、前記検出手段で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理手段と
を有することを特徴とする画像処理装置。 An image processing device that presents information to the user for adjusting the exposure of the imaging means.
A detection means that detects representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
A setting means for setting a display dynamic range that represents the brightness range of the target display device, and
A comparison means for comparing the input dynamic range representing the brightness range imaged by the imaging means with the display dynamic range, and
Based on the comparison result of the comparison means, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected by the detection means, and the user interface for adjusting the exposure in the determined range. An image processing apparatus having a processing means for presenting the above.
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジと同じ、もしくは、より広いことを示す場合、前記入力ダイナミックレンジが示す範囲を、露出の調整可能な範囲として決定する
ことを特徴とする請求項1に記載の画像処理装置。 The processing means
When the comparison result of the comparison means indicates that the display dynamic range is the same as or wider than the input dynamic range, the range indicated by the input dynamic range is determined as the adjustable range of exposure. The image processing apparatus according to claim 1.
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジより狭いことを示す場合であって、前記PQをエンコード方式として設定されている場合には、前記表示ダイナミックレンジが示す範囲を、露出の調整可能な範囲として決定する
ことを特徴とする請求項3に記載の画像処理装置。 The processing means
When the result of comparison of the comparison means indicates that the display dynamic range is narrower than the input dynamic range, and the PQ is set as the encoding method, the range indicated by the display dynamic range is set. The image processing apparatus according to claim 3, wherein the exposure is determined as an adjustable range.
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジより狭いことを示す場合であって、前記HLGをエンコード方式として設定されている場合には、前記検出手段で検出した前記明部及び暗部の代表輝度値を補正し、当該補正後の代表輝度値と、前記表示ダイナミックレンジが示す範囲から、露出の調整可能な範囲を決定する
ことを特徴とする請求項3または4に記載の画像処理装置。 The processing means
When the result of comparison of the comparison means indicates that the display dynamic range is narrower than the input dynamic range and the HLG is set as the encoding method, the brightness detected by the detection means is used. The third or fourth aspect of claim 3 or 4, wherein the representative luminance values of the portion and the dark portion are corrected, and the adjustable range of the exposure is determined from the corrected representative luminance value and the range indicated by the display dynamic range. Image processing equipment.
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出工程と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定工程と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較工程と、
該比較工程の比較の結果に基づき、前記検出工程で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理工程と
を有することを特徴とする画像処理装置の制御方法。 It is a control method of an image processing device that presents information for adjusting the exposure of an image pickup means to a user.
A detection step of detecting representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
The setting process for setting the display dynamic range that represents the brightness range of the target display device, and
A comparison step of comparing an input dynamic range representing a luminance range imaged by the imaging means with the display dynamic range.
Based on the comparison result of the comparison step, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected in the detection step, and the user interface for adjusting the exposure in the determined range. A control method for an image processing apparatus, which comprises a processing step for presenting.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134798A JP7273642B2 (en) | 2019-07-22 | 2019-07-22 | Image processing device and its control method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134798A JP7273642B2 (en) | 2019-07-22 | 2019-07-22 | Image processing device and its control method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021019314A true JP2021019314A (en) | 2021-02-15 |
JP7273642B2 JP7273642B2 (en) | 2023-05-15 |
Family
ID=74566193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019134798A Active JP7273642B2 (en) | 2019-07-22 | 2019-07-22 | Image processing device and its control method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7273642B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007228048A (en) * | 2006-02-21 | 2007-09-06 | Sony Corp | Image display method, image display apparatus, and imaging apparatus |
JP2015215504A (en) * | 2014-05-12 | 2015-12-03 | オリンパス株式会社 | Apparatus operation system and imaging device |
-
2019
- 2019-07-22 JP JP2019134798A patent/JP7273642B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007228048A (en) * | 2006-02-21 | 2007-09-06 | Sony Corp | Image display method, image display apparatus, and imaging apparatus |
JP2015215504A (en) * | 2014-05-12 | 2015-12-03 | オリンパス株式会社 | Apparatus operation system and imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP7273642B2 (en) | 2023-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101633460B1 (en) | Method and Apparatus for controlling multi-exposure | |
US9148561B2 (en) | Image capturing apparatus, executable autoexposure bracketing and control method thereof | |
US9077905B2 (en) | Image capturing apparatus and control method thereof | |
US7961228B2 (en) | Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face | |
US20100201848A1 (en) | Image capturing apparatus and control method thereof | |
JP4999871B2 (en) | Imaging apparatus and control method thereof | |
JP2010147786A (en) | Imaging device and image processing method | |
JP2008148180A (en) | Imaging apparatus, image processing device and method, and computer program | |
US10271029B2 (en) | Image pickup apparatus and method of controlling an image pickup apparatus | |
JP2008131530A (en) | Image pickup device, image processing apparatus and method, and computer program | |
JP4855155B2 (en) | Imaging apparatus and imaging method using the same | |
JP6883971B2 (en) | Image processing equipment and image processing methods, programs, and storage media | |
JPWO2019111659A1 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
JP5048599B2 (en) | Imaging device | |
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
JP5316923B2 (en) | Imaging apparatus and program thereof | |
JP2012124652A (en) | Imaging apparatus and image processing method | |
JP5335964B2 (en) | Imaging apparatus and control method thereof | |
JP2022066385A (en) | Image processing apparatus and image processing method, and program | |
JP7273642B2 (en) | Image processing device and its control method and program | |
JP4422353B2 (en) | Electronic camera | |
JP2010183461A (en) | Image capturing apparatus and method of controlling the same | |
JP2015037222A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
US20230370725A1 (en) | Imaging apparatus and control method for imaging apparatus | |
JP5351663B2 (en) | Imaging apparatus and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7273642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |