JP2021019314A - Image processing apparatus, control method thereof, and program - Google Patents

Image processing apparatus, control method thereof, and program Download PDF

Info

Publication number
JP2021019314A
JP2021019314A JP2019134798A JP2019134798A JP2021019314A JP 2021019314 A JP2021019314 A JP 2021019314A JP 2019134798 A JP2019134798 A JP 2019134798A JP 2019134798 A JP2019134798 A JP 2019134798A JP 2021019314 A JP2021019314 A JP 2021019314A
Authority
JP
Japan
Prior art keywords
range
exposure
dynamic range
image processing
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019134798A
Other languages
Japanese (ja)
Other versions
JP7273642B2 (en
Inventor
田島 香
Ko Tajima
香 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019134798A priority Critical patent/JP7273642B2/en
Publication of JP2021019314A publication Critical patent/JP2021019314A/en
Application granted granted Critical
Publication of JP7273642B2 publication Critical patent/JP7273642B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To allow users to adjust an exposure adjustment when capturing video in consideration of a luminance range of a monitor for viewing.SOLUTION: An image processing apparatus is configured to present information to a user for adjusting an exposure of an imaging unit. The image processing apparatus includes: a detection unit configured to detect a representative luminance value of a bright portion and a dark portion on the basis of a luminance distribution of image data imaged and obtained by an imaging unit on the basis of initial exposure setting; a setting unit configured to set a display dynamic range indicating a luminance range of a target display apparatus; a comparator unit configured to compare an input dynamic range indicating a luminance range when being imaged by the imaging unit with the display dynamic range; and a processing unit configured to determine, on the basis of a comparison result of the comparator unit, an adjustable range of the exposure by using the representative luminance value of the bright portion and the dark portion detected by the detection unit, and to present a user interface for adjusting the exposure within the determined range.SELECTED DRAWING: Figure 3

Description

本発明は、撮像する際の露出を調整するための技術に関するものである。 The present invention relates to a technique for adjusting exposure at the time of imaging.

近年、提案されているITU-R BT.2100(非特許文献1)などのHDR(High Dynamic Range)の映像信号システムでは、高輝度部の階調を、被写体の見た目に近いコントラストで再現できる。一方で、出力モニタのピーク輝度によって、再現できる輝度階調が変わってしまう場合がある。したがって、HDRの映像信号をカメラで撮影、現像する際、撮影中の被写体が、最終的な鑑賞用のモニタで、どのように再現されるかを確認できるようにすると、ユーザの作画意図を反映させやすくなる。従来、HDRに対応した画像処理装置の露出決定方法としては、画像における代表輝度値を出力機器の入出力特性に基づいて変換した絶対輝度値に基づき、撮影時の基準露出を決定するものが提案されている(例えば特許文献1)。 In an HDR (High Dynamic Range) video signal system such as ITU-R BT.2100 (Non-Patent Document 1), which has been proposed in recent years, the gradation of a high-luminance portion can be reproduced with a contrast close to the appearance of the subject. On the other hand, the reproducible luminance gradation may change depending on the peak luminance of the output monitor. Therefore, when shooting and developing an HDR video signal with a camera, if it is possible to check how the subject being shot is reproduced on the final viewing monitor, the user's drawing intention is reflected. It will be easier to make. Conventionally, as an exposure determination method for an image processing device compatible with HDR, a method of determining a reference exposure at the time of shooting has been proposed based on an absolute luminance value obtained by converting a representative luminance value in an image based on the input / output characteristics of an output device. (For example, Patent Document 1).

特開2018−56702号公報JP-A-2018-56702

Recommendation ITU-R BT.2100-2 (07/2018)Recommendation ITU-R BT.2100-2 (07/2018)

特許文献1では、撮影シーンのダイナミックレンジや、作画意図によってユーザが基準露出を変更したい場合に、どの露出範囲であれば、最終的な出力モニタの輝度再現範囲で適切に再現されるのかを把握することはできない。また、適正な露出設定値を確認するために、露出ブラケッティング撮影する場合にも、カメラ内表示デバイスの輝度レンジが、観賞用の出力モニタで再現可能な輝度レンジと異なる場合には、撮影中の表示画像からカメラ設定が適切かを確認することが困難である。 In Patent Document 1, when the user wants to change the reference exposure according to the dynamic range of the shooting scene or the drawing intention, it is grasped which exposure range is appropriately reproduced in the brightness reproduction range of the final output monitor. You can't. Also, in order to confirm the appropriate exposure setting value, even when taking exposure bracketing shots, if the brightness range of the in-camera display device is different from the brightness range reproducible on the ornamental output monitor, shooting is in progress. It is difficult to confirm whether the camera settings are appropriate from the displayed image of.

本発明は、ユーザが映像を撮影時に、観賞用のモニタの輝度レンジを考慮して、露出調整を行えるようにするための技術を提供しようとするものである。 The present invention is intended to provide a technique for allowing a user to adjust the exposure in consideration of the brightness range of an ornamental monitor when shooting an image.

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
撮像手段の露出を調整するための情報をユーザに提示する画像処理装置であって、
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出手段と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定手段と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較手段と、
該比較手段の比較の結果に基づき、前記検出手段で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理手段とを有する。
In order to solve this problem, for example, the image processing apparatus of the present invention has the following configuration. That is,
An image processing device that presents information to the user for adjusting the exposure of the imaging means.
A detection means that detects representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
A setting means for setting a display dynamic range that represents the brightness range of the target display device, and
A comparison means for comparing the input dynamic range representing the brightness range imaged by the imaging means with the display dynamic range, and
Based on the comparison result of the comparison means, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected by the detection means, and the user interface for adjusting the exposure in the determined range. It has a processing means for presenting.

本発明によれば、ユーザが映像を撮影時に、観賞用のモニタの輝度レンジを考慮して、露出調整を行うことが可能になる。 According to the present invention, when a user shoots an image, the exposure can be adjusted in consideration of the brightness range of an ornamental monitor.

実施形態の画像処理装置のブロック構成図。The block block diagram of the image processing apparatus of embodiment. 実施形態の画像処理装置の処理手順を示すフローチャート。The flowchart which shows the processing procedure of the image processing apparatus of embodiment. 露出調整範囲決定部の処理手順を示すフローチャート。The flowchart which shows the processing procedure of the exposure adjustment range determination part. 露出補正範囲決定部の処理内容を説明するため図。The figure for demonstrating the processing content of the exposure compensation range determination part. 露出補正範囲決定部の処理内容を説明するため図。The figure for demonstrating the processing content of the exposure compensation range determination part. 露出補正範囲決定部の処理内容を説明するため図。The figure for demonstrating the processing content of the exposure compensation range determination part. 露出補正のユーザインタフェースの表示例を示す図。The figure which shows the display example of the user interface of exposure compensation. 入力画像の輝度分布を示すヒストグラム。A histogram showing the brightness distribution of the input image.

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are designated by the same reference numbers, and duplicate description is omitted.

[第1の実施形態]
本実施形態は、撮影画像に対して、ITU-R BT.2100などのHDR規格に対応した現像処理、映像信号のエンコードを行ってダイナミックレンジの広い画像を記録する画像処理装置に関する。したがって、本画像処理装置で撮影、現像された映像信号は、HDR規格に対応した外部モニタで再生表示することを想定している。さらに、本画像処理装置で撮影中に画像を確認するための内部表示部(背面液晶パネル、電子ビューファインダーなど)では、輝度再現範囲が前記外部モニタと異なる場合があることを想定している。
[First Embodiment]
The present embodiment relates to an image processing apparatus that records an image having a wide dynamic range by performing development processing corresponding to an HDR standard such as ITU-R BT.2100 and encoding a video signal on a captured image. Therefore, it is assumed that the video signal captured and developed by this image processing device is reproduced and displayed on an external monitor compatible with the HDR standard. Further, it is assumed that the brightness reproduction range of the internal display unit (rear liquid crystal panel, electronic viewfinder, etc.) for confirming an image during shooting by the image processing device may be different from that of the external monitor.

図1は実施形態における画像処理装置のブロック構成図であり、撮像装置に適用した場合の構成を示している。 FIG. 1 is a block configuration diagram of an image processing apparatus according to an embodiment, and shows a configuration when applied to an imaging apparatus.

図1において、光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系101は、撮像素子102に結像する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像素子102は、CCDやCMOSセンサー等の光電変換素子で構成され、光学系101を通過した結像した被写体の光束を光電変換し電気信号に変換し、出力する。A/D変換部103は、撮像素子102から入力した1画素当たりの映像信号を所定のbit数(例えば14bit)でデジタル画像に変換し、出力する。 In FIG. 1, the optical system 101 includes a lens group composed of a zoom lens and a focus lens, an aperture adjusting device, and a shutter device. The optical system 101 adjusts the magnification, focus position, or amount of light of the subject image imaged on the image sensor 102. The image sensor 102 is composed of a photoelectric conversion element such as a CCD or a CMOS sensor, and photoelectrically converts the luminous flux of the imaged subject that has passed through the optical system 101 into an electric signal and outputs the light flux. The A / D conversion unit 103 converts the video signal per pixel input from the image sensor 102 into a digital image with a predetermined number of bits (for example, 14 bits) and outputs the digital image.

画像処理部104は、A/D変換部103からの出力信号に対して現像処理を行う。具体的には、画像処理部104は、A/D変換部103からの信号に対し、ノイズ抑圧、デモザイク、階調変換、色補正、輪郭補償等を含む現像処理を行い、輝度信号、色信号を生成する。また、画像処理部104は、A/D変換部103から出力された信号のみでなく、記録部110から読み出した画像データに対しても同様の画像処理を行うことができる。 The image processing unit 104 performs development processing on the output signal from the A / D conversion unit 103. Specifically, the image processing unit 104 performs development processing including noise suppression, demosaic, gradation conversion, color correction, contour compensation, etc. on the signal from the A / D conversion unit 103, and performs a luminance signal, a color signal, and the like. To generate. Further, the image processing unit 104 can perform the same image processing not only on the signal output from the A / D conversion unit 103 but also on the image data read from the recording unit 110.

入力画像解析部105は、入力画像の信号レベルを解析し、光学系101、撮像部102、画像処理部104の制御パラメータを制御するための評価値を生成する。 The input image analysis unit 105 analyzes the signal level of the input image and generates an evaluation value for controlling the control parameters of the optical system 101, the image pickup unit 102, and the image processing unit 104.

想定輝度再現範囲決定部106は、本画像処理装置で記録されたHDR対応の映像信号を、ユーザの目標として外部モニタで表示したときに再現可能な輝度範囲を決定する。 The assumed luminance reproduction range determination unit 106 determines the luminance range that can be reproduced when the HDR-compatible video signal recorded by the image processing apparatus is displayed on an external monitor as a user's target.

露出調整範囲決定部107は、想定輝度再現範囲決定部106の決定結果と、入力画像解析部105からの解析結果の評価値に基づいて、撮影中のシーンに対して露出調整可能な範囲を決定する。 The exposure adjustment range determination unit 107 determines an exposure adjustable range for the scene being photographed based on the determination result of the assumed luminance reproduction range determination unit 106 and the evaluation value of the analysis result from the input image analysis unit 105. To do.

表示処理部109は、画像処理部104から出力される映像信号を液晶パネルなどの表示用部材に逐次表示することにより、電子ビューファインダ(EVF)として機能する。記録処理部108は、画像処理部104から出力される映像信号を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードなどの情報記録媒体を含んでもよい。ユーザ指示部110は、タッチパネル、ボタンを含み、ユーザが露出設定や現像設定などの画像処理装置の処理内容を指定するためのユーザインタフェースである。 The display processing unit 109 functions as an electronic viewfinder (EVF) by sequentially displaying the video signal output from the image processing unit 104 on a display member such as a liquid crystal panel. The recording processing unit 108 has a function of recording a video signal output from the image processing unit 104, and may include, for example, an information recording medium such as a memory card equipped with a semiconductor memory. The user instruction unit 110 includes a touch panel and buttons, and is a user interface for the user to specify processing contents of the image processing device such as exposure setting and development setting.

システム制御部111は、CPU、当該CPUが実行するプログラムを格納したROM、及び、CPUのワークエリアとして機能するRAMで構成される。そして、このシステム制御部111は、実施形態の画像処理装置の各処理部と接続し、画像信号および、制御信号を介して、画像処理装置全体の動作を制御する。 The system control unit 111 includes a CPU, a ROM in which a program executed by the CPU is stored, and a RAM that functions as a work area of the CPU. Then, the system control unit 111 is connected to each processing unit of the image processing device of the embodiment, and controls the operation of the entire image processing device via the image signal and the control signal.

次に、図2のフローチャートを参照して、本実施形態の画像処理装置の処理フローを説明する。 Next, the processing flow of the image processing apparatus of this embodiment will be described with reference to the flowchart of FIG.

S100にて、システム制御部111は、画像処理装置の入力ダイナミックレンジを決定する。 In S100, the system control unit 111 determines the input dynamic range of the image processing device.

ここで、入力ダイナミックレンジは、撮像素子102で取得し、再現できる被写体の輝度レンジを示す。入力ダイナミックレンジの下限値Cmin(nitsまたはcd/m2)は、撮像素子102に光が入っていない状態に相当し、ダイナミックレンジの設定によらず常にCmin=0となる。入力ダイナミックレンジの上限値Cmax(nitsまたはcd/m2)は、撮像素子が飽和する被写体輝度に相当する。また、本実施形態では、反射率100%の被写体の輝度が100nitsである想定で撮像を行うものとする。例えば、3段階のダイナミックレンジ設定があり、それぞれ、撮像素子が飽和する被写体輝度のレベルが、Cmax={200nits、400nits、800nits}のいずれかであるとする。 Here, the input dynamic range indicates the brightness range of the subject that can be acquired and reproduced by the image sensor 102. The lower limit value Cmin (nits or cd / m 2 ) of the input dynamic range corresponds to a state in which no light enters the image sensor 102, and Cmin = 0 is always set regardless of the dynamic range setting. The upper limit of the input dynamic range, Cmax (nits or cd / m 2 ), corresponds to the subject brightness at which the image sensor saturates. Further, in the present embodiment, it is assumed that the brightness of a subject having a reflectance of 100% is 100 nits. For example, it is assumed that there are three dynamic range settings, and the subject brightness level at which the image sensor is saturated is one of Cmax = {200nits, 400nits, 800nits}.

入力ダイナミックレンジは、ユーザが、撮影したいシーンのダイナミックレンジに応じて設定するか、入力画像解析部105の解析結果に基づき、画像処理装置が自動的に設定するものとする。入力ダイナミックレンジが設定されると、システム制御部111は、入力ダイナミックレンジに応じた飽和レベルで撮像素子102が飽和するよう、光学系101の絞り、シャッタースピード、撮像素子102のISO感度の設定を行う。 The input dynamic range is set by the user according to the dynamic range of the scene to be photographed, or is automatically set by the image processing device based on the analysis result of the input image analysis unit 105. When the input dynamic range is set, the system control unit 111 sets the aperture of the optical system 101, the shutter speed, and the ISO sensitivity of the image sensor 102 so that the image sensor 102 is saturated at a saturation level corresponding to the input dynamic range. Do.

S101にて、システム制御部111は、ユーザの指示に基づき、想定輝度再現範囲決定部105を制御し、想定輝度再現範囲を設定させる。 In S101, the system control unit 111 controls the assumed luminance reproduction range determination unit 105 based on the user's instruction to set the assumed luminance reproduction range.

具体的には、最終的にユーザが想定する鑑賞用の出力モニタの表示ダイナミックレンジの最大輝度値Dmax(nitsまたはcd/m2)と最小輝度値Dmin(nitsまたはcd/m2)、前記出力モニタが対応するHDR信号のエンコード方式(PQ(Perceptual Quantization)、HLG(Hybrid Log-Gamma)など)を設定する。 Specifically, the maximum brightness value Dmax (nits or cd / m 2 ) and the minimum brightness value Dmin (nits or cd / m 2 ) of the display dynamic range of the output monitor for viewing finally assumed by the user, and the above output. Set the HDR signal encoding method (PQ (Perceptual Quantization), HLG (Hybrid Log-Gamma), etc.) supported by the monitor.

なお、ここで言う最大輝度値Dmax,最小輝度値Dmin、並びに、エンコード方式は、ユーザがユーザ指示部110を操作して設定するものとする。ただし、システム制御部111が有するROM等の記憶装置に、各種モニタを特定するための情報(例えばメーカ名、モデル名)と、そのモニタの最大輝度値Dmax、最小輝度値Dmin、(場合によっては更にエンコード方式)が予めテーブルとして記憶してき、ユーザがその中の1つをユーザ指示部110から選択するようにしても良い。また、図示しない通信部を介して、ネットワークからその情報を取得するようにしても良い。また、ユーザが最終出力モニタを設定しない場合には、システム制御部111が初期値を設定するものとする。一例としては、最大輝度Dmax=600nits、最小輝度Dmin=0nits、HDR信号のエンコード方式がPQという情報が、想定輝度再現範囲設定部で設定されるものとする。 The maximum luminance value Dmax, the minimum luminance value Dmin, and the encoding method referred to here are set by the user operating the user instruction unit 110. However, information for identifying various monitors (for example, manufacturer name, model name), maximum brightness value Dmax, minimum brightness value Dmin, (in some cases, the minimum brightness value Dmin) of the storage device such as ROM of the system control unit 111. Further, the encoding method) may be stored as a table in advance, and the user may select one of them from the user instruction unit 110. Further, the information may be acquired from the network via a communication unit (not shown). If the user does not set the final output monitor, the system control unit 111 sets the initial value. As an example, it is assumed that the information that the maximum brightness Dmax = 600nits, the minimum brightness Dmin = 0nits, and the HDR signal encoding method is PQ is set in the assumed brightness reproduction range setting unit.

S102にて、システム制御部111は光学系101、撮像素子102を制御し、撮影を開始することで、画像の取り込みを開始する。 In S102, the system control unit 111 controls the optical system 101 and the image sensor 102, and starts shooting to start capturing an image.

S103にて、システム制御部111は入力画像解析部105を制御し、A/D変換部103から出力される画像の信号レベルを解析し、以下の手順で撮影シーンのダイナミックレンジを算出させる。 In S103, the system control unit 111 controls the input image analysis unit 105, analyzes the signal level of the image output from the A / D conversion unit 103, and causes the dynamic range of the shooting scene to be calculated by the following procedure.

まず、入力画像解析部105は、入力される画像を複数のブロック領域に分割し、各ブロックの平均輝度値を算出する。そして、入力画像解析部105は、算出した平均輝度値に基づく、図8に示すような輝度ヒストグラムを作成する。次に、入力画像解析部105は、作成した輝度ヒストグラムを参照し、撮影シーンの明部の代表輝度値Smax(nitsまたはcd/m2)、撮影シーンの暗部の代表輝度値Smin(nitsまたはcd/m2)を求め、これらSmaxとSminの差分を撮影シーンのダイナミックレンジに設定する。また、Smaxは、輝度ヒストグラムにおいて、上位の輝度領域LHの平均輝度値、Sminは、輝度ヒストグラムにおいて、下位の輝度領域LLの平均輝度値とする。LH、LLは、あらかじめ所定の範囲を設定するものとする。具体的には、輝度ヒストグラムが示す分布の上位10%の平均輝度値をLH、下位10%の平均輝度値をLLとする。なお、ここで示した10%という数値はあくまで例示であると理解されたい。ユーザがユーザ指示部110から適宜設定もしくは選択するようにしても良いからである。 First, the input image analysis unit 105 divides the input image into a plurality of block areas and calculates the average luminance value of each block. Then, the input image analysis unit 105 creates a luminance histogram as shown in FIG. 8 based on the calculated average luminance value. Next, the input image analysis unit 105 refers to the created luminance histogram, and refers to the representative luminance value Smax (nits or cd / m 2 ) of the bright part of the shooting scene and the representative luminance value Smin (nits or cd) of the dark part of the shooting scene. Find / m 2 ) and set the difference between Smax and Smin to the dynamic range of the shooting scene. Further, Smax is the average luminance value of the upper luminance region LH in the luminance histogram, and Smin is the average luminance value of the lower luminance region LL in the luminance histogram. A predetermined range shall be set in advance for LH and LL. Specifically, let LH be the average luminance value of the upper 10% of the distribution shown by the luminance histogram, and LL be the average luminance value of the lower 10%. It should be understood that the value of 10% shown here is just an example. This is because the user may appropriately set or select from the user instruction unit 110.

上記では、撮影シーンから代表輝度Smin,Smaxを検出するものとしたが、撮影シーン中のユーザが望む領域(例えば人物の顔等)を設定し、その設定した領域内の画像から求めるようにしても良い。 In the above, the representative brightness Smin and Smax are detected from the shooting scene, but the area desired by the user in the shooting scene (for example, the face of a person) is set and obtained from the image in the set area. Is also good.

S104にて、システム制御部111は露出調整範囲決定部107を制御し、想定輝度再現範囲決定部106と、入力画像解析部105の出力を参照し、撮影中のシーンにおいて、露出調整可能な範囲を決定させる。そして、その範囲内での露出調整を行って、撮像処理を行う。 In S104, the system control unit 111 controls the exposure adjustment range determination unit 107, refers to the output of the assumed luminance reproduction range determination unit 106 and the input image analysis unit 105, and allows the exposure to be adjusted in the scene being photographed. To decide. Then, the exposure is adjusted within that range, and the imaging process is performed.

S105にて、システム制御部111は、画像処理部104を制御し、A/D変換部103の出力信号に対して現像処理を行わせる。 In S105, the system control unit 111 controls the image processing unit 104 to perform development processing on the output signal of the A / D conversion unit 103.

S106にて、システム制御部111は表示処理部109、記録処理部108を制御し、画像処理部104の出力信号を受けての表示や記録に係る処理を行わせる。表示処理部109は、撮影時の撮像装置の光学系、撮像素子、現像の設定値や、画像の特徴を示すヒストグラムなどの付帯情報を、現像処理部104の出力画像と対応づけて表示する。記録処理部108は、現像処理部104の出力画像を、撮影中の付帯情報と対応づけて記録する。 In S106, the system control unit 111 controls the display processing unit 109 and the recording processing unit 108 to perform processing related to display and recording in response to the output signal of the image processing unit 104. The display processing unit 109 displays ancillary information such as an optical system of an image pickup device at the time of shooting, an image sensor, development settings, and a histogram showing the characteristics of the image in association with the output image of the development processing unit 104. The recording processing unit 108 records the output image of the developing processing unit 104 in association with the incidental information during shooting.

ここで、表示処理部109で表示可能な最大の輝度は、本画像処理装置で撮影、現像された映像信号を生成する外部モニタの最大輝度よりも低い場合がある。 Here, the maximum brightness that can be displayed by the display processing unit 109 may be lower than the maximum brightness of the external monitor that generates the video signal captured and developed by the image processing device.

これは、外部モニタと表示処理部109のデバイスが異なることに加えて、電力消費を抑えるため、撮像動作中は、表示処理部109での表示輝度を下げるような制御を行うことに起因している。このような条件下では、撮像中に、表示処理部109に表示される現像結果の画像を視認しながら、ユーザが露出設定の可否を判断することが困難となる。したがって、本実施形態では、露出調整範囲決定部107において、最終出力モニタの輝度表示性能とHDR信号のエンコード方式を考慮し、撮影時に設定された基準の露出に対してユーザが露出設定を変更できる範囲を算出し、表示するための情報を決定する。 This is because the devices of the external monitor and the display processing unit 109 are different, and in order to reduce power consumption, the display processing unit 109 is controlled to reduce the display brightness during the imaging operation. There is. Under such conditions, it becomes difficult for the user to determine whether or not the exposure can be set while visually recognizing the image of the development result displayed on the display processing unit 109 during imaging. Therefore, in the present embodiment, in the exposure adjustment range determination unit 107, the user can change the exposure setting with respect to the reference exposure set at the time of shooting in consideration of the brightness display performance of the final output monitor and the HDR signal encoding method. Calculate the range and determine the information to display.

次に、図3のフローチャートと、図4、図5、図6の模式図を参照して、本実施形態の特徴である、システム制御部111の制御下の露出調整範囲決定部107の処理内容について説明する。 Next, referring to the flowchart of FIG. 3 and the schematic views of FIGS. 4, 5, and 6, the processing content of the exposure adjustment range determination unit 107 under the control of the system control unit 111, which is a feature of the present embodiment. Will be described.

尚、図4、図5、図6は、入力ダイナミックレンジ、想定輝度再現範囲、撮影シーンの輝度分布情報の大小関係の一例を示す模式図である。 Note that FIGS. 4, 5 and 6 are schematic views showing an example of the magnitude relationship between the input dynamic range, the assumed luminance reproduction range, and the luminance distribution information of the shooting scene.

図3において、S200,S201、S202にて、露出調整範囲決定部107は、画像処理装置の入力ダイナミックレンジCmin,Cmax、最終出力モニタの想定輝度再現範囲Dmin、Dmax、HDR信号のエンコード方式、撮影シーンの輝度分布情報Smin,Smax,を入力する。 In FIG. 3, in S200, S201, and S202, the exposure adjustment range determining unit 107 uses the input dynamic range Cmin, Cmax of the image processing device, the assumed luminance reproduction range Dmin, Dmax, and HDR signal of the final output monitor, and captures the image. Enter the brightness distribution information Smin, Smax, of the scene.

S203にて、露出調整範囲決定部107は、入力画像の輝度解析結果を参照し、露出調整のための基準レベルSave(nitsまたはcd/m2)を決定する。露出調整のための基準値は、入力画像の中央の所定領域の平均輝度値としてもよいし、ユーザが選択した画像中の矩形領域内の平均輝度値としてもよい。 In S203, the exposure adjustment range determination unit 107 determines the reference level Save (nits or cd / m2) for exposure adjustment with reference to the brightness analysis result of the input image. The reference value for exposure adjustment may be an average luminance value in a predetermined region in the center of the input image, or may be an average luminance value in a rectangular region in the image selected by the user.

S204〜S209にて、露出調整範囲決定部107は、想定輝度再現範囲、入力ダイナミックレンジ、HDR信号のエンコード方式、撮影シーンの輝度分布情報に基づき、露出調整範囲を決定する。 In S204 to S209, the exposure adjustment range determination unit 107 determines the exposure adjustment range based on the assumed luminance reproduction range, the input dynamic range, the HDR signal encoding method, and the luminance distribution information of the shooting scene.

まず、S204にて、露出調整範囲決定部107は、想定輝度再現範囲と入力ダイナミックレンジを比較し、想定輝度再現範囲が、入力ダイナミックレンジ以上である場合には処理をS205に進める。また、想定輝度再現範囲が、入力ダイナミックレンジ未満である場合、露出調整範囲決定部107は処理をS206に進める。 First, in S204, the exposure adjustment range determination unit 107 compares the assumed luminance reproduction range with the input dynamic range, and if the assumed luminance reproduction range is equal to or greater than the input dynamic range, the process proceeds to S205. If the assumed luminance reproduction range is less than the input dynamic range, the exposure adjustment range determination unit 107 advances the process to S206.

S205にて、露出調整範囲決定部107は、撮影シーンの輝度分布が入力ダイナミックレンジを超えないよう、式(1)、(2)によって、露出調整量ΔEV+、ΔEV-を算出する。 In S205, the exposure adjustment range determination unit 107 calculates the exposure adjustment amounts ΔEV + and ΔEV- by the equations (1) and (2) so that the brightness distribution of the shooting scene does not exceed the input dynamic range.

ここで、ΔEV+は、S203で決定した露出調整の基準レベルSaveに対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。また、ΔEV-は、S203で決定した露出調整の基準レベルSaveに対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。 Here, ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203. Further, ΔEV- indicates the lower limit correction amount (nits or cd / m 2 ) that can negatively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203.

図4の模式図に示すように、撮影シーンの暗部の代表輝度値Sminと、撮像素子102が出力可能な最小の輝度レベルCminとの差分が、ΔEV-となる。また、撮影シーンの明部の代表輝度値Smaxと撮像素子102で出力可能な最大の輝度レベルCmaxの差分が、ΔEV+となる
ΔEV- = Smin - Cmin …(1)
ΔEV+ = Cmax - Smax …(2)
As shown in the schematic diagram of FIG. 4, the difference between the representative luminance value Smin of the dark part of the shooting scene and the minimum luminance level Cmin that can be output by the image sensor 102 is ΔEV−. Further, the difference between the representative brightness value Smax of the bright part of the shooting scene and the maximum brightness level Cmax that can be output by the image sensor 102 is ΔEV + ΔEV- = Smin --Cmin ... (1)
ΔEV + = Cmax --Smax… (2)

S206,S208にて、露出調整範囲決定部107は、HDR信号のエンコード方式に応じて、露出調整範囲の設定方法を切り替える。 In S206 and S208, the exposure adjustment range determination unit 107 switches the exposure adjustment range setting method according to the HDR signal encoding method.

露出調整範囲決定部107は、HDR信号のエンコード方式がPQ方式の場合はS207、HDR信号のエンコード方式がHLGの場合にはS209、そして、その以外の場合はS205に処理を分岐させる。 The exposure adjustment range determination unit 107 branches the process to S207 when the HDR signal encoding method is the PQ method, S209 when the HDR signal encoding method is HLG, and S205 in other cases.

HDR信号のエンコード方式で、PQ方式とは、非特許文献1(p.5 TABEL4 Reference PQ OETF)に記載の方式であり、HLG方式とは、非特許文献1(p.6 TABLE5 HLG Reference OETF)に記載のエンコード方式である。また、その他の方式としては、一例として、ログ形式のエンコード方式を想定しているが、それ以外のエンコード方式でも構わない。 In the HDR signal encoding method, the PQ method is the method described in Non-Patent Document 1 (p.5 TABEL4 Reference PQ OETF), and the HLG method is the non-patent Document 1 (p.6 TABLE5 HLG Reference OETF). It is the encoding method described in. As another method, a log format encoding method is assumed as an example, but other encoding methods may be used.

S207にて、露出調整範囲決定部107は、HDR信号のエンコード方式がPQの場合の露出調整範囲を決定する。 In S207, the exposure adjustment range determination unit 107 determines the exposure adjustment range when the HDR signal encoding method is PQ.

PQ方式は、シーンの明るさをモニタ表示の絶対輝度に対応づけてエンコードするため、画像処理装置において、撮影シーンの輝度分布が出力モニタの輝度範囲内に収まるように撮影、現像されていれば、モニタ表示時に正しく再現できる。 Since the PQ method encodes the brightness of the scene in association with the absolute brightness of the monitor display, if the image processing device shoots and develops the brightness distribution of the shooting scene so that it falls within the brightness range of the output monitor. , Can be reproduced correctly when displayed on a monitor.

したがって、撮影シーンの輝度分布が想定輝度再現範囲を超えないよう、式(3)、(4)で露出調整量の上限値ΔEV+、下限値ΔEV-を決定する。 Therefore, the upper limit value ΔEV + and the lower limit value ΔEV- of the exposure adjustment amount are determined by the equations (3) and (4) so that the brightness distribution of the shooting scene does not exceed the assumed brightness reproduction range.

ΔEV+は、S203で決定した露出調整の基準レベルSaveに対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。また、ΔEV-は、S203で決定した露出調整の基準レベルSaveに対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。
ΔEV- = Smin - Dmin …(3)
ΔEV+ = Dmax - Smax …(4)
ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save of the exposure adjustment determined in S203. Further, ΔEV- indicates a lower limit correction amount (nits or cd / m2) capable of negatively correcting the exposure with respect to the reference level Save of the exposure adjustment determined in S203.
ΔEV- = Smin --Dmin… (3)
ΔEV + = Dmax --Smax… (4)

図5の模式図に示すように、撮影シーンの暗部の代表輝度値Sminと、観賞用の出力モニタで再現可能な最小の輝度レベルDminとの差分がΔEV-となる。また、撮影シーンの明部の代表輝度値Smaxと、観賞用の出力モニタで再現可能な最大の輝度レベルDmaxの差分がΔEV+となる
S209,S210にて、露出調整範囲決定部107は、HDR信号のエンコード方式がHLGの場合の露出調整範囲を決定する。
As shown in the schematic diagram of FIG. 5, the difference between the representative brightness value Smin of the dark part of the shooting scene and the minimum brightness level Dmin reproducible on the ornamental output monitor is ΔEV-. Further, in S209 and S210 where the difference between the representative brightness value Smax of the bright part of the shooting scene and the maximum brightness level Dmax reproducible on the ornamental output monitor is ΔEV +, the exposure adjustment range determination unit 107 is an HDR signal. Determines the exposure adjustment range when the encoding method of is HLG.

HLG方式は、シーンの明るさの最大輝度をモニタ表示の最大輝度に相対的に対応づけたエンコードを行う。したがって、画像処理装置の入力ダイナミックレンジに対して、鑑賞用の出力モニタの上限の輝度値が低い場合に、暗部から中間の輝度域にある被写体が暗くなってしまう場合がある。 The HLG method encodes the maximum brightness of the scene brightness relative to the maximum brightness of the monitor display. Therefore, when the upper limit brightness value of the output monitor for viewing is lower than the input dynamic range of the image processing device, the subject in the brightness range from the dark part to the middle may become dark.

そのため、S209にて、露出調整範囲決定部107は、入力ダイナミックレンジと想定輝度再現範囲の差分に応じた所定のゲインk(ΔL)をかけて、撮影シーンの輝度値を補正する。 Therefore, in S209, the exposure adjustment range determining unit 107 corrects the luminance value of the shooting scene by applying a predetermined gain k (ΔL) according to the difference between the input dynamic range and the assumed luminance reproduction range.

図6において、撮影シーンの暗部の代表輝度値Smin、明部の代表輝度値Smax、基準露出Saveをそれぞれ露出補正したものが、Smin'、Smax'、Save'となる。 In FIG. 6, the representative brightness value Smin of the dark part, the representative brightness value Smax of the bright part, and the reference exposure Save of the shooting scene are exposed and compensated, which are Smin', Smax', and Save'.

ΔLは、入力ダイナミックレンジの上限値(撮像部で出力可能な最大の輝度レベルCmax)と観賞用の出力モニタで再現可能な最大の輝度レベルDmaxを用いて、式(5)に従って求める。補正ゲインkは、あらかじめ定められた係数αを用いて、式(6)に従って求める。
ΔL = Dmax - Cmax …(5)
k = ΔLα …(6)
ΔL is obtained according to Equation (5) using the upper limit of the input dynamic range (maximum luminance level Cmax that can be output by the imaging unit) and the maximum luminance level Dmax that can be reproduced by the ornamental output monitor. The correction gain k is obtained according to the equation (6) using a predetermined coefficient α.
ΔL = Dmax --Cmax… (5)
k = ΔL α … (6)

HLG方式の場合も、画像処理装置において、露出補正後の撮影シーンの輝度分布が出力モニタの輝度範囲内に収まるように撮影、現像されていれば、モニタ表示時に正しく再現できる。 Even in the case of the HLG method, if the image processing device shoots and develops the brightness distribution of the shooting scene after exposure compensation so as to be within the brightness range of the output monitor, it can be correctly reproduced at the time of display on the monitor.

したがって、S210にて、露出調整範囲決定部107は、露出補正後の撮影シーンの輝度分布情報Smin’、Smax’が想定輝度再現範囲を超えないよう、式(7)、(8)で露出調整量の上限値ΔEV+、下限値ΔEV-を決定する。 Therefore, in S210, the exposure adjustment range determination unit 107 adjusts the exposure by the equations (7) and (8) so that the brightness distribution information Smin'and Smax' of the shooting scene after the exposure compensation does not exceed the assumed brightness reproduction range. The upper limit value ΔEV + and the lower limit value ΔEV- of the amount are determined.

ΔEV+は、S209で決定した露出調整の基準レベルSave’に対して、露出をプラス補正できる上限の補正量(nitsまたはcd/m2)を示す。ΔEV-は、S209で決定した露出調整の基準レベルSave’に対して、露出をマイナス補正できる下限の補正量(nitsまたはcd/m2)を示す。
ΔEV- = Smin'- Dmin' …(7)
ΔEV+ = Dmax - Smax' …(8)
ΔEV + indicates the upper limit correction amount (nits or cd / m 2 ) that can positively correct the exposure with respect to the reference level Save'of the exposure adjustment determined in S209. ΔEV-indicates the lower limit correction amount (nits or cd / m 2 ) capable of negatively correcting the exposure with respect to the reference level Save'of the exposure adjustment determined in S209.
ΔEV- = Smin'-Dmin'… (7)
ΔEV + = Dmax --Smax'… (8)

図6の模式図に示すように、基準露出補正後の撮影シーンの暗部の代表輝度値Smin’と、観賞用の出力モニタで再現可能な最小の輝度レベルDminとの差分がΔEV-となる。また、基準露出補正後の撮影シーンの明部の代表輝度値Smax’と、観賞用の出力モニタで再現可能な最大の輝度レベルDmaxの差分がΔEV+となる
以上で、露出補正量決定部107での処理を終了する。
As shown in the schematic diagram of FIG. 6, the difference between the representative brightness value Smin'of the dark part of the shooting scene after the reference exposure compensation and the minimum brightness level Dmin that can be reproduced by the ornamental output monitor is ΔEV-. In addition, the difference between the representative brightness value Smax'of the bright part of the shooting scene after the reference exposure compensation and the maximum brightness level Dmax that can be reproduced on the ornamental output monitor is ΔEV +, and the exposure compensation amount determination unit 107 Ends the processing of.

システム制御部111は、露出調整範囲決定部107で算出された、露出調整範囲にかかかるユーザインタフェースもしくは情報を、表示処理部109を介して、現像結果とともに提示する。ここで表示処理部109により提示されたユーザインタフェースの表示の一例を図7に示す。 The system control unit 111 presents the user interface or information related to the exposure adjustment range calculated by the exposure adjustment range determination unit 107 together with the development result via the display processing unit 109. Here, FIG. 7 shows an example of the display of the user interface presented by the display processing unit 109.

図7において、参照符号750は表示処理部109により表示される画面を示している。参照符号751は、撮像画像した入力画像を示している。矩形領域700は、入力画像において露出調整を行う際の基準被写体領域を示しており、画像表示画面の下部に、基準露出レベルと、露出調整可能な範囲を示すスライダーのアイコンが描画される。 In FIG. 7, reference numeral 750 indicates a screen displayed by the display processing unit 109. Reference numeral 751 indicates an input image captured. The rectangular area 700 indicates a reference subject area when adjusting the exposure in the input image, and a slider icon indicating the reference exposure level and the range in which the exposure can be adjusted is drawn at the lower part of the image display screen.

参照符号701は、矩形領域700の平均輝度値を示している。参照符号702は、撮影シーンの輝度分布の幅を示すバー、参照符号703(両端矢印の範囲)は、露出調整範囲決定部で算出された、最終出力モニタで再現可能な露出調整範囲(ΔEV−〜ΔEV+)を示す。この露出調整範囲703は、前述したように最終出力モニタの再現範囲を考慮して決定されたものであり、画像処理装置がその仕様上調整できる露出量の幅とは異なる範囲である。 Reference numeral 701 indicates the average luminance value of the rectangular region 700. Reference numeral 702 is a bar indicating the width of the brightness distribution of the shooting scene, and reference numeral 703 (the range of the arrows on both ends) is an exposure adjustment range (ΔEV-) that can be reproduced by the final output monitor calculated by the exposure adjustment range determination unit. ~ ΔEV +) is shown. As described above, the exposure adjustment range 703 is determined in consideration of the reproduction range of the final output monitor, and is a range different from the range of the exposure amount that the image processing apparatus can adjust according to its specifications.

ユーザが露出を調整する操作を行うと、輝度分布幅のバー702が左右に動き、ユーザの露出調整の目安となる。バー702は露出調整範囲703の範囲でのみ移動可能である。 When the user performs an operation to adjust the exposure, the brightness distribution width bar 702 moves left and right, which serves as a guide for the user's exposure adjustment. The bar 702 can only be moved within the exposure adjustment range 703.

なお、本実施形態では、バー702は、露出調整範囲703の範囲でのみ調整できるが、その幅を超えて調整できるようにしてもよい。一部の領域で白飛びや黒つぶれが生じたとしても、所望の露出に設定したい場合があるからである。このとき、例えばバー702および露出調整範囲703を示す表示に加えて、画像処理装置の仕様上調整可能な露出範囲(例えば−3段〜+3段)を表示してもよい。つまり、図7の画面では、現在の露出設定が最終出力モニタで再現可能かをユーザに認識させることができればよい。 In the present embodiment, the bar 702 can be adjusted only within the exposure adjustment range 703, but the bar 702 may be adjusted beyond the range. This is because even if overexposure or underexposure occurs in a part of the area, it may be desired to set the desired exposure. At this time, in addition to the display showing, for example, the bar 702 and the exposure adjustment range 703, an exposure range that can be adjusted according to the specifications of the image processing apparatus (for example, -3 steps to +3 steps) may be displayed. That is, on the screen of FIG. 7, it is sufficient that the user can recognize whether the current exposure setting can be reproduced on the final output monitor.

前述したように、露出調整範囲703は、図3〜図6を用いて説明した処理の結果に基づき異なるものとなる。つまり、同じシーンを同じ入力ダイナミックレンジで撮影する場合であっても、最終出力モニタが異なる場合は、露出調整範囲703は異なる範囲となる場合がある。 As described above, the exposure adjustment range 703 is different based on the results of the processes described with reference to FIGS. 3 to 6. That is, even when the same scene is shot with the same input dynamic range, the exposure adjustment range 703 may be in a different range if the final output monitors are different.

また、露出調整範囲決定部107での処理は、撮像部102において、撮像動作が更新されるごとに実施するが、表示処理部109での露出調整範囲の表示は、想定輝度再現範囲決定部106の設定が更新された場合か、撮影シーンの輝度分布が大きく変化した場合、もしくは、所定のフレーム間隔で更新するものとする。 Further, the processing by the exposure adjustment range determination unit 107 is performed every time the imaging operation is updated in the imaging unit 102, but the display of the exposure adjustment range by the display processing unit 109 is performed by the assumed brightness reproduction range determination unit 106. It is assumed that the setting of is updated, the brightness distribution of the shooting scene changes significantly, or the setting is updated at a predetermined frame interval.

上記構成において、ユーザがバー702を操作すると、その操作に応じて撮像に係る露出が決定される。そのうえで、ユーザが撮像に係る操作を行うことで、ユーザが望むモニタにて高い階調性が再現できる画像を得ることできることになる。 In the above configuration, when the user operates the bar 702, the exposure related to the imaging is determined according to the operation. Then, when the user performs an operation related to imaging, an image capable of reproducing high gradation on the monitor desired by the user can be obtained.

以上説明したように、本実施形態によれば、HDR規格に対応した映像信号を生成する際に、最終出力モニタの想定輝度再現範囲と、入力画像の信号レベルとに基づいて、ユーザが露出調整範囲を把握し、露出調整を行うことができる。 As described above, according to the present embodiment, when generating a video signal corresponding to the HDR standard, the user adjusts the exposure based on the assumed luminance reproduction range of the final output monitor and the signal level of the input image. You can grasp the range and adjust the exposure.

(その他の実施例)
上記実施形態ではHDR規格に対応した映像信号について説明したが、必ずしもHDR規格に限定されない。本発明は、撮像により得られる映像のダイナミックレンジと最終的な表示デバイスが対応するダイナミックレンジに差がある場合に適用することができる。
(Other Examples)
In the above embodiment, the video signal corresponding to the HDR standard has been described, but the video signal is not necessarily limited to the HDR standard. The present invention can be applied when there is a difference between the dynamic range of the image obtained by imaging and the dynamic range supported by the final display device.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.

101…光学系、102…撮像部、103…A/D変換部、104…画像処理部、105…入力画像解析部、106…想定輝度再現範囲決定部、107…露出調整範囲決定部、108…記録処理部、109…表示処理部、110…ユーザ指示部、111…システム制御部 101 ... Optical system, 102 ... Imaging unit, 103 ... A / D conversion unit, 104 ... Image processing unit, 105 ... Input image analysis unit, 106 ... Assumed brightness reproduction range determination unit, 107 ... Exposure adjustment range determination unit, 108 ... Recording processing unit, 109 ... Display processing unit, 110 ... User instruction unit, 111 ... System control unit

Claims (9)

撮像手段の露出を調整するための情報をユーザに提示する画像処理装置であって、
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出手段と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定手段と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較手段と、
該比較手段の比較の結果に基づき、前記検出手段で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理手段と
を有することを特徴とする画像処理装置。
An image processing device that presents information to the user for adjusting the exposure of the imaging means.
A detection means that detects representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
A setting means for setting a display dynamic range that represents the brightness range of the target display device, and
A comparison means for comparing the input dynamic range representing the brightness range imaged by the imaging means with the display dynamic range, and
Based on the comparison result of the comparison means, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected by the detection means, and the user interface for adjusting the exposure in the determined range. An image processing apparatus having a processing means for presenting the above.
前記処理手段は、
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジと同じ、もしくは、より広いことを示す場合、前記入力ダイナミックレンジが示す範囲を、露出の調整可能な範囲として決定する
ことを特徴とする請求項1に記載の画像処理装置。
The processing means
When the comparison result of the comparison means indicates that the display dynamic range is the same as or wider than the input dynamic range, the range indicated by the input dynamic range is determined as the adjustable range of exposure. The image processing apparatus according to claim 1.
更に、エンコード方式としてPQ(Perceptual Quantization)、HLG(Hybrid Log-Gamma)のいずれを用いるかを設定する設定手段を有することを特徴とする請求項1又は2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, further comprising a setting means for setting which of PQ (Perceptual Quantization) and HLG (Hybrid Log-Gamma) is used as the encoding method. 前記処理手段は、
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジより狭いことを示す場合であって、前記PQをエンコード方式として設定されている場合には、前記表示ダイナミックレンジが示す範囲を、露出の調整可能な範囲として決定する
ことを特徴とする請求項3に記載の画像処理装置。
The processing means
When the result of comparison of the comparison means indicates that the display dynamic range is narrower than the input dynamic range, and the PQ is set as the encoding method, the range indicated by the display dynamic range is set. The image processing apparatus according to claim 3, wherein the exposure is determined as an adjustable range.
前記処理手段は、
前記比較手段の比較の結果が、前記表示ダイナミックレンジが前記入力ダイナミックレンジより狭いことを示す場合であって、前記HLGをエンコード方式として設定されている場合には、前記検出手段で検出した前記明部及び暗部の代表輝度値を補正し、当該補正後の代表輝度値と、前記表示ダイナミックレンジが示す範囲から、露出の調整可能な範囲を決定する
ことを特徴とする請求項3または4に記載の画像処理装置。
The processing means
When the result of comparison of the comparison means indicates that the display dynamic range is narrower than the input dynamic range and the HLG is set as the encoding method, the brightness detected by the detection means is used. The third or fourth aspect of claim 3 or 4, wherein the representative luminance values of the portion and the dark portion are corrected, and the adjustable range of the exposure is determined from the corrected representative luminance value and the range indicated by the display dynamic range. Image processing equipment.
更に、前記露出の調整可能な範囲において調整した露出に基づいて撮像した画像を現像処理し、記録する手段を有することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5, further comprising a means for developing and recording an image captured based on the adjusted exposure in the adjustable range of the exposure. .. 前記検出手段は、前記撮像手段で得た画像において、ユーザが設定した領域内の画像から前記明部及び暗部の代表輝度値を検出することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 The method according to any one of claims 1 to 6, wherein the detection means detects a representative luminance value of the bright portion and the dark portion from an image in a region set by the user in the image obtained by the imaging means. The image processing apparatus according to. 撮像手段の露出を調整するための情報をユーザに提示する画像処理装置の制御方法であって、
初期の露出設定に基づき前記撮像手段で撮像して得た画像データの輝度分布に基づいて、明部及び暗部の代表輝度値を検出する検出工程と、
目標とする表示装置の輝度レンジを表す表示ダイナミックレンジを設定する設定工程と、
前記撮像手段が撮像する輝度レンジを表す入力ダイナミックレンジと、前記表示ダイナミックレンジとを比較する比較工程と、
該比較工程の比較の結果に基づき、前記検出工程で検出した前記明部及び暗部の代表輝度値を用いて露出の調整可能な範囲を決定し、決定した範囲での露出調整のためのユーザインタフェースを提示する処理工程と
を有することを特徴とする画像処理装置の制御方法。
It is a control method of an image processing device that presents information for adjusting the exposure of an image pickup means to a user.
A detection step of detecting representative brightness values of bright and dark areas based on the brightness distribution of image data obtained by imaging with the imaging means based on the initial exposure setting.
The setting process for setting the display dynamic range that represents the brightness range of the target display device, and
A comparison step of comparing an input dynamic range representing a luminance range imaged by the imaging means with the display dynamic range.
Based on the comparison result of the comparison step, the adjustable range of the exposure is determined using the representative luminance values of the bright and dark areas detected in the detection step, and the user interface for adjusting the exposure in the determined range. A control method for an image processing apparatus, which comprises a processing step for presenting.
コンピュータが読み込み実行することで、前記コンピュータに、請求項8に記載の方法の各工程を実行させるためのプログラム。 A program for causing the computer to execute each step of the method according to claim 8, which is read and executed by the computer.
JP2019134798A 2019-07-22 2019-07-22 Image processing device and its control method and program Active JP7273642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019134798A JP7273642B2 (en) 2019-07-22 2019-07-22 Image processing device and its control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019134798A JP7273642B2 (en) 2019-07-22 2019-07-22 Image processing device and its control method and program

Publications (2)

Publication Number Publication Date
JP2021019314A true JP2021019314A (en) 2021-02-15
JP7273642B2 JP7273642B2 (en) 2023-05-15

Family

ID=74566193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019134798A Active JP7273642B2 (en) 2019-07-22 2019-07-22 Image processing device and its control method and program

Country Status (1)

Country Link
JP (1) JP7273642B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228048A (en) * 2006-02-21 2007-09-06 Sony Corp Image display method, image display apparatus, and imaging apparatus
JP2015215504A (en) * 2014-05-12 2015-12-03 オリンパス株式会社 Apparatus operation system and imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228048A (en) * 2006-02-21 2007-09-06 Sony Corp Image display method, image display apparatus, and imaging apparatus
JP2015215504A (en) * 2014-05-12 2015-12-03 オリンパス株式会社 Apparatus operation system and imaging device

Also Published As

Publication number Publication date
JP7273642B2 (en) 2023-05-15

Similar Documents

Publication Publication Date Title
KR101633460B1 (en) Method and Apparatus for controlling multi-exposure
US9148561B2 (en) Image capturing apparatus, executable autoexposure bracketing and control method thereof
US9077905B2 (en) Image capturing apparatus and control method thereof
US7961228B2 (en) Imaging apparatus and method for controlling exposure by determining backlight situations and detecting a face
US20100201848A1 (en) Image capturing apparatus and control method thereof
JP4999871B2 (en) Imaging apparatus and control method thereof
JP2010147786A (en) Imaging device and image processing method
JP2008148180A (en) Imaging apparatus, image processing device and method, and computer program
US10271029B2 (en) Image pickup apparatus and method of controlling an image pickup apparatus
JP2008131530A (en) Image pickup device, image processing apparatus and method, and computer program
JP4855155B2 (en) Imaging apparatus and imaging method using the same
JP6883971B2 (en) Image processing equipment and image processing methods, programs, and storage media
JPWO2019111659A1 (en) Image processing equipment, imaging equipment, image processing methods, and programs
JP5048599B2 (en) Imaging device
JP2010183460A (en) Image capturing apparatus and method of controlling the same
JP5316923B2 (en) Imaging apparatus and program thereof
JP2012124652A (en) Imaging apparatus and image processing method
JP5335964B2 (en) Imaging apparatus and control method thereof
JP2022066385A (en) Image processing apparatus and image processing method, and program
JP7273642B2 (en) Image processing device and its control method and program
JP4422353B2 (en) Electronic camera
JP2010183461A (en) Image capturing apparatus and method of controlling the same
JP2015037222A (en) Image processing apparatus, imaging apparatus, control method, and program
US20230370725A1 (en) Imaging apparatus and control method for imaging apparatus
JP5351663B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230428

R151 Written notification of patent or utility model registration

Ref document number: 7273642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151