JP2021129199A - Imaging apparatus and method for controlling the same - Google Patents

Imaging apparatus and method for controlling the same Download PDF

Info

Publication number
JP2021129199A
JP2021129199A JP2020022219A JP2020022219A JP2021129199A JP 2021129199 A JP2021129199 A JP 2021129199A JP 2020022219 A JP2020022219 A JP 2020022219A JP 2020022219 A JP2020022219 A JP 2020022219A JP 2021129199 A JP2021129199 A JP 2021129199A
Authority
JP
Japan
Prior art keywords
imaging
angle
exposure
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020022219A
Other languages
Japanese (ja)
Inventor
修 原田
Osamu Harada
修 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020022219A priority Critical patent/JP2021129199A/en
Publication of JP2021129199A publication Critical patent/JP2021129199A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a method for controlling the exposure of an imaging apparatus that can perform live view display with visibility even if a main subject goes out of a recording area and overlaps a very bright background.SOLUTION: An imaging apparatus has: first imaging means that performs imaging at a first angle of view; second imaging means that performs imaging at a second angle of view wider than the first angle of view including the first angle of view; exposure control means that has a first exposure mode for controlling the exposure of the second imaging means to make appropriate the exposure of an area corresponding to the first angle of view, and a second exposure mode for, when a main subject is outside the first angle of view, changing the exposure of the second imaging means based on the luminance level in the second angle of view; and display control means that displays an image picked up by the second imaging means.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関し、特に複数の撮像手段を有する撮像装置およびその制御方法に関するものである。 The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus having a plurality of imaging means and a control method thereof.

高倍率のズームレンズを備えた撮像装置では、望遠撮影時に撮影画角が狭くなるため、わずかな手振れによるカメラの傾きや主被写体の小さな動きによって、撮影前のライブビュー表示から主被写体がフレームアウトしてしまう。このため撮影者が画角から外れた主被写体を撮影画角内に捉え直す操作が発生する。 With an imager equipped with a high-magnification zoom lens, the angle of view is narrowed during telephoto shooting, so the main subject is framed out of the live view display before shooting due to camera tilt due to slight camera shake or small movements of the main subject. Resulting in. For this reason, the photographer has to recapture the main subject outside the angle of view within the angle of view.

このような問題を解決するために特許文献1では、フレーミングアシスト機能を備えたカメラが開示されている。特許文献1では、撮影者が望遠時に主被写体をフレームから見失ってしまったとき、フレーミングアシストボタンを押して広角側にズームアウトすることで見失った主被写体の位置確認を実現している。 In order to solve such a problem, Patent Document 1 discloses a camera having a framing assist function. In Patent Document 1, when the photographer loses sight of the main subject from the frame at the time of telephoto, the position of the lost main subject is confirmed by pressing the framing assist button to zoom out to the wide angle side.

また、特許文献2では、異なる画角の撮像を行う、複数の撮像素子を備える撮像装置が提案されている。特許文献2に開示の撮像装置では、望遠側の撮像を行う撮像光学系の画角が変更された場合、広角側の撮像を行う撮像光学系の画角を制御することにより、ユーザーによる主被写体の把握を容易にすることで、フレーミングを支援することができる。 Further, Patent Document 2 proposes an image pickup apparatus including a plurality of image pickup elements that perform imaging of different angles of view. In the imaging apparatus disclosed in Patent Document 2, when the angle of view of the imaging optical system that performs imaging on the telephoto side is changed, the angle of view of the imaging optical system that performs imaging on the wide-angle side is controlled to control the main subject by the user. It is possible to support framing by facilitating the understanding of.

特開2016−59061号公報Japanese Unexamined Patent Publication No. 2016-59061 特開2012−147082号公報Japanese Unexamined Patent Publication No. 2012-147882

しかしながら、特許文献1に開示された手法では、単一の撮影光学系制御によるフレーミング操作であり、撮影までのタイムラグが発生するので、シャッタチャンスを逃すおそれがある。また、特許文献2の構成において、それぞれの撮像手段で露出制御を行う場合、主被写体(追尾被写体)以外に非常に明るい背景が存在する場合には主被写体領域の画像レベルが飽和することがある。その場合、主被写体が明るい背景と被ると視認性が悪化し、追跡対象を見失ってしまう。 However, the method disclosed in Patent Document 1 is a framing operation by controlling a single photographing optical system, and a time lag until photographing occurs, so that a shutter chance may be missed. Further, in the configuration of Patent Document 2, when the exposure is controlled by each imaging means, the image level of the main subject region may be saturated when a very bright background exists other than the main subject (tracking subject). .. In that case, if the main subject is covered with a bright background, the visibility deteriorates and the tracked object is lost.

そこで本発明の目的は、複数の撮像手段を有する撮像装置において、主被写体領域(追尾被写体)の視認性のあるライブビュー表示を可能な手段を提供することである。 Therefore, an object of the present invention is to provide a means capable of displaying a live view with visibility of a main subject area (tracking subject) in an imaging device having a plurality of imaging means.

上記目的を達成するために、本発明は、
第1の画角で撮像する第1の撮像手段と、前記第1の画角を含む該第1の画角よりも広い第2の画角で撮像する第2の撮像手段と、前記第1の画角に相当する領域の露出が適正になるように前記第2の撮像手段の露出を制御する第1の露出モードと、主被写体が該第1の画角の外にある場合に前記第2の画角内の輝度レベルに基づいて該第2の撮像手段の露出を変更する第2の露出モードと、を有する露出制御手段と、前記第2の撮像手段により撮像した画像を表示させる表示制御手段とを有することを特徴とする。
In order to achieve the above object, the present invention
A first imaging means for imaging with a first angle of view, a second imaging means for imaging with a second angle of view including the first angle of view and wider than the first angle of view, and the first image pickup means. The first exposure mode that controls the exposure of the second imaging means so that the exposure of the region corresponding to the angle of view of the above is appropriate, and the first exposure mode when the main subject is outside the first angle of view. An exposure control means having a second exposure mode for changing the exposure of the second imaging means based on the brightness level within the angle of view of two, and a display for displaying an image captured by the second imaging means. It is characterized by having a control means.

本発明によれば、複数の撮像手段を有する撮像装置において、主被写体領域(追尾被写体)の視認性のあるライブビュー表示ができる。 According to the present invention, in an image pickup apparatus having a plurality of image pickup means, a live view display with visibility of a main subject area (tracking subject) can be performed.

本発明に係る撮像装置の構成例を示すブロック図Block diagram showing a configuration example of the image pickup apparatus according to the present invention 本発明に係る望遠サポート時のライブビュー表示例Live view display example at the time of telephoto support according to the present invention 本発明の第1の実施形態に係る撮像装置の望遠サポート時の露出制御を説明するフローチャートA flowchart illustrating exposure control during telephoto support of the image pickup apparatus according to the first embodiment of the present invention. 本発明の第2の実施形態に係る撮像装置の望遠サポート時の露出制御を説明するフローチャートA flowchart illustrating exposure control during telephoto support of the image pickup apparatus according to the second embodiment of the present invention.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

(第1の実施形態)
図1は、本発明に係る撮像装置の構成例を示すブロック図である。図1に示すように、撮像装置100は、システム制御部101、第1撮像部110、第2撮像部120、ズーム操作部130、表示部140、フレーミング支援指示部150を備えて構成されている。第1の撮像部110と第2の撮像部120は、撮像装置100に対して同じ向きに設置され、第1の撮像部110と第2の撮像部120は、同じ被写体を撮像することができる。
(First Embodiment)
FIG. 1 is a block diagram showing a configuration example of an imaging device according to the present invention. As shown in FIG. 1, the image pickup apparatus 100 includes a system control unit 101, a first image pickup unit 110, a second image pickup unit 120, a zoom operation unit 130, a display unit 140, and a framing support instruction unit 150. .. The first imaging unit 110 and the second imaging unit 120 are installed in the same direction with respect to the imaging device 100, and the first imaging unit 110 and the second imaging unit 120 can image the same subject. ..

第1の撮像部110は、第1撮像光学系111と第1撮像素子112とを備える。第1撮像光学系111は、ズームレンズ、フォーカスレンズ、絞り等の光学素子を備え、光学的に被写体像のズーム倍率の変更、つまり、焦点距離を変更することが可能である。焦点距離の変更は、例えば、光軸方向におけるズームレンズの位置を変更することにより行うことができる。第1撮像光学系111は第1撮像素子112の動作状態(撮像または停止)に依らず、焦点距離の変更が可能である。 The first image pickup unit 110 includes a first image pickup optical system 111 and a first image pickup element 112. The first imaging optical system 111 includes optical elements such as a zoom lens, a focus lens, and an aperture, and can optically change the zoom magnification of the subject image, that is, the focal length. The focal length can be changed, for example, by changing the position of the zoom lens in the optical axis direction. The first imaging optical system 111 can change the focal length regardless of the operating state (imaging or stopping) of the first imaging element 112.

また、第1撮像素子112は、第1撮像光学系111を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第1画像信号としてシステム制御部101が備える撮像制御部102へ出力する。本明細書では、光電変換から画像信号の出力までの動作を撮像動作と呼ぶ。第1撮像素子112による撮像動作は、撮像制御部102の撮像動作指示に基づいて実行される。 Further, the first image sensor 112 photoelectrically converts the subject image input via the first image pickup optical system 111 into a digital video signal, and the image pickup control unit 102 included in the system control unit 101 as the first image signal. Output to. In the present specification, the operation from photoelectric conversion to the output of an image signal is referred to as an imaging operation. The image pickup operation by the first image pickup element 112 is executed based on the image pickup operation instruction of the image pickup control unit 102.

第2撮像部120は、第1撮像光学系111の広角端よりも広角を撮像可能な第2撮像光学系121と第2撮像素子122とを備える。第2撮像光学系は、フォーカスレンズや絞り等の光学素子を備えるが、本実施形態の第2撮像光学系121は単焦点光学系であり、第1撮像光学系の広角端の焦点距離よりも短い焦点距離を有する。 The second image pickup unit 120 includes a second image pickup optical system 121 and a second image pickup element 122 capable of taking a wider angle than the wide-angle end of the first image pickup optical system 111. The second imaging optical system includes optical elements such as a focus lens and an aperture, but the second imaging optical system 121 of the present embodiment is a single focus optical system, which is larger than the focal distance at the wide-angle end of the first imaging optical system. Has a short focal distance.

また、第2撮像素子122は、第2撮像光学系121を介して入力される被写体像を光電変換してデジタル映像信号に変換し、第2画像信号として撮像制御部102へ出力する。第2撮像素子122による撮像動作も、撮像制御部102の撮像動作指示に基づいて実行される。 Further, the second image sensor 122 photoelectrically converts the subject image input via the second image pickup optical system 121 into a digital video signal, and outputs the second image signal to the image pickup control unit 102. The image pickup operation by the second image pickup element 122 is also executed based on the image pickup operation instruction of the image pickup control unit 102.

尚、第1撮像光学系111の光軸と第2撮像光学系121の光軸は平行であり、また、相対的な位置関係は固定されている。そのため、第1撮像部110で撮影される第1画像の領域の、第2撮像部120で撮像した第2画像中における位置と大きさは、第1撮像光学系111と第2撮像光学系112の光軸の相対位置と、焦点距離の関係から取得できる。 The optical axis of the first imaging optical system 111 and the optical axis of the second imaging optical system 121 are parallel, and the relative positional relationship is fixed. Therefore, the positions and sizes of the region of the first image captured by the first imaging unit 110 in the second image captured by the second imaging unit 120 are the first imaging optical system 111 and the second imaging optical system 112. It can be obtained from the relationship between the relative position of the optical axis of and the focal length.

ズーム操作部130は、第1撮像光学系111の焦点距離を変更するための操作部材である。ズーム操作部130の操作を受けて、撮像制御部102が第1撮像光学系111を構成するズームレンズの位置を制御することで、第1撮像光学系111の焦点距離が変更される。撮影可能状態ではユーザーによりズーム操作部130が操作されると、被写体撮像準備のための焦点距離の変更が随時実行される。第1撮像部110が電子ズーム機能を有する場合、第1撮像光学系111の焦点距離は変わらないままズーム倍率が変更されるが、本願では電子ズームも焦点距離に変換して扱うものとする。例えば、焦点距離が100mmで電子ズーム倍率が2倍のときは、焦点距離が200mmであるとして扱う。 The zoom operation unit 130 is an operation member for changing the focal length of the first imaging optical system 111. In response to the operation of the zoom operation unit 130, the image pickup control unit 102 controls the position of the zoom lens constituting the first image pickup optical system 111, so that the focal length of the first image pickup optical system 111 is changed. When the zoom operation unit 130 is operated by the user in the shooting capable state, the focal length is changed at any time in preparation for capturing the subject. When the first imaging unit 110 has an electronic zoom function, the zoom magnification is changed without changing the focal length of the first imaging optical system 111, but in the present application, the electronic zoom is also converted into the focal length and handled. For example, when the focal length is 100 mm and the electronic zoom magnification is 2 times, the focal length is treated as 200 mm.

表示部140は、第1撮像部110及び第2撮像部120により取得された画像信号が、システム制御部101において所定の信号処理が行われることで生成される表示用映像信号を受信してモニタ表示を行う。表示部140は、撮影準備中(レリーズボタン押下前)にこのようなモニタ表示をすることにより、ユーザーがフレーミングを行うためのライブビュー機能を提供できる。また、静止画撮影直後の確認用画像、諸設定を行うためのユーザインターフェース情報などが表示される。 The display unit 140 receives and monitors the image signal acquired by the first imaging unit 110 and the second imaging unit 120 to receive the display video signal generated by performing predetermined signal processing in the system control unit 101. Display. The display unit 140 can provide a live view function for the user to perform framing by displaying such a monitor during preparation for shooting (before pressing the release button). In addition, a confirmation image immediately after shooting a still image, user interface information for making various settings, and the like are displayed.

次に、システム制御部101の機能構成について説明する。図1に示すように、システム制御部101は、撮像制御部102、第1画角領域決定部103、画像処理部104、被写体検出部105、時間計測部106、表示制御部107を備えて構成される。また、システム制御部101は、不図示のCPUとメモリを備える。システム制御部101のCPUは、メモリに記憶されたプログラムを適宜実行することにより、撮像装置100の各部の処理を制御し、各種の機能を実行する。 Next, the functional configuration of the system control unit 101 will be described. As shown in FIG. 1, the system control unit 101 includes an image pickup control unit 102, a first angle of view region determination unit 103, an image processing unit 104, a subject detection unit 105, a time measurement unit 106, and a display control unit 107. Will be done. Further, the system control unit 101 includes a CPU and a memory (not shown). The CPU of the system control unit 101 controls the processing of each unit of the image pickup apparatus 100 by appropriately executing the program stored in the memory, and executes various functions.

撮像制御部102は、第1撮像光学系111、第2撮像光学系121を構成する光学素子を制御し、第1撮像素子112、第2撮像素子122による撮像動作を制御することで、第1撮像部110、第2撮像部120による撮像処理を制御する。本実施形態においては、撮影指示に応じて第1撮像部110により撮像された画像が記録画像として記録される。 The image pickup control unit 102 controls the optical elements constituting the first image pickup optical system 111 and the second image pickup optical system 121, and controls the image pickup operation by the first image pickup element 112 and the second image pickup element 122 to obtain the first image pickup control unit 102. The imaging process by the imaging unit 110 and the second imaging unit 120 is controlled. In the present embodiment, the image captured by the first imaging unit 110 is recorded as a recorded image in response to the shooting instruction.

撮像制御部102は、第1撮像光学系111の焦点距離が、ズーム操作部130によって指示される焦点距離になるように、第1撮像光学系111を構成するズームレンズの位置を制御する。加えて、現在の第1撮像光学系111の現在の画角に関する情報を第1画像領域決定部103に出力する。尚、画角に関する情報とは、画角を一義的に取得することができる情報であればよく、画角そのものでもよいし、焦点距離、ズーム倍率や、ズームレンズの位置等の情報を用いることができる。焦点距離の変更と、画角に関する情報の出力は、ユーザーによるズーム操作部130の操作を受けて随時実行される。また、撮像制御部102は、画像処理部104からフィードバックされた画像の評価値に基づいて第1撮像部110の撮像パラメータを随時変更することができる。そして、第1撮像部110で撮像した第1画像信号及び第2撮像部120で撮像した第2画像信号を、画像処理部104へ出力する。 The image pickup control unit 102 controls the position of the zoom lens constituting the first image pickup optical system 111 so that the focal length of the first image pickup optical system 111 becomes the focal length indicated by the zoom operation unit 130. In addition, information regarding the current angle of view of the current first imaging optical system 111 is output to the first image area determination unit 103. The information regarding the angle of view may be any information that can uniquely acquire the angle of view, and may be the angle of view itself, or information such as the focal length, the zoom magnification, and the position of the zoom lens. Can be done. The change of the focal length and the output of the information regarding the angle of view are executed at any time in response to the operation of the zoom operation unit 130 by the user. Further, the image pickup control unit 102 can change the image pickup parameter of the first image pickup unit 110 at any time based on the evaluation value of the image fed back from the image processing unit 104. Then, the first image signal captured by the first imaging unit 110 and the second image signal captured by the second imaging unit 120 are output to the image processing unit 104.

また、ユーザーが不図示の撮影実行指示部材(所謂レリーズボタン)を操作することにより撮影実行を指示した場合、撮像制御部102は、第1撮像部110に撮像動作を実行させ、撮像された静止画像や動画データが不図示の記録部に記録される。 Further, when the user instructs the execution of shooting by operating a shooting execution instruction member (so-called release button) (not shown), the image pickup control unit 102 causes the first image pickup unit 110 to execute the image pickup operation, and the image is still captured. Image and moving image data are recorded in a recording unit (not shown).

第1画像領域決定部103は、第2画像における、第1画像に対応する領域(単に第1画像領域と呼ぶことがある)の位置と大きさを決定する。第1画像に対応する領域の大きさは、現在の第1撮像光学系111と第2撮像光学系121の焦点距離の関係から取得できる。例えば、焦点距離以外の条件が同じであれば、第1撮像光学系111の焦点距離が、第2撮像光学系112の焦点距離の10倍のとき、第2画像における第1画像に対応する領域の大きさは、縦横ともに第2画像全体の1/10になる。第1画像に対応する領域の中心位置は、第1撮像光学系111と第2撮像光学系112との相対位置によって決定される。本実施例の場合は、この相対位置は固定であるため、第2画像における第1画像に対応する領域の中心位置は一定である。中心位置と第2撮像光学系121の焦点距離に関する情報とを不図示の記録部に記録しておくこともできる。この場合、第1画像領域決定部103が、記録部から中心位置情報と第2撮像光学系121の画角に関する情報を読み出す。そして、読み出したこれらの情報と、撮像制御部102から受信した第1撮像光学系111の画角に関する情報とに基づいて、第2画像における、第1画像に対応する領域を決定することができる。尚、第2撮像光学系121の画角に関する情報も、第1撮像光学系111の画角に関する情報と同様に撮像制御部102から取得してもよい。 The first image area determination unit 103 determines the position and size of the area corresponding to the first image (sometimes referred to simply as the first image area) in the second image. The size of the region corresponding to the first image can be obtained from the relationship between the focal lengths of the current first imaging optical system 111 and the second imaging optical system 121. For example, if the conditions other than the focal length are the same, when the focal length of the first imaging optical system 111 is 10 times the focal length of the second imaging optical system 112, the region corresponding to the first image in the second image. The size of is 1/10 of the entire second image in both vertical and horizontal directions. The central position of the region corresponding to the first image is determined by the relative position of the first imaging optical system 111 and the second imaging optical system 112. In the case of this embodiment, since this relative position is fixed, the center position of the region corresponding to the first image in the second image is constant. Information on the center position and the focal length of the second imaging optical system 121 can be recorded in a recording unit (not shown). In this case, the first image area determination unit 103 reads out the center position information and the information regarding the angle of view of the second imaging optical system 121 from the recording unit. Then, based on these read information and the information regarding the angle of view of the first imaging optical system 111 received from the imaging control unit 102, the region corresponding to the first image in the second image can be determined. .. The information regarding the angle of view of the second imaging optical system 121 may be acquired from the imaging control unit 102 in the same manner as the information regarding the angle of view of the first imaging optical system 111.

第1画像領域決定部103は決定した第1画角の位置と大きさに関する情報を、画像処理部104へ出力する。 The first image area determination unit 103 outputs information regarding the position and size of the determined first angle of view to the image processing unit 104.

画像処理部104は、第1撮像素子112から出力された第1画像および第2撮像素子122から出力された第2画像に対してガンマ/ニー処理、フィルタ処理、ハードウエアなどの画像処理を実行する。画像処理が施された画像信号は、被写体検出部105へ出力される。 The image processing unit 104 executes image processing such as gamma / knee processing, filter processing, and hardware on the first image output from the first image sensor 112 and the second image output from the second image sensor 122. do. The image signal that has undergone image processing is output to the subject detection unit 105.

また、画像処理部104は、第1撮像部110および第2撮像部120により取得した画像に対して所定の信号処理を行うことで、表示用映像信号を生成する。例えば、第2撮像素子122から出力された画像に対して第1撮像素子112の撮影領域(記録領域)を記録領域枠として重畳した表示用映像信号を生成する。また、例えば、第2撮像素子122から出力された画像信号の一部に第1撮像素子112から出力した画像を合成して表示用映像信号として生成する。このときに生成される表示用映像信号に基づく画像については図2を用いて後述する。生成された表示用映像信号は表示制御部107に出力され、表示制御部107を介して表示部140に表示される。 In addition, the image processing unit 104 generates a display video signal by performing predetermined signal processing on the images acquired by the first imaging unit 110 and the second imaging unit 120. For example, a display video signal is generated by superimposing the photographing area (recording area) of the first image sensor 112 on the image output from the second image sensor 122 as a recording area frame. Further, for example, an image output from the first image sensor 112 is combined with a part of the image signal output from the second image sensor 122 to generate a display video signal. An image based on the display video signal generated at this time will be described later with reference to FIG. The generated display video signal is output to the display control unit 107 and displayed on the display unit 140 via the display control unit 107.

また、画像処理部104は、第1撮像部110および第2撮像部120から取得された画像データに基づき撮影範囲内の明るさの強度、分布などから測光評価を行う。例えば、露出評価値を算出して撮像制御部102へフィードバックし、その結果に基づいて、撮像制御部102が第1撮像部110および第2撮像部120の露出制御を行う。露出評価値としては、例えば、階調情報が失われた画素(白飛び、黒つぶれ)の数もしくは割合、画像の輝度(明度)ヒストグラムの最頻値、平均値、もしくは中央値などを利用することができる。画像処理部104は、第2の画像全体の露出評価値と、第1画像に対応する領域の露出評価値とを取得することができる。また、例えば、コントラストAFや、撮像素子の画素をそれぞれ2分割し、それぞれに独立した光路を形成するマイクロレンズを構成して実施される位相差方式によるフォーカス評価を行う構成としてもよい。そのほか、第1画像および第2画像の種々の評価値を算出して、撮像制御部102へフィードバックする。これらの評価値に基づいて、撮像制御部102は、第1撮像部110および第2撮像部120の露出制御やAF(オートフォーカス)制御などの撮像パラメータを設定して撮像制御を行う。 Further, the image processing unit 104 performs photometric evaluation based on the intensity, distribution, and the like of the brightness within the photographing range based on the image data acquired from the first image capturing unit 110 and the second imaging unit 120. For example, the exposure evaluation value is calculated and fed back to the image pickup control unit 102, and the image pickup control unit 102 performs exposure control of the first image pickup unit 110 and the second image pickup unit 120 based on the result. As the exposure evaluation value, for example, the number or ratio of pixels (overexposure, underexposure) for which gradation information is lost, the mode value, the average value, or the median value of the brightness (brightness) histogram of the image are used. be able to. The image processing unit 104 can acquire the exposure evaluation value of the entire second image and the exposure evaluation value of the region corresponding to the first image. Further, for example, the contrast AF or the pixel of the image sensor may be divided into two, and a microlens forming an independent optical path may be formed for each, and the focus evaluation may be performed by the phase difference method. In addition, various evaluation values of the first image and the second image are calculated and fed back to the imaging control unit 102. Based on these evaluation values, the imaging control unit 102 sets imaging parameters such as exposure control and AF (autofocus) control of the first imaging unit 110 and the second imaging unit 120 to perform imaging control.

被写体検出部105は、画像処理部104により処理された第1画像および第2画像のデータに基づいて、主被写体(追尾被写体)のそれぞれの画角内の移動状態、被写体種別を検出する。これは、第1撮像素子112または第2撮像素子122からの画像出力を基に、例えば人物の顔認識機能や、測距による被写体位置・速度検出、またライブビュー中の表示部140に対するユーザー操作に応じた被写体の特徴抽出機能などにより検出される。この被写体検出部105により捕捉した主被写体を追跡し、追跡対象の主被写体の存在位置が記録領域(第1撮像部110による撮像領域)の内か外の判断や、主被写体の移動先の予測を行う。 The subject detection unit 105 detects the moving state and subject type of the main subject (tracking subject) within each angle of view based on the data of the first image and the second image processed by the image processing unit 104. This is based on the image output from the first image sensor 112 or the second image sensor 122, for example, a person's face recognition function, subject position / speed detection by distance measurement, and user operation on the display unit 140 during live view. It is detected by the feature extraction function of the subject according to the above. The main subject captured by the subject detection unit 105 is tracked, and it is determined whether or not the existence position of the main subject to be tracked is inside or outside the recording area (imaging area by the first imaging unit 110), and the movement destination of the main subject is predicted. I do.

時間計測部106は、撮像制御部102が第1撮像部110の撮像動作状態を開始させたタイミングを起点として、第1撮像部110の撮像動作状態の継続時間を計測する。また、計測の結果、撮像動作状態の継続時間が所定の時間以上になったことを検出した場合、撮像動作の継続時間経過信号を撮像制御部102に出力する。 The time measuring unit 106 measures the duration of the imaging operation state of the first imaging unit 110, starting from the timing when the imaging control unit 102 starts the imaging operation state of the first imaging unit 110. Further, when it is detected as a result of the measurement that the duration of the imaging operation state exceeds a predetermined time, the duration elapsed signal of the imaging operation is output to the imaging control unit 102.

次に図2を参照して、本実施形態に係る望遠サポート(フレーミング支援)制御動作について説明する。図2は、本発明に係る望遠サポート時の第1撮像部110および第2撮像部120により撮像された画像のライブビュー表示の例である。主被写体91を追尾している場合の表示例であり、記録領域枠92を表示することで記録領域内に主被写体91をフレーミングできるように撮影サポートをする。図2(a)は、撮像装置100における通常撮影時の表示例であり、メイン撮像部(第1撮像素子112)から出力された画像を表示面全体に表示している。このとき、第2撮像部120による撮像は不要である。 Next, with reference to FIG. 2, the telephoto support (framing support) control operation according to the present embodiment will be described. FIG. 2 is an example of a live view display of images captured by the first imaging unit 110 and the second imaging unit 120 during telephoto support according to the present invention. This is a display example when the main subject 91 is being tracked, and by displaying the recording area frame 92, shooting support is provided so that the main subject 91 can be framed in the recording area. FIG. 2A is a display example of the image pickup apparatus 100 during normal shooting, and the image output from the main image pickup unit (first image pickup element 112) is displayed on the entire display surface. At this time, imaging by the second imaging unit 120 is unnecessary.

望遠サポート(フレーミング支援)状態になると、まず、第2撮像部120を起動し、第2撮像光学系121および第2撮像素子122を制御して、望遠サポートのためのライブビュー表示用画像を生成する。その例が図2(b)〜(c)である。第2撮像部120から入力された画像信号に対して、第1画像領域決定部103が第1撮像部110の画角の位置を算出する。第2撮像素子122の出力画像に、算出された領域の位置と大きさを示す枠である記録領域枠92を合成して表示部140に表示される。 In the telephoto support (framing support) state, first, the second image pickup unit 120 is activated, the second image pickup optical system 121 and the second image sensor 122 are controlled to generate a live view display image for the telephoto support. do. An example thereof is shown in FIGS. 2 (b) to 2 (c). The first image area determination unit 103 calculates the position of the angle of view of the first image pickup unit 110 with respect to the image signal input from the second image pickup unit 120. A recording area frame 92, which is a frame indicating the position and size of the calculated area, is combined with the output image of the second image sensor 122 and displayed on the display unit 140.

図2(b)では、第2撮像素子122から取得された画像が表示面全体に参照領域として表示され、メイン撮像部(第1撮像部110)の撮影範囲であるところの記録領域を示す記録領域枠92が表示されている。また、図2(c)では、第2撮像素子122から出力された全体画像に、第1撮像素子112から出力される画像が合成され、表示画面上の所定の表示領域である記録領域93に表示されている。 In FIG. 2B, the image acquired from the second image sensor 122 is displayed as a reference area on the entire display surface, and is a recording showing a recording area in the shooting range of the main image pickup unit (first image pickup unit 110). The area frame 92 is displayed. Further, in FIG. 2C, the image output from the first image sensor 112 is combined with the entire image output from the second image sensor 122, and the image is combined with the recording area 93, which is a predetermined display area on the display screen. It is displayed.

図2(d)は、図2(b)(c)と同様にサブ画像(第2撮像素子122から出力された画像)を全体に表示し、メイン撮像部(第1撮像部110)による記録領域は記録領域枠92で示されている。しかし、この例においては、メイン撮像部(第1撮像部110)では、主被写体91が捉えられておらず、この場合、主被写体を撮影(記録)することはできない。ユーザーは、記録領域枠92内に主被写体91が入るように、カメラの向きやズーム操作を行うことで、主被写体91をメイン撮像部(第1撮像部110)の撮影範囲に捉えて撮影を行う。 FIG. 2 (d) displays a sub-image (an image output from the second image sensor 122) as a whole as in FIGS. 2 (b) and 2 (c), and is recorded by the main image pickup unit (first image pickup unit 110). The area is indicated by the recording area frame 92. However, in this example, the main subject 91 is not captured by the main imaging unit (first imaging unit 110), and in this case, the main subject cannot be photographed (recorded). By performing the camera orientation and zoom operation so that the main subject 91 is within the recording area frame 92, the user captures the main subject 91 in the shooting range of the main imaging unit (first imaging unit 110) and shoots. conduct.

通常の撮影状態から望遠サポート状態へ遷移する条件として、本実施形態では、第1撮像光学系111の焦点距離が所定値を超えたときを例に説明する。撮像制御部102は、例えば、ユーザーがズーム操作部130を操作することで、第1撮像光学系111の焦点距離を所定値以上に設定したときに、第2撮像部120を起動して望遠サポート状態となる。また。表示部140は、望遠サポート状態である時は第2撮像素子122の出力より取得した画像をライブビュー表示し、第1撮像光学系111の焦点距離が所定値より短い時は第1撮像素子112の出力より取得した画像をライブビュー表示する。 As a condition for transitioning from the normal shooting state to the telephoto support state, in the present embodiment, the case where the focal length of the first imaging optical system 111 exceeds a predetermined value will be described as an example. The image pickup control unit 102 activates the second image pickup unit 120 to provide telephoto support when, for example, the user operates the zoom operation unit 130 to set the focal length of the first image pickup optical system 111 to a predetermined value or more. It becomes a state. Also. The display unit 140 displays the image acquired from the output of the second image sensor 122 in a live view when the telephoto support state is in effect, and the first image sensor 112 when the focal length of the first image sensor 111 is shorter than a predetermined value. The image acquired from the output of is displayed in live view.

なお、望遠サポートを開始する条件はこの限りではなく、ユーザーの操作により望遠サポートの有効/無効の切換えを可能とし、望遠サポートを有効にした場合に限り第1撮像光学系111の焦点距離に応じて遷移してもよい。また、望遠サポートへ遷移する第1撮像光学系111の焦点距離の切替点を固定された所定値にしてもよいし、主被写体の移動速度や撮影者の撮像装置の追跡速度により可変としてもよい。また、ユーザー操作に応じて、例えば、フレーミングアシストボタンなど、フレーミング支援指示部150の操作を継続している間に限り、望遠サポート状態にするような構成としてもよい。 The conditions for starting the telephoto support are not limited to this, and the telephoto support can be enabled / disabled by the user's operation, and only when the telephoto support is enabled, depending on the focal length of the first imaging optical system 111. May be transitioned. Further, the switching point of the focal length of the first imaging optical system 111 that transitions to the telephoto support may be a fixed predetermined value, or may be variable depending on the moving speed of the main subject and the tracking speed of the image pickup device of the photographer. .. Further, depending on the user operation, for example, the telephoto support state may be set as long as the operation of the framing support instruction unit 150 such as the framing assist button is continued.

ここで、記録領域内に主被写体91が収まっているとき、第2撮像部120(サブ撮像部)は記録領域内が適正露出となるよう露出制御され、第2撮像素子122から出力された画像がライブビュー画像として表示される。第1撮像部110より広角である第2撮像部120の撮像範囲全域で露出制御を行うと、記録領域枠92外が記録領域枠92内に比べ非常に明るい又は暗い状態にあるとき、記録領域枠92外の測光値の影響度が高くなる。その結果、記録領域枠92内が最適な露出とならず視認性が悪くなってしまうため、メイン撮像部(第1撮像部110)の記録領域に相当する記録領域枠92に合わせた露出制御が望ましい。 Here, when the main subject 91 is contained in the recording area, the second imaging unit 120 (sub-imaging unit) is exposed to control so that the inside of the recording area is properly exposed, and the image output from the second image sensor 122. Is displayed as a live view image. When exposure control is performed over the entire imaging range of the second imaging unit 120, which is wider than the first imaging unit 110, the recording area is in a very bright or dark state outside the recording area frame 92 as compared with the inside of the recording area frame 92. The influence of the photometric value outside the frame 92 becomes high. As a result, the inside of the recording area frame 92 is not optimally exposed and the visibility is deteriorated. Therefore, the exposure control according to the recording area frame 92 corresponding to the recording area of the main imaging unit (first imaging unit 110) is performed. desirable.

しかしながら、第2撮像素子122上の記録領域枠92に相当する領域が適正露出となるよう制御されているため、例えば図2(d)のように、記録領域枠92外に非常に明るい背景が存在する場合には、この記録領域外の画像レベル(輝度レベル)が飽和することがある。そのため、主被写体91が記録領域枠92から外にはずれて非常に明るい背景と被った場合であっても、視認性を悪化させることなく追跡対象を追尾できるように適切な露出制御を行う必要がある。 However, since the area corresponding to the recording area frame 92 on the second image sensor 122 is controlled so as to have an appropriate exposure, a very bright background is generated outside the recording area frame 92, for example, as shown in FIG. 2D. If present, the image level (luminance level) outside this recording area may be saturated. Therefore, even if the main subject 91 deviates from the recording area frame 92 and is covered with a very bright background, it is necessary to perform appropriate exposure control so that the tracking target can be tracked without deteriorating the visibility. be.

そこで、本実施形態においては、主被写体が記録領域に捉えられているか否かに応じて、露出制御の評価枠を切り替える。まず、第2撮像素子122からの出力に基づき、図2(b)、(c)のように主被写体91が記録領域枠92内にあるときは、記録領域枠92に相当する領域内での明るさの状態を画像処理部104で評価する。その評価値に基づいて、記録領域枠92の領域が適正な明るさとなるよう露出条件を決定することで、記録領域枠92内に捉えられている主被写体91が適正な明るさとなるように露出制御を行う。一方、図2(d)のように主被写体91が記録領域枠92外に存在する時は、記録領域枠92外の明るさの状態を画像処理部104で評価し、ユーザーがライブビュー表示上で主被写体91が視認できる明るさとなるよう露出条件を決定する。 Therefore, in the present embodiment, the evaluation frame of the exposure control is switched depending on whether or not the main subject is captured in the recording area. First, based on the output from the second image sensor 122, when the main subject 91 is in the recording area frame 92 as shown in FIGS. 2B and 2C, it is in the area corresponding to the recording area frame 92. The image processing unit 104 evaluates the state of brightness. By determining the exposure conditions so that the area of the recording area frame 92 has an appropriate brightness based on the evaluation value, the main subject 91 captured in the recording area frame 92 is exposed so as to have an appropriate brightness. Take control. On the other hand, when the main subject 91 is outside the recording area frame 92 as shown in FIG. 2D, the image processing unit 104 evaluates the state of brightness outside the recording area frame 92, and the user displays the live view. The exposure condition is determined so that the brightness of the main subject 91 can be visually recognized.

次に、本発明の第1の実施形態に係る望遠サポートにおける露出制御について、図3のフローチャートを用いて説明する。図3は、本発明の第1の実施形態に係る撮像装置の望遠サポート(フレーミング支援)時の露出制御を説明するフローチャートであり、撮像装置100が通常の撮影状態から望遠サポート状態に遷移した後の動作を説明する。図3に示す各処理は、システム制御部101によって、各処理ブロックを制御し実行され、システム制御部101が有するメモリ(不図示)に格納されているプログラムを展開して実行することにより実現される。また、撮影指示が入力されると、各工程を停止し、第1撮像素子112による本撮影動作を開始する。本撮影動作では、AE処理により決定された露光時間で撮像し、得られた画像信号を記録媒体へ記録する処理を行う。撮影指示は、不図示のシャッタボタンの押下によりユーザから入力されてもよいし、自動撮影モードの際などにシステム制御部101が自動で撮影指示を発生させ、撮像制御部102へ入力してもよい。 Next, the exposure control in the telephoto support according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 3 is a flowchart illustrating exposure control at the time of telephoto support (framing support) of the image pickup apparatus according to the first embodiment of the present invention, after the image pickup apparatus 100 transitions from the normal shooting state to the telephoto support state. The operation of is explained. Each process shown in FIG. 3 is realized by controlling and executing each processing block by the system control unit 101, and expanding and executing a program stored in a memory (not shown) of the system control unit 101. NS. When a shooting instruction is input, each process is stopped and the main shooting operation by the first image sensor 112 is started. In this shooting operation, an image is taken with an exposure time determined by the AE process, and the obtained image signal is recorded on a recording medium. The shooting instruction may be input by the user by pressing a shutter button (not shown), or may be input to the imaging control unit 102 by the system control unit 101 automatically generating a shooting instruction in the automatic shooting mode or the like. good.

尚、本第1の実施形態においては、主被写体91の画角内の移動状態を、主被写体91の動き方向、スピードに加え、撮影者が主被写体を追跡した時の撮像装置の動き方向、スピードを加味したものとする。撮像装置100の動き方向、スピードは、例えば角速度センサ(不図示)により取得することができる。撮像装置100が望遠サポート状態に遷移すると、本フローチャートは開始される。 In the first embodiment, the moving state of the main subject 91 within the angle of view is added to the movement direction and speed of the main subject 91, and the movement direction of the image pickup device when the photographer tracks the main subject. It is assumed that speed is added. The movement direction and speed of the image pickup apparatus 100 can be acquired by, for example, an angular velocity sensor (not shown). When the image pickup apparatus 100 transitions to the telephoto support state, this flowchart is started.

まず、ステップS201で第2撮像部120による撮像が行われ、システム制御部101は第2撮像素子122より画像を取得する。この受け取った画像に基づいて、画像処理部104、撮像制御部102による望遠サポート状態に対応した露出制御を開始する。 First, in step S201, an image is taken by the second image pickup unit 120, and the system control unit 101 acquires an image from the second image pickup element 122. Based on this received image, the image processing unit 104 and the image pickup control unit 102 start exposure control corresponding to the telephoto support state.

ステップS202へ進み、第1撮像素子112および第2撮像素子122から出力された画像から、望遠サポート状態に対応したライブビュー表示用画像を生成し、生成した表示用画像を表示部140へ表示する。 Proceeding to step S202, a live view display image corresponding to the telephoto support state is generated from the images output from the first image sensor 112 and the second image sensor 122, and the generated display image is displayed on the display unit 140. ..

ステップS203では、被写体検出部105により主被写体91が記録領域内に存在するか否かを判定する。主被写体が記録領域外に外れて記録領域内に存在しない場合にはステップS204へ進み、主被写体が記録領域内に存在する場合にはステップS210へ進む。なお、主被写体91が記録領域内に存在するかの判断は、第1撮像素子112又は第2撮像素子122のどちらの出力を用いて検出することも可能である。また、例えば、ユーザーがフレーミングアシストボタンなどのフレーミング支援指示部150の操作があった場合に、主被写体が記録領域外に外れた(記録領域内に存在しない)ものと判断する構成としてもよい。 In step S203, the subject detection unit 105 determines whether or not the main subject 91 exists in the recording area. If the main subject is outside the recording area and does not exist in the recording area, the process proceeds to step S204, and if the main subject exists in the recording area, the process proceeds to step S210. The determination of whether the main subject 91 exists in the recording area can be detected by using the output of either the first image sensor 112 or the second image sensor 122. Further, for example, when the user operates the framing support instruction unit 150 such as the framing assist button, it may be determined that the main subject is out of the recording area (does not exist in the recording area).

主被写体が記録領域内に存在しないとき、ステップS204で、被写体検出部105は、主被写体91が記録領域枠92から離脱した方向を検出する。このとき主被写体の動き方向の検出が出来ればどのような手段を用いてもよく、第1撮像素子112により出力された過去の画像からの予測に基づいて検出してもよいし、第2撮像素子122により出力された第2画像の全体から検出する構成であってもよい。外部センサにより検出する構成であっても構わない。 When the main subject does not exist in the recording area, in step S204, the subject detection unit 105 detects the direction in which the main subject 91 leaves the recording area frame 92. At this time, any means may be used as long as the movement direction of the main subject can be detected, and detection may be performed based on the prediction from the past image output by the first image sensor 112, or the second image pickup. It may be configured to detect from the entire second image output by the element 122. It may be configured to be detected by an external sensor.

ステップS205では、S204の検出結果に基づいて、画像処理部104は、評価領域を主被写体91の離脱方向に該当する領域に変更して測光を行う。又は、評価領域を広げて測光するようにしてもよい。 In step S205, based on the detection result of S204, the image processing unit 104 changes the evaluation area to the area corresponding to the separation direction of the main subject 91 and performs light measurement. Alternatively, the evaluation area may be expanded to measure the light.

ステップS206では、S205の測光の評価値に基づいて、画像輝度が所定値より大きいか否かの明るさの判定を行う。所定値より大きい場合(Yes)はステップS207へ進み、所定値以下の場合(No)はステップS210へ進む。ここで、輝度の所定値は、例えば、ライブビュー表示上の背景レベルが飽和レベル付近であり、ライブビュー表示の輝度がこの所定値を超えた場合に、主被写体の視認性が保証できないような輝度レベルである。実測などにより算出された設計値であってもよい。明るさが所定より大きいかどうかは、例えば、評価領域内の最大輝度レベル又は平均輝度レベルが所定値より大きいか否か、評価領域内で所定値より輝度レベルが大きい画素の数やその画素数の割合が所定より多いか否か、などに基づいて判断する。 In step S206, the brightness is determined whether or not the image brightness is larger than the predetermined value based on the evaluation value of the photometry in S205. If it is larger than the predetermined value (Yes), the process proceeds to step S207, and if it is less than the predetermined value (No), the process proceeds to step S210. Here, the predetermined brightness is such that the visibility of the main subject cannot be guaranteed when, for example, the background level on the live view display is near the saturation level and the brightness of the live view display exceeds this predetermined value. Luminance level. It may be a design value calculated by actual measurement or the like. Whether or not the brightness is larger than the predetermined value is determined by, for example, whether or not the maximum brightness level or the average brightness level in the evaluation area is larger than the predetermined value, the number of pixels whose brightness level is larger than the predetermined value in the evaluation area, and the number of pixels thereof. Judgment is made based on whether or not the ratio of

ステップS207において撮像制御部102は、第2撮像部120の露出パラメータを、現在の露出レベルより低露出となるよう変更する。変更値は、実験により求められた値や、ステップS205の測光結果に基づき算出された値であり、ライブビュー表示上の主被写体の視認性が保証されるものであれば構わない。その後、ステップS208へ進む。 In step S207, the image pickup control unit 102 changes the exposure parameter of the second image pickup unit 120 so that the exposure is lower than the current exposure level. The changed value is a value obtained by an experiment or a value calculated based on the light measurement result in step S205, and may be any value as long as the visibility of the main subject on the live view display is guaranteed. Then, the process proceeds to step S208.

一方、ステップS203において主被写体が記録領域内に存在する(Yes)と判断されたとき、またはステップS206において画像の輝度が所定値以下のときには、ステップS210へ進む。ステップS210では、画像処理部104は、第2撮像素子122により出力された画像のうち記録領域(第1撮像部110による撮影範囲)に相当する領域の測光を行う。主被写体が記録領域内に存在する場合(ステップS203でYes)は、記録領域に相当する領域で測光することで主被写体に適正な露出制御ができる。また、主被写体が記録領域外にあっても画像輝度が所定値以下の場合(ステップS207でNo)には、ライブビュー表示上の背景レベルが飽和レベルになく主被写体の視認性が保証できると判断できる。その場合も、画像処理部104は測光領域を変更することなく記録領域に相当する領域の測光を行う。その後、ステップS208へ進み、撮影者のレリーズ待機状態となる。 On the other hand, when it is determined in step S203 that the main subject exists in the recording area (Yes), or when the brightness of the image is equal to or less than a predetermined value in step S206, the process proceeds to step S210. In step S210, the image processing unit 104 measures the area of the image output by the second image sensor 122 that corresponds to the recording area (shooting range by the first image sensor 110). When the main subject is in the recording area (Yes in step S203), the exposure can be appropriately controlled for the main subject by measuring the light in the area corresponding to the recording area. Further, even if the main subject is outside the recording area, when the image brightness is equal to or less than a predetermined value (No in step S207), the background level on the live view display is not at the saturation level and the visibility of the main subject can be guaranteed. I can judge. Even in that case, the image processing unit 104 measures the area corresponding to the recording area without changing the light measurement area. After that, the process proceeds to step S208, and the photographer is in the release standby state.

ステップS208では、撮影者のレリーズ操作待機状態であり、レリーズ操作(撮影指示)があったかどうかを判定する。撮影者がレリーズ操作を行う(ON)とステップS209へ進み、撮影者がレリーズ操作を行わなかったとき(OFF)は、ステップS202の動作に戻る。 In step S208, the photographer is in the release operation standby state, and it is determined whether or not there is a release operation (shooting instruction). When the photographer performs the release operation (ON), the process proceeds to step S209, and when the photographer does not perform the release operation (OFF), the operation returns to the operation of step S202.

ステップS209では、撮影者のレリーズ操作に応答して、システム制御部101は第1撮像部110(メイン撮像部)での撮影動作を実行し、不図示の記録メディアに取得画像が記録されて本フローは終了する。このとき、表示部140には、取得した画像が確認画像として表示される。なお、撮影・記録が実行されたあとも、望遠サポート状態が継続している間は本フローチャートの露出制御が繰り返し継続される。 In step S209, in response to the release operation of the photographer, the system control unit 101 executes a photographing operation in the first imaging unit 110 (main imaging unit), and the acquired image is recorded on a recording medium (not shown). The flow ends. At this time, the acquired image is displayed as a confirmation image on the display unit 140. Even after shooting / recording is executed, the exposure control in this flowchart is repeatedly continued as long as the telephoto support state continues.

以上説明したように、第1の実施形態の撮像装置では、望遠サポート時における主被写体が記録領域から外れたときには、記録領域外の測光結果に基づき露出制御を実行する。また、ライブビュー画像の明るさが所定値を超えた場合には、第2撮像素子122の露出を下げ、ライブビュー表示に反映するようにした。そうすることで、明るい背景被写体と主被写体が重なる場合であっても、画像全体の露出を下げることで、主被写体の視認性が保証され、撮影者が主被写体を見失うことなく追跡を継続することが可能となる。なお、本実施形態では周辺領域が明るくて輝度レベルが飽和してしまう(白とび)してしまう場合について説明したが、暗すぎて諧調が失われている(黒つぶれ)場合も適用可能である。その場合は、例えば、画像の輝度レベルが小さい場合や、黒つぶれしている画素の数やその割合に基づいて、画像が暗すぎると判断した場合に、露出を上げるように制御する。 As described above, in the image pickup apparatus of the first embodiment, when the main subject deviates from the recording area during the telephoto support, the exposure control is executed based on the light measurement result outside the recording area. Further, when the brightness of the live view image exceeds a predetermined value, the exposure of the second image sensor 122 is lowered so as to reflect it in the live view display. By doing so, even if the bright background subject overlaps with the main subject, the visibility of the main subject is guaranteed by reducing the exposure of the entire image, and the photographer can continue tracking without losing sight of the main subject. It becomes possible. In the present embodiment, the case where the peripheral region is bright and the brightness level is saturated (overexposure) has been described, but it is also applicable when the peripheral region is too dark and the gradation is lost (exposure). .. In that case, for example, when the brightness level of the image is small, or when it is determined that the image is too dark based on the number of blackened pixels and the ratio thereof, the exposure is controlled to be increased.

尚、上記ステップS205では、記録領域外のうち主被写体の離脱方向に該当する領域を測光するようにしていたが、上記測光動作はこれに限らず、上記離脱した方向の検出(ステップS204)を省略し、記録領域外全体を測光し、明るさ判定に移行してもよい。このとき、記録領域を含む評価領域として測光してもよい。 In step S205, the area outside the recording area corresponding to the separation direction of the main subject is measured, but the metering operation is not limited to this, and the detection of the separation direction (step S204) is performed. It may be omitted, and the entire outside of the recording area may be metered to shift to the brightness determination. At this time, light may be measured as an evaluation area including a recording area.

また、主被写体が記録領域外にあっても、被写体検出部105により主被写体の画角内での移動状態を予測し、この予測結果が短期間に主被写体が頻繁に記録領域内外を行き来していることを示す場合は、記録領域内を測光した結果に基づいて露出制御してもよい。これにより主被写体が記録領域内外の行き来する度に、露出値が切り替わることでライブビューがちらつき、視認性が悪化することを抑制できる。 Further, even if the main subject is outside the recording area, the subject detection unit 105 predicts the moving state of the main subject within the angle of view, and the prediction result frequently moves the main subject back and forth inside and outside the recording area in a short period of time. When indicating that, the exposure may be controlled based on the result of measuring the light in the recording area. As a result, it is possible to prevent the live view from flickering and the visibility from being deteriorated due to the switching of the exposure value each time the main subject moves back and forth inside and outside the recording area.

また、本実施形態においては、主被写体が記録領域から離脱した時の記録領域外のどの領域を測光するかの決定は、主被写体が記録領域から離脱した方向としていたが、測光する領域の決定手段はこれに限らない。例えば、被写体検出部105により、ライブビュー表示画面内の主被写体の移動方向・速度に基づき、ライブビューの次フレーム表示画面内に主被写体が存在する位置を予測し、この位置を含む領域を測光対象とし露出制御してもよい。これにより適切に露出制御された画像をライブビュー表示に同期させることが可能となる。 Further, in the present embodiment, the determination of which area outside the recording area when the main subject leaves the recording area is determined in the direction in which the main subject leaves the recording area, but the area to be measured is determined. The means is not limited to this. For example, the subject detection unit 105 predicts the position where the main subject exists in the next frame display screen of the live view based on the moving direction and speed of the main subject in the live view display screen, and measures the area including this position. It may be targeted and exposure control may be performed. This makes it possible to synchronize an appropriately exposed image with the live view display.

(第2の実施形態)
望遠サポート時に、記録領域外からはずれた主被写体が所定値よりも明るい背景と被るような場合においてもライブビュー表示上での視認性を向上させるために、第1の実施形態では第2撮像素子122の露出を下げるようにしていた。しかしながら、この場合、この背景の本来の明るさを知ることはできないため、ライブビュー表示上の視認性は保証されるが最適な露出条件でない場合がある。また、本来第1撮像素子112は大判サイズであっても、撮像装置100の外形を最適サイズにするには、サブの第2撮像素子122はメインセンサよりも外形を小さくすることが望ましく、画素サイズもより小サイズとなってしまう。この結果、サブセンサである第2撮像素子122は、第1撮像素子112に比べダイナミックレンジが狭く、より飽和しやすくなる可能性がある。
(Second Embodiment)
In order to improve visibility on the live view display even when the main subject outside the recording area is covered with a background brighter than a predetermined value during telephoto support, the second image sensor is used in the first embodiment. I was trying to reduce the exposure of 122. However, in this case, since the original brightness of the background cannot be known, the visibility on the live view display is guaranteed, but the exposure condition may not be optimal. Further, even if the first image sensor 112 originally has a large size, in order to optimize the outer shape of the image pickup device 100, it is desirable that the second image sensor 122 of the sub has a smaller outer shape than the main sensor, and the pixels. The size will also be smaller. As a result, the second image sensor 122, which is a sub-sensor, has a narrower dynamic range than the first image sensor 112, and may be more likely to be saturated.

そこで、第2の実施形態では、よりダイナミックレンジの広いメインの第1撮像部110を制御することで、望遠サポート時におけるライブビュー表示上の主被写体の視認性を向上させる露出制御を実現する。 Therefore, in the second embodiment, by controlling the main first imaging unit 110 having a wider dynamic range, exposure control that improves the visibility of the main subject on the live view display at the time of telephoto support is realized.

以下、図4のフローチャートを参照して、本発明の第2の実施形態に係る撮像装置の動作について説明する。図4は、本発明の第2の実施形態に係る撮像装置の望遠サポート(フレーミング支援)時の露出制御を説明するフローチャートである。図4に示す各処理は、システム制御部101によって各処理ブロックを制御して実行され、システム制御部101が有するメモリ(不図示)に格納されているプログラムを展開して実行することにより実現される。図4における動作は、図3の動作に基づいて変形したものであるため、図中の共通動作については、同一の符号を付しその説明は省略する。撮像装置100が望遠サポート状態に遷移すると、本フローチャートは開始される。ステップS201からS206までの処理は、図3と同様である。第1の実施形態で説明した図3のフローチャートとの違いは、ステップS206の明るさ判定において、明るさが所定値を超えたと判定されたあとの制御の部分である。 Hereinafter, the operation of the image pickup apparatus according to the second embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 4 is a flowchart illustrating exposure control at the time of telephoto support (framing support) of the image pickup apparatus according to the second embodiment of the present invention. Each process shown in FIG. 4 is executed by controlling each processing block by the system control unit 101, and is realized by expanding and executing a program stored in a memory (not shown) of the system control unit 101. NS. Since the operations in FIG. 4 are modified based on the operations in FIG. 3, the common operations in the drawings are designated by the same reference numerals and the description thereof will be omitted. When the image pickup apparatus 100 transitions to the telephoto support state, this flowchart is started. The processing from steps S201 to S206 is the same as in FIG. The difference from the flowchart of FIG. 3 described in the first embodiment is the control part after it is determined that the brightness exceeds a predetermined value in the brightness determination in step S206.

ステップS206において画像の輝度が所定値より大きいと判断されると、すなわち、主被写体が記録領域内から外れ、記録領域外の輝度が所定値を超える場合に、ステップS301へ進み、第1撮像部110の焦点距離を広角へ移動する。つまり、第1撮像部110の撮影範囲(記録領域)と第2撮像部120の撮影範囲とが同じになるように画角を制御する。この状態においては、主被写体は記録領域からはずれていて、メインである第1撮像部110による撮影・記録は実行されないため、焦点距離を広角側に移動することは撮影に支障がない。なお、本実施形態では、第1撮像部110の焦点距離を第2撮像部120と同じになるよう移動させるようにしたがこの限りではなく、主被写体が画面内に収まっていれば第2撮像部120の焦点距離と同じでなくても構わない。 When it is determined in step S206 that the brightness of the image is greater than the predetermined value, that is, when the main subject is out of the recording area and the brightness outside the recording area exceeds the predetermined value, the process proceeds to step S301, and the first imaging unit Move the focal length of 110 to a wide angle. That is, the angle of view is controlled so that the shooting range (recording area) of the first imaging unit 110 and the shooting range of the second imaging unit 120 are the same. In this state, the main subject is out of the recording area, and shooting / recording by the main first imaging unit 110 is not executed. Therefore, moving the focal length to the wide-angle side does not hinder shooting. In the present embodiment, the focal length of the first imaging unit 110 is moved so as to be the same as that of the second imaging unit 120, but this is not the case, and the second imaging is performed if the main subject is within the screen. It does not have to be the same as the focal length of the unit 120.

次にステップS302では、測光を行うための第1撮像素子112より画像を取得する。 Next, in step S302, an image is acquired from the first image sensor 112 for performing photometric measurement.

その後、ステップS303へ進み、すぐに第1撮像部110の焦点距離を元の位置(ステップS301実行前の位置)に戻す。ここで、画像取得時の第1撮像素子112の露出は、画像処理部104および撮像制御部102において、撮像範囲内に飽和する箇所がないような露出条件を算出して制御される。 After that, the process proceeds to step S303, and the focal length of the first imaging unit 110 is immediately returned to the original position (the position before the execution of step S301). Here, the exposure of the first image sensor 112 at the time of image acquisition is controlled by the image processing unit 104 and the image pickup control unit 102 by calculating the exposure condition so that there is no saturated portion in the image pickup range.

ステップS304で、ステップS302で取得した画像に基づいて、画像処理部104は記録領域に相当する領域と主被写体とその周辺領域の測光値を求め、これらの比を算出する。この算出値より、第2撮像素子122の露出条件を決定し露出を変更する(ステップS207)。 In step S304, based on the image acquired in step S302, the image processing unit 104 obtains the photometric values of the area corresponding to the recording area, the main subject, and the peripheral area thereof, and calculates the ratio between them. From this calculated value, the exposure condition of the second image sensor 122 is determined and the exposure is changed (step S207).

以上のように第2の実施形態の撮像装置では、第1撮像部110の焦点距離を広角にしたときの測光値に基づいて、第2撮像素子122の露出を制御する。こうすることで、望遠サポート時における主被写体が記録領域枠から外れ、記録領域枠外に所定値を超える明るい背景がある場合でも、主被写体が適正露出になるように制御することができる。特に、明るい背景である領域が第2撮像素子122では飽和してしまうような場合には、よりダイナミックレンジの広い第1撮像素子112を用いて測光することでより正確な露出値を算出することができる。結果、ライブビュー表示上の主被写体の視認性を最適な露出条件でかつ短時間に実現することが可能となる。 As described above, in the image pickup apparatus of the second embodiment, the exposure of the second image pickup device 122 is controlled based on the photometric value when the focal length of the first image pickup unit 110 is widened. By doing so, even if the main subject is out of the recording area frame at the time of telephoto support and there is a bright background exceeding a predetermined value outside the recording area frame, it is possible to control the main subject to have an appropriate exposure. In particular, when the bright background region is saturated by the second image sensor 122, a more accurate exposure value can be calculated by measuring the light using the first image sensor 112 having a wider dynamic range. Can be done. As a result, it is possible to realize the visibility of the main subject on the live view display under the optimum exposure conditions and in a short time.

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で説明した撮像装置は、デジタルスチルカメラやデジタルビデオカメラに適用することができる。 The above is a description of a preferred embodiment of the present invention, but the present invention is not limited to the above embodiment within the scope of the technical idea of the present invention, and is appropriately modified and adapted depending on the target circuit form. It should be done. For example, the imaging device described in the above-described embodiment can be applied to a digital still camera or a digital video camera.

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、1つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Further, the present invention can be implemented as, for example, a system, a device, a method, a computer program, a recording medium, or the like. Specifically, even if it is realized by one device, it is applied to a system composed of a plurality of devices. You may. Each means constituting the image pickup apparatus and each step of the control method of the image pickup apparatus according to the present embodiment can also be realized by operating a program stored in a memory of a computer or the like. The computer program and a computer-readable recording medium on which the program is recorded are included in the present invention.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 撮像装置
110 第1撮像部
111 第1撮像光学系(メイン光学系)
112 第1撮像素子(メインセンサ)
120 第2撮像部
121 第2撮像光学系(サブ光学系)
122 第2撮像素子(サブセンサ)
140 表示部
101 システム制御部
102 撮像制御部
104 画像処理部
105 被写体検出部
100 Imaging device 110 1st imaging unit 111 1st imaging optical system (main optical system)
112 First image sensor (main sensor)
120 Second imaging unit 121 Second imaging optical system (sub optical system)
122 Second image sensor (sub sensor)
140 Display unit 101 System control unit 102 Imaging control unit 104 Image processing unit 105 Subject detection unit

Claims (15)

第1の画角で撮像する第1の撮像手段と、
前記第1の画角を含む該第1の画角よりも広い第2の画角で撮像する第2の撮像手段と、
前記第1の画角に相当する領域の露出が適正になるように前記第2の撮像手段の露出を制御する第1の露出モードと、主被写体が該第1の画角の外にある場合に第1の画角外を含む前記第2の画角内の輝度レベルに基づいて該第2の撮像手段の露出を変更する第2の露出モードと、を有する露出制御手段と、
前記第2の撮像手段により撮像した画像を表示させる表示制御手段と、
を有することを特徴とする撮像装置。
The first imaging means for imaging at the first angle of view,
A second imaging means that captures images with a second angle of view that is wider than the first angle of view, including the first angle of view.
A first exposure mode that controls the exposure of the second imaging means so that the area corresponding to the first angle of view is properly exposed, and a case where the main subject is outside the first angle of view. An exposure control means having a second exposure mode in which the exposure of the second imaging means is changed based on the brightness level in the second angle of view including the outside of the first angle of view.
A display control means for displaying an image captured by the second imaging means, and a display control means.
An imaging device characterized by having.
前記第1の撮像手段により撮像した前記第1の画角の画像を記録画像として記録する記録手段と、を有することを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a recording means for recording an image of the first angle of view captured by the first imaging means as a recording image. 前記表示制御手段は、ライブビュー中に前記第2の撮像手段により撮像した画像に前記第1の画角を示す枠を重畳して表示させることを特徴とする請求項1又は2に記載の撮像装置。 The imaging according to claim 1 or 2, wherein the display control means superimposes and displays a frame showing the first angle of view on an image captured by the second imaging means during live view. Device. 前記露出制御手段は、前記第2の画角内の輝度レベルが所定値より大きい場合に前記第2の露出モードによる前記第2の撮像手段の露出の変更を実行することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 The exposure control means is characterized in that when the brightness level in the second angle of view is larger than a predetermined value, the exposure of the second imaging means is changed by the second exposure mode. The imaging apparatus according to any one of 1 to 3. 前記主被写体の位置および動きを検出できる検出手段と、を有し、
前記検出手段は、前記主被写体が前記第1の画角から外れた方向を検出し、
前記露出制御手段は、前記第1の画角の外の領域のうち、前記検出手段により検出された方向に前記輝度レベルが所定値より大きい領域が存在する場合に、前記第2の露出モードによる前記第2の撮像手段の露出の変更を実行することを特徴とする請求項4に記載の撮像装置。
It has a detecting means capable of detecting the position and movement of the main subject.
The detection means detects a direction in which the main subject deviates from the first angle of view.
The exposure control means is based on the second exposure mode when there is a region outside the first angle of view in which the brightness level is greater than a predetermined value in the direction detected by the detection means. The imaging apparatus according to claim 4, wherein the exposure of the second imaging means is changed.
前記検出手段は、前記主被写体が前記第1の画角から外れた方向と速度から次のフレームを表示するときの該主被写体の位置を予測し、
前記露出制御手段は、前記予測された位置を含む領域の輝度レベルが所定値より大きいときに前記第2の露出モードによる前記第2の撮像手段の露出の変更を実行することを特徴とする請求項5に記載の撮像装置。
The detection means predicts the position of the main subject when displaying the next frame from the direction and speed at which the main subject deviates from the first angle of view.
The exposure control means is characterized in that when the brightness level of the region including the predicted position is greater than a predetermined value, the exposure of the second imaging means is changed by the second exposure mode. Item 5. The imaging apparatus according to item 5.
前記露出制御手段は、前記主被写体が前記第1の画角の内と外への移動を繰り返す場合は、前記第2の露出モードによる前記第2の撮像手段の露出の変更を実行しないことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 The exposure control means does not change the exposure of the second imaging means by the second exposure mode when the main subject repeatedly moves in and out of the first angle of view. The imaging device according to any one of claims 1 to 6, which is characterized. 前記露出制御手段は、自装置が望遠サポート状態であるときに、前記第1および前記第2の露出モードによる前記第2の撮像手段の露出制御を実行することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 Claims 1 to 7 are characterized in that the exposure control means executes exposure control of the second imaging means by the first and second exposure modes when the own device is in the telephoto support state. The imaging device according to any one of the above items. 第1の画角で撮像する第1の撮像手段と、
前記第1の画角を含む該第1の画角よりも広い第2の画角で撮像する第2の撮像手段と、
前記第1の画角に相当する領域の露出が適正になるように前記第2の撮像手段の露出を制御する露出制御手段と、
前記第2の撮像手段により撮像した画像を表示させる表示制御手段と、
を有することを特徴とする撮像装置。
The first imaging means for imaging at the first angle of view,
A second imaging means that captures images with a second angle of view that is wider than the first angle of view, including the first angle of view.
An exposure control means that controls the exposure of the second imaging means so that the exposure of the region corresponding to the first angle of view becomes appropriate.
A display control means for displaying an image captured by the second imaging means, and a display control means.
An imaging device characterized by having.
前記表示制御手段は、ライブビュー中に前記第2の撮像手段により撮像した画像に前記第1の画角を示す枠を重畳して表示させることを特徴とする請求項9に記載の撮像装置。 The imaging device according to claim 9, wherein the display control means superimposes and displays a frame showing the first angle of view on an image captured by the second imaging unit during live view. 前記露出制御手段は、自装置が望遠サポート状態であるときに、前記第1の画角に相当する領域の露出が適正になるように前記第2の撮像手段の露出を制御することを特徴とする請求項9又は10に記載の撮像装置。 The exposure control means is characterized in that when the own device is in the telephoto support state, the exposure of the second imaging means is controlled so that the exposure of the region corresponding to the first angle of view becomes appropriate. The imaging device according to claim 9 or 10. 第1の画角で撮像する第1の撮像手段と、
前記第1の画角を含む該第1の画角よりも広い第2の画角で撮像する第2の撮像手段と、を有する撮像装置の制御方法であって、
前記第1の画角に相当する領域の露出が適正になるように前記第2の撮像手段の露出を制御するステップと、
主被写体が前記第1の画角の外にある場合に該第1の画角外を含む前記第2の画角内の輝度レベルに基づいて前記第2の撮像手段の露出を変更するステップと、
前記第2の撮像手段により撮像した画像を表示させるステップと、
を有することを特徴とする制御方法。
The first imaging means for imaging at the first angle of view,
A control method for an imaging device including a second imaging means for imaging with a second angle of view wider than the first angle of view including the first angle of view.
A step of controlling the exposure of the second imaging means so that the exposure of the region corresponding to the first angle of view becomes appropriate, and
When the main subject is outside the first angle of view, the step of changing the exposure of the second imaging means based on the brightness level within the second angle of view including the outside of the first angle of view. ,
The step of displaying the image captured by the second imaging means and
A control method characterized by having.
前記第1の撮像手段により撮像した画像を記録画像として記録するステップと、をさらに有することを特徴とする請求項12に記載の制御方法。 The control method according to claim 12, further comprising a step of recording an image captured by the first imaging means as a recorded image. ライブビュー中に前記第2の撮像手段により取得した画像に前記第1の画角を示す枠を重畳して表示するステップと、
を有することを特徴とする請求項12又は13に記載の制御方法。
A step of superimposing a frame indicating the first angle of view on an image acquired by the second imaging means during live view and displaying the image.
The control method according to claim 12 or 13, wherein the control method is characterized by the above.
請求項12乃至14のいずれか1項に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラムを記載したコンピュータで読み取り可能な記録媒体。 A computer-readable recording medium comprising a computer program for causing a computer to perform each step according to any one of claims 12 to 14.
JP2020022219A 2020-02-13 2020-02-13 Imaging apparatus and method for controlling the same Pending JP2021129199A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020022219A JP2021129199A (en) 2020-02-13 2020-02-13 Imaging apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022219A JP2021129199A (en) 2020-02-13 2020-02-13 Imaging apparatus and method for controlling the same

Publications (1)

Publication Number Publication Date
JP2021129199A true JP2021129199A (en) 2021-09-02

Family

ID=77489026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022219A Pending JP2021129199A (en) 2020-02-13 2020-02-13 Imaging apparatus and method for controlling the same

Country Status (1)

Country Link
JP (1) JP2021129199A (en)

Similar Documents

Publication Publication Date Title
JP5322783B2 (en) IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE
JP5048468B2 (en) Imaging apparatus and imaging method thereof
EP2081374B1 (en) Imaging apparatus and its control method
US8994783B2 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
CN105915807B (en) Method for calculating light quantity change characteristic and electronic device
WO2018101092A1 (en) Imaging device and flicker determination method
US10623656B2 (en) Imaging device and flicker detection method
JP4451707B2 (en) Imaging apparatus and imaging method
US10594938B2 (en) Image processing apparatus, imaging apparatus, and method for controlling image processing apparatus
JP2015014672A (en) Camera control device, camera system, camera control method and program
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2015106116A (en) Imaging apparatus
JP6501536B2 (en) Imaging device, control method therefor, program, storage medium
JP2018098649A (en) Imaging apparatus, control method therefor, program, and storage medium
JP2009017427A (en) Imaging device
JP2021129199A (en) Imaging apparatus and method for controlling the same
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
JP6294607B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2010079201A (en) Focus detecting device, and image capturing apparatus
JP2015167308A (en) Photometry method suitable for face detection autofocus control
JP5619227B2 (en) IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE
JP2019057810A (en) Imaging apparatus, control method for the same, and program
JP2020101730A (en) Imaging device and control method for the same
JP2020068393A (en) Imaging apparatus
JP2006165898A (en) Electronic camera