JP2016099598A - Imaging apparatus, method for controlling the same, and control program - Google Patents

Imaging apparatus, method for controlling the same, and control program Download PDF

Info

Publication number
JP2016099598A
JP2016099598A JP2014238763A JP2014238763A JP2016099598A JP 2016099598 A JP2016099598 A JP 2016099598A JP 2014238763 A JP2014238763 A JP 2014238763A JP 2014238763 A JP2014238763 A JP 2014238763A JP 2016099598 A JP2016099598 A JP 2016099598A
Authority
JP
Japan
Prior art keywords
exposure
optical system
image
optical
optical systems
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014238763A
Other languages
Japanese (ja)
Other versions
JP6624776B2 (en
Inventor
文裕 梶村
Fumihiro Kajimura
文裕 梶村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014238763A priority Critical patent/JP6624776B2/en
Publication of JP2016099598A publication Critical patent/JP2016099598A/en
Application granted granted Critical
Publication of JP6624776B2 publication Critical patent/JP6624776B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To reduce a difference between images, when making an exposure time different for each optical system and performing photographing, in an imaging apparatus including a plurality of optical systems.SOLUTION: A camera 1 includes a plurality of optical systems 2a and 2b and imaging elements 6a and 6b which generate the image corresponding to an optical image formed through each of the plurality of optical systems. When controlling an exposure start timing for starting an exposure in each optical system or an exposure finish timing for finishing the exposure, according to the exposure time set for each of the plurality of optical systems, a camera system control part 11 adjusts the exposure start timing or the exposure finish timing, according to the length of the exposure time.SELECTED DRAWING: Figure 2

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の光学系を備えて、複数の光学系を介して被写体を撮影して複数の画像を得る撮像装置に関する。   The present invention relates to an imaging apparatus, a control method thereof, and a control program, and more particularly to an imaging apparatus that includes a plurality of optical systems and captures a subject through a plurality of optical systems to obtain a plurality of images.

従来、デジタルカメラなどの撮像装置において、複数の光学系を備えて、撮影条件を異ならせて複数の光学系を介して同時に被写体を撮影を行って複数の画像を得るようにしたものが知られている(特許文献1参照)。   2. Description of the Related Art Conventionally, an imaging apparatus such as a digital camera is known which has a plurality of optical systems, and shoots a subject simultaneously through the plurality of optical systems under different shooting conditions to obtain a plurality of images. (See Patent Document 1).

特許文献1に記載の撮像装置では、同一の焦点距離を有する複数の光学系が備えられており、光学系毎に備えられた撮像部においてその露光時間を変更して同時に撮影を行う。   The imaging apparatus described in Patent Literature 1 includes a plurality of optical systems having the same focal length, and the imaging unit provided for each optical system changes its exposure time and simultaneously performs imaging.

さらに、光学系として画角の異なる短焦点レンズユニット(以下単に短焦点レンズと呼ぶ)と長焦点レンズユニット(以下単に長焦点レンズと呼ぶ)とを備える撮像装置が知られている(特許文献2参照)。そして、この種の撮像装置は複眼撮像装置と呼ばれている。   Further, an imaging apparatus including a short focus lens unit (hereinafter simply referred to as a short focus lens) and a long focus lens unit (hereinafter simply referred to as a long focus lens) having different angles of view as an optical system is known (Patent Document 2). reference). This type of imaging device is called a compound eye imaging device.

特許文献2に記載の撮像装置では、短焦点レンズおよび長焦点レンズを用いて同一の被写体を撮像して画像を得ている。つまり、特許文献2に記載の撮像装置では、短焦点レンズを介して被写体像(光学像)が結像される撮像素子によって広角の画像を取得する。さらに、長焦点レンズを介して光学像が結像される撮像素子によって望遠の画像を取得する。そして、撮影動作におけるフレーミングの際には、短焦点レンズで得られた画像を優先的に表示部に表示すれば、ユーザは長焦点レンズにおける撮影範囲も観察することができる。   In the imaging apparatus described in Patent Document 2, an image is obtained by imaging the same subject using a short focus lens and a long focus lens. That is, in the imaging apparatus described in Patent Document 2, a wide-angle image is acquired by an imaging element on which a subject image (optical image) is formed via a short focus lens. Further, a telephoto image is acquired by an image sensor on which an optical image is formed via a long focal lens. When framing in the shooting operation, if the image obtained by the short focus lens is preferentially displayed on the display unit, the user can also observe the shooting range of the long focus lens.

加えて、特許文献1および特許文献2に記載の複眼撮像装置においては、光学系毎の撮像部から得られた画像において同一の被写体の範囲において画像を加算合成することによって画像におけるS/N比が向上し、さらには、所謂超解像画像およびダイナミックレンジが拡大された画像を得ることができる。   In addition, in the compound eye imaging devices described in Patent Document 1 and Patent Document 2, the S / N ratio in the image is obtained by adding and synthesizing the image in the same subject range in the image obtained from the imaging unit for each optical system. In addition, a so-called super-resolution image and an image with an expanded dynamic range can be obtained.

特開2012‐195668号公報JP 2012-195668 A 特開2005−303694号公報JP 2005-303694 A

ところで、特許文献1に記載の複眼撮像装置においては、光学系毎に露光時間および絞り値を異ならせて撮影を行うことがある。そして、特許文献1に記載の複眼撮像装置においては、光学系毎に露光開始タイミングを揃えて露光時間を異ならせている。このような場合、露光中に手振れ又は被写体の動きなど画像に変化が生じると、光学系毎に露光時間が異なるので、光学系毎に得られる画像に相違が生じることになる。   By the way, in the compound eye imaging device described in Patent Document 1, there are cases where photographing is performed with different exposure times and aperture values for each optical system. And in the compound eye imaging device of patent documents 1, the exposure start timing is arranged for every optical system, and exposure time is varied. In such a case, if an image changes due to camera shake or subject movement during exposure, the exposure time differs for each optical system, and thus the image obtained for each optical system differs.

つまり、露光時間が短い光学系で得られた画像は露光時間が長い光学系で得られた画像と露光開始直後において一致するだけである。この結果、画像間の相違が大きくなって、ユーザの意図しない画像となってしまうことがある。さらには、画像合成の際には画像間の相違によって画質が劣化してしまう。   That is, an image obtained with an optical system with a short exposure time only coincides with an image obtained with an optical system with a long exposure time immediately after the start of exposure. As a result, the difference between the images may become large, resulting in an image unintended by the user. Furthermore, the image quality deteriorates due to the difference between images during image synthesis.

よって、本発明の目的は、複数の光学系を備える撮像装置において、光学系毎に露光時間を異ならせて撮影を行った際に画像間の相違を低減することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an imaging apparatus that can reduce differences between images when imaging is performed with different exposure times for each optical system in an imaging apparatus including a plurality of optical systems, and a control method therefor And providing a control program.

上記の目的を達成するため、本発明による撮像装置は、複数の光学系を有する撮像光学群を備え、前記光学系を介して撮影を行う撮像装置であって、前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段と、前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御手段と、を有することを特徴とする。   In order to achieve the above object, an imaging apparatus according to the present invention is an imaging apparatus that includes an imaging optical group having a plurality of optical systems and performs imaging through the optical system, and each of the plurality of optical systems is provided. Imaging means for generating an image according to the optical image formed through the exposure, and an exposure start timing or exposure for starting the exposure for the plurality of optical systems in accordance with an exposure time set for each of the plurality of optical systems Control means for adjusting the exposure start timing or the exposure end timing in accordance with the length of the exposure time when controlling the exposure end timing to end.

本発明による制御方法は、複数の光学系を有する撮像光学群と、前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを有する撮像装置の制御方法であって、前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御ステップを有することを特徴とする。   The control method according to the present invention controls an imaging apparatus having an imaging optical group having a plurality of optical systems and imaging means for generating an image corresponding to an optical image formed through each of the plurality of optical systems. In the method, the exposure start is performed when controlling the exposure start timing to start exposure or the exposure end timing to end exposure for the plurality of optical systems according to the exposure time set for each of the plurality of optical systems. It has a control step of adjusting the timing or the exposure end timing according to the length of the exposure time.

本発明による制御プログラムは、複数の光学系を有する撮像光学群と、前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御ステップを実行させることを特徴とする。   A control program according to the present invention is used in an imaging apparatus having an imaging optical group having a plurality of optical systems, and imaging means for generating an image corresponding to an optical image formed through each of the plurality of optical systems. An exposure start timing for starting exposure for the plurality of optical systems in accordance with an exposure time set for each of the plurality of optical systems, or exposure for ending the exposure. When the end timing is controlled, a control step of adjusting the exposure start timing or the exposure end timing according to the length of the exposure time is executed.

本発明によれば、露光開始タイミング又は露光終了タイミングを露光時間の長さに応じて調整するようにしたので、光学系毎に露光時間を異ならせて撮影を行った際に画像間の相違を低減することができる。   According to the present invention, since the exposure start timing or the exposure end timing is adjusted according to the length of the exposure time, the difference between the images when shooting is performed with different exposure times for each optical system. Can be reduced.

本発明の第1の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図であり、(a)は撮像装置を正面側からみた斜視図、(b)は撮像装置を背面側からみた斜視図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure for demonstrating the imaging device which has the multi-eye optical group which is an example of the imaging device by the 1st Embodiment of this invention, (a) is the perspective view which looked at the imaging device from the front side, (b) is. It is the perspective view which looked at the imaging device from the back side. 図1に示すカメラの構成についてその一例を示すブロック図である。It is a block diagram which shows the example about the structure of the camera shown in FIG. 図1に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図であり、(a)は撮影動作を行う際のフレーミング中に表示部に表示される画像(ライブビュー画像)の一例を示す図、(b)は図1(a)に示す第1の光学系で撮影した画像を示す図、(c)は図1(a)に示す第2の光学系で撮影した画像を示す図、(d)は図1(a)に示す第3の光学系で撮影した画像を示す図、(e)は図1(a)に示す第4の光学系で撮影した画像を示す図である。FIG. 2 is a diagram for explaining an image obtained as a result of shooting by the camera shown in FIG. 1 and its display; (a) of an image (live view image) displayed on a display unit during framing when performing a shooting operation; The figure which shows an example, (b) is a figure which shows the image image | photographed with the 1st optical system shown to Fig.1 (a), (c) is the image image | photographed with the 2nd optical system shown to Fig.1 (a). FIG. 4D is a diagram showing an image photographed by the third optical system shown in FIG. 1A, and FIG. 4E is a diagram showing an image photographed by the fourth optical system shown in FIG. It is. 図1に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された絞り値テーブルの一例を説明するための図であり、(a)は絞り値テーブルを示す図、(b)は(a)に示すパターン”1”において第1の光学系の露光時間が1/1000secに設定された際の第2〜第4の光学系の絞り値と露光時間との関係を示す図である。FIG. 3 is a diagram for explaining an example of an aperture value table in which combinations of aperture values with which the depth of field of the optical system is equal in the camera shown in FIG. 1 are registered, (a) is a diagram showing an aperture value table; (B) shows the relationship between the aperture value of the second to fourth optical systems and the exposure time when the exposure time of the first optical system is set to 1/1000 sec in the pattern “1” shown in (a). FIG. 図1に示すカメラにおいて第1〜第4の光学系による露光開始タイミングを一致させた際の動作を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャートである。2 is a timing chart for explaining the operation when the exposure start timings of the first to fourth optical systems are matched in the camera shown in FIG. 1, and (a) is a timing chart showing the operation of the first optical system. (B) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, and (d) is a timing chart showing the operation of the fourth optical system. . 図1に示すカメラにおいて第1〜第4の光学系においてその露光時間の中央値(中央時刻)を一致させた際の動作を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャートである。FIG. 3 is a timing chart for explaining an operation when the first to fourth optical systems in the camera shown in FIG. 1 have the same exposure time median value (central time), and FIG. (B) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, and (d) is a timing chart showing the operation of the fourth optical system. It is a timing chart which shows operation. 図2に示すカメラにおける撮影動作を説明するためのフローチャートである。3 is a flowchart for explaining a photographing operation in the camera shown in FIG. 2. 図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作の一例を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャート、(e)はストロボの発光動作を示すタイミングチャートである。FIG. 6 is a timing chart for explaining an example of operations of the first to fourth optical systems when the flash photographing mode is set in the camera shown in FIG. 1, and (a) shows the operations of the first optical system. (B) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, and (d) is a timing chart showing the operation of the fourth optical system. (E) is a timing chart showing the light emission operation of the strobe. 図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作の他の例を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャート、(e)はストロボの発光動作を示すタイミングチャートである。FIG. 6 is a timing chart for explaining another example of operations of the first to fourth optical systems when the flash photography mode is set in the camera shown in FIG. 1, and (a) is an operation of the first optical system. (B) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, and (d) is an operation of the fourth optical system. A timing chart, (e) is a timing chart showing the light emission operation of the strobe. 図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作のさらに他の例を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャート、(e)はストロボの発光動作を示すタイミングチャートである。FIG. 6 is a timing chart for explaining still another example of the operation of the first to fourth optical systems when the flash photography mode is set in the camera shown in FIG. 1, and FIG. (B) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, and (d) is an operation of the fourth optical system. (E) is a timing chart showing the light emission operation of the strobe. 本発明の第2の実施形態によるカメラにおいて露光時間が最も短い第1光学系で複数の露光動作を行った際の第1〜第4の光学系の露光動作を説明するためのタイミングチャートであり、(a)は第1の光学系の動作を示すタイミングチャート、(b)は第2の光学系の動作を示すタイミングチャート、(c)は第3の光学系の動作を示すタイミングチャート、(d)は第4の光学系の動作を示すタイミングチャートである。It is a timing chart for demonstrating the exposure operation | movement of the 1st-4th optical system at the time of performing several exposure operation | movement with the 1st optical system with the shortest exposure time in the camera by the 2nd Embodiment of this invention. (A) is a timing chart showing the operation of the first optical system, (b) is a timing chart showing the operation of the second optical system, (c) is a timing chart showing the operation of the third optical system, ( d) is a timing chart showing the operation of the fourth optical system. 本発明の第2の実施形態によるカメラで行われる同光学系画像合成の一例を説明するための図であり、(a)は図11(a)に示す露光”51”で得られた画像を示す図、(b)は図11(a)に示す露光”52”で得られた画像を示す図、(c)は図11(a)に示す露光”53”で得られた画像を示す図、(d)は(a)〜(c)に示す画像を合成処理した結果得られる合成画像を示す図である。It is a figure for demonstrating an example of the optical system image synthesis | combination performed with the camera by the 2nd Embodiment of this invention, (a) is the image obtained by exposure "51" shown to Fig.11 (a). FIG. 11B shows an image obtained by the exposure “52” shown in FIG. 11A, and FIG. 11C shows an image obtained by the exposure “53” shown in FIG. (D) is a figure which shows the synthesized image obtained as a result of synthesize | combining the image shown to (a)-(c). 本発明の第3の実施形態によるカメラで行われる異光学系画像合成の一例を説明するための図であり、(a)は全ての被写体における輝度値がダイナミックレンジに入った状態の画像を示す図、(b)は露光時間が短い場合の画像を示す図、(c)は露光時間が長い場合の画像を示す図である。It is a figure for demonstrating an example of the different optical system image synthesis performed with the camera by the 3rd Embodiment of this invention, (a) shows the image of the state into which the luminance value in all the subjects was in the dynamic range. FIG. 4B is a diagram showing an image when the exposure time is short, and FIG. 4C is a diagram showing an image when the exposure time is long.

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。   Hereinafter, an example of an imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings.

[第1の実施形態]
図1は、本発明の第1の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図である。そして、図1(a)は撮像装置を正面側からみた斜視図であり、図1(b)は撮像装置を背面側からみた斜視図である。
[First Embodiment]
FIG. 1 is a diagram for explaining an imaging apparatus having a multi-eye optical group which is an example of an imaging apparatus according to the first embodiment of the present invention. FIG. 1A is a perspective view of the imaging device as viewed from the front side, and FIG. 1B is a perspective view of the imaging device as viewed from the back side.

図示の撮像装置1は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)であり、このカメラ1は複数の光学系(レンズ群)を備える撮像光学群(撮像光学系ともいう)2を有している。そして、カメラ1の筐体(カメラ筐体)の正面には撮像光学系2に備えられたレンズ群のうち最前部に位置するレンズが露出するようにして配置されている。また、カメラ筐体の上面には撮影命令を行うためのレリーズ釦16が配置されている。   The illustrated imaging apparatus 1 is, for example, a digital camera (hereinafter simply referred to as a camera), and the camera 1 includes an imaging optical group (also referred to as an imaging optical system) 2 including a plurality of optical systems (lens groups). Yes. A lens located at the forefront of the lens group provided in the imaging optical system 2 is disposed in front of the housing (camera housing) of the camera 1. Also, a release button 16 is provided on the upper surface of the camera casing for issuing a shooting command.

ユーザがレリーズ釦16を所謂半押しすると、カメラ1は撮影前の焦点検出動作などを行う。一方、ユーザがレリーズ釦16を全押しすると、カメラ1は撮影のための露光動作を行う。   When the user presses the release button 16 so-called halfway, the camera 1 performs a focus detection operation before photographing. On the other hand, when the user fully presses the release button 16, the camera 1 performs an exposure operation for photographing.

カメラ筐体の背面には撮影の設定および撮影の結果得られた画像を表示するための表示部14が配置されるともに、撮影の設定および画像に関して操作を行うための画面操作部17が配置されている。   A display unit 14 for displaying shooting settings and images obtained as a result of shooting is disposed on the back of the camera casing, and a screen operation unit 17 for performing operations related to shooting settings and images. ing.

図示の例では、撮影光学系2は第1〜第4の光学系(レンズ群)2a〜2dを有しており、カメラ筐体には2×2=4個の光学系(レンズ)2a〜2dがマトリックス状に配置され、その焦点距離が異なる。図1(a)においては、第1〜第4の光学系2a〜2dの焦点距離は、第1の光学系2a<第2の光学系2b<第3の光学系2c<第4の光学系2dの順である。例えば、第1の光学系2aの焦点距離=28mm、第2の光学系2bの焦点距離=35mm、第3の光学系2cの焦点距離=50mm、第4の光学系2dの焦点距離=70mmである。   In the illustrated example, the photographing optical system 2 has first to fourth optical systems (lens groups) 2a to 2d, and 2 × 2 = 4 optical systems (lenses) 2a to 2 are provided in the camera housing. 2d are arranged in a matrix, and their focal lengths are different. In FIG. 1A, the focal lengths of the first to fourth optical systems 2a to 2d are as follows: first optical system 2a <second optical system 2b <third optical system 2c <fourth optical system. The order is 2d. For example, the focal length of the first optical system 2a = 28 mm, the focal length of the second optical system 2b = 35 mm, the focal length of the third optical system 2c = 50 mm, and the focal length of the fourth optical system 2d = 70 mm. is there.

図2は、図1に示すカメラの構成についてその一例を示すブロック図である。   FIG. 2 is a block diagram showing an example of the configuration of the camera shown in FIG.

図示のカメラ1に備えられた撮像光学系2は前述の第1〜第4の光学系2a〜2dの他にレンズ駆動部7およびシャッター駆動部9を有している。なお、図示の例では、説明の便宜上、第1の光学系2aおよび第2の光学系2bのみが示されているが、ここでは、図1(a)に示す第1〜第4の光学系2a〜2dが備えられている。そして、これら第1〜第4の光学系2a〜2dは同一の構成を有している。   An imaging optical system 2 provided in the illustrated camera 1 includes a lens driving unit 7 and a shutter driving unit 9 in addition to the first to fourth optical systems 2a to 2d described above. In the illustrated example, only the first optical system 2a and the second optical system 2b are shown for convenience of explanation, but here, the first to fourth optical systems shown in FIG. 2a to 2d are provided. And these 1st-4th optical systems 2a-2d have the same structure.

第1の光学系2aおよび第2の光学系2bはレンズ群とも呼ばれ、第1の光学系2aおよび第2の光学系2bはそれぞれフォーカスレンズ4aおよび4bと絞り5aおよび5bを備えている。そして、第1の光学系2aおよび第2の光学系2bの後段にはそれぞれシャッター8aおよび8bを介して撮像素子6aおよび6bが配置されている。   The first optical system 2a and the second optical system 2b are also called lens groups, and the first optical system 2a and the second optical system 2b include focus lenses 4a and 4b and diaphragms 5a and 5b, respectively. Then, imaging elements 6a and 6b are arranged through shutters 8a and 8b, respectively, at the subsequent stage of the first optical system 2a and the second optical system 2b.

フォーカスレンズ4aおよび4bは、カメラシステム制御部11の制御下でレンズ駆動部7によってそれぞれ光軸3aおよび3bに沿って駆動される。また、絞り5aおよび5bは、カメラシステム制御部11の制御下でレンズ駆動部7によってそれぞれその開口が調整されて、これによって、撮像素子6aおよび6bに入射する光量が調整される。   The focus lenses 4a and 4b are driven along the optical axes 3a and 3b by the lens driving unit 7 under the control of the camera system control unit 11, respectively. Further, the apertures of the diaphragms 5a and 5b are adjusted by the lens driving unit 7 under the control of the camera system control unit 11, respectively, and thereby the amount of light incident on the imaging elements 6a and 6b is adjusted.

フォーカルプレーンシャッター(以下単にシャッターと呼ぶ)8aおよび8bは、カメラシステム制御部11の制御下でシャッター駆動部9によって開閉制御される。つまり、カメラシステム制御部11はシャッター駆動部9によってシャッター8aおよび8bを駆動して撮像素子6aおよび6bの露光タイミングを制御する。   The focal plane shutters (hereinafter simply referred to as shutters) 8 a and 8 b are controlled to be opened and closed by the shutter drive unit 9 under the control of the camera system control unit 11. That is, the camera system control unit 11 drives the shutters 8a and 8b by the shutter drive unit 9 to control the exposure timing of the image sensors 6a and 6b.

なお、シャッター8aおよび8bの各々は先幕および後幕(図示せず)を有しており、先幕および後幕を走行させることによってシャッター8aおよび8bの各々についてその開口部の開閉が行われる。   Each of the shutters 8a and 8b has a front curtain and a rear curtain (not shown), and opening and closing of each of the shutters 8a and 8b is performed by running the front curtain and the rear curtain. .

第1の光学系2aおよび第2の光学系2bを介して入射した被写体像(光学像)は、それぞれ撮像素子6aおよび6bに結像する。そして、撮像素子6aおよび6bはそれぞれ光学像に応じたアナログ信号(画像信号)出力する。以下の説明では、撮像素子6aの出力である画像信号を第1の画像信号と呼び、撮像素子6bの出力である画像信号を第2の画像信号と呼ぶ。   Subject images (optical images) incident through the first optical system 2a and the second optical system 2b are formed on the image sensors 6a and 6b, respectively. The image sensors 6a and 6b each output an analog signal (image signal) corresponding to the optical image. In the following description, the image signal that is the output of the image sensor 6a is referred to as a first image signal, and the image signal that is the output of the image sensor 6b is referred to as a second image signal.

なお、図2に示す例では、第1の光学系2aおよび第2の光学系2bに対してそれぞれ撮像素子6aおよび6bが備えられているが、第1の光学系2aおよび第2の光学系2bの結像領域を有する単一の撮像素子を設けて、撮像の後、これら結像領域から出力される画像信号を信号処理するようにしてもよい。   In the example shown in FIG. 2, the imaging elements 6a and 6b are provided for the first optical system 2a and the second optical system 2b, respectively, but the first optical system 2a and the second optical system are provided. A single image sensor having a 2b imaging region may be provided, and after imaging, image signals output from these imaging regions may be processed.

図示のカメラ1は、さらに、カメラシステム制御部11、画像処理部12、メモリ部13、表示部14、および操作検出部15を有している。カメラ1では、第1の光学系2aおよび第2の光学系2bと撮像素子6aおよび6bとによって撮像系が構成され、画像処理部12によって画像処理系が構成される。そして、メモリ部13および表示部14によって記録再生系が構成され、カメラシステム制御部11、操作検出部15、レンズ駆動部7、およびシャッター駆動部9によって制御系が構成される。   The illustrated camera 1 further includes a camera system control unit 11, an image processing unit 12, a memory unit 13, a display unit 14, and an operation detection unit 15. In the camera 1, the first optical system 2 a and the second optical system 2 b and the imaging elements 6 a and 6 b constitute an imaging system, and the image processing unit 12 constitutes an image processing system. The memory unit 13 and the display unit 14 constitute a recording / reproducing system, and the camera system control unit 11, the operation detection unit 15, the lens driving unit 7, and the shutter driving unit 9 constitute a control system.

図示はしないが、画像処理部12は、A/D変換器、ホワイトバランス回路、ガンマ補正回路、および補間演算回路などを有しており、前述の第1および第2の画像信号を受けて記録用の画像データを生成する。   Although not shown, the image processing unit 12 includes an A / D converter, a white balance circuit, a gamma correction circuit, an interpolation calculation circuit, and the like, and receives and records the first and second image signals described above. Image data is generated.

メモリ部13は記録部に加えて画像の記録に必要な処理回路を備えている。そして、メモリ部13は記録部に画像データを記録するとともに、処理回路によって表示部14に出力する表示用画像を生成して保存する。ここでは、第1および第2の画像信号を画像処理した結果得られる画像データをそれぞれ第1および第2の画像データと呼ぶ。   The memory unit 13 includes a processing circuit necessary for image recording in addition to the recording unit. The memory unit 13 records image data in the recording unit, and generates and stores a display image to be output to the display unit 14 by the processing circuit. Here, the image data obtained as a result of image processing of the first and second image signals are referred to as first and second image data, respectively.

なお、メモリ部13は、予め定められた記録方式を用いて画像(静止画像)、動画、および音声などの圧縮処理を行ってこれら静止画像、動画、および音声の記録を行う。図2に示すカメラ1においては、音声の記録に係るブロックは省略されている。   The memory unit 13 performs compression processing of images (still images), moving images, and sounds using a predetermined recording method, and records these still images, moving images, and sounds. In the camera 1 shown in FIG. 2, a block relating to recording of audio is omitted.

カメラシステム制御部11はカメラ1全体の制御を司る。そして、カメラシステム制御部11は外部操作(つまり、ユーザ操作)に応じて撮像系、画像処理系、および記録再生系を制御する。   The camera system control unit 11 controls the entire camera 1. The camera system control unit 11 controls the imaging system, the image processing system, and the recording / reproducing system in accordance with an external operation (that is, a user operation).

例えば、図1(a)に示すレリーズ釦16の押下(例えば、全押し)を操作検出部15が検出すると、カメラシステム制御部11はシャッター駆動部9によってシャッター8aおよび8bの先幕をシャッター開口部で光束を遮光するように走行させる。続いて、カメラシステム制御部11は、先幕をシャッター開口部から退避するように走行させる。これによって、撮像素子6aおよび6bの露光が開始される。なお、シャッター開口部から先幕および後幕が退避している状態を開状態と呼ぶ。   For example, when the operation detection unit 15 detects that the release button 16 shown in FIG. 1A is pressed (for example, fully pressed), the camera system control unit 11 causes the shutter drive unit 9 to open the front curtains of the shutters 8a and 8b. It is made to run so that a light beam may be shielded by a part. Subsequently, the camera system control unit 11 causes the front curtain to run away from the shutter opening. Thereby, exposure of the image sensors 6a and 6b is started. A state in which the front curtain and the rear curtain are retracted from the shutter opening is referred to as an open state.

さらに、カメラシステム制御部11は、後幕をシャッター開口部を塞ぐように走行させて、撮像素子6aおよび6bの露光を終了する。なお、シャッター開口部を先幕又は後幕が遮光している状態を閉状態と呼ぶ。   Furthermore, the camera system control unit 11 causes the rear curtain to travel so as to close the shutter opening, and ends the exposure of the image sensors 6a and 6b. A state where the shutter opening is shielded by the front curtain or the rear curtain is called a closed state.

また、カメラ制御部11は撮像素子6aおよび6bを駆動制御するとともに、画像処理部12の動作およびメモリ部13における圧縮処理などを制御する。さらに、さらに、カメラシステム制御部11はメモリ部13から読み出した表示用画像を表示部14に表示制御するとともに、撮影に係る各種情報を表示部14に表示制御する。   The camera control unit 11 controls the image pickup devices 6a and 6b, and controls the operation of the image processing unit 12, the compression process in the memory unit 13, and the like. Furthermore, the camera system control unit 11 controls display of the display image read from the memory unit 13 on the display unit 14, and controls display of various information related to photographing on the display unit 14.

なお、ここでは、レリーズ釦16の押下に応じて、予め設定された絞り値および露光時間などに応じて撮像素子6aおよび6bを駆動して静止画を撮影することを本撮影と呼ぶ。   Note that, here, photographing the still image by driving the image sensors 6a and 6b according to a preset aperture value, exposure time, and the like when the release button 16 is pressed is referred to as main photographing.

さらに、カメラシステム制御部11は、撮像素子6aおよび6bにおける露光時間を決定する露光時間制御を行うとともに、シャッター8aおよび8bを駆動するタイミングを制御する露光タイミング制御を行う。   Further, the camera system control unit 11 performs exposure time control for determining the exposure time in the image sensors 6a and 6b, and performs exposure timing control for controlling the timing for driving the shutters 8a and 8b.

図3は、図1に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図である。そして、図3(a)は撮影動作を行う際のフレーミング中に表示部に表示される画像(ライブビュー画像)の一例を示す図であり、図3(b)は図1(a)に示す第1の光学系2aで撮影した画像を示す図である。また、図3(c)は図1(a)に示す第2の光学系2bで撮影した画像を示す図であり、図3(d)は図1(a)に示す第3の光学系2cで撮影した画像を示す図である。さらに、図3(e)は図1(a)に示す第4の光学系2dで撮影した画像を示す図である。   FIG. 3 is a diagram for explaining an image obtained as a result of photographing by the camera shown in FIG. 1 and its display. FIG. 3A is a view showing an example of an image (live view image) displayed on the display unit during framing when performing a shooting operation, and FIG. 3B is a view shown in FIG. It is a figure which shows the image image | photographed with the 1st optical system 2a. FIG. 3C is a view showing an image photographed by the second optical system 2b shown in FIG. 1A, and FIG. 3D is a third optical system 2c shown in FIG. It is a figure which shows the image image | photographed by. Further, FIG. 3E is a diagram showing an image photographed by the fourth optical system 2d shown in FIG.

いま、図3(a)においては、第1の光学系2a(つまり、最も焦点距離が短い光学系)で撮影された画像が表示部14にライブビュー(LV)表示されているとする。そして、表示部14には第1の光学系2aで撮影した場合の画像の画角範囲が第1の画角フレーム40aで表示される。   Now, in FIG. 3A, it is assumed that an image photographed by the first optical system 2a (that is, the optical system having the shortest focal length) is displayed on the display unit 14 in a live view (LV). The display unit 14 displays the field angle range of an image captured by the first optical system 2a as the first field angle frame 40a.

この際、カメラシステム制御部11は第2の光学系2b、第3の光学系2c、および第4の2dで撮影した際の画像の画角範囲をそれぞれ第2の画角フレーム40b、第3の画角フレーム40c、および第4の画角フレーム40dで表示部14に表示する。   At this time, the camera system control unit 11 sets the field angle ranges of the images captured by the second optical system 2b, the third optical system 2c, and the fourth 2d to the second field angle frame 40b and the third field angle frame, respectively. Are displayed on the display unit 14 by the view angle frame 40c and the fourth view angle frame 40d.

このようにして、最短の焦点距離である第1の光学系2aで得られた画像をLV表示し、当該LV表示において、第1〜第4の画角フレーム40a〜40dを表示すれば、ユーザは他の焦点距離の第2〜第4の光学系2b〜2dの画角範囲を確認して撮影を行うことができる。   In this way, if the image obtained by the first optical system 2a having the shortest focal length is displayed in LV, and the first to fourth view angle frames 40a to 40d are displayed in the LV display, the user can Can take a picture by checking the field angle range of the second to fourth optical systems 2b to 2d having other focal lengths.

なお、図3(a)に示す例では、カメラシステム制御部11は第2〜第4の光学系2b〜2dに係る第2〜第4の画角フレーム40b〜40dを表示部14に表示するようにしたが、第2〜第4の画角フレーム40b〜40dの全てを表示しなくてもよい。さらには、カメラシステム制御部11は、第1の画角フレーム40aの他に第4の画角フレーム40dのみを表示するなど、第1の画角フレーム40aの他に一部の画角フレームのみを表示するようにしてもよい。   In the example illustrated in FIG. 3A, the camera system control unit 11 displays the second to fourth angle-of-view frames 40 b to 40 d related to the second to fourth optical systems 2 b to 2 d on the display unit 14. However, it is not necessary to display all of the second to fourth view angle frames 40b to 40d. Furthermore, the camera system control unit 11 displays only the fourth view angle frame 40d in addition to the first view angle frame 40a, and only a part of the view angle frames other than the first view angle frame 40a. May be displayed.

図3(a)に示す状態で撮影が行われると、第1〜第4の光学系2a〜2dに対応する撮像素子の出力に応じて、画像処理部12はそれぞれ図3(b)〜図3(e)に示す画像を生成する。図3(b)〜図3(e)に示す画像はそれぞれ第1〜第4の光学系2a〜2dに対応する撮像素子の出力に応じて得られた画像であるので、電子ズームなどの拡大処理と異なって、各画像の解像度は同様であり、焦点距離が長い光学系で得られた画像についても高精細な画像が得られる。   When photographing is performed in the state illustrated in FIG. 3A, the image processing unit 12 is respectively illustrated in FIGS. 3B to 3D according to the outputs of the imaging elements corresponding to the first to fourth optical systems 2a to 2d. The image shown in 3 (e) is generated. Since the images shown in FIGS. 3B to 3E are images obtained according to the outputs of the imaging elements corresponding to the first to fourth optical systems 2a to 2d, respectively, enlargement such as an electronic zoom is performed. Unlike processing, the resolution of each image is the same, and a high-definition image can be obtained even for an image obtained by an optical system having a long focal length.

なお、LV表示又は本撮影の後の再生表示の際には、第1の光学系2aで得られた画像(第1の画角フレーム40a)に、第2〜第4の光学系2b〜2dで得られた画像をはめ込み合成して一枚の合成画像を表示するようにしてもよい。   In the case of LV display or reproduction display after the main photographing, the second to fourth optical systems 2b to 2d are added to the image (first field angle frame 40a) obtained by the first optical system 2a. The image obtained in (1) may be inserted and combined to display a single combined image.

例えば、画像処理部12は、カメラシステム制御部の制御下で、少なくとも2つの光学系で得られた画像を合成して1枚の合成画像を生成する。これによって、画角が広い画像でありながらも、画像の中央に行くほど高精細な画像を再生表示することができる。   For example, the image processing unit 12 synthesizes images obtained by at least two optical systems under the control of the camera system control unit to generate one composite image. Thereby, it is possible to reproduce and display a high-definition image as it goes to the center of the image even though the image has a wide angle of view.

さらに、画像処理部12は、はめ込み合成ではなく、互いに重なり合う画角の範囲について複数枚の画像の出力を加算処理するようにしてもよい。これによって、画像のダイナミックレンジの拡大およびS/Nの改善がなされた合成画像を生成することができる。なお、互いに異なる複数の焦点距離の光学系で得られた画像を加算合成する際には、加算する画素数を合わせるための補正処理が必要である。   Further, the image processing unit 12 may perform addition processing on the output of a plurality of images for a range of angle of view that overlaps each other, instead of inset synthesis. As a result, it is possible to generate a composite image in which the dynamic range of the image is expanded and the S / N is improved. In addition, when adding and synthesizing images obtained by optical systems having a plurality of different focal lengths, a correction process for matching the number of pixels to be added is necessary.

図4は、図1に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された絞り値テーブルの一例を説明するための図である。そして、図4(a)は絞り値テーブルを示す図であり、図4(b)は図4(a)に示すパターン”1”において第1の光学系レンズ2aの露光時間が1/1000secに設定された際の第2〜第4の光学系2b〜2dの絞り値Fnと露光時間SH[sec]との関係を示す図である。   FIG. 4 is a diagram for explaining an example of an aperture value table in which combinations of aperture values with which the depth of field of the optical system is equal in the camera shown in FIG. 1 are registered. FIG. 4A is a diagram showing an aperture value table, and FIG. 4B is an exposure time of 1/1000 sec of the first optical system lens 2a in the pattern “1” shown in FIG. 4A. It is a figure which shows the relationship between the aperture value Fn of the 2nd-4th optical systems 2b-2d at the time of setting, and exposure time SH [sec].

図4(a)に示す例では、第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dの焦点距離fをそれぞれ28mm、35mm、50mm、および70mmとした際の絞り値が12通りの組み合わせ(パターン)で示されている。LV表示中にユーザが絞り値優先焦点距離の光学系として第1の光学系2aを選択すると、カメラシステム制御部11は本撮影動作において第1の光学系2aの露光が適正となる絞り値Fnを算出する。   In the example shown in FIG. 4A, the focal lengths f of the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d are 28 mm, 35 mm, and 50 mm, respectively. In addition, the aperture value at the time of 70 mm is shown in 12 combinations (patterns). When the user selects the first optical system 2a as the optical system having the aperture value priority focal length during LV display, the camera system control unit 11 uses the aperture value Fn at which the exposure of the first optical system 2a is appropriate in the actual photographing operation. Is calculated.

第1の光学系2aの絞り値Fnが”1.8”であるとすると、カメラシステム制御部11は、図4(a)に示す絞り値テーブルにおけるパターン”3”に応じて、第2の光学系2bの絞り値Fnを”2.8”、第3の光学系2cの絞り値Fnを”5.6”、そして、第4の光学系2dの絞り値Fnを”11”とする。そして、カメラシステム制御部11は、これら絞り値Fnに基づいてレンズ駆動部7を制御して第1〜第4の光学系2a〜2dの絞りを調整する。   Assuming that the aperture value Fn of the first optical system 2a is “1.8”, the camera system control unit 11 performs the second operation according to the pattern “3” in the aperture value table shown in FIG. The aperture value Fn of the optical system 2b is "2.8", the aperture value Fn of the third optical system 2c is "5.6", and the aperture value Fn of the fourth optical system 2d is "11". Then, the camera system control unit 11 controls the lens driving unit 7 based on the aperture value Fn to adjust the apertures of the first to fourth optical systems 2a to 2d.

なお、絞り値優先焦点距離の光学系に係る絞り値はカメラシステム制御部11が適正露光になるように決定するようにしてもよく、ユーザが直接絞り値を選択して設定するようにしてもよい。ユーザが、絞り値優先焦点距離の光学系に係る絞り値を選択・設定する際には、図4(a)に示すテーブルに登録された絞り値から選択するようにする。   The aperture value related to the aperture value priority focal length optical system may be determined by the camera system control unit 11 so as to achieve proper exposure, or the user may directly select and set the aperture value. Good. When the user selects / sets the aperture value related to the optical system having the aperture value priority focal length, the user selects from the aperture values registered in the table shown in FIG.

ところで、カメラ1を用いて撮影を行う際には、第1〜第4の光学系2a〜2dの焦点距離がそれぞれ異なるので、第1〜第4の光学系2a〜2d毎に露光時間、絞り値、およびISO感度などの撮影条件を設定することがある。例えば、第1〜第4の光学系2a〜2dを用いて、同一の被写体の範囲を撮影する際、第1〜第4の光学系2a〜2dの被写界深度を合わせようとする場合には、第1〜第4の光学系2a〜2d毎に絞り値を設定する必要がある。さらに、第1〜第4の光学系2a〜2dにおいて撮像素子に入射する光量を合わせる場合には、絞り値に合わせて露光時間を変更することになる。   By the way, when photographing using the camera 1, since the focal lengths of the first to fourth optical systems 2a to 2d are different from each other, the exposure time and the aperture for each of the first to fourth optical systems 2a to 2d. The photographing conditions such as the value and ISO sensitivity may be set. For example, when shooting the range of the same subject using the first to fourth optical systems 2a to 2d, the depth of field of the first to fourth optical systems 2a to 2d is to be adjusted. Needs to set an aperture value for each of the first to fourth optical systems 2a to 2d. Furthermore, when the light amounts incident on the imaging elements are adjusted in the first to fourth optical systems 2a to 2d, the exposure time is changed according to the aperture value.

そこで、カメラシステム制御部11は、次のようにして第1〜第4の光学系2a〜2dについてその露光時間を制御する。   Therefore, the camera system control unit 11 controls the exposure time of the first to fourth optical systems 2a to 2d as follows.

前述の図4(a)に示す絞り値テーブルは、例えば、メモリ部13に記憶されており、カメラシステム制御部11は絞り値テーブルを参照して第1〜第4の光学系2a〜2d毎のレンズ駆動部7を制御する。例えば、図4(a)においてパターン1が選択され、第1の光学系2aの露光時間が1/1000secに設定されたとする。この場合、図4(b)に示すように、カメラシステム制御部11は第2の光学系2b、第3のレンズ2c、および第4の光学系4dの絞り値Fnおよび露光時間SH[sec]を設定する。   The aperture value table shown in FIG. 4A is stored in, for example, the memory unit 13, and the camera system control unit 11 refers to the aperture value table for each of the first to fourth optical systems 2a to 2d. The lens driving unit 7 is controlled. For example, assume that the pattern 1 is selected in FIG. 4A and the exposure time of the first optical system 2a is set to 1/1000 sec. In this case, as shown in FIG. 4 (b), the camera system controller 11 determines the aperture value Fn and the exposure time SH [sec] of the second optical system 2b, the third lens 2c, and the fourth optical system 4d. Set.

ここでは、カメラシステム制御部11は第2の光学系2b、第3の光学系2c、および第4の光学系2dについてその露光時間をそれぞれ、1/400sec、1/100sec、1/25secに設定する。このように、第1〜第4の光学系2a〜2dについて絞り値および露光時間を設定すれば、第1〜第4の光学系2a〜2dにおいてその被写界深度がほぼ同等となる画像を得ることができる。   Here, the camera system control unit 11 sets the exposure times of the second optical system 2b, the third optical system 2c, and the fourth optical system 2d to 1/400 sec, 1/100 sec, and 1/25 sec, respectively. To do. In this way, if the aperture value and the exposure time are set for the first to fourth optical systems 2a to 2d, images having substantially the same depth of field in the first to fourth optical systems 2a to 2d are obtained. Can be obtained.

ところが、第1〜第4の光学系2a〜2dについて露光時間が異なる場合において、露光時間中に被写体が動くなどの画像に変化があると、第1〜第4の光学系2a〜2dで得られた画像間に差異が生じる。さらに、露光開始が同一のタイミングであると、露光時間の短い光学系と露光時間が長い光学系とでは、露光終了直前における画像の変化が大きい。   However, in the case where the exposure times are different for the first to fourth optical systems 2a to 2d, if there is a change in the image such as the subject moving during the exposure time, the first to fourth optical systems 2a to 2d are obtained. Differences occur between the captured images. Further, when the exposure start is at the same timing, the change in the image immediately before the end of exposure is large between the optical system with a short exposure time and the optical system with a long exposure time.

図5は、図1に示すカメラにおいて第1〜第4の光学系による露光開始タイミングを一致させた際の動作を説明するためのタイミングチャートである。そして、図5(a)は第1の光学系の動作を示すタイミングチャートであり、図5(b)は第2の光学系の動作を示すタイミングチャートである。また、図5(c)は第3の光学系の動作を示すタイミングチャートであり、図5(d)は第4の光学系の動作を示すタイミングチャートである。   FIG. 5 is a timing chart for explaining the operation when the exposure start timings of the first to fourth optical systems are matched in the camera shown in FIG. FIG. 5A is a timing chart showing the operation of the first optical system, and FIG. 5B is a timing chart showing the operation of the second optical system. FIG. 5C is a timing chart showing the operation of the third optical system, and FIG. 5D is a timing chart showing the operation of the fourth optical system.

図5において、横軸は時間を示し、縦軸はそれぞれシャッターの開閉を示す。そして、シャッターが開状態となると露光動作中となる。また、露光時間SHa、SHb、SHc、およびSHdは、それぞれ第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dによる露光時間を示す。   In FIG. 5, the horizontal axis indicates time, and the vertical axis indicates opening / closing of the shutter. When the shutter is opened, the exposure operation is in progress. In addition, exposure times SHa, SHb, SHc, and SHd indicate exposure times by the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d, respectively.

図5に示すように、第1〜第4の光学系2a〜2dによる露光開始タイミング(露光開始時間)は同一であるが、その露光時間はSHa<SHb<SHc<SHdである。このように光学系毎に露光時間が異なる結果、再生の際に第1〜第4の光学系2a〜2dによって得られた画像を比較すると、ユーザが意図しない画像になっている可能性がある。そして、これらの画像を合成する際には、画像の差異によって合成画像の画質が低下してしまう。   As shown in FIG. 5, the exposure start timing (exposure start time) by the first to fourth optical systems 2a to 2d is the same, but the exposure time is SHa <SHb <SHc <SHd. As a result of the exposure time being different for each optical system as described above, when the images obtained by the first to fourth optical systems 2a to 2d at the time of reproduction are compared, there is a possibility that the image is not intended by the user. . When these images are combined, the image quality of the combined image is degraded due to the difference in the images.

そこで、ここでは、カメラシステム制御部11は第1〜第4の光学系2a〜2dにおいてその露光時間の中央値(中央時刻)におけるタイミングが一致するように、第1〜第4の光学系2a〜2dの露光開始タイミングを制御する。   Therefore, here, the camera system control unit 11 causes the first to fourth optical systems 2a to match the timings of the median exposure time (central time) in the first to fourth optical systems 2a to 2d. Control the exposure start timing of ˜2d.

図6は、図1に示すカメラにおいて第1〜第4の光学系においてその露光時間の中央値(中央時刻)を一致させた際の動作を説明するためのタイミングチャートである。そして、図6(a)は第1の光学系の動作を示すタイミングチャートであり、図6(b)は第2の光学系の動作を示すタイミングチャートである。また、図6(c)は第3の光学系の動作を示すタイミングチャートであり、図6(d)は第4の光学系の動作を示すタイミングチャートである。   FIG. 6 is a timing chart for explaining the operation of the first to fourth optical systems in the camera shown in FIG. 1 when the median exposure time (central time) is matched. FIG. 6A is a timing chart showing the operation of the first optical system, and FIG. 6B is a timing chart showing the operation of the second optical system. FIG. 6C is a timing chart showing the operation of the third optical system, and FIG. 6D is a timing chart showing the operation of the fourth optical system.

図6において、図5に示す例と同一の要素については同一の参照符号を付す。図示の例では、露光時間はSHa、SHb、SHc、およびSHdにおける中央時刻がTcで示されており、カメラシステム制御部11は、第1〜第4の光学系2a〜2dにおいて中央時刻Tcが一致するように、露光開始タイミングを制御する。   In FIG. 6, the same elements as those in the example shown in FIG. In the example shown in the drawing, the exposure time is indicated by Tc at the central time in SHa, SHb, SHc, and SHd, and the camera system control unit 11 has the central time Tc in the first to fourth optical systems 2a-2d. The exposure start timing is controlled so as to match.

ここでは、カメラシステム制御部11は、第1の光学系2aについては、中央時刻Tcから時間SHa/2前を露光開始タイミングとし、中央時刻Tcから時間SHa後を露光終了タイミングとする。同様に、カメラシステム制御部11は、第2の光学系2aについては、中央時刻Tcから時間SHb/2前を露光開始タイミングとし、中央時刻Tcから時間SHb後を露光終了タイミングとする。そして、カメラシステム制御部11は第3の光学系2cおよび第4の光学系2dについても、同様にして、露光開始タイミングおよび露光終了タイミングを制御する。   Here, with respect to the first optical system 2a, the camera system control unit 11 sets the exposure start timing to the time before the time Sha / 2 from the central time Tc, and the exposure end timing to the time after the time Sha from the central time Tc. Similarly, for the second optical system 2a, the camera system control unit 11 sets the exposure start timing before the time SHb / 2 from the central time Tc and the exposure end timing after the time SHb from the central time Tc. The camera system control unit 11 controls the exposure start timing and the exposure end timing in the same manner for the third optical system 2c and the fourth optical system 2d.

このように、図6に示す例においては、露光時間SHa、SHb、SHc、およびSHdにおける中央時刻を一致させる結果、第1〜第4の光学系2a〜2dの順に露光開始タイミングが遅くなり、第1〜第4の光学系2a〜2dの順に露光終了タイミングが速くなる。   Thus, in the example shown in FIG. 6, as a result of matching the central times in the exposure times SHa, SHb, SHc, and SHd, the exposure start timing is delayed in the order of the first to fourth optical systems 2a to 2d. The exposure end timing is accelerated in the order of the first to fourth optical systems 2a to 2d.

このように、露光開始タイミングおよび露光終了タイミングを制御すると、露光動作中に被写体に動きがあったとしても、第1〜第4の光学系2a〜2dにおける露光時間の中央時刻が揃っているので画像間における相違を小さくすることができる。   As described above, when the exposure start timing and the exposure end timing are controlled, even if the subject moves during the exposure operation, the central times of the exposure times in the first to fourth optical systems 2a to 2d are aligned. Differences between images can be reduced.

図7は、図2に示すカメラにおける撮影動作を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラシステム制御部11の制御下で行われる。   FIG. 7 is a flowchart for explaining a photographing operation in the camera shown in FIG. Note that the processing according to the illustrated flowchart is performed under the control of the camera system control unit 11.

撮影が開始されると、カメラシステム制御部11はシャッターを開状態として第1〜第4光学系2a〜2dに対応する撮像素子を所定の時間露光する。そして、第1〜第4の光学系2a〜2dに対応する撮像素子の出力は画像処理部12で処理されて、それぞれ第1〜第4の画像データとされる。カメラシステム制御部11は最も焦点距離の短い第1の光学系2aで得られた第1の画像データに応じた画像を表示部14に表示してLV表示を開始する(ステップS1001)。なお、撮像素子から画像信号を読み込む周期は、例えば、30fpsなどの所定のフレームレートで行われる。   When shooting is started, the camera system control unit 11 opens the shutter and exposes the imaging elements corresponding to the first to fourth optical systems 2a to 2d for a predetermined time. And the output of the image pick-up element corresponding to the 1st-4th optical systems 2a-2d is processed in the image process part 12, and it is set as 1st-4th image data, respectively. The camera system control unit 11 displays an image corresponding to the first image data obtained by the first optical system 2a having the shortest focal length on the display unit 14 and starts LV display (step S1001). In addition, the period which reads an image signal from an image pick-up element is performed by predetermined frame rates, such as 30 fps, for example.

続いて、カメラシステム制御部11は、操作検出部15によってレリーズ釦16が半押しされたこと(S1)が検出されたか否かを判定する(ステップS1002)。レリーズ釦のS1が検出されないと(ステップS1002において、NO)、カメラシステム制御部11は待機する。   Subsequently, the camera system control unit 11 determines whether or not the operation detection unit 15 detects that the release button 16 is half-pressed (S1) (step S1002). If release button S1 is not detected (NO in step S1002), camera system control unit 11 stands by.

一方、レリーズ釦のS1が検出されると(ステップS1002において、YES)、カメラシステム制御部11は第1〜第4の画像データにおいて焦点状態を検出して第1〜第4の画像データにおける主被写体を決定する(ステップS1003)。ここでは、カメラシステム制御部11はカメラ側(至近側)に存在する被写体を主被写体として検出する。   On the other hand, when S1 of the release button is detected (YES in step S1002), the camera system control unit 11 detects the focus state in the first to fourth image data and detects the main state in the first to fourth image data. A subject is determined (step S1003). Here, the camera system control unit 11 detects a subject existing on the camera side (closest side) as a main subject.

焦点検出の際には、例えば、別に備えられた位相差検出ユニットを用いて一対の光学像の位相差に応じて焦点検出を行う位相差焦点検出手法が用いられる。さらには、レンズ駆動部7によってフォーカスレンズを光軸に沿って移動しつつ得られた画像データのコントラストに応じて焦点検出を行うコントラスト焦点検出手法を用いるようにしてもよい。   For focus detection, for example, a phase difference focus detection method is used in which focus detection is performed according to the phase difference between a pair of optical images using a separately provided phase difference detection unit. Further, a contrast focus detection method may be used in which focus detection is performed according to the contrast of image data obtained by moving the focus lens along the optical axis by the lens driving unit 7.

なお、主被写体を選択する際、ユーザがLV表示を確認しつつ画面操作部17によって主被写体を選択するようにしてもよい。   When the main subject is selected, the user may select the main subject by the screen operation unit 17 while confirming the LV display.

次に、カメラシステム制御部11はレンズ駆動部7を制御して、主被写体が合焦状態になるように第1〜第4の光学系2a〜2dに備えられたフォーカスレンズ4を光軸に沿って駆動させる(ステップS1004)。そして、カメラシステム制御部11は、操作検出部15によってレリーズ釦16が全押しされたこと(S2)が検出されたか否かを判定する(ステップS1005)。レリーズ釦のS2が検出されないと(ステップS1005において、NO)、カメラシステム制御部11はステップS1002の処理に戻る。   Next, the camera system control unit 11 controls the lens driving unit 7 so that the focus lens 4 provided in the first to fourth optical systems 2a to 2d is used as an optical axis so that the main subject is in focus. Are driven (step S1004). Then, the camera system control unit 11 determines whether or not the release button 16 has been fully pressed (S2) by the operation detection unit 15 (step S1005). If release button S2 is not detected (NO in step S1005), camera system control unit 11 returns to the process in step S1002.

一方、レリーズ釦のS2が検出されると(ステップS1005において、YES)、カメラシステム制御部11は第1の光学系2aにおいて適正露光となる絞り値と露光時間とを算出する(ステップS1006)。例えば、カメラシステム制御部11は第1の光学系2aに対応する撮像素子から得られる第1の画像データがダイナミックレンジに収まるように絞り値および露光時間を決定する。以下この絞り値および露光時間を第1の絞り値および第1の露光時間と呼ぶ。   On the other hand, when the release button S2 is detected (YES in step S1005), the camera system control unit 11 calculates an aperture value and an exposure time for appropriate exposure in the first optical system 2a (step S1006). For example, the camera system control unit 11 determines the aperture value and the exposure time so that the first image data obtained from the image sensor corresponding to the first optical system 2a falls within the dynamic range. Hereinafter, the aperture value and the exposure time are referred to as a first aperture value and a first exposure time.

次に、カメラシステム制御部11は第1の絞り値に応じて、図4(a)に示す絞りテーブルを参照して、第2〜第4の光学系2b〜2dにおける絞り値を決定する(ステップS1007)。ここでは、第2〜第4の光学系2b〜2dにおける絞り値をそれぞれ第2〜第4の絞り値と呼ぶ。そして、カメラシステム制御部11は第2〜第3の絞り値において、第1の光学系2aと同等の露光量となるように、第2〜第4の光学系2b〜2dによる露光時間を決定する(ステップS1008)。   Next, the camera system control unit 11 determines the aperture values in the second to fourth optical systems 2b to 2d with reference to the aperture table shown in FIG. 4A according to the first aperture value ( Step S1007). Here, the aperture values in the second to fourth optical systems 2b to 2d are referred to as second to fourth aperture values, respectively. Then, the camera system control unit 11 determines the exposure time by the second to fourth optical systems 2b to 2d so that the exposure amount equivalent to that of the first optical system 2a is obtained at the second to third aperture values. (Step S1008).

さらに、カメラシステム制御部11は、第1〜第4の露光時間における中央時刻が一致するように、第1〜第4の光学系2a〜2dにおける露光開始時間(露光開始タイミング)を決定する(ステップS1008)。以下、第1〜第4の光学系2a〜2dにおける露光開始タイミングをそれぞれ第1〜第4の露光開始タイミングと呼ぶ。   Furthermore, the camera system control unit 11 determines the exposure start time (exposure start timing) in the first to fourth optical systems 2a to 2d so that the central times in the first to fourth exposure times coincide ( Step S1008). Hereinafter, the exposure start timings in the first to fourth optical systems 2a to 2d are referred to as first to fourth exposure start timings, respectively.

その後、カメラシステム制御部11は、上述のようにして得られた第1〜第4の絞り値に応じてレンズ駆動部7を制御して第1〜第4の光学系2a〜2dに備えられた絞り(絞り機構ともいう)を駆動する(ステップS1009)。   Thereafter, the camera system control unit 11 controls the lens driving unit 7 according to the first to fourth aperture values obtained as described above, and is provided in the first to fourth optical systems 2a to 2d. The diaphragm (also referred to as a diaphragm mechanism) is driven (step S1009).

続いて、カメラシステム制御部11は、第1〜第4の露光開始タイミングおよび第1〜第4の露光時間に基づいてシャッター駆動部9によって第1〜第4の光学系2a〜2dに備えられたシャッターを駆動制御して、露光動作を行う(ステップS1010)。露光動作の際には、カメラシステム制御部11は、まず第1〜第4の光学系2a〜2dに備えられたシャッター6を一度閉状態にする。そして、カメラシステム制御部11は第1〜第4の露光開始タイミングおよび第1〜第4の露光時間に応じてシャッター駆動部9を駆動制御してシャッターの先幕および後幕を走行させ撮像素子の露光を行う。   Subsequently, the camera system control unit 11 is provided in the first to fourth optical systems 2 a to 2 d by the shutter driving unit 9 based on the first to fourth exposure start timings and the first to fourth exposure times. The shutter is driven and controlled to perform an exposure operation (step S1010). In the exposure operation, the camera system control unit 11 first closes the shutter 6 provided in the first to fourth optical systems 2a to 2d. Then, the camera system control unit 11 drives and controls the shutter driving unit 9 according to the first to fourth exposure start timings and the first to fourth exposure times, and causes the front and rear curtains of the shutter to travel, so that the image sensor Exposure.

その後、カメラシステム制御部11は第1〜第4の光学系2a〜2dに対応する撮像素子の出力に応じて得られた第1〜第4の画像データをメモリ部13に記録するとともに、第1の画像データに応じた画像を表示部14に表示する(ステップS1011)。そして、カメラ制御部11は撮影動作を終了する。   Thereafter, the camera system control unit 11 records the first to fourth image data obtained according to the outputs of the imaging elements corresponding to the first to fourth optical systems 2a to 2d in the memory unit 13, and An image corresponding to the one image data is displayed on the display unit 14 (step S1011). Then, the camera control unit 11 ends the shooting operation.

なお、上述の例では、シャッターとしてフォーカルプレーンシャッターを用いたが、例えば、撮像素子6のリセットタイミングおよび読み込みタイミングによって露光時間を制御する電子シャッターを用いるようにしてもよい。そして、電子シャッターとして、撮像素子の端の画素列から順次読み込み動作を行う所謂ローリング電子シャッター又は撮像素子の全画素を同時に読み込み可能なグローバル電子シャッターが用いられる。   In the above-described example, the focal plane shutter is used as the shutter. However, for example, an electronic shutter that controls the exposure time according to the reset timing and reading timing of the image sensor 6 may be used. As the electronic shutter, a so-called rolling electronic shutter that sequentially performs a reading operation from the pixel row at the end of the image sensor or a global electronic shutter that can simultaneously read all the pixels of the image sensor is used.

さらに、上述の例では、第1の光学系2aが適正露光量となる第1の絞り値および第1の露光時間に応じて、第2〜第4の光学系2b〜2dの絞り値および露光時間を求めるようにしたが、例えば、ユーザが表示部14に表示された設定画面によって第1〜第4の光学系に係る絞り値および露光時間を設定するようにしてもよい。   Further, in the above-described example, the aperture values and the exposure values of the second to fourth optical systems 2b to 2d according to the first aperture value and the first exposure time at which the first optical system 2a has an appropriate exposure amount. Although the time is obtained, for example, the user may set the aperture value and the exposure time related to the first to fourth optical systems on the setting screen displayed on the display unit 14.

ここで、図1に示すカメラ1が、被写体を照明する発光部であるストロボを備えている場合の撮影動作について説明する。なお、ここでは、カメラシステム制御部11は、発光撮影モードが設定された際にストロボの発光タイミングを制御する。   Here, a photographing operation when the camera 1 shown in FIG. 1 includes a strobe that is a light emitting unit that illuminates the subject will be described. Here, the camera system control unit 11 controls the flash emission timing when the flash photography mode is set.

図8は、図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作の一例を説明するためのタイミングチャートである。そして、図8(a)は第1の光学系の動作を示すタイミングチャートであり、図8(b)は第2の光学系の動作を示すタイミングチャートである。また、図8(c)は第3の光学系の動作を示すタイミングチャートであり、図8(d)は第4の光学系の動作を示すタイミングチャートである。さらに、図8(e)はストロボの発光動作を示すタイミングチャートである。   FIG. 8 is a timing chart for explaining an example of the operation of the first to fourth optical systems when the flash photographing mode is set in the camera shown in FIG. FIG. 8A is a timing chart showing the operation of the first optical system, and FIG. 8B is a timing chart showing the operation of the second optical system. FIG. 8C is a timing chart showing the operation of the third optical system, and FIG. 8D is a timing chart showing the operation of the fourth optical system. Further, FIG. 8E is a timing chart showing the light emission operation of the strobe.

まず、ユーザは発光撮影モードを設定した後、ストロボの発光タイミングを設定する。例えば、発光タイミングの設定として、露光動作の終了直前にストロボの発光タイミングを合わせる所謂後幕シンクロ設定がある。さらに、露光動作の開始直後にストロボの発光タイミングを合わせる所謂先幕シンクロ設定がある。また、第1〜第4の光学系2a〜2dの露光時間の中央時刻にストロボの発光タイミングを合わせる中央シンクロ設定を行うようにしてもよい。   First, after setting the flash photography mode, the user sets the flash emission timing. For example, as the setting of the light emission timing, there is a so-called trailing curtain sync setting in which the light emission timing of the strobe is adjusted just before the exposure operation is finished. Furthermore, there is a so-called front curtain sync setting that matches the flash emission timing immediately after the start of the exposure operation. In addition, central sync setting may be performed in which the strobe emission timing is adjusted to the central time of the exposure time of the first to fourth optical systems 2a to 2d.

図8に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dによる露光時間はそれぞれ露光時間SHa、SHb、SHc、およびSHdで示されている。そして、ストロボの発光時間をStとする。   In the example shown in FIG. 8, the horizontal axis indicates time, and the vertical axis indicates opening / closing of the shutter or light emission of the strobe, respectively. The exposure times by the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d are indicated by exposure times SHa, SHb, SHc, and SHd, respectively. . The strobe light emission time is St.

図8においては、前述の後幕シンクロ設定が行われており、ここでは、カメラシステム制御部11は第1〜第4の光学系2a〜2dにおける露光終了タイミングが露光終了時刻Teに一致するように露光動作を制御する。さらに、カメラシステム制御部11はストロボの発光開始タイミングを露光終了時刻Teの直前となるようにストロボを制御する。つまり、カメラシステム制御部11はストロボの発光終了タイミングを露光終了時刻Teに一致させる。   In FIG. 8, the rear curtain sync setting described above is performed. Here, the camera system control unit 11 makes the exposure end timing in the first to fourth optical systems 2a to 2d coincide with the exposure end time Te. The exposure operation is controlled. Further, the camera system control unit 11 controls the strobe so that the light emission start timing of the strobe is immediately before the exposure end time Te. That is, the camera system control unit 11 matches the flash emission end timing with the exposure end time Te.

上述のようにして、露光終了タイミングおよび発光開始タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、後幕の動きに同期した(シンクロした)画像を得ることができる。   As described above, when the exposure end timing and the light emission start timing are controlled, when a moving main subject and a non-moving background subject are simultaneously shot, an image synchronized with the movement of the trailing curtain is obtained. be able to.

図9は、図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作の他の例を説明するためのタイミングチャートである。そして、図9(a)は第1の光学系の動作を示すタイミングチャートであり、図9(b)は第2の光学系の動作を示すタイミングチャートである。また、図9(c)は第3の光学系の動作を示すタイミングチャートであり、図9(d)は第4の光学系の動作を示すタイミングチャートである。さらに、図9(e)はストロボの発光動作を示すタイミングチャートである。   FIG. 9 is a timing chart for explaining another example of the operation of the first to fourth optical systems when the flash photographing mode is set in the camera shown in FIG. FIG. 9A is a timing chart showing the operation of the first optical system, and FIG. 9B is a timing chart showing the operation of the second optical system. FIG. 9C is a timing chart showing the operation of the third optical system, and FIG. 9D is a timing chart showing the operation of the fourth optical system. Further, FIG. 9E is a timing chart showing the light emission operation of the strobe.

図9に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dによる露光時間はそれぞれ露光時間SHa、SHb、SHc、およびSHdで示されている。そして、ストロボの発光時間をStとする。   In the example shown in FIG. 9, the horizontal axis indicates time, and the vertical axis indicates the opening / closing of the shutter or the flash emission, respectively. The exposure times by the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d are indicated by exposure times SHa, SHb, SHc, and SHd, respectively. . The strobe light emission time is St.

図9においては、前述の先幕シンクロ設定が行われており、ここでは、カメラシステム制御部11は第1〜第4の光学系2a〜2dにおける露光開始タイミングが露光開始時刻Tsに一致するように露光動作を制御する。さらに、カメラシステム制御部11はストロボの発光終了タイミングを露光開始時刻Tsの直後となるようにストロボを制御する。つまり、カメラシステム制御部11はストロボの発光開始タイミングを露光開始時刻Tsに一致させる。   In FIG. 9, the above-described front curtain sync setting is performed. Here, the camera system control unit 11 makes the exposure start timing in the first to fourth optical systems 2a to 2d coincide with the exposure start time Ts. The exposure operation is controlled. Further, the camera system control unit 11 controls the strobe so that the light emission end timing of the strobe is immediately after the exposure start time Ts. That is, the camera system control unit 11 matches the strobe light emission start timing with the exposure start time Ts.

上述のようにして、露光開始タイミングおよび発光終了タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、先幕の動きにシンクロした画像を得ることができる。   As described above, when the exposure start timing and the light emission end timing are controlled, an image synchronized with the movement of the front curtain can be obtained when a moving main subject and a non-moving background subject are simultaneously photographed.

図10は、図1に示すカメラにおいて発光撮影モードが設定された際の第1〜第4の光学系の動作のさらに他の例を説明するためのタイミングチャートである。そして、図10(a)は第1の光学系の動作を示すタイミングチャートであり、図10(b)は第2の光学系の動作を示すタイミングチャートである。また、図10(c)は第3の光学系の動作を示すタイミングチャートであり、図10(d)は第4の光学系の動作を示すタイミングチャートである。さらに、図10(e)はストロボの発光動作を示すタイミングチャートである。   FIG. 10 is a timing chart for explaining still another example of the operation of the first to fourth optical systems when the flash photographing mode is set in the camera shown in FIG. FIG. 10A is a timing chart showing the operation of the first optical system, and FIG. 10B is a timing chart showing the operation of the second optical system. FIG. 10C is a timing chart showing the operation of the third optical system, and FIG. 10D is a timing chart showing the operation of the fourth optical system. Further, FIG. 10E is a timing chart showing the light emission operation of the strobe.

図10に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dによる露光時間はそれぞれ露光時間SHa、SHb、SHc、およびSHdで示されている。そして、ストロボの発光時間をStとする。   In the example illustrated in FIG. 10, the horizontal axis indicates time, and the vertical axis indicates opening / closing of the shutter or flash emission. The exposure times by the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d are indicated by exposure times SHa, SHb, SHc, and SHd, respectively. . The strobe light emission time is St.

図10においては、前述の中央シンクロ設定が行われており、ここでは、カメラシステム制御部11は露光時間SHa、SHb、SHc、およびSHdの中央時刻を時刻Tcに揃えて、第1〜第4の光学系2a〜2dにおける露光動作(つまり、露光開始タイミング)を制御する。さらに、カメラシステム制御部11は発光時間Stの中央時刻を時刻Tcとしてストロボの発光開始タイミングを制御する。   In FIG. 10, the above-described central sync setting is performed. Here, the camera system control unit 11 aligns the central times of the exposure times SHa, SHb, SHc, and SHd with the time Tc, and sets the first to fourth. The exposure operation (that is, exposure start timing) in the optical systems 2a to 2d is controlled. Further, the camera system control unit 11 controls the light emission start timing of the strobe with the central time of the light emission time St as time Tc.

上述のようにして、露光開始タイミングおよび発光開始タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、発光開始タイミングに基づいて、少なくとも最も焦点距離が短い光学系(第1の光学系2a)の露光時間に発光開始タイミングが入るように第1〜第4の光学系2a〜2dにおける露光開始タイミングを制御することができる。   When the exposure start timing and the light emission start timing are controlled as described above, when the moving main subject and the non-moving background subject are simultaneously photographed, at least the optical system with the shortest focal length is based on the light emission start timing. The exposure start timing in the first to fourth optical systems 2a to 2d can be controlled so that the light emission start timing enters the exposure time of the system (first optical system 2a).

このように、本発明の第1の実施形態では、互いに焦点距離が異なる複数の光学系を有するカメラにおいて、光学系毎にその露光時間を異ならせた場合に、これら露光時間の中央時刻が一致するように露光動作を制御する。これによって、露光動作中に被写体に動きがあったしても、複数の光学系で得られた画像において相違が少なくなる。その結果、画像再生の際に違和感が低減されるばかりでなく、画像合成の際において画質の劣化を低減することができる。   As described above, in the first embodiment of the present invention, when a camera having a plurality of optical systems having different focal lengths is used, when the exposure times are different for each optical system, the central times of these exposure times coincide. The exposure operation is controlled to do so. Thereby, even if the subject moves during the exposure operation, the difference in the images obtained by the plurality of optical systems is reduced. As a result, not only a sense of incongruity is reduced during image reproduction, but also deterioration in image quality can be reduced during image composition.

[第2の実施形態]
続いて、本発明の第2の実施形態によるカメラの一例について説明する。なお、第2の実施形態によるカメラの構成は、図1および図2に示すカメラと同様である。
[Second Embodiment]
Next, an example of a camera according to the second embodiment of the present invention will be described. The configuration of the camera according to the second embodiment is the same as that of the camera shown in FIGS.

第2の実施形態によるカメラは、露光時間を短く設定した光学系における露光動作を、露光時間を長く設定した光学系における露光動作中に複数回行わせる連続露光モードを有している。連続露光モードにおいて、露光時間が短い光学系で複数回の露光動作を行う際、カメラシステム制御部11は一回の露光動作における露光時間の中央時刻を、他の光学系における露光時間の中央時刻と揃えるように露光制御を行う。   The camera according to the second embodiment has a continuous exposure mode in which the exposure operation in the optical system with a short exposure time is performed a plurality of times during the exposure operation in the optical system with a long exposure time. In the continuous exposure mode, when performing an exposure operation a plurality of times with an optical system having a short exposure time, the camera system control unit 11 sets the central time of the exposure time in one exposure operation to the central time of the exposure time in another optical system. Exposure control is performed so that

その後、カメラシステム制御部11は複数回の露光動作で得られた複数の画像を、画像マッチングによって位置合わせを行った後、加算合成および平均化処理によって画像合成処理を行う。なお、異なる光学系で得られた画像を合成する処理を異光学系画像合成と呼び、同一の光学系で得られた複数の画像を合成する処理を同光学系画像合成と呼ぶ。   Thereafter, the camera system control unit 11 aligns a plurality of images obtained by a plurality of exposure operations by image matching, and then performs image synthesis processing by addition synthesis and averaging processing. Note that a process for combining images obtained by different optical systems is called a different optical system image composition, and a process for combining a plurality of images obtained by the same optical system is called a same optical system image composition.

図11は、本発明の第2の実施形態によるカメラにおいて露光時間が最も短い第1光学系で複数の露光動作を行った際の第1〜第4の光学系の露光動作を説明するためのタイミングチャートである。そして、図11(a)は第1の光学系の動作を示すタイミングチャートであり、図11(b)は第2の光学系の動作を示すタイミングチャートである。また、図11(c)は第3の光学系の動作を示すタイミングチャートであり、図11(d)は第4の光学系の動作を示すタイミングチャートである。   FIG. 11 is a view for explaining exposure operations of the first to fourth optical systems when a plurality of exposure operations are performed with the first optical system having the shortest exposure time in the camera according to the second embodiment of the present invention. It is a timing chart. FIG. 11A is a timing chart showing the operation of the first optical system, and FIG. 11B is a timing chart showing the operation of the second optical system. FIG. 11C is a timing chart showing the operation of the third optical system, and FIG. 11D is a timing chart showing the operation of the fourth optical system.

図示の例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉を示す。また、第1の光学系2a、第2の光学系2b、第3の光学系2c、および第4の光学系2dによる露光時間はそれぞれ露光時間SHa、SHb、SHc、およびSHdで示されている。そして、カメラシステム制御部11は露光時間SHa、SHb、SHc、およびSHdの中央時刻を時刻Tcに一致させて露光動作を制御する。   In the illustrated example, the horizontal axis indicates time, and the vertical axis indicates opening / closing of the shutter. The exposure times by the first optical system 2a, the second optical system 2b, the third optical system 2c, and the fourth optical system 2d are indicated by exposure times SHa, SHb, SHc, and SHd, respectively. . The camera system control unit 11 controls the exposure operation by matching the central time of the exposure times SHa, SHb, SHc, and SHd with the time Tc.

さらに、カメラシステム制御部11は、第4の光学系2dの露光開始時刻である時刻Td1から露光終了時刻である時刻Td2の間において、第1の光学系2aについて複数回の露光動作を行う。そして、カメラシステム制御部11は第1の光学系2aにおける複数回の露光動作のうち一回について、露光時間SHaの中央時刻を時刻Tcと一致させる。   Further, the camera system control unit 11 performs the exposure operation for the first optical system 2a a plurality of times during the period from the time Td1 that is the exposure start time of the fourth optical system 2d to the time Td2 that is the exposure end time. Then, the camera system control unit 11 matches the central time of the exposure time SHa with the time Tc for one out of a plurality of exposure operations in the first optical system 2a.

なお、カメラシステム制御部11は、第1の光学系2aにおける露光動作の回数を、第4の光学系2dの露光時間SHd、第1の光学系2aの露光時間SHa、そして、第1の光学系2aにおける露光動作間のインターバル時間を考慮して決定する。   The camera system control unit 11 sets the number of exposure operations in the first optical system 2a to the exposure time SHd of the fourth optical system 2d, the exposure time SHa of the first optical system 2a, and the first optical system 2a. This is determined in consideration of the interval time between exposure operations in the system 2a.

上述のようにして、露光時間の最も短い第1の光学系2aについては複数回の露光を行って複数回の画像を得て、これら画像について同光学系画像合成を行う。これによって、第1の光学系2aで得られる画像についてはS/N比を向上させることができる。   As described above, the first optical system 2a having the shortest exposure time is exposed a plurality of times to obtain a plurality of images, and the same optical system image synthesis is performed for these images. Thereby, the S / N ratio can be improved for the image obtained by the first optical system 2a.

さらに、中央時刻を時刻Tcに揃えた露光時間SHaにおいて第1の光学系2aで得られた画像を、他の光学系で得られた画像と合成する異光学系画像合成を行えば画質の劣化を低減することができる。   Further, if an image obtained by the first optical system 2a is synthesized with an image obtained by another optical system at an exposure time SHa in which the central time is aligned with the time Tc, image quality deteriorates. Can be reduced.

なお、連続露光モードにおいて、同光学系画像合成を行った後、当該合成後の画像を用いて異光学系画像合成を行うようにしてもよい。つまり、第1の光学系2aにおいて複数回の露光動作を行って得られた複数の画像を同光学系画像合成して、当該合成画像を、第2〜第4の光学系2b〜2dで得られた画像と異光学系画像合成を行うようにしてもよい。   In the continuous exposure mode, after the optical system image is combined, the different optical system image may be combined using the combined image. That is, a plurality of images obtained by performing a plurality of exposure operations in the first optical system 2a are synthesized with the same optical system image, and the synthesized images are obtained by the second to fourth optical systems 2b to 2d. The obtained image may be combined with the different optical system image.

図12は、本発明の第2の実施形態によるカメラで行われる同光学系画像合成の一例を説明するための図である。そして、図12(a)は図11(a)に示す露光”51”で得られた画像を示す図であり、図12(b)は図11(a)に示す露光”52”で得られた画像を示す図である。また、図12(c)は図11(a)に示す露光”53”で得られた画像を示す図であり、図12(d)は図12(a)〜図12(c)に示す画像を合成処理した結果得られる合成画像を示す図である。   FIG. 12 is a diagram for explaining an example of the optical system image synthesis performed by the camera according to the second embodiment of the present invention. FIG. 12A shows an image obtained by the exposure “51” shown in FIG. 11A, and FIG. 12B shows the image obtained by the exposure “52” shown in FIG. FIG. FIG. 12C shows an image obtained by the exposure “53” shown in FIG. 11A, and FIG. 12D shows the images shown in FIGS. 12A to 12C. It is a figure which shows the synthesized image obtained as a result of synthesize | combining.

図12(a)〜図12(c)においては、図11(a)に示す時刻Td1から時刻Td2において、被写体は図中右側に移動している。カメラシステム制御部11は、図12(a)〜図12(c)に示す画像においてマッチング処理を行う。ここでは、カメラシステム制御部11は、例えば、図12(b)に示す画像を基準として、被写体の位置が一致するように画像をシフトして加算合成を行う。これによって、図12(d)に示す合成画像が得られる。そして、上述の同光学系画像合成で得られた合成画像についてはS/N比が改善される結果、当該合成画像を用いて異光学系画像合成を行えば、その結果得られた合成画像についてはさらにS/N比が改善されることになる。   12 (a) to 12 (c), the subject has moved to the right side in the figure from time Td1 to time Td2 shown in FIG. 11 (a). The camera system control unit 11 performs matching processing on the images shown in FIGS. 12 (a) to 12 (c). Here, for example, the camera system control unit 11 performs addition synthesis by shifting the images so that the positions of the subjects coincide with each other using the image shown in FIG. 12B as a reference. Thereby, the composite image shown in FIG. 12D is obtained. As a result of improving the S / N ratio for the composite image obtained by the above-mentioned optical system image composition, if the different optical system image composition is performed using the composite image, the resultant composite image is obtained. Will further improve the S / N ratio.

[第3の実施形態]
次に、本発明の第3の実施形態によるカメラの一例について説明する。なお、第3の実施形態によるカメラの構成は、図1および図2に示すカメラと同様であるが、第3の実施形態においては、第1〜第4の光学系2a〜2dの焦点距離は同一である。
[Third Embodiment]
Next, an example of a camera according to the third embodiment of the present invention will be described. The configuration of the camera according to the third embodiment is the same as that of the camera shown in FIGS. 1 and 2, but in the third embodiment, the focal lengths of the first to fourth optical systems 2a to 2d are Are the same.

第3の実施形態では、輝度値の変化が大きい被写体については第1〜第4の光学系2a〜2dについて露光時間を変更して撮影を行って得られた画像を合成するようにする。例えば、カメラシステム制御部11は、輝度値の最も高い被写体の範囲が撮像素子のダイナミックレンジに入るように、第1の光学系2aにおける露光時間を設定する。さらに、カメラシステム制御部11は、輝度値の最も低い被写体の範囲が撮像素子のダイナミックレンジに入るように、第4の光学系2dにおける露光時間を設定する。   In the third embodiment, for a subject with a large change in luminance value, the exposure time is changed for the first to fourth optical systems 2a to 2d to synthesize images obtained by shooting. For example, the camera system control unit 11 sets the exposure time in the first optical system 2a so that the range of the subject with the highest luminance value falls within the dynamic range of the image sensor. Furthermore, the camera system control unit 11 sets the exposure time in the fourth optical system 2d so that the range of the subject with the lowest luminance value falls within the dynamic range of the image sensor.

この際、カメラシステム制御部11は第4の光学系2dにおける露光時間は、第1の光学系2aにおける露光時間よりも長く設定する。そして、カメラシステム制御部11は第2および第3の光学系2bおよび2cにおける露光時間を第1および第4の光学系2aおよび2dにおける露光時間の間に設定する。さらに、カメラシステム制御部11は光学系毎の露光時間の中央時刻が一致するように、第1〜第4の光学系2a〜2dにおける露光動作を制御する。   At this time, the camera system control unit 11 sets the exposure time in the fourth optical system 2d to be longer than the exposure time in the first optical system 2a. Then, the camera system control unit 11 sets the exposure time in the second and third optical systems 2b and 2c between the exposure times in the first and fourth optical systems 2a and 2d. Further, the camera system control unit 11 controls the exposure operation in the first to fourth optical systems 2a to 2d so that the central times of the exposure times for the respective optical systems coincide.

その後、カメラシステム制御部11は、光学系毎に得られた画像について異光学系画像合成を行う。この際、カメラシステム制御部11は光学系毎の露光時間の比率に応じて画像の輝度値に所定の割合を乗算して正規化を行う。   Thereafter, the camera system control unit 11 performs different optical system image composition on the image obtained for each optical system. At this time, the camera system control unit 11 performs normalization by multiplying the luminance value of the image by a predetermined ratio in accordance with the ratio of the exposure time for each optical system.

例えば、第1の光学系2aの露光時間が第4の光学系2dの露光時間の1/n倍(nは1よりも大きい数)であるとすると、第1の光学系2aで得られた画像の輝度値はn倍される。第2および第3の光学系2bおよび2cで得られた画像についても、露光時間が最も長い第4の光学系2dを基準として、露光時間の比率で正規化される。   For example, when the exposure time of the first optical system 2a is 1 / n times the exposure time of the fourth optical system 2d (n is a number larger than 1), the first optical system 2a obtained The luminance value of the image is multiplied by n. The images obtained by the second and third optical systems 2b and 2c are also normalized by the ratio of the exposure time with reference to the fourth optical system 2d having the longest exposure time.

続いて、カメラシステム制御部11は、正規化された画像について加算合成および平均化処理を行う。これによって、輝度の最も高い被写体の範囲がレンジオーバーすることなく、さらには、輝度の最も低い被写体の範囲も輝度値がゼロとなることがなく、擬似的にダイナミックレンジを拡大した画像を得ることができる。   Subsequently, the camera system control unit 11 performs addition synthesis and averaging processing on the normalized image. As a result, the range of the subject with the highest luminance does not exceed the range, and further, the range of the subject with the lowest luminance does not have a luminance value of zero, so that an image having an enlarged dynamic range can be obtained. Can do.

図13は、本発明の第3の実施形態によるカメラで行われる異光学系画像合成の一例を説明するための図である。そして、図13(a)は全ての被写体における輝度値がダイナミックレンジに入った状態の画像を示す図であり、図13(b)は露光時間が短い場合の画像を示す図である。また、図13(c)は露光時間が長い場合の画像を示す図である。   FIG. 13 is a diagram for explaining an example of different optical system image synthesis performed by the camera according to the third embodiment of the present invention. FIG. 13A is a diagram illustrating an image in a state where the luminance values of all subjects are in the dynamic range, and FIG. 13B is a diagram illustrating an image when the exposure time is short. FIG. 13C shows an image when the exposure time is long.

撮像素子のダイナミックレンジが大きい場合に適正露光で撮影を行うと、被写体の輝度値がダイナミックレンジに入った状態の画像を得ることができる(図13(a)参照)。ここでは、被写体64、63、62、および61はこの順で輝度値が高いものとする。   If shooting is performed with appropriate exposure when the dynamic range of the image sensor is large, an image in which the luminance value of the subject is in the dynamic range can be obtained (see FIG. 13A). Here, it is assumed that the subjects 64, 63, 62, and 61 have higher luminance values in this order.

被写体64、63、62、および61を、撮像素子のダイナミックレンジが小さいカメラで撮影すると、露光時間が最も短い第1の光学系2aにおいては図13(b)に示す画像が得られる。一方、露光時間が最も長い第4の光学系2dにおいては図13(c)に示す画像が得られる。   When the subjects 64, 63, 62, and 61 are photographed with a camera having a small dynamic range of the image sensor, the image shown in FIG. 13B is obtained in the first optical system 2a having the shortest exposure time. On the other hand, in the fourth optical system 2d having the longest exposure time, an image shown in FIG. 13C is obtained.

図13(b)に示す画像においては、被写体62,63、および64についてはその輝度値がダイナミックレンジに入っているものの、被写体61については露光時間が足りない結果、適正な輝度値が得られず、所謂黒つぶれの状態となる。   In the image shown in FIG. 13B, the luminance values of the subjects 62, 63, and 64 are in the dynamic range, but the subject 61 has an insufficient exposure time, resulting in an appropriate luminance value. In other words, it becomes a so-called blackened state.

一方、図13(c)に示す画像においては、被写体61,62、および63についてはその輝度値はダイナミックレンジに入っているものの、被写体64について露光時間が長すぎて輝度値が飽和した状態となって、所謂白とびの状態となる。   On the other hand, in the image shown in FIG. 13C, the luminance values of the subjects 61, 62, and 63 are in the dynamic range, but the luminance value of the subject 64 is saturated because the exposure time is too long. Thus, a so-called whiteout state is obtained.

そこで、カメラシステム制御部11はダイナミックレンジにある被写体62および64の輝度値が揃うように、図13(b)および図13(c)に示す画像全体の輝度値に所定の係数を乗算する。例えば、第4の光学系2dの露光時間が第1の光学系2aの2倍であれば、カメラシステム制御部11は第1の光学系2aで得られた画像の輝度値を2倍にする。   Therefore, the camera system control unit 11 multiplies the luminance values of the entire images shown in FIGS. 13B and 13C by a predetermined coefficient so that the luminance values of the subjects 62 and 64 in the dynamic range are aligned. For example, if the exposure time of the fourth optical system 2d is twice that of the first optical system 2a, the camera system control unit 11 doubles the luminance value of the image obtained by the first optical system 2a. .

そして、カメラシステム制御部11は、図13(b)において黒つぶれしている被写体61の輝度値については図13(c)に示す画像から得る。さらに、カメラシステム制御部11は、図13(c)において白とびしている被写体64の輝度値については図13(b)の画像から得て画像合成を行う。   Then, the camera system control unit 11 obtains the luminance value of the subject 61 that is blacked out in FIG. 13B from the image shown in FIG. Further, the camera system control unit 11 obtains the brightness value of the subject 64 that is overexposed in FIG. 13C from the image of FIG. 13B and performs image composition.

これによって、ダイナミックレンジが小さい撮像素子を用いた際においても、図13(a)に示すように擬似的にダイナミックレンジが拡大した画像を得ることができる。   As a result, even when an imaging device with a small dynamic range is used, an image with a pseudo dynamic range can be obtained as shown in FIG.

上述の説明から明らかなように、図2に示す例においては、撮像素子6aおよび6bと画像処理部12とが撮像手段として機能する。そして、カメラシステム制御部11は制御手段として機能し、カメラシステム制御部11および画像処理部12は合成手段として機能する。   As is clear from the above description, in the example shown in FIG. 2, the imaging elements 6 a and 6 b and the image processing unit 12 function as imaging means. The camera system control unit 11 functions as a control unit, and the camera system control unit 11 and the image processing unit 12 function as a synthesis unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。   For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the imaging apparatus. Further, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the imaging apparatus. The control program is recorded on a computer-readable recording medium, for example.

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

2a〜2d 光学系
4a,4b フォーカスレンズ
5a,5b 絞り機構
6a,6b 撮像素子
7 レンズ駆動部
8a,8b シャッター
9 シャッター駆動部
11 カメラシステム制御部
12 画像処理部
16 レリーズ釦
2a to 2d Optical system 4a, 4b Focus lens 5a, 5b Aperture mechanism 6a, 6b Image sensor 7 Lens drive unit 8a, 8b Shutter 9 Shutter drive unit 11 Camera system control unit 12 Image processing unit 16 Release button

Claims (13)

複数の光学系を有する撮像光学群を備え、前記光学系を介して撮影を行う撮像装置であって、
前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段と、
前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御手段と、
を有することを特徴とする撮像装置。
An imaging apparatus that includes an imaging optical group having a plurality of optical systems and that performs imaging through the optical system,
Imaging means for generating an image according to an optical image formed through each of the plurality of optical systems;
When controlling an exposure start timing for starting exposure or an exposure end timing for ending exposure according to the exposure time set for each of the plurality of optical systems, the exposure start timing or the exposure end Control means for adjusting the timing according to the length of the exposure time;
An imaging device comprising:
前記制御手段は、前記複数の光学系の各々について設定された露光時間の中央に位置する中央時刻を一致させて前記露光開始タイミング又は前記露光終了タイミングを制御することを特徴とする請求項1に記載の撮像装置。   The control means controls the exposure start timing or the exposure end timing by matching a central time located at the center of an exposure time set for each of the plurality of optical systems. The imaging device described. 前記複数の光学系のうち少なくとも1つの光学系が他の光学系と焦点距離が異なることを特徴とする請求項2に記載の撮像装置。   The imaging apparatus according to claim 2, wherein at least one of the plurality of optical systems has a focal length different from that of the other optical systems. 前記制御手段は、前記複数の光学系のうちその焦点距離が最も長い光学系から順に露光開始を開始することを特徴とする請求項3に記載の撮像装置。   The image pickup apparatus according to claim 3, wherein the control unit starts exposure in order from an optical system having the longest focal length among the plurality of optical systems. 撮影の際に被写体を照明する発光手段を有し、
前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記発光手段が発光を終了する発光終了タイミングに合わせて前記露光終了タイミングを制御することを特徴とする請求項1に記載の撮像装置。
Having light emitting means for illuminating the subject during shooting,
The control means controls the exposure end timing in accordance with a light emission end timing at which the light emission means ends light emission in a light emission photographing mode in which the light emission means emits light to photograph the subject. The imaging device according to claim 1.
撮影の際に被写体を照明する発光手段を有し、
前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記発光手段が発光を開始する発光開始タイミングに合わせて前記露光開始タイミングを制御することを特徴とする請求項1に記載の撮像装置。
Having light emitting means for illuminating the subject during shooting,
The control means controls the exposure start timing in accordance with a light emission start timing at which the light emission means starts light emission in a light emission photographing mode in which the light emission means emits light to photograph the subject. The imaging device according to claim 1.
撮影の際に被写体を照明する発光手段を有し、
前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記複数の光学系のうちその焦点距離が最も短い光学系における露光時間に前記発光手段が発光を開始する発光開始タイミングを制御することを特徴とする請求項3に記載の撮像装置。
Having light emitting means for illuminating the subject during shooting,
In the light emission photographing mode in which the light emitting means emits light to photograph the subject, the control means starts the light emission means during the exposure time in the optical system having the shortest focal length among the plurality of optical systems. The imaging apparatus according to claim 3, wherein the light emission start timing is controlled.
前記制御手段は、前記複数の光学系のうちその焦点距離が最も短い光学系について前記焦点距離が最も長い光学系の露光時間で前記焦点距離が最も短い光学系の露光時間で複数回の露光を行い、前記複数回の露光のうちの1つにおいて前記露光時間の中央に位置する中央時刻を一致させることを特徴とする請求項3に記載の撮像装置。   The control means is configured to perform exposure a plurality of times with an exposure time of the optical system having the shortest focal length and an exposure time of the optical system having the shortest focal length for the optical system having the shortest focal length among the plurality of optical systems. The imaging apparatus according to claim 3, wherein a central time located at a center of the exposure time is made coincident in one of the plurality of exposures. 前記複数回の露光で得られた画像を合成して第1の合成画像を得る合成手段を有することを特徴とする請求項8に記載の撮像装置。   The imaging apparatus according to claim 8, further comprising a combining unit that combines the images obtained by the plurality of exposures to obtain a first combined image. 前記合成手段は、前記焦点距離が最も短い光学系を除く他の光学系について得られた画像と前記第1の合成画像とを合成して第2の合成画像を生成することを特徴とする請求項9に記載の撮像装置。   The synthesizing unit generates the second synthesized image by synthesizing the image obtained for the other optical system except the optical system with the shortest focal length and the first synthesized image. Item 10. The imaging device according to Item 9. 前記複数の光学系の各々について得られた画像を合成して合成画像を得る合成手段を有することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a combining unit that combines images obtained for each of the plurality of optical systems to obtain a combined image. 複数の光学系を有する撮像光学群と、前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを有する撮像装置の制御方法であって、
前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御ステップを有することを特徴とする制御方法。
An imaging apparatus control method comprising: an imaging optical group having a plurality of optical systems; and imaging means for generating an image according to an optical image formed through each of the plurality of optical systems,
When controlling an exposure start timing for starting exposure or an exposure end timing for ending exposure according to the exposure time set for each of the plurality of optical systems, the exposure start timing or the exposure end A control method comprising a control step of adjusting timing according to the length of the exposure time.
複数の光学系を有する撮像光学群と、前記複数の光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを有する撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記複数の光学系の各々について設定された露光時間に応じて前記複数の光学系について露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御する際、前記露光開始タイミング又は前記露光終了タイミングを前記露光時間の長さに応じて調整する制御ステップを実行させることを特徴とする制御プログラム。
A control program used in an imaging apparatus having an imaging optical group having a plurality of optical systems and imaging means for generating an image according to an optical image formed through each of the plurality of optical systems,
In the computer provided in the imaging device,
When controlling an exposure start timing for starting exposure or an exposure end timing for ending exposure according to the exposure time set for each of the plurality of optical systems, the exposure start timing or the exposure end A control program for executing a control step of adjusting timing according to the length of the exposure time.
JP2014238763A 2014-11-26 2014-11-26 Imaging apparatus, control method thereof, and control program Active JP6624776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014238763A JP6624776B2 (en) 2014-11-26 2014-11-26 Imaging apparatus, control method thereof, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238763A JP6624776B2 (en) 2014-11-26 2014-11-26 Imaging apparatus, control method thereof, and control program

Publications (2)

Publication Number Publication Date
JP2016099598A true JP2016099598A (en) 2016-05-30
JP6624776B2 JP6624776B2 (en) 2019-12-25

Family

ID=56077071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238763A Active JP6624776B2 (en) 2014-11-26 2014-11-26 Imaging apparatus, control method thereof, and control program

Country Status (1)

Country Link
JP (1) JP6624776B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055010A (en) * 2017-10-09 2020-05-20 페이스북 테크놀로지스, 엘엘씨 Head mounted display tracking system
US10979612B2 (en) 2017-09-20 2021-04-13 Samsung Electronics Co., Ltd. Electronic device comprising plurality of cameras using rolling shutter mode
WO2021187778A1 (en) * 2020-03-19 2021-09-23 삼성전자 주식회사 Electronic device for performing photographing using flash

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303694A (en) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc Compound eye imaging device
JP2006005608A (en) * 2004-06-17 2006-01-05 Hitachi Ltd Imaging device
JP2007028043A (en) * 2005-07-14 2007-02-01 Eastman Kodak Co Digital camera
JP2008172523A (en) * 2007-01-11 2008-07-24 Fujifilm Corp Multifocal camera device, and control method and program used for it
JP2010520661A (en) * 2007-03-01 2010-06-10 イーストマン コダック カンパニー Digital camera providing improved time sampling
JP2010161739A (en) * 2009-01-09 2010-07-22 Fujifilm Corp Compound-eye imaging apparatus, and imaging control method
JP2011035556A (en) * 2009-07-30 2011-02-17 Fujifilm Corp Compound-eye imaging apparatus, imaging method, and program
JP2011229008A (en) * 2010-04-21 2011-11-10 Canon Inc Image capturing apparatus and program
US20120188392A1 (en) * 2011-01-25 2012-07-26 Scott Smith Imaging system with multiple sensors for producing high-dynamic-range images
JP2012195668A (en) * 2011-03-15 2012-10-11 Canon Inc Image processing device, image processing method, and program
JP2013062626A (en) * 2011-09-12 2013-04-04 Canon Inc Imaging apparatus, image processing method and program
JP2013211827A (en) * 2012-02-28 2013-10-10 Canon Inc Image processing method, device and program
JP6429440B2 (en) * 2013-09-18 2018-11-28 キヤノン株式会社 Imaging device, control method thereof, and control program

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303694A (en) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc Compound eye imaging device
JP2006005608A (en) * 2004-06-17 2006-01-05 Hitachi Ltd Imaging device
JP2007028043A (en) * 2005-07-14 2007-02-01 Eastman Kodak Co Digital camera
JP2008172523A (en) * 2007-01-11 2008-07-24 Fujifilm Corp Multifocal camera device, and control method and program used for it
JP2010520661A (en) * 2007-03-01 2010-06-10 イーストマン コダック カンパニー Digital camera providing improved time sampling
JP2010161739A (en) * 2009-01-09 2010-07-22 Fujifilm Corp Compound-eye imaging apparatus, and imaging control method
JP2011035556A (en) * 2009-07-30 2011-02-17 Fujifilm Corp Compound-eye imaging apparatus, imaging method, and program
JP2011229008A (en) * 2010-04-21 2011-11-10 Canon Inc Image capturing apparatus and program
US20120188392A1 (en) * 2011-01-25 2012-07-26 Scott Smith Imaging system with multiple sensors for producing high-dynamic-range images
JP2012195668A (en) * 2011-03-15 2012-10-11 Canon Inc Image processing device, image processing method, and program
JP2013062626A (en) * 2011-09-12 2013-04-04 Canon Inc Imaging apparatus, image processing method and program
JP2013211827A (en) * 2012-02-28 2013-10-10 Canon Inc Image processing method, device and program
JP6429440B2 (en) * 2013-09-18 2018-11-28 キヤノン株式会社 Imaging device, control method thereof, and control program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979612B2 (en) 2017-09-20 2021-04-13 Samsung Electronics Co., Ltd. Electronic device comprising plurality of cameras using rolling shutter mode
KR20200055010A (en) * 2017-10-09 2020-05-20 페이스북 테크놀로지스, 엘엘씨 Head mounted display tracking system
JP2020537383A (en) * 2017-10-09 2020-12-17 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc Head-mounted display tracking system
JP7026214B2 (en) 2017-10-09 2022-02-25 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー Head-mounted display tracking system
KR102448284B1 (en) * 2017-10-09 2022-09-29 메타 플랫폼즈 테크놀로지스, 엘엘씨 head mounted display tracking system
WO2021187778A1 (en) * 2020-03-19 2021-09-23 삼성전자 주식회사 Electronic device for performing photographing using flash

Also Published As

Publication number Publication date
JP6624776B2 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP4960907B2 (en) Imaging apparatus and imaging method
CN102739955B (en) Image capturing apparatus for enabling generation of data of panoramic image with wide dynamic range
KR100871639B1 (en) Camera and image processing method for camera
JP6429440B2 (en) Imaging device, control method thereof, and control program
JP4695508B2 (en) Imaging apparatus and imaging method
JP5950678B2 (en) Imaging apparatus, control method, and program
JP2007027967A (en) Photographing apparatus
JP4652998B2 (en) Imaging device
JP2006033049A (en) Image pickup device
JP4533252B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5661351B2 (en) Imaging device
JP2010113291A (en) Imaging apparatus
JP6624776B2 (en) Imaging apparatus, control method thereof, and control program
JP4977569B2 (en) Imaging control apparatus, imaging control method, imaging control program, and imaging apparatus
JP6608194B2 (en) Image processing apparatus, control method therefor, and program
JP4934123B2 (en) Imaging apparatus and method
JP2008042746A (en) Camera, photographing control method and program
JP4865648B2 (en) Imaging device
JP5618765B2 (en) Imaging apparatus and control method thereof
JP6242129B2 (en) Imaging device, control method thereof, and control program
JP2007049408A (en) Photographing device
JP2009182832A (en) Photographing device and through image displaying method
JP2017219697A (en) Imaging device and control method of imaging device
JP6226536B2 (en) Imaging apparatus and control method thereof
JP2006217474A (en) Lens device, digital camera, and optical device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191126

R151 Written notification of patent or utility model registration

Ref document number: 6624776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151