JP2011048283A - Photographed image composing device - Google Patents

Photographed image composing device Download PDF

Info

Publication number
JP2011048283A
JP2011048283A JP2009198645A JP2009198645A JP2011048283A JP 2011048283 A JP2011048283 A JP 2011048283A JP 2009198645 A JP2009198645 A JP 2009198645A JP 2009198645 A JP2009198645 A JP 2009198645A JP 2011048283 A JP2011048283 A JP 2011048283A
Authority
JP
Japan
Prior art keywords
imaging
angle
image
shooting
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009198645A
Other languages
Japanese (ja)
Inventor
Yasushi Ogino
泰 荻野
Original Assignee
Nikon Corp
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, 株式会社ニコン filed Critical Nikon Corp
Priority to JP2009198645A priority Critical patent/JP2011048283A/en
Publication of JP2011048283A publication Critical patent/JP2011048283A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To acquire a composite image of an angle of view larger than that of the specification of a single photographic lens. <P>SOLUTION: Imaging units 1 and 2 that can be inclined in order to adjust the photographing direction include photographic lenses 1a and 2a and imaging elements 1b and 2b having a rectangular imaging surface. Photographing is performed while the photographing ranges of the imaging units 1 and 2 are matched with each other, and one stereo image is composed from respective output images of the imaging elements 1b and 2b. Then, the imaging elements 1b and 2b are rotated by 90° by motors 1d and 2d for imaging element rotation, respectively, and the imaging units 1 and 2 are inclined outside (+y direction) so that the photographing ranges of the imaging units 1 and 2 partially overlap each other, and photographing is performed, thereby composing a high-definition image of a large angle of view from respective output images of the imaging elements 1b and 2b. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、複数の撮像系を有し、各撮像系の撮影画像を1つに合成する撮影画像合成装置に関する。   The present invention relates to a photographic image composition apparatus that has a plurality of imaging systems and synthesizes photographic images of the respective imaging systems into one.
従来、2つの撮像部を用いて撮影し、2枚の撮影画面のオーバーラップエリアのみを合成して1つの立体視用のステレオ画像を得るステレオカメラが知られている。このようなステレオカメラでは、その画像合成機能を利用して、1つのパノラマ画像を生成することもできる(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, there is known a stereo camera that captures an image using two imaging units and obtains a single stereoscopic image by combining only overlapping areas of two image capture screens. In such a stereo camera, one panoramic image can be generated using the image composition function (see, for example, Patent Document 1).
特開2006−121229号公報JP 2006-121229 A
引用文献1の装置は、2つの撮像部からの2枚の撮影画像を合成してステレオ画像もパノラマ画像も生成する機能があるが、このようなパノラマ画像は、2枚の撮影画像を横方向に継ぎ足したものに限られるという問題がある。   The apparatus of the cited document 1 has a function of generating a stereo image and a panorama image by combining two photographed images from two imaging units. Such a panorama image is obtained by horizontally transforming two photographed images. There is a problem that it is limited to the one added to.
(1)請求項1の発明による撮影画像合成装置は、第1の撮影光学系と第1の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第1の撮像ユニットと、第2の撮影光学系と第2の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、第1の撮像ユニットと同一の長方形状の撮影範囲を有する第2の撮像ユニットと、第1および第2の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、第1および第2の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、第1および第2の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、第1および第2の撮像素子の各出力画像から1つの合成画像を生成する合成手段と、を備え、第1および第2の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第1の撮影モードと、撮像素子回転手段により第1および第2の撮像素子を第1の撮影モードの状態から90°回転させ、傾斜量変更手段により第1および第2の撮像ユニットの撮影範囲が一部重複するように第1および第2の撮像ユニットの傾斜量を変更して撮影を行う第2の撮影モードと、を有することを特徴とする。 (1) A photographed image synthesizing apparatus according to a first aspect of the present invention includes a first imaging unit that includes a first imaging optical system and a first imaging element, and is tiltably supported to adjust the imaging direction. And a second imaging optical system and a second imaging device, supported in a tiltable manner to adjust the imaging direction, and having a rectangular imaging range identical to that of the first imaging unit. An inclination amount changing means for changing an inclination amount of each of the first and second imaging units so that adjacent imaging ranges of the imaging unit and the first and second imaging units at least partially overlap each other; An image sensor rotation unit that rotates the first and second image sensors around the incident optical axis, and a synthesis unit that generates one composite image from the output images of the first and second image sensors. And each imaging range of the second imaging unit A first shooting mode in which shooting is performed in conformity, and the first and second image sensors are rotated by 90 ° from the state of the first shooting mode by the image sensor rotating means, and the first and second images are rotated by the tilt amount changing means. And a second imaging mode in which imaging is performed by changing the tilt amounts of the first and second imaging units so that the imaging ranges of the imaging units partially overlap.
本発明の撮影画像合成装置によれば、第2の撮影モードで、第1および第2の撮像素子を第1の撮影モードの状態から90°回転させて撮影した画像を合成することができるので、画像の縦横で多様な画角の合成画像を得ることができる。   According to the photographed image composition device of the present invention, in the second photographing mode, it is possible to compose an image photographed by rotating the first and second imaging elements by 90 ° from the state of the first photographing mode. Thus, it is possible to obtain composite images with various angles of view in the vertical and horizontal directions.
本発明の実施の形態に係る撮影画像合成装置の構成を模式的に示すブロック図である。It is a block diagram which shows typically the structure of the picked-up image synthesizing | combining apparatus which concerns on embodiment of this invention. 図2(a)は、撮像ユニットを第1の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図2(b)は、合成画像を説明する図である。FIG. 2A is a perspective view of the photographed image composition device when the imaging unit is set to the first photographing mode, and FIG. 2B is a diagram illustrating the composite image. 図3(a)は、撮像ユニットを第2の撮影モードに設定した場合の撮影画像合成装置の斜視図であり、図3(b)は、合成画像を説明する図である。FIG. 3A is a perspective view of the captured image composition device when the imaging unit is set to the second imaging mode, and FIG. 3B is a diagram illustrating the composite image. 図4(a)は、撮像ユニットを第1の撮影モードにしたときの望遠端の撮影範囲を示し、図4(b)は、広角端の撮影範囲を示す図である。FIG. 4A shows a shooting range at the telephoto end when the imaging unit is set to the first shooting mode, and FIG. 4B shows a shooting range at the wide-angle end. 第1の撮影モードで、撮影レンズが望遠端に位置するときの撮影範囲を示す図である。It is a figure which shows the imaging | photography range when a photographic lens is located in a telephoto end in 1st imaging | photography mode. 第1の撮影モードで、撮影レンズが広角端に位置するときの撮影範囲を示す図である。It is a figure which shows the imaging | photography range when a photographic lens is located in a wide angle end in 1st imaging | photography mode. 第1の撮影モードで、撮影レンズの焦点距離を広角端から望遠側へ変化させたときの撮影範囲を示す図である。It is a figure which shows the imaging | photography range when changing the focal distance of an imaging lens from a wide angle end to a telephoto side in 1st imaging | photography mode. 第1の撮影モードから第2の撮影モードへ移行したときの撮影範囲を示す図である。It is a figure which shows the imaging | photography range when transfering from 1st imaging | photography mode to 2nd imaging | photography mode.
以下、図面を参照しながら本発明の実施の形態による撮影画像合成装置を説明する。
図1において、第1の実施の形態による撮影画像合成装置100は、撮像ユニット1,2と、カメラ制御部10と、画像処理部11と、システムメモリ12と、外部メモリ13と、表示装置14と、操作部材15とを備える。また、撮影画像合成装置100は、駆動モータ21と、モータギア22と、回転ギア23と、回転ロッド24と、スライダ25とを備える。
Hereinafter, a photographed image composition apparatus according to an embodiment of the present invention will be described with reference to the drawings.
In FIG. 1, a captured image composition device 100 according to the first embodiment includes an imaging unit 1, 2, a camera control unit 10, an image processing unit 11, a system memory 12, an external memory 13, and a display device 14. And an operation member 15. The photographed image synthesizing device 100 includes a drive motor 21, a motor gear 22, a rotation gear 23, a rotation rod 24, and a slider 25.
撮像ユニット1は、撮影レンズ1a、撮像素子1b、AF・ズーム(Zoom)用モータ1cおよび撮像素子回転用モータ1dを有する。
撮影レンズ1aは、被写体像を撮像素子1bの撮像面上に結像させる。撮像素子1bは、CCDイメージセンサまたはCMOSイメージセンサなどによって構成され、被写体像を光電変換してアナログ画像信号を生成する。撮像素子1bの受光面は横長の長方形形状を呈している。
The imaging unit 1 includes a photographing lens 1a, an imaging element 1b, an AF / zoom motor 1c, and an imaging element rotation motor 1d.
The photographing lens 1a forms a subject image on the imaging surface of the image sensor 1b. The image sensor 1b is configured by a CCD image sensor, a CMOS image sensor, or the like, and generates an analog image signal by photoelectrically converting a subject image. The light receiving surface of the image sensor 1b has a horizontally long rectangular shape.
AF・ズーム用モータ1cは、AFモータとズームモータとを含む。AFモータは、焦点調節機構を機能させるために回転動作により撮影レンズ1aを構成するフォーカスレンズを光軸方向に進退移動させるための駆動源である。ズームモータは、ズーム機構を機能させるために回転動作により撮影レンズ1aを構成するズームレンズを光軸方向に進退移動させための駆動源である。AFモータおよびズームモータの回転制御は、カメラ制御部10によって行われる。なお、AFモータおよびズームモータの回転位置検出は、不図示のAF・ズーム用エンコーダによって行われ、検出信号はカメラ制御部10へ送出される。   The AF / zoom motor 1c includes an AF motor and a zoom motor. The AF motor is a drive source for moving the focus lens constituting the photographing lens 1a forward and backward in the optical axis direction by a rotation operation in order to make the focus adjustment mechanism function. The zoom motor is a drive source for moving the zoom lens constituting the photographing lens 1a forward and backward in the optical axis direction by a rotating operation in order to make the zoom mechanism function. The rotation control of the AF motor and the zoom motor is performed by the camera control unit 10. The rotational positions of the AF motor and the zoom motor are detected by an unillustrated AF / zoom encoder, and a detection signal is sent to the camera control unit 10.
撮像素子回転用モータ1dは、撮像素子1bを入射光軸廻りに回転させるための駆動源である。撮像素子1bの回転は、90°単位で行われる。撮像素子1bの長方形形状の長辺が撮像ユニット1と撮像ユニット2とが並ぶ方向に平行となっているときが撮像素子の基準位置である。   The imaging element rotating motor 1d is a drive source for rotating the imaging element 1b around the incident optical axis. The image sensor 1b is rotated in units of 90 °. The reference position of the imaging element is when the long side of the rectangular shape of the imaging element 1b is parallel to the direction in which the imaging unit 1 and the imaging unit 2 are arranged.
撮像ユニット2は、それぞれ撮影レンズ2a、撮像素子2b、AF・ズーム用モータ2cおよび撮像素子回転用モータ2dを有する。撮影レンズ2aは撮影レンズ1aと同一であり、撮像素子2bは撮像素子1bと同一であり、AF・ズーム用モータ2cはAF・ズーム用モータ1cと同一であり、撮像素子回転用モータ2dは撮像素子回転用モータ1dと同一である。このように、撮像ユニット1と2は互いに全く同一の構成であるので、以下、撮像ユニットに関する説明は、代表として撮像ユニット1について説明するにとどめる。   The imaging unit 2 includes a photographic lens 2a, an imaging element 2b, an AF / zoom motor 2c, and an imaging element rotation motor 2d. The photographic lens 2a is the same as the photographic lens 1a, the imaging device 2b is the same as the imaging device 1b, the AF / zoom motor 2c is the same as the AF / zoom motor 1c, and the imaging device rotation motor 2d is an imaging device. This is the same as the element rotating motor 1d. As described above, since the imaging units 1 and 2 have exactly the same configuration, only the imaging unit 1 will be described as a representative.
カメラ制御部10は、画像処理部11、システムメモリ12、外部メモリ13、表示装置14および操作部材15と接続され、システムメモリ12に記憶されたプログラムを実行することにより、撮影画像合成装置100の動作を制御する。カメラ制御部10は、接続されている各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。また、カメラ制御部10は、撮像素子1b,2b、AF・ズーム用モータ1c,2c、撮像素子回転用モータ1d,2dおよび駆動モータ21と接続され、各構成部品の動作を制御する。   The camera control unit 10 is connected to the image processing unit 11, the system memory 12, the external memory 13, the display device 14, and the operation member 15, and executes a program stored in the system memory 12, whereby the captured image composition device 100. Control the behavior. The camera control unit 10 receives a signal output from each connected block, performs a predetermined calculation, and outputs a control signal based on the calculation result to each block. The camera control unit 10 is connected to the image sensors 1b and 2b, the AF / zoom motors 1c and 2c, the image sensor rotation motors 1d and 2d, and the drive motor 21, and controls the operation of each component.
カメラ制御部10は、フォーカス調節処理も行う。カメラ制御部10は、撮像ユニット1,2で取得された2枚の画像の撮影範囲が重複している場合は、これら2つの画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいて、三角測量により被写体距離を算出する。算出した被写体距離に対応するレンズ位置へ撮像ユニット1,2のフォーカスレンズを進退移動させることにより、各撮像ユニット1,2においてピント合わせが行われる。
また、カメラ制御部10は、撮像ユニット1,2で取得された2枚の画像の撮影範囲がほとんど重複していない場合は、撮像素子1bまたは2bの撮像面上でのコントラスト検出方式により撮影レンズ1aまたは2aの合焦位置を算出する。
The camera control unit 10 also performs focus adjustment processing. When the imaging ranges of the two images acquired by the imaging units 1 and 2 overlap, the camera control unit 10 obtains a positional deviation amount between the images using these two image data, and The subject distance is calculated by triangulation based on the shift amount and the optical distance between the corresponding imaging units. Focusing is performed in each of the imaging units 1 and 2 by moving the focus lens of the imaging units 1 and 2 forward and backward to the lens position corresponding to the calculated subject distance.
In addition, when the imaging ranges of the two images acquired by the imaging units 1 and 2 do not substantially overlap, the camera control unit 10 uses the contrast detection method on the imaging surface of the imaging element 1b or 2b to take a photographic lens. The in-focus position 1a or 2a is calculated.
画像処理部11には、撮像ユニット1,2からのアナログ画像信号がそれぞれ入力される。画像処理部11は、各アナログ画像信号に対してゲイン調整などのアナログ処理を施し、アナログ処理後の画像信号をA/D変換してデジタル画像データにする。そして、デジタル画像データに対して所定の画像処理(色温度調整など)を施す。画像処理前後の画像データは、内蔵するバッファメモリ(不図示)に一時的に記憶される。画像処理部11はさらに、撮像ユニット1,2で取得された2つの出力画像データを合成して合成画像データを生成する。   Analog image signals from the imaging units 1 and 2 are input to the image processing unit 11, respectively. The image processing unit 11 performs analog processing such as gain adjustment on each analog image signal, and A / D converts the analog-processed image signal into digital image data. Then, predetermined image processing (such as color temperature adjustment) is performed on the digital image data. Image data before and after image processing is temporarily stored in a built-in buffer memory (not shown). The image processing unit 11 further combines the two output image data acquired by the imaging units 1 and 2 to generate combined image data.
外部メモリ13は、例えば、半導体メモリを内蔵したメモリカードで構成され、撮影画像合成装置100に対して着脱自在に構成される。カメラ制御部10は、装着された外部メモリ13に対する合成画像データの書き込みや、外部メモリ13からの画像データの読み込みを行う。これらの画像データが外部メモリ13から読み出されると、その画像データに基づく再生画像は、表示装置14に表示される。   The external memory 13 is composed of, for example, a memory card incorporating a semiconductor memory, and is configured to be detachable from the captured image composition device 100. The camera control unit 10 writes composite image data to the attached external memory 13 and reads image data from the external memory 13. When these image data are read from the external memory 13, a reproduced image based on the image data is displayed on the display device 14.
操作部材15は、図2に示すレリーズボタン15a、ズーム(画角設定)スイッチ15b、モード切換えスイッチ15cなどの各種スイッチを含み、それぞれの操作に対応する操作信号をカメラ制御部10へ送出する。ズームスイッチ15bは、ズームアップ釦15b1とズームダウン釦15b2とを有し、出力画像の撮影画角を設定する。なお、モード切換えスイッチ15cは、後に詳述する第1の撮影モードと第2の撮影モードとを切り換えるスイッチである。   The operation member 15 includes various switches such as a release button 15a, a zoom (viewing angle setting) switch 15b, and a mode switching switch 15c shown in FIG. 2, and sends operation signals corresponding to the respective operations to the camera control unit 10. The zoom switch 15b has a zoom-up button 15b1 and a zoom-down button 15b2, and sets the shooting field angle of the output image. The mode switch 15c is a switch for switching between a first shooting mode and a second shooting mode, which will be described in detail later.
駆動モータ21は、撮像ユニット1,2を傾斜させ、撮像ユニット1、2の撮影方向(撮影レンズ1a,2aの光軸方向)を変更するための駆動力を発生する駆動源である。図1では、撮像ユニット1,2の傾斜量は零であり、このとき撮像ユニット1,2は基準方向を向いており、両者の光軸は平行である。   The drive motor 21 is a drive source that generates a driving force for tilting the imaging units 1 and 2 and changing the shooting direction of the imaging units 1 and 2 (the optical axis direction of the shooting lenses 1a and 2a). In FIG. 1, the tilt amounts of the imaging units 1 and 2 are zero, and at this time, the imaging units 1 and 2 are facing the reference direction, and the optical axes of both are parallel.
撮像ユニット1および2は同一構成で同様に駆動されるので、撮像ユニット1の傾斜機構についてのみ説明する。
図1に示されるように、駆動モータ21のモータギア22と回転ギア23とが噛合しており、回転ギア23と回転ロッド24とは一体に固設されており、回転ロッド24のねじ部24aとスライダ25とは螺合している。スライダ25にはピン25aが突設されており、ピン25aが撮像ユニット1の長穴1eに係合している。
Since the imaging units 1 and 2 are similarly driven with the same configuration, only the tilting mechanism of the imaging unit 1 will be described.
As shown in FIG. 1, the motor gear 22 and the rotation gear 23 of the drive motor 21 are engaged with each other, and the rotation gear 23 and the rotation rod 24 are integrally fixed, and the screw portion 24 a of the rotation rod 24 The slider 25 is screwed. A pin 25 a protrudes from the slider 25, and the pin 25 a is engaged with the elongated hole 1 e of the imaging unit 1.
駆動モータ21による駆動力は、モータギア22、回転ギア23を介して回転ロッド24へ伝達される。回転ロッド24が軸周りに回転すると、その回転方向に応じてねじ部24aに螺合するスライダ25がx方向(図中で左右方向)に移動する。   The driving force by the driving motor 21 is transmitted to the rotating rod 24 via the motor gear 22 and the rotating gear 23. When the rotating rod 24 rotates around the axis, the slider 25 screwed into the threaded portion 24a moves in the x direction (left and right direction in the figure) according to the rotating direction.
スライダ25が+x方向(図中、右方向)に移動すると、ピン25aと長穴1eとの係合により、撮像ユニット1は、不図示の回転軸廻りに回転し、+y方向(図中、反時計廻り方向)に傾斜する。撮像ユニット1の傾斜量は、例えば、回転ギア23の回転量(回転角度)に比例するので、回転ギア23の回転量を検出することにより撮像ユニット1の傾斜量を算出することができる。撮像ユニット2も撮像ユニット1に同期して同量だけ傾斜する。但し、撮像ユニット1と2は左右対称の動きをする。
なお、図1では、スライダ25が+x方向に移動した時に、撮像ユニット1は+y方向に傾斜したが、スライダ25を−x方向(図中、左方向)に移動させれば、撮像ユニット1は−y方向(図中、時計廻り方向)に傾斜する。
When the slider 25 moves in the + x direction (right direction in the figure), the imaging unit 1 rotates around a rotation shaft (not shown) by the engagement of the pin 25a and the elongated hole 1e, and the + y direction (in the figure, opposite direction). Tilt clockwise. Since the amount of tilt of the imaging unit 1 is proportional to the amount of rotation (rotation angle) of the rotating gear 23, for example, the amount of tilt of the imaging unit 1 can be calculated by detecting the amount of rotation of the rotating gear 23. The imaging unit 2 is also inclined by the same amount in synchronization with the imaging unit 1. However, the imaging units 1 and 2 move symmetrically.
In FIG. 1, when the slider 25 moves in the + x direction, the imaging unit 1 is tilted in the + y direction. However, if the slider 25 is moved in the −x direction (left direction in the figure), the imaging unit 1 is -Inclined in the y direction (clockwise direction in the figure).
<固定焦点で使用した場合>
先ず、撮影レンズ1a,2aがズーム機構を使用せず、所定の焦点距離に固定された状態での撮像動作を説明する。
図2は、撮像ユニット1の撮影範囲と撮像ユニット2の撮影範囲とを合致させて撮影を行う第1の撮影モードを示したもので、この第1の撮影モードでは、撮像素子1bおよび2bの各出力画像から1つのステレオ合成画像を生成することができる。
<When used with a fixed focus>
First, an imaging operation in a state where the photographing lenses 1a and 2a are fixed to a predetermined focal length without using a zoom mechanism will be described.
FIG. 2 shows a first shooting mode in which shooting is performed with the shooting range of the imaging unit 1 and the shooting range of the imaging unit 2 matched. In this first shooting mode, the imaging elements 1b and 2b are arranged. One stereo composite image can be generated from each output image.
モード切換えスイッチ15cの操作により第1の撮影モードが選択されると、カメラ制御部10は、駆動モータ21を駆動制御して撮像ユニット1,2の撮影方向、すなわち、撮像ユニット1,2の撮影レンズ1a,2aの光軸をそれぞれ基準方向から内側(図1の−y方向)を向くように傾斜量を制御する。
具体的には、カメラ制御部10は、無限遠の被写体に対しては、撮影レンズ1a,2aの光軸が互いに平行になるように撮像ユニット1,2を基準方向に向け、有限距離の被写体に対しては、その被写体距離に応じた所定の傾斜量だけ撮像ユニット1,2を傾斜させる。
When the first shooting mode is selected by operating the mode changeover switch 15c, the camera control unit 10 drives and controls the drive motor 21, so that the shooting direction of the imaging units 1 and 2, that is, the shooting of the imaging units 1 and 2 is performed. The amount of tilt is controlled so that the optical axes of the lenses 1a and 2a face the inner side (the -y direction in FIG. 1) from the reference direction, respectively.
Specifically, the camera control unit 10 directs the imaging units 1 and 2 in the reference direction so that the optical axes of the photographing lenses 1a and 2a are parallel to each other for an object at infinity, and the object at a finite distance. In contrast, the imaging units 1 and 2 are tilted by a predetermined tilt amount corresponding to the subject distance.
撮影範囲1S,2Sは、それぞれ撮像ユニット1,2による横長の長方形状の撮影領域を示し、図2(a)に示されるように、第1撮影モードでは撮影範囲1Sと2Sとが合致している。
第1の撮影モードにおいて、レリーズボタン15aが操作されると、撮像ユニット1,2が所定の視差をもって同一の被写体を撮像する。画像処理部11は、撮像ユニット1,2の出力画像を立体視可能なステレオ画像に合成し、この合成画像は外部メモリ13に記録される。なお、レリーズボタン15aの操作前には、上記の合成画像データ又は撮像ユニット1又は2の出力画像データに基づき、被写体像のスルー画像が表示装置14に表示されている。
The shooting ranges 1S and 2S indicate horizontally long rectangular shooting areas by the imaging units 1 and 2, respectively. As shown in FIG. 2A, the shooting ranges 1S and 2S match in the first shooting mode. Yes.
In the first shooting mode, when the release button 15a is operated, the imaging units 1 and 2 capture the same subject with a predetermined parallax. The image processing unit 11 combines the output images of the imaging units 1 and 2 into a stereoscopically viewable stereo image, and this combined image is recorded in the external memory 13. Before the release button 15a is operated, a through image of the subject image is displayed on the display device 14 based on the composite image data or the output image data of the imaging unit 1 or 2.
図2(b)は、撮像ユニット1,2の合致した撮影範囲1S,2Sと、ステレオ合成画像に対応する撮影範囲3Sとの関係を示したもので、これらの撮影範囲1S,2S,3Sは互いに同一である。なお、この第1の撮影モードにおける撮影範囲1S,2Sは、それぞれ撮影レンズ1a,2aの焦点距離と撮像素子1b,2bのサイズとによって実質的に決定され、換言すると、撮像ユニット1,2の画角によって決定される。従って、合成画像の撮影範囲3Sも撮像ユニット1,2の画角によって決定される。   FIG. 2B shows the relationship between the matching shooting ranges 1S and 2S of the imaging units 1 and 2 and the shooting range 3S corresponding to the stereo composite image. The shooting ranges 1S, 2S and 3S are as follows. Are identical to each other. Note that the photographing ranges 1S and 2S in the first photographing mode are substantially determined by the focal lengths of the photographing lenses 1a and 2a and the sizes of the image pickup devices 1b and 2b, in other words, It is determined by the angle of view. Therefore, the shooting range 3S of the composite image is also determined by the angle of view of the imaging units 1 and 2.
図3は、撮像素子1bと撮像素子2bとを第1の撮影モードの位置(基準位置)から90°回転させると共に、撮像ユニット1の撮影範囲と撮像ユニット2の撮影範囲とが一部僅かに重複するように撮像ユニット1,2の傾斜量を変更して撮影を行う第2の撮影モードを説明する図である。この第2の撮影モードでは、撮像素子1bと撮像素子2bとの出力画像から1つの合成画像を生成することができる。   FIG. 3 shows that the image pickup device 1b and the image pickup device 2b are rotated by 90 ° from the position (reference position) of the first shooting mode, and the shooting range of the imaging unit 1 and the shooting range of the imaging unit 2 are partly slightly. It is a figure explaining the 2nd imaging | photography mode which changes the inclination amount of the imaging units 1 and 2 so that it may overlap, and image | photographs. In the second imaging mode, one composite image can be generated from the output images of the image sensor 1b and the image sensor 2b.
モード切換えスイッチ15cの操作により第2の撮影モードが選択されると、カメラ制御部10は、撮像素子回転用モータ1d,2dを駆動制御して撮像素子1bと撮像素子2bとを第1の撮影モードの状態から90°回転させると同時に、駆動モータ21を駆動制御して撮像ユニット1,2の撮影方向、すなわち、撮影レンズ1a,2aの光軸がそれぞれ基準方向に対して外側(図1の+y方向)を向くように傾斜量を制御する。
これにより、図3(a)に示したように、撮像ユニット1,2の撮影範囲11S,12Sはそれぞれ、横長の長方形状から縦長の長方形状に変化し、この縦長の撮影範囲11S,12Sは、それぞれの隣接する長辺において僅かな重複領域1Tを有する。
When the second shooting mode is selected by operating the mode switch 15c, the camera control unit 10 drives and controls the imaging element rotating motors 1d and 2d to control the imaging element 1b and the imaging element 2b to the first imaging mode. At the same time as rotating 90 degrees from the mode state, the drive motor 21 is driven and controlled so that the shooting directions of the imaging units 1 and 2, that is, the optical axes of the shooting lenses 1a and 2a are respectively outside the reference direction (see FIG. 1). The amount of inclination is controlled so as to face (+ y direction).
As a result, as shown in FIG. 3A, the shooting ranges 11S and 12S of the imaging units 1 and 2 are changed from a horizontally long rectangular shape to a vertically long rectangular shape, respectively. , Each of the adjacent long sides has a slight overlap region 1T.
第2の撮影モードにおいて、レリーズボタン15aが操作されると、撮像ユニット1,2がそれぞれ撮影範囲11S,12Sの被写体像を撮像する。画像処理部11は、撮像ユニット1,2の出力画像を合成し、この合成画像は外部メモリ13に記録される。なお、レリーズボタン15aの操作前には、上記の合成画像データに基づき、被写体像のスルー画像が表示装置14に表示されている。   When the release button 15a is operated in the second shooting mode, the imaging units 1 and 2 capture subject images in the shooting ranges 11S and 12S, respectively. The image processing unit 11 combines the output images of the imaging units 1 and 2, and the combined image is recorded in the external memory 13. Note that a through image of the subject image is displayed on the display device 14 based on the composite image data before the release button 15a is operated.
図3(b)は、撮像ユニット1,2の重複領域1Tで重複している撮影範囲11S、12Sと、合成画像の撮影範囲13Sとの関係を示したもので、合成画像の撮影範囲13Sの横方向の長さは、撮像ユニット1,2の撮影範囲11S,12Sの各々の縦方向長さ(短辺)のほぼ2倍になっている。換言すれば、この第2の撮影モードにおける合成画像の撮影範囲13Sの画角は、撮像ユニット1,2の各々の撮影範囲の画角のほぼ1.4倍になっている。
画角13Sの合成画像は、2個の撮像素子1bと2bからの出力画像を用いるため、画素数がほぼ2倍となり、高画質化を図ることができる。
FIG. 3B shows the relationship between the imaging ranges 11S and 12S that overlap in the overlapping region 1T of the imaging units 1 and 2 and the composite image shooting range 13S. The length in the horizontal direction is almost twice the vertical length (short side) of each of the imaging ranges 11S and 12S of the imaging units 1 and 2. In other words, the angle of view of the composite image shooting range 13S in the second shooting mode is approximately 1.4 times the angle of view of the shooting range of each of the imaging units 1 and 2.
Since the composite image of the angle of view 13S uses the output images from the two image sensors 1b and 2b, the number of pixels is almost doubled, and high image quality can be achieved.
以上説明した実施形態による撮影画像合成装置100によれば、以下の作用効果が得られる。
(1)第1の撮影モードを選択すると、撮像ユニット1と2の視差を利用した立体視可能な合成画像が得られ、第2の撮影モードを選択すると、撮像ユニット1または2の単独の出力画像よりも画像の上下左右共に広い画角で且つ高精細の合成画像を得ることができる。
According to the photographed image synthesizing apparatus 100 according to the embodiment described above, the following operational effects can be obtained.
(1) When the first shooting mode is selected, a stereoscopically viewable composite image using the parallax between the imaging units 1 and 2 is obtained. When the second shooting mode is selected, the single output of the imaging unit 1 or 2 It is possible to obtain a high-definition composite image with a wider angle of view than the image in both the upper, lower, left, and right directions.
<可変焦点で使用した場合>
次に、撮影レンズ1a,2aの焦点距離をズーム機構により変更調整する場合の撮像動作を説明する。
本実施の形態の撮影画像合成装置にあっては、その撮影範囲、即ち画角は、第1及び第2の撮影モードともに、撮影レンズ1a,2aの焦点距離の変更調節によって変化すると共に、第2の撮影モードにおいては合成画像の作成によっても変化する。以下にこれを詳述する。
<When using with variable focus>
Next, an imaging operation when the focal length of the taking lenses 1a and 2a is changed and adjusted by the zoom mechanism will be described.
In the photographed image composition device of the present embodiment, the photographing range, that is, the angle of view changes in both the first and second photographing modes by changing and adjusting the focal length of the photographing lenses 1a and 2a. In the second shooting mode, it varies depending on the creation of the composite image. This will be described in detail below.
第1の撮影モードにおいて、ズームスイッチ15bのズームアップ釦15b1又はズームダウン釦15b2を操作すると、AF・ズーム用モータ1c、2cのズームモータがズーム機構を駆動して、撮影レンズ1a,2aの焦点距離を望遠端(最長焦点距離)と広角端(最短焦点距離)との間で変化させることができる。これによって、各撮像ユニット1,2の撮影範囲は、図4(a)の望遠端の最小撮影範囲101、102と図4(b)の広角端の最大撮影範囲201,202との間で変化する。なお、図4(a)、(b)では、撮像ユニット1,2の撮影範囲101,102、201,202は、その大きさがその時の撮影レンズ1a,2aの画角を表すように描かれている。撮影者は、表示装置14に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。   In the first shooting mode, when the zoom up button 15b1 or the zoom down button 15b2 of the zoom switch 15b is operated, the zoom motors of the AF / zoom motors 1c and 2c drive the zoom mechanism, and the focus of the shooting lenses 1a and 2a. The distance can be changed between the telephoto end (longest focal length) and the wide-angle end (shortest focal length). As a result, the shooting range of each of the imaging units 1 and 2 changes between the minimum shooting range 101 and 102 at the telephoto end in FIG. 4A and the maximum shooting range 201 and 202 at the wide-angle end in FIG. 4B. To do. 4A and 4B, the shooting ranges 101, 102, 201, and 202 of the imaging units 1 and 2 are drawn so that the size represents the angle of view of the shooting lenses 1a and 2a at that time. ing. The photographer can view the through image displayed on the display device 14 and visually recognize the change in the size of the subject in the image, that is, the change in the angle of view.
他方、撮影モード切換スイッチ15cの操作によって第2の撮影モードに切り換えると、図3に示したように、撮像ユニット1,2の撮影範囲11S,12Sが一部重複した状態で、撮影範囲11S,12Sに対応する合成画像の画角は拡大される。
この状態で、ズームスイッチ15bを操作して撮影レンズ1a,2aの焦点距離を変更調節すると、それに応じて撮影範囲11S,12Sが縮小又は拡大する、即ち、画角が増減する。この焦点距離の調節と同時に、カメラ制御部10は、駆動モータ21を駆動して撮像ユニット1,2の傾斜量を調節して撮影範囲11S,12Sの重複量1Tを調節する。撮影者は、表示装置14に表示されるスルー画像を見て、画像中の被写体の大きさの変化、即ち画角の変化を視認することができる。
On the other hand, when the shooting mode changeover switch 15c is operated to switch to the second shooting mode, as shown in FIG. 3, the shooting ranges 11S, 12S of the imaging units 1, 2 are partially overlapped with each other. The angle of view of the composite image corresponding to 12S is enlarged.
In this state, when the zoom switch 15b is operated to change and adjust the focal lengths of the photographing lenses 1a and 2a, the photographing ranges 11S and 12S are reduced or enlarged accordingly, that is, the angle of view is increased or decreased. Simultaneously with the adjustment of the focal length, the camera control unit 10 drives the drive motor 21 to adjust the inclination amount of the imaging units 1 and 2 to adjust the overlap amount 1T of the imaging ranges 11S and 12S. The photographer can view the through image displayed on the display device 14 and visually recognize the change in the size of the subject in the image, that is, the change in the angle of view.
このように、第2の撮影モードにあっては、画角は、第2の撮影モードに切り換った時にパノラマ合成画像の画角に変化すると共に、その後の撮影レンズ1a,2aの焦点距離調節に伴って変化する。この第2の撮影モードの場合も、撮影者は、表示装置14に表示されるスルー画像を見て、被写体の大きさの変化、即ち画角の変化を視認することができる。   Thus, in the second shooting mode, the angle of view changes to the angle of view of the panorama composite image when the mode is switched to the second shooting mode, and the focal length of the subsequent shooting lenses 1a and 2a. It changes with adjustment. Even in the second shooting mode, the photographer can view the through image displayed on the display device 14 and visually recognize the change in the size of the subject, that is, the change in the angle of view.
以上説明したように、第1の撮影モードでは、画角は、撮影レンズ1a,2aの焦点距離の調節に伴って変化し、第2の撮影モードでは、画角は、第2の撮影モードへの切換え、即ち、撮像素子1b,2bの90°回転に伴って変化すると共に、撮影レンズ1a,2aの焦点距離の調節に伴って変化する。そして、第1の撮影モード時の画角の変化範囲、即ち調節範囲と第2の撮影モード時の画角の変化範囲、即ち調節範囲とは、一部オーバーラップしている。
そこで、この画角のオーバーラップを利用して、第1の撮影モードの画角調節範囲と第2の撮影モードの画角調節範囲とを滑らかに接続して第1の撮影モードの最小画角から第2の撮影モードの最大画角まで連続的に画角を変化させることができる。
As described above, in the first shooting mode, the angle of view changes with the adjustment of the focal length of the shooting lenses 1a and 2a, and in the second shooting mode, the angle of view changes to the second shooting mode. Switching, that is, as the image pickup devices 1b and 2b rotate by 90 °, and change as the focal lengths of the photographing lenses 1a and 2a are adjusted. The change range of the angle of view in the first shooting mode, that is, the adjustment range, and the change range of the angle of view in the second shooting mode, that is, the adjustment range partially overlap.
Therefore, by using the overlap of the angle of view, the angle of view adjustment range of the first shooting mode and the angle of view adjustment range of the second shooting mode are smoothly connected, and the minimum angle of view of the first shooting mode is obtained. The field angle can be continuously changed from the maximum field angle to the second field mode.
以下にこの連続画角調節の動作を説明する。
撮像素子1b,2bは、その長辺と短辺とのアスペクト比が√2:1のものが使用される。第1の撮影モードにおいて、撮影レンズ1a,2aが最長焦点距離端、即ち望遠端に位置している状態で、ズームスイッチ15bのズームダウンボタン15b2を操作し続けると、撮影レンズ1a,2aは焦点距離が連続的に小さくなり、従って画角は逆に連続的に大きく変化し、ついに最短焦点距離端、即ち広角端に達する。
Hereinafter, the operation for adjusting the continuous angle of view will be described.
As the image pickup devices 1b and 2b, those having an aspect ratio of √2: 1 between the long side and the short side are used. In the first photographing mode, when the photographing lenses 1a and 2a are located at the longest focal length end, that is, the telephoto end, if the zoom down button 15b2 of the zoom switch 15b is continuously operated, the photographing lenses 1a and 2a are in focus. The distance decreases continuously, and therefore the angle of view changes continuously and continuously, and finally reaches the shortest focal length end, that is, the wide-angle end.
図5は、撮影レンズ1a,2aが望遠端に位置するときの撮影範囲301,302を示したもので、この撮影範囲は、長辺が√2×a、短辺がaである。
図6は、撮影レンズ1a,2aが広角端に位置するときの撮影範囲401,402を示したもので、この撮影範囲は、長辺が√2×b、短辺がbである。
FIG. 5 shows imaging ranges 301 and 302 when the imaging lenses 1a and 2a are positioned at the telephoto end. The imaging range has a long side of √2 × a and a short side of a.
FIG. 6 shows photographing ranges 401 and 402 when the photographing lenses 1a and 2a are located at the wide-angle end. The photographing range has a long side of √2 × b and a short side of b.
更に、引き続きズームダウンボタン15b2を操作し続けていると、図示無きセンサーが撮影レンズ1a,2aの広角端への到達を検出し、カメラ制御部10は、このセンサーの検出信号に応じて、AF・ズーム用モータ1c,2cのズームモータを所定量逆回転させて撮影レンズ1a,2aをその最短焦点距離端から所定量だけ長い所定の焦点距離まで戻すと同時に、撮像素子回転用モータ1d,2dを起動して撮像素子1b,2bを90°回転させ、且つ駆動モータ21を起動して撮像ユニット1,2をそれぞれ+y方向に所定量傾斜させる。   Furthermore, if the zoom down button 15b2 is continuously operated, a sensor (not shown) detects that the photographing lenses 1a and 2a have reached the wide angle end, and the camera control unit 10 performs AF according to the detection signal of this sensor. The zoom motors 1c and 2c are reversely rotated by a predetermined amount to return the photographing lenses 1a and 2a to a predetermined focal length that is longer by a predetermined amount from the shortest focal length end, and at the same time, the imaging element rotating motors 1d and 2d Is activated to rotate the imaging devices 1b and 2b by 90 °, and the drive motor 21 is activated to tilt the imaging units 1 and 2 in the + y direction by a predetermined amount.
図7は、撮影レンズ1a,2aが上記の所定の焦点距離に戻された時の第1の撮影モードにおける撮影範囲501,502を示したものである。この撮影範囲は長辺がb、短辺がb/√2である。   FIG. 7 shows the photographing ranges 501 and 502 in the first photographing mode when the photographing lenses 1a and 2a are returned to the predetermined focal length. In this photographing range, the long side is b and the short side is b / √2.
図8は、撮影レンズ1a,2aが上記の所定の焦点距離に調節された状態での第2の撮影モードにおける撮影範囲501,50を示したものである。これらの合成の撮影範囲501,502は、長辺が√2×b、短辺がbとなり、図6に示した第1の撮影モードにおける撮影レンズ1a,2aが広角端に位置している時の撮影範囲401,402とほぼ同一である。したがって、第1の撮影モードの合成画像と第2の撮影モードの合成画像では、それぞれの画角の縦横とも同じ比率になるので、2つの合成画像が見やすくなる。   FIG. 8 shows the photographing ranges 501 and 50 in the second photographing mode in a state where the photographing lenses 1a and 2a are adjusted to the predetermined focal length. These combined photographing ranges 501 and 502 have a long side of √2 × b and a short side of b, and when the photographing lenses 1a and 2a in the first photographing mode shown in FIG. 6 are positioned at the wide angle end. Are substantially the same as the shooting ranges 401 and 402. Therefore, since the composite image in the first shooting mode and the composite image in the second shooting mode have the same ratio in both the vertical and horizontal directions, the two composite images are easy to see.
その後に、更にズームダウンボタン15b2を操作し続けると、撮影レンズ1a,2aの焦点距離が短くなり、それに応じて撮像ユニット1,2の傾斜量が変化して、図8の撮影範囲の一部重複を維持しながら合成の撮影範囲が徐々に大きくなり、ついに撮影レンズ1a,2aが最短焦点距離端、即ち広角端に達する。
上述のように、第1の撮影モードから第2の撮影モードに切り替わる時に、図6に示した第1の撮影モードの撮影範囲401,402と図8に示した第2の撮影モードの合成の撮影範囲501,502とがほぼ同一になるので、表示装置14に表示されるスルー画像の被写体画像がスムーズに切り換る。
Thereafter, if the zoom down button 15b2 is further operated, the focal lengths of the photographing lenses 1a and 2a are shortened, and the inclination amounts of the imaging units 1 and 2 are changed accordingly, and a part of the photographing range of FIG. The composite photographing range gradually increases while maintaining the overlap, and finally the photographing lenses 1a and 2a reach the shortest focal length end, that is, the wide-angle end.
As described above, when the first shooting mode is switched to the second shooting mode, the shooting ranges 401 and 402 of the first shooting mode shown in FIG. 6 and the second shooting mode shown in FIG. 8 are combined. Since the shooting ranges 501 and 502 are substantially the same, the subject image of the through image displayed on the display device 14 is switched smoothly.
なお、第2の撮影モードにおいてズームアップボタン15b1を操作し続けた場合には、上述と逆の経路を辿り、撮影レンズ1a,2aの焦点距離が連続的に長くなり、途中で自動的に第1の撮影モードに切り替わり、再び撮影レンズ1a,2aの焦点距離が連続的に長くなり、ついに最長焦点距離端に達する。この時も第2の撮影モードから第1の撮影モードに切り換わる際の第2の撮影モード時の撮影範囲と第1の撮影モード時の撮影範囲とがほぼ同一であるので、スルー画像はスムーズに切り換る。   If the zoom-up button 15b1 is continuously operated in the second shooting mode, the path opposite to that described above is followed, and the focal lengths of the shooting lenses 1a and 2a are continuously increased. 1 is switched to the photographing mode 1, and the focal lengths of the photographing lenses 1a and 2a are continuously increased, and finally reach the longest focal length end. Also at this time, since the shooting range in the second shooting mode and the shooting range in the first shooting mode when switching from the second shooting mode to the first shooting mode are substantially the same, the through image is smooth. Switch to.
以上のように、第1の撮影モードにおいてズームダウンボタン15b2を操作し続けると、自動的に、即ち、撮影モード切換スイッチ15cを操作すること無しに、第1の撮影モードから第2の撮影モードに移行する。
逆に、第2の撮影モードにおいて、ズームアップボタン15b1を操作し続けると、自動的に、即ち、撮影モード切換スイッチ15cを操作すること無しに、第2の撮影モードから第1の撮影モードに移行する。
こうして、撮影画像合成装置100は、第1の撮影モードと第2の撮影モードとを組み合わせることによって、各撮影レンズ1a,2aの焦点距離の調節範囲、即ち画角の調節範囲よりももっと大きな画角の調節範囲を得ることができる。
As described above, when the zoom down button 15b2 is continuously operated in the first shooting mode, the second shooting mode is automatically changed from the first shooting mode automatically, that is, without operating the shooting mode switch 15c. Migrate to
Conversely, if the zoom-up button 15b1 is continuously operated in the second shooting mode, the second shooting mode is switched to the first shooting mode automatically, that is, without operating the shooting mode changeover switch 15c. Transition.
In this way, the photographed image synthesizing device 100 combines the first photographing mode and the second photographing mode, thereby enabling an image larger than the adjustment range of the focal length of each photographing lens 1a, 2a, that is, the adjustment range of the angle of view. Angle adjustment range can be obtained.
上記の実施の形態では、カメラ制御部10が撮像ユニット1,2の焦点調節を行う。第1の撮影モードのように撮像ユニット1,2の撮影範囲が合致、即ち大部分が重複している場合は、これら2つのスルー画像データを用いて各画像間の位置ズレ量を求め、該位置ズレ量と、対応する撮像ユニット間の光学距離とに基づいてAFを行う。また、第2の撮影モードのように撮像ユニット1,2で取得された2枚の画像の撮影範囲がほとんど重複していない場合は、カメラ制御部10は、撮像素子1bまたは2bの撮像面上でのスルー画像データを用いてコントラスト検出方式によりAFを行う。   In the above embodiment, the camera control unit 10 adjusts the focus of the imaging units 1 and 2. When the imaging ranges of the imaging units 1 and 2 match, i.e., most of them overlap as in the first imaging mode, the positional deviation amount between each image is obtained using these two through image data, AF is performed based on the amount of positional deviation and the optical distance between the corresponding imaging units. In addition, when the imaging ranges of the two images acquired by the imaging units 1 and 2 do not substantially overlap as in the second imaging mode, the camera control unit 10 displays on the imaging surface of the imaging element 1b or 2b. AF is performed by the contrast detection method using the through image data at.
第1の撮影モードと第2の撮影モードとの切換えの時には、撮像素子1b,2bの回転動作や撮像ユニット1,2の傾斜動作が行われるので、表示装置14に表示されるスルー画像が大きく乱れる恐れがある。そこで、このスルー画像の乱れを防止する為に、第1の撮影モードと第2の撮影モードとの切換時に切換え直前のスルー画像を一時的にバッファメモリなどに記憶させて、撮像素子1b,2bの回転動作や撮像ユニット1,2の傾斜動作の間は、その記憶したスルー画像を表示装置14に表示し、第1又は第2の撮影モードへの切換えが完了した後に、切換え後の撮影モードでのスルー画像を表示装置14に表示する。これにより、僅かなタイムラグはあるものの、画角の異なる画像の表示切換えがスムーズとなる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。
At the time of switching between the first shooting mode and the second shooting mode, the rotation of the imaging elements 1b and 2b and the tilting operation of the imaging units 1 and 2 are performed, so that the through image displayed on the display device 14 is large. There is a risk of disturbance. Therefore, in order to prevent this through image from being disturbed, the through image immediately before switching is temporarily stored in a buffer memory or the like when switching between the first shooting mode and the second shooting mode, and the imaging devices 1b and 2b. The stored through image is displayed on the display device 14 during the rotation operation of the image pickup unit 1 and the image pickup unit 1 and the inclination operation of the image pickup unit 1 and 2, and after the switching to the first or second shooting mode is completed, the shooting mode after switching is completed. The through image is displayed on the display device 14. Thereby, although there is a slight time lag, display switching of images with different angles of view becomes smooth.
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.
1,2:撮像ユニット 1a,2a:撮影レンズ
1b,2b:撮像素子 1c,2c:AF・ズーム用モータ
1d,2d:撮像素子回転用モータ 10:カメラ制御部
11:画像処理部 15:操作部材
15c:モード切換えスイッチ 21:駆動モータ
100:撮影画像合成装置
DESCRIPTION OF SYMBOLS 1, 2: Imaging unit 1a, 2a: Shooting lens 1b, 2b: Imaging element 1c, 2c: AF / zoom motor 1d, 2d: Imaging element rotation motor 10: Camera control part 11: Image processing part 15: Operation member 15c: Mode change switch 21: Drive motor 100: Captured image composition device

Claims (6)

  1. 第1の撮影光学系と第1の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持された第1の撮像ユニットと、
    第2の撮影光学系と第2の撮像素子とを有し、撮影方向を調節するために傾斜可能に支持され、前記第1の撮像ユニットと同一の長方形状の撮影範囲を有する第2の撮像ユニットと、
    前記第1および第2の撮像ユニットの隣接する撮影範囲が互いに少なくとも一部重複するように、前記第1および第2の撮像ユニットの各々の傾斜量を変更する傾斜量変更手段と、
    前記第1および第2の撮像素子を入射光軸廻りに回転させる撮像素子回転手段と、
    前記第1および第2の撮像素子の各出力画像から1つの合成画像を生成する合成手段と、を備え、
    前記第1および第2の撮像ユニットの各々の撮影範囲を合致させて撮影を行う第1の撮影モードと、
    前記撮像素子回転手段により前記第1および第2の撮像素子を前記第1の撮影モードの状態から90°回転させ、前記傾斜量変更手段により前記第1および第2の撮像ユニットの撮影範囲が一部重複するように前記第1および第2の撮像ユニットの傾斜量を変更して撮影を行う第2の撮影モードと、を有することを特徴とする撮影画像合成装置。
    A first imaging unit having a first imaging optical system and a first imaging element and supported to be tiltable to adjust the imaging direction;
    A second image pickup having a second image pickup optical system and a second image pickup device, supported in a tiltable manner to adjust the image pickup direction, and having the same rectangular image pickup range as that of the first image pickup unit. Unit,
    An inclination amount changing means for changing an inclination amount of each of the first and second imaging units so that adjacent imaging ranges of the first and second imaging units at least partially overlap each other;
    Imaging element rotating means for rotating the first and second imaging elements around an incident optical axis;
    Combining means for generating one composite image from each output image of the first and second imaging elements,
    A first shooting mode for performing shooting by matching the shooting ranges of the first and second imaging units;
    The first and second imaging elements are rotated by 90 ° from the state of the first imaging mode by the imaging element rotating means, and the imaging range of the first and second imaging units is set to one by the inclination amount changing means. And a second shooting mode for shooting by changing the tilt amounts of the first and second imaging units so as to overlap each other.
  2. 請求項1に記載の撮影画像合成装置において、
    前記第1の撮影モードの合成画像および前記第2の撮影モードの合成画像とが相似となるように、前記第1および第2の撮像ユニットの各々の撮影範囲の縦横比を設定することを特徴とする撮影画像合成装置。
    The photographed image synthesizing device according to claim 1,
    The aspect ratio of the shooting range of each of the first and second imaging units is set so that the synthesized image in the first shooting mode and the synthesized image in the second shooting mode are similar to each other. A photographed image composition device.
  3. 請求項1または2に記載の撮影画像合成装置において、
    外部操作によって前記合成画像の撮影画角を設定する画角設定手段と、
    前記画角設定手段の操作に応じて前記撮影画角を制御する画角制御手段と、を更に備え、
    前記第1及び第2の撮影光学系の各々は、第1の画角とこれよりも大きな第2の画角との間で画角を調整可能なズーム光学系であり、
    前記画角設定手段が前記撮影画角を前記第1の画角と前記第2の画角との間の所定の画角に設定した場合には、前記画角制御手段は、前記第1の撮影モードにおいて前記第1及び第2の撮影光学系の各々を前記所定の画角に調整し、
    前記画角設定手段が前記撮影画角を前記第2の画角よりも大きな第3の画角に設定した場合には、前記画角制御手段は、前記第2の撮影モードにおいて前記第1及び第2の撮像ユニットの撮影範囲を一部重複させることによって前記第3の画角を得ることを特徴とする撮影画像合成装置。
    In the photographic image composition device according to claim 1 or 2,
    An angle-of-view setting means for setting a shooting angle of view of the composite image by an external operation;
    An angle of view control means for controlling the shooting angle of view in accordance with an operation of the angle of view setting means,
    Each of the first and second photographing optical systems is a zoom optical system capable of adjusting a field angle between a first field angle and a second field angle larger than the first field angle,
    When the angle of view setting means sets the shooting angle of view to a predetermined angle of view between the first angle of view and the second angle of view, the angle of view control means Adjusting each of the first and second photographing optical systems to the predetermined angle of view in the photographing mode;
    When the angle-of-view setting means sets the shooting angle of view to a third angle of view larger than the second angle of view, the angle-of-view control means sets the first and the second angle of view in the second shooting mode. A photographic image composition apparatus characterized in that the third field angle is obtained by partially overlapping the photographic ranges of the second imaging unit.
  4. 請求項3に記載の撮影画像合成装置において、
    前記画角設定手段が前記合成画像の撮影画角を前記所定の画角から前記第3の画角まで連続的に設定した場合に、前記画角制御手段は、前記第1の撮影モードで前記第1及び第2の撮影光学系の各々を前記所定の画角から前記第2の画角まで調整した後に、前記第1及び第2の撮影光学系の各々を前記第2の画角からそれより小さな画角に戻すと共に、前記撮像素子回転手段によって第1及び第2の撮像素子の各々を90°回転させ、かつ前記傾斜量変更手段によって前記第1及び第2の撮像ユニットの撮影範囲を一部重複させ、その後に前記第1及び第2の撮影光学系の画角を大きく調整することによって前記第3の画角を得ることを特徴とする撮影画像合成装置。
    In the photographic image composition device according to claim 3,
    When the angle-of-view setting unit continuously sets the shooting angle of view of the composite image from the predetermined angle of view to the third angle of view, the angle-of-view control unit sets the angle of view in the first shooting mode. After adjusting each of the first and second imaging optical systems from the predetermined angle of view to the second angle of view, each of the first and second imaging optical systems is adjusted from the second angle of view. While returning to a smaller angle of view, each of the first and second image sensors is rotated by 90 ° by the image sensor rotating means, and the photographing ranges of the first and second image pickup units are adjusted by the tilt amount changing means. An apparatus for synthesizing a photographed image, wherein the third field angle is obtained by partially overlapping and then adjusting the field angles of the first and second photographing optical systems largely.
  5. 請求項1〜4のいずれか1項に記載の撮影画像合成装置において、
    前記第1および第2の撮像ユニットは、第1および第2の撮影光学系の焦点を調節するための第1および第2の焦点調節機構をそれぞれ有し、
    前記焦点調節機構は、前記第1の撮影モードでは、前記第1および第2の撮像素子の出力画像の位相差に基づいて焦点調節を行い、前記第2の撮影モードでは、前記第1および第2の撮像素子のいずれかの出力画像のコントラストに基づいて焦点調節を行うことを特徴とする撮影画像合成装置。
    In the picked-up image composition device according to any one of claims 1 to 4,
    The first and second imaging units have first and second focus adjustment mechanisms for adjusting the focus of the first and second imaging optical systems, respectively.
    The focus adjustment mechanism performs focus adjustment based on a phase difference between output images of the first and second imaging elements in the first imaging mode, and the first and first imaging modes in the second imaging mode. A photographed image synthesizing apparatus that performs focus adjustment based on a contrast of an output image of any one of the two image sensors.
  6. 請求項1〜5のいずれか1項に記載の撮影画像合成装置において、
    前記第1の撮影モードの合成画像および前記第2の撮影モードの合成画像を表示する表示装置を更に備え、
    前記表示装置は、前記第1の撮影モードと第2の撮影モードとの間で移行する場合、移行後の合成画像を表示するまでは移行前の合成画像を表示することを特徴とする撮影画像合成装置。
    In the photographic image composition device according to any one of claims 1 to 5,
    A display device for displaying the composite image of the first shooting mode and the composite image of the second shooting mode;
    When the display device shifts between the first shooting mode and the second shooting mode, the display device displays the composite image before the transition until the composite image after the transition is displayed. Synthesizer.
JP2009198645A 2009-08-28 2009-08-28 Photographed image composing device Pending JP2011048283A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009198645A JP2011048283A (en) 2009-08-28 2009-08-28 Photographed image composing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009198645A JP2011048283A (en) 2009-08-28 2009-08-28 Photographed image composing device

Publications (1)

Publication Number Publication Date
JP2011048283A true JP2011048283A (en) 2011-03-10

Family

ID=43834642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009198645A Pending JP2011048283A (en) 2009-08-28 2009-08-28 Photographed image composing device

Country Status (1)

Country Link
JP (1) JP2011048283A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191425A (en) * 2011-03-10 2012-10-04 Canon Inc Generation device and generation method for panoramic image
JP2012239150A (en) * 2011-05-10 2012-12-06 Kotatsu Kokusai Denshi Kofun Yugenkoshi Handheld electronic device, double image acquisition method applied to the device, and computer program product loaded to the device
JP2013045032A (en) * 2011-08-26 2013-03-04 Fujifilm Corp Multi-eye imaging apparatus
WO2013046886A1 (en) * 2011-09-30 2013-04-04 富士フイルム株式会社 Imaging device for three-dimensional image and image display method for focus state confirmation
KR101715563B1 (en) * 2016-05-27 2017-03-10 주식회사 에스,엠,엔터테인먼트 A Camera Interlock System for Multi Image Display
WO2020117007A1 (en) * 2018-12-07 2020-06-11 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012191425A (en) * 2011-03-10 2012-10-04 Canon Inc Generation device and generation method for panoramic image
JP2012239150A (en) * 2011-05-10 2012-12-06 Kotatsu Kokusai Denshi Kofun Yugenkoshi Handheld electronic device, double image acquisition method applied to the device, and computer program product loaded to the device
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
JP2013045032A (en) * 2011-08-26 2013-03-04 Fujifilm Corp Multi-eye imaging apparatus
WO2013046886A1 (en) * 2011-09-30 2013-04-04 富士フイルム株式会社 Imaging device for three-dimensional image and image display method for focus state confirmation
JP5640155B2 (en) * 2011-09-30 2014-12-10 富士フイルム株式会社 Stereoscopic image pickup apparatus and in-focus state confirmation image display method
KR101715563B1 (en) * 2016-05-27 2017-03-10 주식회사 에스,엠,엔터테인먼트 A Camera Interlock System for Multi Image Display
WO2020117007A1 (en) * 2018-12-07 2020-06-11 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography

Similar Documents

Publication Publication Date Title
JP4931668B2 (en) Compound eye imaging device
JP5380184B2 (en) Compound eye camera and control method thereof
JP2007081473A (en) Imaging apparatus having plural optical system
US8878907B2 (en) Monocular stereoscopic imaging device
JP2011048283A (en) Photographed image composing device
US20080151062A1 (en) Digital camera
US9264607B2 (en) Camera and method of controlling operation of same
JP5830662B2 (en) Imaging device
JP2011048120A (en) Twin lens digital camera
JP5724057B2 (en) Imaging device
JP2007206617A (en) Camera
JP2003298919A (en) Digital camera
EP1763225A2 (en) Lens apparatus
JP2016005160A (en) Imaging device and control method thereof
JP2010245831A (en) Photographic image synthesizer
JP6444025B2 (en) Optical equipment
JP2012053303A (en) Stereoscopic camera device and electronic information device
JP2011176460A (en) Imaging apparatus
JP5434065B2 (en) Imaging device
JP2013109010A (en) Stereoscopic image photographing system
JP2010210691A (en) Stereoscopic imaging apparatus
US9106899B2 (en) Image pickup apparatus
JP5501078B2 (en) Imaging system
JP2021019228A (en) Imaging apparatus, computer program, and recording medium
JP4549255B2 (en) Solid-state imaging device and resolution conversion device