JP2017175635A - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP2017175635A JP2017175635A JP2017089931A JP2017089931A JP2017175635A JP 2017175635 A JP2017175635 A JP 2017175635A JP 2017089931 A JP2017089931 A JP 2017089931A JP 2017089931 A JP2017089931 A JP 2017089931A JP 2017175635 A JP2017175635 A JP 2017175635A
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- imaging
- image
- image data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.
特許文献１において提案されているような魚眼光学系を有する撮像装置が知られている。特許文献１の魚眼光学系は、最前面に大型の凹レンズを有するように構成されている。このような魚眼光学系は、画像の周辺部における歪みが大きくなるものの、略１８０度の画角からの光束を撮像素子に結像させることが可能である。 An imaging apparatus having a fish-eye optical system as proposed in Patent Document 1 is known. The fisheye optical system of Patent Document 1 is configured to have a large concave lens on the forefront. Such a fish-eye optical system can form a light beam from an angle of view of approximately 180 degrees on the image sensor, although distortion at the peripheral portion of the image increases.
魚眼光学系等の特殊な広視野光学系を用いることにより、ユーザは、通常の光学系では撮影できないような撮影を行うことができる。例えば、ユーザが広視野光学系の光軸を天頂に向けさせるように撮像装置を構えた場合、ユーザ自身を含む広視野光学系の光軸周りの方位方向の画像を一度に撮影することが可能である。また、ユーザが広視野光学系を自分自身に向けた場合には、自分の顔だけでなく、自分の全身も撮影するような特殊な自分撮りをすることが可能である。広い範囲を撮影できるので、自分撮りの他、ファインダを見ないで撮影するブラインド操作撮影、ノールック・ファインダ撮影等も可能となる。 By using a special wide-field optical system such as a fish-eye optical system, the user can perform shooting that cannot be performed with a normal optical system. For example, when the user has an imaging device that directs the optical axis of the wide-field optical system to the zenith, it is possible to capture images in the azimuth direction around the optical axis of the wide-field optical system including the user at once. It is. In addition, when the user points the wide-field optical system toward himself / herself, it is possible to take a special selfie such as photographing not only his / her face but also his / her whole body. Because it can shoot a wide range, it can be used for self-portraits, blind operation shooting without looking at the viewfinder, and Noorok finder shooting.
本発明は、複数の光学系を組み合わせて広視野の画像を得ることができる撮像装置及び撮像方法を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus and an imaging method capable of obtaining a wide-field image by combining a plurality of optical systems.
前記の目的を達成するために、本発明の第１の態様の撮像装置は、光軸を中心とする所定範囲の光束を結像させる第１の光学系と、前記所定範囲の周辺の３６０度方位の光束を結像させる第２の光学系と、前記第１の光学系によって結像された光束に応じた第１の画像データを得る第１の撮像部と、前記第２の光学系によって結像された光束に応じた第２の画像データを得る第２の撮像部と、前記第１の画像データと前記第２の画像データとを合成して被写体に係る合成画像データを得る画像合成処理部とを具備することを特徴とする。 In order to achieve the above object, an imaging apparatus according to a first aspect of the present invention includes a first optical system that forms an image of a light beam in a predetermined range centered on an optical axis, and 360 degrees around the predetermined range. A second optical system that forms an image of a directional light beam, a first imaging unit that obtains first image data corresponding to the light beam formed by the first optical system, and the second optical system. A second imaging unit that obtains second image data corresponding to the imaged luminous flux, and image synthesis that obtains synthesized image data relating to the subject by synthesizing the first image data and the second image data And a processing unit.
前記の目的を達成するために、本発明の第２の態様の撮像方法は、光軸を中心とする所定範囲の光束を結像させる第１の光学系と、前記所定範囲の周辺の３６０度方位の光束を結像させる第２の光学系と、前記第１の光学系によって結像された光束に応じた第１の画像データを得る第１の撮像部と、前記第２の光学系によって結像された光束に応じた第２の画像データを得る第２の撮像部とを備える撮像装置による撮像方法であって、前記第１の画像データと前記第２の画像データとを合成して被写体に係る合成画像データを得ることを特徴とする。 In order to achieve the above object, an imaging method according to a second aspect of the present invention includes a first optical system that forms an image of a light beam in a predetermined range centered on the optical axis, and 360 degrees around the predetermined range. A second optical system that forms an image of a directional light beam, a first imaging unit that obtains first image data corresponding to the light beam formed by the first optical system, and the second optical system. An imaging method using an imaging apparatus including a second imaging unit that obtains second image data corresponding to an imaged light beam, and combining the first image data and the second image data The composite image data relating to the subject is obtained.
本発明によれば、複数の光学系を組み合わせて広視野の画像を得ることができる撮像装置及び撮像方法を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus and an imaging method capable of obtaining a wide-field image by combining a plurality of optical systems.
以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、撮影機能付き携帯電話機、撮影機能付き携帯端末である。図１に示す撮像装置１００は、光学系１０２ａと、全方位光学系１０２ｂと、撮像部１０４ａと、撮像部１０４ｂと、画像処理部１０６と、表示部１０８と、タッチパネル１１０と、記録部１１２と、操作部１１４と、姿勢検出部１１６と、顔検出部１１８と、フラッシュ１２０ａと、フラッシュ１２０ｂと、制御部１２２とを有している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration as an example of an imaging apparatus according to the first embodiment of the present invention. An imaging apparatus 100 illustrated in FIG. 1 is, for example, a digital camera, a mobile phone with a shooting function, or a mobile terminal with a shooting function. An imaging apparatus 100 illustrated in FIG. 1 includes an optical system 102a, an omnidirectional optical system 102b, an imaging unit 104a, an imaging unit 104b, an image processing unit 106, a display unit 108, a touch panel 110, and a recording unit 112. , An operation unit 114, a posture detection unit 116, a face detection unit 118, a flash 120a, a flash 120b, and a control unit 122.
光学系１０２ａは、被写体からの光束を撮像部１０４ａに入射させるための光学系である。光学系１０２ａは、例えば可変焦点距離の光学系である。光学系１０２ａは、固定焦点距離の光学系であっても良い。全方位光学系１０２ｂは、その光軸が光学系１０２ａの光軸と平行になるように撮像装置１００に配置され、光学系１０２ａよりも広視野（広画角）の光学系である。全方位光学系１０２ｂは、例えば図２に示す光学系である。図２に示す例の全方位光学系１０２ｂは、自由曲面レンズ１０２１ｂと、結像レンズ群１０２２ｂとを有しており、光軸Ｌに対して軸対称な構造を有している。自由曲面レンズ１０２１ｂは、光軸Ｌを天頂とする全天方向からの光束Ｆを内面で反射させて結像レンズ群１０２２ｂに入射させるように構成された自由曲面レンズである。結像レンズ群１０２２ｂは、自由曲面レンズ１０２１ｂを介して入射した光束Ｆを撮像部１０４ｂに入射させるように構成されている。 The optical system 102a is an optical system for causing a light beam from a subject to enter the imaging unit 104a. The optical system 102a is an optical system having a variable focal length, for example. The optical system 102a may be an optical system with a fixed focal length. The omnidirectional optical system 102b is an optical system that is disposed in the imaging apparatus 100 so that its optical axis is parallel to the optical axis of the optical system 102a, and has a wider field of view (wide field angle) than the optical system 102a. The omnidirectional optical system 102b is an optical system shown in FIG. 2, for example. The omnidirectional optical system 102b in the example shown in FIG. 2 includes a free-form surface lens 1021b and an imaging lens group 1022b, and has an axisymmetric structure with respect to the optical axis L. The free-form surface lens 1021b is a free-form surface lens configured to reflect the light beam F from all directions with the optical axis L as the zenith on the inner surface and to enter the imaging lens group 1022b. The imaging lens group 1022b is configured to cause the light beam F incident through the free-form surface lens 1021b to enter the imaging unit 104b.
撮像部１０４ａは、光学系１０２ａから入射された光束に基づいて画像データを生成する。撮像部１０４ａは、撮像素子と、Ａ／Ｄ変換回路とを有している。撮像素子は、光学系１０２ａを介して結像された光束をアナログの電気信号に変換する。Ａ／Ｄ変換回路は、撮像素子で得られた電気信号をデジタル信号である画像データに変換する。撮像部１０４ｂは、全方位光学系１０２ｂから入射された光束に基づいて画像データを生成する。撮像部１０４ｂは、撮像部１０４ａと同様の構成を有していて良いし、異なる構成を有していても良い。例えば、撮像部１０４ｂは、撮像素子の画素数及び撮像面の面積が撮像部１０４ａよりも大きくて良い。 The imaging unit 104a generates image data based on the light beam incident from the optical system 102a. The imaging unit 104a includes an imaging element and an A / D conversion circuit. The image sensor converts the light beam formed through the optical system 102a into an analog electric signal. The A / D conversion circuit converts an electrical signal obtained by the image sensor into image data that is a digital signal. The imaging unit 104b generates image data based on the light beam incident from the omnidirectional optical system 102b. The imaging unit 104b may have the same configuration as the imaging unit 104a, or may have a different configuration. For example, the imaging unit 104b may be larger in the number of pixels of the imaging element and the area of the imaging surface than the imaging unit 104a.
画像処理部１０６は、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データに対して画像処理を施す。画像処理部１０６は、例えばホワイトバランス補正やガンマ補正といった画像の表示や記録のために必要な基本的な画像処理を行う。また、画像処理部１０６は、画像変換処理を行う画像変換処理部及び画像合成処理を行う画像合成処理部としての機能を有する。画像変換処理は、撮像部１０４ｂを介して得られた円環状の画像データを帯状の画像データに変換する処理である。画像合成処理は、撮像部１０４ａを介して得られた画像データと撮像部１０４ｂを介して得られた画像データとを合成する処理である。画像変換処理及び画像合成処理については後で詳しく説明する。 The image processing unit 106 performs image processing on the image data obtained by the imaging unit 104a and the image data obtained by the imaging unit 104b. The image processing unit 106 performs basic image processing necessary for image display and recording, such as white balance correction and gamma correction. The image processing unit 106 also functions as an image conversion processing unit that performs image conversion processing and an image composition processing unit that performs image composition processing. The image conversion process is a process of converting the annular image data obtained through the imaging unit 104b into band-shaped image data. The image synthesis process is a process for synthesizing image data obtained via the imaging unit 104a and image data obtained via the imaging unit 104b. The image conversion process and the image composition process will be described in detail later.
表示部１０８は、例えば撮像装置１００の本体背面に設けられた液晶ディスプレイである。表示部１０８は、制御部１２２から入力される画像データに基づいて画像を表示する。タッチパネル１１０は、例えば表示部１０８の表示画面の上に設けられている。タッチパネル１１０は、ユーザの指等の接触を検出し、接触位置の情報を制御部１２２に入力する。なお、表示部１０８は、１ヶ所である必要はなく、撮像装置１００の本体側面や光学系の側に設けられても良い。しかし、これは、小型の携帯機器で携帯性を良くする場合に小型化する傾向にあって、撮影時にいちいち見て確認できない状況も多かった。このような状況からもノールック撮影の必要性が高まる傾向にあった。 The display unit 108 is a liquid crystal display provided on the back of the main body of the imaging apparatus 100, for example. The display unit 108 displays an image based on the image data input from the control unit 122. The touch panel 110 is provided on the display screen of the display unit 108, for example. The touch panel 110 detects contact of a user's finger or the like, and inputs contact position information to the control unit 122. Note that the display unit 108 does not have to be provided at one place, and may be provided on the side surface of the main body of the imaging device 100 or the optical system side. However, this tends to reduce the size when improving portability with a small portable device, and there are many situations where it cannot be confirmed at a time when photographing. Under such circumstances, the need for Noorok photography tended to increase.
記録部１１２は、例えば撮像装置１００に対して着脱自在に構成されたメモリカードである。記録部１１２は、制御部１２２によって生成された画像ファイル等の各種の情報を記録する。近年は、無線で外部の記録部に飛ばして記録する場合もあるが、このような場合であっても本実施形態の技術は有効である。 The recording unit 112 is a memory card configured to be detachable from the imaging device 100, for example. The recording unit 112 records various information such as an image file generated by the control unit 122. In recent years, there is a case where recording is performed by skipping to an external recording unit wirelessly. Even in such a case, the technique of the present embodiment is effective.
操作部１１４は、撮像装置１００の本体に設けられたタッチパネル１１０以外の機械的な操作部材である。操作部１１４は、例えばレリーズボタン、電源スイッチを含む。レリーズボタンは、ユーザが撮影実行を指示するための操作部材である。電源スイッチは、ユーザが撮像装置１００の電源のオン又はオフを指示するための操作部材である。 The operation unit 114 is a mechanical operation member other than the touch panel 110 provided in the main body of the imaging apparatus 100. The operation unit 114 includes, for example, a release button and a power switch. The release button is an operation member for the user to instruct execution of shooting. The power switch is an operation member for the user to instruct the power on or off of the imaging apparatus 100.
姿勢検出部１１６は、例えば撮像装置１００の水平方向（Ｘ軸）、垂直方向（Ｙ軸）、奥行き方向（Ｚ軸）のそれぞれに対して平行に配置された３軸加速度センサであり、撮像装置１００の姿勢を検出する。図３（ａ）及び図３（ｂ）に、撮像装置１００に設定される３軸の例が示されている。水平方向（Ｘ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して平行でありかつ光学系１０２ａ及び全方位光学系１０２ｂの光軸に対して垂直な撮像装置１００の方向である。垂直方向（Ｙ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して垂直な撮像装置１００の方向である。奥行方向（Ｚ軸）は、例えば撮像装置１００が横位置で構えられたときに地表に対して平行でありかつ光学系１０２ａ及び全方位光学系１０２ｂの光軸に対して平行な撮像装置１００の方向である。 The posture detection unit 116 is, for example, a three-axis acceleration sensor arranged in parallel with each of the horizontal direction (X axis), the vertical direction (Y axis), and the depth direction (Z axis) of the imaging device 100. 100 postures are detected. 3A and 3B show examples of three axes set in the imaging apparatus 100. FIG. The horizontal direction (X-axis) of the imaging device 100 is parallel to the ground surface when the imaging device 100 is held in a horizontal position, for example, and perpendicular to the optical axes of the optical system 102a and the omnidirectional optical system 102b. Direction. The vertical direction (Y-axis) is a direction of the imaging device 100 that is perpendicular to the ground surface when the imaging device 100 is held in a horizontal position, for example. The depth direction (Z-axis) of the imaging device 100 is parallel to the ground surface when the imaging device 100 is held in a horizontal position and parallel to the optical axes of the optical system 102a and the omnidirectional optical system 102b, for example. Direction.
顔検出部１１８は、例えばパターンマッチングを用いて画像データにおける人物の顔部を検出し、検出した顔部の位置情報を制御部１２２に入力する。 The face detection unit 118 detects a human face part in the image data using, for example, pattern matching, and inputs the detected face part position information to the control unit 122.
フラッシュ１２０ａ及びフラッシュ１２０ｂは、発光することによって被写体を照明する。ここで、フラッシュ１２０ａとフラッシュ１２０ｂとは、発光方向が直交するように撮像装置１００の本体に設けられている。第１のフラッシュとしてのフラッシュ１２０ａは、図３（ａ）で示すように、光学系１０２ａ及び全方位光学系１０２ｂの光軸が被写体の方向を向いたときに被写体と相対するように、すなわち発光方向が光学系１０２ａ及び全方位光学系１０２ｂの光軸と平行になるように、例えば撮像装置１００の上面に設けられている。このとき、フラッシュ１２０ａは、図３（ａ）で示すように、光学系１０２ａ及び全方位光学系１０２ｂが設けられている撮像装置１００の正面に対して所定の間隔ｄを有するように撮像装置１００の上面に設けられることが好ましい。このようにしてフラッシュ１２０ａが設けられることにより、全方位光学系１０２ｂとフラッシュ１２０ａとの間には段差が形成される。この段差により、フラッシュ１２０ａからの照明光が直接的に全方位光学系１０２ｂに入射することが防止される。第２のフラッシュとしてのフラッシュ１２０ｂは、図３（ｂ）で示すように、光学系１０２ａ及び全方位光学系１０２ｂの光軸が天頂方向を向いたときに被写体の方向を向くように、すなわち発光方向が光学系１０２ａ及び全方位光学系１０２ｂの光軸と垂直になるように、撮像装置１００の側面に設けられている。 The flash 120a and the flash 120b illuminate the subject by emitting light. Here, the flash 120a and the flash 120b are provided in the main body of the imaging apparatus 100 so that the light emission directions are orthogonal to each other. As shown in FIG. 3A, the flash 120a as the first flash is light-emitted so as to face the subject when the optical axes of the optical system 102a and the omnidirectional optical system 102b face the subject. For example, it is provided on the upper surface of the imaging apparatus 100 so that the direction is parallel to the optical axes of the optical system 102a and the omnidirectional optical system 102b. At this time, as shown in FIG. 3A, the flash 120a has a predetermined distance d with respect to the front surface of the imaging apparatus 100 provided with the optical system 102a and the omnidirectional optical system 102b. It is preferable that it is provided on the upper surface. By providing the flash 120a in this manner, a step is formed between the omnidirectional optical system 102b and the flash 120a. This step prevents the illumination light from the flash 120a from directly entering the omnidirectional optical system 102b. As shown in FIG. 3B, the flash 120b as the second flash is directed so as to face the subject when the optical axes of the optical system 102a and the omnidirectional optical system 102b face the zenith direction, that is, emit light. It is provided on the side surface of the imaging apparatus 100 so that the direction is perpendicular to the optical axes of the optical system 102a and the omnidirectional optical system 102b.
制御部１２２は、例えばＣＰＵを有し、撮像装置１００の全体的な動作を制御する。制御部１２２は、撮影制御部としての機能を有する。撮影制御部としての機能は、撮像制御部としての機能と、タッチパネル制御部としての機能と、フラッシュ制御部としての機能と、画像処理制御部としての機能と、電源制御部としての機能とを含む。撮像制御部としての機能は、撮像部１０４ａ及び１０４ｂによる露出動作を制御する機能である。タッチパネル制御部としての機能は、撮影時における撮像装置１００の姿勢に応じてタッチパネル１１０の設定を制御する機能である。フラッシュ制御機能は、フラッシュの発光が必要なとき、撮影時における撮像装置１００の姿勢に応じてフラッシュ１２０ａとフラッシュ１２０ｂの何れかを発光させる機能である。画像処理設定機能は、撮影時における撮像装置１００の姿勢に応じて画像処理部１０６の画像処理の内容を制御する機能である。電源制御部としての機能は、撮像装置１００の各ブロックの電源のオン又はオフに関する制御を行う機能である。表示部が複数ある場合、制御部１２２が、撮像装置１００の姿勢に応じて表示を切り替えても良い。このとき、制御部１２２は、表示部位や縦横等を考慮して表示を切り替える。 The control unit 122 has a CPU, for example, and controls the overall operation of the imaging apparatus 100. The control unit 122 has a function as a photographing control unit. The function as the imaging control unit includes the function as the imaging control unit, the function as the touch panel control unit, the function as the flash control unit, the function as the image processing control unit, and the function as the power supply control unit. . The function as the imaging control unit is a function for controlling the exposure operation by the imaging units 104a and 104b. The function as the touch panel control unit is a function for controlling the setting of the touch panel 110 in accordance with the posture of the imaging apparatus 100 at the time of shooting. The flash control function is a function for causing either the flash 120a or the flash 120b to emit light according to the posture of the imaging device 100 at the time of shooting when the flash needs to be emitted. The image processing setting function is a function for controlling the contents of image processing of the image processing unit 106 in accordance with the attitude of the imaging apparatus 100 at the time of shooting. The function as the power control unit is a function that performs control related to power on or off of each block of the imaging apparatus 100. When there are a plurality of display units, the control unit 122 may switch the display according to the attitude of the imaging apparatus 100. At this time, the control unit 122 switches the display in consideration of the display part, the vertical and horizontal directions, and the like.
次に、本実施形態に係る撮像装置１００の動作を説明する。本実施形態においては、ユーザによって撮像装置１００の構え方が変更されることにより、異なる３種類の撮影が行われる。 Next, the operation of the imaging apparatus 100 according to the present embodiment will be described. In the present embodiment, three different types of photographing are performed by changing the way the imaging apparatus 100 is held by the user.
図４は、第１の撮影としての通常撮影の例を示す図である。第１の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を被写体Ｓ１、Ｓ２に向けるように構える。光学系のない背面（光学系の配置面の反対の面）に表示部１０８を設けると比較的大きな面積にでき、ユーザＵは、表示部１０８でタイミングや構図を確認しながらの撮影を行えば良い。 FIG. 4 is a diagram illustrating an example of normal shooting as the first shooting. As the first shooting, the user U is configured to direct the optical axes of the optical system 102a and the omnidirectional optical system 102b of the imaging apparatus 100 toward the subjects S1 and S2. If the display unit 108 is provided on the rear surface without the optical system (the surface opposite to the arrangement surface of the optical system), the area can be made relatively large, and the user U can perform shooting while confirming the timing and composition on the display unit 108. good.
図４に示す状態でユーザＵによって撮影が行われると、撮像部１０４ａでは、図５（ａ）で示すような光学系１０２ａの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系１０２ａが被写体Ｓ１、Ｓ２の方を向いている場合には、撮像部１０４ａにおいて被写体Ｓ１、Ｓ２の周辺の画像が得られる。また、撮像部１０４ｂでは、図５（ｂ）で示すような全方位光学系１０２ｂの光軸周りの３６０度方位の範囲の円環状の画像が得られる。例えば、全方位光学系１０２ｂが被写体Ｓ１、Ｓ２の方を向いている場合には、被写体Ｓ１、Ｓ２の周囲の背景Ｂの画像が得られる。このような第１の撮影では、従来の撮像装置と同様にして被写体を撮影することができる。 When shooting is performed by the user U in the state illustrated in FIG. 4, the imaging unit 104 a obtains an image in a predetermined rectangular range centered on the optical axis of the optical system 102 a as illustrated in FIG. For example, when the optical system 102a faces the subjects S1 and S2, images around the subjects S1 and S2 are obtained in the imaging unit 104a. Further, in the imaging unit 104b, an annular image having a 360 ° azimuth range around the optical axis of the omnidirectional optical system 102b as shown in FIG. 5B is obtained. For example, when the omnidirectional optical system 102b faces the subjects S1 and S2, an image of the background B around the subjects S1 and S2 is obtained. In such first shooting, a subject can be shot in the same manner as a conventional imaging device.
ここで、撮像部１０４ａで得られた図５（ａ）に示す画像データと図５（ｂ）に示す画像データとは、図６に示すようにして合成されても良い。合成により、光学系１０２ａのみを用いて撮影した場合よりも広角の画像を得ることが可能である。合成の手法は、例えば後で説明する手法によって図５（ｂ）の画像データを帯状画像データに変換した後、帯状画像データ内の被写体Ｓ１、Ｓ２の位置に図５（ａ）に示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。 Here, the image data shown in FIG. 5A obtained by the imaging unit 104a and the image data shown in FIG. 5B may be combined as shown in FIG. By combining, it is possible to obtain a wider-angle image than in the case of shooting using only the optical system 102a. For example, after the image data shown in FIG. 5B is converted into band-shaped image data by a technique described later, the image data shown in FIG. 5A is displayed at the positions of the subjects S1 and S2 in the band-shaped image data. Can be used. This composite image is assumed to be displayed at the time of shooting or display at the time of reproduction. However, it may be acceptable that the converted image is recorded without being displayed.
図７は、第２の撮影としての全身自分撮りの例を示す図である。第２の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を自分に向けるように構える。図７に示す状態でユーザＵによって撮影が行われると、撮像部１０４ａでは、図８（ａ）で示すような光学系１０２ａの光軸を中心とする所定の矩形範囲の画像が得られる。例えば、光学系１０２ａがユーザＵの顔部の方を向いている場合には、ユーザＵの顔部の周辺の画像が得られる。また、撮像部１０４ｂでは、図８（ｂ）で示すような全方位光学系１０２ｂの光軸周りの３６０度方位の範囲の円環状の画像が得られる。例えば、全方位光学系１０２ｂがユーザＵの顔部の方を向いている場合には、ユーザＵの胴体等の周辺の画像が得られる。このような第２の撮影では、自分撮りの際に、ユーザＵの顔付近のみならず、ユーザの全身を含めた周囲の画像をも得ることができる。光学系のある面に表示部１０８を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。特に、不安定な状況では、確認しながらの撮影をしていると注意が散漫になり、安全が脅かされる可能性があった。 FIG. 7 is a diagram illustrating an example of whole body selfie as the second imaging. As the second shooting, the user U is configured to direct the optical axes of the optical system 102a and the omnidirectional optical system 102b of the imaging apparatus 100 to himself / herself. When shooting is performed by the user U in the state shown in FIG. 7, the imaging unit 104a obtains an image in a predetermined rectangular range centering on the optical axis of the optical system 102a as shown in FIG. 8A. For example, when the optical system 102a faces the face of the user U, an image around the face of the user U is obtained. Further, in the imaging unit 104b, an annular image having a 360-degree azimuth range around the optical axis of the omnidirectional optical system 102b as shown in FIG. 8B is obtained. For example, when the omnidirectional optical system 102b faces the face of the user U, an image around the user U's body is obtained. In such second shooting, not only the vicinity of the face of the user U but also the surrounding image including the whole body of the user can be obtained at the time of self-shooting. Even if the display unit 108 is provided on the surface where the optical system is provided, the display area 108 cannot be made large, and it is difficult to take an image while checking the timing and composition. In particular, in an unstable situation, taking pictures while confirming could distract attention and threaten safety.
ここで、撮像部１０４ａで得られた図８（ａ）に示す画像データと図８（ｂ）に示す画像データとは、図９に示すようにして合成されても良い。合成の手法は、例えば後で説明する手法によって図８（ｂ）の画像データを帯状画像データに変換した後、帯状画像データ内のユーザＵの位置に図８（ａ）に示す画像データを合成する手法を用いることができる。この合成画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。 Here, the image data shown in FIG. 8A obtained by the imaging unit 104a and the image data shown in FIG. 8B may be combined as shown in FIG. For example, after the image data shown in FIG. 8B is converted into band-shaped image data by a method described later, the image data shown in FIG. 8A is synthesized at the position of the user U in the band-shaped image data. Can be used. This composite image is assumed to be displayed at the time of shooting or display at the time of reproduction. However, it may be acceptable that the converted image is recorded without being displayed.
図１０は、第３の撮影としての全方位撮影の例である。第３の撮影として、ユーザＵは、撮像装置１００の光学系１０２ａ及び全方位光学系１０２ｂの光軸を天頂に向けるように構える。被写体Ｓ１、Ｓ２とユーザＵとの３次元上での位置関係が例えば図１１で示すものであるとする。このとき、ユーザＵによって撮影が行われると、撮像部１０４ｂでは、図１２に示すような全方位光学系１０２ｂの光軸を中心とする３６０度方位の画像が得られる。このような第３の撮影では、撮影者であるユーザＵを含む撮像装置１００の周囲の画像を一度に撮影することができる。ここでも光学系のある面や撮像装置１００の側面に表示部１０８を設けるとしても、大きな面積にはできず、タイミングや構図を確認しながらの撮影は困難になる。もちろん、頭上に掲げて撮影すれば、撮影者を含まない撮影も可能である。 FIG. 10 is an example of omnidirectional imaging as the third imaging. As the third shooting, the user U is configured to direct the optical axes of the optical system 102a and the omnidirectional optical system 102b of the imaging apparatus 100 to the zenith. Assume that the three-dimensional positional relationship between the subjects S1 and S2 and the user U is as shown in FIG. At this time, when shooting is performed by the user U, the imaging unit 104b obtains an image with a 360-degree azimuth centered on the optical axis of the omnidirectional optical system 102b as shown in FIG. In such third shooting, an image around the imaging device 100 including the user U who is a photographer can be shot at a time. Even in this case, even if the display unit 108 is provided on the surface having the optical system or the side surface of the imaging apparatus 100, the area cannot be increased, and it is difficult to perform photographing while checking the timing and composition. Of course, if you shoot over the head, you can shoot without the photographer.
ここで、全方位光学系１０２ｂを介して撮像部１０４ｂに入射する像に基づいて得られる画像は、図１２で示すような円環状の画像となる。この円環状の画像は、図１３で示すようにして帯状の画像に変換されても良い。この画像は、撮影時の表示や再生時の表示を想定しているが、変換された画像を表示せず記録するだけの仕様で合っても良い。 Here, an image obtained based on an image incident on the imaging unit 104b via the omnidirectional optical system 102b is an annular image as shown in FIG. This annular image may be converted into a belt-like image as shown in FIG. This image is assumed to be a display at the time of shooting or a display at the time of reproduction. However, it may be acceptable that the converted image is recorded without being displayed.
以下、撮像装置１００の動作についてさらに説明する。図１４は、撮像装置１００の動作を示すフローチャートである。図１４において、制御部１２２は、電源オン制御を行う（ステップＳ１０１）。電源オン制御は、撮像装置１００の電源を種々の条件に従ってオンする制御である。電源オン制御の詳細については後で説明することとし、ここでは、電源オン制御の結果、撮像装置１００の電源がオンされたものとして説明を続ける。 Hereinafter, the operation of the imaging apparatus 100 will be further described. FIG. 14 is a flowchart illustrating the operation of the imaging apparatus 100. In FIG. 14, the control unit 122 performs power-on control (step S101). The power-on control is a control for turning on the power of the imaging apparatus 100 according to various conditions. The details of the power-on control will be described later. Here, the description is continued assuming that the power of the imaging apparatus 100 is turned on as a result of the power-on control.
撮像装置１００の電源がオンされた後、制御部１２２は、撮像装置１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。撮像装置１００は、撮影モードと再生モードとを動作モードとして有している。撮影モードは、記録用の画像を撮影するための動作モードである。再生モードは、記録された画像を再生するための動作モードである。撮影モードと再生モードとの切り替えは、ユーザのタッチパネル１１０の操作又は操作部１１４の操作によって行われる。 After the imaging apparatus 100 is turned on, the control unit 122 determines whether or not the operation mode of the imaging apparatus 100 is the shooting mode (step S102). The imaging apparatus 100 has a shooting mode and a playback mode as operation modes. The shooting mode is an operation mode for shooting a recording image. The playback mode is an operation mode for playing back recorded images. Switching between the shooting mode and the playback mode is performed by the user's operation on the touch panel 110 or the operation unit 114.
ステップＳ１０２において動作モードが撮影モードでないと判定した場合に、制御部１２２は、再生モードの処理を行う（ステップＳ１０３）。再生モードの処理については、従来と同様の技術を適用できる。ここでは、再生モードの処理について簡単に説明する。再生モードにおいては、記録部１１２に記録されている画像ファイルの一覧が表示部１０８に表示される。ユーザは、一覧表示された画像ファイルのうちの所望の画像ファイルを選択する。このユーザによって選択された画像ファイルが記録部１１２から読み出されて表示部１０８に再生される。再生モードの処理の後、処理がステップＳ１１３に移行する。 When it is determined in step S102 that the operation mode is not the shooting mode, the control unit 122 performs a playback mode process (step S103). A technique similar to the conventional technique can be applied to the processing in the reproduction mode. Here, the processing in the reproduction mode will be briefly described. In the playback mode, a list of image files recorded in the recording unit 112 is displayed on the display unit 108. The user selects a desired image file among the image files displayed as a list. The image file selected by the user is read from the recording unit 112 and reproduced on the display unit 108. After the reproduction mode process, the process proceeds to step S113.
ステップＳ１０２において動作モードが撮影モードであると判定した場合に、制御部１２２は、姿勢検出部１１６によって撮像装置１００の姿勢を検出する（ステップＳ１０４）。その後、制御部１２２は、姿勢検出部１１６の検出結果から、光学系１０２ａ及び全方位光学系１０２ｂの光軸が天頂方向を向いているか否か、すなわち図１０で示したような全方位撮影が行われようとしているか否かを判定する（ステップＳ１０５）。光軸が天頂方向を向いていることは、Ｙ軸の加速度が重力加速度を示していることから検出できる。 When it is determined in step S102 that the operation mode is the shooting mode, the control unit 122 detects the posture of the imaging apparatus 100 by the posture detection unit 116 (step S104). Thereafter, the control unit 122 determines whether or not the optical axes of the optical system 102a and the omnidirectional optical system 102b are in the zenith direction based on the detection result of the attitude detection unit 116, that is, omnidirectional imaging as shown in FIG. It is determined whether or not it is going to be performed (step S105). The fact that the optical axis faces the zenith direction can be detected from the fact that the acceleration on the Y axis indicates gravitational acceleration.
ステップＳ１０５において光軸が天頂方向を向いていると判定した場合に、制御部１２２は、フラッシュ１２０ｂの発光方向への加速度が発生しているか否か、すなわちユーザによってフラッシュ１２０ｂの発光方向に向けて撮像装置１００を動かす動作がなされたか否かを判定する（ステップＳ１０６）。フラッシュ１２０ｂの発光方向への加速度が発生していることは、Ｘ方向の加速度から検出できる。ステップＳ１０６において、フラッシュ１２０ｂの発光方向への加速度が発生していないと判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。 If it is determined in step S105 that the optical axis is in the zenith direction, the control unit 122 determines whether or not acceleration in the light emission direction of the flash 120b is generated, that is, the user is directed to the light emission direction of the flash 120b. It is determined whether or not an operation for moving the imaging apparatus 100 has been performed (step S106). The occurrence of acceleration in the light emission direction of the flash 120b can be detected from the acceleration in the X direction. When determining in step S106 that acceleration in the light emitting direction of the flash 120b has not occurred, the control unit 122 shifts the process to step S113.
ステップＳ１０６において、フラッシュ１２０ｂの発光方向への加速度が発生していると判定した場合に、制御部１２２は、撮像部１０４ｂを介して得られる画像データにおける被写体（例えば顔）の輝度が所定輝度よりも低輝度であるか否かを判定する（ステップＳ１０７）。ステップＳ１０７において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部１２２は、撮像部１０４ｂを用いた全方位撮影を実行する（ステップＳ１０８）。このとき、制御部１２２は、被写体の輝度が適正になるように撮像部１０４ｂの露出を制御することにより、撮影を実行する。ステップＳ１０７において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部１２２は、フラッシュの発光が必要であるとしてフラッシュ１２０ｂを発光させつつ、撮像部１０４ｂを用いた全方位撮影を実行する（ステップＳ１０９）。ここで、図１４の例では、低輝度か否かを判定することによってフラッシュの発光の必要性が判定される。この他、例えばユーザによってフラッシュを発光させるように設定された場合にフラッシュを発光させるようにしても良い。 If it is determined in step S106 that acceleration in the light emission direction of the flash 120b is occurring, the control unit 122 causes the luminance of the subject (for example, the face) in the image data obtained through the imaging unit 104b to be greater than the predetermined luminance. It is also determined whether or not the brightness is low (step S107). If it is determined in step S107 that the luminance of the subject is not lower than the predetermined luminance, the control unit 122 performs omnidirectional imaging using the imaging unit 104b (step S108). At this time, the control unit 122 performs shooting by controlling the exposure of the imaging unit 104b so that the luminance of the subject is appropriate. If it is determined in step S107 that the luminance of the subject is lower than the predetermined luminance, the control unit 122 causes the flash 120b to emit light as it is necessary to emit the flash, and performs omnidirectional shooting using the imaging unit 104b. Is executed (step S109). Here, in the example of FIG. 14, the necessity of flash emission is determined by determining whether or not the luminance is low. In addition, for example, when the user is set to emit a flash, the flash may be emitted.
このように、本実施形態では、光軸が天頂方向を向いている場合には、ユーザによって撮像装置１００が動かされることをトリガとして撮影が実行される。ここで、全方位撮影では、図１０で示したように、ユーザ及び被写体が撮像装置１００の周囲を囲むように存在している可能性がある。この状態で光学系１０２ａ及び全方位光学系１０２ｂの光軸と発光方向が同じであるフラッシュ１２０ａを発光させてしまうと、ユーザ及び被写体が眩しさを感じるおそれがある。したがって、全方位撮影においてフラッシュの発光の必要性が生じた場合には、フラッシュ１２０ａではなくフラッシュ１２０ｂを発光させる。ここで、撮像装置１００による撮影実行のトリガは必ずしも撮像装置１００を動かすことである必要はない。例えば、レリーズボタンの操作が撮影実行のトリガであって良い。 As described above, in the present embodiment, when the optical axis is in the zenith direction, shooting is performed with the user moving the imaging device 100 as a trigger. Here, in the omnidirectional shooting, as shown in FIG. 10, there is a possibility that the user and the subject exist so as to surround the imaging apparatus 100. In this state, if the flash 120a having the same light emission direction as the optical axis of the optical system 102a and the omnidirectional optical system 102b is caused to emit light, the user and the subject may feel dazzling. Therefore, when there is a need for flash emission in omnidirectional shooting, the flash 120b is emitted instead of the flash 120a. Here, the trigger for execution of shooting by the imaging apparatus 100 does not necessarily have to move the imaging apparatus 100. For example, the operation of the release button may be a trigger for shooting execution.
ステップＳ１０８又はステップＳ１０９の全方位撮影の後、制御部１２２は、画像変換処理をするか、すなわち図１３で示したような帯状の画像データを記録するか否かを判定する（ステップＳ１１０）。帯状の画像データを記録するか否かは、例えばユーザによって選択される。 After omnidirectional imaging in step S108 or step S109, the control unit 122 determines whether to perform image conversion processing, that is, whether to record band-shaped image data as shown in FIG. 13 (step S110). Whether or not to record the band-shaped image data is selected by the user, for example.
ステップＳ１１０において画像変換処理をしないと判定した場合に、制御部１２２は、図１５で示すように、撮像部１０４ｂの全有効範囲の画像データＩ１を画像処理部１０６において処理した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１１１）。ここで、全方位光学系１０２ｂによって撮像素子に結像される範囲は円環状である。これに対し、一般に撮像素子の像面は矩形である。したがって、全方位撮影であっても、画像ファイルとして記録する画像データは、矩形の画像データである。なお、以下においては、円環状の像が結像された矩形の画像データを全周画像データと言う。 When it is determined in step S110 that the image conversion process is not performed, the control unit 122, based on the image data obtained by processing the image data I1 of the entire effective range of the imaging unit 104b in the image processing unit 106, as illustrated in FIG. An image file is created, and the created image file is recorded in the recording unit 112 (step S111). Here, the range imaged on the image sensor by the omnidirectional optical system 102b is annular. On the other hand, the image plane of the image sensor is generally rectangular. Therefore, even in omnidirectional shooting, the image data recorded as an image file is rectangular image data. In the following, rectangular image data on which an annular image is formed is referred to as all-round image data.
ステップＳ１１０において画像変換処理をすると判定した場合に、制御部１２２は、画像処理部１０６において画像変換処理を行って帯状画像データＩ２を生成する。そして、制御部１２２は、作成した帯状画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１１２）。帯状画像データを作成するための手法としては、例えば図１５の実線矢印及び破線矢印で示すような、全周画像データの各座標と帯状画像データの各座標との対応関係を表す変換関数ｆを用いた座標変換によって作成する手法が考えられる。勿論、帯状画像データの作成手法は、ここで示した手法に限るものではない。 If it is determined in step S110 that image conversion processing is to be performed, the control unit 122 performs image conversion processing in the image processing unit 106 to generate strip-shaped image data I2. Then, the control unit 122 creates an image file based on the created band-shaped image data, and records the created image file in the recording unit 112 (step S112). As a method for creating the band-shaped image data, for example, a conversion function f representing the correspondence between each coordinate of the entire-circumference image data and each coordinate of the band-shaped image data, as indicated by solid line arrows and broken line arrows in FIG. A method of creating by coordinate transformation used can be considered. Of course, the method for creating the band-shaped image data is not limited to the method shown here.
続いて、制御部１２２は、電源オフ制御を行う（ステップＳ１１３）。電源オフ制御は、撮像装置１００の電源を種々の条件に従ってオフする制御である。電源オフ制御の詳細については後で説明する。 Subsequently, the control unit 122 performs power-off control (step S113). The power-off control is control that turns off the power of the imaging apparatus 100 according to various conditions. Details of the power-off control will be described later.
ステップＳ１０５において光軸が天頂を向いていないと判定した場合に、制御部１２２は、光軸が地表方向を向いていないか否かを判定する（ステップＳ１１４）。光軸が地表方向を向いていることは、Ｙ軸の加速度から検出できる。ステップＳ１１４において光軸が地表方向を向いていると判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。この場合、撮影が行われない。ステップＳ１１４において光軸が地表方向を向いていないと判定した場合に、すなわち図４で示したような通常撮影又は図７で示したような全身自分撮りが行われようとしている場合に、制御部１２２は、画像処理部１０６により、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データとを図６や図９で示すようにして合成する（ステップＳ１１５）。 If it is determined in step S105 that the optical axis does not face the zenith, the control unit 122 determines whether the optical axis does not face the ground surface (step S114). It can be detected from the acceleration of the Y axis that the optical axis is directed to the ground surface. When determining in step S114 that the optical axis is facing the ground surface direction, the control unit 122 shifts the processing to step S113. In this case, shooting is not performed. When it is determined in step S114 that the optical axis is not oriented in the ground direction, that is, when the normal photographing as shown in FIG. 4 or the whole body self-taking as shown in FIG. 122, the image processing unit 106 synthesizes the image data obtained by the imaging unit 104a and the image data obtained by the imaging unit 104b as shown in FIGS. 6 and 9 (step S115).
続いて、制御部１２２は、タッチパネル１１０の出力からタッチパネル１１０のタッチ位置を検出する（ステップＳ１１６）。撮影は、不安定な状況下で行われる可能性がある。例えば、図１６は、ユーザＵが崖に掴まりながら自分撮りを行おうとしている状況を示す図である。このとき、ユーザは、一方の手で崖に掴まりつつ、もう一方の手で撮像装置１００を自身に向けて撮影を行う。ここで、図１６のように撮像装置１００を構えた場合、ユーザＵがレリーズボタン１１４ａを押すことは困難である。ユーザが無理にレリーズボタン１１４ａを押そうとすると、撮像装置１００を落としてしまう可能性もある。したがって、図１６のような状況では、レリーズボタン１１４ａを使わずに撮影を行えることが望ましい。本実施形態では、撮影時の状況が図１６のような状況であると推定されるときには、タッチパネル１１０を用いた撮影操作によって撮影を行えるようにする。図１６のような状況は、例えばユーザＵによる撮像装置１００の持ち方から判定される。図１７は、図１６のような撮像装置１００の持ち方がされているときのタッチパネル１１０の状態を示した図である。図１６のような状況では、ユーザＵは、撮像装置１００を落とさないよう、撮像装置１００を片手でしっかりと持とうとする。このとき、ユーザの複数の指Ｆが図１７に示すようにしてタッチパネル１１０に触れることが予想される。すなわち、撮像装置１００を支えられるよう、ユーザは、ある程度に指Ｆを開いて持つことが予想される。本実施形態では、図１７に示すように複数の指Ｆの間隔が略等間隔であるときに図１６のような状況であると判定する。すなわち、タッチ検出の後、制御部１２２は、近接する３点のタッチ位置の間隔ＴＨ１及びＴＨ２が略等しいか否かを判定する（ステップＳ１１７）。 Subsequently, the control unit 122 detects the touch position of the touch panel 110 from the output of the touch panel 110 (step S116). Shooting may occur under unstable conditions. For example, FIG. 16 is a diagram illustrating a situation in which the user U is about to take a selfie while grasping a cliff. At this time, the user shoots with the other hand pointing the imaging device 100 toward himself / herself while holding the cliff with one hand. Here, when the imaging apparatus 100 is held as shown in FIG. 16, it is difficult for the user U to press the release button 114a. If the user forcibly presses the release button 114a, the imaging device 100 may be dropped. Therefore, in the situation as shown in FIG. 16, it is desirable that shooting can be performed without using the release button 114a. In the present embodiment, when it is estimated that the situation at the time of shooting is as shown in FIG. 16, shooting can be performed by a shooting operation using the touch panel 110. The situation shown in FIG. 16 is determined based on how the user U holds the imaging device 100, for example. FIG. 17 is a diagram illustrating a state of the touch panel 110 when the imaging apparatus 100 is held as illustrated in FIG. In the situation as shown in FIG. 16, the user U tries to firmly hold the imaging device 100 with one hand so as not to drop the imaging device 100. At this time, it is expected that the user's fingers F touch the touch panel 110 as shown in FIG. That is, the user is expected to hold the finger F to some extent so that the imaging apparatus 100 can be supported. In the present embodiment, as shown in FIG. 17, it is determined that the situation is as shown in FIG. 16 when the intervals between the plurality of fingers F are substantially equal. That is, after the touch detection, the control unit 122 determines whether or not the intervals TH1 and TH2 between the three adjacent touch positions are substantially equal (step S117).
ステップＳ１１７において間隔ＴＨ１及びＴＨ２が略等しくないと判定した場合に、制御部１２２は、ステップＳ１１４で生成した合成画像を表示部１０８にスルー画像として表示させる（ステップＳ１１８）。その後、制御部１２２は、ユーザによって撮影操作がなされたか否かを判定する（ステップＳ１１９）。図１６のような状況ではないので、撮影操作がなされたか否かの判定は、従来と同様で良い。例えば、レリーズボタンが押されたか否かを判定すれば良い。ステップＳ１１９において撮影操作がなされていないと判定した場合に、制御部１２２は、処理をステップＳ１１３に移行させる。ステップＳ１１９において撮影操作がなされたと判定した場合に、制御部１２２は、処理をステップＳ１２１に移行させる。この場合には、撮影が行われる。 When it is determined in step S117 that the intervals TH1 and TH2 are not substantially equal, the control unit 122 causes the display unit 108 to display the composite image generated in step S114 as a through image (step S118). Thereafter, the control unit 122 determines whether or not a shooting operation has been performed by the user (step S119). Since the situation is not as shown in FIG. 16, the determination as to whether or not the photographing operation has been performed may be the same as in the conventional case. For example, it may be determined whether or not the release button has been pressed. If it is determined in step S119 that no shooting operation has been performed, the control unit 122 shifts the processing to step S113. If it is determined in step S119 that a shooting operation has been performed, the control unit 122 shifts the process to step S121. In this case, shooting is performed.
ステップＳ１１７において間隔ＴＨ１及びＴＨ２が略等しいと判定した場合に、制御部１２２は、近接する３点のタッチ位置のうちの中央のタッチ位置のタッチ状態が変化したか否かを判定する（ステップＳ１２０）。図１６のような状況では、ユーザは表示部１０８を見ることができない。したがって、スルー画表示は不要である。ステップＳ１２０において中央のタッチ位置のタッチ状態が変化していないと判定した場合に、制御部１２２は処理をステップＳ１１３に移行させる。ステップＳ１２０において例えばユーザの指が離れる等して中央のタッチ位置のタッチ状態が変化していないと判定した場合に、制御部１２２は処理をステップＳ１２１に移行させる。この場合には、撮影が行われる。特に、全方位撮影ができる撮像装置の場合では、光学系の部分が突出しており、その部分を触らないように撮影しなければならないのみならず、光学系の側に指等が突き出していると指が入った画像になるなど、持ち方に制限が発生する。指が入らないような機器のつかみ型では、多くの指が背面に行くので、こうした撮影方法は多くの指を利用する方が誤動作を減らすことができる。さらに、タッチ面の特定箇所でなく、指のタッチの相対的な位置だけで操作可能なので、迅速に間違いのない撮影が可能となる。また、逆に、普通の撮影の時には、このような撮影方法は不自然なので、誤動作を防ぐことができる。したがって機器の姿勢によって、このような仕様とすることは失敗写真防止や省エネルギー上、プライバシー保護等に有効である。 When it is determined in step S117 that the intervals TH1 and TH2 are substantially equal, the control unit 122 determines whether or not the touch state at the center touch position among the three adjacent touch positions has changed (step S120). ). In the situation shown in FIG. 16, the user cannot see the display unit 108. Therefore, the through image display is unnecessary. When determining in step S120 that the touch state at the center touch position has not changed, the control unit 122 shifts the process to step S113. For example, when it is determined in step S120 that the touch state at the center touch position has not changed due to, for example, the user's finger separating, the control unit 122 shifts the process to step S121. In this case, shooting is performed. In particular, in the case of an imaging device that can perform omnidirectional shooting, the optical system part protrudes, and not only must it be taken without touching that part, but also a finger or the like protrudes to the optical system side There are restrictions on how to hold it, such as an image with a finger in it. Since many fingers go to the back in a grip type device that does not allow fingers, such a photographing method can reduce malfunctions by using many fingers. Furthermore, since the operation can be performed only at the relative position of the finger touch, not at a specific location on the touch surface, it is possible to quickly shoot without error. On the other hand, during normal shooting, such a shooting method is unnatural, so that malfunction can be prevented. Therefore, such specifications depending on the attitude of the device are effective for preventing failure photos, saving energy, and protecting privacy.
撮影を行うと判定した場合、制御部１２２は、制御部１２２は、撮像部１０４ｂを介して得られる画像データにおける被写体（例えば顔）の輝度が所定輝度よりも低輝度であるか否かを判定する（ステップＳ１２１）。ステップＳ１２１において被写体の輝度が所定輝度よりも低輝度でないと判定した場合に、制御部１２２は、撮像部１０４ａと撮像部１０４ｂの両方を用いた撮影を実行する（ステップＳ１２２）。このとき、制御部１２２は、被写体の輝度が適正になるように撮像部１０４ａ及び撮像部１０４ｂの露出を制御することにより、撮影（通常撮影又は全身自分撮り）を実行する。ステップＳ１２１において被写体の輝度が所定輝度よりも低輝度であると判定した場合に、制御部１２２は、フラッシュの発光が必要であるとしてフラッシュ１２０ａを発光させつつ、撮像部１０４ａと撮像部１０４ｂの両方を用いた撮影を実行する（ステップＳ１２３）。フラッシュ１２０ａを発光させることによって被写体を適切に照明することが可能である。余計な発光があると、反射光によって生じるフレア等が画質に影響したり、省エネルギー上も好ましくないことは言うまでもない。まぶしくて迷惑をかけることもなくなる。 When it is determined that shooting is to be performed, the control unit 122 determines whether the luminance of the subject (for example, the face) in the image data obtained via the imaging unit 104b is lower than the predetermined luminance. (Step S121). If it is determined in step S121 that the luminance of the subject is not lower than the predetermined luminance, the control unit 122 performs shooting using both the imaging unit 104a and the imaging unit 104b (step S122). At this time, the control unit 122 performs photographing (normal photographing or whole body self-portrait) by controlling the exposure of the imaging unit 104a and the imaging unit 104b so that the luminance of the subject becomes appropriate. When it is determined in step S121 that the luminance of the subject is lower than the predetermined luminance, the control unit 122 causes both the imaging unit 104a and the imaging unit 104b to emit light while the flash 120a is emitted because it is necessary to emit the flash. The photographing using is performed (step S123). The subject can be appropriately illuminated by causing the flash 120a to emit light. Needless to say, if there is excessive light emission, flare or the like caused by reflected light affects the image quality and is not preferable in terms of energy saving. It won't be dazzling and annoying.
撮影後、制御部１２２は、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データの両方に人物のパーツが分断されているか否かを判定する（ステップＳ１２４）。例えば、撮像部１０４ａで得られた画像データ中に顔のみが存在し、撮像部１０４ｂで得られた画像データ中に胴体のみが存在するような場合には、撮像部１０４ａで得られた画像データと撮像部１０４ｂで得られた画像データの両方に人物のパーツが分断されていると判定される。人物の胴体の検出は、肌色検出やパターンマッチング等の周知手法を用いて行われる。ステップＳ１２４において２つの画像データに人物のパーツが分断されていると判定した場合に、制御部１２２は、撮影によって撮像部１０４ａと撮像部１０４ｂとでそれぞれ得られた画像データとを図６や図９に示すようにして画像処理部１０６によって合成した画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１２５）。ステップＳ１２４において２つの画像データに人物のパーツが分断されていないと判定した場合に、制御部１２２は、撮影によって撮像部１０４ａで得られた画像データに基づいて画像ファイルを作成し、作成した画像ファイルを記録部１１２に記録する（ステップＳ１２６）。ステップＳ１２５又はステップＳ１２６で画像ファイルを記録した後、制御部１２２は、処理をステップＳ１１３に移行させる。 After photographing, the control unit 122 determines whether or not a human part is divided into both the image data obtained by the imaging unit 104a and the image data obtained by the imaging unit 104b (step S124). For example, when only the face exists in the image data obtained by the imaging unit 104a and only the body exists in the image data obtained by the imaging unit 104b, the image data obtained by the imaging unit 104a. It is determined that the human part is divided into both the image data obtained by the imaging unit 104b. The detection of the human torso is performed using a known method such as skin color detection or pattern matching. When it is determined in step S124 that the human part is divided into the two image data, the control unit 122 displays the image data obtained by the imaging unit 104a and the imaging unit 104b by shooting, as shown in FIG. As shown in FIG. 9, an image file is created based on the image data synthesized by the image processing unit 106, and the created image file is recorded in the recording unit 112 (step S125). When it is determined in step S124 that the human part is not divided into the two image data, the control unit 122 creates an image file based on the image data obtained by the imaging unit 104a by photographing, and creates the created image. The file is recorded in the recording unit 112 (step S126). After recording the image file in step S125 or step S126, the control unit 122 shifts the process to step S113.
図１８は、電源オン制御について示したフローチャートである。電源オン制御においては、ユーザによる電源スイッチの操作がなくとも、ユーザの例えばポケットから撮像装置１００が取りだされる動作が検出されたときに、撮像装置１００の電源が自動的にオンされるような制御がなされる。電源オン制御の開始時において、制御部１２２は、電源制御のモードがモーションモードであるか否かを判定する（ステップＳ２０１）。モーションモードは、自動的に撮像装置１００の電源がオン又はオフされるように制御がなされるモードである。電源制御のモードをモーションモードとするか否かの切り替えは、ユーザのタッチパネル１１０の操作又は操作部１１４の操作によって行われる。 FIG. 18 is a flowchart showing power-on control. In the power-on control, even if the user does not operate the power switch, the power of the imaging device 100 is automatically turned on when an operation of removing the imaging device 100 from the user's pocket, for example, is detected. Control. At the start of power-on control, the control unit 122 determines whether or not the power control mode is the motion mode (step S201). The motion mode is a mode in which control is performed so that the power of the imaging apparatus 100 is automatically turned on or off. Switching between the power control mode and the motion mode is performed by the user's operation on the touch panel 110 or the operation unit 114.
ステップＳ２０１において電源制御のモードがモーションモードでないと判定した場合に、制御部１２２は、ユーザによる電源スイッチのオン操作がなされたか否かを判定する（ステップＳ２０２）。ステップＳ２０２において電源スイッチのオン操作がなされていないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。この場合、電源のオフ状態が継続される。ステップＳ２０２において電源スイッチのオン操作がなされたと判定した場合に、制御部１２２は、図１で示した撮像装置１００の各ブロックの電源をオンさせる（ステップＳ２０３）。その後、制御部１２２は、処理をステップＳ１０２に移行させる。 When it is determined in step S201 that the power control mode is not the motion mode, the control unit 122 determines whether or not the user has turned on the power switch (step S202). If it is determined in step S202 that the power switch is not turned on, the control unit 122 returns the process to step S201. In this case, the power-off state is continued. When it is determined in step S202 that the power switch is turned on, the control unit 122 turns on the power of each block of the imaging device 100 illustrated in FIG. 1 (step S203). Thereafter, the control unit 122 shifts the process to step S102.
ステップＳ２０１において電源制御のモードがモーションモードであると判定した場合に、制御部１２２は、姿勢検出部１１６の電源をオンさせ、その他のブロックの電源をオフさせる（ステップＳ２０４）。続いて、制御部１２２は、姿勢検出部１１６の出力から、重力と逆方向の加速度が撮像装置１００に発生したか否かを判定する（ステップＳ２０５）。図１６の状況でユーザＵがポケットから撮像装置１００を取り出すとすると、撮像装置１００には矢印Ａで示すような加速度が発生する。ステップＳ２０５の判定は、矢印Ａで示すうちの重力と逆向き、すなわち上向きの加速度が発生しているかを判定する処理である。ステップＳ２０５において重力と逆向きの加速度が撮像装置１００に発生していないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。 When determining in step S201 that the power control mode is the motion mode, the control unit 122 turns on the power of the posture detection unit 116 and turns off the power of the other blocks (step S204). Subsequently, the control unit 122 determines from the output of the posture detection unit 116 whether or not an acceleration in the direction opposite to gravity has occurred in the imaging apparatus 100 (step S205). If the user U takes out the imaging device 100 from the pocket in the situation of FIG. 16, an acceleration as indicated by an arrow A occurs in the imaging device 100. The determination in step S205 is a process of determining whether acceleration is generated in the direction opposite to the gravity indicated by the arrow A, that is, upward. If it is determined in step S205 that acceleration in the direction opposite to gravity has not occurred in the imaging apparatus 100, the control unit 122 returns the process to step S201.
ステップＳ２０５において重力と逆向きの加速度が撮像装置１００に発生していると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、重力と直交する向きの加速度が撮像装置１００に発生したか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定は、矢印Ａで示すうちの重力と直交する向き、すなわち地表と平行な平面方向（図１６の例ではユーザＵの背後に向かう向き）の加速度が発生しているかを判定する処理である。ステップＳ２０６において重力と直交する向きの加速度が撮像装置１００に発生していないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。 When it is determined in step S <b> 205 that acceleration in the direction opposite to gravity is generated in the imaging apparatus 100, the control unit 122 generates acceleration in the direction orthogonal to gravity from the output of the attitude detection unit 116. It is determined whether or not (step S206). The determination in step S206 is a process for determining whether acceleration in a direction orthogonal to the gravity indicated by the arrow A, that is, in a plane direction parallel to the ground surface (direction toward the back of the user U in the example of FIG. 16) is generated. It is. If it is determined in step S206 that acceleration in a direction orthogonal to gravity is not generated in the imaging apparatus 100, the control unit 122 returns the process to step S201.
ステップＳ２０６において重力と直交する向きの加速度が撮像装置１００に発生していると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、撮像装置１００の姿勢が固定されたか否かを判定する（ステップＳ２０７）。姿勢が固定されたことは、例えば姿勢検出部１１６で検出される加速度が所定時間（例えば５秒程度）変化しないことから判定する。ステップＳ２０７において姿勢が固定されていないと判定した場合に、制御部１２２は、処理をステップＳ２０１に戻す。 When it is determined in step S206 that acceleration in a direction orthogonal to gravity is generated in the imaging apparatus 100, the control unit 122 determines whether the attitude of the imaging apparatus 100 is fixed based on the output of the attitude detection unit 116. Determination is made (step S207). Whether the posture is fixed is determined because, for example, the acceleration detected by the posture detection unit 116 does not change for a predetermined time (for example, about 5 seconds). When determining in step S207 that the posture is not fixed, the control unit 122 returns the process to step S201.
ステップＳ２０７において姿勢が固定されたと判定した場合に、制御部１２２は、タッチパネル１１０の電源をオンさせる（ステップＳ２０８）。その後、制御部１２２は、処理をステップＳ１１７に移行させる。ステップＳ２０５からステップＳ２０７の判定により、ユーザが撮像装置１００をポケットから取り出すような動作をしていると推定される。このとき、図１６のような撮影が行われる可能性を想定して本実施形態では、ステップＳ２０５からステップＳ２０７の何れの判定でもＹｅｓであるとの判定がされた場合には、タッチパネル１１０の電源をオンさせた後、直ちにステップＳ１１７の判定が行われる。これにより、ユーザは、図１６のような状況において電源スイッチ及びレリーズボタンといった操作部を操作することなく撮影を行うことが可能である。 When it is determined in step S207 that the posture is fixed, the control unit 122 turns on the touch panel 110 (step S208). Thereafter, the control unit 122 shifts the process to step S117. Based on the determination from step S205 to step S207, it is estimated that the user is performing an operation of taking out the imaging device 100 from the pocket. At this time, assuming that there is a possibility of shooting as shown in FIG. 16, in this embodiment, if it is determined Yes in any of the determinations from Step S <b> 205 to Step S <b> 207, Immediately after turning on, the determination in step S117 is performed. As a result, the user can take an image without operating the operation unit such as the power switch and the release button in the situation shown in FIG.
図１９は、電源オフ制御について示したフローチャートである。電源オフ制御においては、ユーザによる電源スイッチの操作がなくとも、所定時間の経過によって撮像装置１００の電源が自動的にオフされるような制御がなされる。電源オフ制御の開始時において、制御部１２２は、ユーザによる電源スイッチのオフ操作がなされたか否かを判定する（ステップＳ３０１）。ステップＳ３０１において電源スイッチのオフ操作がなされたと判定した場合に、制御部１２２は、図１で示した撮像装置１００の各ブロックの電源をオフさせる（ステップＳ３０２）。撮像装置１００の各ブロックの電源をオフさせた後、制御部１２２は、電源オフ制御を終了させる。ここで、電源をオフさせた後でも電源オン制御が行われるように、制御部１２２の必要な部分の電源はオン状態となっている。 FIG. 19 is a flowchart showing power-off control. In the power-off control, control is performed so that the power of the imaging apparatus 100 is automatically turned off after a predetermined time has elapsed even if the user does not operate the power switch. At the start of the power-off control, the control unit 122 determines whether or not the user has performed an operation to turn off the power switch (step S301). When it is determined in step S301 that the power switch is turned off, the control unit 122 turns off the power of each block of the imaging apparatus 100 illustrated in FIG. 1 (step S302). After turning off the power of each block of the imaging apparatus 100, the control unit 122 ends the power-off control. Here, the power of the necessary part of the control unit 122 is in an on state so that the power on control is performed even after the power is turned off.
ステップＳ３０１においてユーザによる電源スイッチのオフ操作がなされていないと判定した場合に、制御部１２２は、電源制御のモードがモーションモードであるか否かを判定する（ステップＳ３０３）。ステップＳ３０３において電源制御のモードがモーションモードであると判定した場合に、制御部１２２は、姿勢検出部１１６の出力から、撮像装置１００の姿勢の固定が解除されてから所定時間（例えば５秒）が経過したか否かを判定する（ステップＳ３０４）。ステップＳ３０４において撮像装置１００の姿勢の固定が解除されてから所定時間が経過していないと判定した場合に、制御部１２２は、処理をステップＳ１１７に移行させる。この場合には、ユーザがまだ撮影の意図があるとして撮像装置１００の電源をオン状態のままにしておく。ステップＳ３０４において撮像装置１００の姿勢の固定が解除されてから所定時間が経過したと判定した場合に、制御部１２２は、処理をステップＳ２０４に移行させる。この場合には、モーションモードである場合の電源オン制御がなされる。 If it is determined in step S301 that the user has not turned off the power switch, the control unit 122 determines whether the power control mode is the motion mode (step S303). When it is determined in step S303 that the power control mode is the motion mode, the control unit 122 determines a predetermined time (for example, 5 seconds) after the posture of the imaging apparatus 100 is released from the output of the posture detection unit 116. It is determined whether or not elapses (step S304). If it is determined in step S304 that the predetermined time has not elapsed since the fixing of the posture of the imaging apparatus 100 was released, the control unit 122 shifts the process to step S117. In this case, it is assumed that the user still intends to shoot, and the power supply of the imaging apparatus 100 is left on. If it is determined in step S304 that the predetermined time has elapsed since the fixing of the posture of the imaging apparatus 100 was released, the control unit 122 shifts the processing to step S204. In this case, power-on control in the motion mode is performed.
ステップＳ３０３において電源のモードがモーションモードでないと判定した場合に、制御部１２２は、無操作状態で所定時間（例えば１分）が経過したか否かを判定する（ステップＳ３０５）。ステップＳ３０５において無操作状態で所定時間が経過していないと判定した場合に、制御部１２２は、処理をステップＳ１０２に戻す。この場合には、撮像装置１００の電源はオン状態のままである。ステップＳ３０５において無操作状態で所定時間が経過したと判定した場合に、制御部１２２は、処理をステップＳ３０２に移行させる。この場合には、撮像装置１００の各ブロックの電源がオフされる。 When it is determined in step S303 that the power source mode is not the motion mode, the control unit 122 determines whether or not a predetermined time (for example, 1 minute) has passed in a no-operation state (step S305). When it is determined in step S305 that the predetermined time has not elapsed in the non-operation state, the control unit 122 returns the process to step S102. In this case, the power supply of the imaging device 100 remains on. If it is determined in step S305 that the predetermined time has elapsed in the no-operation state, the control unit 122 shifts the process to step S302. In this case, the power supply of each block of the imaging device 100 is turned off.
以上説明したように本実施形態では、通常の光学系１０２ａと全方位光学系１０２ｂの２種類の光学系が撮像装置１００に設けられている。このため、本実施形態では、通常撮影に加えて、撮像装置１００の姿勢に応じた異なる２種類の自分撮りを行うことが可能である。すなわち、全身自分撮りでは、ユーザの顔部だけでなく、全身を撮影することが可能である。また、全方位撮影では、撮像装置１００の周囲の３６０度方位の画像を得ることができる。したがって、撮像装置１００の周囲を囲む複数の被写体を同時に撮影することが可能である。さらに、本実施形態では、全方位撮影の際に得られた円環状の画像データを帯状の画像データに変換して記録することもできる。もちろん、この実施形態に限らず、「自分撮り」と書いた部分は、必ずしもそれにとどまらず、自分の方向を撮影した背面撮影、ノールック撮影であっても、同様の効果を奏することは言うまでもない。 As described above, in the present embodiment, the imaging apparatus 100 is provided with two types of optical systems, the normal optical system 102a and the omnidirectional optical system 102b. For this reason, in this embodiment, it is possible to perform two different types of self-taking depending on the posture of the imaging apparatus 100 in addition to the normal shooting. That is, in the whole body selfie, it is possible to photograph not only the user's face but also the whole body. In omnidirectional imaging, an image with a 360-degree azimuth around the imaging apparatus 100 can be obtained. Therefore, it is possible to simultaneously photograph a plurality of subjects surrounding the imaging device 100. Furthermore, in the present embodiment, the annular image data obtained at the time of omnidirectional imaging can be converted into band-shaped image data and recorded. Of course, the present invention is not limited to this embodiment, but the part written as “self-portrait” does not necessarily have to be the same, and it goes without saying that the same effect can be achieved even in rear-view shooting and Noorok shooting in which one's direction is shot.
また、全身自分撮りの際等に、ユーザが操作部１１４を操作できなくなるような状況が生じ得る。本実施形態では、ユーザが操作部１１４を操作できないような図１６の状況を撮像装置１００の姿勢の変化から判定し、図１６の状況であると推定される場合にはタッチパネル１１０による撮影操作を可能としている。さらに、図１６のような状況では電源スイッチの操作も困難であることから、本実施形態では、図１６のような状況であると推定される場合には撮像装置１００の電源が自動でオン又はオフされるようにしている。これにより、ユーザは、図１６のような操作部１１４の操作が困難な状況でも撮影操作を行うことが可能である。なお、図１６のような自分撮りの際には、撮像部１０４ａ又は撮像部１０４ｂで得られる画像データに、撮像装置１００を持っているユーザＵの手が写ることが想定される。このため、ステップＳ１１７の判定に代えて画像データ中で手が検出された場合には、図１６のような状況であると判定するようにしても良い。また、単純にユーザＵの顔が検出された場合には、図１６のような状況であると判定するようにしても良い。 In addition, a situation may occur in which the user cannot operate the operation unit 114 when taking a self-portrait. In the present embodiment, the situation of FIG. 16 in which the user cannot operate the operation unit 114 is determined from the change in posture of the imaging apparatus 100, and when it is estimated that the situation of FIG. It is possible. Further, since it is difficult to operate the power switch in the situation as shown in FIG. 16, in this embodiment, when it is estimated that the situation as shown in FIG. Try to be turned off. Thereby, the user can perform a shooting operation even in a situation where the operation of the operation unit 114 as shown in FIG. 16 is difficult. In the case of self-shooting as shown in FIG. 16, it is assumed that the hand of the user U holding the imaging device 100 is captured in the image data obtained by the imaging unit 104a or the imaging unit 104b. For this reason, instead of the determination in step S117, when a hand is detected in the image data, it may be determined that the situation is as shown in FIG. Further, when the face of the user U is simply detected, it may be determined that the situation is as shown in FIG.
また、本実施形態では、通常撮影や全身自分撮りの際に光学系１０２ａを介して得られた画像データと全方位光学系１０２ｂを介して得られた画像データとが合成され得る。これにより、光学系１０２ａのみでは得られないような広視野の画像を得ることが可能である。 In the present embodiment, the image data obtained through the optical system 102a and the image data obtained through the omnidirectional optical system 102b can be combined during normal photographing or whole body self-taking. As a result, it is possible to obtain a wide-field image that cannot be obtained by the optical system 102a alone.
また、本実施形態では、発光方向の異なる２つのフラッシュが撮像装置１００に設けられている。これにより、撮像装置１００の姿勢に応じた適切なフラッシュを選択して被写体を照明することが可能である。 In the present embodiment, two flashes having different light emission directions are provided in the imaging apparatus 100. Accordingly, it is possible to illuminate the subject by selecting an appropriate flash according to the posture of the imaging apparatus 100.
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図２０は、本発明の第２の実施形態に係る撮像装置の一例としての構成を示すブロック図である。図２０においては、図１と同一の部分については図１と同一の参照符号を付すことによって説明を省略する。第２の実施形態に係る撮像装置１００は、光学系１０２ａ及び全方位光学系１０２ｂの代わりに魚眼光学系１０２ｃを有している。魚眼光学系１０２ｃは、前面に大型の凹レンズを有し、この凹レンズによって光軸を天頂とする全天からの光束を撮像部１０４に入射させるように構成されている。魚眼光学系１０２ｃは、全方位光学系１０２ｂとは異なり、図２１の左部で示すような円状の像を撮像部１０４の撮像素子上に結像させる。言い換えれば、第２の実施形態においては、撮像素子の中央部にも光束が結像される。したがって、第２の実施形態では２つの光学系は不要である。このため、撮像部も１つで良い。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 20 is a block diagram illustrating a configuration as an example of an imaging apparatus according to the second embodiment of the present invention. In FIG. 20, the same parts as those in FIG. 1 are denoted by the same reference numerals as those in FIG. The imaging apparatus 100 according to the second embodiment includes a fish-eye optical system 102c instead of the optical system 102a and the omnidirectional optical system 102b. The fish-eye optical system 102c has a large concave lens on the front surface, and is configured so that a light beam from the whole sky having the optical axis as the zenith is incident on the imaging unit 104 by the concave lens. Unlike the omnidirectional optical system 102b, the fish-eye optical system 102c forms a circular image as shown on the left side of FIG. In other words, in the second embodiment, a light beam is also imaged at the center of the image sensor. Therefore, in the second embodiment, two optical systems are unnecessary. For this reason, one imaging part is sufficient.
次に、本実施形態に係る撮像装置１００の動作を説明する。第２の実施形態における撮像装置１００の基本的な動作は、第１の実施形態で説明したもの同様である。すなわち、第２の実施形態においても、ユーザが撮像装置１００の構え方を変更することにより、通常撮影と、全身自分撮り（或いは、背面撮影）と、全方位撮影の３種類の撮影を行うことが可能である。第１の実施形態と異なる点は、魚眼光学系１０２ｃが用いられることにより、第１の実施形態のような画像合成処理を行わなくとも広視野の画像を得ることができる点である。ただし、画像の端には大きな歪みが残る。したがって、例えば、通常撮影の場合には、比較的に歪みが小さくなる領域である、イメージサークル（魚眼光学系１０２ｃによって有効と見なせる輝度の像が結像される範囲）Ｉに内接する矩形領域Ａ１の画像データ（対角画像データ）を切り出してから記録することが望ましい。これに対し、全身自分撮りや全方位撮影の場合には切り出しを行わずに全領域Ａ２の画像データ（全周画像データ）を記録することが望ましい。勿論、対角画像データを記録するか全周画像データを記録するかがユーザによって選択されても良い。 Next, the operation of the imaging apparatus 100 according to the present embodiment will be described. The basic operation of the imaging apparatus 100 in the second embodiment is the same as that described in the first embodiment. That is, also in the second embodiment, when the user changes the way the imaging apparatus 100 is held, three types of shooting are performed: normal shooting, whole body selfie (or rear shooting), and omnidirectional shooting. Is possible. The difference from the first embodiment is that the fish-eye optical system 102c is used, so that an image with a wide field of view can be obtained without performing image synthesis processing as in the first embodiment. However, large distortion remains at the edge of the image. Therefore, for example, in the case of normal shooting, a rectangular area that is inscribed in an image circle I (an area in which an image of luminance that can be regarded as effective by the fisheye optical system 102c) I is an area in which distortion is relatively reduced. It is desirable that the image data (diagonal image data) of A1 is cut out and recorded. On the other hand, in the case of whole body self-portrait or omnidirectional shooting, it is desirable to record the image data (all-round image data) of the entire area A2 without performing the clipping. Of course, the user may select whether to record diagonal image data or all-round image data.
また、第２の実施形態において図２２に示すような全方位撮影が行われた際には、撮影により得られた円状画像データを帯状画像データに変換する画像変換処理が行われ得る。ここで、第２の実施形態では、帯状画像データを生成する際の画像データの切り出し範囲が変更されて良い。例えば、図２３（ａ）は、外周がイメージサークルＩと一致しており、内周が所定の長さＢ１であるように円環状の切り出し範囲が設定された例を示す図である。また、図２３（ｂ）は、外周がイメージサークルＩの周と一致しており、内周がＢ１よりも短い周Ｂ２であるように円環状の切り出し範囲が設定された例を示す図である。例えば、全方位撮影が行われた場合、全周画像データの中央部は空等が写っている可能性が高い。したがって、中央部は必ずしもなくとも良い。一方、円環状の切り出し範囲内には少なくとも被写体の顔が存在していることが望ましい。このため、コントラストの有無や顔の有無に応じて円環状の切り出し範囲が設定されることが望ましい。 Further, in the second embodiment, when omnidirectional shooting as shown in FIG. 22 is performed, an image conversion process for converting circular image data obtained by shooting into band-shaped image data can be performed. Here, in the second embodiment, the cutout range of the image data when generating the band-shaped image data may be changed. For example, FIG. 23A is a diagram illustrating an example in which an annular cutout range is set such that the outer periphery coincides with the image circle I and the inner periphery has a predetermined length B1. FIG. 23B is a diagram showing an example in which an annular cut-out range is set such that the outer circumference coincides with the circumference of the image circle I and the inner circumference is a circumference B2 shorter than B1. . For example, when omnidirectional shooting is performed, there is a high possibility that the sky or the like is reflected in the central portion of the all-round image data. Therefore, the central portion is not necessarily required. On the other hand, it is desirable that at least the face of the subject exists within the annular cutout range. For this reason, it is desirable to set an annular cutout range according to the presence or absence of contrast or the presence or absence of a face.
さらに、円環状の切り出し範囲の内周の長さは、帯状画像を生成する際の内周の拡大率に応じても設定されることが望ましい。図２４（ａ）に示すように、円環状の画像データの内周側の径をＲ１とし、外周側の径をＲ０としたとき、内周の長さｌ１は２π×Ｒ１であり、外周の長さｌ０は２π×Ｒ０になる。ここで、ｌ１＜ｌ０である。このような円環状の画像データを帯状の画像データに変換するためには、図２４（ｂ）に示すように内周側をｋ（＝Ｒ０/Ｒ１）倍の拡大率で拡大する必要がある。拡大は、線形補間等の周知の手法が用いられる。一般に拡大率が大きくなると画質が劣化する。このため、内周側だけ大きな拡大率で拡大が行われると帯状画像データの上側と下側とで画質の差が大きくなり、ユーザに対して違和感を与える可能性がある。したがって、ｋに上限を設けておき、ｋが上限を超えない範囲内で被写体が大きく写るように内周の長さを設定する。例えば、図２４（ｃ）に示すような仰角４５度のときのｋであるｋ＝２を上限にする。 Furthermore, it is desirable that the length of the inner circumference of the annular cutout range is set according to the enlargement ratio of the inner circumference when generating the band-shaped image. As shown in FIG. 24A, when the diameter on the inner circumference side of the annular image data is R1 and the diameter on the outer circumference side is R0, the inner circumference length l1 is 2π × R1, The length l0 is 2π × R0. Here, l1 <l0. In order to convert such annular image data into band-shaped image data, it is necessary to enlarge the inner circumference side at an enlargement ratio of k (= R0 / R1) as shown in FIG. . For the enlargement, a known method such as linear interpolation is used. In general, image quality deteriorates as the enlargement ratio increases. For this reason, if the enlargement is performed only on the inner circumference side, the difference in image quality between the upper side and the lower side of the band-shaped image data becomes large, which may give the user a sense of incongruity. Therefore, an upper limit is set for k, and the length of the inner circumference is set so that the subject appears large within a range where k does not exceed the upper limit. For example, the upper limit is k = 2, which is k when the elevation angle is 45 degrees as shown in FIG.
以上説明したように本実施形態では、魚眼光学系を用いることにより、複数の光学系を用いることなく、第１の実施形態と同様の効果を得ることが可能である。 As described above, in this embodiment, by using a fish-eye optical system, it is possible to obtain the same effect as that of the first embodiment without using a plurality of optical systems.
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、民生用、業務用カメラ（撮影装置）にとどまらず、安全確認装置や、モバイル監視装置、検査装置等の表示を重視した表示装置への応用ができることは言うまでもない。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。 Although the present invention has been described above based on the embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention. For example, it goes without saying that the present invention can be applied not only to consumer and business cameras (imaging devices) but also to display devices that place importance on the display of safety confirmation devices, mobile monitoring devices, inspection devices, and the like. Further, in the description of each operation flowchart described above, the operation is described using “first”, “next”, and the like for convenience, but this does not mean that it is essential to perform the operations in this order. Absent.
また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部１２２に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１２２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。 In addition, each processing method performed by the imaging apparatus according to the above-described embodiment, that is, the processing illustrated in each flowchart is stored as a program that can be executed by the control unit 122. This program is stored in a storage medium of an external storage device such as a memory card (ROM card, RAM card, etc.), magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disc (CD-ROM, DVD, etc.), semiconductor memory, etc. Can be stored and distributed. And the control part 122 can perform the process mentioned above by reading the program memorize | stored in the storage medium of this external storage device, and operation | movement being controlled by this read program.
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
１００…撮像装置、１０２ａ…光学系、１０２ｂ…全方位光学系、１０２ｃ…魚眼光学系、１０４，１０４ａ，１０４ｂ…撮像部、１０６…画像処理部、１０８…表示部、１１０…タッチパネル、１１２…記録部、１１４…操作部、１１４ａ…レリーズボタン、１１６…姿勢検出部、１１８…顔検出部、１２０ａ，１２０ｂ…フラッシュ、１２２…制御部、１０２１ｂ…自由曲面レンズ、１０２２ｂ…結像レンズ群 DESCRIPTION OF SYMBOLS 100 ... Imaging device, 102a ... Optical system, 102b ... Omni-directional optical system, 102c ... Fish eye optical system, 104, 104a, 104b ... Imaging part, 106 ... Image processing part, 108 ... Display part, 110 ... Touch panel, 112 ... Recording unit 114... Operation unit 114 a Release button 116. Posture detection unit 118 Face detection unit 120 a 120 b Flash 122 Control unit 1021 b Free-form lens 1022 b Imaging lens group
Claims (5)
前記所定範囲の周辺の３６０度方位の光束を結像させる第２の光学系と、
前記第１の光学系によって結像された光束に応じた第１の画像データを得る第１の撮像部と、
前記第２の光学系によって結像された光束に応じた第２の画像データを得る第２の撮像部と、
前記第１の画像データと前記第２の画像データとを合成して被写体に係る合成画像データを得る画像合成処理部と、
を具備することを特徴とする撮像装置。 A first optical system that forms an image of a light beam in a predetermined range centered on the optical axis;
A second optical system that forms an image of a light beam having a 360-degree azimuth around the predetermined range;
A first imaging unit for obtaining first image data corresponding to a light beam imaged by the first optical system;
A second imaging unit for obtaining second image data corresponding to the light beam imaged by the second optical system;
An image composition processing unit that combines the first image data and the second image data to obtain composite image data relating to a subject;
An imaging apparatus comprising:
前記撮像装置は、前記第１の光学系及び第２の光学系の側であって前記第１の光学系及び前記第２の光学系に触れない前記本体における位置と、前記本体の前記第１の光学系及び第２の光学系の側とは異なる背面の位置とに指を接触させて片手で持って撮影を行うことが可能であることを特徴とする請求項１に記載の撮像装置。 The second optical system protrudes from the main body of the imaging device,
The imaging apparatus is located on the side of the first optical system and the second optical system and does not touch the first optical system and the second optical system, and the first of the main body. The imaging apparatus according to claim 1, wherein photographing can be performed by bringing a finger into contact with a position on the back surface different from the optical system side and the second optical system side and holding the finger with one hand.
前記姿勢検出部によって検出された前記撮像装置の姿勢により、前記第１の光学系及び第２の光学系の光軸が地表に対して平行であるか否かを判定する制御部と、
をさらに具備することを特徴とする請求項１に記載の撮像装置。 An attitude detection unit for detecting the attitude of the imaging device;
A control unit that determines whether or not the optical axes of the first optical system and the second optical system are parallel to the ground surface based on the posture of the imaging apparatus detected by the posture detection unit;
The imaging apparatus according to claim 1, further comprising:
前記第１の画像データと前記第２の画像データとを合成して被写体に係る合成画像データを得ることを特徴とする撮像方法。 A first optical system that forms an image of a light beam in a predetermined range centered on the optical axis, a second optical system that forms an image of a light beam having a 360-degree azimuth around the predetermined range, and the first optical system. A first imaging unit for obtaining first image data corresponding to the imaged light beam; a second imaging unit for obtaining second image data corresponding to the light beam imaged by the second optical system; An imaging method using an imaging device comprising:
An imaging method comprising: synthesizing the first image data and the second image data to obtain synthesized image data relating to a subject.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017089931A JP2017175635A (en) | 2017-04-28 | 2017-04-28 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017089931A JP2017175635A (en) | 2017-04-28 | 2017-04-28 | Imaging apparatus and imaging method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013111775A Division JP6139984B2 (en) | 2013-05-28 | 2013-05-28 | Imaging apparatus and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017175635A true JP2017175635A (en) | 2017-09-28 |
Family
ID=59972271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017089931A Pending JP2017175635A (en) | 2017-04-28 | 2017-04-28 | Imaging apparatus and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017175635A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043502A (en) * | 2005-08-03 | 2007-02-15 | Sony Corp | Image pickup device |
| JP2009015313A (en) * | 2007-06-05 | 2009-01-22 | Yamaha Corp | Camera system |
| JP2009044403A (en) * | 2007-08-08 | 2009-02-26 | Olympus Corp | Image pick-up apparatus |
| JP2010088105A (en) * | 2008-09-08 | 2010-04-15 | Sony Corp | Imaging apparatus and method, and program |
| JP2011114496A (en) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | Imaging apparatus |
| JP2011182176A (en) * | 2010-03-01 | 2011-09-15 | Toyama Univ | Wide viewing angle image processing method, and wide viewing angle image photographing device |
-
2017
- 2017-04-28 JP JP2017089931A patent/JP2017175635A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043502A (en) * | 2005-08-03 | 2007-02-15 | Sony Corp | Image pickup device |
| JP2009015313A (en) * | 2007-06-05 | 2009-01-22 | Yamaha Corp | Camera system |
| JP2009044403A (en) * | 2007-08-08 | 2009-02-26 | Olympus Corp | Image pick-up apparatus |
| JP2010088105A (en) * | 2008-09-08 | 2010-04-15 | Sony Corp | Imaging apparatus and method, and program |
| JP2011114496A (en) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | Imaging apparatus |
| JP2011182176A (en) * | 2010-03-01 | 2011-09-15 | Toyama Univ | Wide viewing angle image processing method, and wide viewing angle image photographing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4829855B2 (en) | Image projection apparatus and control method thereof | |
| WO2014192640A1 (en) | Image-capturing device and method for capturing image | |
| KR102235231B1 (en) | Imaging control apparatus and control method therefor | |
| JP6071436B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2011211541A (en) | Imaging device, method for controlling the same, program, and recording medium | |
| KR102661185B1 (en) | Electronic device and method for obtaining images | |
| US11843852B2 (en) | Imaging apparatus for generating image from first image corresponding to first field of view and second image corresponding to second field of view | |
| US20200029111A1 (en) | Display control apparatus, control method for display control apparatus, and non-transitory computer readable medium | |
| JP2005236746A (en) | Portable projector | |
| JP2012235225A (en) | Imaging apparatus and image data recording method | |
| JP2006060584A (en) | Digital camera | |
| JP2010109477A (en) | Imaging apparatus, control method thereof and program | |
| JP6501832B2 (en) | Photography apparatus, control method for photography apparatus, and control program for photography apparatus | |
| JP6139984B2 (en) | Imaging apparatus and imaging method | |
| JP6278636B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2015061311A (en) | Imaging apparatus and control method therefor | |
| JP2010068071A (en) | Imaging device and method, image processor and method, and image processing program | |
| JP2017175635A (en) | Imaging apparatus and imaging method | |
| JP2007195099A (en) | Photographing apparatus | |
| JP5623247B2 (en) | Imaging apparatus and control method thereof | |
| JP2010148028A (en) | Observation instrument | |
| US20240196097A1 (en) | Image capturing apparatus, control method therefor, and storage medium storing program | |
| US20230300469A1 (en) | Image capture apparatus and control method therefor | |
| JP2020016883A (en) | Image capture device | |
| JP2022040184A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180925 |