JP2012186600A - Imaging device, imaging method, and program - Google Patents

Imaging device, imaging method, and program Download PDF

Info

Publication number
JP2012186600A
JP2012186600A JP2011047433A JP2011047433A JP2012186600A JP 2012186600 A JP2012186600 A JP 2012186600A JP 2011047433 A JP2011047433 A JP 2011047433A JP 2011047433 A JP2011047433 A JP 2011047433A JP 2012186600 A JP2012186600 A JP 2012186600A
Authority
JP
Japan
Prior art keywords
image
unit
imaging
planar
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011047433A
Other languages
Japanese (ja)
Inventor
Nozomi Fujiwara
望 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2011047433A priority Critical patent/JP2012186600A/en
Publication of JP2012186600A publication Critical patent/JP2012186600A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform imaging for a planar image when a subject is suitable for the imaging for a planar image and perform imaging for a stereoscopic image when the subject is suitable for the imaging for a stereoscopic image.SOLUTION: An imaging device has: a stereoscopic imaging unit 111 capturing a stereoscopic image formed by respective beams of object light incoming from two objective systems; a planar imaging unit 112 capturing a planar image formed by object light incoming from one objective system; an unevenness information extraction unit 114 performing predetermined image processing to an image formed by object light incoming from at least one objective system to extract unevenness information that indicates features of a subject in the image; and an image recording unit 116 recording the stereoscopic image captured by the stereoscopic imaging unit 111 in a storage unit 117 when the unevenness information satisfies a predetermined condition, and recording the planar image captured by the planar imaging unit 112 in the storage unit 117 when the unevenness information does not satisfy the predetermined condition.

Description

本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置、撮像方法、及びプログラムに関する。   The present invention relates to an imaging apparatus including two or more objective systems as an optical system for imaging a subject, an imaging method, and a program.

近年、立体画像の撮像を行うことができる撮像装置の開発が進んでいる。立体画像の撮像は、２つの対物系から入射するそれぞれの物体光により形成される視差を有する２つの平面画像を撮像することで行われる。なお、立体画像は、視差を有する２つの平面画像によって形成されるので、平面画像よりデータ量が多くなる。
また、近年は記憶装置の大容量化が進んでいるが、撮像装置に設けられるような小型の記憶装置の容量はＰＣ等に設けられる記憶装置と比較して容量が小さい。そのため、視差が小さいために立体感が少なくなる遠景の撮像時や、ポスターやメモなど平面的なものを撮像する場合には、立体画像ではなく平面画像を撮像することで画像のデータ量を減らしたいという要望もある。 In recent years, development of an imaging apparatus capable of capturing a stereoscopic image has progressed. A stereoscopic image is picked up by picking up two planar images having parallax formed by respective object lights incident from two objective systems. Note that since the stereoscopic image is formed by two planar images having parallax, the data amount is larger than that of the planar image.
In recent years, the capacity of storage devices has been increased. However, the capacity of a small storage device provided in an imaging device is smaller than that of a storage device provided in a PC or the like. Therefore, when shooting a distant view where the stereoscopic effect is low due to the small parallax, or when shooting a flat object such as a poster or memo, the amount of image data is reduced by capturing a flat image instead of a stereoscopic image. There is also a demand for it.

このような要望を充足する方法としては、立体画像の撮像と平面画像の撮像を切り替えるボタンを撮像装置に設けることが考えられる。
なお、特許文献１、特許文献２には、立体画像の撮像と平面画像の撮像とを自動的に切り替える撮像装置の技術が開示されている。特許文献１には、平常時には２つの対物系を用いて立体画像の撮像を行い、２つの対物系のうち何れか一方が故障した場合に、故障していない方の対物系を用いて平面画像を撮像する技術が開示されている。また、特許文献２には、被写体が立体画像の撮像可能範囲から外れた場合に平面画像の撮像を行う技術が開示されている。 As a method for satisfying such a demand, it is conceivable that a button for switching between capturing a stereoscopic image and capturing a planar image is provided in the imaging apparatus.
Patent Documents 1 and 2 disclose the technology of an imaging apparatus that automatically switches between capturing a stereoscopic image and capturing a planar image. In Patent Document 1, a stereoscopic image is captured using two objective systems in a normal state, and when one of the two objective systems fails, a planar image is obtained using the objective system that has not failed. A technique for imaging is disclosed. Patent Document 2 discloses a technique for capturing a planar image when a subject deviates from a stereoscopic image capturing range.

特開２００１−１８８３１０号公報JP 2001-188310 A 特開２０１０−１６１４９２号公報JP 2010-161492 A

画像を撮像する度に、立体画像と平面画像とを切り替えることは利用者にとって面倒であるため、立体画像と平面画像との切り替えを自動的に行うことが好ましい。しかしながら、特許文献１に記載の方法では、２つの対物系がそれぞれ故障していない場合には、立体画像のみが撮像されることとなり、通常に使用している間は、データ量の削減効果は見込まれない。   Since it is troublesome for the user to switch between a stereoscopic image and a planar image each time an image is captured, it is preferable to automatically switch between a stereoscopic image and a planar image. However, in the method described in Patent Document 1, when the two objective systems are not out of order, only a stereoscopic image is picked up. Not expected.

また、特許文献２に記載の方法では、被写体となる主要動体と撮像装置との距離が近いために立体画像の生成に不向きである場合に、平面画像による撮像を行う。そのため、被写体が立体画像の撮像に向いているか否かに関わらず、通常は立体画像の撮像がなされることとなる。   Further, in the method described in Patent Document 2, when a main moving object that is a subject is close to the imaging device and is not suitable for generating a stereoscopic image, imaging with a planar image is performed. Therefore, a stereoscopic image is normally captured regardless of whether the subject is suitable for capturing a stereoscopic image.

本発明は上記の課題を解決するためになされたものであり、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部と、前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部とを備えることを特徴とする。   The present invention has been made to solve the above-described problem, and is an imaging device including two or more objective systems as an optical system for imaging a subject, and each object beam incident from the two objective systems. A stereoscopic imaging unit that captures a stereoscopic image to be formed, a planar imaging unit that captures a planar image formed by object light incident from one objective system, and an object light incident from the at least one objective system Subject information extraction unit that extracts subject information indicating the characteristics of the subject in the image by performing predetermined image processing on the image, and the stereoscopic imaging unit captures when the subject information satisfies a predetermined condition And an image recording unit that records the planar image captured by the planar imaging unit in the storage unit when the predetermined condition is not satisfied. The features.

また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、前記被写体との距離を測定する測距部と、前記測距部が測定した距離が所定の距離閾値以上である場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記測距部が測定した距離が前記距離閾値未満である場合に前記立体撮像部が撮像した立体画像を記憶部に前記記録する画像記録部とを備えることを特徴とする。   Further, the present invention is an imaging apparatus including two or more objective systems as an optical system for imaging a subject, and a stereoscopic imaging unit that captures a stereoscopic image formed by each object light incident from the two objective systems A planar imaging unit that captures a planar image formed by object light incident from one objective system, a ranging unit that measures the distance to the subject, and a distance measured by the ranging unit is a predetermined distance A planar image captured by the planar imaging unit when it is greater than or equal to a threshold is recorded in the storage unit, and a stereoscopic image captured by the stereoscopic imaging unit when the distance measured by the distance measuring unit is less than the distance threshold. And a storage unit including the image recording unit for recording.

また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を用いた撮像方法であって、被写体情報抽出部が前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出するステップと、前記被写体情報が所定の条件を満たす場合に、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部が撮像した立体画像を画像記録部が記憶部に記録するステップと、前記被写体情報が所定の条件を満たさない場合に、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部が撮像した平面画像を前記画像記録部が前記記憶部に記録するステップとを有することを特徴とする。   In addition, the present invention is an imaging method using an imaging apparatus including two or more objective systems as an optical system for imaging a subject, wherein the subject information extraction unit is formed by object light incident from the at least one objective system Extracting subject information indicating characteristics of the subject in the image by performing predetermined image processing on the image to be imaged, and entering from two objective systems when the subject information satisfies a predetermined condition When the image recording unit records the stereoscopic image captured by the stereoscopic imaging unit that captures a stereoscopic image formed by each object light in the storage unit, and when the subject information does not satisfy a predetermined condition, one objective And a step of recording the planar image captured by the planar imaging unit that captures the planar image formed by the object light incident from the system in the storage unit. It is characterized in.

また、本発明は、被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部、前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部、前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部として機能させるためのプログラムである。   In addition, the present invention provides an imaging apparatus including two or more objective systems as an optical system for imaging a subject, and a stereoscopic imaging unit that captures a stereoscopic image formed by each object light incident from the two objective systems. A planar imaging unit that captures a planar image formed by object light incident from one objective system, and the image formed by performing predetermined image processing on an image formed by object light incident from the at least one objective system A subject information extracting unit for extracting subject information indicating the characteristics of the subject in the case of recording a stereoscopic image captured by the stereoscopic imaging unit when the subject information satisfies a predetermined condition in a storage unit, and satisfying the predetermined condition When there is not, it is a program for functioning as an image recording part which records the plane image which the plane imaging part imaged in the storage part.

本発明によれば、被写体の特徴が所定の条件を満たすか否かによって、立体画像の撮像と平面画像の撮像とを切り替える。これにより、被写体が平面画像の撮像に適している場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。   According to the present invention, the imaging of a stereoscopic image and the imaging of a planar image are switched depending on whether the characteristics of the subject satisfy a predetermined condition. Accordingly, when the subject is suitable for capturing a planar image, a planar image can be captured, and when the subject is suitable for capturing a stereoscopic image, a stereoscopic image can be captured.

本発明の第１の実施形態による撮像装置の外観を示す概略図である。1 is a schematic diagram illustrating an appearance of an imaging apparatus according to a first embodiment of the present invention. 第１の実施形態による撮像装置の機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the function structure of the imaging device by 1st Embodiment. 第１の実施形態による撮像装置の動作を示すフローチャートである。3 is a flowchart illustrating an operation of the imaging apparatus according to the first embodiment. 第２の実施形態による撮像装置の機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the function structure of the imaging device by 2nd Embodiment. 第２の実施形態による撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device by 2nd Embodiment. 第３の実施形態による撮像装置の機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the function structure of the imaging device by 3rd Embodiment. 第３の実施形態による撮像装置の動作を示すフローチャートである。10 is a flowchart illustrating an operation of the imaging apparatus according to the third embodiment. 第４の実施形態による撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device by 4th Embodiment.

《第１の実施形態》
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態による撮像装置１００の外観を示す概略図である。
撮像装置１００は、立体撮像用対物系１０１と、平面撮像用対物系１０２と、シャッターボタン１０３と、ディスプレイ１０４と、操作ボタン１０５とを備える。
立体撮像用対物系１０１は、撮像装置１００を把持した際に被写体と対向する面（以下、対物面と記載する）に設けられた２つの対物系であり、当該２つの対物系は、撮像装置１００を把持した際に対物面の左側と右側とに位置するように配置されている。
平面撮像用対物系１０２は、撮像装置１００の筐体の対物面に設けられた１つの対物系である。
シャッターボタン１０３は、撮像装置１００を把持した際に筐体の上面となる面に設けられており、押下することで、撮像装置１００のコンピュータに画像の撮像を指示する。
ディスプレイ１０４は、撮像装置１００を把持した際に使用者と対向する面（以下、表示面と記載する）に設けられ、ライブビュー画像や撮像した画像のプレビューを表示する。なお、ディスプレイ１０４は、立体画像の表示を可能とする。なお、ライブビュー画像とは、撮像部からの出力をリアルタイムで処理し、ディスプレイ１０４に映し出すことでファインダーの代替とする画像のことである。
操作ボタン１０５は、撮像装置１００の筐体の表示面に設けられ、撮像装置１００の操作の入力を受け付ける。 << First Embodiment >>
Hereinafter, a first embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a schematic diagram showing an appearance of an imaging apparatus 100 according to the first embodiment of the present invention.
The imaging apparatus 100 includes a stereoscopic imaging objective system 101, a planar imaging objective system 102, a shutter button 103, a display 104, and an operation button 105.
The stereoscopic imaging objective system 101 is two objective systems provided on a surface (hereinafter referred to as an objective plane) that faces a subject when the imaging apparatus 100 is gripped, and the two objective systems are the imaging apparatus. They are arranged so as to be positioned on the left side and the right side of the object plane when 100 is gripped.
The planar imaging objective system 102 is one objective system provided on the objective surface of the housing of the imaging apparatus 100.
The shutter button 103 is provided on a surface that is an upper surface of the housing when the imaging device 100 is gripped, and when pressed, instructs the computer of the imaging device 100 to capture an image.
The display 104 is provided on a surface (hereinafter referred to as a display surface) that faces the user when the imaging apparatus 100 is held, and displays a live view image or a preview of the captured image. The display 104 can display a stereoscopic image. The live view image is an image that substitutes the viewfinder by processing the output from the imaging unit in real time and projecting it on the display 104.
The operation button 105 is provided on the display surface of the housing of the imaging apparatus 100 and receives an operation input of the imaging apparatus 100.

次に、撮像装置１００に備えられるコンピュータの機能を説明する。
図２は、第１の実施形態による撮像装置１００の機能構成を示す概略ブロック図である。
撮像装置１００は、立体撮像部１１１、平面撮像部１１２、表示部１１３、凹凸情報抽出部１１４（被写体情報抽出部）、測距部１１５、画像記録部１１６、記憶部１１７を備える。
立体撮像部１１１は、立体撮像用対物系１０１から入射するそれぞれの物体光により形成される立体画像を撮像する。
平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により形成される平面画像を撮像する。
なお、立体撮像部１１１及び平面撮像部１１２は、オートフォーカス機能を備えており、立体撮像用対物系１０１または平面撮像用対物系１０２を制御する。 Next, functions of a computer provided in the imaging apparatus 100 will be described.
FIG. 2 is a schematic block diagram illustrating a functional configuration of the imaging apparatus 100 according to the first embodiment.
The imaging apparatus 100 includes a stereoscopic imaging unit 111, a planar imaging unit 112, a display unit 113, a concavo-convex information extracting unit 114 (subject information extracting unit), a distance measuring unit 115, an image recording unit 116, and a storage unit 117.
The stereoscopic imaging unit 111 captures a stereoscopic image formed by each object light incident from the stereoscopic imaging objective system 101.
The planar imaging unit 112 captures a planar image formed by object light incident from the planar imaging objective system 102.
Note that the stereoscopic imaging unit 111 and the planar imaging unit 112 have an autofocus function, and control the stereoscopic imaging objective system 101 or the planar imaging objective system 102.

表示部１１３は、立体撮像部１１１によって撮像された画像を、ライブビュー画像として順次ディスプレイ１０４に表示させる。また、表示部１１３は、記憶部１１７が記憶する画像をディスプレイ１０４に表示させる。
凹凸情報抽出部１１４は、立体撮像部１１１から入力した立体画像を用いて被写体の凹凸の度合いを示す凹凸情報（被写体情報）を抽出する。被写体の凹凸の度合いの推定方法としては、例えば、画像の濃淡情報や陰影から推定する手法や、立体画像を構成する２つの平面画像の差分の大きさから推定する手法などが挙げられる。なお、凹凸情報としては、撮像装置１００と被写体との奥行き距離の最大値と最小値との差や、奥行き距離の平均値の差の絶対値の平均値や、奥行き距離の標準偏差などの値を用いると良い。 The display unit 113 causes the display 104 to sequentially display images captured by the stereoscopic imaging unit 111 as live view images. In addition, the display unit 113 displays the image stored in the storage unit 117 on the display 104.
The unevenness information extraction unit 114 uses the stereoscopic image input from the stereoscopic imaging unit 111 to extract unevenness information (subject information) indicating the degree of unevenness of the subject. Examples of the method for estimating the degree of unevenness of the subject include a method of estimating from the shade information and shading of the image, and a method of estimating from the magnitude of the difference between the two planar images constituting the stereoscopic image. As the unevenness information, values such as the difference between the maximum value and the minimum value of the depth distance between the imaging apparatus 100 and the subject, the average value of the absolute value of the difference in the average value of the depth distance, and the standard deviation of the depth distance It is good to use.

測距部１１５は、立体撮像部１１１のオートフォーカス機能を用いて撮像装置１００と被写体との距離を測定する。具体的には、立体撮像部１１１のオートフォーカス機能が、距離を測定した後に当該距離を用いて焦点を決定するものである場合、測距部１１５は、赤外線センサや超音波センサを用いて被写体との距離を測定し、当該距離の情報を立体撮像部１１１に出力する。他方、立体撮像部１１１のオートフォーカス機能が、実際に撮像した画像を用いて焦点を推定するものである場合（例えば、複数の焦点距離を用いて撮像し、画像のコントラストが最も高くなる画像を特定することで焦点を推定する方法など）、立体撮像部１１１による立体撮像用対物系１０１の制御情報を読み出し、当該制御情報から被写体との距離を推定する。   The distance measuring unit 115 measures the distance between the imaging device 100 and the subject using the autofocus function of the stereoscopic imaging unit 111. Specifically, when the autofocus function of the stereoscopic imaging unit 111 is to determine the focus using the distance after measuring the distance, the distance measuring unit 115 uses an infrared sensor or an ultrasonic sensor to detect the subject. And the distance information is output to the stereoscopic imaging unit 111. On the other hand, when the autofocus function of the stereoscopic imaging unit 111 is to estimate the focus using an actually captured image (for example, an image that is captured using a plurality of focal lengths and has the highest image contrast). The control information of the stereoscopic imaging objective system 101 by the stereoscopic imaging unit 111 is read out, and the distance to the subject is estimated from the control information.

画像記録部１１６は、凹凸情報及び距離情報を用いて、記憶部１１７に記録する画像として立体撮像部１１１が撮像した立体画像を用いるか、平面撮像部１１２が撮像した平面画像を用いるかを決定し、決定した画像を記憶部１１７に記録する。
記憶部１１７は、画像情報を記憶する。 The image recording unit 116 uses the unevenness information and the distance information to determine whether to use the stereoscopic image captured by the stereoscopic imaging unit 111 or the planar image captured by the planar imaging unit 112 as an image to be recorded in the storage unit 117. The determined image is recorded in the storage unit 117.
The storage unit 117 stores image information.

次に、撮像装置１００の動作について説明する。
図３は、本発明の第１の実施形態による撮像装置１００の動作を示すフローチャートである。
ユーザが撮像装置１００を操作することで、撮像装置１００が撮像動作を開始すると、表示部１１３は、立体撮像部１１１が撮像している画像をライブビュー画像としてディスプレイ１０４に表示させる。このとき、立体撮像部１１１は、オートフォーカスによりライブビュー画像の撮像における立体撮像用対物系１０１の制御を行う。 Next, the operation of the imaging apparatus 100 will be described.
FIG. 3 is a flowchart showing the operation of the imaging apparatus 100 according to the first embodiment of the present invention.
When the user operates the imaging apparatus 100 and the imaging apparatus 100 starts an imaging operation, the display unit 113 causes the display 104 to display an image captured by the stereoscopic imaging unit 111 as a live view image. At this time, the stereoscopic imaging unit 111 controls the objective system 101 for stereoscopic imaging in capturing a live view image by autofocus.

ここで、ユーザによって撮像装置１００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置１００と被写体との距離情報を推定する（ステップＳ１１）。また、凹凸情報抽出部１１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の凹凸の度合いを推定し、被写体の凹凸の度合いを示す凹凸情報を生成する（ステップＳ１２）。   Here, when the user presses the shutter button 103 of the imaging device 100, the distance measuring unit 115 reads control information of the stereoscopic imaging objective system 101 by the autofocus function of the stereoscopic imaging unit 111, and the imaging device 100 and the subject Is estimated (step S11). Further, the unevenness information extraction unit 114 estimates the degree of unevenness of the subject using the live view image captured by the stereoscopic imaging unit 111, and generates unevenness information indicating the degree of unevenness of the subject (step S12).

次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離（例えば、１０メートル）以上であるか否かを判定する（ステップＳ１３）。被写体との距離が所定の距離以上である場合（ステップＳ１３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ１４）。これにより、視差が出にくいために写真の立体感が得られない遠景の画像は、平面画像として記録される。   Next, the image recording unit 116 determines whether or not the distance measured by the distance measuring unit 115 is a predetermined distance (for example, 10 meters) or more (step S13). When the distance to the subject is equal to or greater than the predetermined distance (step S13: YES), the planar imaging unit 112 captures a planar image with object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 (step S14). Thereby, a distant view image in which the stereoscopic effect of the photograph cannot be obtained because the parallax is not easily generated is recorded as a planar image.

また、被写体との距離が所定の距離以上である場合（ステップＳ１３：ＮＯ）、画像記録部１１６は、凹凸情報抽出部１１４が抽出した凹凸情報が所定の閾値以上であるか否かを判定する（ステップＳ１５）。即ち、被写体の凹凸の度合いが所定の度合いより大きいか否かを判定する。凹凸情報が所定の閾値以上である場合（ステップＳ１５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ１６）。これにより、近距離で凹凸のはっきりしている被写体を撮像した画像は、立体画像として記録される。
他方、凹凸情報が所定の閾値未満である場合（ステップＳ１５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ１４）。これにより、ポスターや紙面など、平面に近い被写体を撮像した画像は、平面画像として記録される。 When the distance to the subject is equal to or greater than the predetermined distance (step S13: NO), the image recording unit 116 determines whether the uneven information extracted by the uneven information extracting unit 114 is equal to or greater than a predetermined threshold. (Step S15). That is, it is determined whether or not the degree of unevenness of the subject is greater than a predetermined degree. When the unevenness information is greater than or equal to a predetermined threshold (step S15: YES), the stereoscopic imaging unit 111 captures a stereoscopic image with object light incident from the stereoscopic imaging objective system 101, and the image recording unit 116 detects the stereoscopic image. Is stored in the storage unit 117 (step S16). As a result, an image obtained by capturing an object with clear irregularities at a short distance is recorded as a stereoscopic image.
On the other hand, when the unevenness information is less than the predetermined threshold (step S15: NO), the planar imaging unit 112 captures a planar image with object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 (step S14). As a result, an image obtained by capturing an object close to a plane such as a poster or paper is recorded as a plane image.

このように、本実施形態によれば、凹凸情報抽出部１１４が画像から抽出した凹凸情報を用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、被写体が平面に近いために平面画像の撮像に適している場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。
また、測距部１１５が測定した距離情報を併用することで、立体画像と平面画像との何れかを記録するかをさらに適切に判定することができる。 As described above, according to the present embodiment, the unevenness information extraction unit 114 determines whether to record a stereoscopic image or a planar image using the unevenness information extracted from the image. Thereby, since the subject is close to a plane, it is possible to capture a planar image when it is suitable for capturing a planar image, and it is possible to capture a stereoscopic image when it is suitable for capturing a stereoscopic image.
Further, by using the distance information measured by the distance measuring unit 115 in combination, it is possible to more appropriately determine whether to record a stereoscopic image or a planar image.

《第２の実施形態》
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
図４は、本発明の第２の実施形態による撮像装置２００の機能構成を示す概略ブロック図である。
撮像装置２００は、第１の実施形態による撮像装置１００が備える凹凸情報抽出部１１４の代わりに明度情報抽出部２１４を備えるものである。また、撮像装置２００は、第１の実施形態による撮像装置１００と画像記録部１１６の判定動作が異なる。
明度情報抽出部２１４は、立体撮像部１１１から入力した立体画像を用いて被写体の明度を示す明度情報を抽出する。被写体の明度の推定方法としては、例えば、画像の明度情報の平均値を用いる手法や、撮像装置２００に備えられた明度センサ（図示せず）からの信号に基づいて推定する方法などが挙げられる。 << Second Embodiment >>
Hereinafter, a second embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 4 is a schematic block diagram showing a functional configuration of the imaging apparatus 200 according to the second embodiment of the present invention.
The imaging device 200 includes a brightness information extraction unit 214 instead of the unevenness information extraction unit 114 included in the imaging device 100 according to the first embodiment. Further, the imaging apparatus 200 differs from the imaging apparatus 100 according to the first embodiment in the determination operation of the image recording unit 116.
The brightness information extraction unit 214 uses the stereoscopic image input from the stereoscopic imaging unit 111 to extract brightness information indicating the brightness of the subject. Examples of the method for estimating the brightness of a subject include a method using an average value of brightness information of an image and a method of estimating based on a signal from a brightness sensor (not shown) provided in the imaging apparatus 200. .

次に、撮像装置２００の動作について説明する。
図５は、本発明の第２の実施形態による撮像装置２００の動作を示すフローチャートである。
ユーザが撮像装置２００を操作することで、撮像装置２００が撮像動作を開始した後、ユーザによって撮像装置２００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置２００と被写体との距離情報を推定する（ステップＳ２１）。また、明度情報抽出部２１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の明度を示す明度情報を抽出する（ステップＳ２２）。 Next, the operation of the imaging apparatus 200 will be described.
FIG. 5 is a flowchart showing the operation of the imaging apparatus 200 according to the second embodiment of the present invention.
When the user operates the imaging apparatus 200 and the imaging apparatus 200 starts an imaging operation and then the shutter button 103 of the imaging apparatus 200 is pressed by the user, the ranging unit 115 causes the autofocus of the stereoscopic imaging unit 111 to be performed. The control information of the stereoscopic imaging objective system 101 by the function is read, and the distance information between the imaging device 200 and the subject is estimated (step S21). Further, the lightness information extraction unit 214 extracts lightness information indicating the lightness of the subject using the live view image captured by the stereoscopic imaging unit 111 (step S22).

次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ２３）。被写体との距離が所定の距離以上である場合（ステップＳ２３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ２４）。   Next, the image recording unit 116 determines whether or not the distance measured by the distance measuring unit 115 is greater than or equal to a predetermined distance (step S23). When the distance to the subject is equal to or greater than the predetermined distance (step S23: YES), the planar imaging unit 112 captures a planar image with object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 (step S24).

また、被写体との距離が所定の距離以上である場合（ステップＳ２３：ＮＯ）、画像記録部１１６は、明度情報抽出部２１４が抽出した明度情報が所定の閾値以上であるか否かを判定する（ステップＳ２５）。明度情報が所定の閾値以上である場合（ステップＳ２５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ２６）。これにより、近距離で明度が高いために明瞭な画像は、立体画像として記録される。
他方、明度情報が所定の閾値未満である場合（ステップＳ２５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ２４）。これにより、明度が低いために明瞭さに欠ける画像は、平面画像として記録される。 If the distance to the subject is equal to or greater than the predetermined distance (step S23: NO), the image recording unit 116 determines whether the lightness information extracted by the lightness information extraction unit 214 is equal to or greater than a predetermined threshold. (Step S25). When the brightness information is greater than or equal to a predetermined threshold (step S25: YES), the stereoscopic imaging unit 111 captures a stereoscopic image with object light incident from the stereoscopic imaging objective system 101, and the image recording unit 116 detects the stereoscopic image. Is stored in the storage unit 117 (step S26). Thereby, since the brightness is high at a short distance, a clear image is recorded as a stereoscopic image.
On the other hand, when the brightness information is less than the predetermined threshold (step S25: NO), the planar imaging unit 112 captures a planar image with the object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 (step S24). As a result, an image lacking clarity due to low brightness is recorded as a planar image.

このように、本実施形態によれば、明度情報抽出部２１４が画像から抽出した明度情報を用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、画像の明度が低い場合など、立体画像の撮像に適していない場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。   As described above, according to the present embodiment, the lightness information extraction unit 214 uses the lightness information extracted from the image to determine whether to record a stereoscopic image or a planar image. Thereby, when the brightness of an image is low, a planar image can be captured when it is not suitable for capturing a stereoscopic image, and a stereoscopic image can be captured when it is suitable for capturing a stereoscopic image.

《第３の実施形態》
以下、図面を参照しながら本発明の第３の実施形態について詳しく説明する。
図６は、本発明の第３の実施形態による撮像装置３００の機能構成を示す概略ブロック図である。
撮像装置３００は、第１の実施形態による撮像装置１００が備える凹凸情報抽出部１１４の代わりにはみ出し検出部３１４を備えるものである。また、撮像装置３００は、第１の実施形態による撮像装置１００と画像記録部１１６の判定動作が異なる。
はみ出し検出部３１４は、立体撮像部１１１から入力した立体画像を用いて被写体の一部が撮像領域からはみ出しているか否かを示すはみ出しフラグを生成する。はみ出しているか否かの判定方法としては、例えば被写体の輪郭線を抽出し、当該輪郭線が撮像領域内に収まっているか否かを判定することで行う。はみ出しの有無の判定対象としては、例えば、顔検出によって検出した顔、画像中の肌色領域、立体撮像部１１１のオートフォーカス機能によりピントが合っている被写体などが挙げられる。 << Third Embodiment >>
Hereinafter, the third embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 6 is a schematic block diagram illustrating a functional configuration of an imaging apparatus 300 according to the third embodiment of the present invention.
The imaging device 300 includes a protrusion detection unit 314 instead of the unevenness information extraction unit 114 included in the imaging device 100 according to the first embodiment. In addition, the imaging apparatus 300 differs from the imaging apparatus 100 according to the first embodiment in the determination operation of the image recording unit 116.
The protrusion detection unit 314 uses the stereoscopic image input from the stereoscopic imaging unit 111 to generate an extension flag indicating whether a part of the subject protrudes from the imaging region. As a method for determining whether or not the image protrudes, for example, the contour line of the subject is extracted and it is determined whether or not the contour line is within the imaging region. Examples of the target for determining the presence or absence of protrusion include a face detected by face detection, a skin color area in the image, and a subject in focus by the autofocus function of the stereoscopic imaging unit 111.

次に、撮像装置３００の動作について説明する。
図７は、本発明の第３の実施形態による撮像装置３００の動作を示すフローチャートである。
ユーザが撮像装置３００を操作することで、撮像装置３００が撮像動作を開始した後、ユーザによって撮像装置３００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置３００と被写体との距離情報を推定する（ステップＳ３１）。また、はみ出し検出部３１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体がはみ出しているか否かを示すはみ出しフラグを生成する（ステップＳ３２）。 Next, the operation of the imaging apparatus 300 will be described.
FIG. 7 is a flowchart showing the operation of the imaging apparatus 300 according to the third embodiment of the present invention.
When the user operates the imaging apparatus 300 and the imaging apparatus 300 starts an imaging operation and then the shutter button 103 of the imaging apparatus 300 is pressed by the user, the ranging unit 115 causes the autofocus of the stereoscopic imaging unit 111 to be performed. The control information of the stereoscopic imaging objective system 101 by function is read, and the distance information between the imaging device 300 and the subject is estimated (step S31). Further, the protrusion detection unit 314 generates an protrusion flag indicating whether or not the subject protrudes using the live view image captured by the stereoscopic imaging unit 111 (step S32).

次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ３３）。被写体との距離が所定の距離以上である場合（ステップＳ３３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ３４）。   Next, the image recording unit 116 determines whether or not the distance measured by the distance measuring unit 115 is greater than or equal to a predetermined distance (step S33). When the distance to the subject is equal to or greater than the predetermined distance (step S33: YES), the planar imaging unit 112 captures a planar image with object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 (step S34).

また、被写体との距離が所定の距離以上である場合（ステップＳ３３：ＮＯ）、画像記録部１１６は、はみ出し検出部３１４が生成したはみ出しフラグが、被写体が撮像領域に収まっていることを示すか否かを判定する（ステップＳ３５）。生成したはみ出しフラグが、被写体が撮像領域に収まっていることを示す場合（ステップＳ３５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を記憶部１１７に記録する（ステップＳ３６）。
他方、生成したはみ出しフラグが、被写体が撮像領域からはみ出していることを示す場合（ステップＳ３５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を記憶部１１７に記録する（ステップＳ３４）。これにより、被写体が画像領域からはみ出しているために立体画像に適していない画像は、平面画像として記録される。 If the distance to the subject is equal to or greater than the predetermined distance (step S33: NO), the image recording unit 116 indicates that the projection flag generated by the projection detection unit 314 indicates that the subject is within the imaging area. It is determined whether or not (step S35). When the generated protrusion flag indicates that the subject is within the imaging region (step S35: YES), the stereoscopic imaging unit 111 captures a stereoscopic image with the object light incident from the stereoscopic imaging objective system 101, and the image The recording unit 116 records the stereoscopic image in the storage unit 117 (step S36).
On the other hand, when the generated protrusion flag indicates that the subject protrudes from the imaging region (step S35: NO), the planar imaging unit 112 captures a planar image with the object light incident from the planar imaging objective system 102. The image recording unit 116 records the planar image in the storage unit 117 (step S34). Thus, an image that is not suitable for a stereoscopic image because the subject protrudes from the image area is recorded as a planar image.

このように、本実施形態によれば、はみ出し検出部３１４が生成したはみ出しフラグを用いて、立体画像を記録するか平面画像を記録するかの判定を行う。これにより、被写体が撮像領域からはみ出している場合など、立体画像の撮像に適していない場合は平面画像の撮像を行い、立体画像の撮像に適している場合は立体画像の撮像を行うことができる。   As described above, according to the present embodiment, it is determined whether to record a stereoscopic image or a planar image by using the protrusion flag generated by the protrusion detection unit 314. As a result, when the subject is not suitable for capturing a stereoscopic image, such as when the subject protrudes from the imaging area, a planar image can be captured, and when the subject is suitable for capturing a stereoscopic image, a stereoscopic image can be captured. .

《第４の実施形態》
以下、図面を参照しながら本発明の第４の実施形態について詳しく説明する。
第４の実施形態では、第１の実施形態に示す撮像装置１００を用いて動画像の撮像を行う際の動作について説明する。
図８は、本発明の第４の実施形態による撮像装置１００の動作を示すフローチャートである。
ユーザが撮像装置１００を操作することで、撮像装置１００が動画像の撮像動作を開始し、ユーザによって撮像装置１００のシャッターボタン１０３が押下されると、測距部１１５は、立体撮像部１１１のオートフォーカス機能による立体撮像用対物系１０１の制御情報を読み出し、撮像装置１００と被写体との距離情報を推定する（ステップＳ４１）。また、凹凸情報抽出部１１４は、立体撮像部１１１が撮像したライブビュー画像を用いて被写体の凹凸の度合いを推定し、被写体の凹凸の度合いを示す凹凸情報を生成する（ステップＳ４２）。 << Fourth Embodiment >>
Hereinafter, a fourth embodiment of the present invention will be described in detail with reference to the drawings.
In the fourth embodiment, an operation at the time of capturing a moving image using the imaging device 100 shown in the first embodiment will be described.
FIG. 8 is a flowchart showing the operation of the imaging apparatus 100 according to the fourth embodiment of the present invention.
When the user operates the imaging device 100, the imaging device 100 starts a moving image imaging operation, and when the user presses the shutter button 103 of the imaging device 100, the distance measuring unit 115 causes the stereoscopic imaging unit 111 to The control information of the stereoscopic imaging objective system 101 by the autofocus function is read, and the distance information between the imaging device 100 and the subject is estimated (step S41). Further, the unevenness information extraction unit 114 estimates the degree of unevenness of the subject using the live view image captured by the stereoscopic imaging unit 111, and generates unevenness information indicating the degree of unevenness of the subject (step S42).

次に、画像記録部１１６は、測距部１１５が測定した距離が所定の距離以上であるか否かを判定する（ステップＳ４３）。被写体との距離が所定の距離以上である場合（ステップＳ４３：ＹＥＳ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４４）。   Next, the image recording unit 116 determines whether or not the distance measured by the distance measuring unit 115 is greater than or equal to a predetermined distance (step S43). When the distance to the subject is equal to or greater than the predetermined distance (step S43: YES), the planar imaging unit 112 captures a planar image with object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 as one frame of the moving image (step S44).

また、被写体との距離が所定の距離以上である場合（ステップＳ４３：ＮＯ）、画像記録部１１６は、凹凸情報抽出部１１４が抽出した凹凸情報が所定の閾値以上であるか否かを判定する（ステップＳ４５）。即ち、被写体の凹凸の度合いが所定の度合いより大きいか否かを判定する。凹凸情報が所定の閾値以上である場合（ステップＳ４５：ＹＥＳ）、立体撮像部１１１は、立体撮像用対物系１０１から入射する物体光により立体画像を撮像し、画像記録部１１６は、当該立体画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４６）。
他方、凹凸情報が所定の閾値未満である場合（ステップＳ４５：ＮＯ）、平面撮像部１１２は、平面撮像用対物系１０２から入射する物体光により平面画像を撮像し、画像記録部１１６は、当該平面画像を動画像の１フレームとして記憶部１１７に記録する（ステップＳ４４）。 If the distance to the subject is equal to or greater than the predetermined distance (step S43: NO), the image recording unit 116 determines whether the unevenness information extracted by the unevenness information extraction unit 114 is equal to or greater than a predetermined threshold. (Step S45). That is, it is determined whether or not the degree of unevenness of the subject is greater than a predetermined degree. When the unevenness information is greater than or equal to a predetermined threshold (step S45: YES), the stereoscopic imaging unit 111 captures a stereoscopic image with object light incident from the stereoscopic imaging objective system 101, and the image recording unit 116 detects the stereoscopic image. Is recorded in the storage unit 117 as one frame of the moving image (step S46).
On the other hand, when the unevenness information is less than the predetermined threshold (step S45: NO), the planar imaging unit 112 captures a planar image with the object light incident from the planar imaging objective system 102, and the image recording unit 116 The planar image is recorded in the storage unit 117 as one frame of the moving image (step S44).

ステップＳ４４またはステップＳ４６によって画像記録部１１６が動画像の１フレームを記録すると、シャッターボタン１０３が再度押下されて動画像の撮像が終了したか否かを判定する（ステップＳ４７）。動画像の撮像が終了していないと判定した場合（ステップＳ４７：ＮＯ）、ステップＳ４１に戻り、次のフレームの撮像を開始する。他方、動画像の撮像が終了したと判定した場合（ステップＳ４７：ＹＥＳ）、処理を終了する。   When the image recording unit 116 records one frame of the moving image in step S44 or step S46, it is determined whether the shutter button 103 is pressed again to finish capturing the moving image (step S47). When it is determined that the moving image has not been picked up (step S47: NO), the process returns to step S41, and picking up the next frame is started. On the other hand, if it is determined that the moving image has been captured (step S47: YES), the process is terminated.

このように、本実施形態によれば、画像記録部１１６は、動画像の撮像中に、フレーム画像を立体画像と平面画像とで切り替える。これにより、動画像のデータサイズを削減することができる。   As described above, according to the present embodiment, the image recording unit 116 switches the frame image between the stereoscopic image and the planar image while capturing a moving image. Thereby, the data size of a moving image can be reduced.

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。   As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various design changes and the like can be made without departing from the scope of the present invention. It is possible to

例えば、第１の実施形態から第４の実施形態では、画像を記録する際において立体撮像と平面撮像とを切り替える場合を説明したが、これに限られず、ディスプレイ１０４に表示されるライブビュー画像を立体撮像と平面撮像とで切り替えても良い。   For example, in the first to fourth embodiments, the case of switching between stereoscopic imaging and planar imaging when recording an image has been described. However, the present invention is not limited to this, and a live view image displayed on the display 104 is displayed. Switching between stereoscopic imaging and planar imaging may be performed.

また、第１の実施形態から第４の実施形態では、画像記録部１１６が立体画像か平面画像かのいずれか一方を記憶部１１７に記録する場合を説明したが、これに限られない。
例えば、画像記録部１１６が、平面画像を記録すると判定した場合に、立体撮像部１１１が撮像した立体画像と平面撮像部１１２が撮像した平面画像とを共に記憶部１１７に記録するようにしても良い。
また、例えば、画像記録部１１６が、凹凸情報や明度情報など数値で示される被写体情報を用いて立体画像と平面画像の何れを記録するかを判定する場合、所定の閾値と被写体情報との差が所定の値未満であるときに、画像記録部１１６は、立体撮像部１１１が撮像した立体画像と平面撮像部１１２が撮像した平面画像とを共に記憶部１１７に記録するようにしても良い。 In the first to fourth embodiments, the case where the image recording unit 116 records either a stereoscopic image or a planar image in the storage unit 117 has been described. However, the present invention is not limited to this.
For example, when the image recording unit 116 determines to record a planar image, the stereoscopic image captured by the stereoscopic imaging unit 111 and the planar image captured by the planar imaging unit 112 are both recorded in the storage unit 117. good.
Further, for example, when the image recording unit 116 determines whether to record a stereoscopic image or a planar image using subject information indicated by numerical values such as unevenness information and lightness information, a difference between a predetermined threshold value and subject information When the value is less than a predetermined value, the image recording unit 116 may record both the stereoscopic image captured by the stereoscopic imaging unit 111 and the planar image captured by the planar imaging unit 112 in the storage unit 117.

また、第１の実施形態から第４の実施形態では、撮像装置１００、２００、３００が、立体撮像用対物系１０１と平面撮像用対物系１０２とをそれぞれ備える場合を説明したが、これに限られず、平面撮像用対物系１０２を備えずに、立体撮像用対物系１０１の一方の対物系を、平面撮像用対物系１０２として用いるようにしても良い。   In the first to fourth embodiments, the case where the imaging apparatuses 100, 200, and 300 each include the stereoscopic imaging objective system 101 and the planar imaging objective system 102 has been described. However, the present invention is not limited thereto. However, one objective system of the stereoscopic imaging objective system 101 may be used as the planar imaging objective system 102 without including the planar imaging objective system 102.

また、第１の実施形態では、凹凸情報と距離情報との条件に基づいた判定方法を説明し、第２の実施形態では、明度情報と距離情報との条件に基づいた判定方法を説明し、第３の実施形態では、被写体が撮像領域からはみ出しているか否かと距離情報との条件に基づいた判定方法を説明したが、これに限られない。例えば、凹凸情報と明度情報の条件の組み合わせや、凹凸情報と被写体が撮像領域からはみ出しているか否かとの組み合わせなど、距離情報に限られず複数の条件の組み合わせによって判定を行っても良い。この場合、複数の条件を同時に満たす場合に立体画像、一つでも満たさなければ平面画像を撮像することとなる。
つまり、被写体情報抽出部が、被写体情報（凹凸情報、明度情報、はみ出しの有無）を複数種類抽出する場合、画像記録部１１６は、被写体情報の全てが所定の条件を満たす場合に立体撮像部１１１が撮像した立体画像を記憶部１１７に記録する。他方、画像記録部１１６は、被写体情報の何れか１つでも所定の条件を満たさない場合に、平面撮像部１１２が撮像した平面画像を記憶部１１７に記録する。 In the first embodiment, a determination method based on the condition of unevenness information and distance information is described. In the second embodiment, a determination method based on the condition of lightness information and distance information is described. In the third embodiment, the determination method based on the condition of whether or not the subject protrudes from the imaging region and the distance information has been described, but the present invention is not limited to this. For example, the determination may be performed by a combination of a plurality of conditions, not limited to distance information, such as a combination of unevenness information and lightness information conditions, or a combination of unevenness information and whether or not the subject protrudes from the imaging region. In this case, a stereoscopic image is captured when a plurality of conditions are simultaneously satisfied, and a planar image is captured when at least one of the conditions is not satisfied.
That is, when the subject information extraction unit extracts a plurality of types of subject information (concave / convex information, lightness information, presence / absence of protrusion), the image recording unit 116 determines that the stereoscopic imaging unit 111 has a predetermined condition for all of the subject information. 3D is recorded in the storage unit 117. On the other hand, the image recording unit 116 records the planar image captured by the planar imaging unit 112 in the storage unit 117 when any one of the subject information does not satisfy the predetermined condition.

上述の撮像装置１００、２００、３００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   The imaging devices 100, 200, and 300 described above have a computer system inside. The operation of each processing unit described above is stored in a computer-readable recording medium in the form of a program, and the above processing is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

１００、２００、３００…撮像装置 １０１…立体撮像用対物系 １０２…平面撮像用対物系 １０３…シャッターボタン １０４…ディスプレイ １０５…操作ボタン １１１…立体撮像部 １１２…平面撮像部 １１３…表示部 １１４…凹凸情報抽出部（被写体情報抽出部） １１５…測距部 １１６…画像記録部 １１７…記憶部 ２１４…明度情報抽出部（被写体情報抽出部） ３１４…はみ出し検出部（被写体情報抽出部）   DESCRIPTION OF SYMBOLS 100, 200, 300 ... Imaging device 101 ... Stereo imaging objective system 102 ... Planar imaging objective system 103 ... Shutter button 104 ... Display 105 ... Operation button 111 ... Stereo imaging part 112 ... Planar imaging part 113 ... Display part 114 ... Concavity and convexity Information extraction unit (subject information extraction unit) 115 ... Distance measurement unit 116 ... Image recording unit 117 ... Storage unit 214 ... Brightness information extraction unit (subject information extraction unit) 314 ... Projection detection unit (subject information extraction unit)

Claims (12)

被写体を撮像する光学系として２つ以上の対物系を備える撮像装置であって、
２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部と、
１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部と、
前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部と、
前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部と
を備えることを特徴とする撮像装置。 An imaging apparatus including two or more objective systems as an optical system for imaging a subject,
A stereoscopic imaging unit that captures a stereoscopic image formed by object light incident from two objective systems;
A planar imaging unit that captures a planar image formed by object light incident from one objective system;
A subject information extraction unit that extracts subject information indicating characteristics of the subject in the image by performing predetermined image processing on an image formed by object light incident from the at least one objective system;
A stereoscopic image captured by the stereoscopic imaging unit is recorded in a storage unit when the subject information satisfies a predetermined condition, and a planar image captured by the planar imaging unit is recorded in the storage unit when the predetermined condition is not satisfied. An image recording device comprising: an image recording unit for recording on the imaging device. 前記被写体情報は、前記被写体の凹凸の度合いを示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。 The subject information is a numerical value indicating the degree of unevenness of the subject,
The image recording unit records a stereoscopic image captured by the stereoscopic imaging unit when the condition that the subject information is greater than or equal to a predetermined subject information threshold is recorded in the storage unit, and the plane when the condition is not satisfied The imaging apparatus according to claim 1, wherein a planar image captured by the imaging unit is recorded in the storage unit. 前記被写体情報は、前記少なくとも１つの対物系から入射する物体光により形成される画像における前記被写体の明度を示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。 The subject information is a numerical value indicating the brightness of the subject in an image formed by object light incident from the at least one objective system,
The image recording unit records a stereoscopic image captured by the stereoscopic imaging unit when the condition that the subject information is greater than or equal to a predetermined subject information threshold is recorded in the storage unit, and the plane when the condition is not satisfied The imaging apparatus according to claim 1, wherein a planar image captured by the imaging unit is recorded in the storage unit. 前記被写体情報は、前記少なくとも１つの対物系から入射する物体光により形成される画像に前記被写体が収まっているか否かを示す情報であり、
前記画像記録部は、前記被写体情報が前記画像に前記被写体が収まっていることを示すという条件を満たす場合に前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさない場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１に記載の撮像装置。 The subject information is information indicating whether or not the subject is contained in an image formed by object light incident from the at least one objective system,
The image recording unit records a stereoscopic image captured by the stereoscopic imaging unit in the storage unit when the subject information satisfies a condition that the subject is included in the image, and does not satisfy the condition The imaging apparatus according to claim 1, wherein a planar image captured by the planar imaging unit is recorded in the storage unit. 前記被写体情報は、前記被写体との距離を示す数値であり、
前記画像記録部は、前記被写体情報が所定の被写体情報閾値以上であるという条件を満たす場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記条件を満たさない場合に前記立体撮像部が撮像した立体画像を記憶部に前記記録する
ことを特徴とする撮像装置。 The subject information is a numerical value indicating a distance from the subject,
The image recording unit records a planar image captured by the planar imaging unit in the storage unit when the subject information satisfies a condition that the subject information is greater than or equal to a predetermined subject information threshold, and the stereoscopic image when the condition is not satisfied. A three-dimensional image captured by the imaging unit is recorded in the storage unit. 前記被写体との距離を測定する測距部を備え、
前記画像記録部は、前記測距部が測定した距離が所定の距離閾値以上である場合に前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記測距部が測定した距離が前記距離閾値未満である場合において、前記被写体情報が所定の条件を満たすときに前記立体撮像部が撮像した立体画像を記憶部に前記記録し、前記所定の条件を満たさないときに前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。 A distance measuring unit for measuring the distance to the subject;
The image recording unit records a planar image captured by the planar imaging unit in the storage unit when the distance measured by the ranging unit is equal to or greater than a predetermined distance threshold, and the distance measured by the ranging unit is When the subject information satisfies a predetermined condition when the subject information is less than the distance threshold, the stereoscopic image captured by the stereoscopic imaging unit is recorded in the storage unit, and when the predetermined condition is not satisfied, the planar imaging unit The imaging device according to any one of claims 1 to 4, wherein a planar image captured by the camera is recorded in the storage unit. 被写体情報抽出部は、前記被写体情報を複数種類抽出し、
前記画像記録部は、前記被写体情報の全てが所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記被写体情報の何れか１つでも所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項６の何れか１項に記載の撮像装置。 The subject information extraction unit extracts a plurality of types of subject information,
The image recording unit records a stereoscopic image captured by the stereoscopic imaging unit in a storage unit when all of the subject information satisfies a predetermined condition, and any one of the subject information does not satisfy the predetermined condition In this case, the planar image captured by the planar imaging unit is recorded in the storage unit. The imaging apparatus according to any one of claims 1 to 6. 前記画像記録部は、前記立体撮像部が撮像した立体画像を前記記憶部に記録する場合、前記平面撮像部が撮像した平面画像も前記記憶部に記録する
ことを特徴とする請求項１から請求項７の何れか１項に記載の撮像装置。 The said image recording part records the planar image imaged by the said planar imaging part also in the said memory | storage part, when recording the stereoscopic image imaged by the said stereoscopic imaging part in the said memory | storage part. Item 8. The imaging device according to any one of Items 7 above. 前記画像記録部は、前記被写体情報が示す値と前記被写体情報閾値との差が所定の値未満である場合に前記立体撮像部が撮像した立体画像及び前記平面撮像部が撮像した平面画像を前記記憶部に記録し、前記被写体情報が示す値と前記被写体情報閾値との差が所定の値以上である場合において、前記条件を満たすときに前記立体撮像部が撮像した立体画像を前記記憶部に記録し、前記条件を満たさないときに前記平面撮像部が撮像した平面画像を前記記憶部に記録する
ことを特徴とする請求項２、請求項３または請求項５に記載の撮像装置。 The image recording unit is configured to display a stereoscopic image captured by the stereoscopic imaging unit and a planar image captured by the planar imaging unit when a difference between a value indicated by the subject information and the subject information threshold is less than a predetermined value. When the difference between the value indicated by the subject information and the subject information threshold is not less than a predetermined value, the stereoscopic image captured by the stereoscopic imaging unit when the condition is satisfied is stored in the storage unit. 6. The imaging apparatus according to claim 2, wherein the planar image captured by the planar imaging unit when the condition is not satisfied is recorded in the storage unit. 6. 前記画像記録部は、動画像の撮像中に前記条件の判定を繰り返し行うことで、前記立体画像と前記平面画像との少なくとも何れか一方を含む動画像を前記記憶部に記録する
ことを特徴とする請求項１から請求項７の何れか１項に記載の撮像装置。 The image recording unit records the moving image including at least one of the stereoscopic image and the planar image in the storage unit by repeatedly performing the determination of the condition during capturing of the moving image. The imaging device according to any one of claims 1 to 7. 被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を用いた撮像方法であって、
被写体情報抽出部が前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出するステップと、
前記被写体情報が所定の条件を満たす場合に、２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部が撮像した立体画像を画像記録部が記憶部に記録するステップと、
前記被写体情報が所定の条件を満たさない場合に、１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部が撮像した平面画像を前記画像記録部が前記記憶部に記録するステップと
を有することを特徴とする撮像方法。 An imaging method using an imaging device having two or more objective systems as an optical system for imaging a subject,
A subject information extracting unit performing predetermined image processing on an image formed by object light incident from the at least one objective system to extract subject information indicating characteristics of the subject in the image;
When the subject information satisfies a predetermined condition, the image recording unit records the stereoscopic image captured by the stereoscopic imaging unit that captures the stereoscopic image formed by the respective object lights incident from the two objective systems in the storage unit. Steps,
When the subject information does not satisfy a predetermined condition, the image recording unit records a planar image captured by a planar imaging unit that captures a planar image formed by object light incident from one objective system in the storage unit. An imaging method comprising the steps of: 被写体を撮像する光学系として２つ以上の対物系を備える撮像装置を、
２つの対物系から入射するそれぞれの物体光により形成される立体画像を撮像する立体撮像部、
１つの対物系から入射する物体光により形成される平面画像を撮像する平面撮像部、
前記少なくとも１つの対物系から入射する物体光により形成される画像に対して所定の画像処理を行うことで前記画像における前記被写体の特徴を示す被写体情報を抽出する被写体情報抽出部、
前記被写体情報が所定の条件を満たす場合に前記立体撮像部が撮像した立体画像を記憶部に記録し、前記所定の条件を満たさない場合に、前記平面撮像部が撮像した平面画像を前記記憶部に記録する画像記録部
として機能させるためのプログラム。 An imaging apparatus including two or more objective systems as an optical system for imaging a subject,
A stereoscopic imaging unit that captures a stereoscopic image formed by the respective object lights incident from the two objective systems;
A planar imaging unit that captures a planar image formed by object light incident from one objective system;
A subject information extraction unit that extracts subject information indicating characteristics of the subject in the image by performing predetermined image processing on an image formed by object light incident from the at least one objective system;
A stereoscopic image captured by the stereoscopic imaging unit is recorded in a storage unit when the subject information satisfies a predetermined condition, and a planar image captured by the planar imaging unit is recorded in the storage unit when the predetermined condition is not satisfied. A program for functioning as an image recording unit.
JP2011047433A 2011-03-04 2011-03-04 Imaging device, imaging method, and program Withdrawn JP2012186600A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011047433A JP2012186600A (en) 2011-03-04 2011-03-04 Imaging device, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011047433A JP2012186600A (en) 2011-03-04 2011-03-04 Imaging device, imaging method, and program

Publications (1)

Publication Number Publication Date
JP2012186600A true JP2012186600A (en) 2012-09-27

Family

ID=47016290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011047433A Withdrawn JP2012186600A (en) 2011-03-04 2011-03-04 Imaging device, imaging method, and program

Country Status (1)

Country Link
JP (1) JP2012186600A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409204A (en) * 2015-04-01 2017-11-28 索尼公司 Power-efficient multicamera system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409204A (en) * 2015-04-01 2017-11-28 索尼公司 Power-efficient multicamera system
JP2018515966A (en) * 2015-04-01 2018-06-14 ソニー株式会社 Power-saving composite camera system

Similar Documents

Publication Publication Date Title
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US20130314511A1 (en) Image capture device controlled according to image capture quality and related image capture method thereof
JP6415179B2 (en) Image processing apparatus, image processing method, imaging apparatus, and control method thereof
JP2012023546A (en) Control device, stereoscopic video pickup device, and control method
US9357205B2 (en) Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same
US8269819B2 (en) Image generating apparatus for generating three-dimensional image having high visibility
US8896670B2 (en) Image processing device, image processing method, and program
JPWO2011125461A1 (en) Image generating apparatus and method, and printer
WO2011121818A1 (en) Compound-eye imaging device, and disparity adjustment method and program therefor
JPWO2012002157A1 (en) Stereoscopic image photographing apparatus and control method thereof
WO2017130522A1 (en) Image processing device, image capturing device, image processing method and program
JP5322817B2 (en) 3D image pickup apparatus and 3D image display method
JP5929922B2 (en) Image processing apparatus and image processing method
US10277795B2 (en) Image pickup apparatus for taking static image, control method therefor, and storage medium storing control program therefor
JP2011048295A (en) Compound eye photographing device and method for detecting posture of the same
WO2012014946A1 (en) Image processing device and image processing program
JP2018182700A (en) Image processing apparatus, control method of the same, program, and storage medium
JP6486453B2 (en) Image processing apparatus, image processing method, and program
JP2012186600A (en) Imaging device, imaging method, and program
US8917316B2 (en) Photographing equipment
JP4887461B2 (en) 3D image pickup apparatus and 3D image display method
JP2011091463A (en) 3d imaging apparatus and operation control method thereof
CN108317954B (en) Laser guide scanning system and method
JP5395503B2 (en) Display control apparatus and operation control method thereof
JP5344770B2 (en) Imaging device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140513