CN103069819A - 摄像装置及其动作控制方法 - Google Patents

摄像装置及其动作控制方法 Download PDF

Info

Publication number
CN103069819A
CN103069819A CN2011800391226A CN201180039122A CN103069819A CN 103069819 A CN103069819 A CN 103069819A CN 2011800391226 A CN2011800391226 A CN 2011800391226A CN 201180039122 A CN201180039122 A CN 201180039122A CN 103069819 A CN103069819 A CN 103069819A
Authority
CN
China
Prior art keywords
mentioned
image
unit
parallax amount
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800391226A
Other languages
English (en)
Inventor
国分秀昭
远藤恒史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103069819A publication Critical patent/CN103069819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

使用具有一个摄像装置的照相机得到立体图像用的左眼用图像和右眼用图像。通过在基准位置（PL11）处使用数码相机（1）对对象物（OB10、OB20、OB30）进行摄像而得到左眼用图像。确定必要视差量，即，距离照相机（1）最近的对象物（OB10）与距离照相机（1）最远的对象物（OB30）间的对象物间距离越长，必要视差量越小，该对象物间距离越短，必要视差量越大。一边连续对对象物（OB10、OB20、OB30）进行摄像，一边使数码相机（1）向右移动。使数码相机（1）移动规定的视差量而得到具有规定视差量的被摄体像后，将其作为右眼用图像而自动记录。

Description

摄像装置及其动作控制方法
技术领域
本发明涉及摄像装置及其动作控制方法。
背景技术
为了不使用立体摄像用的数码相机而是使用设有一个摄像装置的数码相机，得到用于显示立体图像的左眼用图像（观看者用左眼观看的图像）和右眼用图像（观看者用右眼观看的图像），与左眼用图像和右眼用图像的视差量相对应地，使照相机在水平方向上移动而进行2次摄像。已有从事先摄像的图像中提取具有视差的图像的方法（专利文献1）。另外，也有基于被摄体的进深而对多个拍摄位置的位置差进行控制的方法（专利文献2）。
专利文献1：日本特开2009－3609号公报
专利文献2：日本特开2003－140279号公报
发明内容
但是，在专利文献1公开的发明中，大多都不具有适当的视差量。另外，在专利文献2公开的发明中，虽然对多个拍摄位置进行控制，但其控制非常复杂。由此，本发明的目的在于较为简单地得到立体图像用的图像数据。
本发明涉及的摄像装置（立体图像摄像装置）的特征在于，具有：摄像单元，其对在摄像范围内包含的被摄体连续地进行摄像，并将摄像得到的图像数据连续地输出；第1记录控制单元，其通过发出记录指令，将在发出记录指令的定时通过摄像得到的图像数据，作为表示第1被摄体像的图像数据而记录在记录单元中；对象物检测单元，其从被摄体像中的对象物检测用被摄体像，检测全部满足规定条件的对象物，该被摄体像由从上述摄像单元连续输出的图像数据表示；第1距离信息计算单元，其计算通过上述对象物检测单元检测到的多个对象物中的距离摄像装置最近的对象物和距离上述摄像装置最远的对象物间的距离信息；视差量确定单元，其基于通过上述第1距离信息计算单元计算出的距离信息，确定视差量；以及第2记录控制单元，其在通过使上述摄像装置在水平方向上移动，而使得由从上述摄像单元连续输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向的偏移量等于通过上述视差量确定单元确定的视差量（并不仅是完全相等的情况，也包含认为是大致相等的情况）的情况下，将在达到相等的定时进行摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，记录在上述记录单元中。
本发明还提供上述摄像装置的动作控制方法。即，该方法为：摄像单元对在摄像范围内包含的被摄体连续地进行摄像，并将摄像得到的图像数据连续地输出；第1记录控制单元通过发出记录指令，从而将在发出记录指令的定时通过摄像得到的图像数据，作为表示第1被摄体像的图像数据而记录在记录单元中；对象物检测单元从被摄体像中的对象物检测用被摄体像，检测全部满足规定条件的对象物，上述被摄体像由从上述摄像单元连续输出的图像数据表示；距离信息计算单元计算通过上述对象物检测单元检测出的多个对象物中的距离摄像装置最近的对象物与距离上述摄像装置最远的对象物间的距离信息；视差量确定单元基于通过上述第1距离信息计算单元计算出的距离信息确定视差量；第2记录控制单元，在通过使上述摄像装置在水平方向上移动，从而使得由从上述摄像单元连续地输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向的偏移量等于通过上述视差量确定单元确定的视差量的情况下，将在达到相等的定时摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，记录在上述记录单元中。
根据本发明，能够对摄像范围内包含的被摄体连续进行摄像。如果发出记录指令，则将在该定时的通过摄像得到的图像数据作为表示第1被摄体像的图像数据而记录在记录单元（包含可从摄像装置拆卸的记录介质、内置在摄像装置中的记录介质）中。从通过对被摄体连续进行摄像得到的被摄体像中的任一个对象物检测用被摄体像，检测全部满足规定条件的对象物（例如，人物的脸部或具有大于或等于规定阈值的空间频率的对象物）。计算出所检测到的多个对象物中的距离摄像装置最近的对象物与距离摄像装置最远的对象物间的距离信息。基于计算出的距离信息，确定视差量（用于将第1被摄体像作为立体图像观看的视差量）。如果由用户移动摄像装置，从而使得通过摄像得到的被摄体像与第1被摄体像的视差量等于所确定的视差量，则将在视差量相等的定时通过摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示第1被摄体像的图像数据相关联，记录在记录介质中。使用第1被摄体像和第2被摄体像得到立体图像。
也可以具有第2距离信息计算单元，其对从上述摄像装置至在上述摄像范围内包含的多个对象物中的各个对象物为止的距离信息进行测定。在这种情况下，上述第1距离信息计算单元例如根据通过上述第2距离信息计算单元计算出的至上述最近的对象物为止的距离信息和至上述最远的对象物为止的距离信息，计算上述最近的对象物与上述最远的对象物间的距离信息。
上述摄像单元也可以包含摄像元件及聚焦透镜。在这种情况下，还具有AF评价值计算单元，其根据通过一边使上述聚焦透镜移动一边在其各个移动位置进行摄像而得到的图像数据，计算对于每个移动位置而表示合焦程度的AF评价值。并且，上述第2距离信息计算单元基于得到大于或等于阈值的AF评价值时的聚焦透镜的位置，测定至上述多个对象物中的各个对象物为止的距离，上述AF评价值通过上述AF评价值计算单元计算。此外，聚焦透镜可在摄像元件的前方即与摄像元件相比为被摄体侧自由地移动。
上述视差量确定单元，例如在上述第2距离信息计算单元仅能够测得至由上述对象物检测单元检测到的多个对象物中的一个对象物为止的距离的情况下，将事先规定的值确定为上述视差量。
上述视差量确定单元例如基于显示立体图像的显示画面的大小和通过上述第1距离信息计算单元计算出的距离信息，确定上述视差量。
还可以具有设定单元，其设定显示上述立体图像的显示画面的大小。在这种情况下，上述视差量确定单元基于通过上述设定单元设定的显示画面的大小和通过上述第1距离信息计算单元计算出的距离信息，确定上述视差量。上述第2记录控制单元例如对于上述多个视差量重复进行下述处理，即，在通过使上述摄像装置在水平方向上移动，从而使得由从上述摄像单元连续输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向上的偏移量等于通过上述视差量确定单元确定的多个视差量中的某一个视差量的情况下，将在达到相等的定时摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，存储在上述记录介质中。
也可以具有：读取单元，其对应于立体再生指令，从上述记录单元读取表示记录在上述记录单元中的第1被摄体像的图像数据和表示记录在上述记录单元中的第2被摄体像的图像数据；以及显示控制单元，其对显示装置进行控制，以使得通过上述读取单元读取的、由表示第1被摄体像的图像数据表示的第1被摄体像和由表示第2被摄体像的图像数据表示的第2被摄体像，在水平方向上偏离由上述视差量确定单元确定的视差量而显示。
也可以具有对象物种类确定单元，其确定上述对象物检测用被摄体像中包含的对象物的种类。在这种情况下，上述对象物检测单元例如对由上述对象物种类确定单元确定的对象物的种类中的事先规定种类的对象物进行检测。另外，上述对象物检测单元例如也可以对由上述对象物种类确定单元确定的对象物种类中的除了事先规定的种类以外的种类的对象物进行检测。
也可以具有距离计算单元，其对至由上述对象物确定单元确定了种类的对象物为止的距离进行计算。在这种情况下，上述对象物检测单元例如对由上述对象物种类确定单元确定的种类的对象物中、除了位于通过上述距离计算单元计算出的距离小于或等于第1阈值处的对象物及位于大于或等于第2阈值处的对象物以外的对象物进行检测，该第2阈值比第1阈值大。
优选还具有显示装置及触摸面板，该显示装置在显示画面上显示第1被摄体像，该触摸面板形成在上述显示画面上。在这种情况下，上述对象物检测单元例如对显示在上述触摸面板被触摸的位置处的对象物进行检测。
附图说明
图1是表示数码相机与被摄体的关系的图。
图2表示显示画面尺寸设定图像。
图3是表示立体摄像模式的处理步骤的流程图。
图4是表示立体摄像模式的处理步骤的流程图。
图5表示聚焦透镜位置与AF评价值的关系。
图6表示被摄体距离与必要视差量的关系。
图7表示被摄体距离与必要视差量的关系。
图8表示显示画面尺寸与必要视差量的关系。
图9表示被摄体、显示画面尺寸与必要视差量的关系。
图10是表示立体摄像模式的处理步骤的流程图。
图11表示聚焦透镜位置与AF评价值的关系。
图12是表示立体摄像模式的处理步骤的流程图。
图13表示与被摄体的距离。
图14是显示在显示画面上的被摄体像的一个例子。
图15表示数码相机的背面。
图16表示摄像位置与被摄体的关系。
图17（A）表示左眼用图像的一个例子，（B）表示右眼用图像的一个例子。
图18是立体图像的一个例子。
图19表示视差量与被摄体距离的关系。
图20是表示必要视差量计算处理步骤的流程图。
图21是文件结构的一个例子。
图22是表示数码相机的电气结构的框图。
图23表示数码相机与被摄体的关系。
图24表示视差量与对象物间距离的关系。
图25表示视差量与对象物间距离的关系。
图26是表示必要视差量计算处理步骤的流程图。
图27是文件结构的一个例子。
图28（A）是左眼用图像的一个例子，（B）表示右眼用图像的一个例子。
图29是立体图像的一个例子。
图30是表示数码相机的电气结构的框图。
图31是表示对象物种类确定处理步骤的流程图。
图32是对象物检测用被摄体像的一个例子。
图33是对应每个对象物划分出区域的对象物检测用被摄体像的一个例子。
图34是表示对象物检测处理步骤的流程图。
图35是表示对象物检测处理步骤的流程图。
图36是表示对象物检测处理步骤的流程图。
图37表示AF评价值与聚焦透镜位置的关系。
图38表示AF评价值与聚焦透镜位置的关系。
图39是表示对象物检测处理步骤的流程图。
图40是对象物检测用被摄体像的一个例子。
具体实施方式
为了显示立体图像，需要观看者用左眼观看的左眼用图像和观看者用右眼观看的右眼用图像。在立体图像摄像用的数码相机中设有2个摄像装置，使用一个摄像装置对左眼用图像进行摄像，使用另一个摄像装置对右眼用图像进行摄像。本实施例不是使用设有2个摄像装置的立体图像摄像用的数码相机，而是使用具有1个摄像装置的数码相机，得到立体图像显示用的左眼用图像和右眼用图像。
图1至图22表示第1实施例。
图1俯视表示具有一个摄像装置的数码相机1与被摄体的关系。
在数码相机1的前方有作为被摄体OB1的树、作为被摄体OB2的人物、及作为被摄体OB3的车辆。作为被摄体OB1的树距离数码相机1最近，作为被摄体OB2的人物次之，作为被摄体OB3的车辆距离数码相机1最远。
首先，将数码相机1定位在基准位置PL1，对被摄体OB1、OB2、OB3进行摄像，记录表示这些被摄体OB1、OB2、OB3的被摄体像的图像数据。通过在基准位置PL1摄像得到的被摄体像成为左眼用图像（也可以作为右眼用图像）。
如后所述，例如，分别计算出适合于在3英寸显示画面上显示立体图像的视差量d1、及在32英寸显示画面上显示立体图像的视差量d2。
用户一边对被摄体OB1、OB2、OB3连续地（周期性地）进行摄像，一边使数码相机1向右方移动。在数码相机1向右方移动的过程中也对被摄体OB1、OB2、OB3进行摄像。在数码相机1到达位置PR1的时刻，如果通过摄像得到的被摄体像的视差达到计算出的视差量d1，则通过摄像得到的被摄体像成为能够在3英寸显示画面上显示的右眼用图像，生成表示该右眼用图像的图像数据并记录。此外，用户使数码相机1向右方移动，在数码相机1到达位置PR2的时刻，如果通过摄像得到的被摄体像的视差达到计算出的视差量d2，则通过摄像得到的被摄体像成为能够在32英寸显示画面上显示的右眼用图像，生成表示该右眼用图像的图像数据并记录。
图2是显示画面尺寸设定图像的一个例子。
显示画面尺寸设定图像用于对显示立体图像的显示画面的尺寸进行设定。对具有与使用显示画面尺寸设定图像设定的显示画面尺寸相对应的视差量的、表示左眼用图像的图像数据和表示右眼用图像的图像数据进行记录。
通过数码相机1带有的模式设定键对设定模式进行设定。如果对设定模式所包含的显示画面尺寸设定模式进行设定，则在形成于数码相机1背面的显示画面2上显示显示画面尺寸设定图像。
在显示画面尺寸设定图像中形成显示画面尺寸输入区域3、4及5。使用设置在数码相机1上的按键向这些输入区域3、4及5输入显示画面的尺寸。
图3及图4是表示如上所述，使用具有一个摄像装置的数码相机1记录立体显示用的左眼用图像及右眼用图像的立体摄像模式的处理步骤的流程图。
如果切换至立体摄像模式，则连续地（周期性地）对被摄体进行摄像，通过摄像得到的被摄体像动态地（实时）显示在设置于数码相机1背面的显示画面上。用户一边观看在显示画面上显示的动态图像，一边确定照相机角度。
如果半按两段式快门按钮（步骤11），则计算与被摄体的距离（步骤12）。作为与被摄体的距离，计算至位于摄像范围内大致中央的人物即被摄体OB2为止的距离，但也可以计算至位于摄像范围的其他部分的其他被摄体OB1或OB3的距离。
作为与被摄体的距离，能够使用聚焦透镜的移动量计算。
图5表示聚焦透镜位置与AF评价值的关系，AF评价值表示通过摄像得到的图像数据的高频成分。
一边使聚焦透镜从NEAR位置（或起始位置）移动至FAR位置，一边对被摄体进行摄像。提取通过对被摄体进行摄像得到的图像数据中的摄像范围中央部分的图像数据的高频成分（AF评价值）。根据AF评价值达到最大值AF0时的聚焦透镜位置P0的聚焦透镜移动量，计算至位于摄像范围中央部分的被摄体OB2为止的距离。
返回图3，如果全按快门按钮（在步骤13中为“是”），则将表示在全按定时拍摄到的被摄体像（左眼用图像、第1被摄体像）的图像数据记录在数码相机1的存储卡中（步骤14）。
然后，将尺寸变量i重置为1（步骤15）。
此外，针对在显示画面尺寸设定中设定的各显示画面尺寸，确定必要视差量（步骤16）。
图6表示必要视差量与至被摄体为止的距离的关系。
必要视差量与至被摄体为止的距离的关系，是对应于显示立体图像的各显示画面尺寸而预先规定的。图6示出的例子表示在32英寸显示画面上显示立体图像的情况下的以像素为单位的必要视差量与至被摄体为止的距离的关系。例如，在32英寸显示画面的情况下，如果至被摄体为止的距离是0.3m，则必要视差量为40像素。
图7是表示以像素为单位的必要视差量与至被摄体为止的距离的关系的表格。
该表格中显示画面尺寸为32英寸。对于至被摄体为止的各个距离规定必要视差量。该表格对于各显示画面尺寸而确定。
如上所述，如果至被摄体为止的距离和显示画面尺寸确定，则必要视差量确定。
图8是表示显示画面尺寸与所确定的必要视差量的关系的表格。
在显示画面尺寸被设定为3英寸和32英寸的情况下，与至被摄体为止的距离相对应，显示画面尺寸为3英寸的情况下的必要视差量为d1，显示画面尺寸为32英寸的情况下的必要视差量为d2。
返回图3，如果计算出显示画面尺寸为3英寸时的必要视差量d1（步骤16），则确认尺寸变量i是否变为所设定的显示画面尺寸种类的数量（在这种情况下为2）（步骤17）。如果尺寸变量i没有达到所设定的显示画面尺寸种类的数量（在步骤17中为“否”），则使尺寸变量i递增（步骤18），计算与下一个显示画面尺寸相对应的必要视差量（步骤16）。
如果计算出在所设定的全部显示画面尺寸（3英寸和32英寸）的显示画面上显示立体图像所需的左眼用图像和右眼用图像的必要视差量（在步骤17中为“是”），则开始计时（步骤19）。
将提醒用户使数码相机1水平移动的消息显示在显示画面上，按照该显示，用户使数码相机1沿水平方向（向右。在基准图像为右眼用图像的情况下向左）移动（步骤20）。
在数码相机1移动的过程中仍继续对被摄体进行摄像，连续得到所谓的实时图像。计算出第1被摄体像与实时图像的偏移量（步骤21）。计算第1被摄体像与实时图像的偏移量（步骤21）。重复进行数码相机1的移动（步骤20）及第1被摄体像与实时图像的偏移量计算（步骤21），直至计算出的偏移量与必要视差量相等。
如果计算出的偏移量与必要视差量相等（步骤22），则将表示在相等时拍摄的被摄体像（第2被摄体像、右眼用图像）的图像数据记录在存储卡中（步骤23）。从而无需用户注意，就能够记录具有最佳视差量的图像。由于记录与显示画面尺寸相对应的图像，因此能够事先防止在大画面的显示画面上显示立体图像的情况下视差量过大。另外，能够事先防止摄像失败。
如果没有记录具有计算出的全部必要视差量的被摄体像（在步骤24中为“否”），只要没有经过限制时间（在步骤25中为“否”），就再次重复进行从步骤20开始的处理。如果表示具有计算出的全部必要视差量的被摄体像的图像数据都已记录在存储卡中，则立体摄像模式的处理结束。如上所述，在设定的显示画面尺寸为3英寸和32英寸的情况下，如果得到具有d1视差量的3英寸用的右眼用图像和具有d2视差量的32英寸用的右眼用图像，则立体摄像模式的处理结束。
图9至图11表示变形例。
在上述实施例中，计算用于立体显示摄像范围内的特定的一个被摄体的视差量，针对显示画面尺寸生成一个右眼用图像。与此相对，在该变形例中，计算用于分别立体显示摄像范围内的多个被摄体的视差量。针对各被摄体及各显示画面尺寸生成一个右眼用图像。如图1所示，针对被摄体OB1、OB2、OB3这三个被摄体，生成具有与显示画面尺寸相对应的视差量的右眼用图像。
图9是表示必要视差量的表格，与图8所示的表格相对应。
导入用于表示摄像范围内的主要被摄体数量的被摄体变量j。在被摄体OB1、OB2、OB3的情况下，被摄体变量j为从1至3。主要被摄体的数量可以由用户输入，也可以如后所述，使用大于或等于规定阈值的AF评价值的峰值（极大值）的数量。被摄体对应于从数码相机1至被摄体为止的距离，分为前景被摄体（距离数码相机1最近的被摄体）OB1、中景被摄体（距离数码相机1不远也不近的被摄体）OB2、和后景被摄体（距离数码相机1最远的被摄体）OB3。针对各被摄体OB1、OB2、OB3，计算适合显示画面尺寸的必要视差量。将计算出的必要视差量存储在图9所示的表格中。
图10是表示立体摄像模式的处理步骤的流程图，与图3的处理步骤相对应。在图10中，对于与图3所示的处理相同的处理标记相同的标号并省略说明。
如果半按快门按钮（在步骤11中为“是”），则计算至摄像范围内的多个主要被摄体为止的各个距离（步骤12A）。
图11示出了聚焦透镜位置与表示从通过摄像得到的图像数据中提取的高频成分的AF评价值的关系。
如果一边摄像一边使透镜从NEAR位置移动至FAR位置，并从表示摄像范围整体的图像的图像数据中提取高频成分，则能够得到图11所示的关系的曲线。在图11所示的曲线中，能够得到与AF评价值较高的（大于或等于规定阈值的）AF评价值AF1、AF2及AF3相对应的聚焦透镜的位置P1、P2及P3。根据这些位置P1、P2及P3（根据聚焦透镜的移动量），可知与被摄体OB1、OB2及OB3的距离。
返回图10，如果按下快门按钮的第二段（在步骤13中为“是”），则在该第二段被按下的定时摄像得到的被摄体像成为第一个被摄体像（右眼用图像），且表示第1被摄体像的图像数据被记录在存储卡中（步骤14）。
被摄体变量j及尺寸变量i分别重置为1（步骤26、15）。
并且，计算必要视差量（步骤16）。初始被摄体变量j为1、尺寸变量i为1，因此，针对前景的被摄体OB1计算适合于显示画面尺寸为3英寸的必要视差量（步骤16）。根据与显示画面尺寸相对应的图6中示出的关系曲线，使用所测得的与被摄体的距离，计算必要视差量。如果尺寸变量i没有达到显示画面尺寸种类的数量（在步骤17中为“否”），则尺寸变量i递增（步骤18），计算适合下一个显示画面尺寸上的显示的必要视差量（步骤16）。
如果尺寸变量i达到显示画面尺寸种类的数量（因显示画面尺寸为3英寸和32英寸，所以为2）（在步骤17中为“是”），则确认被摄体变量j是否已达到被摄体数量（步骤27），如果没有达到被摄体数量（在步骤27中为“否”），则被摄体变量j递增（步骤28）。由此，进行与下一个被摄体相对应的各个显示画面尺寸的必要视差量的计算处理。
由此，对应于摄像范围内的主要被摄体，计算出各个显示画面的全部必要视差量。所计算出的必要视差量存储在图9所示的表格中。如上所述，一边由用户使数码相机1在水平方向上移动一边重复进行摄像，在对计算出了的必要视差量的被摄体像摄像完成时，将表示该被摄体像的图像数据记录在存储卡中。在本实施例中，将分别表示成为基准的左眼用图像（第1图像）和6种右眼用图像的图像数据记录在存储卡中。但是，也可以将右眼用图像作为基准，将分别表示6种左眼用图像的图像数据记录在存储卡中。
图12至图15表示其他变形例。
在该变形例中，在摄像范围内存在多个主要被摄体的情况下，计算至被摄体为止的代表性距离，根据计算出的代表性距离计算必要视差量。
图12是表示立体摄像模式的处理步骤的流程图。在该图中，对于与图3所示的处理相同的处理标记相同的标号，省略说明。
如上所述，如果按下第一段快门按钮（在步骤11中为“是”），则计算至摄像范围内包含的多个主要被摄体为止的距离（步骤12A）。
图13是表示至多个主要被摄体的距离的表格。
如上所述，如果已测得至主要被摄体的距离，则生成表示它们的距离的表格，并将该表格存储在数码相机1中。例如，至前景的被摄体OB1的距离为1m，至中景的被摄体OB2的距离为1.5m，至后景的被摄体OB3的距离为3m。
返回图12，如果按下第二段快门按钮（在步骤13中为“是”），则将表示左眼用图像（第1被摄体像）的图像数据记录在存储卡中（步骤14）。
然后，计算表示至代表图像的距离的代表距离（步骤28）。作为代表距离，考虑与位于摄像范围内的多个主要被摄体的距离的平均距离、与距离数码相机1最近的被摄体的距离等。在将平均距离设为代表距离的情况下，存在前景的被摄体的视差量变大的情况，而在将代表距离设为最近的距离的情况下，能够事先防止视差量变大。另外，由于通过摄像得到的被摄体像显示在设置于数码相机1背面的显示画面上，因此，也可以从该显示的被摄体像中选择希望的被摄体像作为代表图像，将至所选择的被摄体像的距离设为代表距离。
图14及图15是选择代表图像的方法的一个例子。
图14是显示在显示画面上的被摄体像的一个例子。
在显示画面2上显示多个被摄体像OB1、OB2、OB3（标记与被摄体相同的标号）。用户用手指F从这些被摄体像OB1、OB2、OB3中指定代表图像。
图15是选择代表图像的其他方法，示出数码相机1的后视图。
在数码相机1的整个背面形成有显示画面2。在显示画面2上显示被摄体像OB1、OB2、OB3。在显示画面2的右侧下部设有移动按钮6。在该移动按钮6上方设有确定按钮7。此外，在确定按钮7上方设有广角按钮8及长焦按钮9。在显示画面2上显示有光标10。该光标10对应于用户手指F对移动按钮6的操作而在显示画面2上显示的图像上移动。通过移动按钮6进行操作，以使得光标10位于期望的被摄体像上。如果光标10位于期望的被摄体像上，则用户用手指F按下确定按钮7。从而，光标10所在的被摄体像成为代表图像。
至按照上述方式选择的代表图像为止的距离，与图5所示的情况同样地，能够根据AF评价值的峰值处的聚焦透镜的位置获得，该AF评价值的峰值是从一边使聚焦透镜的位置按照上述方式移动一边重复进行摄像得到的图像数据中的、表示手指F触摸的代表图像部分或由光标10指定的代表图像部分的图像数据提取得到的高频成分。
如果计算出至代表图像的代表距离，则如上所述，计算出与该代表距离相对应的必要视差量，并将表示达到该必要视差量时的被摄体像的图像数据记录在存储卡中。由于将表示具有与代表距离相对应的视差量的被摄体像的图像数据记录在存储卡中，因此，不会多余地记录不需要的图像数据。
图16至图20示出其他变形例。
该变形例是使按照上述计算出的必要视差量小于或等于视差量容许值的情况。在视差量较大的情况下，立体图像的观看者有时会产生不适感，但由于限制必要视差量的上限，因此能够事先防止立体图像的观看者产生不适感。
图16俯视示出被摄体与拍摄位置的关系。
左眼用图像的拍摄位置用X1表示，右眼用图像的拍摄位置用X2表示。存在距离这两个拍摄位置X1及X2较近的第1被摄体OB11和距离拍摄位置X11及X12较远的第2被摄体OB12。从拍摄位置X1对第1被摄体OB11及第2被摄体OB12进行摄像，得到左眼用图像。另外，从拍摄位置X2对第1被摄体OB11及第2被摄体OB12进行摄像，得到右眼用图像。
图17（A）是通过摄像得到的左眼用图像的一个例子，图17（B）是通过摄像得到的右眼用图像的一个例子。
参照图17（A），在左眼用图像30L中包含表示第1被摄体OB11的第1被摄体像31L及表示第2被摄体OB12的第2被摄体像32L。第2被摄体像32L位于第1被摄体像31L的左侧。
参照图17（B），在右眼用图像30R中也包含表示第1被摄体OB11的第1被摄体像31R及表示第2被摄体OB12的第2被摄体像32R。在右眼用图像30R中，与左眼用图像30L不同，第2被摄体像32R位于第1被摄体像31L的右侧。
图18表示使左眼用图像和右眼用图像重合得到的立体图像30。
以使得图17（A）所示的左眼用图像30L中包含的第1被摄体像31L与图17（B）所示的右眼用图像30R中包含的第1被摄体像31R对齐的方式（交叉点），使左眼用图像30L与右眼用图像30R重合。表示第1被摄体OB11的第1被摄体像31没有左右偏移。与此相对，表示第2被摄体像OB12的第2被摄体像32L和第2被摄体像32R之间偏移视差量L。如果该视差量L过大，则如上所述，立体图像的观看者会有不适感。
图19示出视差量与被摄体距离的关系。
与至被摄体的距离相对应，规定表示可立体观看该被摄体的视差量的曲线G1。例如，如果至第1被摄体OB11的距离是0.3m，则视差量为40像素。在至位于比第1被摄体OB11远的位置的第2被摄体OB12的距离为1.5m的情况下，从曲线G2可知该第2被摄体OB12的被摄体像的视差量容许值为25像素。如果将第1被摄体OB11的被摄体像的视差量设为40像素，则第2被摄体OB12的视差量会超过作为视差量容许值的25像素。因此，在本实施例中，第1被摄体OB11的视差量设定为第2被摄体OB12的视差量容许值25。
图20是表示必要视差量计算处理步骤（图10、图12的步骤16的处理步骤）的流程图。
使用图19所示的曲线G1，根据至被摄体的距离计算出被摄体的必要视差量（步骤41）。确认在比计算出必要视差量的被摄体远的位置是否存在主要被摄体（上述AF评价值大于或等于规定阈值的被摄体）（步骤42）。
在比计算出必要视差量的被摄体远的位置存在主要被摄体的情况下（在步骤42中为“是”），使用曲线G2计算在位于比计算出必要视差量的被摄体远的位置的被摄体中、位于最远处的被摄体的视差容许值（步骤43）。
如果计算出的必要视差量超过视差容许值（在步骤44中为“是”），则如上所述，将最远处的被摄体的视差容许值设为必要视差量（步骤45）。
在比计算出必要视差量的被摄体远的位置没有主要被摄体的情况下（在步骤42中为“否”），跳过从步骤43至45的处理。另外，如果必要视差量没有超过最远的主要被摄体的视差容许值（在步骤44中为“否”），跳过步骤45的处理。对于比计算出必要视差量的被摄体近的主要被摄体，也可以进行同样的处理。
能够事先防止在显示立体图像时，视差变大。
图21是存储分别表示上述左眼用图像及右眼用图像的图像数据的文件的文件结构的一个例子。
在文件中包含文件头记录区域51和数据记录区域52。
在文件头记录区域51中存储对文件进行管理的信息。
在数据记录区域52中记录表示多个图像的图像数据等。
在数据记录区域52中形成有多个记录区域71至78。第1记录区域71及第2记录区域72是用于左眼用图像的区域。从第3记录区域73至第8记录区域78是用于右眼用图像的区域。如果由存储在文件中的右眼用图像数据表示的右眼用图像的数量较多，则记录区域的数量当然也会进一步增多。
在第1记录区域71中形成有：SOI区域61，其存储有表示图像数据开始的SOI（图像开始）数据；附属信息区域62，其存储有图像编号及随后记录的图像数据是表示左眼用图像还是右眼用图像的图像信息等附属信息；区域63，其记录有图像数据；以及EOI区域64，其存储有表示图像数据结束的EOI（图像结束）数据。在第1记录区域71的记录图像数据的区域63中记录表示左眼用图像的图像数据。在第2记录区域72的记录图像数据的区域63中记录表示下述左眼用图像的缩略图像的图像数据，该左眼用图像由记录在第1记录区域71中的左眼用图像数据表示。
在第1记录区域71至第8记录区域78中的第奇数个记录区域中，记录有表示通过摄像得到的左眼用图像或右眼用图像的图像数据，在第偶数个记录区域中，记录有表示通过摄像得到的左眼用图像或右眼用图像的缩略图像的图像数据。
对于第3记录区域73至第8记录区域78，除了记录有右眼用图像的图像数据以外，均与第1记录区域71及第2记录区域72相同。但是，对于右眼用图像，在附属信息中除了图像编号及表示其为右眼用图像以外，当然还记录有显示画面尺寸、表示主要被摄体位于哪个位置（前景、中景、远景等）的数据。
将按照上述方式得到的表示左眼用图像的图像数据及表示多个右眼用图像的图像数据存储在文件中，并将文件记录在存储卡中。
图22是表示进行上述摄像的数码相机的电气结构的框图。
数码相机整体的动作由CPU80统一进行。在数码相机上设有操作装置81，其包含模式设定按钮、二段式快门按钮等各种按钮，该模式设定按钮对以下几种模式进行设定，即：进行视差图像生成用的立体摄像模式、进行通常的二维摄像的摄像模式、进行二维再生的二维再生模式、进行立体图像显示的立体再生模式、设定模式等。从操作装置81输出的操作信号输入至CPU80。
数码相机含有一个摄像元件（CCD、CMOS等）88，该摄像元件88对被摄体进行摄像，并输出表示被摄体的模拟影像信号。在该摄像元件88的前方设有聚焦透镜84、光圈85、红外线截止过滤器86及光学低通过滤器87。聚焦透镜84的透镜位置由透镜驱动装置89控制。光圈85的光圈量由光圈驱动装置90控制。摄像元件88由摄像元件驱动装置91控制。
如果设定立体摄像模式，则通过摄像元件88周期性地对被摄体进行摄像。从摄像元件88周期性地输出表示被摄体像的影像信号。从摄像元件88输出的影像信号，在模拟信号处理装置92中进行规定的模拟信号处理，在模拟/数字信号变换装置96中变换为数字图像数据。数字图像数据输入至数字信号处理装置96中。在数字信号处理装置96中，对数字图像数据进行规定的数字信号处理。从数字信号处理装置输出的数字图像数据经由显示控制装置101传输至显示装置102。在显示装置102的显示画面上动态地显示通过摄像得到的图像（实时图像显示）。
如果按下第1段快门按钮，则如上所述，一边使聚焦透镜84移动，一边对被摄体进行摄像。在被摄体距离获取装置103中，从通过摄像得到的图像数据中提取高频成分，根据高频成分的峰值等和聚焦透镜的移动量计算至被摄体的距离。另外，将图像数据输入积分装置98，对被摄体进行测光。基于所得到的测光值，确定光圈85的光圈值及摄像元件88的快门速度（电子快门）。
如果按下第2段快门按钮，则在该第2定时摄像得到的图像数据表示左眼用图像。表示左眼用图像的图像数据基于存储器控制装置94的控制而输送至主存储器95并暂时存储。图像数据从主存储器95中被读取，并在压缩展开装置97中被压缩。压缩后的图像数据通过存储器控制装置99记录在存储卡100中。
表示由被摄体距离获取装置103获取的至主要被摄体的距离（也可以是至位于摄像范围中央处的一个被摄体为止的距离）的数据，输入至必要视差量计算装置105。在必要视差量计算装置105中，按照上述方式计算出必要视差量。此外，表示至主要被摄体的距离的数据也被输送至代表距离计算装置104。通过代表距离计算装置104计算至代表性被摄体的距离。但是，如上所述，在从显示装置102的显示画面上显示的多个主要被摄体中选择出代表性被摄体的情况下，计算出至该所选择的被摄体的距离，作为代表距离。
如果将表示左眼用图像的图像数据记录在存储卡100中，则用户使数码相机本身在水平方向（向右）移动。在照相机的移动中仍继续对被摄体进行摄像，从而连续得到被摄体像。通过连续摄像得到的图像数据输入至实时图像视差量计算装置106。在实时图像视差量计算装置106中，确认输入的被摄体像是否与已计算出的必要视差量相等。如果相等，则将表示输入的被摄体像的图像数据作为右眼用图像数据记录在存储卡100中。如上所述，将具有与显示画面尺寸相对应的视差量而表示右眼用图像的图像数据记录在存储卡100中。
此外，数码相机还带有发光装置82及受光装置83。
如果已设定立体再生模式，则读取记录在存储卡100中的左眼用图像数据，并在存储卡100中记录有与显示装置102的显示画面尺寸相对应的右眼用图像数据的情况下，读取该右眼用图像数据。将读取的左眼用图像数据及右眼用图像数据在压缩展开处理装置97中展开。通过将展开的左眼用图像数据及右眼用图像数据输送至显示装置102，从而显示立体图像。在存储卡100中没有记录与显示装置102的显示画面尺寸相对应的右眼用图像数据的情况下，只要读取记录在存储卡100中的右眼用图像数据，对左眼用图像和右眼用图像进行视差调整，使其成为适合于显示装置102的显示画面尺寸的视差量即可。
图23至图30表示第2实施例。
在该实施例中，基于在摄像范围内包含的多个对象物中距离数码相机（立体图像摄像装置）1最近的对象物（简称为最近对象物，其为AF评价值大于或等于阈值的对象物中最近的对象物）和距离数码相机1最远的对象物（简称为最远对象物，其为AF评价值大于或等于阈值的对象物中最远的对象物），确定必要视差量。
图23俯视示出具有一个摄像装置的数码相机1A和在摄像范围内包含的多个对象物的关系。
在数码相机1的前方存在第1对象物OB10、第2对象物OB20及第3对象物OB30。第1对象物OB10距离数码相机1最近，第2对象物OB20次之。第3对象物OB30距离数码相机1最远。第1对象物OB10是最近对象物，第3对象物OB30是最远对象物。
在第1对象物OB10位于标号L11所示的位置、且第3对象物OB30位于标号L31所示的位置的情况下，最近对象物与最远对象物间的对象物间距离为较短的距离L1。与此相对，如果第1对象物OB10位于与标号L11相比靠近数码相机1的位置即由标号L12所示的位置，第3对象物OB30位于与由标号L31所示的位置相比距离数码相机1较远的位置即由标号L32所示的位置，则最近对象物与最远对象物间的对象物间距离为较长的距离L2。
在对象物间距离较短的情况下，即使按照上述方式得到左眼用图像和右眼用图像，主要被摄体（假想为第2对象物OB20，即主要被摄体位于最近对象物和最远对象物之间）与最近对象物或最远对象物的相对视差也会减小。因此，在该实施例中，在对象物间距离较短的情况下，使用于构成立体图像的右眼用图像和左眼用图像的必要视差量增大。反之，在对象物间距离较长的情况下，主要被摄体与最近对象物或最远对象物的相对视差增大。因此，在该实施例中，在对象物间距离较长的情况下，使用于构成立体图像的右眼用图像和左眼用图像的必要视差量减小。
与上述同样地，首先，将数码相机1A定位在基准位置PL11，对在摄像范围内包含的对象物OB10、OB20、OB30连续进行摄像。从连续摄像得到的被摄体像中的任一个被摄体像即对象物检测用被摄体像，检测出对象物OB10、OB20、OB30。如果施加记录指令，则对将在施加记录指令的定时摄像得到的对象物OB10、OB20、OB30的被摄体像作为1帧图像（第1被摄体像）而表示的图像数据进行记录。在基准位置PL11通过摄像得到的被摄体像成为左眼用图像（也可以是右眼用图像）。
如后所述，例如，适合在规定大小的显示画面上显示立体图像的视差量d11对应于对象图像间距离而确定。
与上述实施例同样地，一边对对象物OB10、OB20、OB30连续地（周期性地）进行摄像，用户一边使数码相机1A向右方移动。在数码相机1向右方移动中也对被摄体OB10、OB20、OB30进行摄像。在数码相机1位于位置PR11的时刻，如果通过摄像得到的被摄体像的视差达到按照后述方式确定的视差量d11，则通过摄像得到的被摄体像成为在规定大小的显示画面上显示的右眼用图像（第2被摄体像），生成表示该右眼用图像的图像数据并记录。适合于其他大小的显示画面的视差量也基于对象物间距离确定，如果摄像得到具有该确定的视差量的被摄体像，则记录表示该摄像得到的被摄体像的图像数据。当然，也可以与显示画面的大小无关，而基于对象物间距离确定视差量。也可以在数码相机1上设置对显示立体图像的显示画面的大小进行设定的设定单元。在这种情况下，根据通过上述设定单元设定的显示画面的大小和对象物间距离确定视差量。当然也可以事先规定表示显示画面的大小、对象物间距离及视差量的关系的表格，使用该表格确定视差量。
图24表示必要视差量与对象物间距离的关系。
必要视差量与对象物间距离的关系，对应于要显示立体图像的显示画面尺寸而事先规定。图24所示的例子，表示在3英寸显示画面上显示立体图像的情况下的以像素为单位的必要视差量与对象物间距离的关系。例如，如果对象物间距离为0.3m，则必要视差量为40像素。
图25是表示以像素为单位的必要视差量与对象物间距离的关系的表格。
该表格中，显示画面尺寸是3英寸。对于每个对象物间距离而规定必要视差量。该表格对应于显示画面尺寸而确定。
如上所述，如果最近对象物和最远对象物间的距离即对象物间距离与显示画面尺寸的关系确定，则必要视差量确定。当然，如上所述，也可以不考虑显示画面尺寸而仅对应于对象物间距离确定必要视差量。
图26是表示使用具有一个摄像装置的数码相机1记录立体显示用的左眼用图像及右眼用图像的立体摄像模式的处理步骤一部分的流程图。图26与图3相对应，对于与图3的处理相同的处理标记相同的标号，根据需要省略说明。
在一边连续重复进行多个对象物的摄像一边确定照相机角度后，半按快门按钮（步骤11）。从而，从在半按定时摄像得到的被摄体像（对象物检测用被摄体像。并不限定于在半按定时摄像得到的被摄体像，也可以是连续摄像得到的被摄体像中的某一个被摄体像）中，检测出满足规定条件的全部对象物（步骤29）。计算出表示检测到的对象物中的最近对象物和最远对象物的距离的对象物间距离（步骤12A）。
对象物间距离可按照下述方式计算。
参照图11进行说明，首先，使聚焦透镜在距离摄像元件最近的位置即NEAR位置和距离摄像元件最远的距离即FAR位置之间每次移动规定距离。在各个移动位置对对象物进行摄像，从每一次摄像得到的图像数据中提取高频成分。根据该高频成分，针对聚焦透镜的各移动位置，得到表示合焦程度的AF评价值。产生超过阈值的AF评价值的曲线极大值的聚焦透镜的位置P1、P2及P3的位置（聚焦透镜的移动量），与至对象物OB10、OB20、及PB30的各个距离相当。按照这种方式检测到的对象物OB10与对象物OB30间的距离成为对象物间距离。根据聚焦透镜的移动量，当然会知道对象物OB10、OB20及OB30彼此间的距离。对象物的检测本身也能够按照上述方式实现。
如果全按快门按钮（发出记录指令）（在步骤13中为“是”），则将在全按定时摄像得到的被摄体像作为第1被摄体像记录在存储卡中（步骤14）。如上所述，尺寸变量i被重置为1（步骤15），根据与由尺寸变量i确定的显示画面的尺寸相对应的表格（参照图25），确定必要视差量（步骤16）。在上述实施例中，通过半按快门按钮，计算出最近对象物与最远对象物间的对象物间距离，通过全按快门按钮，将第1被摄体像记录在存储卡中，但优选通过全按快门按钮将第1被摄体像记录在存储卡中，从该第1被摄体像中检测满足规定条件的全部对象物（例如，人物的脸部图像、具有大于或等于阈值的空间频率的对象物），计算检测到的多个对象物中距离数码相机（摄像装置）1最近的对象物与最远的对象物的距离，根据计算出的距离确定视差量。
一边使尺寸变量i递增（步骤18），一边确定与显示画面的大小及对象物间距离相对应的必要视差量，直至尺寸变量i与显示画面尺寸种类的数量相等（步骤17）。
如果必要视差量确定，则如上所述（参照图4），用户一边握持数码相机一边重复进行摄像。将在第1被摄体像与实时图像的偏移量与所确定的必要视差量相同时摄像得到的图像作为第2被摄体像，记录在存储卡中。第1图像是构成立体图像的左眼用图像（或右眼用图像），第2图像是构成立体图像的右眼用图像（或左眼用图像）。
在上述实施例中，对于能够计算出表示最近对象物与最远对象物间的距离的对象物间距离的情况进行了说明，但在仅有一个从摄像范围内检测到的对象物的情况下，无法计算对象物距离。在这种情况下，可确定事先规定的必要视差量（优选是对应于显示画面而事先规定的必要视差量）。
图27是存储分别表示通过上述实施例得到的左眼用图像及右眼用图像的图像数据的文件的文件结构的一个例子。
图27与图21相对应，对于与图21所示的内容相同的部分标记相同的标号，并省略说明。
在第1记录区域71的图像数据记录区域63中，存储有表示左眼用图像的图像数据。在第2记录区域72的图像数据记录区域63中存储有表示左眼用图像的缩略图像的图像数据。
在第3记录区域73、第5记录区域75及第7记录区域77中，如上所述，记录有表示具有与对象物间距离及显示画面尺寸相对应的必要视差量的右眼用图像的图像数据。在第4记录区域74、第6记录区域76及第8记录区域78中记录有缩略图像。
由此，将分别表示左眼用图像及多个帧的右眼用图像的图像数据存储在一个文件中，并将该文件记录在存储卡中。
图28（A）是通过该实施例记录的左眼用图像的一个例子，图28（B）是通过该实施例记录的右眼用图像的一个例子。
参照图28（A），在左眼用图像140L中包含表示第1对象物OB10的第1对象物图像110L、表示第2对象物OB20的第2对象物图像120L及表示第3对象物OB30的第3对象物图像130L。
参照图28（B），在右眼用图像140R中包含表示第1对象物OB10的第1对象物图像110R、表示第2对象物OB20的第2对象物图像120R及表示第3对象物OB30的第3对象物图像130R。
图29表示将图28（A）所示的左眼用图像140L和图28（B）所示的右眼用图像140R重合得到的立体图像140。
图28（A）所示的左眼用图像140L和图28（B）所示的右眼用图像140R在水平方向上偏离必要视差量，使得左眼用图像30L和右眼用图像30R重合。从而，表示主要被摄体即第2对象物OB20的第2被摄体像120无左右偏移。与此相对，在表示第1对象物OB1的第1对象物图像110L和110R之间存在左右偏移。同样地，在表示第3对象物OB3的第1对象物图像130L和130R之间也存在左右偏移。由于按照这种方式产生左右偏移，因此用户能够观看立体图像。
图30、图22是表示该实施例涉及的数码相机的电气结构的框图。图30与图22示出的框图相对应，对于与图22所示的内容相同的部分标记相同的标号并省略说明。
在图30所示的数码相机中，设有对象物间距离计算装置104A。如上所述，在被摄体距离获取装置103中，计算出至多个对象物的距离。计算出的表示至多个对象物中的各个对象物的距离的数据，从被摄体距离获取装置103输入至对象物间距离计算装置104。根据输入的数据，在对象物间距离计算装置104中计算出对象物间距离。基于计算出的对象物间距离，按照上述方式确定必要视差量。达到所确定的必要视差量的被摄体像按照上述方式记录在存储卡100中。
如果设定立体再生模式，则能够读取按照上述方式记录在存储卡100中的分别表示左眼用图像和右眼用图像的图像数据，即与显示装置102的显示画面的大小相对应的图像数据。通过将读取的图像数据输送至显示控制装置101，从而在显示装置102的显示画面上显示立体图像。
在该第2实施例中也可以与上述实施例1同样地，基于显示立体图像的显示画面的大小和最远对象物与最近对象物的距离信息，确定视差量。另外，如图2所示，也可以设定显示画面的大小，并基于该设定的显示画面的大小和最近对象物与最远对象物的距离信息确定视差量。此外，也可以读取记录在存储卡100中的表示第1被摄体像的图像数据和表示第2被摄体像的图像数据，使由所读取的图像数据表示的第1被摄体像和第2被摄体像在水平方向上偏离所确定的视差量，并将它们显示在显示装置的显示画面上。
图31至图40表示变形例，表示如上所述对成为要选出最近对象物和最远对象物的对象的对象物进行检测的处理（与图26中的步骤29相当的处理）。从通过上述处理检测到的对象物中，确定上述最近对象物和最远对象物。
图31是表示确定对象物种类的处理步骤的流程图。
如上所述，如果半按快门按钮，则对被摄体进行摄像，得到表示被摄体像（对象物检测用被摄体像）的图像数据。
图32是通过摄像得到的对象物检测用图像160的一个例子。被摄体与图23不同，但也可以与图23的被摄体相同。
在对象物检测用图像160中，在前侧有道路的图像162，在该道路的图像162上有车辆的图像161。大致中央处有人物的图像163，在该人物的图像163的左右两侧有树的图像164及165。在对象物检测用图像160的左上方有云的图像166。此外，对象物检测用图像160内的上部是天空的图像167。
参照图31，如果得到对象物检测用被摄体像160，则检测构成对象物检测用被摄体像160的各像素的颜色，针对各颜色划分出区域（步骤151）。不一定要对于全彩色的每个颜色划分区域，只要是能够划分出认为是表示相同对象物的区域的程度的颜色（例如，32色、64色程度）即可。然后，从对每个颜色所划分的区域中提取各区域的特征量（步骤152）。该特征量是事先规定的，如代表所划分的区域的颜色、对比度、亮度、对象物检测用被摄体像160中的位置等。在按照上述方式划分出区域的情况下，即使是相同的对象物，有时也会显示在不同的区域中，因此，特征量相似的较近区域被合并为一个区域（步骤153）。
如果对象物检测用被摄体像160被划分为多个区域，则参照学习数据库，确定所划分的各区域表示哪个对象物种类（步骤154）。学习数据库是使对象物的颜色、对比度、亮度、进行摄像的情况下的位置等特征量与对象物种类相对应而存储的数据库，如上所述，事先存储在主存储器95中。能够根据所划分的区域的特征量确定该区域表示哪个对象物种类。
图33表示所确定的对象物的种类。
如上所述，对象物检测用被摄体像160被划分为多个区域171至177。区域171表示作为对象物种类的车辆。同样地，区域172表示道路，区域173表示人、区域174及175表示各个树、区域176表示云、区域177表示天，作为各个对象物的种类。
图34是表示利用按照上述方式确定的对象物种类，对成为要选出最近对象物和最远对象物的对象的对象物进行检测的处理（与图26中步骤29相当的处理）的流程图。
如果按照上述方式确定对象物的种类（步骤181），则判定所确定的对象物种类是否是事先规定的种类的对象物（步骤182）。如果是事先规定种类的对象物（在步骤182中为“是”），则检测为对象物。从检测到的对象物中，按照上述方式确定最近对象物和最远对象物，然后如上所述，得到最近对象物与最远对象物的对象物间距离。
在基于最近对象物和最远对象物的对象物间距离确定视差量的情况下，包含希望立体观看的对象物和不希望立体观看的对象物。例如，希望立体观看的对象物是人、车辆、树木、建筑物等，不希望立体观看的对象物是天、道路、海等，但能够自由地确定哪些是希望立体观看的，哪些是不希望立体观看的。例如，也可以考虑希望立体观看天、道路、海等，而不希望立体观看人、车辆、树木、建筑物等。
在该实施例中，事先规定希望立体观看的对象物的种类（例如人、车辆、树木、建筑物），而对所确定的种类是否是希望立体观看的对象物进行判定。由此能够事先防止根据不希望立体观看的对象物计算出最近对象物和最远对象物的对象物间距离。即，能够事先防止根据不希望立体观看的对象物确定希望立体观看的视差量。
图35是表示对象物检测处理步骤的其他流程图。
图34中所示的处理步骤是将事先规定的种类的对象物检测为对象物。与此相对，图35所示的处理步骤是事先规定非对象种类的对象物，检测不与该非对象种类相当的对象物作为对象物。
按照上述方式确定对象物种类（步骤181）。进而判定所确定的种类的对象物是否是事先规定的非对象种类的对象物（例如道路、天、云、海等）（步骤184）。如果所确定的种类的对象物不是非对象物（在步骤184中为“否”），则检测该确定的种类的对象物作为对象物（步骤183）。如果所确定的种类的对象物是非对象物（在步骤184中为“是”），则不检测为对象物。
图36是表示对象物检测处理步骤的其他流程图。该处理步骤将比第1阈值近的对象物及比第2阈值远的对象物从对象物中去除，将剩余的对象物检测为对象物。
如上所述，如果对象物的种类确定（步骤181），则能够分别计算出至种类已确定的对象物的距离（步骤191）。至对象物的距离如上所述，能够从通过一边使聚焦透镜84移动一边对被摄体进行摄像而得到的图像数据中提取高频成分（AF评价值），使用表示该AF评价值与聚焦透镜84的透镜位置的关系的曲线计算。如图33所示，如果划分出区域，则通过从与该区域相对应的图像数据中提取高频成分而得到AF评价值，在表示所得到的评价值AF与聚焦透镜84的透镜位置的曲线中，根据产生最大AF评价值的聚焦透镜的84的透镜位置，可以得到至该区域表示的对象物的距离。
图37表示从图33所示的表示车辆的图像区域171得到的AF评价值与聚焦透镜84的透镜位置的关系。
在图37中，AF评价值的峰值是AF11，该峰值AF11时的聚焦透镜84的透镜位置是P11。根据该透镜位置P11距离聚焦透镜84的初始位置多远，可知至车辆的距离。
图38表示从图33所示的表示人物的图像区域173得到的AF评价值与聚焦透镜84的透镜位置的关系。
在图38中，AF评价值的峰值是AF13，该峰值AF13时的聚焦透镜84的透镜位置是P13。根据该透镜位置P13距离聚焦透镜84的初始位置多远，可知至人物的距离。
如上所述，不限定于车辆、人物，对于至其他对象物的距离也可以同样地计算。
返回图36，如果计算出至各个对象物的距离，则将计算出距离的对象物中的除了比第1阈值（例如0.5m）近的对象物及比第2阈值（例如30m）远的对象物以外的对象检测为对象物（步骤192）。从检测到的对象物中，按照上述方式找出最近对象物及最远对象物。
图39及图40表示对象物检测，图39是表示其处理步骤的流程图，图40表示在显示画面2上显示的对象物检测用被摄体像160。
如上所述，如果通过摄像得到对象物检测用被摄体像160，则该对象物检测用被摄体像160显示在显示画面2上（步骤201）。在显示画面2的表面上形成有触摸面板，由用户从所显示的对象物检测用被摄体像160中触摸希望的对象物（步骤202）。
参照图40，在显示画面2上显示对象物检测用被摄体像160。在对象物检测用被摄体像160中，如上所述，包含车辆的图像161、道路的图像162、人物的图像163、树的图像164及165、云的图像166、天的图像167。用户用手指F从这些图像中触摸希望作为对象物的对象物的图像部分。例如，用手指F触摸车辆的图像161、人物的图像163以及树的图像164及165。由此，表示被触摸的图像部分的对象物被检测出（图39的步骤203）。从触摸的对象物中找出最近对象物和最远对象物。
如上所述，也可以将在对象物确定处理中确定的对象物种类，如图40所示，显示在对象物检测用被摄体像160的对应的对象物附近。从而用户能够一眼看出触摸的对象物是什么。另外，如图33所示，也可以针对对象物划出区域，将表示在这些区域中检测到的对象物种类的内容显示在显示画面2上。在这种情况下，用户也能够一眼看出触摸的对象物是哪些。
标号的说明
1    数码相机（摄像装置）
80   CPU
88   摄像元件（摄像单元）
100  存储卡
103  被摄体像距离获取装置
104A 对象物间距离计算装置
105   必要视差量计算装置
106   实时图像视差量计算装置

Claims (12)

1.一种摄像装置，其具有：
摄像单元，其对在摄像范围内包含的被摄体连续地进行摄像，并将摄像得到的图像数据连续地输出；
第1记录控制单元，其通过发出记录指令，将在发出记录指令的定时通过摄像得到的图像数据，作为表示第1被摄体像的图像数据而记录在记录单元中；
对象物检测单元，其从被摄体像中的对象物检测用被摄体像，检测全部满足规定条件的对象物，上述被摄体像由从上述摄像单元连续输出的图像数据表示；
第1距离信息计算单元，其计算通过上述对象物检测单元检测到的多个对象物中的距离摄像装置最近的对象物、和距离上述摄像装置最远的对象物间的距离信息；
视差量确定单元，其基于通过上述第1距离信息计算单元计算出的距离信息，确定视差量；以及
第2记录控制单元，其在通过使上述摄像装置在水平方向上移动，从而使得由从上述摄像单元连续地输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向的偏移量等于通过上述视差量确定单元确定的视差量的情况下，将在达到相等的定时摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，记录在上述记录单元中。
2.根据权利要求1所述的摄像装置，其中，
还具有第2距离信息计算单元，其对从上述摄像装置至在上述摄像范围内包含的多个对象物中的各个对象物为止的距离信息进行测定，
上述第1距离信息计算单元，根据通过上述第2距离信息计算单元计算出的、至上述最近的对象物为止的距离信息和至上述最远的对象物为止的距离信息，计算上述最近的对象物和上述最远的对象物间的距离信息。
3.根据权利要求2所述的摄像装置，其中，
上述摄像单元包含摄像元件及聚焦透镜，
还具有AF评价值计算单元，其根据通过一边使上述聚焦透镜移动一边在其各个移动位置进行摄像而得到的图像数据，对于每个移动位置计算表示合焦程度的AF评价值，
上述第2距离信息计算单元，基于在通过上述AF评价值计算单元计算出的AF评价值大于或等于阈值的情况下的、得到该AF评价值时的聚焦透镜的位置，测定至上述多个对象物中的各个对象物为止的距离。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
上述视差量确定单元，在上述第2距离信息计算单元仅测定出至通过上述对象物检测单元检测到的多个对象物中的一个对象物为止的距离的情况下，将事先规定的值确定为上述视差量。
5.根据权利要求1至3中任一项所述的摄像装置，其中，
上述视差量确定单元，基于显示立体图像的显示画面的大小和通过上述第1距离信息计算单元计算出的距离信息，确定上述视差量。
6.根据权利要求1至4中任一项所述的摄像装置，其中，
还具有设定单元，其设定显示上述立体图像的显示画面的大小，
上述视差量确定单元，基于通过上述设定单元设定的显示画面的大小和通过上述第1距离信息计算单元计算出的距离信息，确定上述视差量，
上述第2记录控制单元，对于上述多个视差量重复进行以下处理，即，在通过使上述摄像装置在水平方向上移动，从而使由从上述摄像单元连续输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向的偏移量等于通过上述视差量确定单元确定的多个视差量中的某一个视差量的情况下，将在达到相等的定时摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，记录在上述记录介质中。
7.根据权利要求1至6中任一项所述的摄像装置，其还具有：
读取单元，其对应于立体再生指令，从上述记录单元中读取记录在上述记录单元中的表示第1被摄体像的图像数据和记录在上述记录单元中的表示第2被摄体像的图像数据；以及
显示控制单元，其对显示装置进行控制，以使得由通过上述读取单元读取的表示第1被摄体像的图像数据表示的第1被摄体像、和由表示第2被摄体像的图像数据表示的第2被摄体像，在水平方向上偏离通过上述视差量确定单元确定的视差量而显示。
8.根据权利要求1至7中任一项所述的摄像装置，其中，
还具有对象物种类确定单元，其确定在上述对象物检测用被摄体像中包含的对象物的种类，
上述对象物检测单元对通过上述对象物种类确定单元确定的对象物种类中的事先规定种类的对象物进行检测。
9.根据权利要求1至7中任一项所述的摄像装置，其中，
还具有对象物种类确定单元，其确定在上述对象物检测用被摄体像中包含的对象物的种类，
上述对象物检测单元对通过上述对象物种类确定单元确定的对象物种类中的除了事先规定种类的种类的对象物进行检测。
10.根据权利要求8或9所述的摄像装置，其中，
还具有距离计算单元，其计算至通过上述对象物确定单元确定了种类的对象物位置为止的距离，
上述对象物检测单元，对通过上述对象物种类确定单元确定的种类的对象物中、除了通过上述距离计算单元计算出的距离小于或等于第1阈值处的对象物及大于或等于第2阈值处的对象物以外的对象物进行检测，上述第2阈值比第1阈值大。
11.根据权利要求1至7中任一项所述的摄像装置，其还具有：
显示装置，其将第1被摄体像显示在显示画面上；以及
触摸面板，其形成在上述显示画面上，
上述对象物检测单元对显示在上述触摸面板被触摸的位置处的对象物进行检测。
12.一种摄像装置的动作控制方法，该方法为：
摄像单元对在摄像范围内包含的被摄体连续地进行摄像，并将摄像得到的图像数据连续地输出；
第1记录控制单元通过发出记录指令，从而将在发出记录指令的定时通过摄像得到的图像数据，作为表示第1被摄体像的图像数据而记录在记录单元中；
对象物检测单元从被摄体像中的对象物检测用被摄体像，检测全部满足规定条件的对象物，上述被摄体像由从上述摄像单元连续输出的图像数据表示；
距离信息计算单元计算通过上述对象物检测单元检测出的多个对象物中的距离摄像装置最近的对象物、与距离上述摄像装置最远的对象物间的距离信息；
视差量确定单元基于通过上述第1距离信息计算单元计算出的距离信息，确定视差量；
第2记录控制单元，在通过使上述摄像装置在水平方向上移动，从而使得由从上述摄像单元连续地输出的图像数据表示的被摄体像与上述第1被摄体像在水平方向的偏移量等于通过上述视差量确定单元确定的视差量的情况下，将在达到相等的定时摄像得到的图像数据作为表示第2被摄体像的图像数据，与表示上述第1被摄体像的图像数据相关联，记录在上述记录单元中。
CN2011800391226A 2010-08-24 2011-06-16 摄像装置及其动作控制方法 Pending CN103069819A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010-187316 2010-08-24
JP2010187316 2010-08-24
JP2011-020549 2011-02-02
JP2011020549 2011-02-02
PCT/JP2011/063799 WO2012026185A1 (ja) 2010-08-24 2011-06-16 撮像装置およびその動作制御方法

Publications (1)

Publication Number Publication Date
CN103069819A true CN103069819A (zh) 2013-04-24

Family

ID=45723201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800391226A Pending CN103069819A (zh) 2010-08-24 2011-06-16 摄像装置及其动作控制方法

Country Status (4)

Country Link
US (1) US20130155204A1 (zh)
JP (1) JP5507693B2 (zh)
CN (1) CN103069819A (zh)
WO (1) WO2012026185A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
WO2013145820A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 撮影装置、方法、記憶媒体及びプログラム
JP6042096B2 (ja) * 2012-05-09 2016-12-14 東芝メディカルシステムズ株式会社 Ｘ線撮影装置及び医用画像処理装置
CN103688535B (zh) * 2012-07-19 2017-02-22 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN105191300B (zh) * 2013-03-21 2017-08-08 松下知识产权经营株式会社 图像处理方法以及图像处理装置
CN103680385B (zh) * 2013-11-29 2017-01-11 合肥京东方光电科技有限公司 触控电路及其驱动方法、阵列基板、触控显示装置
JP6587995B2 (ja) * 2016-09-16 2019-10-09 富士フイルム株式会社 画像表示制御システム，画像表示制御方法および画像表示制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060082644A1 (en) * 2004-10-14 2006-04-20 Hidetoshi Tsubaki Image processing apparatus and image processing program for multi-viewpoint image
JP3803626B2 (ja) * 2002-08-26 2006-08-02 オリンパス株式会社 カメラ
US20070018977A1 (en) * 2005-07-25 2007-01-25 Wolfgang Niem Method and apparatus for generating a depth map
JP2009003609A (ja) * 2007-06-20 2009-01-08 Nec Corp 立体画像構築システムおよび立体画像構築方法
JP2009103980A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮影装置、画像処理装置、及び撮影システム
JP2009212728A (ja) * 2008-03-03 2009-09-17 Ntt Docomo Inc 立体映像処理装置及び立体映像処理方法
CN101282492B (zh) * 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP2008026802A (ja) * 2006-07-25 2008-02-07 Canon Inc 撮像装置
US8228327B2 (en) * 2008-02-29 2012-07-24 Disney Enterprises, Inc. Non-linear depth rendering of stereoscopic animated images
JP5238429B2 (ja) * 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
GB2471137B (en) * 2009-06-19 2011-11-30 Sony Comp Entertainment Europe 3D image processing method and apparatus
JP2011146825A (ja) * 2010-01-13 2011-07-28 Panasonic Corp ステレオ画像撮影装置およびその方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3803626B2 (ja) * 2002-08-26 2006-08-02 オリンパス株式会社 カメラ
US20060082644A1 (en) * 2004-10-14 2006-04-20 Hidetoshi Tsubaki Image processing apparatus and image processing program for multi-viewpoint image
US20070018977A1 (en) * 2005-07-25 2007-01-25 Wolfgang Niem Method and apparatus for generating a depth map
JP2009003609A (ja) * 2007-06-20 2009-01-08 Nec Corp 立体画像構築システムおよび立体画像構築方法
JP2009103980A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮影装置、画像処理装置、及び撮影システム
JP2009212728A (ja) * 2008-03-03 2009-09-17 Ntt Docomo Inc 立体映像処理装置及び立体映像処理方法
CN101282492B (zh) * 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法

Also Published As

Publication number Publication date
JPWO2012026185A1 (ja) 2013-10-28
JP5507693B2 (ja) 2014-05-28
WO2012026185A1 (ja) 2012-03-01
US20130155204A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
CN103069819A (zh) 摄像装置及其动作控制方法
CN102308590B (zh) 三维图像输出装置和三维图像输出方法
CN103493484B (zh) 成像装置和成像方法
CN102172031B (zh) 三维显示设备和三维显示方法
US9288474B2 (en) Image device and image processing method for generating control information indicating the degree of stereoscopic property or whether or not 3D image needs to be outputted
CN102918858B (zh) 立体全景图像创建设备和方法、立体全景图像再现设备和方法
CN102959969B (zh) 单眼立体摄像装置
CN102362487B (zh) 立体成像设备
CN103370943B (zh) 成像装置和成像方法
US8970675B2 (en) Image capture device, player, system, and image processing method
US20100194902A1 (en) Method for high dynamic range imaging
CN102972032A (zh) 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN102124749B (zh) 立体图像显示装置
US9042709B2 (en) Image capture device, player, and image processing method
CN103854335B (zh) 一种行车记录仪全景视频生成方法
US20120120202A1 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
CN103733133B (zh) 摄像装置及其控制方法
WO2013108339A1 (ja) ステレオ撮影装置
CN102572262A (zh) 电子设备
CN102959467A (zh) 单眼立体成像装置
CN102135722B (zh) 摄像机结构、摄像机系统和方法
US20120050490A1 (en) Method and system for depth-information based auto-focusing for a monoscopic video camera
US8896670B2 (en) Image processing device, image processing method, and program
CN101986717A (zh) 立体显示用图像数据生成系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20160706

C20 Patent right or utility model deemed to be abandoned or is abandoned