CN103843331A - 图像拾取装置、图像拾取方法、程序以及存储介质 - Google Patents

图像拾取装置、图像拾取方法、程序以及存储介质 Download PDF

Info

Publication number
CN103843331A
CN103843331A CN201280047602.1A CN201280047602A CN103843331A CN 103843331 A CN103843331 A CN 103843331A CN 201280047602 A CN201280047602 A CN 201280047602A CN 103843331 A CN103843331 A CN 103843331A
Authority
CN
China
Prior art keywords
image
binocular vision
subject
guiding frame
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280047602.1A
Other languages
English (en)
Other versions
CN103843331B (zh
Inventor
藤田广大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103843331A publication Critical patent/CN103843331A/zh
Application granted granted Critical
Publication of CN103843331B publication Critical patent/CN103843331B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Abstract

一种图像拾取单元12(12-1、12-2)获得三维图像。显示单元18显示所获得的三维图像。显示控制单元61使所述显示单元18显示第一引导帧。被摄体图像检测单元62从所获得的三维图像检测特定被摄体图像。距离信息获得单元(63)获得涉及与所检测到的被摄体图像相对应的被摄体的距离并且还涉及从所述图像拾取单元12到所述被摄体的距离的信息。双眼视觉适合性评估单元(64)基于所获得的距离相关信息来评估所述第一引导帧中的被摄体图像是否适合于双眼视觉。在所述第一引导帧中的所述被摄体图像被评估为适合于所述双眼视觉的情况下,所述显示控制单元(61)使所述第一引导帧的位置和尺寸中的至少一个与适合于所述双眼视觉的所述被摄体图像的那些相匹配。如此,在视觉上帮助用户使得能够容易地捕获具有适当视差的三维图像。

Description

图像拾取装置、图像拾取方法、程序以及存储介质
技术领域
本发明涉及一种能够在视觉上帮助用户能够容易地拍摄具有适当视差的立体图像的图像拾取装置、图像拾取方法、程序以及存储介质。
背景技术
在拍摄右和左视差图像以执行立体可见图像显示的情况下,当被摄体太靠近图像拾取装置时,视差间隙增加并且立体显示图像(3D图像)模糊。另一方面,当被摄体离图像拾取装置太远时,发生其中视差间隙减少并且不可以获取立体效果的现象。
专利文献1公开了一种配置,所述配置用来检测被摄体位置,确定被摄体位置是否在可以拍摄立体可见视差图像的双眼视觉许可范围内,并且在确定被摄体位置是在双眼视觉许可范围内的情况下,在预定时间之后执行视差图像的成像。
专利文献2公开一种配置,所述配置用来确定在多个视点处的图像是否适合于双眼视觉,并且,在确定它们不适合于双眼视觉的情况下,将在多个视点处的图像转换成二维图像。
专利文献3公开了一种用来重叠眼位置引导图像的配置,所述眼位置引导图像示出了右眼和左眼的适当位置以使用户在显示屏上立体地查看3D图像,其中用户图像被显示在监视器上。
{引用列表}
{专利文献}
{PTL1}日本专利申请特开No.2011-33990
{PTL2}日本专利申请特开No.2005-167310
{PTL3}日本专利申请特开No.2009-250987
发明内容
{技术问题}
然而,存在以下问题:用户不知道在哪里查看以拍摄图像,用户不知道在哪一个状态或场景下能够获取适合的立体图像,以及用户不知道在哪一个状态或场景下双眼视觉不是适合的(直到成像被执行为止它是未知的)。
在专利文献1中的配置中,尽管可以在被摄体位置是在双眼视觉许可范围内的情况下拍摄图像,但是不可以在视觉上帮助用户容易地拍摄具有适当视差的立体图像。
在专利文献2中的配置中,尽管可以在它不适合于双眼视觉的情况下输出二维图像,但是不可以在视觉上帮助用户容易地拍摄具有适当视差的立体图像。
在专利文献3中的配置中,尽管可以将用户的眼位置引导到适合于双眼视觉的位置,但是不可以在视觉上帮助用户能够容易地拍摄具有适当视差的立体图像。
本发明鉴于这样的条件而被做出,并且目的是提供能够在视觉上帮助用户能够容易地拍摄具有适当视差的立体图像的图像拾取装置、图像拾取方法、程序以及存储介质。
{问题的解决方案}
为了实现上面提到的被摄体,根据本发明的一个方面的图像拾取装置包括:图像拾取单元,所述图像拾取单元被配置成对被摄体进行成像并且获取用多个视点图像形成的立体图像;显示单元,所述显示单元能够显示由图像拾取单元获取的立体图像;显示控制单元,所述显示控制单元被配置成将预定尺寸的第一引导帧显示在所述显示单元上;被摄体图像检测单元,所述被摄体图像检测单元被配置成从由图像拾取单元获取的立体图像检测特定被摄体图像;距离信息获取单元,所述距离信息获取单元被配置成获取涉及与由所述被摄体图像检测单元所检测到的被摄体图像相对应的被摄体的距离并且涉及从图像拾取单元到被摄体的距离的信息;以及双眼视觉适合性确定单元,所述双眼视觉适合性确定单元被配置成基于涉及由距离信息获取单元所获取的距离的信息来确定第一引导帧中的被摄体图像是否适合于双眼视觉,其中,在所述双眼视觉适合性确定单元确定第一引导帧中的被摄体图像适合于双眼视觉的情况下,所述显示控制单元使第一引导帧的位置和尺寸中的至少一个与适合于双眼视觉的被摄体图像相匹配。在这里,动态图片图像在所述显示单元中的显示在三维显示(立体显示)的情况下未被特别限制,并且包括二维显示(平面显示)的情况。
根据这个配置,可以减少并且抑制立体图像的失效图片,并且此外,用户能够通过引导帧的帮助容易地确认在所述显示单元中要看哪里,以及容易地且在视觉上确认它是否适合于双眼视觉。而且,为了实现这个图像拾取装置,因为在相关技术中它不必将新的部分添加到所述图像拾取装置,所以也获取了成本抑制效果。
根据一个方面,所述显示控制单元除第一引导帧之外还将比第一引导帧更大尺寸的第二引导帧显示在所述显示单元上,并且在所述被摄体图像检测单元从第二引导帧检测到与由所述双眼视觉适合性确定单元确定为适合于双眼视觉的被摄体图像不同的至少一个其它被摄体图像的情况下,所述显示控制单元使第二引导帧与所述至少一个其它被摄体图像相匹配。
根据一个方面,所述双眼视觉适合性确定单元确定第二引导帧中的至少一个其它被摄体图像是否适合于双眼视觉,并且在所述双眼视觉适合性确定单元确定第二引导帧中的至少一个其它被摄体图像适合于双眼视觉的情况下,所述显示控制单元使第二引导帧与适合于双眼视觉的至少一个其它被摄体图像相匹配。
根据一个方面,它包括:图像拾取指令输入单元,所述图像拾取指令输入单元被配置成接受来自用户的图像拾取指令的输入;以及记录单元,所述记录单元被配置成:在所述双眼视觉适合性确定单元确定立体图像适合于双眼视觉的情况下,当在图像拾取指令输入单元中输入图像拾取指令时,将由图像拾取单元获取的立体图像记录在预定存储介质中。
根据一个方面,它进一步包括:双眼视觉适合性通知单元,所述双眼视觉适合性通知单元被配置成:在所述双眼视觉适合性确定单元确定立体图像适合于双眼视觉的情况下,通知立体图像适合于双眼视觉;以及记录单元,所述记录单元被配置成:当在双眼视觉适合性通知单元通知立体图像适合于双眼视觉之后特定时间段过去时,将由图像拾取单元所获取的立体图像记录在预定存储介质中。也就是说,因为快门被自动地激活,所以可以减轻由于快门操作而导致的模糊。
根据一个方面,所述显示控制单元使所述显示单元执行多个视点图像的一个视点图像的平面显示,将引导帧重叠在经历这个平面显示的所述一个视点图像上并且使所述显示单元执行平面显示,以及,在所述双眼视觉适合性确定单元确定被摄体图像适合于双眼视觉的情况下,使所述显示单元执行立体图像的立体显示。
根据一个方面,当引导帧中被摄体图像的数目超过阈值时,所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉。
根据一个方面,当引导帧中被摄体图像的尺寸等于或小于第一阈值或者引导帧中被摄体图像的尺寸超过大于第一阈值的第二阈值时,所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉。
根据一个方面,在引导帧中存在多个被摄体图像的情况下,所述双眼视觉适合性确定单元计算所述多个被摄体图像中的被摄体距离的最大值与最小值之间的差作为被摄体距离范围,并且在被摄体距离范围不在容许范围内的情况下,确定它不适合于双眼视觉。
根据一个方面,它进一步包括双眼视觉不适合性通知单元,所述双眼视觉不适合性通知单元被配置成:当所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉时,通知立体图像不适合于双眼视觉。也就是说,可以在视觉上确认它不适合于双眼视觉。
根据一个方面,当所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉时,所述双眼视觉不适合性通知单元将所述显示单元的显示从立体显示切换到平面显示。
根据一个方面,当所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉时,所述双眼视觉不适合性通知单元执行用来切换在所述显示单元上显示的引导帧的色彩的控制或用来使引导帧闪烁的控制。
根据一个方面,当所述双眼视觉适合性确定单元确定立体图像不适合于双眼视觉时,所述双眼视觉不适合性通知单元使用发光二极管、所述显示单元以及声音输出设备中的任何一个作为通知单元来执行通知。
根据一个方面,它进一步包括设定输入单元,所述设定输入单元被配置成接受以下中的至少一个设定的输入:通过所述显示控制单元的引导帧显示是否被执行、以及通过所述双眼视觉适合性确定单元的双眼视觉适合性确定是否被执行、在所述被摄体图像检测单元中检测到的被摄体图像的类型、和在所述显示单元上显示的引导帧的类型。
而且,一种使用图像拾取单元和显示单元的根据本发明的另一方面的图像拾取方法,所述图像拾取单元被配置成对被摄体进行成像并且获取用多个视点图像形成的立体图像,所述显示单元能够显示由图像拾取单元获取的立体图像,包括:将预定尺寸的引导帧显示在所述显示单元上的引导帧显示步骤;从由所述图像拾取单元获取的立体图像检测特定被摄体图像的被摄体图像检测步骤;获取涉及与在所述被摄体图像检测步骤中检测到的被摄体图像相对应的被摄体的距离并且涉及从所述图像拾取单元到被摄体的距离的信息的距离信息获取步骤;基于涉及在所述距离信息获取步骤中获取的距离的信息来确定引导帧中的被摄体图像是否适合于双眼视觉的双眼视觉适合性确定步骤;以及在所述双眼视觉适合性确定步骤中确定引导帧中的被摄体图像适合于双眼视觉的情况下使引导帧的位置和尺寸中的至少一个与适合于双眼视觉的被摄体图像相匹配的步骤。
甚至通过这个图像拾取方法,用户能够通过引导帧的帮助容易地确认在所述显示单元中要看哪里,并且容易地且在视觉上确认它是否适合于双眼视觉。
而且,根据本发明的另一方面,提供了使处理器(例如,安装在所述图像拾取装置上的处理器)执行所述图像拾取方法的程序。通过使处理器执行根据本发明的程序,可以实现与所述图像拾取方法类似的效果。而且,根据本发明的另一方面,提供了记录了使处理器执行所述图像拾取方法的程序的可读存储介质。通过使处理器从根据本发明的存储介质读出程序并且执地它,可以实现与所述图像拾取方法类似的效果。
{发明的有益效果}
根据本发明,可以在视觉上帮助用户能够容易地拍摄具有适当视差的立体图像。
附图说明
图1是根据本发明的图像拾取装置的一个示例的整个配置图。
图2是图像拾取装置的主体的后视图。
图3是图示图像拾取装置的功能配置的框图。
图4是用来描述适当的双眼视觉范围的解释性图。
图5是图示第一实施例中的图像拾取处理示例的流程的流程图。
图6是示意性地图示其中多个被摄体被成像的成像场景的一个示例的解释性图。
图7是图示显示主引导帧和子引导帧两者的显示示例的解释性图。
图8A是图示其中主引导帧被聚焦在主被摄体图像上的状态的解释性图(版本1)。
图8B是图示其中主引导帧被聚焦在主被摄体图像上的状态的解释性图(版本2)。
图9A是图示其中子引导帧被聚焦在多个子被摄体图像上的状态的解释性图(版本1)。
图9B是图示其中子引导帧被聚焦在多个子被摄体图像上的状态的解释性图(版本2)。
图10是图示第二实施例中的图像拾取处理示例的流程的流程图。
图11是图示第三实施例中的图像拾取处理示例的流程的流程图。
图12是图示第四实施例中的图像拾取处理示例的流程的流程图。
图13A是典型地图示2D直通图像显示的解释性图。
图13B是典型地图示3D直通图像显示的解释性图。
图14A是在引导帧中被摄体图像的数目超过阈值的情况下的解释性图(版本1)。
图14B是在引导帧中被摄体图像的数目超过阈值的情况下的解释性图(版本2)。
图14C是在引导帧中被摄体图像的数目超过阈值的情况下的解释性图(版本3)。
图15A是在引导帧中被摄体图像的尺寸等于或小于阈值的情况下的解释性图(版本1)。
图15B是在引导帧中被摄体图像的尺寸等于或小于阈值的情况下的解释性图(版本2)。
图15C是在引导帧中被摄体图像的尺寸等于或小于阈值的情况下的解释性图(版本3)。
图16是在引导帧中被摄体图像的尺寸超过阈值的情况下的解释性图。
图17是在尺寸超过引导帧的被摄体图像被检测到的情况下的解释性图。
图18是用来描述被摄体距离范围的解释性图。
图19是示出成像模式的选择菜单的一个示例的解释性图。
具体实施方式
在下文中,参考附图详细地描述本发明的实施例。
图1是根据本发明的图像拾取装置的一个示例的整个配置图。
本示例的图像拾取装置10包括两个图像拾取单元12-1和12-2。在这里,可以安装两个或更多个图像拾取单元12。
图像拾取单元12-1和12-2拍摄被摄体的图像并且获取用多个视点图像形成的立体图像。
CPU(中央处理单元)14是根据程序来执行图像拾取装置10的整个操作的整体控制的控制设备。
本示例的CPU14用信号处理IC来形成。这个信号处理IC包括ROM(只读存储器)、EPROM(可擦可编程ROM)以及工作存储器(RAM(随机存取存储器))。由CPU14所执行的控制程序和控制所需要的各种种类的数据等等被存储在ROM中。诸如用户设定信息的与图像拾取装置10的操作相关的各种种类的设定信息被存储在EPROM中,并且即使它被断电也未从其删除存储内容的非易失性存储器被用作EEPROM。工作存储器包括CPU14的计算工作区域和图像数据的临时存储区域,并且作为易失性存储器的动态RAM通常根据成本性能被使用。
操作单元16是接受用户的指令输入的操作设备。图2图示了图1中的图像拾取装置10的主体的背面。如图2中所图示的,在图像拾取装置10的主体的背面中,作为操作单元16的组件,布置了:接受图像拾取指令的输入的释放开关50;接受变焦指令的输入的变焦杆51;接受操作模式切换指令的输入的模式开关52a、52b以及52c;能够发射各种色彩的光的LED(发光二极管)53;接受视差调整的指令输入的视差调整按钮54;接受3D(三维)图像拾取模式和2D(二维)图像拾取模式的切换指令的输入的3D/2D切换按钮54;接受菜单显示指令等的输入的“菜单/OK”按钮55;接受右、左、顶部以及底部的四个方向的指令输入的交叉按钮56;接受诸如显示指令的指令输入的“显示/OK”按钮57。而且,在图像拾取装置10的主体的正面上,布置了接受图像拾取装置10的通电/断电的切换指令的输入的电源开关。
模式开关52a、52b以及52c是用于执行图像拾取装置10的操作模式的切换输入的操作手段。在本示例中,模式开关被形成包括:成像/重放切换按钮52a,成像/重放切换按钮52a接受重放模式和图像拾取模式(2D图像拾取模式和3D图像拾取模式)的切换指令的输入;3D/2D切换按钮52b,3D/2D切换按钮52b接受3D图像拾取模式和2D图像拾取模式的切换指令的输入;以及移动/静止图像切换按钮52c,移动/静止图像切换按钮52c接受移动图像成像和静止图像成像的切换指令的输入。
释放开关50用包括所谓的“半按”和“全按”的两级行程类型的开关来形成。当释放开关50在拍摄静止图像(S1通(ON))的模式时在中途被按时,图像拾取准备处理(例如,AE(自动曝光)调整处理)、AF(自动聚焦)处理以及AWB(自动白平衡)调整处理被执行。另外,当释放开关50被全按(S2通)时,静止图像的图像拾取和记录处理被执行。另外,在拍摄移动图像的模式时,移动图像的图像拾取在释放开关50被全按时启动,并且当它被再次全按时移动图像的图像拾取被终止。在这里,可以单独地安装用于静止图像的图像拾取的释放开关和用于移动图像的图像拾取的释放开关。
而且,变焦杆51被安装在释放开关50的外周边中。变焦杆51是用于执行图像拾取单元12-1和12-2的变焦操作的操作手段,并且能够输入摄远侧的变焦指令和广角侧的变焦指令。
显示单元18例如是包括彩色LCD(液晶显示器)的显示装置。显示单元18充当显示被拍摄图像的显示单元,并且当与图像拾取装置10的各种功能相关的设定被执行时充当用户接口。而且,显示单元18充当显示实况视图图像(移动图像)以确认在图像拾取模式时的视角的电子取景器。
显示单元18是能够执行由图像拾取单元12-1和12-2获取的立体图像的立体显示的显示设备。本示例的显示单元18具有显示用户或观察者能够在3D图像拾取模式时立体地查看的立体(3D)图像的功能。作为3D图像的显示系统,例如,光方向控制系统被采用。光方向控制系统交替地(例如,以1/60秒间隔)重复用来将用于左眼的图像数据显示在LCD上并且辐射给予方向性以通过背光面板达到用户的左眼的光照光的处理、以及用来将用于右眼的图像数据显示在LCD上并且辐射给予方向性以通过背光面板达到用户的右眼的光照光的处理。通过这种手段,因为相互具有视差的左眼图像和右眼图像能够被用户的右眼和左眼交替地观察到,所以用户能够观察到立体图像。存在用来显示立体图像的许多方法,并且能够使用它们中的任何一个。
记录单元20记录被拍摄图像文件和各种种类的数据。例如,记录单元20可以是诸如SD存储器卡(注册商标)和xD图片卡(注册商标)的可拆卸记录介质,或内置到图像拾取装置10的主体中的存储器。然而,在内置到图像拾取装置10的主体中的存储器被使用的情况下,有必要使用非易失性存储器使得甚至在相机主体的电源被切断的情况下图像也未被删除。
扬声器21是执行声音输出的声音输出设备。
接下来,描述了图像拾取装置10的图像拾取功能。在这里,尽管附图标记“1”和“2”被指配给图像拾取单元12-1和12-2并且在图1中被区别,但是因为每个单元的功能是基本上类似的,所以连字符(hyphen)和后续附图标记“1”和“2”在以下解释中被任意地省略并且描述。
每个图像拾取单元12具有包括聚焦透镜24、变焦透镜26、光圈28以及机械快门30的图像拾取透镜(成像透镜)22。在本实施例中,图像拾取透镜22-1和22-2的会聚角θc是固定的。
聚焦透镜24和变焦透镜26沿着每个图像拾取单元12的光轴来回移动。CPU14控制安装在光学系统驱动单元32中的聚焦致动器的操作,并且调整聚焦透镜24的位置以及执行聚焦。而且,CPU14控制安装在光学系统驱动单元32中的变焦距致动器的操作,并且调整变焦透镜26的位置以及执行变焦。而且,通过控制安装在光学系统驱动单元32中的光圈致动器的驱动器,CPU14调整光圈28的开口量(光圈值)并且控制到图像拾取元件34的入射光线量。
当从图像拾取元件34读出数据时,机械快门30被关闭。通过这种手段,在数据读出时进入到图像拾取元件34中的光被阻挡。
CPU14在3D图像拾取模式时驱动图像拾取单元12-1和12-2的图像拾取透镜22-1和22-1(也就是说,聚焦透镜24-1和24-2、变焦透镜26-1和26-2以及光圈28-1和28-2)并且使其同步。也就是说,图像拾取单元12-1和12-2在3D图像拾取模式时总是被设置为相同的焦距(变焦放大率)并且光圈被调整成总是提供相同的入射光线量(光圈值)。另外,在3D图像拾取模式时,聚焦调整被执行使得相同的被摄体总是被聚焦。
图像拾取元件34例如是CMOS(互补金属氧化物半导体)图像传感器。在这里,可以使用除CMOS图像传感器外的其它图像拾取元件作为图像拾取元件34。例如,存在CCD(电荷耦合器件)图像传感器。
许多光电二极管被二维地布置在图像拾取元件34的光接收表面上。在每个光电二极管中,预定色彩(例如,红(R)、绿(G)以及蓝(B)的三个原色)的滤色器被布置在预定阵列中。在这里,滤色器的色彩不限于R、G以及B的三个原色,并且例如,还可以使用互补系统的滤色器。当被摄体光通过图像拾取单元12被形成在图像拾取元件34的光接收表面上时,这个被摄体光通过光电二极管被转换成与入射光线量相对应的信号电荷。图像拾取元件34包括电子快门功能,并且CPU14通过控制光电二极管的电荷存储时间来控制曝光时间(快门速度)。在每个光电二极管中累积的信号电荷在根据CPU14的指令从定时发生器(TG)36给出的驱动脉冲的基础上被从图像拾取元件34顺序地读出为与电荷量相对应的图像信号(R、G以及B信号)。从图像拾取元件34读出的图像信号通过放大器38在模拟信号处理单元40中被输入。
模拟信号处理单元40包括:用来去除在从图像拾取元件34输出的R、G以及B信号中包括的重置噪声(低频)的CDS(相关双采样)电路;用来将R、G以及B信号放大并且控制到恒定电平幅度的AGC(自动增益控制)电路;以及将模拟信号转换成数字信号的A/D转换器。从图像拾取元件34输出的模拟R、G以及B信号经历相关双采样处理并且被模拟信号处理单元40放大。R、G以及B信号在模拟信号处理单元40中的放大增益对应于成像灵敏度(ISO灵敏度)。CPU14通过根据被摄体的亮度等等调整这个放大增益来设置成像灵敏度。在这里,在具有相同灵敏度的两个图像拾取元件被用来拍摄图像(3D图像拾取模式)的情况下,这个增益在[1]-系统模拟信号处理单元40-1与[2]-系统模拟信号处理单元40-2之间被设置为相同的值。
经历增益调整的模拟R、G以及B信号通过A/D转换器而被转换成数字R、G以及B信号,并且其后通过缓冲存储器在信号处理IC14中输入。
像上面那样所生成的数字R、G以及B信号经历预定处理(例如,补偿由于单个图像拾取元件的滤色器阵列而导致的色彩信号的特殊间隙并且产生R、G以及B色彩信号的处理)、白平衡调整处理、分级转换(伽马校正)处理以及通过信号处理IC的轮廓校准处理,并且被转换成辉度信号(Y信号)和色差信号(Cr和Cb信号),也就是说,Y/C信号。
在作为确认在拍摄静止图像或移动图像的情况下的视角的图像的实况视图图像(直通图像)被显示在显示单元18上的情况下,在图像拾取元件34中累积的图像信号被变薄并且以预定时间间隔读取。所读取的图像信号经历通过信号处理IC的预定处理并且转换成Y/C信号。另外,这个Y/C信号被转换成适合于在显示单元18中显示的信号(例如,R、G以及B信号)并且其后通过每次一帧输出到显示单元18。通过这种手段,用于确认视角的移动图像(直通图像)被显示在显示单元18上。在2D图像拾取模式时,用于直通图像的图像信号被仅从一个图像拾取单元12读出。另一方面,在3D图像拾取模式时,用于直通图像的图像信号被从右图像拾取单元12-1和左图像拾取单元12-2两者读出,并且使用两个图像来显示3D直通图像(移动图像)。
在这里,在3D图像拾取模式时,可以根据设定通过2D显示器来显示该直通图像。在这种情况下,使用从右图像拾取单元12-1和左图像拾取单元12-2中的一个获取的图像产生的直通图像被显示。在被摄体在3D图像拾取模式时被检测到(面部检测)的情况下,也许可以根据被摄体是否是在适当的双眼视觉范围中来改变指配给从上面提到的2D直通图像检测到的被摄体的图(例如,面部检测帧)的色彩。
接下来,描述了图像的图像拾取和记录处理。在2D图像拾取模式时,由一个预定图像拾取单元(例如,12-1)来拍摄用于记录的图像。在这里,也许可以使图像拾取单元12-1和12-2(诸如图像拾取透镜22和图像拾取元件34)的特性变得相互不同,使得用户能够选择在2D图像拾取模式时使用图像拾取单元中的哪一个。
在2D图像拾取模式时,由图像拾取单元12-1所拍摄的图像被信号处理IC压缩。经压缩的图像数据作为格式的图像文件被记录在记录单元20中。例如,静止图像被记录为符合JPEG(联合影像专家组)的标准的压缩图像文件,并且移动图像被记录为符合MPEG-2、MPEG4或H.264等等的标准的压缩图像文件。然而,压缩方案不限于这些。
在3D图像拾取模式时,图像被图像拾取单元12-1和12-2同步地拍摄。在上面提到的3D图像拾取模式时,AF处理和AE处理在由图像拾取单元12-1和12-2中的一个获取的图像信号的基础上被执行。在上面提到的3D图像拾取模式时,在两上视点处由图像拾取单元12-1和12-2所拍摄的图像被压缩、存储为一个文件并且记录在记录单元20中。文件存储两个视点的压缩图像数据以及被摄体距离信息和关于图像拾取单元12的图像拾取透镜的间隔和会聚角的信息。
在重放模式时,在记录单元20中记录的最后的图像文件(最后一次记录的图像文件)被信号处理IC读出并且扩展为非压缩Y/C信号。这个非压缩Y/C信号被转换成R、G以及B信号并且其后输出到显示单元18。通过这种手段,在记录单元20中记录的图像文件被显示在显示单元18上。
当在3D图像拾取模式下拍摄的图像被播放时,可以通过设定来选择3D显示和2D显示。在图像中检测到被摄体(面部检测)的情况下,也许可以根据被摄体在图像拾取时是否是在适当的双眼视觉范围内来改变指配给从上面提到的2D显示检测到的被摄体的图(例如,面部检测帧)的色彩。
接下来,使用图3来描述在图1中图示的图像拾取装置10的功能配置。
如图3中所图示的,CPU14包括:显示控制单元61,显示控制单元61将预定尺寸的引导帧(主引导帧和子引导帧)显示在显示单元18上;被摄体图像检测单元62,被摄体图像检测单元62从由图像拾取单元12获取的立体图像检测特定被摄体图像;距离信息获取单元63,距离信息获取单元63获取涉及与由被摄体图像检测单元62所检测到的被摄体图像相对应的被摄体的距离并且涉及从图像拾取单元12到被摄体的距离的信息(其在下面可以被简单地称为“距离信息”);双眼视觉适合性确定单元64,双眼视觉适合性确定单元64在由距离信息获取单元63所获取的距离信息的基础上通过确定引导帧中的被摄体图像是否适合于双眼视觉来确定立体图像是否适合于双眼视觉;以及通知控制单元66(双眼视觉适合性通知控制单元和双眼视觉不适合性通知控制单元),通知控制单元66通知立体图像适合于双眼视觉并且立体图像不适合于双眼视觉。在双眼视觉适合性确定单元64确定引导帧中的被摄体图像适合于双眼视觉的情况下,显示控制单元61将引导帧位置和尺寸中的至少任何一个调整为适合于双眼视觉的被摄体图像。
在这里,“特定被摄体图像”是通过本实施例中的被摄体图像检测单元62从立体图像检测到的被摄体的图像。至于“特定被摄体图像”的具体示例,尽管面部图像被提供为代表性示例,但是除面部图像外的其它被摄体(被摄体图像)或具有等于或大于阈值的高频分量(边缘)的被摄体图像是可能的。
此外,“涉及距离的信息”不限于直接地示出从图像拾取单元12到被摄体的距离的数值(被摄体距离)。例如,“涉及距离的信息”可以是由CPU14通过图像拾取单元12的聚焦透镜24的聚焦控制所获取的信息,或从由CPU14在形成立体图像的多个视点图像的基础上生成的视差图所获取的信息。通过检测每个像素在多个视点图像之间的对应点来获取视差图。
“引导帧”是示出图像中的预定区域的显示。在这里,“引导帧”不限于在本说明书中所描述的示例。
例如,显示控制单元61、被摄体图像检测单元62、距离信息获取单元63、双眼视觉适合性确定单元64以及通知控制单元66用微计算机设备和电子电路来形成。
接下来,描述了由双眼视觉适合性确定单元64所执行的双眼视觉适合性确定。在下文中,其中被摄体图像在立体图像中的视差适合于双眼视觉的范围被称为“适当的双眼视觉范围”。
使用图4来描述适当的双眼视觉范围的计算示例。在图4中,SB表示基线长(立体基线),Pc表示交叉点,Pn表示在适当的双眼视觉范围R内的最近点(其后被称为“近点”),Pf表示在适当的双眼视觉范围R内的最远点(其后被称为“远点”),并且θc表示交叉点Pc的角度(其后被称为“会聚角”),其是由图4中的左光学系统的光轴和右光学系统的光轴所形成的角度。θf和θn是定义容许视差量的角度。也就是说,适当的双眼视觉范围R表示从图像拾取装置1的主体的前表面(其是图像拾取单元12被布置在其中的参考表面)到近点Pn的距离Dn与从图像拾取装置1的主体的前表面到远点Pf的距离Df之间的范围。
为了简要地描述适当的双眼视觉范围R的计算示例,在图4中,示出右光学系统(例如,图1中的图像拾取透镜22-1)的光轴方向的角度,即,由右光学系统的光轴和SB所形成的角度被假定为θR,并且示出左光学系统(例如,图1中的图像拾取透镜22-2)的光轴方向的角度,即,由左光学系统的光轴和SB所形成的角度被假定为θL。如果假定θL=90[度],则到近点Pn的距离Dn和到远点Pf的距离Df由以下等式来表达。
[等式1]
Dn=SB×tan(θR-θn)
Df=SB×tan(θR+θf)
在这里,θR=90-θc[度]在这个示例中被设置。因此,能够使用基线长SB、会聚角θc以及定义容许视差量的角度θf和θn作为参数来计算示出适当的双眼视觉范围R的Dn-Df。
尽管省略了关于适当的双眼视觉范围R在θL<90[度]的情况下的计算的解释,但是甚至在θL<90[度]的情况下仅必须使用基线长SB、会聚角θc以及定义容许视差量的角度θf和θn作为参数来计算示出适当的双眼视觉范围R的Dn和Df。
如图4中所图示的,能够通过确定从图像拾取单元12到与特定被摄体图像相对应的被摄体的距离是否是在适当的双眼视觉范围R内来执行关于立体图像中的特定被摄体图像是否适合于双眼视觉的确定。
在这里,尽管已经使用真实空间中的被摄体距离描述了适当的双眼视觉范围以便促进对本发明的理解,但是在使用真实空间中的被摄体距离的情况下,在本发明中对于双眼视觉适合性的确定未被特别限制。能够使用任何信息,只要该信息对应于被摄体距离。
[第一实施例]
图5是图示第一实施例中的图像拾取处理示例的流程的流程图,其是图示在图1至3中图示的图像拾取装置中的图像拾取处理的一个示例的流程。本处理由CPU14根据程序来执行。
首先,电源激活处理被执行(步骤S2)。
接下来,预定尺寸的主引导帧(第一引导帧)和子引导帧(第二引导帧)被显示在显示单元18(步骤S4)上。子引导帧的尺寸大于主引导帧的尺寸。
接下来,被摄体图像检测单元62从由图像拾取单元12所获取的立体图像检测特定被摄体图像(步骤S6)。在本示例中,尽管面部图像被检测为特定被摄体图像,但是除面部图像外的其它被摄体图像或具有等于或大于阈值的高频分量(例如,边缘)的被摄体图像可以被检测为特定被摄体图像。
接下来,确定所检测到的被摄体图像是否是在主引导帧中(步骤S8)。在这里,在这个示例中,主引导帧被显示重叠立体图像,并且确定特定被摄体图像(其在本示例中是面部图像)是否存在于由主引导帧在立体图像中所示出的区域中。
接下来,由距离信息获取单元63来获取关于与在主引导帧中检测到的被摄体图像相对应的被摄体的距离的信息(距离信息)(步骤S10)。在这里,距离信息表示与从图像拾取单元12到被摄体的距离(被摄体距离)相对应的信息,并且它不关心它是否是是直接地指示该被摄体距离的值。
在图6中所图示的示例中,由距离信息获取单元63来获取到多个被摄体图像(其在本示例中是面部图像)的距离L1、L2以及L3。可以通过图像处理从立体图像检测到与这些L1、L2以及L3相对应的被摄体图像的视差。可以使用由图像拾取单元12的聚焦透镜24的聚焦控制所获取的信息(聚焦信息)或者可以使用从视差图所获取的信息(视差信息)。
接下来,在所红区的距离信息的基础上确定主引导帧中的被摄体图像是否适合于双眼视觉(步骤S12)。
接下来,显示控制单元61将主引导帧聚焦到对于双眼视觉最适合的被摄体图像(其后被称为“最佳被摄体图像”)(步骤S14)。
图7图示了主引导帧80M和比主引导帧80M更大尺寸的子引导帧80S被作为引导帧显示在显示单元18上的示例。在本示例中,两个引导帧(主引导帧80M和子引导帧80S)中的每一个都通过多个转角图像(在本示例中主引导帧80M中的两个转角图像和子引导帧80S中的四个转角图像)来示出图像中的预定区域。主引导帧80M的中心和立体图像的中心18C匹配。也就是说,主引导帧80M被显示在显示单元18的屏幕的中心18C上。
图8A和8B是描述在在主引导帧80M中检测到多个被摄体图像的情况下的处理的图。在图8A中,多个被摄体图像101和102(其在本示例中是面部图像)被包括在主引导帧80M中。在从如图8A中所图示的主引导帧80M检测到多个被摄体图像101和102的情况下,显示控制单元61从主引导帧80M中的多个被摄体图像101和102选择对于双眼视觉最适合的被摄体图像作为最佳被摄体图像101。“适合于双眼视觉”例如示出了在存在于具有图4中所图示的参考字符R的适当的双眼视觉范围中的被摄体的被摄体图像之中具有最大视差的被摄体图像。在图4中,“最大视差”示出了与从在适当的双眼视觉范围R中的交叉点Pc具有最大距离的被摄体相对应的被摄体图像。换句话说,它是在形成立体图像的多个视点图像之中在容许视差量的范围(在图4中与适当的双眼视觉范围R相对应的与θR-θn至θR+θf相对应的视差量范围)内具有最大视差量的被摄体图像。
另外,显示控制单元61执行引导帧聚焦以使主引导帧80M的位置和尺寸与最佳被摄体图像101的位置和尺寸相匹配(其在下面可以被简单地称为“聚焦”)。在这里,尽管主引导帧80M的位置和尺寸两者在图8B中都被改变,但是存在仅改变它们中的一个的情况。
接下来,确定除最佳被摄体图像101外的至少一个其它被摄体图像(其后被称为“至少一个其它被摄体图像”)是否是在子引导帧80S中(步骤S16)。在至少一个其它被摄体图像存在于子引导帧80S中的情况下继续到步骤S18,并且在至少一个其它被摄体图像不存在的情况下继续到步骤S26。
在至少一个其它被摄体图像存在于子引导帧80S中的情况下,确定在子引导帧80S中是否存在多个其它被摄体图像(步骤S18)。
接下来,获取关于与子引导帧80S中的每个被摄体图像相对应的被摄体的距离的信息(距离信息)(步骤S20)。在本示例中,计算从图像拾取单元12到被摄体的距离。该距离信息可以是通过图像拾取单元12的聚焦透镜的聚焦控制相对于被摄体所获取的信息(聚焦信息)或从在形成立体图像的多个视点图像的基础上生成的视差图所获取的信息(视差信息)。
接下来,在所获取的距离信息的基础上确定子引导帧中的每个被摄体图像是否适合于双眼视觉(步骤S22)。关于子引导帧中的被摄体图像是否适合于双眼视觉的确定可以像关于主引导帧中的被摄体图像是否适合于双眼视觉的确定一样被执行。
接下来,子引导帧被聚焦在适合于双眼视觉的每个被摄体图像上(步骤S24)。也就是说,如图9A和9B中所图示的,在从子引导帧80S检测到作为除最佳被摄体图像101外的其它被摄体图像的适合于双眼视觉的被摄体图像(在本示例中103和104)的情况下,子引导帧80S的位置和尺寸依照被摄体图像103和104而被改变。在图9B中所图示的示例中,子引导帧80S被划分成使位置和尺寸与第三被摄体图像103相匹配的子引导帧80S-1和使位置和尺寸与第四被摄体图像104相匹配的子引导帧80S-2两个,并且被显示。
接下来,显示单元18向用户通知至少在主引导帧80M中存在适合于双眼视觉的被摄体图像(步骤S26)。
接下来,确定是否已通过操作单元6接受了来自用户的图像拾取指令的输入(步骤S28)。
当图像拾取指令在操作单元16中被输入时,对由图像拾取单元12所获取的立体图像执行预定图像处理(信号处理)并且经历图像处理的立体图像通过记录单元20被记录(存储)在预定存储介质中(步骤S30)。
在本实施例中,在双眼视觉适合性确定单元64确定立体图像适合于双眼视觉的情况下,当图像拾取指令在操作单元16(图像拾取指令输入单元)中被输入时,由图像拾取单元12所获取的立体图像通过记录单元20被记录在预定存储介质中。
在这里,至于主引导帧和子引导帧相对于被摄体图像的聚焦(用来使引导帧的位置和尺寸中的至少一个与适合于双眼视觉的被摄体图像相匹配的显示控制),存在要改变帧的情况和要显示新的帧的情况。
[第二实施例]
图10是图示第二实施例中的图像拾取处理示例的流程的流程图。本处理由CPU14根据程序来执行。在这里,步骤S2至S6与图5中所图示的第一实施例中的处理类似,并且因此省略解释。
在步骤S42中,等待恒定时间过去。
步骤S44与第一实施例中的步骤S30类似,对由图像拾取单元12所获取的立体图像执行预定图像处理,并且经历图像处理的立体图像通过记录单元20被记录在预定存储介质中。
在本实施例中,在双眼视觉适合性确定单元64确定立体图像适合于双眼视觉的情况下,当自显示单元18(双眼视觉适合性通知单元)通知立体图像适合于双眼视觉以来恒定时间已过去时,由图像拾取单元12所获取的立体图像通过记录单元20被记录在预定存储介质中。
[第三实施例]
图11是图示第三实施例中的图像拾取处理示例的流程的流程图。本处理由CPU14根据程序来执行。在这里,步骤S2至S24与图5中所图示的第一实施例中的处理类似,并且因此省略解释。
在步骤S52中,在主引导帧和子引导帧中适合于双眼视觉的被摄体图像的数目与阈值相比较。在它等于或大于阈值的情况下继续到步骤S54,并且在它小于阈值的情况下返回到步骤S4。
在与第一实施例中的步骤S30类似的步骤S54中,对由图像拾取单元12所获取的立体图像执行预定图像处理并且经历图像处理的立体图像通过记录单元20被记录在预定存储介质中。
在本实施例中,在双眼视觉适合性确定单元64确定立体图像适合于双眼视觉的情况下,当在主引导帧和子引导帧中适合于双眼视觉的被摄体图像的数目等于或大于由阈值所指示的特定数目时,由图像拾取单元12所获取的立体图像通过记录单元20被记录在预定存储介质中。
[第四实施例]
在第四实施例的图像拾取装置10中,初始显示状态被假定为2D显示并且引导帧被事先设置在显示单元18上,在被摄体图像进入引导帧并且确定它适合于双眼视觉的情况下,2D显示(其可以被称为“二维显示”或“平面显示”)被切换到3D显示(其可以被称为“三维显示”或“立体显示”),并且在用户确认图像之后,快门按钮的图像拾取指令的输入被接受以执行成像。
图12是图示第四实施例中的图像拾取处理示例的流程的流程图。本处理由CPU14根据程序来执行。
在电源激活处理(步骤S2)之后,确定它是否是简易多人物立体图像拾取模式(步骤S102)。
在它是简易多人物立体图像拾取模式的情况下,直通图像通过2D来显示(步骤S104)。也就是说,显示控制单元61将在由图像拾取单元12-1和12-2获取的多视点图像(左视点图像和右视点图像)之中的一个视点图像(左视点图像或右视点图像)显示在显示单元18上。接下来,步骤S4至S24被执行。在这里,步骤S4至S24与图5中所图示的第一实施例中的处理类似,并且因此在本文中省略解释。
当它是简易多人物立体图像拾取模式时,在直通图像在步骤S4至S24中通过2D来显示的情况下,在显示引导帧、检测到被摄体图像、确定它是否适合于双眼视觉、并且聚焦引导帧之后,显示被切换到3D显示(步骤S124)。
图13A典型地图示2D显示(平面显示)。也就是说,在立体图像中存在被摄体图像的情况下,被摄体图像被二维地显示。在这里,图13A典型地指示了在引导帧80中存在被摄体图像的情况。
步骤S26至S30与图5中所图示的第一实施例中的处理类似,并且因此在本文中省略解释。
在它不是简易多人物立体图像拾取模式的情况下,直通图像通过3D来显示(步骤S106)。也就是说,显示控制单元61执行由图像拾取单元12-1和12-2所获取的多个视点图像(左视点图像和右视点图像)在显示单元18上的立体显示。图13B典型地图示3D显示(立体显示)。也就是说,在立体图像中存在被摄体图像的情况下,被摄体图像被二维地显示。在这里,尽管图13B图示了引导帧80被显示以用于与图13A比较的情况,但是引导帧80在图12中所图示的图像拾处理示例中未被显示。
在本实施例中,显示控制单元61首先执行多个视点图像之中的一个视点图像在显示单元18上的平面显示,将引导帧重叠在经历这个平面显示的一个视点图像上并且执行平面显示,以及,在双眼视觉适合性确定单元64确定被摄体图像适合于双眼视觉的情况下,执行立体图像的三维显示(立体显示)。
在这里,尽管已经在向用户通知输入图像拾取指令时执行图像拾取(步骤S26至S30)的第四实施例中对示例进行了描述,但是本发明不限于这样的情况。也许可以像如图10中所图示的第二实施例(图10中的步骤S26和S42至S44)一样在从向用户通知起特定时间段的过去之后自动地拍摄图像,或者也许可以像如图11中所图示的第三实施例(图11中的步骤S52至S54)一样在引导帧中的聚焦数目等于或大于阈值的情况下自动地拍摄图像。
接下来,描述了适用于第一至第四实施例中的双眼视觉适合性确定的各种变化功能。
图14A至14C是用来描述当引导帧中的被摄体图像的数目超过阈值时通知立体图像不适合于双眼视觉的功能的解释性图。
在本示例中,引导帧80像在图14A至14C中所图示的那样被显示在显示单元18上。另外,双眼视觉适合性确定单元64确定引导帧80中被摄体图像的数目是否超过阈值,当引导帧80中被摄体图像的数目超过阈值时确定立体图像不适合于双眼视觉,并且使显示单元18显示(通知)“不适合于双眼视觉”的消息。
图15A至15C是用来描述当引导帧中被摄体图像的尺寸等于或小于阈值时通知立体图像不适合于双眼视觉的功能的解释性图。
在本示例中,引导帧80像在图15A至15C中所图示的那样被显示在显示单元18上。另外,双眼视觉适合性确定单元64确定引导帧80中被摄体图像的尺寸是否超过阈值,当引导帧80中被摄体图像的尺寸等于或小于阈值时确定立体图像不适合于双眼视觉,并且使显示单元18显示(通知)“不适合于双眼视觉”的消息。
图16是用来描述当引导帧中被摄体图像的尺寸超过阈值时通知立体图像不适合于双眼视觉的功能的解释性图。
在本示例中,引导帧80被显示在显示单元18上。另外,双眼视觉适合性确定单元64确定引导帧80中被摄体图像的尺寸是否超过阈值,当引导帧80中被摄体图像的尺寸超过阈值时确定立体图像不适合于双眼视觉,并且使显示单元18像在图16中所图示的那样显示(通知)“不适合于双眼视觉”的消息。
图17是用来解释当检测到尺寸超过引导帧的被摄体图像时通知立体图像不适合于双眼视觉的功能的解释性图。
在本示例中,引导帧80被显示在显示单元18上。另外,双眼视觉适合性确定单元64确定是否存在尺寸超过引导帧80的被摄体图像,当存在尺寸超过引导帧80的被摄体图像时确定立体图像不适合于双眼视觉,并且使显示单元18像在图17中所图示的那样显示(通知)“不适合于双眼视觉”的消息。
图18是用来描述在被摄体距离范围的基础上执行双眼视觉适合性确定的情况的解释性图。
在图18中,L1表示从图像拾取装置10到第一被摄体的被摄体距离,L2表示从图像拾取装置10到第二被摄体的被摄体距离,并且L3表示从图像拾取装置10到第三被摄体的被摄体距离。在分别与第一、第二以及第三被摄体相对应的多个被摄体图像(第一被摄体的被摄体图像、第二被摄体的被摄体图像以及第三被摄体的被摄体图像)是在引导帧80中的情况下,在被摄体距离L1、L2以及L3之中的最大值(在本示例中L2)与最小值(在本示例中L1)之间的差SR=L1-L2被称为“被摄体距离范围”。
在本示例中,通过将引导帧80显示在显示单元18上、由双眼视觉适合性确定单元64相对于引导帧中的被摄体图像来计算被摄体距离范围、以及确定被摄体距离范围SR是否是在适当的容许范围内(例如,在适当的双眼视觉范围R中)而确定立体图像是否适合于双眼视觉。
在双眼视觉适合性确定单元64确定立体图像不适合于双眼视觉的情况下,存在针对用户的各种通知模式。在下文中,代表性通知模式1至6被示出。
<通知模式1>
显示单元18的显示被从三维显示(立体显示)切换到二维显示(平面显示)。
<通知模式2>
在显示单元18上显示的引导帧80的色彩被切换。
<通知模式3>
在显示单元18上显示的引导帧80被闪烁。
<通知模式4>
LED53被闪烁或者点亮。
<通知模式5>
示出它不适合于双眼视觉的字符串被显示在显示单元18上。
<通知模式6>
示出它不适合于双眼视觉的语音被输出到扬声器21(声音输出单元)。
图19是用来描述根据图像拾取场景来设置并且输入图像拾取模式的功能的解释性图。
在图19中,显示单元18显示菜单以选择简易多人物立体图像拾取模式、简易特写镜头立体图像拾取模式以及简易图像拾取模式并且执行指令输入。用户能够通过利用作为操作单元16的部分的交叉按钮56和“菜单/OK”按钮55根据图像拾取场景来选择图像拾取模式并且执行指令输入。
具体而言,以下选择1至选择3通过由操作单元16执行图像拾取模式的指令输入是可能的。
<选择1>
关于是否执行引导帧显示和双眼视觉适合性确定的选择
<选择2>
在被摄体图像检测单元62中检测到的被摄体图像的类型(是否检测到人的面部图像等等)。
<选择3>
在显示单元上显示的引导帧的类型(是否显示了子引导帧等等)
例如,在简易多人物立体图像拾取模式中,执行引导帧显示和双眼视觉适合性确定并且显示子引导帧。而且,例如,在简易特写镜头立体图像拾取模式下,除人物图像外的另一被摄体图像被检测为被摄体图像,并且未执行引导帧显示和双眼视觉适合性确定。而且,例如,在简易图像拾取模式下,执行引导帧显示和双眼视觉适合性确定但未显示子引导。
在这里,尽管已经描述了用多个视点图像形成的动态图片图像通过显示单元18被三维地显示(立体显示)的示例情况,但是本发明适用于动态图片图像被二维地显示(平面显示)的情况。也就是说,本发明的图像拾取装置包括能够仅二维显示用多个视点图像形成的动态图片图像的图像拾取装置。
本发明不限于本说明书中所描述的示例和附图中所图示的示例,并且很自然的是,在不背离本发明的范围的情况下能够执行各种设计改变和改进是自然的。
例如,同样可以通过准备使处理器(例如,安装到图像拾取装置的处理器)执行在每个实施例中描述的图像拾取方法的程序并且使处理器执行这个程序来实现在每个实施例中描述的图像拾取方法。而且,也许可以创建存储介质,所述介质能够被处理器读出并且记录程序以使处理器执行在每个实施例中描述的图像拾取方法,并且使处理器从这个存储介质读出并且执行该程序。甚至在这种情况下,同样可以实现在每个实施例中描述的图像拾取方法。
<变化示例>
尽管已经在上面提到的实施例中描述了提供了两个图像拾取单元12-1和12-2的情况,但是本发明不限于这种情况。本发明适用于在不取决于图像拾取单元的数目的情况下拍摄包括多个视点图像的立体图像的情况。换句话说,它同样适用于使用一个图像拾取单元来拍摄包括多个视点图像的立体图像的情况,或者它同样适用于使用三个或更多个图像拾取单元来拍摄包括多个视点图像的立体图像的情况。
{参考符号列表}
12(12-1,12-2)图像拾取单元
14      CPU
16      操作单元
18      显示单元
20      记录单元
21      扬声器
61      显示控制单元
62      被摄体图像检测单元
63      距离信息获取单元
64      双眼视觉适合性确定单元
66      通知控制单元

Claims (17)

1.一种图像拾取装置,包括:
图像拾取单元,所述图像拾取单元被配置成:对被摄体进行成像并且获取用多个视点图像形成的立体图像;
显示单元,所述显示单元能够显示由所述图像拾取单元获取的所述立体图像;
显示控制单元,所述显示控制单元被配置成:将预定尺寸的第一引导帧显示在所述显示单元上;
被摄体图像检测单元,所述被摄体图像检测单元被配置成:从由所述图像拾取单元获取的所述立体图像检测特定被摄体图像;
距离信息获取单元,所述距离信息获取单元被配置成:获取涉及被摄体距离和涉及从所述图像拾取单元到所述被摄体的距离的信息,所述被摄体距离与由所述被摄体图像检测单元检测到的所述被摄体图像相对应;以及
双眼视觉适合性确定单元,所述双眼视觉适合性确定单元被配置成:基于涉及由所述距离信息获取单元获取的所述距离的所述信息,来确定所述第一引导帧中的所述被摄体图像是否适合于双眼视觉,
其中,在所述双眼视觉适合性确定单元确定所述第一引导帧中的所述被摄体图像适合于所述双眼视觉的情况下,所述显示控制单元使所述第一引导帧的位置和尺寸中的至少一个与适合于所述双眼视觉的所述被摄体图像相匹配。
2.根据权利要求1所述的图像拾取装置,其中,除所述第一引导帧之外,所述显示控制单元还将比所述第一引导帧更大尺寸的第二引导帧显示在所述显示单元上,以及,在所述被摄体图像检测单元从所述第二引导帧检测到至少一个其它被摄体图像的情况下,所述显示控制单元使所述第二引导帧与所述至少一个其它被摄体图像相匹配,其中,所述至少一个其它被摄体图像与由所述双眼视觉适合性确定单元确定为适合于所述双眼视觉的所述被摄体图像是不同的。
3.根据权利要求2所述的图像拾取装置,其中,所述双眼视觉适合性确定单元确定所述第二引导帧中的所述至少一个其它被摄体图像是否适合于所述双眼视觉;以及
在所述双眼视觉适合性确定单元确定所述第二引导帧中的所述至少一个其它被摄体图像适合于所述双眼视觉的情况下,所述显示控制单元使所述第二引导帧与适合于所述双眼视觉的所述至少一个其它被摄体图像相匹配。
4.根据权利要求1至3中任何一项所述的图像拾取装置,进一步包括:
图像拾取指令输入单元,所述图像拾取指令输入单元被配置成:接受来自用户的图像拾取指令的输入;以及
记录单元,所述记录单元被配置成:在所述双眼视觉适合性确定单元确定所述立体图像适合于所述双眼视觉的情况下,当在所述图像拾取指令输入单元中输入所述图像拾取指令时,将由所述图像拾取单元获取的所述立体图像记录在预定存储介质中。
5.根据权利要求1至3中任何一项所述的图像拾取装置,进一步包括:
双眼视觉适合性通知单元,所述双眼视觉适合性通知单元被配置成:在所述双眼视觉适合性确定单元确定所述立体图像适合于所述双眼视觉的情况下,通知所述立体图像适合于所述双眼视觉;以及
记录单元,所述记录单元被配置成:当在所述双眼视觉适合性通知单元通知所述立体图像适合于所述双眼视觉之后过去了特定时间段时,将由所述图像拾取单元获取的所述立体图像记录在预定存储介质中。
6.根据权利要求1至5中任何一项所述的图像拾取装置,其中,所述显示控制单元使所述显示单元执行所述多个视点图像的一个视点图像的平面显示,将所述引导帧重叠在经历了这个平面显示的所述一个视点图像上并且使所述显示单元执行平面显示,以及,在所述双眼视觉适合性确定单元确定所述被摄体图像适合于所述双眼视觉的情况下,使所述显示单元执行所述立体图像的立体显示。
7.根据权利要求1至6中任何一项所述的图像拾取装置,其中,当所述引导帧中所述被摄体图像的数目超过阈值时,所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉。
8.根据权利要求1至6中任何一项所述的图像拾取装置,其中,当所述引导帧中所述被摄体图像的尺寸等于或小于第一阈值或者所述引导帧中所述被摄体图像的所述尺寸超过第二阈值时,所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉,其中,所述第二阈值大于所述第一阈值。
9.根据权利要求1至6中任何一项所述的图像拾取装置,其中,在所述引导帧中存在多个所述被摄体图像的情况下,所述双眼视觉适合性确定单元计算在所述多个被摄体图像中被摄体距离的最大值与最小值之间的差作为被摄体距离范围,以及,在所述被摄体距离范围不在容许范围内的情况下,确定所述立体图像不适合于所述双眼视觉。
10.根据权利要求1至9中任何一项所述的图像拾取装置,进一步包括双眼视觉不适合性通知单元,所述双眼视觉不适合性通知单元被配置成:当所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉时,通知所述立体图像不适合于所述双眼视觉。
11.根据权利要求10所述的图像拾取装置,其中,当所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉时,所述双眼视觉不适合性通知单元将所述显示单元的显示从所述立体显示切换到所述平面显示。
12.根据权利要求10所述的图像拾取装置,其中,当所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉时,所述双眼视觉不适合性通知单元执行用来切换在所述显示单元上显示的所述引导帧的色彩的控制或用来使所述引导帧闪烁的控制。
13.根据权利要求10所述的图像拾取装置,其中,当所述双眼视觉适合性确定单元确定所述立体图像不适合于所述双眼视觉时,所述双眼视觉不适合性通知单元使用发光二极管、所述显示单元以及声音输出设备中的任何一个作为所述通知单元来执行通知。
14.根据权利要求1至13中任何一项所述的图像拾取装置,进一步包括设定输入单元,所述设定输入单元被配置成:接受以下中的至少一个设定的输入:通过所述显示控制单元的所述引导帧显示是否被执行以及通过所述双眼视觉适合性确定单元的所述双眼视觉适合性确定是否被执行、在所述被摄体图像检测单元中检测到的所述被摄体图像的类型、和在所述显示单元上显示的所述引导帧的类型。
15.一种使用图像拾取单元和显示单元的图像拾取方法,所述图像拾取单元被配置成:对被摄体进行成像并且获取用多个视点图像形成的立体图像,所述显示单元能够显示由所述图像拾取单元获取的所述立体图像,所述方法包括:
引导帧显示步骤:将预定尺寸的引导帧显示在所述显示单元上;
被摄体图像检测步骤:从由所述图像拾取单元获取的所述立体图像检测特定被摄体图像;
距离信息获取步骤:获取涉及被摄体距离和涉及从所述图像拾取单元到所述被摄体的距离的信息,所述被摄体距离与在所述被摄体图像检测步骤中检测到的所述被摄体图像相对应;
双眼视觉适合性确定步骤:基于涉及在所述距离信息获取步骤中获取的所述距离的所述信息,来确定所述引导帧中的所述被摄体图像是否适合于双眼视觉;以及
在所述双眼视觉适合性确定步骤中确定所述引导帧中的所述被摄体图像适合于所述双眼视觉的情况下、使所述引导帧的位置和尺寸中的至少一个与适合于所述双眼视觉的所述被摄体图像相匹配的步骤。
16.一种程序,所述程序使处理器执行根据权利要求15的图像拾取方法。
17.一种存储介质,在所述存储介质中记录了使处理器执行根据权利要求15的图像拾取方法。
CN201280047602.1A 2011-09-30 2012-09-13 图像拾取装置和图像拾取方法 Expired - Fee Related CN103843331B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-217892 2011-09-30
JP2011217892 2011-09-30
PCT/JP2012/073410 WO2013047217A1 (ja) 2011-09-30 2012-09-13 撮像装置、撮像方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN103843331A true CN103843331A (zh) 2014-06-04
CN103843331B CN103843331B (zh) 2016-03-02

Family

ID=47995250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280047602.1A Expired - Fee Related CN103843331B (zh) 2011-09-30 2012-09-13 图像拾取装置和图像拾取方法

Country Status (4)

Country Link
US (1) US9838667B2 (zh)
JP (1) JP5767715B2 (zh)
CN (1) CN103843331B (zh)
WO (1) WO2013047217A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363442A (zh) * 2014-12-04 2015-02-18 成都中远信电子科技有限公司 一种3d游戏显示器专用的高清图像增益放大器

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071748B2 (ja) * 2013-05-23 2017-02-01 キヤノン株式会社 撮像装置およびその制御方法
JP6278503B2 (ja) * 2013-08-29 2018-02-14 キヤノン株式会社 撮像装置、制御方法およびプログラム
US20150185308A1 (en) * 2014-01-02 2015-07-02 Katsuhiro Wada Image processing apparatus and image processing method, image pickup apparatus and control method thereof, and program
JP6451141B2 (ja) * 2014-08-19 2019-01-16 株式会社リコー 撮像装置
US10469730B2 (en) * 2016-05-18 2019-11-05 Canon Kabushiki Kaisha Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
JP2023003033A (ja) * 2021-06-23 2023-01-11 キヤノン株式会社 電子機器および電子機器の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
US20080199046A1 (en) * 2007-02-20 2008-08-21 Mikio Sasagawa Method of and apparatus for taking solid image and computer program for causing computer to execute the method
JP2011171813A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 撮像装置及び立体画像表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4371049B2 (ja) * 2004-12-22 2009-11-25 ソニー株式会社 撮像装置、およびガイドフレーム表示制御方法、並びにコンピュータ・プログラム
TWI394088B (zh) * 2007-12-26 2013-04-21 Altek Corp The adjustment method of the size of the selection of the image object
JP5322264B2 (ja) 2008-04-01 2013-10-23 Necカシオモバイルコミュニケーションズ株式会社 画像表示装置およびプログラム
JP4655135B2 (ja) * 2008-10-22 2011-03-23 ソニー株式会社 撮像装置、撮像領域表示方法および撮像領域表示プログラム
JP2011033990A (ja) 2009-08-05 2011-02-17 Fujifilm Corp 複眼撮影装置及び撮影方法
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
US20080199046A1 (en) * 2007-02-20 2008-08-21 Mikio Sasagawa Method of and apparatus for taking solid image and computer program for causing computer to execute the method
JP2011171813A (ja) * 2010-02-16 2011-09-01 Fujifilm Corp 撮像装置及び立体画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363442A (zh) * 2014-12-04 2015-02-18 成都中远信电子科技有限公司 一种3d游戏显示器专用的高清图像增益放大器

Also Published As

Publication number Publication date
CN103843331B (zh) 2016-03-02
JPWO2013047217A1 (ja) 2015-03-26
US9838667B2 (en) 2017-12-05
WO2013047217A1 (ja) 2013-04-04
US20140210955A1 (en) 2014-07-31
JP5767715B2 (ja) 2015-08-19

Similar Documents

Publication Publication Date Title
CN103843331B (zh) 图像拾取装置和图像拾取方法
US8885026B2 (en) Imaging device and imaging method
JP5425554B2 (ja) 立体撮像装置及び立体撮像方法
US9077976B2 (en) Single-eye stereoscopic image capturing device
US20110018970A1 (en) Compound-eye imaging apparatus
CN103155542A (zh) 图像拾取装置和图像拾取设备
US20080117316A1 (en) Multi-eye image pickup device
US20090123144A1 (en) Stereoscopic imaging device
US8823778B2 (en) Imaging device and imaging method
US8687047B2 (en) Compound-eye imaging apparatus
CN103918249B (zh) 成像装置和成像方法
CN103444192B (zh) 立体成像装置和立体成像方法
JP5231771B2 (ja) 立体画像撮影装置
JP2010114760A (ja) 撮影装置、指がかり通知方法およびプログラム
JP2011114547A (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
CN102948157A (zh) 立体图像显示设备、立体图像显示方法、立体图像显示程序、及记录介质
JP4748398B2 (ja) 撮像装置、撮像方法及びプログラム
JP5160460B2 (ja) 立体撮像装置および立体撮像方法
JP2011035643A (ja) 多眼撮影方法および装置、並びにプログラム
CN103227899B (zh) 摄像设备及其控制方法
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
JP2008310187A (ja) 画像処理装置及び画像処理方法
US9124866B2 (en) Image output device, method, and recording medium therefor
JP2010200024A (ja) 立体画像表示装置および立体画像表示方法
JP2012028871A (ja) 立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20180913