CN101833229B - 影像撷取装置与方法 - Google Patents

影像撷取装置与方法 Download PDF

Info

Publication number
CN101833229B
CN101833229B CN2009101407387A CN200910140738A CN101833229B CN 101833229 B CN101833229 B CN 101833229B CN 2009101407387 A CN2009101407387 A CN 2009101407387A CN 200910140738 A CN200910140738 A CN 200910140738A CN 101833229 B CN101833229 B CN 101833229B
Authority
CN
China
Prior art keywords
image
lens
image sensor
motion
unsteady
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101407387A
Other languages
English (en)
Other versions
CN101833229A (zh
Inventor
陈菀瑜
郭志辉
张毓麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101833229A publication Critical patent/CN101833229A/zh
Application granted granted Critical
Publication of CN101833229B publication Critical patent/CN101833229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Abstract

本发明提供一种影像撷取装置与方法。其中影像撷取装置包括影像传感器,用以检测入射光以产生相应的已撷取的影像;透镜,用以向影像传感器导入场景的入射光;调节机构,包括影像稳定器,其包括:运动检测器,用以检测第一方向上的运动以及第二方向上的运动;运动决定器,耦接于该运动检测器,通过保持或增加该第二方向上的所检测的运动,用以补偿该第一方向上的所检测的运动,从而调节该影像传感器与该透镜之间的该相对位置;以及控制器,用以控制该影像传感器在该影像传感器与该透镜之间不同的相对位置,产生该场景的多个已撷取的影像。本发明的影像撷取装置与方法能降低立体相机的尺寸和成本,以及能与单透镜的普通二维影像撷取系统兼容。

Description

影像撷取装置与方法
技术领域
本发明有关于一种撷取影像的装置与方法,更特别地,有关于一种撷取场景影像的装置与方法。
背景技术
可提供三维视觉效果的二维影像产品已成为视觉艺术领域的长期目标。图1是人类的深度识别(depth perception)如何建立三维视觉的示意图。立体视觉要求两只眼睛通过重叠的视野范围去观看场景。例如,如图1所示,首先,每只眼睛从轻微不同的角度去观看影像,并将该影像点(image point)聚焦在视网膜之上。然后,在人类大脑中组合该两个二维视网膜影像,以形成三维视觉。影像点的视差(disparity)D是指由左眼及右眼所观看的影像点的影像位置的差值,该视差D是由特定的两眼间距所导致,人类大脑将该视差D解释为与该影像点相关的深度信息。即,当该影像点为近时,屏幕平面的视差D为大;然而,当该影像点为远时,屏幕平面的视差D为小。更特别地是,由人类大脑所解释的视差与影像点的深度成反比,即,视差∝1/深度。
为了导出可提供三维视觉的二维影像,传统的立体影像撷取装置配置有多个透镜。例如,传统的双透镜立体相机具有一个左透镜和一个右透镜,其中在场景的已撷取的左影像产物中使用左透镜,在该相同场景的已撷取的右影像产物中使用右透镜。除左透镜和右透镜之外,传统的双透镜立体相机需要一个同步系统,用以获得该已撷取的左影像与该已撷取的右影像的同步产物。由于透镜在相机的尺寸和成本方面占据相当大的比例,因而很难减少传统的双透镜立体相机的尺寸和成本。此外,由于双透镜立体相机具有两个透镜,因此与只具有一个透镜的普通二维影像撷取系统不兼容。
因此,需要设计一个单透镜影像撷取装置,用以产生撷取场景的立体内容的影像。
发明内容
为解决传统的立体相机的尺寸和成本难以降低,以及与单透镜的普通二维影像撷取系统不兼容的技术问题,本发明提供一种撷取影像的装置与方法。
本发明的一个目的是提供一种影像撷取装置,该影像撷取装置包括影像传感器,用以检测入射光以产生相应的已撷取的影像;透镜,用以向影像传感器导入场景的入射光;调节机构,包括影像稳定器,该影像稳定器包括:运动检测器,用以检测第一方向上的运动以及第二方向上的运动;运动决定器,耦接于该运动检测器,通过保持或增加该第二方向上的所检测的运动,用以补偿该第一方向上的所检测的运动,从而调节该影像传感器与该透镜之间的该相对位置;以及控制器,用以控制该影像传感器在该影像传感器与该透镜之间不同的相对位置产生该场景的多个已撷取的影像。
本发明的另一目的是提供一种影像撷取方法,该影像撷取方法包括:当撷取场景时,在与透镜的光轴方向垂直的方向上,调节影像传感器与透镜之间的相对位置,影像传感器用以检测入射光,以产生相应的已撷取的影像,且透镜用以向影像传感器导入场景的入射光;控制该影像传感器在该影像传感器与该透镜之间不同的相对位置产生该场景的多个已撷取的影像,其中,调节该影像传感器与该透镜之间的相对位置包括步骤:检测第一方向上的运动以及第二方向上的运动;以及通过保持或增加该第二方向上的所检测的运动时,以补偿该第一方向上的所检测的运动。
本发明所提供的影像撷取装置与方法能降低立体相机的尺寸和成本,以及能与单透镜的普通二维影像撷取系统兼容。
附图说明
图1是人类的深度识别如何建立三维视觉的示意图;
图2是本发明的影像撷取装置的第一实施例的方块图;
图3是当影像撷取装置撷取场景时,调节影像传感器与透镜之间的相对位置的示意图;
图4是当影像撷取装置撷取场景时,调节影像传感器与透镜之间的相对位置的示意图;
图5是本发明的第一实施例的影像撷取方法的流程图;
图6是本发明的影像撷取装置的第二实施例的方块图;
图7是本发明的影像撷取装置的第三实施例的方块图;
图8是用于普通立体深度估计的最近深度的测量示意图;
图9是用于普通立体深度估计的最远深度的测量示意图;
图10是用于固定透镜的深度估计的最近深度的测量示意图;
图11是用于固定透镜的深度估计的最远深度的测量示意图。
具体实施方式
在说明书及权利要求当中使用了某些词汇来指称特定组件。所属技术领域的技术人员应可理解,制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异作为区分组件的方式,而是以组件在功能上的差异作为区分准则。在通篇说明书及权利要求中所提及的“包含”为开放式用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此包含任何直接及间接的电气连接手段。藉由以下的较佳实施例的叙述并配合全文的图1至图11说明本发明,但以下叙述中的装置、组件与方法、步骤乃用以解释本发明,而不应当用来限制本发明。
简而言之,本发明的概念是当撷取该影像时,使用单个透镜,通过在与该透镜的光轴方向大致垂直的方向上调节影像传感器和该透镜之间的相对位置,从而产生场景的多个已撷取的影像。例如,为了撷取场景的立体内容,在水平方向上调节影像传感器和透镜之间的相对位置,其中该水平方向与该透镜的光轴方向垂直,用以允许影像传感器产生已撷取的左影像与已撷取的右影像。藉由以下的较佳实施例的叙述并配合全文的图2至图11更清楚地阐释本发明的特征。
图2是本发明的影像撷取装置的第一实施例的方块图。影像撷取装置200(例如数字静止/视频相机)包括但不限于透镜202、影像传感器204、调节机构(adjusting mechanism)206、控制器208以及后置处理器210。影像传感器204,例如CCD传感器或CMOS传感器,用以检测入射光而产生相应的已撷取的影像。透镜202用以向影像传感器204导入场景的入射光。当影像撷取装置200撷取场景时(即当用户按下快门时),调节机构206调节影像传感器204与透镜202之间的相对位置。例如,在与透镜202的光轴方向大致垂直的方向上,调节机构206调节该相对位置。控制器208,用以控制影像传感器204在影像传感器204与透镜202之间不同的相对位置,产生场景的多个已撷取的影像。
在一个实施例中,透镜202由浮动透镜实现,该浮动透镜可朝着与光轴方向大致垂直的方向移动,而影像传感器204是固定的。因此,由于透镜202是可移动,调节机构206可轻易实现在与透镜202的光轴方向大致垂直的方向上,调节影像传感器204与透镜202之间的相对位置的目的。图3是当影像撷取装置200撷取场景时,调节影像传感器204与透镜202之间的相对位置的示意图。在图3中,通过移动透镜202,调节机构206在水平方向D1上调节固定的影像传感器204与可移动的透镜202之间的相对位置,该水平方向D1与透镜202的光轴方向D2大致垂直。影像撷取装置200撷取时间交错(time-interleaved)的左影像与右影像,以产生场景的立体内容。特别地是,当透镜202位于位置P1时导出已撷取的右影像,且当透镜202位于位置P2时导出已撷取的左影像。
在另一个实施例中,影像传感器204由浮动影像传感器实现,该浮动影像传感器可朝着与光轴方向垂直的方向移动。因此,由于影像传感器204是可移动,调节机构206可轻易实现在与透镜202的光轴方向大致垂直的方向上,调节影像传感器204与透镜202之间的相对位置的目的。图4是当影像撷取装置200撷取场景时,调节影像传感器204与透镜202之间的相对位置的示意图。在图4中,调节机构206在水平方向D1上调节可移动的影像传感器204与固定的透镜202之间的相对位置,该水平方向D1与透镜202的光轴方向D2垂直,用以撷取时间交错的左影像与右影像,以产生场景的立体内容。特别地是,当影像传感器204位于位置P1’时导出已撷取的右影像,且当影像传感器204位于位置P2’时导出已撷取的左影像。
需注意的是,当影像撷取装置200撷取场景时,调节机构206可以一种主动方式或一种被动方式调节影像传感器204与透镜202之间的相对位置。例如,调节机构206包括耦接于特定的可移动光学组件(例如,图3的透镜202或图4的影像传感器204)的支持和引导组件,用以允许该特定的可移动光学组件朝着特定的方向(例如水平方向D1)移动,该特定的方向与透镜202的光轴方向D2垂直。当用户的手震(handshake)很明显时,外部的手震作用力足够大,以致无需调节机构206的主动调节就能驱动撷取装置200朝水平方向D1移动。即,调节机构206无需提供额外的驱动力,例如,通过使用内置马达(未显示)以使得图3的透镜202或图4的影像传感器204朝着水平方向D1移动特定的距离,且调节机构206简单地提供被动引导,用以对撷取两个或多个影像进行定时。当用户的手震不明显或可忽略时,调节机构206主动提供驱动力,例如,通过使用内置马达(未显示)以使得图3的透镜202或图4的影像传感器204朝着水平方向D1移动。需注意的是,上述的实施例仅用来例举本发明的实施态样。当影像撷取装置200撷取场景时,在与透镜的光轴方向垂直的方向上,任何能调节影像传感器与透镜之间的相对位置的机构都可用以实现图2中影像撷取装置200的调节机构206。依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围。
如图2所示,影像撷取装置200包括后置处理器210。后置处理器210对已撷取的影像执行后置处理,例如,增强已撷取的影像的三维效果。在实施例中,控制器208使能(enable)后置处理器210,根据当影像传感器204与透镜202之间的相对位置在水平方向D1上的位移小于预设的阈值时所产生的已撷取的影像,以产生经过后置处理的已撷取的影像。例如,当图3的位置P1与P2(或图4的位置P1’与P2’)之间的位移小于预设的阈值时,这意味着已撷取的影像之间的视差太小以致不能满足需求,因此通过对已撷取的影像执行视差估计以产生深度图(depth map),通过增强该深度图的对比度(contrast)以产生已增强的深度图,以及通过根据已增强的深度图和已撷取的影像产生经过后置处理的已撷取的影像,而使能后置处理器210以增强该视差。在一个实施例中,后置处理器210可利用传统的的深度影像绘图法(Depth Image Based Rendering,DIBR)技术,根据已增强的深度图和已撷取的影像产生经过后置处理的已撷取的影像。在一个实施例中,当深度图的对比度过大时,可通过例如平滑(smoothing)方法对该深度图进行处理,以及根据已处理的深度图和已撷取的影像产生经过后置处理的已撷取的影像,从而不产生差异度太大的三维影像。在另一个实施例中,可通过例如膨胀(dilation)或腐蚀(erosion)等处理方法对该深度图进行处理以减少深度图的噪声,然后产生已处理的深度图,以及根据已处理的深度图和已撷取的影像产生经过后置处理的已撷取的影像。依据本发明的精神轻易完成的改变或均等性的安排均属于本发明所主张的范围。需注意的是,后置处理器210是一个可选组件,在本发明的其它实施例中可省略。
本发明可使用于多种领域,例如数字静止/视频相机的相关应用、使用导出于已撷取的影像的深度信息的脸检测应用、立体影像、立体显示等。需注意的是,通过在水平方向上移动影像撷取装置200的透镜202或影像传感器204,影像撷取装置200不仅限于撷取包含场景的左影像和右影像的两个影像。当撷取影像时,通过在与该透镜的光轴方向大致垂直的方向上调节影像传感器和透镜之间的相对位置,产生场景的多个已撷取的影像的任何影像撷取装置均顺从本发明的精神,皆属于本发明所主张的范围。
图5是本发明的第一实施例的影像撷取方法的流程图,可使用如图5所示的流程更简洁地总结图2的影像撷取装置200所使用的方法。需注意的是,只要结果大致相同,并不需要按照图5所示特定的次序执行以下步骤。根据本发明一个实施例的影像撷取方法包括如下步骤:
步骤S501:开始。
步骤S503:当撷取影像时,在与该透镜的光轴方向大致垂直的方向(例如水平方向)上调节影像传感器和透镜之间的相对位置。
步骤S505:控制该影像传感器在该影像传感器与该透镜之间不同的相对位置,产生多个已撷取的影像。
步骤S507:检查在影像传感器所产生的已撷取的影像中是否应用后置处理?若应用,则进入步骤S509;若不应用,则进入步骤S511。
步骤S509:对已撷取的影像执行后置处理,以产生经过后置处理的已撷取的影像。
步骤S511:结束。
需注意的是,步骤S507和S509是可选,根据设计需要可省略。此外,任何技术人员在阅读以上段落后,能轻易知晓每一步骤的细节,为简洁起见,则不再赘述。
为了与只具有一个透镜的普通二维影像撷取系统兼容,本发明也开发出影像稳定器,以实现撷取场景的立体内容的目的。图6是本发明的影像撷取装置的第二实施例的方块图。影像撷取装置500(例如数字静止/视频相机)包括但不限于浮动透镜502、影像传感器504、控制器508、可选的后置处理器510以及影像稳定器520。在此实施例中,影像稳定器520包括运动检测器(motiondetection device)522和运动决定器(motion determination device)524。运动检测器522用以检测第一方向上(例如相对于光轴方向的垂直方向)的运动以及第二方向上(例如相对于光轴方向的水平方向)的运动,其中第一方向和第二方向是与浮动透镜502的光轴方向相垂直,且第一方向与第二方向相垂直。例如,运动检测器522包括两个传感器,分别检测相机的水平运动以及相机的垂直运动。运动决定器524耦接于运动检测器522与浮动透镜502之间,当通过移动浮动透镜502以保持或增加第二方向上的所检测的运动时,用以补偿第一方向上的所检测的运动,从而调节影像传感器504与浮动透镜502之间的相对位置。
如图6所示的第二实施例,影像稳定器520用以实现前述的图2的调节机构206。当影像撷取装置500撷取场景时(即当用户按下快门时),配置影像稳定器520,以在与浮动透镜502的光轴方向大致垂直的方向上,调节影像传感器504与浮动透镜502之间的相对位置。更特别地是,当影像撷取装置500撷取场景的立体内容时,影像稳定器520在与浮动透镜502的光轴方向垂直的水平方向上移动浮动透镜502。以上所述操作与图3类似。与用以补偿垂直方向和水平方向上所检测的运动的传统的影像稳定器相反,影像稳定器520对水平方向上所检测的运动不进行补偿。此外,可配置影像稳定器520,用以进一步扩大在水平方向上的运动,以增加浮动透镜502的移动距离。例如,影像稳定器520增强在水平方向上的运动,以使浮动透镜502具有由防手震(anti-handshake)设计的约束条件所限定的最大移动距离。更特别地是,由于在运动决定器524的控制下保持或增加了水平方向上的运动,从而允许浮动透镜502在与浮动透镜502的光轴方向垂直的水平方向上移动。在所述方式之下,可成功地获得用于绘制场景的立体内容的已撷取的左影像和已撷取的右影像。由于当影像撷取装置500在撷取场景时,浮动透镜502改变自身位置,因而能实现调节影像传感器504和浮动透镜502之间的相对位置的目的。此外,任何技术人员在阅读以上有关于影像撷取装置200的段落后,能轻易知晓影像撷取装置500的其它组件的细节,为简洁起见,则不再赘述。
此外,根据设计的需要,影像撷取的定时是可调的。在一个实施例中,在运动决定器524决定如何控制浮动透镜502的移动后,例如,运动决定器524决定从一个撷取位置移动至另一撷取位置的移动距离之后,影像传感器504产生所有已撷取的影像,如已撷取的左影像与已撷取的右影像。影像撷取装置500根据运动检测器522所产生的检测结果,移动浮动透镜502以撷取影像。以图3所示的方块图为例,在运动决定器524的控制下,当浮动透镜502的移动到达位置P1时撷取已撷取的右影像;在运动决定器524的控制下,当浮动透镜502从位置P1移动到位置P2时撷取已撷取的左影像。在另一个实施例中,在运动决定器524决定如何控制浮动透镜502的移动之前,影像传感器504产生第一已撷取的影像。然后运动决定器524根据运动检测器522所产生的检测结果,移动浮动透镜502以撷取第二已撷取的影像。以图3所示的方块图为例,当浮动透镜502的移动到达位置P1或浮动透镜502在位置P1保持静止时,撷取已撷取的右影像;运动决定器524根据运动检测器522所产生的检测结果移动浮动透镜502到位置P2,以撷取已撷取的左影像。
图7是本发明的影像撷取装置的第三实施例的方块图。影像撷取装置600(例如数字静止/视频相机)包括但不限于透镜602、浮动影像传感器604、控制器608、可选的后置处理器610以及影像稳定器620。在此实施例中,影像稳定器620包括运动检测器622和运动决定器624。影像稳定器620的功能与操作与图6的影像稳定器520相似。不同之处在于使用运动决定器624以控制应用于浮动影像传感器604的补偿。
如图7所示的第三实施例,影像稳定器620用以实现前述的图2的调节机构206。当影像撷取装置600撷取场景时,配置影像稳定器620,以在与透镜602的光轴方向大致垂直的方向上,调节浮动影像传感器604与透镜602之间的相对位置。更特别地是,当影像撷取装置600撷取场景的立体内容时,在与透镜602的光轴方向垂直的水平方向上,影像稳定器620移动浮动影像传感器604。以上所述操作与图4类似。在所述方式之下,可成功地获得撷取场景的立体内容的已撷取的左影像和已撷取的右影像。由于当影像撷取装置600撷取场景时,浮动影像传感器604改变自身位置,因而能实现调节浮动影像传感器604和透镜602之间的相对位置的目的。此外,任何技术人员在阅读以上有关于影像撷取装置200和影像撷取装置500的段落后,能轻易知晓影像撷取装置600的其它组件的细节,为简洁起见,则不再赘述。
对于图7的第三实施例,根据设计的需要,影像撷取的定时也是可调的。在一个实施例中,在运动决定器624根据产生于运动检测器622的检测结果而决定控制浮动影像传感器604的移动后,浮动影像传感器604产生所有已撷取的影像,如已撷取的左影像与已撷取的右影像。以图4所示的方块图为例,在运动决定器624决定如何移动浮动影像传感器604之后,在运动决定器624的控制下,当浮动影像传感器604移动到位置P1’时撷取已撷取的右影像;在运动决定器624的控制下,当浮动影像传感器604从位置P1’移动到位置P2’时撷取已撷取的左影像。在另一个实施例中,在运动决定器624根据运动检测器622所产生的检测结果,决定浮动影像传感器604的移动之前,浮动影像传感器604产生第一已撷取的影像。然后在运动决定器624根据该检测结果,决定如何移动浮动影像传感器604之后,浮动影像传感器604产生第二已撷取的影像。以图4所示的方块图为例,当浮动影像传感器604的移动到达位置P1’或浮动影像传感器604在位置P1’保持静止时,撷取已撷取的右影像,在运动决定器624决定如何移动浮动影像传感器604到位置P2’之后,撷取已撷取的左影像。
以下揭示一种具有可接受撷取深度范围(acceptable capture depth range)的相机,根据本发明而开发出可选影像稳定器系统以撷取时间交错的左影像和右影像。图8是用于普通立体深度估计(depth estimation)的最近深度(nearest depth)的测量示意图。图9是用于普通立体深度估计的最远深度(furthest depth)的测量示意图。图10是用于固定透镜的深度估计的最近深度的测量示意图。图11是用于固定透镜的深度估计的最远深度的测量示意图。假设下述相机模型采用具有10M像素的3/4英寸CCD(即CCD尺寸为6.6mm×8.8mm)以及5.4mm焦距(广角)。或者如图8和图9所示,假设用于普通立体深度估计的两眼间距为60mm,且如图10和图11所示,假设用于固定透镜的深度估计的手震范围(即浮动透镜或浮动影像传感器所移动的最大范围)为3mm。需注意的是,图8-图11所示的比例仅用来例举。在图8中,CCD传感器的最大感受差异(maximumperceivable difference)等于4.4mm,且最近已测量深度等于68.24mm。在图9中,CCD传感器的最小感受差异等于0.0024mm,是两个相邻像素的距离(即8.8mm*1像素/3651像素),且最远已测量深度等于134994mm。至于固定透镜的深度估计,相机采用具有10M像素的影像传感器,水平方向上的最小已检测手震为大约100像素。在图10中,CCD传感器的最大感受差异等于0.241mm(即8.8mm*100像素/3651像素),且最近已测量深度等于61.82mm。在图11中,CCD传感器的最小感受差异等于0.0024mm,是两个相邻像素的距离,且最远已测量深度等于6744mm。鉴于上述深度估计分析,当手震范围(即,浮动透镜或浮动影像传感器的最大移动范围)为3mm时,根据本发明而开发出影像稳定器以实现撷取场景的立体内容的相机可撷取从61.82mm至6744mm的深度范围。换言之,上述相机能撷取室内场景的深度,在大多数情况下撷取的是室内场景。然而,需注意的是,如果浮动透镜/影像传感器能移动的距离更大,则可增加已撷取深度。
上述的实施例仅用来例举本发明的实施方式,以及阐释本发明的技术特征,并非用来限制本发明的范畴。任何所属技术领域的技术人员依据本发明的精神而轻易完成的改变或均等性安排均属于本发明所主张的范围,本发明的权利范围应以权利要求为准。

Claims (28)

1.一种影像撷取装置,包括:
影像传感器,用以检测入射光以产生相应的已撷取的影像;
透镜,用以向该影像传感器导入场景的该入射光;
调节机构,包括影像稳定器,其包括:
运动检测器,用以检测第一方向上的运动以及第二方向上的运动;
运动决定器,耦接于该运动检测器,通过保持或增加该第二方向上的所检测的运动,用以补偿该第一方向上的所检测的运动,从而调节该影像传感器与该透镜之间的该相对位置;以及
控制器,用以控制该影像传感器在该影像传感器与该透镜之间不同的相对位置,产生该场景的多个已撷取的影像。
2.如权利要求1所述的影像撷取装置,其特征在于,该调节机构在与该光轴方向垂直的水平方向上调节该影像传感器与该透镜之间的该相对位置,以允许该影像传感器产生撷取该场景的立体内容的该多个已撷取的影像。
3.如权利要求1所述的影像撷取装置,其特征在于,更包括:
后置处理器,用以对该多个已撷取的影像执行视差估计以产生深度图,并对该深度图进行处理以产生已处理的深度图,以及根据该已处理的深度图和该多个已撷取的影像产生多个经过后置处理的已撷取的影像。
4.如权利要求3所述的影像撷取装置,其特征在于,当该影像传感器与该透镜之间的该相对位置的位移小于预设的阈值时,该控制器使能该后置处理器以产生该多个经过后置处理的已撷取的影像。
5.如权利要求1所述的影像撷取装置,其特征在于,该透镜是浮动透镜,该影像传感器与该浮动透镜之间的该相对位置根据该浮动透镜的移动而变化。
6.如权利要求5所述的影像撷取装置,其特征在于,
该运动决定器,耦接于该运动检测器与该浮动透镜之间,通过移动该浮动透镜以保持或增加该第二方向上的所检测的运动,从而调节该影像传感器与该浮动透镜之间的该相对位置。
7.如权利要求6所述的影像撷取装置,其特征在于,该第一方向是相对于该光轴方向的垂直方向,且该第二方向是相对于该光轴方向的水平方向。
8.如权利要求6所述的影像撷取装置,其特征在于,该运动决定器根据该运动检测器所产生的检测结果决定该浮动透镜的该移动之后,该影像传感器产生该多个已撷取的影像。
9.如权利要求6所述的影像撷取装置,其特征在于该运动决定器根据该运动检测器所产生的检测结果决定该浮动透镜的该移动之前,该影像传感器产生第一已撷取的影像,然后该运动决定器根据该检测结果决定该浮动透镜的该移动之后,该影像传感器产生第二已撷取的影像。
10.如权利要求1所述的影像撷取装置,其特征在于,该影像传感器是浮动影像传感器,该浮动影像传感器与该透镜之间的该相对位置是根据该浮动影像传感器的移动而变化。
11.如权利要求10所述的影像撷取装置,其特征在于,
该运动决定器,耦接于该运动检测器与该浮动影像传感器之间,通过移动该浮动影像传感器以保持或增加该第二方向上的所检测的运动,从而调节该浮动影像传感器与该透镜之间的该相对位置。
12.如权利要求11所述的影像撷取装置,其特征在于,该第一方向是相对于该光轴方向的垂直方向,且该第二方向是相对于该光轴方向的水平方向。
13.如权利要求11所述的影像撷取装置,其特征在于,该运动决定器根据该运动检测器所产生的检测结果决定该浮动影像传感器的该移动之后,该浮动影像传感器产生该多个已撷取的影像。
14.如权利要求11所述的影像撷取装置,其特征在于,该运动决定器根据该运动检测器所产生的检测结果决定该浮动影像传感器的该移动之前,该浮动影像传感器产生第一已撷取的影像,然后该运动决定器根据该运动检测器所产生的该检测结果决定该浮动影像传感器的该移动之后,该浮动影像传感器产生第二已撷取的影像。
15.一种影像撷取方法,包括:
当撷取场景时,在与透镜的光轴方向垂直的方向上,调节影像传感器与该透镜之间的相对位置,该影像传感器用以检测入射光,以产生相应的已撷取的影像,且该透镜用以向该影像传感器导入场景的该入射光;以及
控制该影像传感器在该影像传感器与该透镜之间不同的相对位置产生该场景的多个已撷取的影像;
其中,调节该影像传感器与该透镜之间的相对位置包括步骤:检测第一方向上的运动以及第二方向上的运动;以及
通过保持或增加该第二方向上的所检测的运动时,以补偿该第一方向上的所检测的运动。
16.如权利要求15所述的影像撷取方法,其特征在于,调节该影像传感器与该透镜之间的该相对位置的步骤包括:
在与该光轴方向垂直的水平方向上调节该影像传感器与该透镜之间的该相对位置,以允许该影像传感器产生撷取该场景的立体内容的该多个已撷取的影像。
17.如权利要求16所述的影像撷取方法,更包括:
通过以下步骤对该多个已撷取的影像进行后置处理以产生多个经过后置处理的已撷取的影像:
对该多个已撷取的影像执行视差估计以产生深度图;
处理该深度图以产生已处理的深度图;以及
根据该已处理的深度图和该多个已撷取的影像产生该多个经过后置处理的已撷取的影像。
18.如权利要求17所述的影像撷取方法,其特征在于,当该影像传感器与该透镜之间的该相对位置的位移小于预设的阈值时,使能该后置处理以产生该多个经过后置处理的已撷取的影像。
19.如权利要求15所述的影像撷取方法,其特征在于,该透镜是浮动透镜,该影像传感器与该浮动透镜之间的该相对位置是根据该浮动透镜的移动而变化。
20.如权利要求19所述的影像撷取方法,其特征在于,调节该影像传感器与该浮动透镜之间的该相对位置的步骤包括:
当通过移动该浮动透镜以保持或增加该第二方向上的所检测的运动时,决定该浮动透镜的该移动以补偿该第一方向上的所检测的运动,从而调节该影像传感器与该浮动透镜之间的该相对位置。
21.如权利要求20所述的影像撷取方法,其特征在于,该第一方向是相对于该光轴方向的垂直方向,且该第二方向是相对于该光轴方向的水平方向。
22.如权利要求20所述的影像撷取方法,其特征在于,控制该影像传感器以产生该场景的该多个已撷取的影像的步骤包括:
在决定该浮动透镜的该移动之后,产生该多个已撷取的影像。
23.如权利要求20所述的影像撷取方法,其特征在于,控制该影像传感器以产生该场景的该多个已撷取的影像的步骤包括:
在决定该浮动透镜的该移动之前,产生第一已撷取的影像;以及
在决定该浮动透镜的该移动之后,产生第二已撷取的影像。
24.如权利要求15所述的影像撷取方法,其特征在于,该影像传感器是浮动影像传感器,该浮动影像传感器与该透镜之间的该相对位置是根据该浮动影像传感器的移动而变化。
25.如权利要求24所述的影像撷取方法,其特征在于,调节该浮动影像传感器与该透镜之间的该相对位置的步骤包括:
当通过移动该浮动影像传感器以保持或增加该第二方向上的所检测的运动时,决定该浮动影像传感器的该移动以补偿该第一方向上的所检测的运动,从而调节该浮动影像传感器与该透镜之间的该相对位置。
26.如权利要求25所述的影像撷取方法,其特征在于,该第一方向是相对于该光轴方向的垂直方向,且该第二方向是相对于该光轴方向的水平方向。
27.如权利要求25所述的影像撷取方法,其特征在于,控制该浮动影像传感器以产生该场景的该多个已撷取的影像的步骤包括:
在决定该浮动影像传感器的该移动之后,产生该多个已撷取的影像。
28.如权利要求25所述的影像撷取方法,其特征在于,控制该浮动影像传感器以产生该场景的该多个已撷取的影像的步骤包括:
在决定该浮动影像传感器的该移动之前,产生第一已撷取的影像;以及
在决定该浮动影像传感器的该移动之后,产生第二已撷取的影像。
CN2009101407387A 2009-03-09 2009-05-13 影像撷取装置与方法 Active CN101833229B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/400,750 2009-03-09
US12/400,750 US8279267B2 (en) 2009-03-09 2009-03-09 Apparatus and method for capturing images of a scene

Publications (2)

Publication Number Publication Date
CN101833229A CN101833229A (zh) 2010-09-15
CN101833229B true CN101833229B (zh) 2012-12-26

Family

ID=40638129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101407387A Active CN101833229B (zh) 2009-03-09 2009-05-13 影像撷取装置与方法

Country Status (4)

Country Link
US (1) US8279267B2 (zh)
EP (1) EP2229000B1 (zh)
CN (1) CN101833229B (zh)
TW (1) TWI398720B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
US20130194391A1 (en) * 2010-10-06 2013-08-01 Battelle Memorial Institute Stereoscopic camera
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
TWI463244B (zh) * 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
WO2012176020A1 (zh) * 2011-06-22 2012-12-27 Lo Pui Hing 可移动镜头的照相装置
CN103636191B (zh) * 2011-08-23 2016-11-02 松下电器产业株式会社 三维摄像装置、透镜控制装置
KR101862404B1 (ko) * 2011-12-09 2018-05-29 엘지이노텍 주식회사 스테레오 영상의 노이즈 제거장치 및 방법
US20130208107A1 (en) * 2012-02-14 2013-08-15 Nokia Corporation Apparatus and a Method for Producing a Depth-Map
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US20140210707A1 (en) * 2013-01-25 2014-07-31 Leap Motion, Inc. Image capture system and method
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
CN105793754B (zh) * 2013-12-04 2018-11-16 旭化成微电子株式会社 照相机模块的调整方法、镜头位置控制装置、以及线性运动设备的控制装置及其控制方法
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883695A (en) * 1997-09-19 1999-03-16 Paul; Eddie Method and apparatus for producing stereoscopic images with single sensor
US20050041566A1 (en) * 2003-08-11 2005-02-24 Sultan Haider Apparatus and method for recording image information for creation of a three-dimensional image
CN1739287A (zh) * 2003-10-22 2006-02-22 松下电器产业株式会社 成像装置及其生产方法、便携设备、以及成像传感器及其生产方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063441A (en) * 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
WO1997003378A1 (en) * 1995-07-07 1997-01-30 International Telepresence Corporation System with movable lens for producing three-dimensional images
GB2388896A (en) * 2002-05-21 2003-11-26 Sharp Kk An apparatus for and method of aligning a structure
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP2005323065A (ja) * 2004-05-07 2005-11-17 Murata Mach Ltd デジタルカメラ
US20070075218A1 (en) * 2005-10-04 2007-04-05 Gates John V Multiple exposure optical imaging apparatus
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP4193151B2 (ja) * 2006-09-05 2008-12-10 ソニー株式会社 手振れ補正機構及び撮像装置
JP2008151822A (ja) * 2006-12-14 2008-07-03 Pentax Corp 像ブレ補正装置
US8207962B2 (en) * 2007-06-18 2012-06-26 Mediatek Inc. Stereo graphics system based on depth-based image rendering and processing method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883695A (en) * 1997-09-19 1999-03-16 Paul; Eddie Method and apparatus for producing stereoscopic images with single sensor
US20050041566A1 (en) * 2003-08-11 2005-02-24 Sultan Haider Apparatus and method for recording image information for creation of a three-dimensional image
CN1739287A (zh) * 2003-10-22 2006-02-22 松下电器产业株式会社 成像装置及其生产方法、便携设备、以及成像传感器及其生产方法

Also Published As

Publication number Publication date
US8279267B2 (en) 2012-10-02
CN101833229A (zh) 2010-09-15
TW201033724A (en) 2010-09-16
TWI398720B (zh) 2013-06-11
EP2229000A2 (en) 2010-09-15
US20100225745A1 (en) 2010-09-09
EP2229000B1 (en) 2018-08-15
EP2229000A3 (en) 2014-12-10

Similar Documents

Publication Publication Date Title
CN101833229B (zh) 影像撷取装置与方法
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
CN103986877B (zh) 一种图像获取终端和图像获取方法
JP5087163B1 (ja) 立体画像表示装置
US20110280563A1 (en) Camera body, imaging device, method for controlling camera body, program, and storage medium storing program
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
JP2011077900A (ja) 画像処理装置、カメラ及び画像処理方法
CN101702076B (zh) 一种立体拍摄自动会聚跟踪方法及系统
KR20130031207A (ko) 촬상장치 및 그 제어 방법
CN103098477A (zh) 三维图像处理
CN102135722B (zh) 摄像机结构、摄像机系统和方法
JP2010015024A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
US20110001797A1 (en) 3-d auto-convergence camera
WO2013080697A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
US20120162453A1 (en) Image pickup apparatus
US8878908B2 (en) 3-D auto-convergence camera
JP2014154907A (ja) 立体撮像装置
KR102147133B1 (ko) 스테레오 카메라
US20120113226A1 (en) 3d imaging device and 3d reproduction device
EP2696587B1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium
KR101283825B1 (ko) 3-d 오토-컨버전스 카메라
JP2018042092A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP6066765B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN102200684A (zh) 立体图像的取像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant