CN103873849A - 多镜头取相装置的控制方法及控制装置 - Google Patents

多镜头取相装置的控制方法及控制装置 Download PDF

Info

Publication number
CN103873849A
CN103873849A CN201310659470.4A CN201310659470A CN103873849A CN 103873849 A CN103873849 A CN 103873849A CN 201310659470 A CN201310659470 A CN 201310659470A CN 103873849 A CN103873849 A CN 103873849A
Authority
CN
China
Prior art keywords
image
focal length
set point
parallax value
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310659470.4A
Other languages
English (en)
Other versions
CN103873849B (zh
Inventor
郑嘉珉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co ltd
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103873849A publication Critical patent/CN103873849A/zh
Application granted granted Critical
Publication of CN103873849B publication Critical patent/CN103873849B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供一种多镜头取相装置的控制方法,包括在一特定的视差值和特定的一组多镜头取相装置的第一传感器的第一焦距设定值及该多镜头取相装置的第二传感器的第二焦距设定值之间,建立至少一特定的映射关系;及依据该特定的映射关系,控制该多镜头取相装置的立体聚焦。此外,还提供一种控制装置。可以实现较好的立体视觉。

Description

多镜头取相装置的控制方法及控制装置
技术领域
本发明公开了本发明的实施例涉及控制多镜头取相装置,并且更具体地,一种方法和一种装置,用于多镜头取相装置的控制。
背景技术
随着科学技术的发展,用户正获取立体和更真实的图像,而不是高品质的图像。目前立体图像显示的方法有两种。一种方法是使用一个视频输出装置,配合眼镜(如立体眼镜,偏振眼镜或快门眼镜),而另一种是使用只有一个视频输出装置,而没有任何伴随的眼镜。无论哪种技术被使用时,立体图像显示的主要理论是:使左眼和右眼看到不同的图像,从而对大脑把从两只眼睛看到不同的图像作为立体图像。
一种创建立体图像的内容的方法是使用多镜头取相装置(如:立体照相机)。当使用立体照相机捕获一个场景,自动对焦功能可能被启用来自动确定立体照相机的两个传感器的最佳焦距设置。传统的自动对焦功能实施可使用主从机制或自由运行机制。在采用主从机制的情况下,一个传感器作为主传感器,而另一传感器作为一个从属传感器。因此,微波激射器传感器确定的焦距设置将直接用作从属传感器的焦距设置。换句话说,两个立体照相机传感器具有相同的焦距设定。因此,由主传感器拍摄的图像有聚焦内的清楚的对象,在理想情况下,从传感器捕获图像应该有聚焦内的清楚的对象。然而,由于两个立体照相机传感器使用相同的焦距设置,主从传感器之间的传感器的制造和/或校准误差会导致不均匀的图像质量,即,一个在焦距内,另一个在焦距外,从而导致立体视觉感知差。
在另一种情况,使用自由运行机制,立体照相机的传感器的焦距设置独立决定。换句话说,一个传感器的焦距设置被允许与另一传感器的焦距设置不同。然而,由一个传感器捕获的图像有已对焦的清晰的对象在第一深度,而由另一传感器捕获的图像可能在不同于第一深度的第二深度有已对焦的清晰的对象。例如,分别由传感器捕获的图像具有不同的聚焦对象的各自的中心焦距区域。
发明内容
本发明提供的多镜头取相装置的一种控制控制方法和一种控制装置,提出了解决上述问题的。
根据本发明的第一方面,提供一种控制控制方法,包括在一特定的视差值和特定的一组多镜头取相装置的第一传感器的第一焦距设定值及该多镜头取相装置的第二传感器的第二焦距设定值之间,建立至少一特定的映射关系;及依据该特定的映射关系,控制该多镜头取相装置的立体聚焦。
根据本发明的第二个方面,提供一种控制装置。该控制装置包括映射单元,用于在一特定的视差值和特定的一组多镜头取相装置的第一传感器的第一焦距设定值及该多镜头取相装置的第二传感器的第二焦距设定值之间,建立至少一特定的映射关系;及聚焦控制单元,耦合到该映射单元,用于依据该特定的映射关系,控制该多镜头取相装置的立体聚焦。
本发明的多镜头取相装置的控制方法及可以控制装置实现同一感兴趣的对象的两个聚焦的分别设定来获取立体图像,可以实现较好的立体视觉。
本发明通过优选实施例和附图中示出的装置通过以下详细描述后,本领域中的一般技术人员依据本发明的发明精神实现本发明。
附图说明
图1揭示根据本发明的一建议的内容识别对焦机制的一第一操作的图示。
图2揭示建议的内容识别对焦机制的一第二操作的图示。
图3揭示根据本发明的一个实施例的控制装置的图示。
图4揭示自动对焦锐度统计结果的一个范例。
具体实施方式
在说明书及后续的申请专利范围当中使用了某些词汇來指称特定的元件。本领域一般技术人员应可理解,制造商可能会用不同的名词來称呼同样的元件。本说明书及后续的申请专利范围并不以名称的差别来作为区别元件的方式,而是以元件在功能上的差别来作为区别的基准。在通篇说明书及后续的请求项当中所提及的「包含」系为一开放式的用语,故应解释成「包含但不限定于」。此外,「耦接」一词在此包含任何直接及间接的电气连接手段。因此,若文中描述一第一装置电性连接于一第二装置,则代表该第一装置可直接连接于该第二装置,或透过其他装置或连接手段间接地连接至该第二装置。
本发明提出了一种内容识别对焦机制,这使得多镜头取相装置,涵盖范围将包括双镜头模组(stereo camera module)的立体照相机、相机阵列(cameraarray)、镜头模组(lens array)等,可应用于数位相机、手机、平板电脑、笔记型电脑、个人电脑PC、或外接网路相机web cam等,参与同一个对象的对焦,分别设置两传感器的焦距设置。由于对立体照相机的两个镜头或者传感器与对相机阵列、镜头模组的控制原理相似,因此,以立体照相机作为举例说明。与传统的主从自动对焦机制相比,建议的内容识别对焦机制使传感器有不同焦距的设置。与传统的自由运行的自动对焦机制相比,建议的内容识别对焦机制驱动的传感器,还聚焦在同一对象上。简单地说,建议的内容识别对焦机制允许的立体相机,专注于同一对象拥有不同焦距设置,避免传统的主从自动对焦机制和自由运行自动对焦机制所遇到的问题。
请参考图1和图2,揭示建议的内容识别对焦机制的概念的图示。如图1所示,目前在一个场景中有许多对象X1,X2,X3可被立体照相机的两个传感器C1和C2捕获,且由内容识别对焦机制确定的感兴趣的对象为X1。接着,基于感兴趣的X1的深度d,内容识别对焦机制找到由传感器C1产生的预览图像中的相应的感兴趣区域(u1,v1)和由传感器C2产生的预览图像中的相应的感兴趣区域(u2,v2),并且也分别决定了传感器C1和C2的最佳焦距f1和f2的设置。虽然感兴趣的对象X1具有固定的深度d,可是最佳焦距设定f1和f2被独立地确定,是彼此不同的。相对于传统的主从机制,由传感器C1和C2生成的每个拍摄图像,使用各自的最佳焦距设定f1和f2但具有相同的感兴趣的聚焦对象。相比传统的自由运行机制,由传感器C1和C2产生的拍摄图像使用各自的最佳的焦距设置为f1和f2,具有在同一深度d的相同的感兴趣的聚焦对象。建议的内容识别的聚焦机制的进一步详细描述如下。
请参考图3。如图3所示,这是根据本发明的一个实施例的控制装置的示意图。通过示例的方式,但不限制,该控制装置300可以被设置在配备了立体照相机的电子设备中,如一移动电话的立体照相机10具有一第一传感器11(例如,一个左视图图像传感器或一个右视图图像传感器)和第二传感器12(例如,另一左视图图像传感器或另一右视图图像传感器)。该控制装置300包括映射单元302,聚焦控制单元304,和立体图像处理模块306。映射单元302被耦合到立体照相机10,用于建立至少一个映射关系。例如,该映射单元302决定一特定的映射关系,该特定的映射关系是一特定的视差值和特定的一组第一传感器11的第一焦距的设定值和第二传感器12的第二焦距设定值之间的一特定的映射关系。事实上,映射单元302记录多个映射关系,每一个映射关系定义了一视差值和一组第一传感器11的第一焦距设定值和第二传感器12的第二焦距设定值之间的映射。由于每个映射关系的建立均以相同的方式,为了清楚和简洁,下面只描述的产生和使用一个映射关系(即,在下文中提到的特定的映射关系(D,f1,f2))。类似的,若该控制装置300被安装在具有多个镜头阵列或者相机模组形成的取相装置中,该特定的映射关系可以为(D,f1,f2,f3…,fn),其中n表示相机或个镜头的个数,或者{D,[(f11,f12…,f1n),[f21,f22,...,f2n]...[fm1,fm2,...,fmn]},其中m表示阵列中镜头或者相机组数,n表示每组中的镜头或者相机个数。
该聚焦控制单元304被耦合到该映射单元302中,设置用于控制立体照相机的立体焦距10,根据特定的映射关系的映射单元302通过以下方式获得。具体地,当使用特定的映射关系满足标准,焦距控制单元304使用特定的映射关系(D,f1,f2)所用定义的特定的一组第一焦距设定值f1和第二焦距设定值f2控制该立体照相机10。
该立体图像处理模块306被耦合到一显示装置20。该显示装置20可具有二维(2D)显示能力,以及三维(3D)的显示能力。因此该立体图像处理模块306能够控制二维显示该第一传感器11生成的第一图像IMG1和该第二传感器12所产生的第二图像IMG2中之一图像。此外,该立体图像处理模块306还能够控制3D/stereoscopic显示该第一图像IMG1和该第二图像IMG2,其中该第一图像IMG1和第二图像IMG2之一是拍摄的场景的左视图像,以及该第一图像IMG1和第二图像IMG2中另一个是拍摄场景的右视图像。基于该立体照相机10的操作状态,在用户实际上触发相机的快门或用户实际触发相机快门最终生成的拍摄图像之前,可生成该第一图像IMG1和该第二图像IMG2的预览图像。
该映射单元302具有多个处理模块,包括第一处理块311,第二处理块312和第三处理块313。在本实施例中,该第一个处理模块311被用于依据第一图像IMG1和该第二图像IMG2确定该感兴趣的对象,并依据该感兴趣的对象确定该特定视差值D。通过举例的方式,使用一视差分析模块322,该第一处理块311可被简单地实现。因此,该视差分析模块322用于分析的该第一图像IMG1和该第二图像IMG2,因此产生视差分析结果(例如,视差图/分布),其中由该视差分析模块322分析的该第一图像IMG1和该第二图像IMG2为使用非最优聚焦设置的预览图像。例如,该视差分析模块322可以被配置为通过执行任何现有的方法,如一个立体匹配算法,特征点提取和匹配算法或基于区域的运动估计算法推导出的视差图/分布。此外,该视差分析模块322还涉及通过视差图/分布来确定该感兴趣的对象(例如,图1所示对象X1)。基于人类视觉系统,在同一场景中,该感兴趣的对象在所有对象的视差特性之间将有一个特定的视差特性。因此,该视差分析模块322可以检查视差图/分布来识别一个对象的特定的视差特性以作为感兴趣的对象。该感兴趣的对象的被识别后,该视差分析模块322在每个该第一图像IMG1和该第二图像IMG2中确定一相应的感兴趣的区域(即,视觉注意的区域),。例如,如图1所示,当感兴趣的对象为对象X1,该视差分析模块322在该第一图像IMG1确定一个感兴趣区域(u1,v1),并进一步在该第二图像IMG2中确定另一感兴趣区域(u2,v2)。应该指出的是,该感兴趣的区域(u1,v1)不一定是该第一图像IMG1的中心区域,该感兴趣区域(u2,v2)不一定是该第二图像IMG2的中心区域。除了感兴趣的区域(u1,v1)和感兴趣的区域(u2,v2),视差分析模块322进一步确定感兴趣的对象的视差值D。具体地,该视差值D是该感兴趣的区域(u1,v1)和该感兴趣的区域(u2,v2)之间的水平位移。
关于该映射单元302中的该第二处理块312,它被设置用于对应于该感兴趣的对象确定特定的一组第一焦距设定值与第二焦距设定值。通过示例的方式,使用一第一AF(自动对焦)锐度统计模块332和一第二AF锐度统计模块334,第二处理块312可被简单地实现。该第一AF锐度统计模块332和该第二AF锐度统计模块334可以采用现有的自动对焦的方式(例如,聚焦扫描/搜索方式),以获得一个相对应的一个透镜的位置索引LPI的聚焦值FV。例如,该AF锐度统计模块(例如,332或334)相应于不同的透镜位置的索引,驱动该传感器(例如,11或12)至不同的位置,因此,接收到不同的位置由从传感器产生的连续图像。接着,该AF锐度统计模块(例如,332或334)分析各图像的图像锐度特征,以获得一相应的聚焦值FV。例如,如果图像由于非最佳焦距设定模糊,则在图像中的高频分量(high-frequencycomponents)较少。因此,当该AF锐度统计模块(例如,332或334)发现由于图像的清晰度差,一位置的图像是模糊的,对应该位置聚焦值FV将被设置一个较小的值。如图4所示,揭示一范例的AF锐度统计结果。该AF锐度统计模块(例如,332或334)标识该焦距值的峰值作为最优的聚焦值FV*,因此,相应于该最佳的聚焦值FV*决定了透镜位置索引LPI*。当感兴趣的对象X1如图1所示,该第一AF锐度统计模块332将确定一第一透镜位置索引LPI1*对应于该第一图像IMG1中发现的感兴趣的区域(u1,v1)的最佳的聚焦值FV1*(u1,v1),该第二AF锐度统计模块334确定一第二透镜位置索引LPI2*对应于在第二图像IMG2中发现的感兴趣的区域(u2,v2)的最佳的聚焦值FV2*(u2,v2)。
在一个示例性的设计,在该第一AF锐度统计模块332和该第二AF锐度统计模块334开始处理从立体照相机10产生的预览图像之前,该视差分析模块322工作以处理该预览图像。在一种替代设计中,在该第一AF锐度统计模块332和该第二AF锐度统计模块334开始处理从立体照相机10产生的预览图像后,该视差分析模块322执行处理该预览图像。因此该第一AF锐度统计模块332对从该第一传感器11产生的整个预览图像进行聚焦扫描/搜索(即,连续光模糊),该第二AF锐度统计模块334对从该第二传感器12产生的整个预览图像执行聚焦扫描/搜索(即连续光模糊)。以这种方式,该视差分析模块322可以参照从该第一AF锐度统计模块332和该第二AF锐度统计模块334中生成的AF锐度统计信息,执行有效率的视差分析。换句话说,该AF锐度统计信息有助于快速,准确地确定预览图像的一对图像的视差图/分布,该视差值与该第一透镜位置索引的该第一焦距设定值和该第二透镜位置索引的该第二焦距设定值相关联。
关于该第三处理块313,用于根据特定的视差值和特定的一组的第一焦距设定值f1和第二焦距设定值f2,记录特定的映射关系,该特定的视差值响应于该感兴趣的对象X1的视差值D,该第一焦距设定值f1和第二焦距设定值f2分别响应于该第一透镜位置索引LPI1*和该第二透镜位置索引LPI2*。通过举例的方式,但不限制,该特定的视差值可被视差值D设置,该第一焦距设定值f1可能根据该第一透镜位置索引LPI1*被设置/修改,该第二焦距设定值f2可以根据该第二透镜位置指数LPI2*被设置/修改。在本实施例中,使用一主动学习模块(active learning module)342用于执行一个主动/机械的学习过程,该第三处理块313可简单地被实现。因此,该主动学习模块342将通过参照特定的视差值和特定的一组的第一焦距设定值和第二焦距设定值,自动学习的特定的映射关系(D,F1,F2)。
在本实施例中,该主动学习模块342可以被配置成采用任何现有的统计学习理论以及机器学习演算法。当我们从多组的立体影像中,这些立体影像是利用立体照相机10所拍摄,拍摄时记录下其所对应的最佳焦距设置(最佳焦段的取得是由传统对焦的方法透过分析影像FV值所取得,如前段所叙述),立体影像的视差值,D,及对应的焦段设定值,LPI,会被该主动学习模块342记录/更新。例如,对于相同的特定视差值(例如,视差值D)、多个特定组的第一焦距设定值和第二焦距设定值可以由该第二处理块312获得。该特定的差异值相对应的特定的映射关系可以自动地学习到,通过参考该特定组的第一焦距设定值和第二焦距设定值。此外,附加信息也可以被记录,以方便使用该第一AF锐度统计模块332和该第二AF锐度统计模块334执行传统的立体视觉的聚焦控制。例如,由该第一焦设定值与第二焦距设定值得到的标准偏差也可以被计算和记录。
在用户使用立体照相机10一段时间后,当该第二处理块312获得有足够数目的特定组的该第一焦距设定值和该第二焦距设定值,该第一个焦距设定值的标准偏差和该第二焦距设定值的标准偏差将变得更小,并且对应于该特定差异值的特定的映射关系将逐渐收敛到一个特定的第一焦距设定值和一个特定的第二焦距设定值。在映射关系收敛之前,该聚焦控制单元304通过参照该请求的映射关系的第一焦距设定值的第一焦距设定值的标准偏差,可设置该第一AF锐度统计模块332的焦距扫描/搜索范围,通过参照该请求的映射关系的第二焦距设定值的第二焦距设定值的标准偏差,设置该第二AF锐度统计模块334的焦距扫描/搜索范围,且使用由该第一AF的锐度统计模块332和该第二AF的锐度统计模块334发现的最佳焦距设置,执行立体摄像机10的立体视觉的聚焦控制。因此,该第一AF锐度统计模块332可以快速地找到第一传感器11的一个最佳的焦距设置而不会根据来自第一传感器11产生的预览图像进行一全部的焦距扫描/搜索,且该第二AF锐度统计模块334可以为第二传感器12快速找到一个最佳的焦距设置,没有根据产生第二传感器12的预览图像进行全部的焦距扫描/搜索。以这种方式,基于立体视觉的聚焦控制,通过所建议的主动学习过程,锐度统计的效率也可以得到改善。
在学习映射关系收敛后,该聚焦控制单元304直接查询主动学习模块342获得所需的焦距设置,不进行任何聚焦扫描/搜索操作。应该指出的是,所记录的映射关系,如特定的映射关系(D,f1,f2),可以用于各种各样的控制的目的。例如,该聚焦控制单元304可根据特定的映射关系(D,f1,f2)控制的立体照相机10的立体自动对焦。因此,当视差分析模块322接收到包括第一传感器11生成的第一图像IMG1和第二传感器12所产生的第二图像IMG2的当前预览图像对,该视差分析模块322通过进行差异分析该第一图像IMG1和第二图像IMG2,自动确定该感兴趣的对象的一目标视差值。具体地,基于来自于该第一图像IMG1和该第二图像IMG2的视差图/分布,该视差分析模块322确定一个感兴趣的对象。接着,该视差分析模块322识别相应于该感兴趣的对象的目标视差值。因此,该聚焦控制单元304使用该视差分析模块322所提供的目标视差值为对应的一组的该第一焦距的设定值和该第二焦距设定值,查询该主动学习模块342。在一情况下,该目标视差值等于该特定视差值D,由于记录的映射关系(D,f1,f2),该主动学习模块342的响应该第一焦距设定值f1和该第二焦距设定值f2,且该聚焦控制单元304参照该第一焦距设定值f1和该第二焦距设定值f2执行该立体照相机10的立体视觉的自动对焦。换言之,第一传感器11由聚焦控制单元304控制移动到该第一焦距设定值f1所表示的透镜位置索引LPI1*的位置,该聚焦控制单元304控制该第二传感器12移动到该第二焦距设定值F2表示的透镜位置索引LPI2*的位置。使用最佳焦距设置(即,查询第一焦距设定值f1)捕获的一第一图像的图像对和使用最佳焦距设置(即,查询第二焦距设定值f2)生成的第二图像产生一图像对。以这种方式,一个智能的内容感知的自动对焦,由该映射单元302与该聚焦控制单元304的合作实现。
如上文所述,一视差值和一组第一焦距设定值和第二的焦距设定值(例如,一组的第一透镜的位置索引和第二透镜位置索引)之间的映射关系通过主动/机器学习处理自动获得。因此,包含立体照相机10的相机模块的传统的自动对焦校准可以被建议的主动学习模块342替换。换句话说,该的控制装置300是能够进行免校准的自动对焦控制。因为相机模块中省略了传统的自动对焦校准,该立体照相机10的生产成本可相应减少。
该聚焦控制单元304可支持其他聚焦相关的功能,如立体触控聚焦功能和立体多点聚焦功能。当用户使立体触摸对焦功能,一用户界面30是用来与用户进行交互的,并接收用户输入USER_IN。例如,该用户界面30可以是显示装置20上用于用户交互的目的的触摸面板。因此,立体照相机10在当前捕获的预览图像对中的第一图像IMG1和第二图像IMG2可被显示在显示装置20。假设第一图像IMG1被显示,用户可以通过触摸用户界面30选择该第一图像IMG1的一个目标聚焦区域。因此,从用户接口30生成的该用户输入USER_IN输出至该聚焦控制单元304,其中该用户输入USER_IN的指示由用户选择的目标聚焦区域。接着,对该聚焦控制单元304对应的目标聚焦区域向该视差分析模块322请求一个目标视差值。例如视差分析模块322,可以采用立体匹配算法找到该第二图像IMG2的一个感兴趣的区域匹配该第一图像IMG1的目标聚焦区域,然后检查该第一图像IMG1中用户选定的目标聚焦区域和该第二图像IMG2中所识别的感兴趣区域的视差,以确定该目标视差值。
在自该视差分析模块322接收到该目标视差值后,该聚焦控制单元304使用该目标视差值查询主动学习模块342以获得相应的一组该第一焦距设定值和第二焦距设定值,然后根据由该主动学习模块342所提供的该第一焦距设定值和该第二焦距设定值,控制该立体照相机10的立体聚焦。以这种方式,一内容感知触摸聚焦控制,由该聚焦控制单元304与该映射单元302实现。
当用户使立体的多点聚焦功能,根据由立体照相机10在当前捕获的预览图像对中的第一图像IMG1和第二图像IMG2推导得到的一视差分析结果和一显着性分析结果,该视差分析模块322被执行以自动确定一感兴趣的对象的目标视差值。例如,多点拍摄场景中,该感兴趣的对象可以是聚焦深度最近的一个点。在从该视差分析模块322接收目标视差值后,该聚焦控制单元304使用该目标视差值查询主动学习模块342以获得相应的一组该第一焦距设定值和第二焦距设定值,然后根据由该主动学习模块342所提供的该第一焦距设定值和该第二焦距设定值,控制该立体照相机10的立体聚焦。以这种方式,一个内容识别多点聚焦控制,由聚焦控制单元304与映射单元302实现。
传统的多点聚焦机制扫描/搜索找最近的聚焦深度以进行多点聚焦。一般情况下,现有的多点聚焦机制分割一个图像成多个图像区域,并对每一个图像区域执行聚焦扫描/搜索工作,找出对应的最佳焦距设定。接着,现有的多点聚焦机制从分别设置在这些图像区域的最佳焦距设置中选择一最近的聚焦深度的目标焦距设置。其结果是聚焦扫描/搜索多个区域是很费时的。此外,该立体照相机需要两倍的时间以生成两幅图像。然而,本发明所提出的多点对焦机制直接查询主动学习模块342获得最佳焦距设置,而无需进行任何聚焦扫描/搜索。与现有的多点聚焦机制相比,本发明所提出的多点聚焦机制更有效率。
除了立体焦距控制功能(例如,立体自动对焦控制,立体触摸对焦控制和/或立体多点对焦控制),该控制装置300可支持智能自动收敛功能,进一步提高用户的观看体验。例如,该控制装置300对同一场景中相同的感兴趣的对象执行连贯的自动对焦和自动收敛。在本实施例中,当立体照相机10生成的该第一图像IMG1和该第二图像IMG2,分别是使用自动对焦设置该第一焦距设定值f1以捕获和使用自动对焦设置该第二焦距设定值f2以捕获,根据对应于感兴趣的对象的自动收敛设置,该立体图像处理模块306被操作对用于立体显示的该第一图像IMG1和该第二图像IMG2同时执行自动收敛。例如,立体图像处理模块306是指自动收敛设置以平移该第一图像IMG1和该第二图像IMG2的像素,从而调整的第一图像IMG1和第二图像IMG2之间的视差,为用户观看的显着区域(即,感兴趣的对象)提供了一个舒适的视差设置(例如,零视差)。
如上所述,该主动学习模块342可以记录多个映射关系。每个映射关系定义一个视差值与一组第一传感器11的第一焦距设定值和第二传感器12的第二焦距设定值的映射关系,其中,该第一焦距设定值和第二焦距设定值可能是由该第一AF锐度统计模块332和第二AF锐度统计模块334生成的AF锐度统计信息所决定的透镜位置的索引。因此,如果使用由自动对焦设置的第一焦距设定值f1捕获的第一图像IMG1的AF锐度统计是由该第一AF的锐度统计模块332获得的,和使用由自动对焦设置的第二焦距设定值f2捕获的第二焦距设定值f2的AF锐度统计是由该第二AF锐度统计模块334获得的,相应于该被识别的AF锐度统计信息的一视差值可在主动学习模块342中记录的一映射关系中获得。当难以进行分析复杂的或重复图案,该锐度值不仅用于决定焦距设定也用于自动收敛设置。换言之,该立体图像处理单元306可以参考第一图像IMG1和第二图像IMG2的AF锐度统计信息,以确定自动收敛所需要的视差信息。类似的,若为多个镜头模组或者相机阵列的取相装置,该立体图像处理单元306可以参考更多的图像的AF锐度统计信息,以确定自动收敛所需要的视差信息。
上述的实施例仅用来列举本发明的实施方式,以及阐释本发明的技术特征,并非用来限制本发明的范畴。任何所属技术领域的技术人员根据本发明的精神而轻易完成的改变或均等性安排均属于本发明所主张的范围,本发明的权利范围应以权利要求为准。

Claims (24)

1.一种控制方法,用于多镜头取相装置,包括:
在一特定的视差值和特定的一组多镜头取相装置的第一传感器的第一焦距设定值及该多镜头取相装置的第二传感器的第二焦距设定值之间,建立至少一特定的映射关系;
依据该特定的映射关系,控制该多镜头取相装置的立体聚焦。
2.如权利要求1所述的控制方法,其特征在于,该建立特定的映射关系的步骤包括:
接收包括该第一传感器所产生的第一图像和该第二传感器所产生的第二图像的图像对;
根据该第一图像和该第二图像,确定感兴趣的对象;
确定相应于该感兴趣的对象的该特定的视差值和该特定的一组该第一焦距设定值与该第二焦距设定值;
根据该特定的视差值和该特定的一组第一焦距设定值及该立第二焦距设定值,记录该特定的映射关系。
3.如权利要求2所述的控制方法,其特征在于,该确定特定的视差值与该特定的一组的第一焦距设定值和第二焦距设定值的步骤包括:
对应该第一图像的感兴趣的第一区域的最佳聚焦值,确定第一透镜位置索引,其中该感兴趣的第一区域对应于该感兴趣的对象;
对应该第二图像的感兴趣的第二区域的最佳聚焦值,确定第二透镜位置索引,其中该感兴趣的第二区域对应于该感兴趣的对象;
根据该第一图像和该第二图像确定该感兴趣的对象的一视差值;
其中,该特定的视差值响应于该感兴趣的对象的该视差值,且该第一焦距设定值和该第二焦距设定值分别响应于该第一透镜位置索引和该第二透镜位置索引。
4.如权利要求3所述的控制方法,其特征在于,该第一透镜位置索引和该第二透镜位置索引分别来自该第一图像和该第二图像的自动对焦锐度统计信息;且该视差值是由该第一图像和该第二图像的视差分析所决定的,从而该视差值与参照自动对焦锐度统计信息的该第一透镜位置索引和该第二透镜位置索引分别对应的该第一焦距设定值和该第二焦距设定值相关联。
5.如权利要求2所述的控制方法,其特征在于,该记录特定的映射关系的步骤包括:
执行一个主动的学习处理来学习关于该特定的视差值和该特定的一组的该第一焦距设定值和该第二焦距设定值的该特定的映射关系。
6.如权利要求1所述的控制方法,其特征在于,该控制该多镜头取相装置的立体焦距步骤包括:
接收包括该第一传感器所产生的第一图像和该第二传感器所产生的第二图像的图像对;
确定感兴趣的对象的一目标视差值,根据该第一图像和该第二图像;
当该目标视差值等于该特定的视差值,参照特定的一组该第一焦距设定值与该第二焦距设定值,于该多镜头取相装置来执行该立体聚焦。
7.如权利要求6所述的控制方法,其特征在于,该立体聚焦是立体自动对焦,且该确定感兴趣的对象的一目标视差值的步骤包括:
自动确定该感兴趣的对象的目标视差值。
8.如权利要求7所述的控制方法,其特征在于,该立体自动对焦是立体的多点聚焦,且该自动确定该感兴趣的对象的目标视差值的步骤包括:
根据该第一图像和该第二图像的一视差分析结果及该第一图像和该第二图像的一显着性分析,自动确定该感兴趣的对象的该目标视差值。
9.如权利要求6所述的控制方法,其特征在于,该立体聚焦是立体触控聚焦,且该确定感兴趣的对象的一目标视差值的步骤包括:
接收一用户输入,指示该第一图像的一目标聚焦区域;
根据该第一图像和该第二图像,确定对应于该目标聚焦区域的该目标视差值。
10.如权利要求6所述的控制方法,其特征在于,该控制控制方法进一步包括:
根据对应于该感兴趣的对象的自动收敛设置,对该第一图像和该第二图像的立体显示执行一自动收敛。
11.如权利要求10所述的控制方法,其特征在于,该自动收敛确定该视差值通过参照该第一图像和该第二图像的自动对焦锐度统计信息。
12.如权利要求1所述的控制方法,其特征在于,该多镜头取相装置包括双镜头模组的立体照相机、配有相机阵列的取相装置及配有镜头模组的取相装置。
13.一种控制装置,用于多镜头取相装置,其特征在于,包括:
映射单元,用于在一特定的视差值和特定的一组多镜头取相装置的第一传感器的第一焦距设定值及该多镜头取相装置的第二传感器的第二焦距设定值之间,建立至少一特定的映射关系;及
聚焦控制单元,耦合到该映射单元,用于依据该特定的映射关系,控制该多镜头取相装置的立体聚焦。
14.如权利要求13所述的控制装置,其特征在于,该映射单元接收包括该第一传感器所产生的第一图像和该第二传感器所产生的第二图像的图像对,且包括:
第一处理块,用于该第一图像和该第二图像,确定感兴趣的对象,及确定相应于该感兴趣的对象的该特定的视差值;
第二处理块,用于确定该特定的一组该第一焦距设定值与该第二焦距设定值;
第三处理块,用于根据该特定的视差值和该特定的一组第一焦距设定值及该立第二焦距设定值,记录该特定的映射关系。
15.如权利要求14所述的控制装置,其特征在于,该第二处理块包括:
一第一自动对焦锐度统计模块,用于对应该第一图像的感兴趣的第一区域的最佳聚焦值,确定第一透镜位置索引,其中该感兴趣的第一区域对应于该感兴趣的对象;
一第二自动对焦锐度统计模块,用于对应该第二图像的感兴趣的第二区域的最佳聚焦值,确定第二透镜位置索引,其中该感兴趣的第二区域对应于该感兴趣的对象;
该第一处理块包括:
一视差分析模块,用于根据该第一图像和该第二图像确定该感兴趣的对象的一视差值;
其中,该特定的视差值响应于该感兴趣的对象的该视差值,且该第一焦距设定值和该第二焦距设定值分别响应于该第一透镜位置索引和该第二透镜位置索引。
16.如权利要求15所述的控制装置,其特征在于,该视差分析模块通过对该第一图像和该第二图像的视差分析确定该视差值,该第一图像和该第二图像的视差分析是参照从该第一自动对焦锐度统计模块和该第二自动对焦锐度统计模块产生的自动对焦锐度统计信息。
17.如权利要求14所述的控制装置,其特征在于,所述第三处理块包括:
一个主动学习模块,用于学习关于该特定的视差值和该特定的一组的该第一焦距设定值和该第二焦距设定值的该特定的映射关系。
18.如权利要求13所述的控制装置,其特征在于,该映射单元包括一视差分析模块,用于接收包括该第一传感器所产生的第一图像和该第二传感器所产生的第二图像的图像对,并根据该第一图像和该第二图像,确定感兴趣的对象的一目标视差值;以及当该目标视差值等于该特定的视差值,参照特定的一组该第一焦距设定值与该第二焦距设定值,于该多镜头取相装置来执行该立体聚焦。
19.如权利要求18所述的控制装置,其特征在于,该立体聚焦是立体自动对焦,该视差分析模块自动确定该感兴趣的对象的目标视差值。
20.如权利要求19所述的控制装置,其特征在于,该立体自动对焦是立体的多点聚焦,该视差分析模块根据该第一图像和该第二图像的一视差分析结果及该第一图像和该第二图像的一显着性分析,自动确定该感兴趣的对象的该目标视差值。
21.如权利要求18所述的控制装置,其特征在于,该立体聚焦是立体触控聚焦,该聚焦控制单元还接收用户的输入,指示该第一图像的一目标聚焦区域;并为对应于该目标聚焦区域的该目标视差值请求该视差分析模块,还视差分析模块根据该第一图像和该第二图像,确定对应于该目标聚焦区域的该目标视差值。
22.如权利要求18所述的控制装置,其特征在于,该控制装置进一步包括:
一立体图像处理单元,根据对应于该感兴趣的对象的自动收敛设置,对该第一图像和该第二图像的立体显示执行一自动收敛。
23.如权利要求22所述的控制装置,其特征在于,该立体图像处理单元,参照该第一图像和该第二图像的自动对焦锐度统计信息确定该自动收敛所需的该视差值。
24.如权利要求13所述的控制装置,其特征在于,该多镜头取相装置包括双镜头模组的立体照相机、配有相机阵列的取相装置及配有镜头模组的取相装置。
CN201310659470.4A 2012-12-10 2013-12-06 多镜头取相装置的控制方法及控制装置 Expired - Fee Related CN103873849B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/709,068 US9948918B2 (en) 2012-12-10 2012-12-10 Method and apparatus for stereoscopic focus control of stereo camera
US13/709,068 2012-12-10

Publications (2)

Publication Number Publication Date
CN103873849A true CN103873849A (zh) 2014-06-18
CN103873849B CN103873849B (zh) 2017-10-24

Family

ID=50880529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310659470.4A Expired - Fee Related CN103873849B (zh) 2012-12-10 2013-12-06 多镜头取相装置的控制方法及控制装置

Country Status (2)

Country Link
US (1) US9948918B2 (zh)
CN (1) CN103873849B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471801A (zh) * 2014-07-24 2017-03-01 博立多媒体控股有限公司 夜视装置
CN106851103A (zh) * 2017-02-27 2017-06-13 上海兴芯微电子科技有限公司 基于双摄像头系统的自动对焦方法和装置
CN107105158A (zh) * 2017-03-31 2017-08-29 维沃移动通信有限公司 一种拍照方法及移动终端
CN107205109A (zh) * 2016-03-18 2017-09-26 聚晶半导体股份有限公司 具有多摄像模块的电子装置及其控制的方法
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
WO2021073069A1 (en) * 2019-10-15 2021-04-22 Qualcomm Incorporated Active depth sensing based autofocus
CN116074617A (zh) * 2023-04-03 2023-05-05 常州微亿智造科技有限公司 一体化阵列相机及其成像控制方法
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
CN107076961B (zh) 2014-07-30 2019-08-02 宇龙计算机通信科技(深圳)有限公司 对焦方法和对焦装置
US11022858B2 (en) * 2014-11-21 2021-06-01 Motorola Mobility Llc Multiple camera apparatus and method for synchronized autofocus
US10097747B2 (en) * 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
KR20170059704A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 촬영 장치 및 그 동작 방법
FR3050597B1 (fr) 2016-04-26 2019-03-29 Stereolabs Methode de reglage d'un appareil de prise de vue stereoscopique
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템
US11218626B2 (en) * 2017-07-28 2022-01-04 Black Sesame International Holding Limited Fast focus using dual cameras
CN109490419B (zh) * 2019-01-04 2021-04-20 中国航发北京航空材料研究院 一种全聚焦成像的声束校准方法
US11763491B2 (en) 2020-10-21 2023-09-19 Faro Technologies, Inc. Compensation of three-dimensional measuring instrument having an autofocus camera
US11481917B2 (en) 2020-10-21 2022-10-25 Faro Technologies, Inc. Compensation of three-dimensional measuring instrument having an autofocus camera
JP2022095433A (ja) * 2020-12-16 2022-06-28 キヤノン株式会社 光学機器および生成方法
CN117121477A (zh) * 2021-03-29 2023-11-24 爱尔康公司 具有连续自动对焦模式的立体成像平台
WO2022208182A1 (en) * 2021-03-29 2022-10-06 Alcon Inc. Stereoscopic imaging platform with disparity and sharpness control automatic focusing mode
JP2024513705A (ja) * 2021-03-29 2024-03-27 アルコン インコーポレイティド 標的ロッキング自動焦点合わせモードを有する立体視撮像プラットフォーム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089424A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
CN101632296A (zh) * 2007-03-09 2010-01-20 伊斯曼柯达公司 提供改进的聚焦能力的多镜头照相机
CN102256109A (zh) * 2011-06-07 2011-11-23 上海芯启电子科技有限公司 多目标自动跟踪摄像系统及该系统的聚焦方法
CN102547332A (zh) * 2010-12-22 2012-07-04 富士通株式会社 图像拍摄装置和图像拍摄控制方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100672584B1 (ko) 2005-02-07 2007-01-24 엘지전자 주식회사 오토 컨버전스시의 영상 디스플레이 방법
US8340512B2 (en) 2007-03-15 2012-12-25 Nvidia Corporation Auto focus technique in an image capture device
US8698878B2 (en) 2009-07-02 2014-04-15 Sony Corporation 3-D auto-convergence camera
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US20120242803A1 (en) * 2010-01-13 2012-09-27 Kenjiro Tsuda Stereo image capturing device, stereo image capturing method, stereo image display device, and program
US8265477B2 (en) 2010-03-31 2012-09-11 James Cameron Stereo camera with preset modes
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
US8913107B2 (en) * 2010-12-23 2014-12-16 Marvell World Trade Ltd. Systems and methods for converting a 2D image to a 3D image
US8542268B2 (en) * 2011-03-02 2013-09-24 Ricoh Co., Ltd. Compact multi-aperture three-dimensional imaging system
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes
US9250510B2 (en) * 2012-02-15 2016-02-02 City University Of Hong Kong Panoramic stereo catadioptric imaging
US8937644B2 (en) * 2012-03-21 2015-01-20 Canon Kabushiki Kaisha Stereoscopic image capture
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089424A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
CN101632296A (zh) * 2007-03-09 2010-01-20 伊斯曼柯达公司 提供改进的聚焦能力的多镜头照相机
CN102547332A (zh) * 2010-12-22 2012-07-04 富士通株式会社 图像拍摄装置和图像拍摄控制方法
CN102256109A (zh) * 2011-06-07 2011-11-23 上海芯启电子科技有限公司 多目标自动跟踪摄像系统及该系统的聚焦方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106471801B (zh) * 2014-07-24 2019-11-05 博立多媒体控股有限公司 夜视装置
CN106471801A (zh) * 2014-07-24 2017-03-01 博立多媒体控股有限公司 夜视装置
US10798288B2 (en) 2016-03-18 2020-10-06 Altek Semiconductor Corp. Multi-camera electronic device and control method thereof
CN107205109B (zh) * 2016-03-18 2020-10-09 聚晶半导体股份有限公司 具有多摄像模块的电子装置及其控制的方法
CN107205109A (zh) * 2016-03-18 2017-09-26 聚晶半导体股份有限公司 具有多摄像模块的电子装置及其控制的方法
CN106851103A (zh) * 2017-02-27 2017-06-13 上海兴芯微电子科技有限公司 基于双摄像头系统的自动对焦方法和装置
CN106851103B (zh) * 2017-02-27 2019-08-27 上海兴芯微电子科技有限公司 基于双摄像头系统的自动对焦方法和装置
CN107105158B (zh) * 2017-03-31 2020-02-18 维沃移动通信有限公司 一种拍照方法及移动终端
CN107105158A (zh) * 2017-03-31 2017-08-29 维沃移动通信有限公司 一种拍照方法及移动终端
CN112184827A (zh) * 2019-07-01 2021-01-05 威达斯高级驾驶辅助设备有限公司 校准多个摄像机的方法及装置
CN112184827B (zh) * 2019-07-01 2024-06-04 Nc&有限公司 校准多个摄像机的方法及装置
WO2021073069A1 (en) * 2019-10-15 2021-04-22 Qualcomm Incorporated Active depth sensing based autofocus
CN116074617A (zh) * 2023-04-03 2023-05-05 常州微亿智造科技有限公司 一体化阵列相机及其成像控制方法

Also Published As

Publication number Publication date
CN103873849B (zh) 2017-10-24
US20140160245A1 (en) 2014-06-12
US9948918B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
CN103873849A (zh) 多镜头取相装置的控制方法及控制装置
CN102450022B (zh) 输出三维内容的显示装置的图像处理方法以及采用该方法的显示装置
US9049423B2 (en) Zero disparity plane for feedback-based three-dimensional video
US10771757B2 (en) Method and appartus for stereoscopic focus control of stereo camera
EP2659680B1 (en) Method and apparatus for providing mono-vision in multi-view system
US20110316881A1 (en) Display device
US10284956B2 (en) Technologies for localized audio enhancement of a three-dimensional video
KR20140038366A (ko) 움직임 패럴랙스를 가지는 3-차원 디스플레이
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
CN101674491A (zh) 用于分析图像数据的设备、方法和计算机程序
CN105578019A (zh) 一种可获得深度信息的影像提取系统与对焦方法
CN102170577A (zh) 用于处理视频图像的方法和系统
CN105744138B (zh) 快速对焦方法和电子设备
CN102939764A (zh) 图像处理器、图像显示装置和图像拍摄装置
JPWO2012101719A1 (ja) 3次元画像撮影装置及び3次元画像撮影方法
CN103019001A (zh) 自动对焦方法与装置
WO2022119940A4 (en) System and method for processing three dimensional images
KR100915039B1 (ko) 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체
CN107155102A (zh) 3d自动对焦显示方法及其系统
KR20150109994A (ko) 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN103813148A (zh) 三维立体显示装置及其方法
CN104168469A (zh) 立体影像预览装置以及立体影像预览方法
Li et al. High-speed and robust infrared-guiding multiuser eye localization system for autostereoscopic display
Hwang et al. Local deformation calibration for autostereoscopic 3D display
Gurbuz et al. Color calibration for multi-camera imaging systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220215

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171024

CF01 Termination of patent right due to non-payment of annual fee