CN106817575A - 影像捕获设备及其产生深度信息的方法与自动更正的方法 - Google Patents

影像捕获设备及其产生深度信息的方法与自动更正的方法 Download PDF

Info

Publication number
CN106817575A
CN106817575A CN201511017606.7A CN201511017606A CN106817575A CN 106817575 A CN106817575 A CN 106817575A CN 201511017606 A CN201511017606 A CN 201511017606A CN 106817575 A CN106817575 A CN 106817575A
Authority
CN
China
Prior art keywords
image
camera lens
feature point
resolution ratio
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511017606.7A
Other languages
English (en)
Inventor
简永飞
王煜智
周宏隆
庄哲纶
王耀笙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glomerocryst Semiconductor Ltd Co
Altek Semiconductor Corp
Original Assignee
Glomerocryst Semiconductor Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glomerocryst Semiconductor Ltd Co filed Critical Glomerocryst Semiconductor Ltd Co
Publication of CN106817575A publication Critical patent/CN106817575A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种影像捕获设备及其产生深度信息的方法与自动更正的方法。此些方法适用于具有双镜头且无须模块厂调校(Alignment)的影像捕获设备,并且包括下列步骤。利用双镜头捕获一场景的影像,以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算两张影像之间的像素偏置信息,从而取得两张影像之间的旋转角度。根据像素偏置信息及旋转角度,针对两张影像进行影像扭转程序,以分别产生相互对准的第一参考影像及第二参考影像。根据第一参考影像及第二参考影像,计算场景的深度信息或是产生立体影像。本发明可实时产生拍摄场景的深度信息以及自动更正后的立体影像。

Description

影像捕获设备及其产生深度信息的方法与自动更正的方法
技术领域
本发明涉及一种影像捕获设备,尤其涉及一种影像捕获设备及其产生深度信息的方法与自动更正的方法。
背景技术
随着科技的发展,各式各样的智能型影像捕获设备,例如平板电脑、个人数字化助理、智能型手机等,已成为现代人不可或缺的工具。其中,高阶款的智能型影像捕获设备所搭载的相机镜头已经与传统消费型相机不相上下,甚至可以取而代之,少数高阶款更具有接近数字单反的像素和画质或是拍摄三维影像的功能。
一般而言,工厂在生产具有双镜头的影像捕获设备时,双镜头各自对应的空间位置无法精准地设置于默认的位置。因此,于生产的过程中,工厂往往会预先针对已设置的双镜头模块进行测试以及校正,从而获取一组工厂预设的校正参数。尔后,当用户在使用影像捕获设备的过程中,影像捕获设备可利用工厂默认的校正参数来校正双镜头所捕获的影像,以克服制程不够精密的缺失。
然而,上述的测试以及校正程序往往会耗费大量的生产成本。此外,一般用户在实际地使用上述影像捕获设备时,影像捕获设备往往会由于不慎摔落、撞击、挤压、温度或湿度的变化等外在因素而导致双镜头产生位移或旋转等空间位置上的改变。一旦镜头产生位移或旋转,工厂内部所预设的校正参数已经不再符合当前的应用状况,影像捕获设备也就无法获取正确的深度信息。举例来说,如果立体影像捕获设备的双镜头间产生水平失衡的问题时,由于失衡之后拍摄出来的左右画面水平不匹配,将进一步导致三维立体拍摄效果不佳。
发明内容
有鉴于此,本发明提供一种影像捕获设备及其产生深度信息的方法与自动更正的方法,其可在无须经过影像捕获设备的出厂前调校的前提下,实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像。
本发明提出一种影像捕获设备产生深度信息的方法,适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备,包括下列步骤。首先,利用第一镜头以及第二镜头捕获一场景的影像,以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息,从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生相互对准的第一参考影像及第二参考影像。根据第一参考影像以及第二参考影像,计算上述场景的深度信息。
本发明提出一种影像捕获设备自动更正的方法,适用于具有第一镜头以及第二镜头并且无须预先校正的影像捕获设备,包括下列步骤。首先,利用第一镜头以及第二镜头捕获一场景的影像,以产生此场景的第一影像及第二影像。检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息,从而取得第一影像与第二影像之间的旋转角度。根据像素偏置信息及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生相互对准的第一参考影像及第二参考影像。利用第一参考影像以及第二参考影像,产生上述场景的立体影像。
在本发明的一实施例中,上述检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息的步骤包括先检测第一影像以及第二影像中的多个特征点,又比对第一影像以及第二影像中的各个特征点,以取得多个对应特征点组合,再取得各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标,据以计算第一影像与第二影像之间的像素偏置信息,其中各个对应特征点组合包括各个第一特征点以及各个第一特征点所对应的第二特征点。
在本发明的一实施例中,上述取得第一影像与第二影像之间的旋转角度的步骤包括根据各个第一特征点以及各个第二特征点分别于第一影像以及第二影像中的像素坐标以及像素偏置信息,计算第一影像与第二影像之间的旋转角度。
在本发明的一实施例中,上述根据像素偏置信息及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生相互对准的第一参考影像及第二参考影像的步骤包括根据像素偏置信息以及旋转角度,校正第一影像以及第二影像至少一个的像素坐标,以分别产生第一参考影像以及第二参考影像。
在本发明的一实施例中,上述根据第一参考影像以及第二参考影像,计算上述场景的深度信息的步骤包括利用第一参考影像以及第二参考影像进行三维深度估测,以产生上述场景的深度信息。
在本发明的一实施例中,当第一影像的分辨率不等于第二影像的分辨率时,在分别产生上述场景的第一影像以及第二影像的步骤之后,还包括调整第一影像的分辨率以及第二影像的分辨率其中至少之一个,以使第一影像的分辨率与第二影像的分辨率相同。
本发明另提出一种无须预先校正的影像捕获设备,包括第一镜头、第二镜头、储存单元以及一或多个处理单元。储存单元耦接第一镜头以及第二镜头,用以储存第一镜头以及第二镜头所捕获的影像。处理器耦接第一镜头、第二镜头以及存储器,并且包括多个模块,其中所述模块包括影像捕获模块、特征点检测模块、影像扭转模块以及图像处理模块。影像捕获模块用以利用第一镜头以及第二镜头捕获一场景的影像,以产生此场景的第一影像及第二影像。特征点检测模块用以检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息,从而取得第一影像与第二影像之间的旋转角度。影像扭转模块用以根据像素偏置信息及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生相互对准的第一参考影像及第二参考影像。深度计算模块用以根据第一参考影像以及第二参考影像,计算上述场景的深度信息。
在本发明的一实施例中,上述的影像捕获设备还包括影像调整模块,当第一影像的分辨率不等于第二影像的分辨率时,影像调整模块用以调整第一影像的分辨率以及第二影像的分辨率其中至少一个,以使第一影像的分辨率与第二影像的分辨率相同
在本发明的一实施例中,上述的影像捕获设备还包括深度计算模块,用以根据第一参考影像以及第二参考影像,计算上述场景的深度信息。
在本发明的一实施例中,上述第一镜头与第二镜头具有不同的光学特性或是不同的分辨率。
在本发明的一实施例中,上述第一镜头与第二镜头具有相同的光学特性以及相同的分辨率。
基于上述,本发明所提出的影像捕获设备及其产生深度信息的方法与自动更正的方法中,其可在影像捕获设备利用双镜头捕获两张影像后,利用特征点的检测来取得两张影像之间的像素偏置信息以及旋转角度,据以对准两张影像,从而取得拍摄场景的深度信息以及产生立体影像。本发明的影像捕获设备无须经过出厂前校正,即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像,以节省大量的生产成本。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是根据本发明一实施例所显示的影像捕获设备的方框图;
图2为根据本发明的一实施例所显示的影像捕获设备的产生深度信息的方法流程图;
图3是根据本发明另一实施例所显示的影像捕获设备的方框图;
图4为根据本发明的一实施例所显示的影像捕获设备的自动更正的方法流程图;
图5为根据本发明的一实施例所显示的影像捕获设备的产生深度信息的方法以及自动更正的方法功能方框图。
附图标记:
100、300:影像捕获设备
110a、310a:第一镜头
110b、310b:第二镜头
115、315:存储器
120、320:处理器
122、322:影像捕获模块
124、324:特征点检测模块
126、326:影像扭转模块
128:深度计算模块
328:图像处理模块
S202~S208:产生深度信息的方法流程
S402~S408:自动更正的方法流程
502:影像捕获程序
504:特征点检测程序
506:影像扭转程序
508:深度计算程序
510:图像处理程序
A:第一影像
B:第二影像
a1~a3、b1~b3:特征点
A’:第一参考影像
B’:第二参考影像
d:深度信息
S:立体影像
具体实施方式
本发明的部份实施例接下来将会配合附图来详细描述,以下的描述所引用的组件符号,当不同附图出现相同的组件符号将视为相同或相似的组件。这些实施例只是本发明的一部份,并未揭示所有本发明的可实施方式。更确切的说,这些实施例只是本发明的权利要求中的装置与方法的范例。
图1是根据本发明一实施例所显示的影像捕获设备的方框图,但此仅是为了方便说明,并不用以限制本发明。首先图1先介绍影像捕获设备的所有构件以及配置关系,详细功能将配合图2一并揭示。本发明的影像捕获设备无须经过模块厂调校,即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像,以节省大量的生产成本。
请参照图1,影像捕获设备100包括第一镜头110a、第二镜头110b、存储器115以及一或多个处理器120。在本实施例中,影像捕获设备100例如是数字相机、单反相机、数字摄影机或是其他具有影像捕获功能的智能型手机、平板电脑、个人数字助理等电子装置,本发明不以此为限。
第一镜头110a以及第二镜头110b包括感光组件,用以分别感测进入第一镜头110a以及第二镜头110b的光线强度,进而分别产生影像。所述的感光组件例如是电荷耦合组件(Charge Coupled Device,CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor,CMOS)组件或其他组件。在本实施例中,第一镜头110a以及第二镜头110b为具有相同分辨率以及相同光学特性的两个镜头。然而,在其它的实施例中,第一镜头110a以及第二镜头110b为具有不同分辨率或者是不同焦段、感光尺寸、变形程度等光学特性的两个镜头。举例来说,第一镜头110a可以是远摄镜头(TelephotoLens),而第二镜头110b可以是广角镜头(Wide-angle Lens);或者第一镜头110a可以是具有高分辨率的镜头,而第二镜头110b可以是具有低分辨率的镜头。
存储器115例如是任意型式的固定式或可移动式随机存取内存(RandomAccess Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、硬盘或其他类似装置或这些装置的组合。存储器115耦接至第一镜头110a以及第二镜头110b,用以储存第一镜头110a以及第二镜头110b所捕获的影像。
处理器120可以例如是中央处理单元(Central Processing Unit,CPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑设备(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。处理器120耦接第一镜头110a、第二镜头110b以及存储器115,其例如包括影像捕获模块122、特征点检测模块124、影像扭转模块126以及深度计算模块128,以根据影像捕获设备100所捕获的影像产生深度信息。以下即列举实施例说明针对影像捕获设备100产生深度信息的方法的详细步骤。
图2为根据本发明的一实施例所显示的影像捕获设备的影像对准及产生深度信息的方法流程图,而图2的方法可以图1的影像捕获设备100的各组件实现。
请同时参照图1以及图2,首先,影像捕获设备100的影像捕获模块122将利用第一镜头110a以及第二镜头110b捕获一场景的影像,以分别产生上述场景的第一影像以及第二影像(步骤S202)。详细来说,影像捕获模块122分别利用第一镜头110a以及第二镜头110b所捕获的第一影像以及第二影像为利用不同视角针对同一场景所捕获的两张影像,其可以例如是预览状态下所捕获的实时预览影像(Live-view Image)。在此,第一镜头110a以及第二镜头110b例如是采用相同的参数捕获影像,而所述参数包括焦距、光圈、快门、白平衡等,本实施例并不设限。
接着,特征点检测模块124将检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息,从而取得第一影像与第二影像之间的旋转角度(步骤S204),其中前述的各个第一特征点具有与其所相对应的第二特征点。
详细来说,特征点检测模块124可利用边缘检测(Edge Detection)、角检测(Corner Detection)、区域检测(Blob Detection)或其它特征点检测算法(Feature Detection Algorithm)来检测出第一影像以及第二影像中的多个特征点。接着,特征点检测模块124将会自第一影像以及第二影像中所检测出的特征点进行比对,以依据特征点与邻近点的色彩信息从第一影像以及第二影像中找出多组对应特征点组合。特征点检测模块124在比对出每一组对应特征点组合的第一特征点以及第二特征点后,将取得其在第一影像以及第二影像中的像素坐标,据以计算第一影像与第二影像之间的像素偏置信息。在此,第一影像与第二影像之间的像素偏置信息即代表第一镜头110a以和/或第二镜头110b的位移程度。
具体来说,由于第一影像以及第二影像是利用具有不同视角的第一镜头110a以及第二镜头110b所捕获的影像,在理想状态下,第一影像以及第二影像中相对应的第一特征点以及第二特征点在经由坐标转换后将投影至参考坐标系统下的相同坐标点。反之,若第一影像以及第二影像上相对应的特征点未投影至参考坐标系统下的相同坐标点,则特征点检测模块124将会取得每组对应特征点组合的偏置量,以在后续的步骤中依此进行影像对准的程序。
以另一观点来看,由于第一镜头110a以及第二镜头110b的位置设置,在理想状态下的第一影像以及第二影像中仅会存在水平像差或是垂直像差。假设第一镜头110a以及第二镜头110b为分别设置于同一取像平面的左右镜头,则第一影像以及第二影像应当仅存在水平位置的差异。因此,若第一影像以及第二影像上相对应的特征点存在垂直位置的差异,则特征点检测模块124将会取得每组对应特征点组合的垂直偏置量,以在后续的步骤中依此进行影像对准的程序。
一般而言,镜头在发生位移时,往往会伴随着旋转。因此,特征点检测模块124在取得第一影像与第二影像的像素坐标以及两者之间的像素偏置信息,会更进一步地计算出第一影像与第二影像之间的旋转角度,以得知第一镜头110a以和/或第二镜头110b的旋转程度。
之后,影像扭转模块126将根据像素偏置信息以及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生第一参考影像以及第二参考影像,其中第一参考影像与第二参考影像互相对准(步骤S206)。换句话说,影像扭转模块126将根据像素偏置信息以及旋转角度,校正第一影像以和/或第二影像的影像坐标,以使校正后的影像得以对准。即,校正后所产生的第一参考影像以及第二参考影像在经由坐标转换后将投影至参考坐标系统下的相同坐标点。以另一观点来看,假设第一镜头110a以及第二镜头110b为分别设置于同一取像平面的左右镜头,影像扭转后所产生的第一参考影像以及第二参考影像仅会存在水平像差。
接着,深度计算模块128将利用第一参考影像以及第二参考影像进行三维深度估测,以产生前述场景的深度信息(步骤S208)。具体来说,深度计算模块128可针对第一参考影像以及第二参考影像中的各个像素进行立体比对(Stereo Matching),以取得各个像素所对应的深度信息。此外,深度计算模块128还可以例如是深度图(Depth Map)的形式将深度信息记录于存储器115中,以做为图像处理的应用。
附带一提的是,在另一实施例中,当第一镜头110a不同于第二镜头110b时,影像捕获设备100还包括影像调整模块(未显示),用以调整第一影像以及第二影像。举例来说,当第一影像的分辨率与第二影像的分辨率不相同时,影像调整模块可以在影像捕获模块122于步骤S202中捕获第一影像以及第二影像后,将第一影像以及第二影像调整为相同分辨率的两张影像,以利于后续步骤的检测以及计算更为精准。
图3是根据本发明另一实施例所显示的影像捕获设备的方框图,但此仅是为了方便说明,并不用以限制本发明。
请参照图3,影像捕获设备300包括第一镜头310a、第二镜头310b、存储器315以及处理器320,其类似于图1中的第一镜头310a、第二镜头310b、存储器315以及处理器320,详细说明请参照前述相关段落,于此不再赘述。影像捕获设备300的处理器320包括影像捕获模块322、特征点检测模块324、影像扭转模块326以及图像处理模块328,以针对影像捕获设备300所捕获的影像进行实时的自动更正。以下即列举实施例说明针对影像捕获设备300进行自动更正的方法的详细步骤。
图4为根据本发明的一实施例所显示的影像捕获设备的自动更正的方法流程图,而图4的方法可以图3的影像捕获设备300的各组件实现。
首先,影像捕获设备300的影像捕获模块322将利用第一镜头310a以及第二镜头310b捕获一场景的影像,以分别产生上述场景的第一影像以及第二影像(步骤S402)。接着,特征点检测模块324将检测第一影像中的多个第一特征点以及第二影像中的多个第二特征点,以计算第一影像与第二影像之间的像素偏置信息,从而取得第一影像与第二影像之间的旋转角度(步骤S404)。之后,影像扭转模块326将根据像素偏置信息以及旋转角度,针对第一影像以及第二影像进行影像扭转程序,以分别产生第一参考影像以及第二参考影像,其中第一参考影像与第二参考影像互相对准(步骤S406)。步骤S402、S404以及S406的处理方式请参照前述段落有关于步骤S202、S204以及S206的相关说明,于此不再赘述。
接着,图像处理模块328将利用第一参考影像以及第二参考影像,产生上述场景的立体影像(步骤S408)。在本实施例中,第一参考影像与第二参考影像相互对准后,图像处理模块328可以是直接输出第一参考影像以及第二参考影像来做为立体影像。在另一实施例中,图像处理模块328更可进一步地调整第一参考影像以和/或第二参考影像的色彩、亮度等参数,以产生两张色彩、亮度上相匹配的影像,从而产生出自然调和的立体影像。
类似于图2的实施例,影像捕获设备300还可包括影像调整模块(未显示),其功能与影像捕获设备100的影像调整模块相同,于此不再赘述。
前述产生深度信息的方法以及自动更正的方法可利用图5依据本发明一实施例所显示的功能方框图来进行总结。
首先,在影像捕获程序502中,将利用双镜头捕获一场景的影像,以分别产生第一影像A以及第二影像B。接着,在特征点检测程序504中,将检测出第一影像A与第二影像B中相对应的特征点,以计算出第一影像A与第二影像B之间的像素偏置信息以及旋转角度,其中特征点a1~a3分别对应特征点b1~b3。在影像扭转程序506中,将根据第一影像A与第二影像B之间的像素偏置信息以及旋转角度,分别产生相互对准的第一参考影像A’以及第二参考影像B’。
在一实施例中,在产生第一参考影像A’以及第二参考影像B’后,将进入深度计算程序508,以根据第一参考影像A’以及第二参考影像B’计算上述场景的深度信息d。
在另一实施例中,在产生第一参考影像A’以及第二参考影像B’后,将进入图像处理程序510,以利用第一参考影像A’以及第二参考影像B’产生立体影像S。
在又一实施例中,图像处理程序510亦可接续于深度计算程序508之后,也就是说深度信息d亦可做为产生立体影像S的依据之一。以另一观点来看,此实施例亦是影像捕获设备100与影像捕获设备300的整合。
综上所述,本发明所提出的影像捕获设备及其产生深度信息的方法与自动更正的方法中,其可在影像捕获设备利用双镜头捕获两张影像后,利用特征点的检测来取得两张影像之间的像素偏置信息以及旋转角度,据以对准两张影像,从而取得拍摄场景的深度信息以及产生立体影像。本发明的影像捕获设备无须经过模块厂调校,即可实时地产生拍摄场景的深度信息以及产生自动更正后的立体影像,以节省大量的生产成本。
虽然本发明已以实施例揭示如上,然其并非用以限定本发明,任何所属技术领域中普通技术人员,在不脱离本发明的精神和范围内,当可作些许的改动与润饰,故本发明的保护范围当视所附权利要求界定范围为准。

Claims (20)

1.一种产生深度信息的方法,适用于具有第一镜头以及第二镜头并且无须经过模块厂调校的影像捕获设备,其特征在于,所述方法包括下列步骤:
利用所述第一镜头以及所述第二镜头捕获一场景的影像,以分别产生所述场景的第一影像以及第二影像;
检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点,以计算所述第一影像与所述第二影像之间的像素偏置信息,从而取得所述第一影像与所述第二影像之间的旋转角度,其中所述第一特征点对应于所述第二特征点;
根据所述像素偏置信息以及所述旋转角度,针对所述第一影像以及所述第二影像进行影像扭转程序,以分别产生第一参考影像以及第二参考影像,其中所述第一参考影像与所述第二参考影像互相对准;以及
根据所述第一参考影像以及所述第二参考影像,计算所述场景的深度信息。
2.根据权利要求1所述的方法,其特征在于,检测所述第一影像中的所述第一特征点以及所述第二影像中的所述第二特征点,以计算所述第一影像与所述第二影像之间的所述像素偏置信息的步骤包括:
检测所述第一影像以及所述第二影像中的多个特征点;
比对所述第一影像以及所述第二影像中的各所述特征点,以取得多个对应特征点组合,其中各所述对应特征点组合包括各所述第一特征点以及各所述第一特征点所对应的所述第二特征点;以及
取得各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的像素坐标,据以计算所述第一影像与所述第二影像之间的所述像素偏置信息。
3.根据权利要求2所述的方法,其特征在于,取得所述第一影像与所述第二影像之间的所述旋转角度的步骤包括:
根据各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的所述像素坐标以及所述像素偏置信息,计算所述第一影像与所述第二影像之间的所述旋转角度。
4.根据权利要求2所述的方法,其特征在于,根据所述像素偏置信息以及所述旋转角度,针对所述第一影像以及所述第二影像进行所述影像扭转程序,以分别产生所述第一参考影像以及所述第二参考影像的步骤包括:
根据所述像素偏置信息以及所述旋转角度,校正所述第一影像以及所述第二影像至少一个的所述像素坐标,以分别产生所述第一参考影像以及所述第二参考影像。
5.根据权利要求1所述的方法,其特征在于,根据所述第一参考影像以及所述第二参考影像,计算所述场景的所述深度信息的步骤包括:
利用所述第一参考影像以及所述第二参考影像进行三维深度估测,以产生所述场景的所述深度信息。
6.根据权利要求1所述的方法,其特征在于,当所述第一影像的分辨率不等于所述第二影像的分辨率时,在分别产生所述场景的所述第一影像以及所述第二影像的步骤之后,所述方法还包括:
调整所述第一影像的分辨率以及所述第二影像的分辨率其中至少一个,以使所述第一影像的所述分辨率与所述第二影像的所述分辨率相同。
7.根据权利要求1所述的方法,其特征在于,所述第一镜头与所述第二镜头具有不同的光学特性或是不同的分辨率。
8.根据权利要求1所述的方法,其特征在于,所述第一镜头与所述第二镜头具有相同的光学特性以及相同的分辨率。
9.一种自动更正的方法,适用于具有第一镜头以及第二镜头并且无须预经过模块厂调校的影像捕获设备,其特征在于,所述方法包括下列步骤:
利用所述第一镜头以及所述第二镜头捕获一场景的影像,以分别产生所述场景的第一影像以及第二影像;
检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点,以计算所述第一影像与所述第二影像之间的像素偏置信息,从而取得所述第一影像与所述第二影像之间的旋转角度,其中所述第一特征点对应于所述第二特征点;
根据所述像素偏置信息以及所述旋转角度,针对所述第一影像以及所述第二影像进行影像扭转程序,以分别产生第一参考影像以及第二参考影像,其中所述第一参考影像与所述第二参考影像互相对准;以及
利用所述第一参考影像以及所述第二参考影像,产生所述场景的立体影像。
10.根据权利要求9所述的方法,其特征在于,检测所述第一影像中的所述第一特征点以及所述第二影像中的所述第二特征点,以计算所述第一影像与所述第二影像之间的所述像素偏置信息的步骤包括:
检测所述第一影像以及所述第二影像中的多个特征点;
比对所述第一影像以及所述第二影像中的各所述特征点,以取得多个对应特征点组合,其中各所述对应特征点组合包括各所述第一特征点以及各所述第一特征点所对应的所述第二特征点;以及
取得各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的像素坐标,据以计算所述第一影像与所述第二影像之间的所述像素偏置信息。
11.根据权利要求10所述的方法,其特征在于,取得所述第一影像与所述第二影像之间的所述旋转角度的步骤包括:
根据各所述第一特征点以及各所述第二特征点分别于所述第一影像以及所述第二影像中的所述像素坐标以及所述像素偏置信息,计算所述第一影像与所述第二影像之间的所述旋转角度。
12.根据权利要求10所述的方法,其特征在于,根据所述像素偏置信息以及所述旋转角度,针对所述第一影像以及所述第二影像进行所述影像扭转程序,以分别产生所述第一参考影像以及所述第二参考影像的步骤包括:
根据所述像素偏置信息以及所述旋转角度,校正所述第一影像以及所述第二影像至少一个的所述像素坐标,以分别产生所述第一参考影像以及所述第二参考影像。
13.根据权利要求9所述的方法,其特征在于,当所述第一影像的分辨率不等于所述第二影像的分辨率时,在分别产生所述场景的所述第一影像以及所述第二影像的步骤之后,所述方法还包括:
调整所述第一影像的分辨率以及所述第二影像的分辨率其中至少一个,以使所述第一影像的所述分辨率与所述第二影像的所述分辨率相同。
14.根据权利要求9所述的方法,其特征在于,所述第一镜头与所述第二镜头具有不同的光学特性或是不同的分辨率。
15.根据权利要求9所述的方法,其特征在于,所述第一镜头与所述第二镜头具有相同的光学特性以及相同的分辨率。
16.一种无须经过模块厂调校的影像捕获设备,其特征在于,包括:
第一镜头;
第二镜头;
存储器,储存所述第一镜头以及所述第二镜头所捕获的影像;以及;
处理器,耦接所述第一镜头、所述第二镜头以及所述存储器,并且包括多个模块,所述模块包括:
影像捕获模块,利用所述第一镜头以及所述第二镜头捕获一场景的影像,以分别产生所述场景的第一影像以及第二影像;
特征点检测模块,检测所述第一影像中的多个第一特征点以及所述第二影像中的多个第二特征点,以计算所述第一影像与所述第二影像之间的像素偏置信息,从而取得所述第一影像与所述第二影像之间的旋转角度,其中所述第一特征点对应于所述第二特征点;
影像扭转模块,根据所述像素偏置信息以及所述旋转角度,针对所述第一影像以及所述第二影像进行影像扭转程序,以分别产生第一参考影像以及第二参考影像,其中所述第一参考影像与所述第二参考影像互相对准;以及
图像处理模块,利用所述第一参考影像以及所述第二参考影像,产生所述场景的立体影像。
17.根据权利要求16所述的影像捕获设备,其特征在于,还包括:
影像调整模块,当所述第一影像的分辨率不等于所述第二影像的分辨率时,调整所述第一影像的分辨率以及所述第二影像的分辨率其中至少一个,以使所述第一影像的所述分辨率与所述第二影像的所述分辨率相同。
18.根据权利要求16所述的影像捕获设备,其特征在于,还包括:
深度计算模块,根据所述第一参考影像以及所述第二参考影像,计算所述场景的深度信息。
19.根据权利要求16所述的影像捕获设备,其特征在于,所述第一镜头与所述第二镜头具有不同的光学特性或是不同的分辨率。
20.根据权利要求16所述的影像捕获设备,其特征在于,所述第一镜头与所述第二镜头具有相同的光学特性以及相同的分辨率。
CN201511017606.7A 2015-11-30 2015-12-30 影像捕获设备及其产生深度信息的方法与自动更正的方法 Pending CN106817575A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562260645P 2015-11-30 2015-11-30
US62/260,645 2015-11-30

Publications (1)

Publication Number Publication Date
CN106817575A true CN106817575A (zh) 2017-06-09

Family

ID=59106549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511017606.7A Pending CN106817575A (zh) 2015-11-30 2015-12-30 影像捕获设备及其产生深度信息的方法与自动更正的方法

Country Status (2)

Country Link
CN (1) CN106817575A (zh)
TW (1) TWI595444B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
CN111405214A (zh) * 2019-01-02 2020-07-10 奇景光电股份有限公司 影像处理电路
TWI761128B (zh) * 2019-09-02 2022-04-11 宏達國際電子股份有限公司 雙鏡頭成像模組及其擷取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680436B (zh) 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
TWI784330B (zh) * 2020-10-21 2022-11-21 財團法人工業技術研究院 物件追蹤方法及其處理裝置與系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201244457A (en) * 2011-04-22 2012-11-01 Mstar Semiconductor Inc 3D video camera and associated control method
CN104185004A (zh) * 2013-05-23 2014-12-03 宏达国际电子股份有限公司 影像处理方法及影像处理系统
CN104811680A (zh) * 2014-01-28 2015-07-29 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN104885125A (zh) * 2012-12-27 2015-09-02 索尼电脑娱乐公司 信息处理设备、信息处理系统和信息处理方法
CN104977795A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 立体摄影系统及其方法
CN105100770A (zh) * 2014-05-13 2015-11-25 三星电子株式会社 立体源图像校准方法和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
TWI532009B (zh) * 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
US20130202191A1 (en) * 2012-02-02 2013-08-08 Himax Technologies Limited Multi-view image generating method and apparatus using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201244457A (en) * 2011-04-22 2012-11-01 Mstar Semiconductor Inc 3D video camera and associated control method
CN104885125A (zh) * 2012-12-27 2015-09-02 索尼电脑娱乐公司 信息处理设备、信息处理系统和信息处理方法
CN104185004A (zh) * 2013-05-23 2014-12-03 宏达国际电子股份有限公司 影像处理方法及影像处理系统
CN104811680A (zh) * 2014-01-28 2015-07-29 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN104977795A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 立体摄影系统及其方法
CN105100770A (zh) * 2014-05-13 2015-11-25 三星电子株式会社 立体源图像校准方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
CN111405214A (zh) * 2019-01-02 2020-07-10 奇景光电股份有限公司 影像处理电路
CN111405214B (zh) * 2019-01-02 2022-05-24 奇景光电股份有限公司 影像处理电路
TWI761128B (zh) * 2019-09-02 2022-04-11 宏達國際電子股份有限公司 雙鏡頭成像模組及其擷取方法

Also Published As

Publication number Publication date
TWI595444B (zh) 2017-08-11
TW201719579A (zh) 2017-06-01

Similar Documents

Publication Publication Date Title
CN106817575A (zh) 影像捕获设备及其产生深度信息的方法与自动更正的方法
US10455217B2 (en) Electronic apparatus and method of generating depth map
TWI535292B (zh) 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
US20120026297A1 (en) Imaging apparatus and imaging method
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN106101549B (zh) 昼夜自动切换方法、装置及系统
TWI699117B (zh) 標定成安裝在全光相機之感測器,被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法,光場資料獲取裝置,電腦程式製品,以及非暫態電腦可讀式載波媒體
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
KR20130061636A (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
CN112004029B (zh) 曝光处理方法、装置、电子设备、计算机可读存储介质
KR20160028490A (ko) 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
JP2011101359A (ja) イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法
JP2014042272A (ja) デジタルカメラデバイスのホワイトバランス較正
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN109598763B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN105657237A (zh) 图像获取装置及其数字变焦方法
JP2014035516A (ja) 撮像装置及びその制御方法
CN111711755A (zh) 图像处理方法及装置、终端和计算机可读存储介质
CN109951641B (zh) 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN109685853A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN103139492A (zh) 摄像装置、摄像方法以及监视系统
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170609