CN104954776A - 图像校正方法及其图像撷取装置 - Google Patents

图像校正方法及其图像撷取装置 Download PDF

Info

Publication number
CN104954776A
CN104954776A CN201510049654.8A CN201510049654A CN104954776A CN 104954776 A CN104954776 A CN 104954776A CN 201510049654 A CN201510049654 A CN 201510049654A CN 104954776 A CN104954776 A CN 104954776A
Authority
CN
China
Prior art keywords
image
resolution
correcting
depth information
capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510049654.8A
Other languages
English (en)
Inventor
阙鑫地
武景龙
曾富昌
郭威志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN104954776A publication Critical patent/CN104954776A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种用于图像撷取装置的方法，包含有取得一第一图像及一第二图像；调整该第一图像的一第一分辨率至该第二图像的一第二分辨率；借由比较该第一图像及该第二图像间的特征点，裁剪该第一图像中对应于该第二图像的一第一图像区块，以产生一第三图像；检测该第二图像及该第三图像间的非理想效果；补偿该非理想效果，以产生一第一校正图像及一第二校正图像；以及根据该第一校正图像及该第二校正图像，计算深度信息。

Description

图像校正方法及其图像撷取装置
技术领域
本发明涉及一种图像校正方法及其图像撷取装置，尤其涉及一种能够于每次撷取图像时自适应地补偿非理想效果的图像校正方法及其图像撷取装置。
背景技术
随着图像技术的进步，图像撷取装置的功能日渐多样化。举例来说，拍摄三维(3dimensional，3D)图像便可能为图像撷取装置多样化功能的其中之一。一般而言，图像撷取装置可能会分别通过不同的图像撷取单元(如照相机)同时撷取两张二维图像，并根据此两张二维图像计算三维图像的深度信息，以取得三维图像。然而，二维图像间的相对关系可能会因非预期的效果而改变，从而造成图像撷取装置无法取得正确的深度信息。举例来说，当图像撷取装置遭受一外力冲击后(如图像撷取装置掉落并撞击至地面后)，图像撷取单元的配置可能会被改变，进而造成图像撷取单元所撷取的图像间的相对关系于撞击发生后产生改变。在此状况下，非预期的效果可能会影响深度信息的计算。
因此，如何避免非预期效果影响深度信息的计算便成为业界亟欲探讨的议题。
发明内容
为了解决上述问题，本发明提供一种能够于每次撷取图像时自适应地校正非理想效果的图像校正方法及其图像撷取装置。
在一实施例中，本发明公开一种用于图像撷取装置的方法。该方法包含有取得一第一图像及一第二图像；调整该第一图像的一第一分辨率至该第二图像的一第二分辨率；借由比较该第一图像及该第二图像间的特征点，裁剪该第一图像中对应于该第二图像的一第一图像区块，以产生一第三图像；检测该第二图像及该第三图像间的非理想效果；补偿该非理想效果，以产生该一第一校正图像及一第二校正图像；以及根据该第一校正图像及该第二校正图像，计算深度信息。
在一实施例中，本发明另公开一种图像撷取装置，包含有一处理单元；以及一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤：取得一第一图像及一第二图像；调整该第一图像的一第一分辨率至该第二图像的一第二分辨率；借由比较该第一图像及该第二图像间的特征点，裁剪该第一图像中对应于该第二图像的一第一图像区块，以产生一第三图像；检测该第二图像及该第三图像间的非理想效果；补偿该非理想效果，以产生该一第一校正图像及一第二校正图像；以及根据该第一校正图像及该第二校正图像，计算深度信息。
附图说明
图1为本发明实施例中一图像撷取装置的示意图。
图2为本发明实施例一方法的流程图。
图3为由图1所示的图像撷取装置所撷取图像的示意图。
图4为由图1所示的图像撷取装置所撷取图像的示意图。
图5为由图1所示的图像撷取装置所撷取图像的示意图。
图6为本发明实施例另一方法的流程图。
图7为由图1所示的图像撷取装置所撷取图像的示意图。
符号说明
10   图像撷取装置
100  处理单元
110  储存单元
114  程序代码
20、60  方法
200～212、600～612  步骤
CIMG1、CIMG2  校正图像
ED1、ED2  预估距离
F1、F2  焦距
FA1、FA2  对焦区域
ICU1、ICU2  图像撷取单元
IMG1～IMG4  图像
IP1、IP2、IP3、IP4、IP5  图像区块
RES1、RES2  分辨率
具体实施方式
请参考图1，图1为本发明实施例一图像撷取装置10的示意图。图像撷取装置10可用来取得三维(3Dimensional，3D)图像及深度信息，其包含有一处理单元100、一储存单元110以及图像撷取单元ICU1、ICU2。处理单元100可为一微处理器或一专用集成电路(Application-Specific IntegratedCircuit，ASIC)。储存单元110可为任一数据储存装置，用来储存一程序代码114，处理单元100可通过储存单元110读取及执行程序代码114。举例来说，储存单元110可为用户识别模块(Subscriber Identity Module，SIM)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random-Access Memory，RAM)、光碟只读存储器(CD-ROM/DVD-ROM)、磁带(magnetic tape)、硬盘(hard disk)及光学数据储存装置(optical data storage device)等，而不限于此。图像撷取单元ICU1、ICU2用来撷取用于取得3维图像及深度信息的图像。
请参考图2，图2为本发明实施例中一方法20的流程图。流程20可用于图像撷取装置10，用来补偿图像IMG1、IMG2间的非理想效果，其中图像IMG1、IMG2用于产生一三维图像的深度信息。需注意的是，图像IMG1、IMG2可由具有不同分辨率的相异图像撷取单元(如图像撷取单元ICU1、ICU2)来取得，且不限于此。方法20可被编译为程序代码114，且包含有下列步骤：
步骤200：开始。
步骤202：调整图像IMG1的一分辨率RES1至图像IMG2的一分辨率RES2。
步骤204：借由比较图像IMG1、IMG2间的特征点，裁剪图像IMG1中对应于图像IMG2的一图像区块，以产生一图像IMG3。
步骤206：检测图像IMG2、IMG3间的非理想效果。
步骤208：补偿该非理想效果，以产生校正图像CIMG1、CIMG2。
步骤210：根据该校正图像CIMG1、CIMG2，产生相关三维信息及深度信息。
步骤212：结束。
根据方法20，图像撷取装置10首先分别利用图像撷取单元ICU1、ICU2取得(如拍摄)图像IMG1、IMG2。在此实施例中，于撷取图像IMG1、IMG2时，图像撷取单元ICU1、ICU2被横向摆置。也就是说，当撷取图像IMG1、IMG2时，图像撷取单元ICU1可如图1所示摆放至图像撷取单元ICU2的左侧，且不限于此。举例来说，于撷取图像IMG1、IMG2时，图像撷取单元ICU1可改为位于图像撷取单元ICU2的左下方。由于图像撷取单元ICU1、ICU2可能具有相异的分辨率，因此图像IMG1的分辨率RES1可能相异于图像IMG2的分辨率RES2。为了进行后续流程，分辨率RES1及RES2需为相同。当分辨率RES1大于或小于分辨率RES2时，图像撷取装置10可能会按比例放大(Upscale)或缩小(Downscale)图像IMG1，以使分辨率RES1等同于分辨率RES2。如此一来，于调整分辨率RES1后，图像IMG1、IMG2即具有相同的分辨率。
接下来，通过比对图像IMG1与IMG2间的特征点，图像撷取装置10可辨识出图像IMG1中哪一部分对应于图像IMG2(即图像IMG1中哪一部分与图像IMG2具有相似的特征点)，并裁剪图像IMG1中对应于图像IMG2的区块作为图像IMG3。由于图像IMG2、IMG3具有相同的分辨率及接近相同的视角，图像撷取装置10可检测并补偿图像IMG2、IMG3的非理想效果(如平移(Shift)及失真(Distortion))，以产生校正图像CIMG1、CIMG2。于补偿非理想效果后，图像撷取装置10即可根据校正图像CIMG1、CIMG2产生相关的三维信息及计算正确的深度信息(如一深度图(depth map))。
关于方法20的详细运作过程，举例说明如下。请参考图3，图3为本发明实施例中图像IMG1、IMG2的示意图。在此实施例中，图像IMG1、IMG2具有相异的分辨率及尺寸。因此，于利用图像撷取单元ICU1、ICU2分别撷取图像IMG1、IMG2后，图像撷取装置10首先按比例缩小图像IMG1的分辨率RES1，以使图像IMG1的分辨率RES1等同于图像IMG2的分辨率RES2(步骤202)。接下来，图像撷取装置10辨识出图像IMG1的图像区块IP1对应于图像IMG2，并裁剪图像区块IP1作为图像IMG3(步骤204)。于取得图像IMG2、IMG3后，图像撷取装置10检测并补偿图像IMG2、IMG3中的非理想效果(如平移及形变(Deformation))，以产生校正图像CIMG1、CIMG2。举例来说，图像撷取装置10可将图像IMG2及图像IMG3分为多个图像区块后，比对图像IMG2及图像IMG3中每一组相对应的图像区块的特征点，以检测每一图像区块的非理想效果。图像撷取装置10可根据检测结果进行补偿非理想效果，以产生校正图像CIMG1、CIMG2。在一实施例中，若图像撷取装置10于图像IMG3中检测出形变(如延展(stretch))，图像撷取装置10可借由改变图像IMG3的失真曲线，来补偿图像IMG3的形变(步骤206、208)。于取得校正图像CIMG1、CIMG2后，图像撷取装置10会根据校正图像CIMG1、CIMG2计算深度信息。如此一来，图像撷取装置10可在不受到非理想效果影响的情况下，取得正确的深度信息。
需注意的是，根据不同的应用及设计理念，将图像IMG2、IMG3划分为多个图像区块、比对图像IMG2、IMG3中每组相对应图像区块的特征点来检测每一图像区块的非理想效果及计算图像IMG1与图像IMG2间的深度信息的方法可被合适地变化及修改。举例来说，图像撷取装置10可将图像IMG1及图像IMG2可能会将图像IMG1及图像IMG2划分为9(3x3)个具有相同尺寸的图像区块，且不限于此。此外，图像撷取装置10可借由计算图像CIMG1、CIMG2中物体的视差(parallax)，来计算图像IMG1、IMG2的深度信息，且不限于此。将图像IMG2、IMG3划分为多个图像区块、比对图像IMG2、IMG3中每组相对应图像区块的特征点来检测每一图像区块的非理想效果及计算图像IMG1与图像IMG2间的深度信息的方法应为本领域普通技术人员所熟知，为求简洁，在此不赘述。
请参考图4，图4为本发明另一实施例中图像IMG1、IMG2的示意图。相似于图3，图像IMG1、IMG2具有相异的分辨率及尺寸。因此，于利用图像撷取单元ICU1、ICU2分别撷取图像IMG1、IMG2后，图像撷取装置10首先按比例缩小图像IMG1的分辨率RES1，以使图像IMG1的分辨率RES1等同于图像IMG2的分辨率RES2(步骤202)。与图3不同的是，图像IMG2现对应于图像IMG1中的图像区块IP2，其中由于非预期的冲击发生于图像撷取单元ICU1、ICU2上(如图像撷取单元ICU及ICU2遭受外力冲击后或于撷取图像IMG1、IMG2时受到摇晃)图像撷取单元ICU1、ICU2的配置受到改变，造成图像区块IP2由图3所示的图像区块IP1向上平移。在此状况下，若图像撷取装置10仍裁剪图像IMG1的图像区块IP1作为用于后续流程的图像IMG3，所取得的深度信息便会产生错误且使用此深度信息的三维图像品质也会下降。
根据流程20，图像撷取装置10借由比对图像IMG1及图像IMG2的特征点，辨识出图像IMG1的图像区块IP2对应于图像IMG2，并裁剪图像区块IP2作为图像IMG3(步骤204)。换言之，每一次撷取图像IMG1、IMG2时，图像IMG1中被裁剪为图像IMG3的区块皆会改变，图像撷取装置10从而检测并补偿图像IMG2、IMG3的非理想效果，以产生校正图像CIMG1、CIMG2(步骤206、208)。于补偿图像IMG2、IMG3的非理想效果及产生校正图像CIMG1、CIMG2后，图像撷取装置10可根据校正图像CIMG1、CIMG2，计算深度信息(步骤210)。由于图像IMG3会随着图像IMG1与IMG2间的相对关系而改变，因此图像撷取装置10可取得正确的深度信息。
请参考图5，图5为本发明又另一实施例中图像IMG1、IMG2的示意图。相似于图3，图像IMG1、IMG2具有相异的分辨率及尺寸。因此，于利用图像撷取单元ICU1、ICU2分别撷取图像IMG1、IMG2后，图像撷取装置10首先按比例缩小图像IMG1的分辨率RES1，以使图像IMG1的分辨率RES1等同于图像IMG2的分辨率RES2(步骤202)。与图3不同之处在于，图像IMG2现对应于图像IMG1中的图像区块IP3，其中由于非预期的冲击发生于图像撷取单元ICU1、ICU2上，造成图像区块IP3由图3所示的图像区块IP1向右倾斜。在此状况下，若图像撷取装置10仍裁剪图像IMG1的图像区块IP1作为用于后续流程的图像IMG3，所取得的深度信息便会产生错误且使用此深度信息的三维图像品质亦会下降。通过比对图像IMG1及图像IMG2的特征点，图像撷取装置10旋转图像IMG1，以使图像区块IP3呈现水平状态。于图像IMG1被旋转之后，图像撷取装置10辨识图像IMG1的图像区块IP3对应于图像IMG2，并裁剪图像区块IP3作为图像IMG3(步骤204)。
于取得图像IMG2、IMG3后，图像撷取装置10检测并补偿图像IMG2及图像IMG3中的非理想效果，以产生校正图像CIMG1、CIMG2(步骤206、208)。接下来，图像撷取装置10会于补偿图像IMG2、IMG3的非理想效果及产生校正图像CIMG1、CIMG2后，根据校正图像CIMG1、CIMG2计算深度信息(步骤210)。由于图像IMG3会随着图像IMG1与IMG2间的相对关系而改变，因此图像撷取装置10可取得正确的深度信息。需注意的是，在另一实施例中，图像撷取装置10可能会借由比对图像IMG1、IMG2的特征点来旋转图像IMG2。也就是说，当图像撷取装置10通过比对图像IMG1、IMG2中的特征点检测出图像IMG1、IMG2至少其中一者倾斜时，图像撷取装置10可旋转图像IMG1、IMG2至少其中一者。
进一步地，图像撷取装置可根据撷取图像IMG1、IMG2的信息，来调整深度信息。举例来说，图像撷取装置10可另包含有对焦单元FU1及FU2(未绘示于图1)，其中对焦单元FU1及FU2可为音圈马达(Voice coil motor)，用来调整图像撷取单元ICU1、ICU2的焦距F1及F2，以取得清晰的图像IMG1、IMG2。当图像撷取单元ICU1撷取图像IMG1时，对焦单元FU1调整图像撷取单元ICU1的焦距F1，以对焦于图像IMG1中一对焦区域FA1的物体上。根据焦距F1，图像撷取装置10可得知图像撷取装置10与位于对焦区域FA1物体间的距离可能为一预估距离ED1。在此状况下，若图像IMG1中对焦区域FA1的深度信息与预估距离ED1相异且对焦区域FA1的深度信息与预估距离ED1间的差距巨大时，图像撷取装置10判断所取得的深度信息可能错误，并进一步根据预估距离ED1调整深度信息。相似地，当图像IMG2中一对焦区域FA2的深度信息与对应于对焦区域FA2的焦距F2的一预估距离ED2相异且差距巨大时，图像撷取装置10可根据预估距离ED2调整深度信息。
在一实施例中，对应于撷取图像IMG1的焦距F1的预估距离ED1为1公尺且对焦区域FA1深度信息中视差的统计值(如一平均值或一中位数)为0.5公尺。图像撷取装置10判断预估距离ED1与对焦区域FA1深度信息中视差的统计值间的差距超越一阈值(如0.4公尺)，因此图像撷取装置10根据预估距离ED1调整深度信息。在此实施例中，图像撷取装置10根据预估距离ED1与对焦区域FA1深度信息中视差的统计值间的比例，来标准化深度信息。换言之，在此实施例中深度信息会被乘以2(即1/0.5)。如此一来，图像撷取装置10即可取得正确的深度信息。
根据不同应用及设计需求，本领域普通技术人员可据以实施合适的变化及修改。举例来说，图像IMG1、IMG2可由同一图像撷取单元连续拍摄所得。也就是说，图像撷取装置10可仅拥有单一图像撷取单元，且不限于此。
此外，图像撷取装置可能需要实施一失真校正程序来补偿图像撷取单元ICU1、ICU2的曲面失真(Curve distortion)。举例来说，当采用不同镜片或图像撷取单元ICU1、ICU2的镜片遭受外力冲击而变形时，往往会造成曲面失真。在此状况下，图像撷取装置10需于使图像IMG1的分辨率RES1等同于图像IMG2的分辨率RES2(即图2所示方法20的步骤202)前，针对图像IMG1、IMG2执行失真校正程序，以补偿图像撷取单元ICU1、ICU2的曲面失真。
在一实施例中，由于图像IMG1、IMG2可能具有不同的视角且包含拍摄场景中不同的部分，因此图像IMG1、IMG2皆需被裁剪以补偿非理想效果。请参考图6，图6为本发明实施例中一方法60的流程图。流程60可用于图像撷取装置10，用来补偿图像IMG1、IMG2间的非理想效果，其中图像IMG1、IMG2用于产生一三维图像的深度信息。需注意的是，图像IMG1、IMG2可由具有不同分辨率的相异图像撷取单元(如图像撷取单元ICU1、ICU2)来取得，且不限于此。方法60可被编译为程序代码114，且包含有下列步骤：
步骤600：开始。
步骤602：调整图像IMG1的一分辨率RES1至图像IMG2的一分辨率RES2。
步骤604：借由比较图像IMG1、IMG2间的特征点，裁剪图像IMG1、IMG2中共同的区块，以产生图像IMG3、IMG4。
步骤606：检测该图像IMG3、IMG4间的非理想效果。
步骤608：补偿该非理想效果，以产生校正图像CIMG1、CIMG2。
步骤610：根据该校正图像CIMG1、CIMG2，产生相关三维信息及深度信息。
步骤612：结束。
根据方法60，图像撷取装置10拍摄图像IMG1、IMG2并调整图像IMG1的分辨率RES1至图像IMG2的分辨率RES2。步骤602的详细运作过程类似于步骤202，为求简洁，在此不赘述。接下来，通过比对图像IMG1、IMG2间的特征点，图像撷取装置10辨识出图像IMG1、IMG2间共同的图像区块(即图像IMG1、IMG2中具有相似特征点的区块)，并裁剪图像IMG1、IMG2间共同的图像区块作为图像IMG3、IMG4。由于图像IMG3、IMG4具有相同的分辨率及近似的视角，图像撷取装置10可检测并补偿图像IMG3、IMG4的非理想效果(如平移及失真)，以产生校正图像CIMG1、CIMG2。于补偿非理想效果后，图像撷取装置10即可根据校正图像CIMG1、CIMG2产生相关的三维信息及计算正确的深度信息(如一深度图)。
请参考图7，图7为本发明一实施例中图像IMG1、IMG2的示意图。在此实施例中，图像IMG1、IMG2具有相异的分辨率及尺寸。因此，于利用图像撷取单元ICU1、ICU2分别撷取图像IMG1、IMG2后，图像撷取装置10首先按比例放大╱缩小图像IMG1的分辨率RES1，以使图像IMG1的分辨率RES1等同于图像IMG2的分辨率RES2(步骤602)。
相较于图3，图像IMG1中具有相似特征点的图像区块(即共同图像区块)往右上方平移，而图像IMG2中具有相似特征点的图像区块则位于图像IMG2的左侧。若图像撷取装置10依然裁剪图像IMG1的图像区块IP1作为用于后续流程的图像IMG3且不裁剪图像IMG2，图像撷取装置10所取得的图像IMG1、IMG2间的深度信息便会产生错误。通过比较图像IMG1、IMG2的特征点，图像撷取装置10得知图像IMG1、IMG2间共同的图像部分为图像区块IP4、IP5，从而分别裁剪图像区块IP4、IP5作为图像IMG3、IMG4(步骤604)。于取得图像IMG3、IMG4后，图像撷取装置10检测并补偿图像IMG3、IMG4的非理想效果，产生校正图像CIMG1、CIMG2(步骤606、608)。随后，图像撷取装置10根据校正图像CIMG1、CIMG2，计算深度信息(步骤610)。如此一来，即使图像IMG1、IMG2间的相对关系受到非预期影响而改变，图像撷取装置10仍可取得正确的三维信息(如深度信息)。
前述的所有流程的步骤(包含建议步骤)可通过装置实现，装置可为硬件、固件(为硬件装置与计算机指令与数据的结合，且计算机指令与数据属于硬件装置上的只读软件)或电子系统。硬件可为模拟微计算机电路、数字微计算机电路、混合式微计算机电路、微计算机芯片或硅晶片。电子系统可为系统单晶片(system on chip，SOC)、系统级封装(system in package，SiP)、嵌入式计算机(computer on module，COM)及图像撷取装置10。
综上所述，于每次撷取图像时，上述实施例会适应性地补偿非理想效果。即使用于计算深度信息的图像间相对关系受到非预期影响而改变，图像撷取装置仍可取得正确的深度信息。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的等同变化与修饰，皆应属本发明的涵盖范围。

Claims (20)

1.一种用于图像撷取装置的方法，包含有：
取得一第一图像及一第二图像；
调整该第一图像的一第一分辨率至该第二图像的一第二分辨率；
借由比较该第一图像及该第二图像间的特征点，裁剪该第一图像中对应于该第二图像的一第一图像区块，以产生一第三图像；
检测该第二图像及该第三图像间的非理想效果；
补偿该非理想效果，以产生一第一校正图像及一第二校正图像；以及
根据该第一校正图像及该第二校正图像，计算深度信息。
2.如权利要求1所述的方法，其中该第一图像及该第二图像分别由该图像撷取装置的一第一图像撷取单元及一第二图像撷取单元取得。
3.如权利要求2所述的方法，其中该第一图像撷取单元及该第二图像撷取单元被横向摆置。
4.如权利要求2所述的方法，其中该第一图像撷取单元及该第二图像撷取单元具有相异的分辨率。
5.如权利要求1所述的方法，其中该第一图像及该第二图像是由同一图像撷取单元所撷取。
6.如权利要求1所述的方法，其中调整该第一图像的该第一分辨率至该第二图像的该第二分辨率的步骤包含有：
按比例放大或缩小该第一图像的该第一分辨率至该第二图像的该第二分辨率。
7.如权利要求1所述的方法，另包含有：
根据取得该第一图像及该第二图像的焦距，调整计算所得的该深度信息。
8.如权利要求7所述的方法，其中根据取得该第一图像及该第二图像的焦距，调整计算所得的该深度信息的步骤包含有：
当对应于取得该第一图像及该第二图像的该焦距的一预估距离与该深度信息中视差的一统计值间的一差距超越一阈值时，根据取得该第一图像及该第二图像的焦距，调整计算所得的深度信息。
9.如权利要求1所述的方法，另包含有：
于调整该第一图像的该第一分辨率至该第二图像的该第二分辨率之前，补偿该第一图像及该第二图像的曲面失真。
10.如权利要求1所述的方法，另包含有：
通过比对该第一图像及该第二图像间的特征点，裁剪该第二图像中对应于该第一图像的一第二图像区块，以产生一第四图像；以及
检测并补偿该第三图像与该第四图像间的非理想效果，以产生该第一校正图像及该第二校正图像。
11.一种图像撷取装置，包含有：
一处理单元；以及
一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤：
取得一第一图像及一第二图像；
调整该第一图像的一第一分辨率至该第二图像的一第二分辨率；
借由比较该第一图像及该第二图像间的特征点，裁剪该第一图像中对应于该第二图像的一第一图像区块，以产生一第三图像；
检测该第二图像及该第三图像间的非理想效果；
补偿该非理想效果，以产生一第一校正图像及一第二校正图像；以及
根据该第一校正图像及该第二校正图像，计算深度信息。
12.如权利要求11所述的图像撷取装置，另包含有：
一第一图像撷取单元，用来撷取该第一图像；以及
一第二图像撷取单元，用来撷取该第二图像。
13.如权利要求12所述的图像撷取装置，其中于取得该第一图像及该第二图像时，该第一图像撷取单元及该第二图像撷取单元被横向摆置。
14.如权利要求12所述的图像撷取装置，其中该第一图像撷取单元及该第二图像撷取单元具有相异的分辨率。
15.如权利要求11所述的图像撷取装置，其中该第一图像及该第二图像是由同一图像撷取单元所撷取。
16.如权利要求11所述的图像撷取装置，其中调整该第一图像的该第一分辨率至该第二图像的该第二分辨率的步骤包含有：
按比例放大或缩小该第一图像的该第一分辨率至该第二图像的该第二分辨率。
17.如权利要求11所述的图像撷取装置，其中该程序代码另指示该运算单元根据取得该第一图像及该第二图像的焦距，调整计算所得的深度信息。
18.如权利要求17所述的图像撷取装置，其中当对应于取得该第一图像及该第二图像的该焦距的一预估距离与该深度信息中视差的一统计值间的一差距超越一阈值时，该运算单元根据撷取该第一图像及该第二图像的焦距，调整计算所得的深度信息。
19.如权利要求11所述的图像撷取装置，该程序代码另指示该运算单元于调整该第一图像的该第一分辨率至该第二图像的该第二分辨率之前，补偿该第一图像及该第二图像的曲面失真。
20.如权利要求11所述的图像撷取装置，该程序代码另指示该运算单元通过比对该第一图像及该第二图像间的特征点，裁剪该第二图像中对应于该第一图像的一第二图像区块，以产生一第四图像，且检测并补偿该第三图像与该第四图像间的非理想效果，以产生该第一校正图像及该第二校正图像。
CN201510049654.8A 2014-03-24 2015-01-30 图像校正方法及其图像撷取装置 Pending CN104954776A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461969274P 2014-03-24 2014-03-24
US61/969,274 2014-03-24

Publications (1)

Publication Number Publication Date
CN104954776A true CN104954776A (zh) 2015-09-30

Family

ID=54143306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510049654.8A Pending CN104954776A (zh) 2014-03-24 2015-01-30 图像校正方法及其图像撷取装置

Country Status (3)

Country Link
US (1) US9883118B2 (zh)
CN (1) CN104954776A (zh)
TW (1) TWI526993B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885335A (zh) * 2016-03-30 2018-11-23 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI663576B (zh) * 2017-08-02 2019-06-21 伸興工業股份有限公司 Image correction method
US11403201B2 (en) * 2018-08-08 2022-08-02 Atos France Systems and methods for capture and generation of process workflow

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567082A (zh) * 2009-06-04 2009-10-28 福州华映视讯有限公司 影像处理方法及其装置
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CN103329548A (zh) * 2010-12-27 2013-09-25 3D媒体公司 用于图像处理的主、辅图像捕获设备及其相关方法
US20130258057A1 (en) * 2012-03-29 2013-10-03 Nao Mishima Image processing device, autostereoscopic display device, image processing method and computer program product
CN103365063A (zh) * 2012-03-31 2013-10-23 北京三星通信技术研究有限公司 三维图像拍摄方法和设备
CN103444191A (zh) * 2010-12-07 2013-12-11 罗伯特·博世有限公司 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08511631A (ja) * 1993-05-04 1996-12-03 ゼノテック リサーチ プロプライエタリー リミテッド 立体映像表示ユニット
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
US8050507B2 (en) 2008-09-30 2011-11-01 Himax Technologies Limited 3D depth generation by local blurriness estimation
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US20130163854A1 (en) 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567082A (zh) * 2009-06-04 2009-10-28 福州华映视讯有限公司 影像处理方法及其装置
CN103444191A (zh) * 2010-12-07 2013-12-11 罗伯特·博世有限公司 用于处理立体传感器系统的两个适合用于图像检测的传感器的图像信息的方法和装置
CN103329548A (zh) * 2010-12-27 2013-09-25 3D媒体公司 用于图像处理的主、辅图像捕获设备及其相关方法
CN102404595A (zh) * 2011-08-16 2012-04-04 上海交通大学 可提供3d节目拍摄指导的极线校正方法
US20130258057A1 (en) * 2012-03-29 2013-10-03 Nao Mishima Image processing device, autostereoscopic display device, image processing method and computer program product
CN103365063A (zh) * 2012-03-31 2013-10-23 北京三星通信技术研究有限公司 三维图像拍摄方法和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885335A (zh) * 2016-03-30 2018-11-23 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
US11147647B2 (en) 2016-03-30 2021-10-19 Sony Olympus Mrdical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program
CN108885335B (zh) * 2016-03-30 2021-10-22 索尼奥林巴斯医疗解决方案公司 医用立体观察装置、医用立体观察方法以及程序
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法

Also Published As

Publication number Publication date
TW201537518A (zh) 2015-10-01
US20150271468A1 (en) 2015-09-24
TWI526993B (zh) 2016-03-21
US9883118B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
WO2016049889A1 (zh) 一种自动对焦方法、装置及电子设备
KR101862889B1 (ko) 입체 카메라를 위한 자동초점
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
US9300946B2 (en) System and method for generating a depth map and fusing images from a camera array
JP5954712B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN102474573B (zh) 图像处理装置以及图像处理方法
CN105791801B (zh) 图像处理装置、图像拾取装置和图像处理方法
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
WO2015048694A2 (en) Systems and methods for depth-assisted perspective distortion correction
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US20190158799A1 (en) Aligning Two Images By Matching Their Feature Points
US20130050516A1 (en) Imaging device, imaging method and hand-held terminal device
US9224212B2 (en) Image processing apparatus and image processing method
CN104954776A (zh) 图像校正方法及其图像撷取装置
WO2014180255A1 (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
WO2007007924A1 (en) Method for calibrating distortion of multi-view image
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
US9538161B2 (en) System and method for stereoscopic photography
JP2015207090A (ja) 画像処理装置、及びその制御方法
CN111292380A (zh) 图像处理方法及装置
JP2016156702A (ja) 撮像装置および撮像方法
JP2011009857A (ja) ノイズレベル計測装置および画像処理装置
CN107251089B (zh) 用于移动检测和补偿的图像处理方法
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150930