CN103096102A

CN103096102A - 影像形变方法

Info

Publication number: CN103096102A
Application number: CN2012100233303A
Authority: CN
Inventors: 蔡岳廷; 贾孟轩; 刘文楷
Original assignee: Institute for Information Industry
Current assignee: Institute for Information Industry
Priority date: 2011-11-01
Filing date: 2012-01-16
Publication date: 2013-05-08
Anticipated expiration: 2032-01-16
Also published as: CN103096102B; TW201320714A; JP2013097782A; TWI489859B; US20130108187A1

Abstract

本发明提供一种影像形变(Warping)方法。该影像形变方法包含下列步骤：界定一原始影像的数个原始特征点，其中该原始影像对应至一原始视角；计算这些原始特征点位于该原始影像的数个原始像素坐标；界定该原始影像的数个新特征点，其中这些新特征点分别对应至该原始影像的这些原始特征点；计算这些新特征点投影至该原始影像的数个新像素坐标；以及趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标，使该原始影像形变为一新影像，其中该新影像对应至一新视角。

Description

影像形变方法

技术领域

本发明关于一种影像形变方法；更具体而言，本发明关于一种经由趋近一原始影像的数个原始特征点至相对应的数个新特征点，使该原始影像形变为一新影像的影像形变方法。

背景技术

因应现代人对于立体影像的需求，与立体影像相关的议题已逐渐受到人们重视，而为了满足这些需求，与立体影像相关的技术亦日益求精。近年来，立体影像显示器，例如三维立体电视机(Three-Dimensional Television；3DTV)已逐渐普及于市场，致使现代人得以轻易的享受到立体影像所带来的视觉享受。然而，碍于技术考虑，立体影像撷取装置并不如立体影像显示设备来的普及。于是，立体影像撷取技术的发展，不如立体影像显示设备的发展来的迅速，致使三维(Three-Dimensional Television；3D)多媒体装置的普及受到阻碍。

立体影像撷取设备无法普及的一主要问题在于二维(Two-DimensionalTelevision；2D)影像转换为3D影像的技术尚未成熟。因此，如何有效地将2D影像转换为3D影像将是本领域的一重要课题。进一步言，为了将2D影像转换为3D影像，目前普遍采用的技术手段运用一基于影像深度生成(Depth-Image-BasedRendering；DIBR)方法。DIBR方法利用已知的影像深度信息，取得对应至原始2D影像上的每个像素(Pixel)的深度，并根据每个像素深度的不同，计算出新视角与原视角之间的位移量，以产生不同视角的影像。接着，经由合成不同视角的影像为多视角的影像，以转换2D影像为3D影像。

不幸地，DIBR方法所仰赖的影像深度信息，并不易精确地取得。一般而言，影像深度信息可经由人工处理或者电脑视觉技术所取得，惟人工处理需耗费大量的人力与时间，且电脑视觉技术亦需耗费冗长的计算时间。此外，无论是以人工的方式或是以电脑视觉技术，皆容易因杂讯以至于无法精确的估算出影像深度信息。另一方面，一影像中的物体之间存有的遮蔽现象将造成新视角的影像位移后存有空洞，而DIBR方法最为人诟病之处在于必须采用邻近的像素填补该空洞，因此容易产生虚拟边缘等问题。

综上所述，因目前大部分2D影像转换为3D影像普遍采用DIBR方法，且DIBR方法易受限于影像深度信息的准确性，致使立体影像撷取技术难以进展。有鉴于此，如何改善已知2D影像转换为3D影像技术的缺点，使立体影像装置的普及率得以提升，确为该领域的业者亟需解决的问题。

发明内容

本发明的目的在于提供一种影像形变方法。详言之，本发明的影像形变方法经由趋近一原始影像的数个原始特征点至相对应的数个新特征点，形变该原始影像为一新影像，其中该新影像对应至一新视角。由于本发明的影像形变方法不需要仰赖影像的深度信息，即可准确地产生对应至新视角的影像，使不需采用已知的DIBR方法即可将2D影像转换为3D影像。换言之，本发明的影像形变方法可有效地改善传统采用DIBR方法将2D影像转换为3D影像所产生的缺点，使立体影像装置的普及率得以提升。

为达上述目的，本发明提供一种影像形变方法。该影像形变方法用于一具有影像处理功能的装置，且该装置包含一处理器。该影像形变方法包含下列步骤：(a)令该处理器，界定一原始影像的数个原始特征点，其中该原始影像对应至一原始视角；(b)令该处理器，计算这些原始特征点位于该原始影像的数个原始像素坐标；(c)令该处理器，界定该原始影像的数个新特征点，其中这些新特征点分别对应至该原始影像的这些原始特征点；(d)令该处理器，计算这些新特征点投影至该原始影像的数个新像素坐标；以及(e)令该处理器，趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标，使该原始影像形变为一新影像，其中该新影像对应至一新视角。

于参阅图式及随后描述的实施方式后，所属技术领域具有通常知识者便可了解本发明的其它目的，以及本发明的技术手段及实施方面。

附图说明

图1为本发明的第一实施例的一流程图；

图2为本发明的该第一实施例的步骤S9的一细部流程图；

图3为本发明的方格影像的一形变示意图；以及

图4为本发明的该第一实施例的步骤S5的一细部流程图。

主要组件符号说明：

1：原始方格影像

11：原始特征点

13：新特征点

3：新方格影像

P：格子点

具体实施方式

以下将透过实施例来解释本发明的内容，本发明的实施例并非用以限制本发明须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此，关于实施例的说明仅为阐释本发明的目的，而非用以限制本发明。须说明者，以下实施例及图式中，与本发明非直接相关的组件已省略而未绘示，且图式中各组件间的尺寸关系仅为求容易了解，非用以限制实际比例。

本发明的第一实施例为一影像形变方法。有关第一实施例的说明请参阅图1，其中图1第一实施例的流程图。于本实施例中，该影像形变方法用于一具有影像处理功能的装置，其中该装置至少包含一处理器，用以执行该影像形变方法的各步骤。基于说明简化原则，该具有影像处理功能的装置所包含的其它组件，例如存储器、影像输出/输入装置等等，将隐含但并不详述于本实施例中。此外，该具有影像处理功能的装置可为一相机装置、一个人电脑装置、一行动电话装置、一笔记型电脑装置、或其它具有影像处理功能的装置。

以下将说明本实施例的具体流程。如图1所示，于步骤S1，令该处理器界定一原始影像的数个原始特征点，其中该原始影像对应至一原始视角，而于步骤S3，令该处理器计算这些原始特征点位于该原始影像的数个原始像素坐标。具体而言，本实施例的该原始影像指由某一视角所视的一2D影像。举例而言，当一摄影者对一物体拍摄，该摄影者面向该物体的方向，即为本实施例的该原始视角，而拍摄所得的影像即为本实施例的原始影像，除此之外，本实施例的该原始影像可以是影像实体，例如相片或图片，亦可以表示影像实体的影像数据，例如由多个位组成的影像数据，且这些方面皆落于本发明的保护范围内。

本实施例的这些原始特征点用以表示该原始影像的主要特征为何，而如何界定出这些原始特征点可为本领域具通常知识者轻易理解，故于此不再赘述。另一方面，执行步骤S3的目的在于经由像素坐标方式，界定这些原始特征点位于该原始影像的位置。

于步骤S5，令该处理器界定该原始影像的数个新特征点，其中这些新特征点分别对应至该原始影像的这些原始特征点，而于步骤S7，令该处理器计算这些新特征点投影至该原始影像的数个新像素坐标。于本实施例中，这些新特征点等同于由不同于原始视角的一新视角观看该原始影像所界定的特征点，且这些新特征点所表征的影像特征与这些原始特征点所表征的影像特征相同。举例而言，假设该原始影像一铅笔，且这些原始特征点表征由该原始视角所视该铅笔的笔尖，则这些新特征点表征由新视角所视该铅笔的笔尖。换言之，这些新特征点分别对应至该原始影像的这些原始特征点指以不同角度观看相同影像的影像特征之意。

执行步骤S7的目的在于经由像素坐标方式，界定这些新特征点位于该原始影像的位置。详言之，虽然这些新特征点所表征的影像特征与这些原始特征点所表征的影像特征相同，但因这些新特征点是由不同于该原始视角的一新视角观看该原始影像所界定的特征点，故各该新特征点投影至该原始影像的该新像素坐标与各该相对应的原始像素坐标存有一坐标差，而该坐标差因应所述不同视角而产生。

于步骤S9，令该处理器趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标，使该原始影像形变为一新影像，其中该新影像对应至一新视角。具体而言，步骤S9的目的在于经由缩小各该原始特征点与各该相对应的新特征点之间的距离，形变该原始影像为一新影像，使该新影像等同于由该新视角所视的影像。

本实施例中所述的影像形变方法可由一电脑程序产品执行。当该电脑程序产品载入一电脑装置时，该电脑装置会执行包含于该电脑程序产品中的数个指令，进而可完成本实施例中所述的影像形变方法。该电脑程序产品可储存于一有形的电脑可读取记录媒体中，例如只读存储器(read only memory；ROM)、快闪存储器、软碟、硬盘、光盘、随身碟、磁带、可由网路存取的数据库或熟习此项技艺者所已知且具有相同功能的任何其它储存媒体中。

本发明的第二实施例亦为一影像形变方法。有关第二实施例的说明请同时参阅图1及图2，其中图2为第一实施例的步骤S9的一细部流程图。本实施例的影像形变方法的各步骤，若未于本实施例中特别注明，或是与第一实施例的步骤具有相同的标号，皆可等同于第一实施例中具有标示相同标号的步骤，故于此不再赘述。

第二实施例与第一实施例的差异在于步骤S9进一步包含图2所示的步骤。如图2所示，于步骤S91，令该处理器分割该原始影像为数个格子影像，其中各该格子影像包含数个格子点，各该格子点具有一格子点坐标。具体而言，各该格子点具有的格子点坐标表示各该格子点位于该原始影像中的一像素位置所对应的像素坐标。

本实施例的这些格子影像的形状可以为多种类型，例如方形、三角形、六角形、八角形或多角形等等。除此之外，不同形状的格子影像可具有不同数量的格子点，例如三角形具有三个格子点、六角形具有六个格子点、八角形具有八个格子点等等。然而，为了便于说明，以下将以方形作为说明。于是，本实施例的该处理器分割该原始影像为数个方格影像，其中每个方格影像的四个顶角表示为格子点，各该格子点的格子点坐标对应至该原始影像中的一像素坐标。

如图2所示，于步骤S93，令该处理器经由移动各该格子影像的这些格子点的这些格子点坐标，趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标。具体而言，步骤S93的目的在于形变该原始影像的这些方格影像，使形变后的影像对应至一新视角。

为了进一步说明影像的形变过程，请进一步参阅图3，其中图3为一方格影像的形变示意图。如图3所示，一原始方格影像1包含四个格子点P，且原始方格影像1内存有一原始特征点11及一新特征点13。经由移动四个格子点P的格子点坐标，使得原始特征点11的原始像素坐标趋近至新特征点13的新像素坐标，同时扭曲/拉扯原始方格影像1，因而产生一新方格影像3。虽然图3所示的方格影像形变过程仅用以说明被该原始影像被分割后的其中的一方格影像的形变过程，且该方格影像中仅存有一特征点，然而本领域具通常知识者应可根据图3轻易推知该方格影像包含数个特征点，以及轻易推知包含数个该方格影像的该原始影像形变为一新影像的过程，故不赘述。

本实施例的步骤S95及步骤S97与步骤S93搭配执行。详言之，于步骤S95，令该处理器，于移动各该格子影像的这些格子点的这些格子点坐标时，限定位于各该格子影像内的所有原始特征点与该相对应的格子影像的这些格子点的一位置变化。另一方面，于步骤S97，令该处理器，于移动各该格子影像的这些格子点的这些格子点坐标时，限定各该格子影像的这些格子点的一相互位置关系。于步骤S95及步骤S97，各该格子影像的这些格子点的这些格子点坐标可进一步根据各该相对应的格子影像的一像素亮度变异数移动，但此条件并非用以限制本发明。

此外，本实施例的步骤S95及步骤S97可经由一内容保存形变法(Content-Preserving Warping Method)具体实现，但并不受限于此方法。进一步言，内容保持形变法符合两种概念，也就是数据项与平滑项，并要求在数据项与平滑项之间取得一平衡点，其中数据项及平滑项可分别对应至步骤S95及步骤S97。

数据项用以限定方格影像的格子点的格子点坐标的条件，使得一个方格影像在经过形变之后，特征点在其所属的方格影像里的位置不会改变太多。另一方面，平滑项用以限定一个方格影像在经过形变之后，方格影像的格子点之间的相互位置关系不要变化过多，避免造成方格影像过度扭曲。因此，经由调整数据项与平滑项可以基于内容保持的情况下形变方格影像。须说明者，数据项与平滑项可同时搭配使用每一个方格影像的像素亮度变异数作为权重值，其中该画素亮度变异数越低，即表示越有可能有较多的变形，惟所述像素亮度变异数并非用以限制本发明。

除了上述步骤，第二实施例亦能执行第一实施例所描述的所有步骤。且所属技术领域具有通常知识者可直接了解第二实施例如何基于上述第一实施例以执行此等步骤，故不赘述。除此之外，本实施例中所述的影像形变方法可由一电脑程序产品执行。当该电脑程序产品载入一电脑装置时，该电脑装置会执行包含于该电脑程序产品中的数个指令，进而可完成本实施例中所述的影像形变方法。该电脑程序产品可储存于一有形的电脑可读取记录媒体中，例如只读存储器(read onlymemory；ROM)、快闪存储器、软碟、硬盘、光盘、随身碟、磁带、可由网路存取的数据库或熟习此项技艺者所已知且具有相同功能的任何其它储存媒体中。

本发明的第三实施例亦为一影像形变方法。有关第三实施例的说明请同时参阅图1及图4，其中图4为第一实施例的步骤S9的一细部流程图。须说明者，本实施例的影像形变方法的各步骤，若未于本实施例中特别注明，亦或是具有与第一实施例的步骤相同的标号，皆可等同于第一实施例中标示相同标号的步骤，故于此不再赘述。

第三实施例与第一实施例的差异在于步骤S5进一步包含图4所示的步骤。详言之，于步骤S51，令该处理器界定一参考影像的数个参考特征点，其中这些参考特征点分别对应至该原始影像的这些原始特征点。进一步言，本实施例所述参考影像指由另一视角所视该原始影像的一影像。举例而言，当一摄影者对一物体拍摄，该摄影者面向该物体的方向，即为本实施例的该原始视角，而拍摄所得的影像即为本实施例的原始影像。此时，若该摄影者水平移动一单位距离，则该摄影者面向该物体的方向，即为本实施例的该另一视角，而拍摄所得的影像即为本实施例的参考影像。除此之外，类似于第一实施例所述，这些参考特征点分别对应至该原始影像的这些原始特征点指这些参考特征点所表征的影像特征与这些原始特征点所表征的影像特征相同。

进一步言，于步骤S53，令该处理器计算这些参考特征点投影至该原始影像的数个参考像素坐标，并于步骤S55，令该处理器根据这些原始像素坐标及这些参考像素坐标，经由一插入算法界定这些新特征点。具体而言，执行步骤S53的目的在于经由像素坐标方式，界定这些参考特征点位于该原始影像的位置，而执行步骤S55的目的在于经由该插入算法界定出步骤S5所述的这些新特征点。

须说明者，本实施例的该插入算法为一内插法及一外插法其中之一，而本实施例即经由该插入算法以及这些原始像素坐标及这些参考像素坐标，界定出步骤S5所述的这些新特征点。换言之，本实施例仅需根据至少二影像，例如一原始影像及一参考影像，分别计算出该二影像中用以表征相同影像特征的特征点，即可利用该插入算法计算出由不同视角观看该原始影像的数个新特征点。

除了上述步骤，第三实施例亦能执行第一实施例所描述的所有步骤。且所属技术领域具有通常知识者可直接了解第三实施例如何基于上述第一实施例以执行此等步骤，故不赘述。除此之外，本实施例中所述的影像形变方法可由一电脑程序产品执行。当该电脑程序产品载入一电脑装置时，该电脑装置会执行包含于该电脑程序产品中的数个指令，进而可完成本实施例中所述的影像形变方法。该电脑程序产品可储存于一有形的机器可读取记录媒体中，例如只读存储器(read onlymemory；ROM)、快闪存储器、软碟、硬盘、光盘、随身碟、磁带、可由网路存取的数据库或熟习此项技艺者所已知且具有相同功能的任何其它储存媒体中。

本发明的第四实施例亦为一影像形变方法。有关第四实施例的说明请同时参阅图1-4。具体而言，本实施例与前述各实施例的差异在于步骤S9进一步包含图2所示的步骤，且步骤S5进一步包含图4所示的步骤。换言之，本实施例的影像形变方法同时包含图1及图3-4的各步骤。据此，本实施例能执行前述各实施例所描述的所有步骤，且所属技术领域具有通常知识者可直接了解第三实施例如何基于上述第一实施例至第三实施例以执行此等步骤，故不赘述。

此外，本实施例中所述的影像形变方法可由一电脑程序产品执行。当该电脑程序产品载入一电脑装置时，该电脑装置会执行包含于该电脑程序产品中的数个指令，进而可完成本实施例中所述的影像形变方法。该电脑程序产品可储存于一有形的电脑可读取记录媒体中，例如只读存储器(read only memory；ROM)、快闪存储器、软碟、硬盘、光盘、随身碟、磁带、可由网路存取的数据库或熟习此项技艺者所已知且具有相同功能的任何其它储存媒体中。

综上所述，本发明的影像形变方法及其电脑程序产品经由趋近一原始影像的数个原始特征点至相对应的数个新特征点，形变该原始影像为一新影像，其中该新影像对应至一新视角。由于本发明的影像形变方法及其电脑程序产品不需要仰赖影像的深度信息，即可准确地产生对应至新视角的影像，使不需采用已知的DIBR方法即可将2D影像转换为3D影像。换言之，本发明的影像形变方法及其电脑程序产品可有效地改善采用已知DIBR方法将2D影像转换为3D影像所产生的缺点，使立体影像装置的普及率得以提升。

上述的实施例仅用来例举本发明的实施方面，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技术者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以权利要求书为准。

Claims

1.一种影像形变方法，用于一具有影像处理功能的装置，该装置包含一处理器，其特征在于，该影像形变方法包含下列步骤：

(a)令该处理器，界定一原始影像的数个原始特征点，其中该原始影像对应至一原始视角；

(b)令该处理器，计算这些原始特征点位于该原始影像的数个原始像素坐标；

(c)令该处理器，界定该原始影像的数个新特征点，其中这些新特征点分别对应至该原始影像的这些原始特征点；

(d)令该处理器，计算这些新特征点投影至该原始影像的数个新像素坐标；以及

(e)令该处理器，趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标，使该原始影像形变为一新影像，其中该新影像对应至一新视角。

2.如权利要求1所述的影像形变方法，其特征在于，该步骤(e)更包含下列步骤：

(e1)令该处理器，分割该原始影像为数个格子影像，其中各该格子影像包含数个格子点，各该格子点具有一格子点坐标；

(e2)令该处理器，经由移动各该格子影像的这些格子点的这些格子点坐标，趋近该原始影像的各该原始特征点的该原始像素坐标至各该相对应的新特征点的该新像素坐标；

(e3)令该处理器，于移动各该格子影像的这些格子点的这些格子点坐标时，限定位于各该格子影像内的所有原始特征点与该相对应的格子影像的这些格子点的一位置变化；以及

(e4)令该处理器，于移动各该格子影像的这些格子点的这些格子点坐标时，限定各该格子影像的这些格子点的一相互位置关系。

3.如权利要求2所述的影像形变方法，其特征在于，各该格子影像的这些格子点的这些格子点坐标根据各该相对应的格子影像的一像素亮度变异数移动。

4.如权利要求1、2或3所述的影像形变方法，其特征在于，该步骤(c)更包含下列步骤：

(c1)令该处理器，界定一参考影像的数个参考特征点，其中这些参考特征点分别对应至该原始影像的这些原始特征点；

(c2)令该处理器，计算这些参考特征点投影至该原始影像的数个参考像素坐标；以及

(c3)令该处理器，根据这些原始像素坐标及这些参考像素坐标，经由一插入算法界定这些新特征点。

5.如权利要求4所述的影像形变方法，其特征在于，该插入算法为一内插法及一外插法其中之一。