CN103179413B - 影像处理方法以及影像处理装置 - Google Patents

Abstract

本发明提供影像处理方法以及影像处理装置。该影像处理方法包含：接收多个影像，其中该多个影像从不同的视角来撷取；以及扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像是依据一组参数来扭曲，以及该组参数是通过找出受限于物理相机参数的预定范围的解来得到。在实施上，执行该影像对准操作的步骤包含自动执行该影像对准操作以重现三维视觉效果，其中该多个影像利用相机模块来撷取，以及该相机模块并未以所述的不同的视角来校正。该三维视觉效果可为多视角视觉效果。在另一个实施例中，该三维视觉效果可为三维全景视觉效果。

Description

影像处理方法以及影像处理装置

【技术领域】

本发明关于三维视觉效果重现，尤指一种影像处理方法及其相关装置。

【背景技术】

由现有技术可知，三维视觉效果重现（three-dimensional visual effectreproduction，3D visual effect reproduction）通常需要准备来源影像（source image）以及复杂的计算。在准备阶段期间，无论来源影像的分辨率（resolution）是高或是低，均会发生问题，举例来说，来源影像应由预校正相机（pre-calibratedcamera）来撷取，其中预校正相机则应已通过预定视角（view point）或预定视线（line of view）来校正，因此，造成准备来源影像的困难。在另一个例子中，为了要有效率地执行复杂的运算，需要准备具有强大运算能力的高端（high end）电脑，其中因为传统的多功能移动电话（multifunctional mobile phone）似乎无法在复杂运算的繁重计算负荷下流畅地运作，所以高端电脑不会被传统的多功能移动电话取代，也就是说，传统的多功能移动电话不会是三维生成/重现（production/reproduction）的完整解决方案。总而言之，现有技术并无法满足用户的需求，因此，需要一种以聪明且强健（robust）的方式来执行关于三维视觉效果重现的影像处理的创新方法，以于便携式电子元件（portable electronicdevice）（例如，多功能移动电话）之中实现上述来源影像准备及相关的计算。

【发明内容】

有鉴于此，本发明的目的之一在于提供一种影像处理方法及其相关装置，来解决上述问题。

本发明的另一目的在于提供一种影像处理方法及其相关装置，来于便携式电子元件（例如，多功能移动电话）之中实现上述来源影像准备及相关的计算。

本发明的另一目的在于提供一种影像处理方法及其相关装置，以利用便携式电子元件（例如，移动电话、笔记本电脑（laptop computer）或平板（tablet））来实现三维生成/重现的完整解决方案。

本发明的一个实施例提供一种影像处理方法。该影像处理方法包含：接收多个影像的影像数据，其中该多个影像从不同的视角（或沿着不同的视线）来撷取；以及依据该影像数据来扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像是依据一组参数来扭曲，以及该组参数是通过找出受限于多个物理相机参数的多个预定范围的一解(solution)来得到。

本发明的另一个实施例提供一种执行影像处理的装置，其中该装置包含电子元件的至少一部份。该装置包含储存单元以及处理电路。该储存单元用以暂存信息。另外，该处理电路用以控制该电子元件的操作、接收多个影像的影像数据、将该影像数据暂存于该储存单元，以及依据该影像数据来扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像是从不同的视角（或沿着不同的视线）来撷取、该多个影像是依据一组参数来扭曲，以及该组参数是通过找出受限于多个物理相机参数的多个预定范围的解来得到。

本发明所揭示的方法及装置可产生位于解空间（例如，预定解空间（例如，预先训练的解空间））内的扭曲影像，以使人眼视觉感觉不到相关的经学习的几何变形，因此，每一个重现影像均不会产生失真，此外，依据经学习的几何限制来在该解空间进行的最佳化可持续产生合理的结果。对于本发明所揭示的方法及装置的实施范例来说，可同时并行相关计算的工作流程，以及可降低相关的运算复杂度且节省所需的存储器资源。此外，本发明的方法及装置具有强健的能力来抵抗影像噪声及偏差。再者，本发明所揭示的方法及装置可保留在扭曲影像序列中相对的视差/深度信息（disparity/depth information）。

【附图说明】

图1为本发明用来执行影像处理的装置的第一实施例的示意图。

图2为图1所示装置的实施范例的示意图，其中该装置为移动电话。

图3为图1所示装置之另一个实施范例的示意图，其中该装置为个人电脑（例如，笔记本电脑）。

图4为本发明影像处理方法的一个实施例的流程图。

图5为图4所示影像处理方法所涉及的学习/训练程序的期间所产生的输入影像及多个转换影像的示意图，其中该学习/训练程序用来决定预定解空间。

图6为得自于涉及图4所示影像处理方法的多视角垂直对准操作的多个影像的示意图。

图7为得自于涉及图4所示影像处理方法的多视角垂直对准操作的多个影像的其中之一以及得自于涉及图4所示影像处理方法的水平对准操作的相关影像的示意图。

图8为得自于涉及图4所示影像处理方法的多视角垂直对准操作的多个影像其中之一以及得自于涉及图4所示影像处理方法的水平对准操作的相关影像的示意图。

图9为得自于涉及图4所示影像处理方法的多视角垂直对准操作的多个影像其中之一以及得自于涉及图4所示影像处理方法的水平对准操作的相关影像的示意图。

图10为涉及图4所示影像处理方法的视差直方图的示意图。

图11为图1所示装置的实施范例的示意图(其中该装置的处理电路包含有涉及图4所示影像处理方法的多个处理模块，以及在有需要的时候，该处理电路可通过多个运动感测器所产生的运动信息的辅助而选择性地运作)。

图12为涉及图4所示影像处理方法的全域/局部坐标转换的操作下的两个影像的示意图。

图13为执行于图12所示的两个影像的整体/局部坐标转换的示意图。

图14为涉及图4所示影像处理方法与背景的运动对准以供三维显示的两个影像的示意图。

图15为涉及图4所示影像处理方法与前景的运动对准以供三维显示的两个影像的示意图。

图16为涉及图4所示影像处理方法的多个显示模式的肖像模式的示意图。

图17为涉及图4所示影像处理方法的多个显示模式的全景模式的示意图。

【具体实施方式】

在说明书及后续的权利要求书当中使用了某些词汇来指称特定的元件。本领域的技术人员应可理解，制造商可能会用不同的名词来称呼同样的元件。本说明书及权利要求书并不以名称的差异来作为区别元件的方式，而是以元件在功能上的差异来作为区别的基准。在通篇说明书及权利要求当中所提及的「包含」为开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表该第一装置可直接连接于该第二装置，或通过其他装置或连接手段间接地连接至该第二装置。

图1是本发明用来执行影像处理的装置100的第一实施例的示意图。在一个实施范例中，装置100可包含电子元件的至少一部份（例如，一部份或全部），举例来说，装置100可包含上述电子元件的一部份，更具体地说，装置100可以是该电子元件内的控制电路（control circuit）（例如，集成电路（integratedcircuit，IC））。在另一个实施范例中，装置100可以是上述电子元件的全部。在另一个实施范例中，装置100可以是包含上述电子元件的音频/视频系统（audio/video system）。该电子元件的各种范例可包含（但不局限于）移动电话（例如，多功能移动电话）、个人数字助理（personal digital assistant，PDA）、便携式电子元件（例如，广义的平板（tablet）），以及个人电脑（例如，平板个人电脑（tablet personal computer）（也可简称为平板）、笔记本电脑或桌上电脑（desktop computer））。

由图1可知，装置100包含处理电路（processing circuit）110以及储存单元（storage）120。储存单元120用以暂存信息（例如，输入至处理电路110的至少一个输入信号108所挟带的信息），举例来说，储存单元可以是存储器（memory）（例如，易失性存储器（volatile memory）（例如，随机存取存储器（random access memory，RAM））或非易失性存储器（non-volatile memory）（例如，快闪存储器（Flash memory）））或硬盘驱动器（hard disk drive，HDD）。另外，处理电路110用以控制该电子元件的操作、接收多个影像的影像数据（其中该多个影像是从不同的视角（或沿着不同的视线）来撷取）、将该影像数据暂存于储存单元120，以及依据该影像数据来扭曲（warp）该多个影像以对该多个影像执行影像对准操作（image alignment），其中该多个影像是依据一组参数（aset of parameters）来扭曲，以及该组参数是通过找出受限于多个物理相机参数（physical camera parameter）的多个预定范围的解来得到。举例来说，该多个影像是利用上述电子元件的相机模块（camera module）从不同的视角来撷取，其中该影像数据可通过输入至处理电路110的输入信号108来接收。请注意，以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，该多个影像是利用外接元件（external device）（例如，手持式相机（hand-held camera））从不同的视角来撷取。

请注意，上述相机模块并不需要被校正（calibrate），更具体地说，在此实施例中，该相机模块并未以所述的不同的视角（或视线）来校正，举例来说，在该电子元件够轻巧而使得用户可轻易地握住的情形下，用户可握着该电子元件而任意地从不同的视角来撷取物体的影像。接下来，处理电路110自动执行该影像对准操作以重现三维视觉效果，更具体地说，处理电路110自动执行该影像对准操作产生多个三维影像以重现该三维视觉效果，其中该多个三维影像可包含不是利用相机（例如，上述相机模块）所产生的多个仿真影像（emulatedimage）。处理电路110可通过挟带该多个三维影像信息的至少一个输出信号128来输出该多个三维影像信息。在实现上，该电子元件的屏幕可基于该多个三维影像来显示动画（animation）以重现该三维视觉效果。以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，该屏幕可基于该多个三维影像来提供多个立体视角（stereoscopic view）给该用户，以重现该三维视觉效果。无论该屏幕是否被设计为提供多个立体视角，该三维视觉效果的实施范例可包含（但不局限于）多视角（multi-angle view，MAV）视觉效果以及三维全景（panorama）视觉效果。另外，在一个实施范例中，为了要利用外接显示元件（external display device）来重现该三维视觉效果，装置100可输出该多个三维影像信息。

图2为图1所示装置100的一个实施范例的示意图。在此实施例中，装置100为移动电话，因此，装置100在图2中被标示为「移动电话」。相机模块130（在图2中，简略地标示为「相机」）是作为第一实施例所述相机模块的一个实施范例，以及相机模块130安装于上述装置100（在此实施例中，亦即该移动电话）之中，因此，这意味着装置100会包含有相机模块130。在此实施例中，相机模块130设置在装置100上侧(upper side)的附近。请注意，以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，相机模块130可设置在装置100的另一侧。另外，触控屏幕（touch screen）150（在图2中，简略地标示为「屏幕」）是第一实施例所述屏幕的一个实施范例，以及触控屏幕150安装于上述装置100（在此实施例中，亦即该移动电话）之中，因此，这意味着装置100会包含有触控屏幕150。由图2可知，相机模块130可用来撷取上述多个影像，举例来说，通过分析该多个影像的影像数据，处理电路110可执行特征撷取操作（feature extraction）及特征比对操作（feature matching），以决定/找出上述受限于该多个物理相机参数的该多个预定范围（例如，相机模块130的多个物理参数的一些预定范围（例如，相机模块130的视线方向/角度））的解，因此，处理电路110可产生该解所限定的该多个三维影像，以重现该三维视觉效果而不会引入可见失真（visible artifact）。

图3是图1所示装置100的另一个实施范例的示意图。在此实施例中，装置100为个人电脑（例如，笔记本电脑），因此，装置100在图3中被标示为「笔记本电脑」。相机模块130（在图3中，简略地标示为「相机」）是作为在第一实施例之中所述相机模块的一个实施范例，以及相机模块130是安装于上述装置100（在此实施例中，亦即该笔记本电脑）之中，因此，这意味着装置100会包含有相机模块130。在此实施例中，相机模块130是设置在装置100上侧的附近。请注意，以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，相机模块130可设置在装置100的另一侧。另外，屏幕50（例如，一液晶显示面板（liquid crystal display panel，LCDpanel））是第一实施例所述屏幕的一个实施范例，以及屏幕50是安装于上述装置100之中，因此，这意味着装置100会包含有屏幕50。其他与上述实施范例相似的说明在此便不再赘述。

图4是本发明影像处理方法200的一个实施例的流程图。图4所示影像处理方法200可应用于图1所示装置100，更具体地说，可应用于图2与图3分别所示的实施例的其中之一的装置100。影像处理方法200说明如下。

在步骤210中，处理电路110接收多个影像的影像数据，其中该多个影像是撷取自不同的视角（例如，第一实施例所述的多个影像）。在此实施例中，上述影像数据可通过输入至处理电路110的输入信号108来接收，举例来说，该多个影像是从不同的视角（或沿着不同的视线）来撷取，更具体地说，该多个影像是利用相机模块（例如，上述相机模块130）来任意地撷取。请注意，上述相机模块并不需要被校正，更具体地说，在此实施例中，该相机模块并未以所述的不同的视角来校正。

在步骤220中，处理电路110是依据该影像数据来扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像依据一组参数来扭曲，以及该组参数是通过找出受限于多个物理相机参数的多个预定范围的解来得到，更具体地说，该影像对准操作可包含垂直对准操作（vertical alignment）以及水平对准操作（horizontal alignment），其中该水平对准操作通常在该垂直对准操作被执行之后才会执行，举例来说，该水平对准操作执行于视差分析（disparity analysis）之中，其中该视差分析是用来分析该垂直对准操作的多个扭曲影像（warpedimage）。请注意，以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，该水平对准操作的开始/准备(beginning/preparation)可在该垂直对准操作的开始/准备已被执行之后才执行，以及该水平对准操作及该垂直对准操作可在多个扭曲操作执行完毕时同时完成。

为了在上述操作期间能达到更好的性能，在一个较佳实施例中，处理电路110可利用执行下列子步骤（sub-step）（1）、（2）、（3）、（4）及（5）来预先决定上述多个物理相机参数的该多个预定范围。

（1）处理电路110控制相机模块130来撷取一个基础影像（base image）（例如，步骤210所述该多个影像之中的一个影像）；

（2）处理电路110控制相机模块130撷取多个参考影像（reference image）（例如，步骤210所述该多个影像之中的其他影像）；

（3）处理电路110记录每一个参考影像所对应的一组物理相机参数，其中上述该组物理相机参数可以是上述相机模块130与位置/坐标相关的物理参数（例如，相机模块130的视线方向/角度），以及也可包含与位置/坐标无关的物理参数（例如，相机模块130的焦距（focal length）或其他透镜参数（lensparameter））；

（4）处理电路110依据所记录的该组物理相机参数来扭曲该基础影像以比对(match)每一个参考影像，因此产生对应于每一个参考影像的一连串的扭曲基础影像(warped base image)；以及

（5）处理电路110通过查明多个扭曲基础影像与该多个参考影像之间的差异是否可由人眼视觉（human vision）来分辨，来决定出该多个物理相机参数的该多个预定范围，其中用来判断上述差异是否可由人眼视觉来分辨的准则可基于多个预定规则来事先定义。

因此，为了在图4所述的操作期间能达到较佳的性能，处理电路110最后会决定出该多个物理相机参数的该多个预定范围，如此一来，对于分别位于该多个物理相机参数的该多个预定范围内的任一组物理相机参数（例如，每一参数均位于上述该多个预定范围相对应的预定范围内的一组物理相机参数）来说，人眼视觉便分辨不出来对应于该组物理相机参数的任一扭曲基础影像与该多个参考影像之间的差异。

请注意，通过执行上述子步骤（1）、（2）、（3）、（4）及（5），可找到受限于上述多个物理相机参数的多个预定范围的该解（亦即，说明步骤220时所提及的解），其中当任意扭曲操作所相关的物理相机参数维持在上述多个物理相机参数的该多个预定范围内时，该解允许该基础影像被任意地扭曲。在一个较佳实施例中，由于上述多个物理相机参数的该多个预定范围是通过查明所扭曲的多个基础影像与该多个参考影像之间的差异是否可由人眼视觉来分辨来决定，故该解可确保任意扭曲操作不会造成可由人眼视觉分辨的失真，因此，不会发现有失真存在。

在此实施例中，子步骤（1）、（2）、（3）、（4）及（5）是用来决定上述多个物理相机参数的该多个预定范围的实施范例，然而，以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，并不需要执行所有的子步骤（1）、（2）、（3）、（4）及（5）。在另一个实施范例中，也可包含其他的子步骤。

图5为图4所示影像处理方法200所涉及的学习/训练程序（learning/trainingprocedure）的期间所产生的输入影像500及多个转换影像512、514、522及532的示意图，其中该学习/训练程序用来决定预定解空间（predefined solution space）（例如，预先训练（pre-trained）的解空间）。

由图5可知，为了要找出步骤220的说明内容中所提及的该解，处理电路110利用执行多个扭曲操作来对输入影像500执行多个相似转换操作（similaritytransformation），以产生多个转换影像512、514、522及532。请注意，在该学习/训练程序的期间所执行的该多个扭曲操作可能会造成可见失真，其中可见失真允许出现在该学习/训练程序的期间。在此实施例中，用来判断图4所示实施例中子步骤（5）所述的差异是否可由人眼视觉来分辨的准则是基于多个预定规则来事先定义的，因此，步骤220的说明内容中所提及的该解可作为该预定解空间。举例来说，处理电路110提供接口（interface）给用户，以允许该用户判断所考虑的转换影像（例如，多个转换影像512、514、522及532的其中之一）是否具有人眼视觉可分辨的失真。当该用户判断所考虑的该转换影像没有任何失真时，处理电路110会扩充该预定解空间（例如，该预定解空间会被扩充到包含对应于所考虑的该转换影像的物理相机参数的范围）；反之，处理电路110会缩减该预定解空间（例如，该预定解空间会被缩减到不包含对应于所考虑的该转换影像的物理相机参数的范围）。请注意，输入影像500可以是图4所示实施例中子步骤（1）所述的基础影像。以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，输入影像500可以是图4所示实施例中子步骤（2）所述的该多个参考影像的其中之一。

由于执行了该多个相似转换操作，处理电路110最后会决定出上述多个物理相机参数的该多个预定范围，其中限定于该预定解空间内的任一扭曲影像均不会具有任何人眼视觉可分辨的失真，举例来说，在转换影像522为位于该预定解空间内的扭曲影像的情形下，对应于转换影像522的该多个相似转换操作可被视为物理相机参数所相关的视觉上感觉不到（visually insensible）的三维相似转换操作，其中「视觉上感觉不到」一般代表「很难用人眼视觉来分辨出扭曲影像的变形（deformation）」。其他与上述实施范例相似的说明在此便不再赘述。

在以下的多个实施例（例如，图6～图10所示的实施例）中，通过关于上述该解（例如，该预定解空间（例如，该预先训练的解空间））的学习/训练结果，处理电路110得以执行视觉上感觉不到的影像扭曲操作，因此，步骤220的说明内容中所提及的该影像对准操作（例如，该垂直对准操作以及该水平对准操作）以及相关的影像扭曲操作（若有的话，其是用以重现上述三维视觉效果）均不会造成人眼视觉可分辨的失真。

图6是得自于涉及图4所示影像处理方法200的多视角垂直对准操作的多个影像612、614及616的示意图。在此实施范例中，图6所述的多视角垂直对准操作是步骤220的说明内容中所提及的垂直对准操作的一个实施范例。

由图6可知，分别于多个影像612、614及616中所示的视频物体（videoobject）为真实世界中同一物体，举例来说，多个影像612、614及616之中的每一个影像包含同一人的一部份影像，且另包含同一标志（logo）（绘示为具扭曲形状的“LOGO”）的一部份影像。处理电路110对多个影像612、614及616之中的每一个影像执行特征撷取操作，以及对多个影像612、614及616之中的每一个影像执行特征比对操作以找出多个影像612、614及616之中彼此共同的特征点（feature point）（例如，划过图6中多个影像612、614及616的三条虚线上的小圆点），举例来说，在多个影像612、614及616之中的每一个影像中，共同特征点的其中之一可位于该标志的右上角，共同特征点的其中之另一可位于该标志的左下角，以及共同特征点的其中之另一可位于此人衣着的交界处。

在执行多视角垂直对准操作的期间，处理电路110会对多个影像612、614及616的多个原始影像（original image）执行旋转及/或平移操作以对准多个影像612、614及616，其中多个影像612、614及616的多个原始影像分别对应于三视角（或三视线）的多视角影像，且在此实施例中为步骤210所述的该多个影像的一部份。由于执行了多视角垂直对准操作，多个影像612、614及616之中的共同特征点分别对准同一垂直位置（或同一水平位置（例如，图6所示的三条虚线）），其中划过图6之中的多个影像612、614及616的虚线指示出多视角垂直对准操作的对准结果，因此，处理电路110会对几何限制（geometricconstraint）执行最佳化（optimization）以解出预定解空间（例如，上述的预定解空间）内的最佳相机参数，更具体地说，预定的视觉上感觉不到的解空间。其他与上述实施范例相似的说明在此便不再赘述。

图7为得自于涉及图4所示影像处理方法200的多视角垂直对准操作的多个影像612、614及616的其中之一（例如，影像612）以及得自于涉及图4所示影像处理方法200的水平对准操作的相关影像622的示意图。图8为得自于涉及图4所示影像处理方法200的多视角垂直对准操作的多个影像612、614及616其中之一（例如，影像614）以及得自于涉及图4所示影像处理方法200的水平对准操作的相关影像624的示意图。图9为得自于涉及图4所示影像处理方法200的多视角垂直对准操作的多个影像612、614及616其中之一（例如，影像616）以及得自于涉及图4所示影像处理方法200的水平对准操作的相关影像626的示意图。

图7、图8及图9所揭示的水平对准操作是步骤220的说明内容中所提及的水平对准操作的实施范例。实现上，处理电路110可执行视差直方图分析（disparity histogram analysis）以供扭曲影像的二维平移（two-dimensionaltranslation，2D translation）之用，举例来说，为了要产生多个影像612、614及616之中每一个影像的视差直方图（例如，如图10所示的视差直方图），处理电路110会计算出多个影像612、614及616之中每一个影像的相关于位移（displacement）（更具体地说，水平位移）的像素（pixel）个数。由图10可知，水平轴代表所考虑的影像内的至少一个像素（例如，单一像素或一组像素）相较于某一个影像来说的位移（更具体地说，水平位移），以及垂直轴代表像素的个数，其中所考虑的影像可为多个影像612、614及616的其中之一，以及上述的某一个影像可为一个基础影像或选自多个影像612、614及616之一的一个特定影像。通过执行该视差直方图分析，处理电路110可决定是否或如何裁剪所考虑的影像，以执行水平对准操作，举例来说，处理电路110是利用裁剪影像612的一部份来对影像612执行水平对准操作以得到影像622。在另一个实施范例中，处理电路110是利用裁剪影像614的一部份来对影像614执行水平对准操作以得到影像624。在另一个实施范例中，处理电路110是利用裁剪影像616的一部份来对影像616执行水平对准操作以得到影像626。其他与上述实施范例相似的说明在此便不再赘述。

在本发明的一个实施例（例如，图5～图10所示实施例的组合）中，处理电路110执行上述学习/训练程序、多视角垂直对准操作及水平对准操作，并且另执行序列重现操作（sequence reproduction），以重现上述三维视觉效果，举例来说，为了要基于影像序列（image sequence）｛612、｛613-1、613-2、…｝、614、｛615-1、615-2、…｝、616｝的影像来显示动画，处理电路110利用产生一连串的扭曲影像｛613-1、613-2、…｝（由影像612变化至影像614）及一连串的扭曲影像｛615-1、615-2、…｝（由影像614变化至影像616）来输出影像序列｛612、｛613-1、613-2、…｝、614、｛615-1、615-2、…｝、616｝，以执行该序列重现操作而重现该三维视觉效果。其他与上述实施范例相似的说明在此便不再赘述。

图11是图1所示装置100的一个实施范例的示意图，其中处理电路110包含有涉及图4所示影像处理方法200的多个处理模块（processing module），以及在有需要的时候，处理电路110可通过多个运动感测器（motion sensor）140所产生的运动信息（motion information）的辅助而选择性地运作。在一个实施范例中，上述多个处理模块可包含特征撷取模块（feature extraction module）1102、特征比对模块（feature matching module）1104、经训练的相机参数前级模块（trained camera parameter prior module）1112、多视角垂直对准模块（multi-viewvertical alignment module）1114、水平对准模块（horizontal alignment module）1116、多种三维视觉效果用户接口模块（various three-dimensional visual effect userinterface，various 3D visual effect UI）1118以及影像扭曲模块（image warpingmodule）1122。

基于输入至处理电路110的输入序列（更具体地说，该输入序列的影像数据，例如，步骤210所述的多个影像的影像数据），特征撷取模块1102及特征比对模块1104分别用以执行上述特征撷取操作及特征比对操作，而经训练的相机参数前级模块1112则是用来储存关于上述该解（例如，该预定解空间）的学习/训练结果，更具体地说，在学习/训练程序的期间所得到的多个经训练的相机参数。另外，多视角垂直对准模块1114及水平对准模块1116分别用来执行上述多视角垂直对准操作的至少一部份（例如，一部份或全部）以及上述多水平对准操作的至少一部份（例如，一部份或全部），而影像扭曲模块1122则是在有需要的时候，用来执行影像扭曲操作（更具体地说，上述视觉上感觉不到的影像扭曲操作）。再者，多种三维视觉效果用户接口模块1118用以重现上述三维视觉效果，更具体地说，在有需要时，用以执行不同的三维视觉效果。

在此实施例中，由于处理电路110可无需运动感测器140所产生的运动信息的辅助便可准确且正确地运作，故可省略运动感测器140，因此，由运动感测器140至处理电路110的信息传输路径以虚线来绘示，以指示出运动感测器140可以是非必要（optional）元件，然而，在装置100设置运动感测器140于其中的情形下，由于上述运动信息可有所助益，故可降低处理电路110的计算负荷。其他与上述实施范例相似的说明在此便不再赘述。

图12是涉及图4所示影像处理方法200的全域/局部坐标转换（global/localcoordinate transformation）的操作下的两个影像IMG1及IMG2的示意图，以及图13是执行于图12所示两个影像IMG1及IMG2的全域/局部坐标转换的示意图。

由图12可知，处理电路110可通过分别对影像IMG1及IMG2执行转动、平移、裁剪及/或扭曲操作来对影像IMG1及IMG2进行影像处理，其中分别绘示于图12所示的影像IMG1及IMG2之中的扭曲矩形（亦即，不是以虚线来描绘的多边形）可分别表示为影像IMG1及IMG2的处理结果。由图13可知，处理电路110可利用在一组全域坐标（set of global coordinates）上虚拟地重迭（virtually overlap）影像IMG1及IMG2及其处理结果，来决定出影像IMG1及IMG2的每一个处理结果的裁剪区域，其中该组全域坐标可视为用来处理影像IMG1及IMG2的一组共同全域坐标。举例来说，在该组全域坐标上，影像IMG1的起始点可设为原点，以及影像IMG2的起始点可设为在水平轴上的一个特定点，而该裁剪区域可为影像IMG1及IMG2的处理结果中可同时得到的最大矩形区域。

实施上，影像IMG1的起始点及IMG2的起始点可基于观赏者（例如，用户）的眼睛到焦点（point of focus）之间的建议距离（例如，观赏者与观赏者两眼视线交会的交会点之间的建议距离，更具体地说，建议的水平距离）来决定，举例来说，在该三维视觉效果应为三维显示（3D display）（或立体显示（stereoscopicdisplay））的情形下，处理电路110可将影像IMG1及IMG2对准至背景的运动（background motion），其中图14所示的实施例即为此情形，因此，影像IMG1的起始点及影像IMG2的起始点可彼此靠近。在另一个实施范例中，在该三维视觉效果应为上述多视角视觉效果的情形下，处理电路110可将影像IMG1及IMG2对准至前景的运动（foreground motion），其中图15所示实施例即为此情形，因此，相较于图14所示实施例来说，影像IMG1的起始点及影像IMG2的起始点可彼此远离。

图16是涉及图4所示影像处理方法200的多个显示模式的肖像模式（portraitmode）的示意图，以及图17是涉及图4所示影像处理方法200的多个显示模式的全景模式（panorama mode）的示意图，其中处理电路110得以在多个显示模式中的不同的显示模式之间进行切换，更具体地说，处理电路110得以在该肖像模式与该全景模式之间进行切换。

请参考图16。举例来说，上述预定解空间（亦即，预先训练的解空间）所限定的多个扭曲影像是与前景（例如，应位于观赏者之前的男演员/女演员的位置）对准的。当侦测到需要切换到该全景模式时（例如，观赏者（例如，用户）触发切换操作，或预定计时器（timer）触发切换操作），处理电路110会以反序方式（reverse order）来将该多个扭曲影像重新排列，并将重新排列的扭曲影像作为该全景模式的扭曲影像，其中图16所示最左侧的扭曲影像（亦即，图16的扭曲影像IMG11）是作为图17所示最右侧的扭曲影像（亦即，图17扭曲影像IMG11），以及图16所示最右侧的扭曲影像（亦即，图16扭曲影像IMG17）是作为图17所示最左侧的扭曲影像（亦即，图17扭曲影像IMG17）。以上仅供说明需要，并非用来作为本发明的限制。在一个实施范例中，在处理电路110先准备该全景模式的扭曲影像的情形下，当侦测到需要切换到该肖像模式时（例如，观赏者（例如，用户）触发切换操作，或预定计时器触发切换操作），处理电路110会以反序方式来将该多个扭曲影像重新排列，并将重新排列的扭曲影像作为该肖像模式的扭曲影像。其他与上述实施范例相似的说明在此便不再赘述。

基于上述实施例/实施范例，影像处理方法200包含依照上述预定解空间（例如，该预先训练的解空间）来执行自动多重影像对准操作（automatic multipleimage alignment），以从影像序列重现该三维视觉效果，其中该影像序列之中的每一个影像可由未经校正的相机模块（例如，相机模块130）或未经校正的手持式相机来撷取，更具体地说，影像处理方法200包含学习由多个物理相机参数组成的模型，其中该多个物理相机参数可用来执行视觉上感觉不到的影像扭曲操作。另外，所考虑的参数的实施范例可包含用于旋转变化的外部参数（extrinsicparameter）、用于相机校正矩阵（camera calibration matrix）及透镜畸变（lensdistortion）的内部参数（intrinsic parameter）。由输入序列相对应的特征点可知，影像处理方法200另包含执行受限于经学习的相机参数（learned cameraparameter）的多视角垂直对准操作，其中对准操作过程会产生人眼视觉感觉不到的影像扭曲操作的最佳化受限的问题，此外，影像处理方法200另包含通过来自经垂直对准操作的比对点（matching point）的该视差分析来执行该水平对准操作。另外，影像处理方法200另包含使用所撷取的对准信息及扭曲影像序列以通过用户接口（例如，图形用户接口（graphical user interface，GUI））来重现该三维视觉效果。

本发明的优点之一在于本发明所揭示的方法及装置可产生位于上述该解（例如，该预定解空间（例如，该预先训练的解空间））内的扭曲影像，以使人眼视觉感觉不到相关的经学习的几何变形（learned geometric distortion），因此，每一个重现影像（reproduced image）均不会产生失真，此外，依据经学习的几何限制（learned geometry constraint）来在该解空间进行的最佳化可持续产生合理的结果。对于本发明所揭示的方法及装置的实施范例来说，可同时并行相关计算的工作流程，以及可降低相关的运算复杂度且节省所需的存储器资源（memory resource）。相较于现有技术来说，本发明的方法及装置具有强健的能力来抵抗影像噪声及偏差（outlier）。再者，本发明所揭示的方法及装置保留了在扭曲影像序列中相对的视差/深度信息，这对于基于影像的三维应用来说是非常重要的。

Claims (18)

1.一种影像处理方法，其特征在于，包含：

接收多个影像的影像数据，其中该多个影像从多个不同的视角来撷取；以及

依据该影像数据来扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像是依据一组参数来扭曲，以及该组参数是通过找出受限于多个物理相机参数的多个预定范围的一解来得到；

其中，通过以下步骤来决定该多个物理相机参数的该多个预定范围：

(1)撷取一个基础影像；

(2)从多个不同的视角撷取多个参考影像；

(3)记录每一个参考影像所对应的一组物理相机参数；

(4)依据所记录的该组物理相机参数来扭曲该基础影像以比对每一个参考影像；以及

(5)通过查明多个扭曲基础影像与该多个参考影像之间的差异是否可由人眼视觉来分辨，来决定该多个物理相机参数的该多个预定范围；

其中，该基础影像和该多个参考影像是从该多个影像中所撷取。

2.如权利要求1所述的影像处理方法，其特征在于，其中该影像对准操作包含垂直对准操作以及水平对准操作。

3.如权利要求2所述的影像处理方法，其特征在于，其中该水平对准操作是在该垂直对准操作被执行之后才会执行。

4.如权利要求3所述的影像处理方法，其特征在于，其中该水平对准操作执行于视差分析之中，以及该视差分析是用来分析该垂直对准操作的多个扭曲影像的。

5.如权利要求1所述的影像处理方法，其特征在于，其中执行该影像对准操作的步骤包含：

自动执行该影像对准操作以重现三维视觉效果。

6.如权利要求5所述的影像处理方法，其特征在于，另包含：

自动执行该影像对准操作产生多个三维影像以重现该三维视觉效果，其中该多个三维影像包含不是利用相机所产生的多个仿真影像。

7.如权利要求5所述的影像处理方法，其特征在于，其中该三维视觉效果包含多视角视觉效果。

8.如权利要求5所述的影像处理方法，其特征在于，其中该三维视觉效果包含三维全景视觉效果。

9.如权利要求5所述的影像处理方法，其特征在于，其中该多个影像是利用相机模块来撷取的，以及该相机模块并未以该多个不同的视角来校正。

10.一种影像处理装置，其特征在于，该影像处理装置包含电子元件的至少一部分，该装置包含：

储存单元，用以暂存信息；以及

处理电路，用以控制该电子元件的操作、接收多个影像的影像数据、将该影像数据暂存至该储存单元，以及依据该影像数据来扭曲该多个影像以对该多个影像执行影像对准操作，其中该多个影像是从多个不同的视角所撷取、该多个影像是依据一组参数来扭曲，以及该组参数是通过找出受限于多个物理相机参数的多个预定范围的解来得到；

其中，该处理电路通过执行以下步骤来决定该多个物理相机参数的该多个预定范围：

撷取基础影像；

控制该电子元件从多个不同的视角撷取多个参考影像；

记录每一个参考影像所对应的一组物理相机参数；

依据所记录的该组物理相机参数来扭曲该基础影像以比对每一个参考影像；以及

通过查明对该基础影像扭曲得到的多个扭曲基础影像与该多个参考影像之间的差异是否可由人眼视觉来分辨，来决定该多个物理相机参数的该多个预定范围；

其中，该基础影像和该多个参考影像是从该多个影像中所撷取。

11.如权利要求10所述的影像处理装置，其特征在于，其中该影像对准操作包含垂直对准操作以及水平对准操作。

12.如权利要求11所述的影像处理装置，其特征在于，其中该水平对准操作是在该垂直对准操作被执行之后才会执行。

13.如权利要求12所述的影像处理装置，其特征在于，其中该水平对准操作执行于视差分析之中，以及该视差分析是用来分析该垂直对准操作的多个扭曲影像的。

14.如权利要求10所述的影像处理装置，其特征在于，其中该处理电路是自动执行该影像对准操作以重现三维视觉效果。

15.如权利要求14所述的影像处理装置，其特征在于，其中该处理电路是自动执行该影像对准操作产生多个三维影像以重现该三维视觉效果，以及该多个三维影像包含不是利用相机来产生的多个仿真影像。

16.如权利要求14所述的影像处理装置，其特征在于，其中该三维视觉效果包含多视角视觉效果。

17.如权利要求14所述的影像处理装置，其特征在于，其中该三维视觉效果包含三维全景视觉效果。

18.如权利要求14所述的影像处理装置，其特征在于，其中该多个影像利用相机模块来撷取，以及该相机模块并未以该多个不同的视角来校正。