CN104735435B - 影像处理方法及电子装置 - Google Patents

影像处理方法及电子装置 Download PDF

Info

Publication number
CN104735435B
CN104735435B CN201410733501.0A CN201410733501A CN104735435B CN 104735435 B CN104735435 B CN 104735435B CN 201410733501 A CN201410733501 A CN 201410733501A CN 104735435 B CN104735435 B CN 104735435B
Authority
CN
China
Prior art keywords
image
virtual
node
those
dimensional scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410733501.0A
Other languages
English (en)
Other versions
CN104735435A (zh
Inventor
李怀哲
陈立承
曾詠超
阙鑫地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN104735435A publication Critical patent/CN104735435A/zh
Application granted granted Critical
Publication of CN104735435B publication Critical patent/CN104735435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Graphics (AREA)

Abstract

本发明文件提出一种影像处理方法及电子装置，用以由静态相片产生视差影片，其中影像处理方法包含：进行影像分割，藉此将静态相片中的至少一前景物件由静态相片的影像背景中分离；填补影像背景的空白区域，空白区域对应被分离的前景物件于静态相片中所在位置；创建虚拟三维场景，虚拟三维场景由前景物件以及影像背景所组成；分析虚拟三维场景以决定摄影机路径；以及，藉由虚拟摄影机沿着摄影机路径观视虚拟三维场景，以产生视差影片。藉此可基于一张静态相片建立一段视差影片，让使用者能由多个不同的虚拟视角来观视静态相片。

Description

影像处理方法及电子装置
技术领域
本发明有关影像处理方法，特别是一种将视差效果套用至静态相片上的影像处理方法。
背景技术
近年来，使用者逐渐习惯以摄影方式来记录日常生活，且可以方便地透过装置上的数字相簿来回顾先前拍摄的相片。在相片拍摄后，部分使用者会对相片进行一些后制处理，例如滤镜、变形或是各种影像参数转换。然而，上述后制处理效果均受限于原始相片的内容。使用者只能在相片原始拍摄的角度下观察相片中前景物件与背景场景。
一般来说，相较于静态相片，动画或影片对使用者来说更具吸引力，因为使用者可以在动画或影片中观察到物件在场景中移动的情况。动画或影片通常会占用较大的储存空间，因此部分使用者偏好拍摄相片而非录制影片。一般来说，由影片中透过截图来产生静态相片较为容易，但是若要基于静态相片来建立动画或影片则较为困难。
发明内容
本发明的目的是提供一种方法及系统，用以基于一张静态相片建立一段视差影片。视差影片让使用者有机会由多个不同的虚拟视角来观察静态相片，藉此，在静态相片上套用2.5D或是类3D的效果。
本发明内容的一态样关于一种影像处理方法，用以由静态相片产生视差影片，该影像处理方法包含：进行影像分割，藉此将静态相片中的至少一前景物件由静态相片的影像背景中分离；填补影像背景的空白区域，空白区域对应被分离的前景物件于静态相片中所在位置；创建虚拟三维场景，虚拟三维场景由前景物件以及影像背景所组成；分析虚拟三维场景以决定摄影机路径；以及，藉由虚拟摄影机沿着摄影机路径观视虚拟三维场景，以产生视差影片。
本发明内容的另一态样关于一种电子装置，包含数据储存模块以及控制模块。数据储存模块用以储存静态相片。控制模块与数据储存模块耦接，控制模块包含分割单元、影像修补单元、场景模拟单元、场景分析单元以及影片产生单元。控制模块与该数据储存模块耦接。分割单元用以将静态相片中的至少一前景物件由静态相片的影像背景中分离。影像修补单元用以填补影像背景的空白区域，空白区域对应被分离的前景物件于静态相片中所在位置。场景模拟单元用以创建虚拟三维场景，虚拟三维场景由前景物件以及影像背景所组成。场景分析单元用以分析虚拟三维场景以决定摄影机路径。影片产生单元用以产生视差影片，视差影片藉由虚拟摄影机沿着摄影机路径观视虚拟三维场景而产生。
附图说明
为让本发明内容的上述和其他目的、特征、优点与实施例能更明显易懂，附图的说明如下：
图1绘示根据本发明文件的一实施例中一种电子装置的示意图；
图2绘示根据本发明文件的一实施例中用以由静态相片产生视差影片的一种影像处理方法的方法流程图；
图3A绘根据本发明文件的一实施例中图2中的影像处理方法所包含的进一步步骤的方法流程图；
图3B绘示根据本发明文件的一实施例中图2的影像处理方法所包含的进一步步骤的方法流程图；
图3C绘示根据本发明文件的一实施例中图2的影像处理方法所包含的进一步步骤的方法流程图；
图4A绘示根据本发明文件的一操作范例中静态相片的例示图；
图4B绘示图4A中静态相片经过影像分割的分割结果的例示图；
图4C绘示操作范例中影像背景的例示图；
图4D绘示上述操作范例中虚拟三维场景的例示图；
图4E以及图4F绘示操作范例中虚拟摄影机在虚拟三维场景内相对移动的例示图；
图4G以及图4H绘示操作范例中影像修补区域的不同露出比例的例示图；以及
图5A至图5D绘示摄影机路径的示意图。
其中，附图标记：
100：电子装置
120：控制模块
140：数据储存模块
121：分割单元
122：影像修补单元
123：场景模拟单元
124：场景分析单元
125：影片产生单元
160：相机模块
180：显示面板
200：影像处理方法
S210～S250：步骤
S221～S222：步骤
S241～S243：步骤
S243a～S243i：步骤
具体实施方式
下文举实施例配合附图作详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构运作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。此外，图式仅以说明为目的，并未依照原尺寸作图。
关于本文中所使用的“第一”、“第二”等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅仅是为了区别以相同技术用语描述的元件或操作而已。
其次，在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于此。
请参阅图1，其绘示根据本发明文件的一实施例中一种电子装置100的示意图。如图1所示，电子装置100包含控制模块120以及数据储存模块140。于部分实施例中，数据储存模块140内储存有数张静态相片。数据储存模块140可为记忆卡、硬盘或是连接到线上服务器的通讯单元。电子装置100的控制模块120能够由静态相片产生视差影片(或是视差动画)。控制模块120用以由静态相片以模拟方式建立一个虚拟三维场景。在视差影片播放过程中，使用者可从不同视角观察上述虚拟三维场景(即静态相片)，如此一来，基于原静态相片可以提供使用者不同的视野以及类3D的效果。关于如何由静态相片产生视差影片的细部作法将在下列段落中详细说明。
于部分实施例中，电子装置100更包含相机模块160以及显示面板180。于部分实施例中，上述静态相片为透过电子装置100的相机模块160所拍摄的相片，但本发明文件并不以此为限。静态相片亦可为由其他装置(例如数字相机、智慧型手机、或其他电子装置100以外的影像撷取装置)输入的相片或是由网际网路所下载的图片。于部分实施例中，基于静态相片所产生的视差影片显示于显示面板180(例如平面显示面板)上。
电子装置100的控制模块120包含分割单元121、影像修补单元122、场景模拟单元123、场景分析单元124以及影片产生单元125。于一实施例中，控制模块120为中央处理单元(central processor unit,CPU)、影像处理单元(graphic processing unit,GPU)、图片处理电路或其他具相等性的计算电路。分割单元121、影像修补单元122、场景模拟单元123、场景分析单元124以及影片产生单元125可透过控制模块120所执行的软件指令/程序、固件指令/程序方式或用以执行特定功能的可编程应用电路而实现。
请一并参阅图2，图2绘示根据本发明文件的一实施例中用以由静态相片产生视差影片的一种影像处理方法200的方法流程图。于部分实施例中，影像处理方法200由图1所绘示的电子装置100所执行。如图2所示，在提供静态影像(例如已存在于数据储存模块140中的静态影像或是利用相机模块160拍摄的静态影像)之后，影像处理方法200执行步骤S210由分割单元121对静态影像进行影像分割，影像分割用以将静态相片中的至少一前景物件由静态相片的影像背景中分离。请一并参阅图4A以及图4B，图4A绘示根据本发明文件的一操作范例中静态相片IMG的例示图，图4B绘示图4A中静态相片IMG经过影像分割的分割结果的例示图。
如图4A以及图4B所示，原始的静态相片IMG包含前景物件OBJ(例如于此操作范例中为一人物)以及影像背景BG。于部分应用中，分割单元121分析静态相片IMG的深度分布(例如产生静态相片IMG的深度直方图)，并藉由深度分布辨识在静态相片IMG中的物件，藉此由分辨前景物件OBJ与影像背景BG。在辨识出前景物件OBJ物件之后，分割单元121将前景物件OBJ的像素与影像背景BG分离(如图4B所示)。将上述前景物件OBJ的像素的原始数据由静态相片IMG中移除而形成影像背景BG，如此一来，在影像背景BG中将留下一块空白区域BR(如图4B所示)。换言之，空白区域BR对应被分离的前景物件OBJ于静态相片IMG中所在位置。
于其他例子中，原始的静态相片IMG包含不只一个前景物件。前景物件亦不限于人物，也可以是车辆、宠物、店面、物品、标示或位于特定深度可由影像背景BG中分离出来的各种物件。
影像处理方法200执行步骤S220，利用影像修补单元122填补影像背景BG的空白区域BR。请一并参阅图3A以及图4C。图3A绘根据本发明文件的一实施例中图2中的步骤S220所包含的进一步步骤S221～S222的方法流程图。图4C绘示操作范例中影像背景BG的例示图。于此实施例中，执行步骤S221以分析影像背景中接近空白区域的多个邻近像素NB。执行步骤S222基于由邻近像素NB分析得到的适当样式将空白区域BR(参见图4B)填补为影像修补区域IPR(参见图4C)。
于一实施例中，影像修补单元122分析邻近像素NB的颜色、找出红/绿/蓝色阶数据的平均值(或众数值亦或是中位值)、以及依照邻近像素NB的平均值颜色色阶(或众数值颜色色阶亦或是中位数颜色色阶)涂绘于空白区域BR形成影像修补区域IPR。于另一实施例中，影像修补单元122进一步分析邻近像素NB中的条纹、形状、边缘、规律图样，并且根据分析邻近像素NB得到的样式来填补空白区域BR。影像修补单元122用以模拟或是预测空白区域BR(即影像修补区域IPR)中的背景内容，即使空白区域BR的背景内容实际上并未记载于原始的静态相片IMG当中，藉此尽可能地使影像修补区域IPR更为自然，不容易被使用者所察觉。
影像处理方法200执行步骤S230利用场景模拟单元123建立虚拟三维场景(至少由前景物件OBJ以及影像背景BG所组成)。请一并参阅图4D，其绘示上述操作范例中虚拟三维场景TDS的例示图。如图4D所示，虚拟三维场景TDS由前景物件OBJ以及影像背景BG所组成，且前景物件OBJ被设定位于影像背景BG的前方，彼此间隔一个深度差值DP的距离。于一实施例中，根据静态相片IMG的深度直方图，进行深度差值DP的计算或判断。如图4D所示，前景物件OBJ与影像背景BG现在分别位于虚拟三维场景TDS中不同深度的位置。随着观测点移动时(例如垂直或水平移动)，所观察到虚拟三维场景TDS中的前景物件OBJ将相对影像背景BG位于不同位置。于部分实施例中，虚拟三维场景TDS是由三维模拟器、虚拟实境场景产生器、三维模型化程序或任何具相等性的模拟器根据前景物件OBJ、影像背景BG及两者的深度分布所建立的。其他有关如何建立虚拟三维场景的技术细节为习知技艺的人所熟知，在此不进一步讨论。
随后，影像处理方法200执行步骤S240，利用场景分析单元124分析虚拟三维场景TDS以决定摄影机路径。接着，影像处理方法200执行步骤S250，利用影片产生单元125以虚拟摄影机沿着摄影机路径观视虚拟三维场景TDS，进而产生视差影片。请一并参阅图4E以及图4F，图4E以及图4F绘示操作范例中虚拟摄影机VC在虚拟三维场景TDS内相对移动的例示图。如图4E所示，影片产生单元125模拟虚拟摄影机VC沿着摄影机路径PATH由节点ND1经过节点ND2移动至节点ND3的情况。位于节点ND1、节点ND2以及节点ND3的虚拟摄影机VC将由不同的视角以及不同的距离观视虚拟三维场景TDS。此外，在不同的节点ND1、节点ND2以及节点ND3上，虚拟摄影机VC所观视到前景物件OBJ与影像修补区域IPR之间的关系也会有所不同。藉此，产生出来的视差影片可以用较为生动的方式显示原本的静态相片。
然而，上述虚拟摄影机VC的摄影机路径PATH并非随机的任意路径。举例来说，当虚拟摄影机VC移动到一特定节点(参照图4F中的节点ND4)其距离前景物件OBJ与影像背景BG太远时，虚拟摄影机VC由节点ND4所能观视到的可见视窗并未被虚拟三维场景TDS完整涵盖，也就是可见视窗超出了影像背景BG的边界。原始的静态相片IMG并未包含影像背景BG其边界之外的像素数据。因此，若可见视窗超出影像背景BG的边界，虚拟摄影机VC所观视到的可见视窗将有一部分像素为无效(缺乏有效的像素数据)。另一方面，由影像修补单元122所填补的影像修补区域IPR本身并非真实存在于原始的静态相片IMG。若将高比例的影像修补区域IPR同时对使用者展示，使用者便有可能注意到影像修补区域IPR中存在的缺陷或不自然的错误等。因此，为了达到视差影片的最佳化效果，摄影机路径PATH必须要经过仔细规划。
于此实施例中，步骤S240中决定摄影机路径PATH的步骤是根据虚拟三维场景TDS的分析。请一并参阅图3B，其绘示根据本发明文件的一实施例中图2的步骤S240进一步包含的步骤S241至S243的方法流程图。如图3B所示，执行步骤S241以判断影像背景BG的空白区域BR(参照图4B)是否填补为影像修补区域IPR(参照图4C)。于部分实施例中，空白区域BR是依适当的样式完全填满形成影像修补区域IPR。然而，本发明文件并不以此为限。于其他实施例中，至少一部分的空白区域BR(例如靠近空白区域BR边缘处的部分)是依适当的样式填满形成影像修补区域IPR，而另一部分的空白区域BR(例如靠近空白区域BR中央处的部分)维持空白无显示数据，于此例子中，步骤S241则是执行用来判断影像背景BG中是否至少有部分空白区域BR(参照图4B)填补为影像修补区域IPR(参照图4C)。
于此实施例中，步骤S241是可选择性(optional)步骤用来重复确认空白区域BR是否被填补为影像修补区域IPR。若空白区域BR未填补，则影像处理方法200将回到步骤S220。
若空白区域BR被填补为影像修补区域IPR，则执行步骤S242以估算影像修补区域在多个不同节点各自的露出比例。接着，执行步骤S243根据上述估算结果来决定摄影机路径PATH。上述各露出比例分别对应虚拟摄影机VC在虚拟三维场景TDS中由多个相异的候选节点所能观视影像修补区域IPR的大小。请一并参阅图4G以及图4H，图4G以及图4H绘示操作范例中影像修补区域IPR的不同露出比例的例示图。
如图4G所示，虚拟摄影机VC大致上位于影像背景BG中心点的前方。前景物件OBJ对应在影像背景BG上形成投射区域(也就是虚拟摄影机VC所观视到前景物件OBJ的相对位置)。于图4G中，前景物件OBJ在影像背景BG上的投射区域与75％的影像修补区域IPR重迭。于此例子中，虚拟摄影机VC所能观视到的是影像修补区域IPR中的露出区块LK。根据图4G的例子，所计算到的露出比例约为25％(即虚拟摄影机VC所能观视到的露出区块LK的面积与影像修补区域IPR整体面积的百分比)。
如图4H所示，虚拟摄影机VC移动至影像背景BG前方的右侧位置。前景物件OBJ对应在影像背景BG上形成另一个投射区域(也就是虚拟摄影机VC所观视到前景物件OBJ的相对位置)。于图4H中，前景物件OBJ在影像背景BG上的投射区域与55％的影像修补区域IPR重迭。于此例子中，虚拟摄影机VC所能观视到的是影像修补区域IPR中的另一个露出区块LK。根据图4H的例子，所计算到的露出比例约为45％。根据实际应用上的经验，一般来说当影像修补区域IPR的露出比例高于50％的时候，影像修补区域IPR的缺陷与错误将容易被察觉。于部分实施例中，场景分析单元124根据摄影机路径PATH上各节点的露出比例，来决定摄影机路径PATH的计算结果，藉此来确保沿着摄影机路径PATH上各节点的露出比例均低于50％。此外，在空白区域BR仅有部份填补为影像修补区域IPR的实施例中，不存在显示数据的剩余空白区域BR禁止出现在虚拟摄影机VC所能观视到范围内，也就是说，摄影机路径PATH的决定过程必须避免露出不存在显示数据的剩余空白区域BR。
请参阅一并图3C、图5A至图5D，图3C绘示图3B中步骤S243的细部步骤S243a至S243i以例示性说明摄影机路径PATH如何决定的方法流程图。图5A至图5D绘示摄影机路径PATH的示意图。
如图5C所示，摄影机路径PATH包含起始节点NDi、终端节点NDt以及至少一中间节点(于图5C的实施例中存在两个中间节点NDm1及NDm2)其位于起始节点NDi与终端节点NDt之间。
如图3C所示，执行步骤S243a以设定起始节点NDi。于部分实施例中，可将起始节点设定为静态相片IMG的原始视点(即使用者当初在拍摄静态相片IMG时采用的视点)。举例来说，静态相片IMG采用的对焦距离为已知且一并纪录在静态相片IMG的相关资讯当中。因此，原始视点位于由静态相片IMG中心点所延伸的垂直轴上，并可从对焦距离推知原始视点的位置。执行步骤S243b根据静态相片IMG中前景物件OBJ的位置及尺寸设定终端节点NDt。
于部分实施例中，当前景物件OBJ的位置位于静态相片IMG的右半部时，终端节点NDt设置于初始节点NDi的右侧。另一方面，当前景物件OBJ的位置位于静态相片IMG的左半部时，终端节点NDt设置于初始节点NDi的左侧。如此一来，虚拟摄影机VC可由相对前景物件OBJ的其中一侧移动至相对前景物件OBJ的另外一侧，于此方式产生的视差影片将具有相对前景物件OBJ两侧的观察视野。
如图3C以及图5A所示，执行步骤S243c以找出由起始节点NDi朝向终端节点NDt的目标向量Vt。执行步骤S243d以环绕目标向量Vt建立多个屈折向量Vr。执行步骤S243e以指定该些屈折向量Vr以及该目标向量Vt的终点为候选节点NDc1～NDc5。上述多个屈折向量Vr是沿着目标向量Vt的轴向而建立，并且该些屈折向量Vr分别依多个相异角度偏离目标向量Vt。
如图3C以及图5A所示，执行步骤S243f以验证虚拟三维场景TDS是否完全涵盖虚拟摄影机VC在该些候选节点NDc1～NDc5上各自的可见视窗(参照图4E及图4F)。假设，其中若任一可见视窗超出虚拟三维场景TDS，则相对应的候选节点判为失格(举例来说，图4F中的节点ND4将被判为失格)。若候选节点的可见视窗完全涵盖虚拟摄影机VC的范围内时，相对应的候选节点则判定为合格(举例来说，图4E中的节点ND1,ND2,ND3将被判为合格)。在此例子中，假设候选节点NDc4与NDc5在步骤S243f中被判定为失格。
如图3C以及图5A所示，执行步骤S243g以根据露出比例在合格的候选节点(NDc1、NDc2、NDc3)中挑选一个最佳节点。摄影机路径PATH上最佳节点的露出比例须小于标准上限(criteria upper bound)。于部分实施例中，标准上限是指利用虚拟摄影机VC由该些候选节点NDc1、NDc2、NDc3其中一者能观视到影像修补区域IPR整体的50％。最佳节点是由前述合格的候选节点当中露出比例低于50％者进行挑选。于部分实施例中，最佳节点更进一步由前述合格的候选节点当中露出比例超过20％且低于50％者进行挑选，如此一来，前景物件OBJ与影像背景BG的视差效果对使用者来说较容易发现。于此例子中，假设合格的候选节点NDc3被选定为最佳节点，则对应候选节点NDc3的屈折向量Vr则被选为最佳向量。
如图3C及图5A所示，执行步骤S243h指定最佳向量的终点(也就是候选节点NDc3)为接续中间节点NDm1。
执行步骤S243i以判断摄影机路径PATH是否完成，若摄影机路径PATH尚未完成则重复步骤S243c至S243h。
如图5B所示，中间节点NDm1即为当前中间节点NDm1。执行步骤S243c以找出由当前中间节点NDm1朝向终端节点NDt的目标向量Vt。进一步执行步骤S243d至S243h以指定接续中间节点NDm2。如此一来，即可重复步骤S243c至S243h直到完成摄影机路径PATH。中间节点NDm1与NDm2是由起始节点NDi起始分别逐一决定而连至终端节点NDt。
于图5A至图5C的实施例中，仅有两个中间节点NDm1与NDm2，但本发明文件并不以此为限。根据另一实施例的图5D所示，摄影机路径PATH包含更多中间节点，如图5D中的中间节点NDm1至NDm5。中间节点NDm1至NDm5是由起始节点NDi起始分别逐一决定(依照图3C的步骤S243c至S243h)而连至终端节点NDt。
本发明文件的另一态样是一种非暂态电脑可读取媒体，此非暂态电脑可读取媒体包含程序指令以进行上述实施例所公开的影像处理方法200(如图2、图3A至图3C所示)。
基于上述实施例，本发明文件提供一种方法及系统，用以基于一张静态相片建立一段视差影片。视差影片让使用者有机会由多个不同的虚拟视角来观察静态相片，藉此，在静态相片上套用2.5D或是类3D的效果。当虚拟摄影机产生视差影像时，本发明文件的方法会自动判断最佳的摄影机路径，藉此在视差影像可以呈现静态相片中物件在各种各样不同视角下的样貌，并可避免使用者看到过高露出比例的影像修补区域。
虽然本发明已以实施方式公开如上，然其并非用以限定本发明，任何本领域具通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与修改，因此本发明的保护范围当视后附的权利要求保护范围所界定者为准。

Claims (14)

1.一种影像处理方法，用以由一静态相片产生一视差影片，其特征在于，该影像处理方法包含：
进行一影像分割，藉此将该静态相片中的至少一前景物件由该静态相片的一影像背景中分离；
填补该影像背景的一空白区域，该空白区域对应被分离的该前景物件于该静态相片中所在位置；
创建一虚拟三维场景，该虚拟三维场景由该前景物件以及该影像背景所组成；
分析该虚拟三维场景以决定一摄影机路径；以及
藉由一虚拟摄影机沿着该摄影机路径观视该虚拟三维场景，以产生该视差影片；
其中，该分析该虚拟三维场景以决定一摄影机路径的步骤，包含：
判断该影像背景的该空白区域是否至少部分填补为一影像修补区域；以及
根据该虚拟摄影机在该虚拟三维场景中由相异的多个候选节点所能观视该影像修补区域的大小，分别估算该影像修补区域对应该些候选节点的相异的多个露出比例，以决定该摄影机路径。
2.如权利要求1所述的影像处理方法，其特征在于，于该虚拟三维场景中，该前景物件经设定位于该影像背景前方且相距一深度差值。
3.如权利要求1所述的影像处理方法，其特征在于，填补该空白区域的步骤包含：
分析该影像背景中接近该空白区域的多个邻近像素；以及
利用由该些邻近像素分析得到的一样式填补该空白区域。
4.如权利要求1所述的影像处理方法，其特征在于，该摄影机路径包含一起始节点、一终端节点以及至少一中间节点，决定该摄影机路径的步骤还包含：
将该起始节点设定为该静态相片的一原始视点；
根据该静态相片中该前景物件的一位置及一尺寸，设定该终端节点；以及
决定该起始节点与该终端节点之间的该至少一中间节点。
5.如权利要求4所述的影像处理方法，其特征在于，该至少一中间节点是由该起始节点起始分别逐一决定而连至该终端节点，决定该至少一中间节点每一者的步骤包含：
找出由该起始节点或一当前中间节点朝向该终端节点的一目标向量；
环绕该目标向量建立多个屈折向量；以及
由该些屈折向量以及该目标向量中找出一最佳向量，以及指定该最佳向量的终点为一接续中间节点。
6.如权利要求5所述的影像处理方法，其特征在于，由该些屈折向量以及该目标向量中找出该最佳向量的步骤还包含：
指定该些屈折向量以及该目标向量的终点为该些候选节点；
验证该虚拟三维场景是否涵盖该虚拟摄影机在该些候选节点上各自的可见视窗，其中若任一可见视窗超出该虚拟三维场景则该相对应的候选节点判为失格；
对应合格的该些候选节点，分别计算该些露出比例；以及
根据该些露出比例由合格的该些候选节点中挑选出一最佳节点以找出该最佳向量，藉此使该摄影机路径上该最佳节点的该露出比例低于一标准上限。
7.如权利要求6所述的影像处理方法，其特征在于，该标准上限是指利用该虚拟摄影机由该些候选节点的其中之一能观视到该影像修补区域整体的50％。
8.如权利要求5所述的影像处理方法，其特征在于，该些屈折向量是沿着该目标向量的一轴向而建立，并且该些屈折向量分别依多个相异角度偏离该目标向量。
9.如权利要求4所述的影像处理方法，其特征在于，当该前景物件的该位置位于该静态相片的右半部时，该终端节点设置于该初始节点的右侧，当该前景物件的该位置位于该静态相片的左半部时，该终端节点设置于该初始节点的左侧。
10.一种电子装置，其特征在于，包含：
一数据储存模块，用以储存一静态相片；以及
一控制模块，与该数据储存模块耦接，该控制模块包含：
一分割单元，用以将该静态相片中的至少一前景物件由该静态相片的一影像背景中分离；
一影像修补单元，用以填补该影像背景的一空白区域，该空白区域对应被分离的该前景物件于该静态相片中所在位置；
一场景模拟单元，用以创建一虚拟三维场景，该虚拟三维场景由该前景物件以及该影像背景所组成；
一场景分析单元，用以分析该虚拟三维场景以决定一摄影机路径；以及
一影片产生单元，用以产生一视差影片，该视差影片藉由一虚拟摄影机沿着该摄影机路径观视该虚拟三维场景而产生；
其中，该场景分析单元判断该影像背景的该空白区域是否至少部分填补为一影像修补区域，该场景分析单元估算该影像修补区域的相异的多个露出比例，该些露出比例分别对应该虚拟摄影机在该虚拟三维场景中由相异的多个候选节点所能观视该影像修补区域的大小，该场景分析单元根据该些露出比例决定该摄影机路径。
11.如权利要求10所述的电子装置，其特征在于，于该虚拟三维场景中，该场景模拟单元将该前景物件设定位于该影像背景前方且相距一深度差值。
12.如权利要求10所述的电子装置，其特征在于，该影像修补单元分析该影像背景中接近该空白区域的多个邻近像素，且该影像修补单元利用由该些邻近像素分析得到的一样式填补该空白区域。
13.如权利要求10所述的电子装置，其特征在于，该摄影机路径包含一起始节点、一终端节点以及至少一中间节点，该场景分析单元将该起始节点设定为该静态相片的一原始视点，该场景分析单元根据该静态相片中该前景物件的一位置及一尺寸设定该终端节点。
14.如权利要求13所述的电子装置，其特征在于，该至少一中间节点是由该起始节点起始分别逐一决定而连至该终端节点，该场景分析单元决定该至少一中间节点每一者是透过找出由该起始节点或一当前中间节点朝向该终端节点的一目标向量、环绕该目标向量建立多个屈折向量、由该些屈折向量以及该目标向量中找出一最佳向量、以及指定该最佳向量的终点为一接续中间节点来实现的。
CN201410733501.0A 2013-12-13 2014-12-04 影像处理方法及电子装置 Active CN104735435B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361915530P 2013-12-13 2013-12-13
US61/915,530 2013-12-13
US14/321,829 2014-07-02
US14/321,829 US9979952B2 (en) 2013-12-13 2014-07-02 Method of creating a parallax video from a still image

Publications (2)

Publication Number Publication Date
CN104735435A CN104735435A (zh) 2015-06-24
CN104735435B true CN104735435B (zh) 2017-04-12

Family

ID=53370056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410733501.0A Active CN104735435B (zh) 2013-12-13 2014-12-04 影像处理方法及电子装置

Country Status (3)

Country Link
US (1) US9979952B2 (zh)
CN (1) CN104735435B (zh)
TW (1) TWI595443B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
US20180136814A1 (en) * 2016-07-22 2018-05-17 Zyndo, LLC Systems and methods for multi-dimensional augmented and virtual reality digital media integration
KR102309722B1 (ko) * 2017-01-13 2021-10-07 워너 브로스. 엔터테인먼트 인크. 디지털 스틸 이미지에 모션 효과의 부가
US10602117B1 (en) * 2017-09-11 2020-03-24 Bentley Systems, Incorporated Tool for onsite augmentation of past events
CN110555351B (zh) * 2018-06-04 2022-02-08 瑞昱半导体股份有限公司 前景影像的提取方法与电子装置
TWI689909B (zh) * 2018-11-22 2020-04-01 財團法人工業技術研究院 透明顯示系統及其操作方法
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
CN110675420B (zh) * 2019-08-22 2023-03-24 华为技术有限公司 一种图像处理方法和电子设备
DE102019124386A1 (de) * 2019-09-11 2021-03-11 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille in einem Fahrzeug sowie Virtual-Reality-System mit einer Virtual-Reality-Brille und einem Fahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600123A (zh) * 2009-07-06 2009-12-09 四川大学 获取视差图像的平行摄像机阵列移位法
US20120206567A1 (en) * 2010-09-13 2012-08-16 Trident Microsystems (Far East) Ltd. Subtitle detection system and method to television video
CN102740094A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
CN103440660A (zh) * 2013-09-03 2013-12-11 四川大学 一种基于gpu的集成成像微图像阵列快速生成方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030202120A1 (en) 2002-04-05 2003-10-30 Mack Newton Eliot Virtual lighting system
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
CA2884702C (en) * 2006-06-23 2018-06-05 Samuel Zhou Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8274530B2 (en) * 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US8089479B2 (en) * 2008-04-11 2012-01-03 Apple Inc. Directing camera behavior in 3-D imaging system
WO2011033668A1 (ja) * 2009-09-18 2011-03-24 株式会社 東芝 視差画像生成装置
KR20120067879A (ko) 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법
TWI419078B (zh) 2011-03-25 2013-12-11 Univ Chung Hua 即時立體影像產生裝置與方法
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
US8711141B2 (en) 2011-08-28 2014-04-29 Arcsoft Hangzhou Co., Ltd. 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
WO2013112295A1 (en) 2012-01-25 2013-08-01 Audience, Inc. Image enhancement based on combining images from multiple cameras
US9237330B2 (en) * 2012-02-21 2016-01-12 Intellectual Ventures Fund 83 Llc Forming a stereoscopic video
US20140063193A1 (en) * 2012-08-31 2014-03-06 Wayne Martin Williams Natural 3D Motion For Film And Video
TWI534755B (zh) * 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101600123A (zh) * 2009-07-06 2009-12-09 四川大学 获取视差图像的平行摄像机阵列移位法
US20120206567A1 (en) * 2010-09-13 2012-08-16 Trident Microsystems (Far East) Ltd. Subtitle detection system and method to television video
CN102740094A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
CN103440660A (zh) * 2013-09-03 2013-12-11 四川大学 一种基于gpu的集成成像微图像阵列快速生成方法

Also Published As

Publication number Publication date
US9979952B2 (en) 2018-05-22
US20150172627A1 (en) 2015-06-18
CN104735435A (zh) 2015-06-24
TWI595443B (zh) 2017-08-11
TW201528207A (zh) 2015-07-16

Similar Documents

Publication Publication Date Title
CN104735435B (zh) 影像处理方法及电子装置
US6124864A (en) Adaptive modeling and segmentation of visual image streams
CN111325693B (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN109561296A (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
TW202013149A (zh) 擴增實境的影像展示方法、裝置及設備
US20140240311A1 (en) Method and device for performing transition between street view images
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
CN109816766A (zh) 图像处理装置、图像处理方法及存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
WO2011029209A2 (en) Method and apparatus for generating and processing depth-enhanced images
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
JP2013542505A (ja) 画像内のコンテンツの検閲処理を行うための方法および装置
JP2016537901A (ja) ライトフィールド処理方法
CN106296789B (zh) 一种虚拟植入物体在实景中穿梭的方法及终端
CN104349155A (zh) 模拟立体图像显示方法及显示设备
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
CN108986232A (zh) 一种在vr显示设备中呈现ar环境画面的方法
WO2022055367A1 (en) Method for emulating defocus of sharp rendered images
JP2023172882A (ja) 三次元表現方法及び表現装置
US9076249B2 (en) Hole filling method for multi-view disparity maps
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN108269288A (zh) 智能异形投影非接触式交互系统和方法
CN114066715A (zh) 图像风格迁移方法、装置、电子设备以及存储介质
KR20140051035A (ko) 영상 부호화 방법 및 장치
JP2020135525A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant