CN103426143B - 影像编辑方法以及相关的模糊参数建立方法 - Google Patents

影像编辑方法以及相关的模糊参数建立方法 Download PDF

Info

Publication number
CN103426143B
CN103426143B CN201210164081.XA CN201210164081A CN103426143B CN 103426143 B CN103426143 B CN 103426143B CN 201210164081 A CN201210164081 A CN 201210164081A CN 103426143 B CN103426143 B CN 103426143B
Authority
CN
China
Prior art keywords
distance
image
lens
fuzzy
image editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210164081.XA
Other languages
English (en)
Other versions
CN103426143A (zh
Inventor
郑昆楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Software R&D Shenzhen Ltd, MStar Semiconductor Inc Taiwan filed Critical MStar Software R&D Shenzhen Ltd
Priority to CN201210164081.XA priority Critical patent/CN103426143B/zh
Publication of CN103426143A publication Critical patent/CN103426143A/zh
Application granted granted Critical
Publication of CN103426143B publication Critical patent/CN103426143B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种影像编辑方法,用以编辑一原始影像,且该原始影像中至少包括一第一物件与一第二物件,该影像编辑方法包括下列步骤:取得该第一物件与一镜头之间的一第一距离;取得该第二物件与该镜头之间的一第二距离;根据该第一距离以及一光学参数得到一模糊矩阵组;根据该第二距离由该模糊矩阵组中获得一第一模糊矩阵;以及,根据该第一模糊矩阵将该第二物件进行一模糊处理动作后形成一模糊第二物件,其中该第一物件与该模糊第二物件系供形成一模拟影像。

Description

影像编辑方法以及相关的模糊参数建立方法
技术领域
本发明是一种影像编辑方法,且特别是有关于一种利用原始影像中各物件与拍摄镜头的距离,来使一原始影像转换为符合一镜头光学特性的模拟影像。
背景技术
由于影像撷取技术的快速发展,数位相机已经成为日常生活中不可获缺得电子装置。为了能够轻易的操作数位相机,一般常用的消费型相机(傻瓜相机或者手机所配备的相机)具备较深的景深(fieldofdepth),因此可以轻易的拍摄出清晰的影像。
专业相机(例如单眼相机)具备大光圈以及浅景深的特性,需要有高度拍摄技巧的使用者来操作。而单眼相机所拍摄的影像具有较高的层次感,消费型相机则无法拍摄出类似专业相机的拍摄效果。
为了要模拟另一种相机的拍摄效果,有些消费型相机、手机、或者电脑已搭配影像处理模块用以模拟另一相机的拍摄效果。换句话说,将消费型相机拍摄的影像利用影像处理的方式即可获得专业相机的拍摄效果。当然,影像处理模块可为硬件电路或者软件程序。
基本上,已知影像处理的方法在影像中选定一聚焦物件,接着将聚焦物件以外的部份进行模糊处理。请参照图1A至1C,其所绘示为已知影像模拟方法示意图。举例来说,消费型相机所拍摄的影像如图1A所示。由于消费型相机的景深较深,所以可以清晰的呈现各物件。
当使用者欲进一步处理该影像时,使用者可选定任一物件作为聚焦物件。如图1B所示,使用者利用一选定框10来选定汽车作为聚焦物件后,选定框10以内的聚焦物件保持清晰,而选定框10以外的部份(虚线区域)即进行模糊处理。因此,当影像处理完成后,可以看到清晰的聚焦物件,并且聚焦物件以外的部份则较模糊,因此具有类似专业相机拍摄的层次感。
同理,使用者可选定花作为聚焦物件后,如图1C所示,影像处理模块会将选定框10以内的聚焦物件保持清晰,在选定框10以外的部份(虚线区域)进行模糊处理。因此,当影像处理完成后,可以看到清晰的聚焦物件,并且聚焦物件以外的部份则较模糊,因此具有类似专业相机拍摄的层次感。
一般来说,已知的影像处理模块仅能够由原始影像上的资讯来进行模糊处理。换句话说,已知影像处理模块以选定框10(聚焦物件)为中心,在原始影像中距离选定框10越远的物件模糊程度越高,距离选定框10越近的物件模糊程度越低。以图1B为例,虚线密度越高的区域影像越模糊,影像密度越低的区域影响较不模糊。换句话说,图1B中,整个方形影像的外围部份距离选定框10最远,所以影像将最模糊;而以图1C为例,整个方形影像的左上角部份距离选定框10最远,所以左上角的影像将最模糊。
然而,已知模拟专业相机的影像处理方法所获得的影像与另一相机实际拍摄的影像还是有明显的差距。也就是说,仅以拍摄的影像作为模糊处理的资讯会跟实际状况不合。因此,模拟更接近另一相机拍摄效果的影像处理方法即为本发明所欲解决的目的。
发明内容
本发明的目的是提出一种利用原始影像中各物件与拍摄镜头的距离来进行编辑并将原始影像模拟成为另一相机所拍摄的影像。
本发明有关于一种影像编辑方法,用以编辑一原始影像,且该原始影像中至少包括一第一物件与一第二物件,该影像编辑方法包括下列步骤:取得该第一物件与一镜头之间的一第一距离;取得该第二物件与该镜头之间的一第二距离;根据该第一距离以及一光学参数得到一模糊矩阵组;根据该第二距离由该模糊矩阵组中获得一第一模糊矩阵;以及,根据该第一模糊矩阵将该第二物件进行一模糊处理动作后形成一模糊第二物件,其中该第一物件与该模糊第二物件供形成一模拟影像。
本发明有关于一种影像模拟方法,用以使一原始影像转换为符合一镜头的光学特性的一模拟影像,该影像模拟方法包含根据一物体对该镜头的一距离、该物体对该镜头的焦点的一相对距离、或该镜头的一光圈值或该镜头的一焦点改变而调整该原始影像和该模拟影像间的一转换特性。
本发明有关于一种模糊参数的建立方法,该模糊参数适用将一原始影像转换成一模拟影像,该模拟影像符合一镜头的光学特性,该方法包含:(a)提供一第一物体与一第二物体,置于该镜头前的不同位置;(b)对焦于该第一物体,使该镜头与该第一物体间有一对焦距离;(c)改变该第二物体的位置多次,记录该第二物体在每个位置上产生的一成像扩散程度以得到一模糊矩阵;(d)移动该第一物体并重新对焦于该第一物体,产生另一对焦距离并重复上述步骤(c);以及(e)重复上述步骤(d)多次以取得对应于不同对焦距离的多个模糊矩阵组,各包含多模糊矩阵。
为了对本发明的上述及其他方面有更佳的了解,下文特举较佳实施例,并配合附图,作详细说明如下:
附图说明
图1A至1C所绘示为已知影像模拟方法示意图。
图2所绘示为相机的成像原理。
图3A至3C所绘示为相机的散景产生原理。
图4所绘示为对焦物件与拍摄镜头之间的距离对散景的影响示意图。
图5A与5B所绘示为拍摄镜头的焦距与散景的关系。
图6A与6B所绘示为一例中双眼观看物体时,个别眼睛的成像示意图。
图7A与7B所绘示为利用双眼同时看到的影像决定物件位置以及3D深度的计算方法。
图8所绘示为本发明编辑原始影像的第一实施例。
图9A至9D所绘示为点光源由远至近的移动造成感光元件上焦外成像的扩散程度改变情形示意图。
图10所绘示为本发明待模拟镜头模糊参数的建立方法流程图。
图11A与11B所绘示为本发明影像模拟的示意图。
图12所绘示为本发明的影像编辑方法。
主要元件符号说明
20:聚焦物件
22、22’、32:实像
25、53、55:拍摄镜头
30:点物件
34:焦外成像
36、85:光圈
702、702R、702L:菱形物件
704、704R、704L:圆形物件
706、706R、706L:三角形物件
83:待模拟镜头
950:原始影像
952:圆形物件
954:菱形物件
960:模拟影像
964:模糊菱形物件
具体实施方式
以下先利用简单的几何光学来介绍相机的成像原理以及对聚焦物件的影响。
请参照图2,其所绘示为相机的成像原理。拍摄镜头25的焦距为F,且聚焦物件20在拍摄镜头25第一侧的2倍焦距(2F)之外。很明显地,在拍摄镜头25的第二侧1倍焦距(F)与二倍焦距(2F)之间会产生较小的实像22。换句话说,在拍摄镜头的第二侧将相机的感光元件(opticalsensor)移动至实像22的位置即可获得该聚焦物件20的清晰影像。
假设拍摄镜头25的焦距为F,聚焦物件20与拍摄镜头25之间的距离为Dn,实像22与拍摄镜头25之间的距离为In,则上述关系需符合造镜者公式(Lensmaker’sequation),亦即:(1/Dn)+(1/In)=(1/F)。
也就是说,当聚焦物件20在拍摄镜头25第一侧的2倍焦距(2F)之外且越远离拍摄镜头25时,在拍摄镜头25第二侧的实像22位置越接近1倍焦距(F)且实像22越小。反之,当聚焦物件20在拍摄镜头25第一侧的2倍焦距(2F)之外且越接近2倍焦距(2F)时,在拍摄镜头25第二侧的实像22位置越接近2倍焦距(2F)且实像22越大。
根据上述的原理,相机进行对焦时,判断聚焦物件20与拍摄镜头25的距离后,即可根据拍摄镜头25的焦距来推算出实像22的正确成像位置In。因此,移动相机中的感光元件至In位置后,即可获得该聚焦物件20的实像22。
某些相机(例如专业相机)的影像中会有散景(bokeh)产生,所谓散景即是影像中位于准焦之外的部份。由于相机拍摄镜头系聚焦在聚焦物件上并将其成像在感光元件上,所以在感光元件上聚焦物件的成像最清晰。其他不在准焦内的物件也会成像在感光元件上,而这些非聚焦物件即在感光元件上形成散景。
请参照图3A,其所绘示为相机的散景产生原理。如图所示,拍摄镜头25的第一侧的聚焦物件20,更加远离镜头25端有有一点物件30,准焦的物件20在拍摄镜头25第二侧的位置In形成实像22,同理,点物件30经过光圈36与拍摄镜头25的作用后会在拍摄镜头25第二侧的位置Ix形成实像32,然而,其中Ix小于In。由于此时感光元件在聚焦成像的位置In上,而非位置Ix,因此,点物件30的成像会投射在感光元件上形成一个模糊而扩散的焦外成像34,而此焦外成像34即造成散景的现象。
很明显地,当点物件30越远离聚焦物件20时,该点物件30的实像位置Ix越接近焦点F,焦外成像34会越来越扩散,在感光元件上面积就越大。基于能量不变的原理,焦外成像34上具有相同的能量。也就是说,于感光元件上焦外成像34的面积越小,亮度、清晰度、对比度会越好;反之,于感光元件上焦外成像34的面积越大,其亮度、清晰度、对比度会越差。
此实施例中,镜头25的光圈36的开启大小与尺寸(或称光圈值)也会影响焦外成像34在感光元件上的面积。相较于图3A,当光圈36的开启越大时。即如图3B所示,其焦外成像34在感光元件上的面积较大。反之,相较于图3A,当光圈36的开启直径越小时。即如图3C所示,其焦外成像34在感光元件上的面积较小。
由图3A~3C可知,当光圈36开启越小,焦外成像34的面积越小,散景越不明显;当光圈36开启越大,焦外成像34的面积越大,散景越明显。再者,光圈36的形状(亦即光圈的叶片形状及数目)也会影响焦外成像34的特性。
请参照图4,其所绘示为对焦物件与拍摄镜头之间的距离对散景的影响示意图。假设拍摄镜头25、点物件30、光圈36的位置与第3A图完全相同。其差异仅在于聚焦物件20的位置由拍摄镜头25第一侧2倍焦距之外的位置Dn移动到二倍焦距Dn’位置(Dn’=2F)。
如图4所示,聚焦物件的成像位置会在拍摄镜头25第二侧位置In’(In’=2F),此时感光元件在位置In’获得清晰的实像22’。相较于图3,点物件30在感光元件上形成的焦外成像34具有更大的面积。因此,由图3A与图4的比较说明可知,当对焦物件20越接近拍摄镜头25,景深越浅散景越明显。
请参照图5A与图5B,其所绘示为拍摄镜头的焦距与散景的关系。一般来说,具有不同焦距的拍摄镜头,会有不同的功能。举例来说,望远拍摄镜头具有较长的焦距,而广角拍摄镜头具有较短的焦距,标准拍摄镜头的焦距则介于望远拍摄镜头与广角拍摄镜头之间。如图5A所示,该拍摄镜头53具有焦距f,在拍摄镜头53第一侧2倍焦距(2f)之外的三个物件A、B、C,会成像在拍摄镜头53第二侧的1倍焦距(f)与2倍焦距(2f)之间的位置a、b、c。假设物件B为聚焦物件,则感光元件会在位置b,物件A会先聚焦再扩散至感光元件,而物件C会直接照射在感光元件上。很明显地,物件A与物件C皆会在感光元件上形成散景。
如图5B所示,物件A、B、C与拍摄镜头55的距离与图5A相同。该拍摄镜头55具有焦距f’,大于图5A镜头53的焦距f。而在拍摄镜头55第一侧2倍焦距(2f’)外的三个物件A、B、C,会成像在拍摄镜头55第二侧的1倍焦距(f’)与2倍焦距(2f’)之间的位置a’、b’、c’。假设物件B为聚焦物件,则感光元件会在位置b’,物件A会先聚焦再扩散至感光元件,而物件C会直接照射在感光元件上。同理,物件A与物件C皆会在感光元件上形成散景。
比较图5A与图5B可知,焦距较短的拍摄镜头53其散景的扩散面积较小,而焦距较长的拍摄镜头55其散景的扩散面积较大。再者,短焦距拍摄镜头因为散景的扩散面积并不大,在眼睛无法辨识的情况下,一般认为此种拍摄镜头53具有较长的景深(散景效果较小)。
由以上的说明可知,散景中成像的扩散面积与聚焦物件的位置、拍摄镜头的各种光学参数(例如焦距、光圈大小与形状(光圈值与光圈叶片数目))有关。本发明要将一般型相机所拍摄的原始影像模拟成为另一相机具有层次感的模拟影像,首先需要确定影像中各物件之间的相对距离,作为模拟另一镜头拍摄照片的距离基准。之后利用待模拟镜头的镜头参数、光圈大小与形状,利用上述的原理,来获得对焦物件之外其他物件成像的散景,并进一步获得模拟的影像,使得模拟影像更接近上述相机所拍摄的影像。
根据本发明的一实施例,首先先取得影像中的各物件与拍摄镜头之间的距离关系作为各物件与欲模拟的镜头之间的距离关系。取得影像中物件与拍摄镜头之间的关系可利用三维(3D)深度来确认。以下详细介绍3D深度。
由于左眼与右眼看到同一个物件时,左眼与右眼的呈现的影像会有些许不同,而人体的大脑即根据双眼看到的影像来建立三维(3D)影像。以下请参照图6A与图6B,其所绘示为一例中双眼观看物体时,个别眼睛的成像示意图。
如图6B所示,假设物件在位置II时,左右眼所看到的影像完全相同,亦即左右物件皆在左右影像的正中央,(两眼影像可无差异的重迭),此例中将此3D深度设为零。3D深度设定的基准可因案而异,其主要目的用来模拟平面影像中各物件可能的真实相对距离。当物体在逐渐接近双眼直到正前方位置I时,左眼看到的物件会在左眼视野影像的右侧,而右眼所看到的物件会在右眼视野影像的左侧,此时二影像中的同一物件之间的距离变大,代表3D深度负向增加(若依照物件距离双眼位置远近作为基准)。当物体逐渐远离双眼时直到位置III时,左眼看到的物件会在左眼视野影像的左侧,而右眼所看到的物件会在右眼视野影像的右侧,此时3D深度正向增加。
请参照图7A与7B,其所绘示为利用双眼同时看到的影像决定物件位置以及3D深度的计算方法。假设左眼看到的左眼视野影像中菱形物件702L在的左侧、圆形物件704L在右侧、三角形物件706L在中央;而右眼看到的右眼视野影像中菱形物件702R在右侧、圆形物件704R在左侧、三角形物件706R在中央。
在其中一例中,假设以左眼影像为一参考影像,左眼影像中的圆形物件704L与右眼影像中的圆形物件704R的位移距离为负值的距离,三角形物件706L和706R的位移为0,菱形物件702L和702R的位移为正值的距离,而3D深度和此等位移的值成正比,此例中三角形物件706的3D深度为0,圆形物件704的3D深度为负值,三角形物件706为正值,此3D深度代表的意义系为物件和眼睛(镜头)之间的距离。
另一例中,3D深度所代表的意义可为同一物件于左右眼影像间的距离,即图7A中的d1、d2和d3,由此d1、d2、d3可求出物件和眼睛(镜头)间的距离。简而言之,凡采取上述概念所求得的3D深度最终皆用来求得物件和镜头之间的距离,本发明的范畴不应被3D深度的定义所限制。
因此,本发明中欲取得原始影像中的各物件与与欲模拟的镜头之间的距离关系,可利用3D深度的概念,有如将影像中各物件实体化,造出物件与镜头间(有如眼睛)的距离,以模拟镜头拍摄一实体场景后会产生的影像。
取得一影像中各物件的3D深度的方式有许多种。举例来说,利用一具有二个拍摄镜头的相机,可以同时拍摄同一场景。如此,除了欲使用的原始影像,可另取得一类似于原始影像的辅助影像。根据二拍摄镜头所拍摄的原始影像以及辅助影像,即可算出该原始影像中所有物件的3D深度,据此决定所有物件与之后欲模拟镜头之间的距离。
当然,也可以利用单一拍摄镜头快速左右移动来拍摄相同场景取得两个影像,即可推知该原始影像中所有物件的3D深度,并且供作所有物件与欲模拟镜头之间的距离的参考。再者,除了利用3D深度之外,其他实施例中,各物件与欲模拟镜头间的各距离也可以利用其他方式来获得。一实施例中,一距离检测单元(例如红外线距离检测单元),并且发射红外线至所有的物件并据以获得各物件与检测单元之间的距离。此检测单元可安置于一相机上供作利用。或者,利用同一镜头以调整焦点的方式快速拍摄多张连续影像,而根据聚焦位置以及影像物件的清晰度可以获得各物件与拍摄镜头之间的距离。或者根据不同颜色光波长经过透镜的折射差异,例如R,G,B三色其过透镜焦点的微小差异,根据R,G,B影像清晰程度来判断距离的方法,或者,根据经验法则,例如较近的物件较大较远的物件较小,或者互相覆盖的物件来得知所有物件的前后关系,并估算出所有物件与拍摄镜头之间的距离。
当一般型相机拍摄了一原始影像,并获得原始影像中所有物件与拍摄镜头的距离后,首先要选定其中一物件作为对焦物件,并且选定待模拟镜头的镜头参数以及光圈尺寸(光圈值)。之后,即可根据待模拟镜头的特性来编辑原始影像。对焦距离亦可由原始影像中的相片资讯EXIF(Exchangeableimagefileformat),撷取存在的相关资讯,或由相机自动对焦模块本身提供讯息,而无需以3D深度的方式计算而得。
请参照图8,其所绘示为本发明编辑原始影像的第一实施例。假设原始影片中具有物件Y与物件Z,物件Y距离拍摄镜头83的距离为Dy,物件Z距离待模拟镜头83的距离为Dz。接着,选定物件Y为对焦物件,而光圈85的尺寸为直径d的圆形。
在待模拟镜头的焦距为F时,根据造镜者公式即可求得物件Z的成像位置与待模拟镜头83之间的距离为Iz,物件Y的成像位置与待模拟镜头83之间距离为Iy。
由于物件Y为对焦物件,所以感光元件的位置距离焦点Iy的距离。此时,物件Z所产生的散景的直径Bx为:Bx=d(Iy-Iz)/Iz。换句话说,Bx即为物件Z在感光元件上的扩散直径(假设成像区域是圆形的)。根据能量不灭定律,将物件Z根据扩散直径Bx进行模糊处理动作并形成扩散直径Bx的模糊物件Z。之后,结合物件Y以及模糊物件Z即可获得模拟影像。
除了直接计算扩散直径之外,本发明也可以将各式的待模拟镜头先行直接进行测量并进一步获得待模拟镜头模糊参数,而利用查表法来获得待模拟镜头模糊参数中的模糊矩阵来进行散景的模拟。
以下仅介绍一个待模拟镜头模糊参数的建立方法,其他的待模拟镜头也可利用相同的方式来建立其镜头模糊参数。假设相机中有3个光圈值可供选择,则每个光圈值皆需要进行一次以下的测量过程。
于第一光圈数值(M1)时,先选定物件与待模拟镜头之间相距第一对焦距离(N1),并且确定感光物件在对焦物件的成像位置。接着,将一个点光源由远至近依序改变点光源与待模拟镜头之间的距离。
每当点光源移动一次距离,呈现于感光元件上的焦外成像上的亮度分布值及形状,对应于当下的距离、光圈值、焦距等光学参数,即可记录为一模糊矩阵。在光圈值和焦距等光学参数不改变的情况下得到每个距离上的模糊矩阵之后,可归纳出一模糊矩阵组。基本上,每一个模糊矩阵皆可视为一滤波器,而原始影像中的各物件根据相对应的滤波器即可以获得模拟影像。
接下来,采用不同的焦距,而其他条件不改变的情况下,重复上述的方式,亦可得到另一个模糊矩阵组;以此类推,采用不同的光圈,重复上述的方式亦会得到另外不同的模糊矩阵组。换句话说,将镜头设定不同的焦距、或不同的光圈值、或不同的快门等光学参数,会对应不同的模糊矩阵组。同样的焦距、光圈值、快门等光学参数的组合会对应相同的模糊矩阵组。依此,设定好待模拟的原始影像中欲对焦的物件后(在某一光圈值下),找出原始影像中的物件(或,被采样物件)的模拟距离,即可将原始影像的每一点画素透过其对应的模糊矩阵进行转换而产生模拟影像。
请参照图9A至图9D,其所绘示为点光源由远至近的移动造成感光元件上焦外成像的扩散程度改变情形示意图。其中,点光源与待模拟镜头之间的距离依序为O1、O2、O3、O4,且O1>O2>O3>O4。
当点光源与待模拟镜头之间的距离为O1时,焦外成像呈现于感光元件的图形如图9A所示,其中数字部份即代表光强度的分布比例。因此,根据感光元件上的光强度分布比例,进行常规化后(normalize)可获得一模糊矩阵
H M 1 - N 1 - O 1 = 1 41 0 1 2 1 0 1 2 3 2 1 2 3 5 3 2 1 2 3 2 1 0 1 2 1 0 .
当点光源与待模拟镜头之间的距离为O2时,焦外成像呈现于感光元件的图形如图9B所示。因此,根据感光元件上的光强度分布比例,进行常规化后可获得一模糊矩阵 H M 1 - N 1 - O 2 = 1 25 0 0 1 0 0 0 2 2 2 0 1 2 5 2 1 0 2 2 2 0 0 0 1 0 0 .
当点光源与待模拟镜头之间的距离为O3时,焦外成像呈现于感光元件的图形如图9C所示。因此,根据感光元件上的光强度分布比例,进行常规化后可获得一模糊矩阵 H M 1 - N 1 - O 3 = 1 17 0 0 0 0 0 0 1 2 1 0 0 2 5 2 0 0 1 2 1 0 0 0 0 0 0 .
当点光源与待模拟镜头之间的距离为O4时,焦外成像呈现于感光元件的图形如图9D所示。因此,根据感光元件上的光强度分布比例,进行常规化后可获得一模糊矩阵 H M 1 - N 1 - O 4 = 1 9 0 0 0 0 0 0 0 1 0 0 0 1 5 1 0 0 0 1 0 0 0 0 0 0 0 .
于第一光圈数值(M1)且对焦物件与待模拟镜头之间相距第一对焦距离(N1)选定后,移动点光源多次所获得的多个模糊矩阵即可成为一模糊矩阵组。由图9A至9D的说明可知,于第一光圈数值(M1)且对焦物件与待模拟镜头之间相距第一对焦距离(N1)下的模糊矩阵组中共有四个模糊矩阵,HM1-N1-O1、HM1-N1-O2、HM1-N1-O3、HM1-N1-O4。当然,本发明并不限定模糊矩阵组中模糊矩阵的数目。换句话说,可移动点光源更多次来获得更多模糊矩阵,当然也可以利用内插法(interpolation)等数学上的计算方式来获得更多模糊矩阵。
当一个模糊矩阵组完成后,可在原第一光圈数值下更新物件与待模拟镜头之间的对焦距离为第二对焦距离(N2),继续建立下一模糊矩阵组。也可以在第一对焦距离(N1)改变光圈值为第二光圈值(M2),继续建立其他的模糊矩阵组。
当待模拟镜头的对焦距离更新多次,以及光圈数值更新多次后所获得的多个模糊矩阵组即可视为该待模拟镜头的镜头参数。同理,所有的待模拟镜头也可以利用相同的方式来获得其镜头模糊参数。当然,镜头模糊参数可以由待模拟镜头厂商来提供给使用者,或者由使用者自行进行测量。
请参照图10,其所绘示为本发明待模拟镜头模糊参数的建立方法流程图。首先,更新光圈值(步骤S910);接着,更新对焦物件与待模拟镜头之间的距离(步骤S912),将感光元件置于对焦物件的成像位置(步骤S914)。接着,更改O次点光源与待模拟镜头之间的距离,并记录每一位置时感光元件上的成像图形并据以产生对应的模糊矩阵(步骤S916)。接着,判断对焦物件与待模拟镜头的距离是否更新N次(步骤S918);如否,回到步骤S912,如是,进入步骤S920。接着,判断对光圈值是否更新M次(步骤S920);如否,回到步骤S910,如是,结束。
很明显地,当图10的程序完成后,待模拟镜头的镜头模糊参数中将有M×N个模糊矩阵组,每个模糊矩阵组中有O个模糊矩阵。
当镜头模糊参数已经建立完成后,即可进行本发明的影像编辑方法。请参照图11A与11B,其所绘示为本发明影像模拟的示意图。其中,图11A为原始影像950,而原始影像950中包括一圆形物件952与一菱形物件954。欲将此原始影像950模拟成为一待模拟镜头L所拍摄而成的模拟影像960。
选定该圆形物件952为聚焦物件,并估测此物件952与待模拟镜头L之间的对焦距离(第一距离)。此对焦距离的求取方式系取得圆形物件952在此原始影像950中的三维深度或与镜头距离(由上述的方式计算或撷取而得),据以决定该物件952与待模拟镜头L间的模拟的聚焦距离。由于此已知的待模拟镜头L的镜头模糊参数为已知(例如由前述的方式取得),因此,本发明的模拟方法可根据光圈值(或焦段或至少其一)以及第一距离来由镜头模糊参数中决定一个模糊矩阵组。而根据该第二距离可进一步由该模糊矩阵组中获得一对应的模糊矩阵。
接着,根据该模糊矩阵将该菱形物件954进行一模糊处理动作后形成一模糊菱形物件964;以及,结合该圆形物件952与该模糊菱形物件964可供形成一模拟影像960。
根据本发明的实施例,原始影像950中组成菱形物件594的所有像素(pixel)皆视为一个点光源。接着,将每个点光源经过该模糊矩阵的扩散结果迭加之后即成为模糊菱形物件964。
于模糊处理动作完成后,即结合该圆形物件952与该模糊菱形物件964后以供形成一模拟影像960,而此模拟影像960即可视为由待模拟镜头所拍摄而成。
请参照图12,其所绘示为本发明的影像编辑方法。首先,确认原始影像中第一物件与拍摄镜头之间的第一距离以及确认第二物件与拍摄镜头之间的第二距离(步骤S972);接着,根据第一距离以及一光圈值(或焦段或至少其一)来获得模糊矩阵组(步骤S974);根据第二距离由模糊矩阵组中获得第一模糊矩阵(步骤S976);根据第一模糊矩阵将第二物件进行一模糊处理动作后形成一模糊第二物件(步骤S978);以及,结合第一物件与模糊第二物件后形成模拟影像(步骤S980)。
由以上的说明可知,虽然本发明仅以菱形物件954的模糊处理来作说明。实际上,原始影像950中对焦物件(圆形物件952)以外的所有的像素皆可以视为点物件。而获得所有点物件与拍摄镜头之间距离后,即可根据不同的距离由模糊矩阵组中确定相对应的模糊矩阵,并进行模糊处理动作。当所有点物件的的扩散结果迭加之后再加上聚焦物件(圆形物件952)即可产生最后的模拟影像960。
此外,依照本发明的精神所提供的一实施例中的影像模拟方法包含根据一物体对该镜头的一距离的改变而产生相应的输出,或对该镜头的焦点之一相对距离的改变产生相应不同的输出,或者,对该镜头的一光圈值或该镜头的一焦点的改变而变化其输出;如此,一原始影像经由不同转换特性可转换成为符合上述镜头的光学特性的一模拟影像。本发明的上述实施例,举例而言,可运用在一摄影装置(例如相机),或是一电脑系统中,作为相片后制的工具。
总结来说,本发明的优点是提出一种利用原始影像中各物件与拍摄镜头的距离来进行编辑并将原始影像模拟成为待模拟相机的镜头所拍摄的影像。
综上所述,虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围由权利要求书界定为准。

Claims (19)

1.一种影像编辑方法,用以编辑一原始影像,且该原始影像中至少包括一第一物件与一第二物件,该影像编辑方法包括下列步骤:
取得该第一物件与一镜头之间的一第一距离;
取得该第二物件与该镜头之间的一第二距离;
根据该第一距离以及一光圈值和一焦距这两种光学参数中至少一个光学参数,由一镜头的一镜头模糊参数得到一模糊矩阵组;
根据该第二距离由该模糊矩阵组中获得一第一模糊矩阵;以及
根据该第一模糊矩阵将该第二物件进行一模糊处理动作后形成一模糊第二物件,其中该第一物件与该模糊第二物件供形成一模拟影像。
2.如权利要求1所述的影像编辑方法,其特征在于,该第一距离与该第二距离至少其一系利用三维深度测量法获得。
3.如权利要求2所述的影像编辑方法,其特征在于,该三维深度测量法中还包括与该原始影像相关的一辅助影像,以比较该原始影像中该第一或第二物件与该辅助影像中该第一或第二物件之间的距离供计算该第一或第二距离。
4.如权利要求3所述的影像编辑方法,其特征在于,该辅助影像由一拍摄镜头或一辅助镜头所拍摄。
5.如权利要求1所述的影像编辑方法,其特征在于,该第一距离与该第二距离至少其一利用一距离检测单元所提供。
6.如权利要求1所述的影像编辑方法,其特征在于,该第一距离与该第二距离至少其一根据一拍摄镜头调整焦距时所拍摄的连续影像中获得。
7.如权利要求1所述的影像编辑方法,其特征在于,该第一距离与该第二距离至少其一由该原始影像撷取而得。
8.如权利要求7所述的影像编辑方法,其特征在于,该镜头模糊参数的建立方法包括下列步骤:
(a)提供一第一物体与一第二物体,置于该镜头前的不同位置;
(b)对焦于该第一物体,使该镜头与该第一物体间有一对焦距离;
(c)改变该第二物体的位置多次,记录该第二物体在每个位置上产生的一成像扩散程度以得到一模糊矩阵;
(d)移动该第一物体并重新对焦于该第一物体,产生另一对焦距离并重复上述步骤(c);以及
(e)重复上述步骤(d)多次以取得对应于不同对焦距离的多个模糊矩阵组,各包含多模糊矩阵。
9.如权利要求8所述的影像编辑方法,其特征在于,该镜头模糊参数的建立方法还包括下列步骤:
(f)改变该光圈值后重复步骤(c)至(e)。
10.如权利要求9所述的影像编辑方法,其特征在于,该镜头模糊参数的建立方法还包括下列步骤:
改变该焦距后重复步骤(c)至(f)。
11.如权利要求8所述的影像编辑方法,其特征在于,该镜头模糊参数的建立方法还包括下列步骤:
改变该焦距后重复步骤(c)至(e)。
12.如权利要求1所述的影像编辑方法,其特征在于,取得该第一距离与该第二距离的步骤包含:
任意指定一数值予该第一距离;以及
依照一经验法则产生该第二距离。
13.如权利要求1所述的影像编辑方法,其特征在于,取得该第一距离与该第二距离的步骤包含:
任意指定一数值予该第一距离;以及
由一距离检测方式产生该第二距离。
14.如权利要求1所述的影像编辑方法,其特征在于,该模糊矩阵组由一滤波器实现。
15.如权利要求1所述的影像编辑方法,其特征在于,该光学参数为一光圈值或一焦距,该方法根据该第一距离以及该光圈值与该焦距两者至少其一找出该模糊矩阵组。
16.一种模糊参数的建立方法,该模糊参数适用将一原始影像转换成一模拟影像,该模拟影像符合一镜头的光学特性,该方法包含:
(a)提供一第一物体与一第二物体,置于该镜头前的不同位置;
(b)对焦于该第一物体,使该镜头与该第一物体间有一对焦距离;
(c)改变该第二物体的位置多次,记录该第二物体在每个位置上产生的一成像扩散程度以得到一模糊矩阵;
(d)移动该第一物体并重新对焦于该第一物体,产生另一对焦距离并重复上述步骤(c);以及
(e)重复上述步骤(d)多次以取得对应于不同对焦距离的多个模糊矩阵组,各包含多模糊矩阵。
17.如权利要求16所述的方法,其特征在于,还包括下列步骤:
(f)改变该镜头的一光圈值后重复步骤(c)至(e)。
18.如权利要求17所述的方法,其特征在于,还包括下列步骤:改变该镜头的一焦距后重复步骤(c)至(f)。
19.如权利要求16所述的方法,其特征在于,还包括下列步骤:改变该镜头的一焦距后重复步骤(c)至(e)。
CN201210164081.XA 2012-05-24 2012-05-24 影像编辑方法以及相关的模糊参数建立方法 Expired - Fee Related CN103426143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210164081.XA CN103426143B (zh) 2012-05-24 2012-05-24 影像编辑方法以及相关的模糊参数建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210164081.XA CN103426143B (zh) 2012-05-24 2012-05-24 影像编辑方法以及相关的模糊参数建立方法

Publications (2)

Publication Number Publication Date
CN103426143A CN103426143A (zh) 2013-12-04
CN103426143B true CN103426143B (zh) 2016-07-27

Family

ID=49650840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210164081.XA Expired - Fee Related CN103426143B (zh) 2012-05-24 2012-05-24 影像编辑方法以及相关的模糊参数建立方法

Country Status (1)

Country Link
CN (1) CN103426143B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098607A1 (en) * 2016-11-29 2018-06-07 SZ DJI Technology Co., Ltd. Method and system of adjusting image focus
US10733706B2 (en) * 2018-01-07 2020-08-04 Htc Corporation Mobile device, and image processing method for mobile device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243458A (zh) * 2005-08-15 2008-08-13 索尼电子有限公司 创建深度图的图像获取系统
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法
CN102457740A (zh) * 2010-10-14 2012-05-16 华晶科技股份有限公司 产生浅景深影像的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243458A (zh) * 2005-08-15 2008-08-13 索尼电子有限公司 创建深度图的图像获取系统
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
CN101587586A (zh) * 2008-05-20 2009-11-25 株式会社理光 一种图像处理装置及图像处理方法
CN101764925A (zh) * 2008-12-25 2010-06-30 华晶科技股份有限公司 数字图像的浅景深模拟方法
CN102457740A (zh) * 2010-10-14 2012-05-16 华晶科技股份有限公司 产生浅景深影像的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast Perception-Based Depth of Field Rendering;Jurriaan D. Mulder ,Robert van Liere;《Proceedings of the ACM symposium on Virtual reality software and technology》;20001231;全文 *
景深效果绘制技术综述;吴佳泽,等;《中国图象图形学报》;20111130;摘要、引言、第3.3节 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Also Published As

Publication number Publication date
CN103426143A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN105814875B (zh) 选择用于立体成像的相机对
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
US20110109749A1 (en) Method for activating a function, namely an alteration of sharpness, using a colour digital image
CN107205109A (zh) 具有多摄像模块的电子装置及其控制的方法
CN103874960B (zh) 单眼立体摄影装置、摄影方法及程序
KR20130039676A (ko) 촬상 디바이스, 화상 처리 장치, 화상 처리 방법 및 촬상 디바이스의 제조 방법
KR20180037957A (ko) 저 f-수 플렌옵틱 카메라들을 위한 2-표면 마이크로렌즈 어레이를 갖는 방법들 및 장치들
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
CN106355621A (zh) 基于阵列图像的深度信息获取方法
KR20120038721A (ko) 감성 기반의 영상을 얻을 수 있는 디지털 영상 처리 장치 및 디지털 영상 처리 방법
CN103426143B (zh) 影像编辑方法以及相关的模糊参数建立方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN104092955A (zh) 闪光控制方法及控制装置、图像采集方法及采集设备
CN104113702A (zh) 闪光控制方法及控制装置、图像采集方法及采集装置
WO2012163370A1 (en) Image processing method and device
CN103177432A (zh) 一种用编码孔径相机获取全景图方法
CN107424195A (zh) 一种光场距离估计方法
CN103888655B (zh) 一种拍照方法及电子设备
JP5348258B2 (ja) 撮像装置
KR100915039B1 (ko) 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체
US11950015B2 (en) Method for improved acquisition of images for photogrammetry
CN107547789B (zh) 影像获取装置及其摄影构图的方法
CN114363522A (zh) 拍照方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160727

Termination date: 20190524

CF01 Termination of patent right due to non-payment of annual fee