CN104125385B - 影像编辑方法以及影像处理装置 - Google Patents

影像编辑方法以及影像处理装置 Download PDF

Info

Publication number
CN104125385B
CN104125385B CN201310145159.8A CN201310145159A CN104125385B CN 104125385 B CN104125385 B CN 104125385B CN 201310145159 A CN201310145159 A CN 201310145159A CN 104125385 B CN104125385 B CN 104125385B
Authority
CN
China
Prior art keywords
pattern
fuzzy
processing
focus
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310145159.8A
Other languages
English (en)
Other versions
CN104125385A (zh
Inventor
郑昆楠
沈毓铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Semiconductor Inc Taiwan filed Critical MStar Semiconductor Inc Taiwan
Priority to CN201310145159.8A priority Critical patent/CN104125385B/zh
Publication of CN104125385A publication Critical patent/CN104125385A/zh
Application granted granted Critical
Publication of CN104125385B publication Critical patent/CN104125385B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明揭示一种影像编辑方法及影像处理装置,可用以编辑一原始影像。该原始影像至少包括一清晰图案与一模糊图案,分别对应被摄影的一对焦物件以及一失焦物件。该影像编辑方法包括下列步骤:取得该失焦物件与一镜头之间的一失焦物件距离;依据该失焦物件距离以及一光学参数,对该模糊图案进行一反模糊处理以得到一处理后图案;以及,依据该处理后图案以及该清晰图案形成一处理后影像。

Description

影像编辑方法以及影像处理装置
技术领域
本发明相关于影像处理方法与装置,尤指对一数位相机拍摄所产生的原始影像的处理方法与装置。
背景技术
由于影像撷取技术的快速发展,数位相机已经成为日常生活中不可获缺的电子装置。为了能够轻易的操作数位相机,一般常用的消费型相机(傻瓜相机或者手机所配备的相机)具备较深的景深(field of depth),因此可以轻易的拍摄出清晰的影像。
专业相机(例如单眼相机)具备大光圈以及浅景深的特性,需要有高度拍摄技巧的使用者来操作。而单眼相机所拍摄的影像具有较高的层次感,消费型相机则无法拍摄出类似专业相机的拍摄效果。
然而如同使用者所知,操作专业相机时,有许多参数需要选取,譬如说对焦、镜头滤镜、镜头焦距、光圈值、曝光时间等等。一旦选取不当,可能会使得本来希望清晰的图案,因为被摄影的物件没有落入目标景深中,而变得模糊。
而如何将原始影像中一模糊的图案,处理成一个清晰的图案,或是处理另一个不一样的模糊图案,即为本发明所欲解决的目的。
发明内容
本发明的一实施例提供一种影像编辑方法,用以编辑一原始影像。该原始影像至少包括一清晰图案与一模糊图案,分别对应被摄影的一对焦物件以及一失焦物件。该影像编辑方法包括下列步骤:取得该失焦物件与一镜头之间的一失焦物件距离;依据该失焦物件距离以及一光学参数,对该模糊图案进行一反模糊处理以得到一处理后图案;以及,依据该处理后图案以及该清晰图案形成一处理后影像。
本发明的另一实施例提供一种影像编辑方法,用以编辑一原始影像。该原始影像包括一模糊图案以及一原始图案。该模糊图案对应一被摄影物件。该影像编辑方法包括下列步骤:取得该被摄影物件与一镜头之间的一物件距离;取得一相机偏移量;根据该物件距离、该相机偏移量以及一光学参数,对该模糊图案进行一反模糊处理,以形成一处理后图案;以及,使用该处理后图案以及该原始图案,来形成一处理后影像。
本发明的一实施例提供一种影像处理装置,用以处理透过一镜头摄影产生的一原始影像。该影像处理装置包含有一处理器以及一距离检测单元。该处理器从该原始影像中辨识出一清晰图案以及一模糊图案,分别对应被摄影的一对焦物件以及一失焦物件。该距离检测单元取得该失焦物件与该镜头之间的一失焦物件距离。该处理器依据该失焦物件距离以及该镜头的一光学参数,对该模糊图案进行一反模糊处理以得到一处理后图案。该处理器依据该处理后图案以及该清晰图案形成一处理后影像。
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合附图,作详细说明如下:
附图说明
图1A,其所绘示为一对焦物件的成像以及一未聚焦点光源所产生的散景。
图1B显示一点光源位于拍摄镜头第一侧的2倍焦距(2f)到1倍焦距之内。
图1C显示一较大的光圈所产生的散景。
图2显示本发明的一实施例中的一影像编辑方法。
图3A显示一相机拍摄一脸孔、一树以及一远山。
图3B显示相机所产生的一原始影像。
图3C显示在原始影像中的树图案以及模拟产生的模拟树图案彼此的关系。
图3D显示脸孔图案、模拟树图案、模拟远山图案组合后的模拟影像。
图4显示以两台相机拍摄一脸孔、一树以及一远山。
图5分别显示两相机中所产生的原始影像。
图6显示本发明的实施例中的一些应用。
图7显示依据本发明所实施的一数位相机。
图8图显示图7中的数位相机的功能方块图。
符号说明
具体实施方式
以下先利用简单的几何光学来介绍相机的成像原理以及对对焦与失焦物件的影响。
请参照图1A,其所绘示为对焦物件20的成像以及一失焦点光源所产生的散景(bokeh),所谓散景即是影像中位于准焦之外的部份。
拍摄镜头25的焦距为f,对焦物件20在拍摄镜头25第一侧的2倍焦距(2f)上。可以从简单的光学理论推知,在拍摄镜头25的第二侧二倍焦距(2f)上的位置会产生一样大小的实像22。换句话说,将相机的感光元件(optical sensor)移动至拍摄镜头的第二侧实像22的位置即可获得该对焦物件20的清晰图案。
假设拍摄镜头25的焦距为f,对焦物件20与拍摄镜头25之间的距离为Dn,实像22与拍摄镜头25之间的距离为In,则上述关系需符合造镜者公式(Lensmaker’s equation),亦即:(1/Dn)+(1/In)=(1/f)。
根据上述的原理,相机进行对焦时,判断对焦物件20与拍摄镜头25的距离后,即可根据拍摄镜头25的焦距来推算出实像22的正确成像位置In。因此,移动相机中的感光元件至In位置后,即可获得该对焦物件20的实像22。
图1A中的点光源24位于拍摄镜头25第一侧的2倍焦距之外。依据造镜者公式,其成像位置26,将会位于第二侧的一倍到二倍焦距之间。然而,为了获得对焦物件20的清晰影像,相机中的感光元件是坐落于第二侧二倍焦距(2f)上。因此,点光源24所发出的部分光线,通过光圈36后,聚焦在成像位置26,然后在感光元件上,扩散成一个具有一定范围的模糊图案,形成散景。这模糊图案的范围于图1A中标示为28。
从图1A可以推知,点光源24越远离对焦物件20与拍摄镜头25,点光源24的成像位置26就越靠近拍摄镜头25的第二侧一倍焦距f,模糊图案就越大,其亮度、清晰度、对比度会越差。
图1B显示对焦物件20在拍摄镜头25第一侧的2倍焦距(2f)上,点光源30位于拍摄镜头25第一侧的2倍焦距(2f)到1倍焦距之内。依据造镜者公式,其点光源30的成像位置32,将会位于第二侧的二倍焦距之外。类似图1A的结果,点光源30也会在相机中的感光元件产生模糊图案,其范围标示为34。点光源30越远离对焦物件20而接近拍摄镜头25,成像位置32就越远离拍摄镜头25,模糊图案就越大。
图1C类似图1A,两者差异仅仅于光圈值的不同。图1A中的光圈36比图1C中的光圈38大,图1C中模糊图案的范围标示为29。从图1A与图1C中的比较可知,光圈越小,散景就越小。两者比较也可以得知,散景之模糊图案的形状,会受到光圈的形状所影响。譬如说,如果光圈有六个叶片,叶片所形成的光通道形状可能为六角形,在感光元件上的模糊图案就可能有六芒星的图案。
由图1A、1B与1C可以推知,散景的结果,跟拍摄镜头25的光学参数、点光源的位置、以及对焦物件的位置有关。拍摄镜头25的光学参数包含有焦距f、光圈大小形状、透光率等等。对焦物件的位置等同于相机中的感光元件的坐落位置,两者的关系须符合造镜者公式。
图2显示本发明的一实施例中的一影像编辑方法37。在一实施例中,影像编辑方法37实施于一摄影装置(例如相机),或是一电脑系统中,作为一影像后制软件。此影像后制软件可由一相机镜头制造厂所提供,专门对于相机拍摄后所产生的原始影像进行处理。
首先,步骤S10先找出原始影像中的一些原始图案以及每个原始图案所对应的物件到拍摄镜头之间的个别物件距离。譬如说,这些原始图案有些是清晰的,有些是模糊的。原始清晰图案所对应的被拍摄物件称之为对焦物件、原始模糊图案所对应的被拍摄物件称之失焦物件。接着,步骤S12将一些原始模糊图案进行反模糊处理,而产生后制模拟图案。这些后制模拟图案理论上可以比原始模糊图案清晰。步骤S14以原始清晰图案以及后制模拟图案结合组成一模拟影像。
在一实施例中,步骤S12包含有步骤S121与S122。步骤S121根据拍摄镜头的许多光学参数,以及物件距离,可以得到一模糊处理。举例来说,假定拍摄镜头的光圈虚拟地变得无穷小(类似针孔照相机),此时散景可以完全忽略,感光元件上可以产生一虚拟影像,其都由虚拟清晰图案所构成,不论被摄影的物件是对焦还是失焦。每个失焦物件可以视为数个点光源的组合。原始影像中的原始模糊图案,可以说是失焦物件所对应的虚拟清晰图案经过模糊处理后的结果。这个模糊处理,类似先前的散景形成原因所解释的,将会跟拍摄镜头的光学参数、失焦物件的位置、以及对焦物件的位置有关。举例来说,模糊处理可以用查表或是理论推导而获得。
步骤S122根据模糊处理,对原始模糊图案进行反模糊处理,而产生后制模拟图案。因为模糊处理以及原始模糊图案都为已知,所以可以利用解联立方程式、反推或是追朔等的数学分析方法,得知是怎么样的一个后制模拟图案,经过模糊处理后,可以产生原始模糊图案。理论上,这个后制模拟图案可以近似或是等于一失焦物件所对应的虚拟清晰图案。
图3A显示一相机39拍摄一脸孔42、一树44、以及一远山46。图3B显示相机39,在一特定光学参数的条件下,像是一定的焦距、光圈、透光率等,所产生的原始影像40,其中大致可以找到一脸孔图案42f、一树图案44f、一远山图案46f。如同原始影像40中所显示,在这里假定脸孔42是对焦物件,树44与远山46是失焦物件。图2中的步骤S10可以找出图3A图中脸孔42、树44、以及远山46到相机39之间的个别距离:S42、S44、S46,如图3A所示。
图3C显示树图案44f以及模拟树图案44SIM-的关系,其中,模拟树图案44SIM经过模糊处理50处理后,可以得到树图案44f,而树图案44f经过反模糊处理52处理后,可以得到模拟树图案44SIM。从距离S42以及S44,以及一些相机39中的光学参数,可以得知图3C中的模糊处理50。模拟处理50的反函数为反模糊处理52。所以,依据距离S42以及S44、相机39中的光学参数以及树图案44f,图2中的步骤S12可以推知模拟树图案44SIM。类似的,模拟远山图案46SIM也可以被推知。
图3D显示,依据图2中的步骤S14,脸孔图案42f、模拟树图案44SIM、模拟远山图案46SIM组合后的模拟影像48。如同图3D所示,模拟树图案44SIM以及模拟远山图案46SIM分别取代了图3B中的树图案44f以及远山图案46f
决定物件距离
在一实施例中,物件与拍摄镜头间的各距离可以利用一距离检测单元(例如红外线距离检测单元)来取得。譬如说红外线距离检测单元发射红外线至所有的摄影的物件并据以获得各物件与检测单元之间的距离。此距离检测单元可安置于一相机上供作利用。或者,利用同一镜头以调整焦点的方式快速拍摄多张连续影像,而根据聚焦位置以及图案的清晰度可以获得各物件与拍摄镜头之间的距离。或者根据不同颜色光波长经过透镜的折射差异,例如RGB三色其过透镜焦点的微小差异,根据RGB图案清晰程度来判断距离的方法。或者,根据经验法则,例如较近的物件其图案较大较远的物件其图案较小,或者互相覆盖的图案来得知所有物件的前后关系,并估算出所有物件与拍摄镜头之间的距离。
在本发明的一实施例中,物件与拍摄镜头之间的距离,可利用两张原始影像来确认。图4显示以两台相机39L与39R取代图3A的相机39。两台相机水平39L与39R彼此相距一定距离。图5分别显示相机39L与39R中所产生的原始影像40L与40R
因为相机39L与39R之间有一定的距离,所以原始影像40L与40R虽然近似,但会有些许的不同。相对于原始影像40L中的脸孔图案42f,原始影像40R中脸孔图案42f往左有一平移量42d。类似的,原始影像40L与40R中的树图案44f的位置之间有平移量44d,小于平移量42d。远山图案44f在原始影像40L与40R中的位置则几乎没有改变,两者之间的平移量46d近乎0。从图5可知,平移量42d>平移量44d>平移量46d
如同图4所示,距离S46>距离S44>距离S42。换言之,一个图案在图5中两个原始影像40L与40R中的平移量,跟相对应物件到相机39L与39R之间的距离,有一定的关系。只要知道一原始图案在两个原始影像40L与40R中的平移量,就可以决定相对应物件距离一相机的距离。等效来说,平移量就是一种三维深度(3D Depth),其代表了对应物件跟一相机的距离。当然以上仅仅介绍一种三维深度的取得,并不是用于限制本发明。
原始影像40L与40R不一定需要两个相机来产生。举例来说,利用一具有二个拍摄镜头的相机,可以同时拍摄同一场景。两个原始影像的像素量或是解析度不必要相等。譬如说,其中之一的解析度比较高,做为之后要影像处理产生模拟影像用;另一个的解析度比较低,纯粹用来跟比较高解析度的原始影像作比较,找出物件到相机之间的距离。
当然,也可以利用单一拍摄镜头快速左右移动来拍摄相同场景取得两个影像,即可推知该原始影像中原始图案因为镜头左右移动所导致的平移量,供作所有物件与欲模拟镜头之间的距离的参考。
反模糊处理
假定一失焦点光源,在没有散景的虚拟条件下,在感光元件上产生了一图案,其以5x5像素阵列POINTSHARP表示如下:
在一定的光学参数下,这失焦点光源因为散景的效果,假设在感光元件上产生了另一个图案,其以5x5像素阵列POINTREAL举例表示如下:
这样的散景效果,可以视为一模糊函数H(f,A,Sp,Ssharp)对像素阵列POINTSHARP所进行的模糊处理产生的结果,其中,f,A,Sp,Ssharp分别焦距、光圈值、点光源的位置、以及对焦物件的位置(等同感光元件的坐落位置)。以上的例子中,可以定义其中,表示回旋(convolution)。在以上的条件下,可以得到以下的模糊函数H(f,A,Sp,Ssharp)。
如同先前所述,模糊函数H跟光学参数、此失焦点光源的位置、以及对焦物件的位置有关。举例来说,当失焦点光源的位置变了,模糊函数H也会跟着改变。
一被摄物品可以视为点光源的组合。假定其没有散景的状况下,失焦物品可以在感光元件上清晰成像的模拟图案,以像素阵列PSHARP表示;如果有散景的状况下,可以在感光元件上模糊成像的原始图案,以原始像素阵列PREAL表示。像素阵列PSHARP与PREAL两者将有以下公式(1)关系:
或简化的写成:
假定存在有反模糊函数G,符合以下条件
其中,1为单位矩阵,也就是矩阵中只有中间一个元素为1,其他的元素都为0。那公式(1)可以推演如下:
也就是
换言之,只要反模糊函数G存在,就可以将原本有散景效果的原始图案(以原始像素阵列PREAL表示)以反模糊函数G进行反模糊处理,反推而得到模拟图案,其理论上就是以比较清晰的像素阵列PSHARP所表示。
实际方面,反模糊函数G可能不存在,例如出现数学除零或是过于复杂等因素。但是,从数值分析观点而言,当分析最小误差函数条件下,可以藉由梯度(gradient)迭代或是递回(iteration)等方法,或是加上放宽收敛条件等等,一定可以得到一个近似或是可以接受的反模糊函数G。
因为所以反模糊函数G跟相机的光学参数、失焦物件的位置、以及对焦物件的位置有关。举例来说,一使用本发明的影像后制软件可以找到原始影像中对焦物件以及失焦物件的三维深度,来做为两者距离相机镜头的位置。然后再依据拍摄产生原始影像时的光圈、曝光时间等光学参数,透过查表法或是演算公式,直接提供针对一失焦物件的反模糊函数G。
在另一个实施例中,影像后制软件可以依据对焦物件以及失焦物件的三维深度、光圈、以及曝光时间等,先得到模糊函数H,然后才推算出反模糊函数G。模糊函数H可以先依据对焦物件以及失焦物件的三维深度、光圈、以及曝光时间等的不同变数组合,一一的以一相机镜头实际拍摄量测的方式,建立出许多的参考模糊函数。在实际的影像后制处理时,先用查表,从所有已经预先建好的参考模糊函数中,找到最接近的参考模糊函数HREF,然后用内插法或是外推法,来计算出一适当的模糊函数H。之后,可以用此模糊函数H,用解联立方程式的方式,来推算出反模糊函数G。
在另一个实施例中,反模糊函数G并不需要得知。如同先前所述,只要得知对焦物件以及失焦物件的三维深度等以及一相机镜头本身的光学特性(譬如镜头光圈、以及曝光时间等),模糊函数H就可以建立或是得知。依据本发明所实施例的一影像后制软件,可以先提供一个初始图案,其经过模糊函数H的模糊处理后,产生结果图案。然后以数学分析的方法,改变初始图案,使结果图案越来越逼近原始影像中的原始图案。当结果图案与原始图案小到一定程度时,就以初始图案来跟原始影像中其他图案相组合成为模拟影像。如此,也实现了反模糊处理的动作。
不同的应用
在一依据本发明所实施的一影像后制软件中,除了可以产生经过反模糊处理所得到的模拟图案所组合的模拟影像,该影像后制软件可以更进一步的模拟一个非拍摄镜头的特性,依据另一个非拍摄镜头的模糊函数H,来对第一次产生的模拟影像进行进一步的模拟。这进一步的模拟可以选取模拟影像中一些图案,以一个非拍摄镜头的模糊函数H来进行模糊处理,产生散景效果,然后重组成为另一个模拟影像。
以图6为例来说,反模糊处理可以将原始影像40中的树图案44f与远山图案46f变得清晰,形成模拟影像48。影像后制软件可以更进一步的,模拟另一个焦距不同的镜头,使用另一套光学参数,虚拟地把树44变为对焦物件,对模拟影像48中的模拟远山图案46SIM以及原始脸孔图案42f进行两个不一样的模糊处理,产生模拟远山图案46SIM2与模糊的模拟脸孔图案42SIM2,而再加上模拟树图案44SIM,得到模拟影像49。举例来说,可以依据另一套光学参数、脸孔42(原始对焦物件)距离镜头的位置距离S42、树44到镜头的位置距离S44,来找出相对应模糊函数,对模拟影像48中的原始脸孔图案42f进行模糊处理,产生模拟影像49中的模拟脸孔图案42SIM2
在另一个实施例中,一影像后制软件可以直接将针对拍摄镜头的反模糊处理以及针对非拍摄镜头的模糊处理组合,直接提供镜头转换后,所可能对于原始影像40产生的效果。换言之,依据本发明所实施的一影像后制软件可以直接从原始影像40,将其中的脸图案42f、树图案44f与远山图案46f,经过模拟转换处理,分别成为模拟脸图案42SIM2、模拟树图案44SIM与模拟远山图案46SIM2,如同图6所示。
反偏移处理
在曝光时,如果相机因为手震,产生了偏移,也会导致原始影像有模糊问题。依据本发明所实施的一影像后制软件,可以依据相机本身的偏移量、被拍摄的物件位置、以及相机的光学参数等,将原始影像中一些模糊原始图案,转换成比较清晰的模拟图案。模拟图案可以和原始影像中的一些原始图案重组,形成一模拟影像。
相机偏移发生,所导致的模糊原始影像,也可以视为一模糊函数H对一虚拟的没有发生偏移的清晰影像进行模糊处理的结果。所以,公式(1)一样适用在此,如下
其中,PSHARP为一被摄物件在没有相机偏移发生时,所应该在感光元件呈现的像素阵列;PREAL为该被摄物件在相机偏移发生时,在感光元件上呈现的原始像素阵列。
举例来说,PSHARP为一点光源所形成的聚焦影像,以5x5矩阵表示如下:
在相机发生偏移量Shift后,所形成的影像以原始像素阵列PREAL表示如下。
可以推得知,当下的模糊函数H应为:
这个模糊函数H,除了跟摄影镜头的光学参数、此点光源的位置、以及感光元件的坐落位置有关之外,还跟相机的偏移量Shift有关。
如同先前所说明的,如果模糊函数H的反函数(也就是反模糊函数G)存在,那就可以将原始像素阵列PREAL,经过反模糊函数G处理,得到一个模拟像素阵列PSIM-GUESS。这模拟像素阵列应该会近似清晰的像素阵列P-SHARP。当然,就算模糊函数H的反函数不存在,也可以用数学分析的方法,利用模糊函数H以及数值分析的手法,来推知产生模拟像素阵列PSIM-GUESS。模拟像素阵列PSIM-GUESS可以用来取代原始像素阵列PREAL,用来形成一张比较清晰的模拟影像。
在此对于相机的偏移所要找到模糊函数H或是反模糊函数G,需要知道相机的偏移量Shift,来作为一个输入。举例来说,一相机上配备有水平与垂直位移感测器,来决定此相机在曝光时的偏移量Shift。在本发明的一实施例中,依据摄影镜头的光学参数、一模糊图案的对应被摄影物距离摄影镜头的位置、感光元件的坐落位置、以及相机的偏移量Shift,一影像后制软件可以找出一模糊函数H,然后推算出反模糊函数G,最后以反模糊函数G对模糊图案进行反模糊处理,得到模拟图案,然后跟其他的模拟图案或是原始影像中的一原始图案,组合成为模拟影像。
实施装置
在一实施例,以上所述的影像处理方法可以执行于一数位相机中,如图7所示。数位相机80具有一镜头82装备于相机机身84上。相机机身84具有一距离检测单元86,可用来检测前方所有被摄影的物件与数位相机80之间的距离。
图8显示图7中的数位相机80中的元件的功能方块图。数位相机80内部具有距离检测单元86、感光元件88、光学参数提供器90、处理器92、存储器94、水平与垂直位移感测器96、以及屏幕98。
数位相机80以镜头82拍摄前方的物件后,感光元件88可以是一影像感测器,用来提供一原始影像。距离检测单元86可以提供处理器92一些相关资讯,可用来得知原始影像中每个像素所对应的被摄影物件到数位相机80的物件距离。处理器92可以从原始影像中的对比度、以及距离检测单元86所提供的距离数据,来辨识出原始影像中的清晰图案与模糊图案。清晰图案所对应的物件称为对焦物件,而模糊图案所对应的物件称为失焦物件。
在一实施例中,光学参数提供器90提供镜头82的焦距以及光圈等的光学参数。如同先前所述,依据这些光学参数、清晰图案与模糊图案的物件距离,处理器92可以得知产生模糊图案所经历的模糊函数H与相对应的反模糊函数G。处理器92可以以反模糊函数G,对模糊图案进行反模糊处理,而得到模拟图案。处理器92将模拟图案与清晰图案重组后,可以得到一模拟影像,显示在屏幕98上。
在一实施例中,存储器94中记录了不同光学参数与距离数据的每一个组合所对应的参考反模糊函数GREF。处理器92依据光学参数、清晰图案与模糊图案的物件距离,先从众多参考反模糊函数GREF中找到最适切的一个或两个参考反模糊函数GREF,然后以内差法或是外推法得到模糊图案所对应的反模糊函数G。
在另一个实施例中,存储器94中记录了不同光学参数与距离数据的每一个组合所对应的参考模糊函数HREF。处理器92依据光学参数、清晰图案与模糊图案的物件距离,先从众多参考模糊函数HREF中找到最适切的一个或两个参考模糊函数HREF,然后以内差法或是外推法得到模糊图案所应该经历的模糊函数H,接着反推出模糊图案所对应的反模糊函数G。
在一实施例中,距离检测单元86可以是一红外线距离检测单元。在另一个实施例中,距离检测单元86可以另一个镜头,提供另一个原始影像,解析度低于感光元件88所提供的原始影像。处理器92比较两个原始影像,得到其中的三维深度,作为一种物件距离。
水平与垂直位移感测器96提供数位相机80在感光元件88曝光产生原始影像时所遭遇的偏移量Shift。从这个偏移量Shift、原始影像中图案的物件距离、以及镜头82的光学参数,处理器92可以得知原始影像中的模糊图案所经历的模糊函数H与相对应的反模糊函数G。处理器92可以将模糊图案,以模糊函数H或反模糊函数G进行反模糊处理后,得到模拟图案。处理器92将模拟图案与清晰图案重组后,可以得到一模拟影像,显示在屏幕98上。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (18)

1.一种影像编辑方法,用以编辑一原始影像,其至少包括一原始清晰图案以及一原始模糊图案,分别对应被摄影的一对焦物件以及一失焦物件,该影像编辑方法包括下列步骤:
取得该失焦物件与一镜头之间的一失焦物件距离;
取得该对焦物件与该镜头之间的一对焦物件距离;
针对该原始模糊图案,同时依据该对焦物件距离、该失焦物件距离以及一光学参数进行一反模糊处理以得到一处理后的清晰图案;以及
依据该处理后的清晰图案以及该原始清晰图案形成一处理后影像。
2.如权利要求1所述的影像编辑方法,其特征在于,对该原始模糊图案进行该反模糊处理以得到一处理后的清晰图案的步骤,包含有:
依据该失焦物件距离以及该光学参数,得到一模糊函数;
依据该模糊函数,推算出一反模糊函数;以及
依据该反模糊函数处理该原始模糊图案,以得到该处理后的清晰图案。
3.如权利要求2所述的影像编辑方法,其特征在于,得到该模糊函数的步骤,包含有:
提供多个参考模糊函数;以及
依据该失焦物件距离以及该光学参数,从这些参考模糊函数中,选择一参考模糊函数,并据以决定该模糊函数。
4.如权利要求1所述的影像编辑方法,其特征在于,对该原始模糊图案进行该反模糊处理以得到一处理后的清晰图案的步骤,包含有:
根据该失焦物件距离以及该光学参数,决定一模糊函数;
提供一初始图案;
以该模糊函数对该初始图案进行一模糊处理,以得到一结果图案;
调整该初始图案,以使该结果图案逼近该原始模糊图案;以及
以该初始图案作为该处理后的清晰图案。
5.如权利要求4所述的影像编辑方法,其特征在于,该模糊处理为该反模糊处理的一反函数。
6.如权利要求1所述的影像编辑方法,其特征在于,该原始影像为一第一原始影像,取得该失焦物件距离的该步骤包含有:
取得一第二原始影像;以及
依据该第一与该第二原始影像,以取得该失焦物件距离。
7.如权利要求1所述的影像编辑方法,其特征在于,取得该失焦物件距离的该步骤包含有:
以一距离检测单元发射电磁波至该失焦物件,以检测该失焦物件距离。
8.如权利要求1所述的影像编辑方法,其特征在于,该处理后影像为一第一处理后影像,该影像编辑方法另包含有:
取得该对焦物件与该镜头之间的一对焦物件距离;以及
依据该对焦物件距离以及另一光学参数,对该处理后影像的至少一部分进行一模糊处理后,以得到一第二处理后影像。
9.一种影像编辑方法,用以编辑一原始影像,其至少包括一模糊图案以及一原始图案,该模糊图案对应一被摄影物件,该影像编辑方法包括下列步骤:
取得该被摄影物件与一镜头之间的一物件距离;
取得一相机偏移量;
根据该物件距离、该相机偏移量、以及一光学参数,对该模糊图案进行一反模糊处理,以得到一处理后图案;以及
使用该处理后图案以及该原始图案,来形成一处理后影像。
10.如权利要求9所述的影像编辑方法,其特征在于,另包含有:
以一位移感测器,来决定该相机偏移量。
11.一种影像处理装置,用以处理透过一镜头摄影产生的一原始影像,包含有:
一处理器,从该原始影像中辨识出一原始清晰图案以及一原始模糊图案,分别对应被摄影的一对焦物件以及一失焦物件;以及
一距离检测单元,取得该失焦物件与该镜头之间的一失焦物件距离,以及取得该对焦物件与该镜头之间的一对焦物件距离;
其中,该处理器依据该对焦物件距离、该失焦物件距离以及该镜头的一光学参数,对该原始模糊图案进行一反模糊处理以得到一处理后的清晰图案;以及
依据该处理后的清晰图案以及该原始清晰图案形成一处理后影像。
12.如权利要求11所述的影像处理装置,其特征在于,该影像处理装置另包含有一存储器,储存有多参考模糊函数,该处理器依据该失焦物件距离以及该光学参数,从这些参考模糊函数中选择一参考模糊函数,并据以决定一模糊函数。
13.如权利要求12所述的影像处理装置,其特征在于,该处理器依据该模糊函数,推算出一反模糊函数,以及依据该反模糊函数对该原始模糊图案进行该反模糊处理,以得到该处理后的清晰图案。
14.如权利要求12所述的影像处理装置,其特改正在于,该处理器提供并调整一初始图案,以使该初始图案利用该模糊函数进行一模糊处理所得到的一结果图案逼近该原始模糊图案,以及以该初始图案作为该处理后的清晰图案。
15.如权利要求11所述的影像处理装置,其特征在于,该影像处理装置另包含有一存储器,其记录了多参考反模糊函数,且该处理器依据这些参考反模糊函数的其中之一、该光学参数、以及该失焦物件距离对该原始模糊图案进行该反模糊处理,以得到该处理后的清晰图案。
16.如权利要求11所述的影像处理装置,其特征在于,该距离检测单元使该处理器取得另一原始影像,且该处理器依据该二原始影像,以取得该失焦物件距离。
17.如权利要求11所述的影像处理装置,其特征在于,另包含有一位移感测器,提供该原始影像供应器于产生该原始影像时的一偏移量。
18.如权利要求17所述的影像处理装置,其特征在于,该处理器根据该失焦物件距离、该光学参数、以及该偏移量,对该原始模糊图案进行该反模糊处理,以得到该处理后的清晰图案。
CN201310145159.8A 2013-04-24 2013-04-24 影像编辑方法以及影像处理装置 Expired - Fee Related CN104125385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310145159.8A CN104125385B (zh) 2013-04-24 2013-04-24 影像编辑方法以及影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310145159.8A CN104125385B (zh) 2013-04-24 2013-04-24 影像编辑方法以及影像处理装置

Publications (2)

Publication Number Publication Date
CN104125385A CN104125385A (zh) 2014-10-29
CN104125385B true CN104125385B (zh) 2017-09-01

Family

ID=51770639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310145159.8A Expired - Fee Related CN104125385B (zh) 2013-04-24 2013-04-24 影像编辑方法以及影像处理装置

Country Status (1)

Country Link
CN (1) CN104125385B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911894B (zh) * 2017-02-27 2020-10-30 冰辰网络科技(上海)有限公司 图像采集方法和移动终端
CN108881807A (zh) 2017-05-09 2018-11-23 富士通株式会社 用于对监控视频中的数据进行扩充的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
TW201044091A (en) * 2009-06-08 2010-12-16 Nat Univ Chung Cheng Apparatus and method for measuring depth and method for computing image defocus and blur status
CN101959013A (zh) * 2009-07-13 2011-01-26 佳能株式会社 图像处理设备和图像处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI355190B (en) * 2007-11-09 2011-12-21 Altek Corp Image capturing apparatus with suppressing image b
US8406510B2 (en) * 2010-03-10 2013-03-26 Industrial Technology Research Institute Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
US8587585B2 (en) * 2010-09-28 2013-11-19 Intel Corporation Backface culling for motion blur and depth of field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1392724A (zh) * 2001-06-19 2003-01-22 卡西欧计算机株式会社 图像拾取装置和方法、记录图像拾取方法程序的存储介质
TW201044091A (en) * 2009-06-08 2010-12-16 Nat Univ Chung Cheng Apparatus and method for measuring depth and method for computing image defocus and blur status
CN101959013A (zh) * 2009-07-13 2011-01-26 佳能株式会社 图像处理设备和图像处理方法

Also Published As

Publication number Publication date
CN104125385A (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN105814875B (zh) 选择用于立体成像的相机对
KR102213744B1 (ko) 선명하고 정확한 주밍 메커니즘 구현을 위한 광각 이미지 캡쳐링 요소 및 장초점 이미지 캡쳐링 요소의 활용방법
TWI692967B (zh) 影像裝置
CN101884222B (zh) 用于支持立体呈现的图像处理
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
TWI518436B (zh) 影像擷取裝置及影像處理方法
KR102636272B1 (ko) 영상 촬상 장치 및 이를 포함하는 전자 시스템
CN102740082A (zh) 图像处理装置及控制方法
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US9807372B2 (en) Focused image generation single depth information from multiple images from multiple sensors
CN104270560A (zh) 一种多点对焦方法和装置
WO2015192547A1 (zh) 一种基于移动终端的三维照片拍摄方法及移动终端
CN105678736B (zh) 具有孔径改变深度估计的图像处理系统及其操作方法
WO2012163370A1 (en) Image processing method and device
CN103177432A (zh) 一种用编码孔径相机获取全景图方法
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
US11950015B2 (en) Method for improved acquisition of images for photogrammetry
CN104125385B (zh) 影像编辑方法以及影像处理装置
CN103426143B (zh) 影像编辑方法以及相关的模糊参数建立方法
CN114945943A (zh) 基于虹膜大小估计深度
TWI504936B (zh) 影像處理裝置
US9319581B2 (en) Image editing method and associated apparatus
CN106373153A (zh) 一种基于阵列镜头的3d图像替换技术
JP2016134886A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170901

Termination date: 20190424

CF01 Termination of patent right due to non-payment of annual fee