CN102867310B - 影像处理方法与影像处理装置 - Google Patents

影像处理方法与影像处理装置 Download PDF

Info

Publication number
CN102867310B
CN102867310B CN201110186799.4A CN201110186799A CN102867310B CN 102867310 B CN102867310 B CN 102867310B CN 201110186799 A CN201110186799 A CN 201110186799A CN 102867310 B CN102867310 B CN 102867310B
Authority
CN
China
Prior art keywords
image
sub
partial
judge
modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110186799.4A
Other languages
English (en)
Other versions
CN102867310A (zh
Inventor
邓伟峰
张兆栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ali Corp
Original Assignee
Ali Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ali Corp filed Critical Ali Corp
Priority to CN201110186799.4A priority Critical patent/CN102867310B/zh
Publication of CN102867310A publication Critical patent/CN102867310A/zh
Application granted granted Critical
Publication of CN102867310B publication Critical patent/CN102867310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种影像处理方法与影像处理装置。所述影像处理方法,包括:依据目前图框的部分影像以及邻近图框中对应于部分影像的相对应影像,判断部分影像中的子影像是否为第一影像;以及当子影像不为第一影像,依据部分影像及相对应影像,判断子影像为第二影像或是第三影像,其中第一、第二影像之一为静止影像,另一为移动影像,第三影像为子影像与邻近影像接近的影像。

Description

影像处理方法与影像处理装置
技术领域
本发明是关于一种影像处理机制,尤指一种可将部分影像中的移动信息细化来产生部分影像中每一子影像的移动信息的影像处理方法及影像处理装置。
背景技术
目前来说,现有技术一般分为两类,一类是使用像素级运动自适应检测(Per-pixelMotion Adaptive Detection)来实现显示端的影像解交错的功能,虽然该方法易于实现,但存在分析窗口过小则运动标志不准确,分析窗口过大则硬件成本过高的问题;另外一种是使用移动补偿(motion compensation)来实现显示端的影像解交错的功能,虽然根据移动补偿所得到的影像的影像品质较佳,但移动补偿的计算逻辑相当复杂,且其计算成本也较高,不利于硬件的实现,此外,一旦移动补偿出现预测不准的情况也将会大幅地降低影像的品质。
发明内容
因此,本发明的目的之一在于提供一种可将部分影像中的移动信息细化来产生部分影像中每一子影像的移动信息的影像处理方法及影像处理装置,以解决现有技术所遭到的问题,达到低计算成本以及高影像品质的目的。
依据本发明的一实施例,其揭露了一种影像处理方法。该影像处理方法包括:依据一目前图框(frame)的一部分影像以及一邻近图框中对应于该部分影像的一相对应影像,比对是否发生变化;当未发生变化,则判断该部分影像中的一子影像的影像类型为一第一影像;当发生变化,则进一步判断水平边缘及部分影像上、下方是否接近,若水平边缘及部分影像上、下方不接近,则判断该部分影像中的一子影像的影像类型为一第二影像,若水平边缘及部分影像上方或下方接近,则判断该部分影像中的一子影像的影像类型为一第三影像;以及依据该子影像的影像类型产生一目标影像以取代该子影像原先的影像内容,其中当该子影像的影像类型被判断为该第一影像时,则直接使用该子影像的内容作为该目标影像,当该子影像的影像类型被判断为该第二影像时,参考该子影像的一上方影像与一下方影像,产生该目标影像取代该子影像的影像内容,当该子影像的影像类型被判断为该第三影像时,参考该子影像与该子影像的一上方影像或一下方影像,产生该目标影像取代该子影像的影像内容。
依据本发明的一实施例,其揭露了一种影像处理装置。影像处理装置包括一储存电路、一判断电路与一产生电路,其中储存电路用以储存目前图框以及邻近图框,而判断电路耦接至储存电路并用以判断子影像的影像类型,判断电路依据该目前图框的一部分影像以及该邻近图框中对应于该部分影像的一相对应影像,判断该部分影像中的一子影像的影像类型,其中影像类型分为一第一影像、依第二影像及一第三影像,其中该第一影像为一静止影像、该第二影像为一移动影像,以及该第三影像为该子影像与邻近影像接近的影像,以及产生电路耦接至判断电路并用以依据该子影像的影像类型来产生一目标影像,以取代该子影像原先的影像内容。
依据本发明的实施例,其采用级联结构将区块比对估测所得的移动信息(motioninformation)进一步细化为像素级的移动信息,可在不增加过多计算成本下提高解交错的影像品质效果。
附图说明
图1为本发明一实施例的影像处理装置的示意图。
图2为本发明的实施例中目前图框F的部分影像与一邻近图框Fadj的相对应影像的示意图。
图3A~图3B为第一实施例中当移动信息INFO指示出3×3的像素范围的影像为一静止影像时图1所示的判断电路判断3×3的像素范围内的一中心点影像的影像类型的操作流程图。
图4A~图4B为第一实施例中当移动信息INFO指示出3×3的像素范围的影像为一移动影像时图1所示的判断电路判断3×3的像素范围内的一中心点影像的影像类型的操作流程图。
图5为第一实施例中图1所示的产生电路产生每一子影像的目标影像IMG以更新该子影像的影像内容的操作流程图。
图6为第二实施例中当移动信息INFO指示出该3×3的像素范围的影像为静止影像时图1所示的判断电路判断3×3的像素范围内的一中心点影像的影像类型的操作流程图。
图7为第二实施例中当移动信息INFO指示出该3×3的像素范围的影像为移动影像时图1所示的判断电路判断3×3的像素范围内的一中心点影像的影像类型的操作流程图。
图8为第二实施例中图1所示的产生电路产生每一子影像的目标影像IMG以更新该子影像的影像内容的操作流程图。
图9为本发明第三实施例的影像处理装置的示意图。
图10A为图9所示的判断电路的操作流程图。
图10B为图9所示的产生电路的操作流程图。
附图标号:
100、900       影像处理装置
105、905       储存电路
110、910       判断电路
115、915       产生电路
202            部分影像
202A~202C     部分影像的子影像
204            相对应影像
204A~204C     相对应影像的子影像
具体实施方式
请参照图1,图1是本发明一实施例的影像处理装置100的示意图。影像处理装置100包括一储存电路105、一判断电路110以及一产生电路115,储存电路105接收多个输入图框F_0~F_n,这些输入图框F_0~F_n包括一目前图框F与多个邻近的图框Fadj(例如前一张图框与后一张图框),目前图框F可视为由多个具有较小范围的影像所组成,每一具有较小范围的影像可视为该目前图框中的一部分影像,换言之,目前图框F包括多个部分影像,而每一邻近图框Fadj则亦由多个具有较小范围的影像所组成,该些具有较小范围的影像在空间位置上分别对应于目前图框F中的多个部分影像,因此,对目前图框F中的某一特定部分影像来说,于一邻近图框Fadj中可找到对应于该特定部分影像的一相对应影像(具有相同的空间位置关系),此外,每一部分影像包括多个子影像,以本实施例而言,一部分影像是指由3×3的像素所组成的影像范围,亦即每一部分影像将会由各别的三条扫描线所提供,而子影像则为3×3像素范围中的一特定像素,在本实施例中,子影像是指3×3像素范围中的中心点像素的影像;然而,此非本发明的限制。此外,3×3像素范围仅为本发明的其中一种实施方式,于其他实施方式上,亦可采用N×N像素范围,而N为大于3的正整数,例如N可以是16。储存电路105的目的则用以暂存上述这些像素数据,供后续判断电路110进行计算来判断目前图框F中每一子影像的影像类型。通过判断电路110的操作,无需经由对目前图框F中的每一子影像(亦即每一像素)进行复杂繁琐的移动估测,只需以区块比对估测所得出的移动信息INFO为基础并使用简单的计算逻辑,来对该移动信息进行细化,即可快速且有效地产生目前图框F中每一子影像的影像类型IMG_TYPE,之后产生电路115可依据判断电路110所输出的影像类型结果IMG_TYPE来产生每一像素的目标影像IMG,以更新每一像素的影像,达到提高部分影像品质的目的。请注意,移动信息INFO可以是解码过程中邻近两影像图框相对应的区块比对所产生的移动标志或静止标志,亦即为一范围较大的移动信息,此外,判断电路110也可不需通过另外接收移动信息INFO来将移动信息INFO进行细化,而可直接考虑当影像为移动或静止的不同情况来产生移动信息细化的效果,凡此亦符合本发明的精神,而属于本发明的范畴。
如上所述,判断电路110耦接至储存电路105并用以判断出上述子影像的影像类型IMG_TYPE。其操作方式如下:首先,依据目前图框F的部分影像以及一邻近图框Fadj(例如一先前图框或一后续图框)的相对应影像,先判断该部分影像的一子影像是否为第一影像;接着,若该子影像不为该第一影像,则再依据部分影像以及相对应影像判断子影像是否为第二影像;接着,若子影像不为第二影像,则再依据部分影像以及相对应影像判断子影像是否为第四影像或第五影像。换言之,本实施例所提出的影像类型包括有四种影像类型的可能,其中各种影像分别定义如下:第一影像的影像类型指示了子影像为静止影像;第二影像的影像类型则指示了子影像为移动影像;以及第四影像的影像类型指示了子影像和下方影像均为静止的影像;第五影像的影像类型指示了子影像和上方影像均为静止的影像。由于判断电路110可对每一部分影像中的每一子影像进行上述四种影像类型的分类,产生电路115即可依据子影像被分类为何种类型的影像来决定产生目标影像IMG的方式,目标影像IMG用以取代原本的子影像,如此即可达到提高影像品质的目的;而一般仅依据区块比对估测的结果来产生每一子影像(像素)的目标影像则会因为移动信息过于粗糙,使得仅依据区块比对估测的结果而产生的目标影像的影像品质不高,因此,本发明的实施例利用区块比对估测所估计出的移动信息INFO并对一较大影像范围内的每一较小的影像(例如一像素)进行移动信息的细化,可精确地判断出该较小影像是否为移动的影像、静止的影像、上方静止的影像或是一下方静止的影像,使得后续所产生的目标影像IMG可更加细致。
为了判断出一子影像应被分类为四种影像的其中之一,在本实施例中,参考区块比对估测所得的移动信息结果来进行一子影像的影像类型分类,然而,需注意的是,在其他实施例中,亦可不参考区块比对估测所得的移动信息结果而直接对子影像进行影像类型分类,此一实施方式亦属于本发明的范畴。为了进行子影像的影像类型的分类,判断电路110于实作上会进行影像像素值与差值的计算,来判断部分影像中是否存在水平边缘、是否发生影像变化、是否发生影像梯度变化以及中心点上、下方的影像是否平缓(亦即是否中心点上、下方具有平坦的影像)等。请参照图2,图2是本发明的实施例中一目前图框F的部分影像202与一邻近图框Fadj的相对应影像204的示意图。如图2所示,部分影像202中包括位于一中心点的子影像202B、位于中心点上、下方的影像202A与202C以及其他影像,而相对应影像204中包括影像204A~204C以及其他影像,其中判断电路110可计算子影像202B与影像204B的影像差值,若该影像差值大于一相对应门槛值TH0,则判断电路110判断部分影像中位于中心点的子影像发生影像变化,反之,则判断为并未发生影像变化。
相同地,判断电路110可计算子影像202A与影像204A的影像差值以及子影像202C与影像204C的影像差值,若影像差值大于相对应门槛值TH0,则判断电路110判断部分影像中位于中心点上方/下方的子影像发生影像变化,反之,则判断为并未发生影像变化。此外,判断电路110可计算子影像202B与影像202A(或202C)的影像差值来判断是否部分影像中存在水平边缘,若该影像差值大于一相对应门槛值TH1,则判断电路110判断部分影像202中存在有水平边缘,反之则判断并未存在水平边缘。此外,判断电路110可计算子影像202A、202B的差值与影像204A、204B的差值,并利用该两差值的差值结果来判断部分影像202的中心点上方的影像梯度是否发生变化,若该差值结果大于一相对应门槛值TH2,则判断电路110判断部分影像202的中心点上方存在有影像梯度变化,反之则判断部分影像202的中心点上方并未存在影像梯度变化,同样地,判断电路110可计算子影像202B、202C的差值与影像204B、204C的差值,并利用该两差值的差值结果来判断部分影像202的中心点下方的影像梯度是否发生变化,若该差值结果大于一相对应门槛值TH3,则判断电路110判断部分影像202的中心点下方存在有影像梯度变化,反之则判断部分影像202的中心点下方并未存在影像梯度变化,而只要部分影像202中存在有影像梯度变化(无论是中心点的上方或下方),判断电路110即会判断出部分影像202中具有影像梯度的变化。
此外,判断电路110可计算子影像202A、202B的影像差值来判断部分影像202的中心点上方的影像是否平缓(亦即是否具有上方平坦影像),若该影像差值小于一相对应门槛值TH4,则判断电路110判断出部分影像202的中心点上方的影像为平缓,反之则判断为不平缓,同样地,判断电路110可计算子影像202B、202C的影像差值来判断部分影像202的中心点下方的影像是否平缓(亦即是否具有下方平坦影像),若该影像差值小于一相对应门槛值TH5,则判断电路110判断出部分影像202的中心点下方的影像为平缓,反之则判断为不平缓。利用上述的判断结果,判断电路110可依据以下的分类逻辑适当地得出每一子影像的影像类型。
请参照图3A~图3B与图4A~图4B,图3A~图3B与图4A~图4B分别是图1所示的判断电路110的操作流程示意图。图3A~图3B为当移动信息INFO指示出该3×3的像素范围的影像为一静止影像时图1所示的判断电路110判断3×3的像素范围内的一中心点影像(本发明或称为子影像)的影像类型的操作流程图,而图4A~图4B为当移动信息INFO指示出该3×3的像素范围的影像为一移动影像时图1所示的判断电路110判断3×3的像素范围内的一中心点影像(于本发明中或称为子影像)的影像类型的操作流程图。倘若大体上可达到相同的结果,并不需要一定依照图3A~图3B与图4A~图4B所示的流程中的步骤顺序来进行,且图3A~图3B与图4A~图4B所示的步骤不一定要连续进行,亦即其他步骤亦可插入其中。图3A~图3B与图4A~图4B所示的步骤的说明分别描述于下:
步骤302:判断电路110接收目前图框中的3×3像素范围(亦即本实施例的部分影像)的移动信息INFO,而移动信息INFO指示出3×3像素范围的影像为静止影像(still);
步骤304:判断电路110判断3×3像素范围与一邻近图框Fadj中的相对应影像(亦为一3×3像素范围)之间是否发生影像变化或发生影像梯度变化,例如判断3×3像素范围的中心点像素、中心点上方像素或下方像素是否发生影像变化,而如果发生影像变化或影像梯度变化,则进行步骤308,反之,如果都没有影像变化或影像梯度变化,进行步骤306;
步骤306:判断电路110判定3×3像素范围的中心点像素的影像为一静止影像(亦即上述所定义的第一影像);
步骤308:判断电路110判断3×3像素范围中是否具有至少一水平边缘,如果具有至少一水平边缘,则进行步骤312,反之,如果判断出不具有任何水平边缘,则进行步骤310;
步骤310:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述所定义的第二影像);
步骤312:判断电路110判断3×3像素范围的中心点上方的像素与中心点下方的像素是否同时具有变化平缓的影像,如果同时具有变化平缓的影像,则进行步骤314,反之,如果仅具上方平缓影像与下方平缓影像的其中之一或皆并未具有变化平缓的影像,则进行步骤316;
步骤314:判断电路110判定3×3像素范围的中心点像素的影像为一静止的影像(亦即前述的第一影像);
步骤316:判断电路110判断是否3×3像素范围的中心点像素并未发生影像变化以及同时判断中心点上方像素或下方像素的至少其中之一并未发生影像变化,若是,则进行步骤318,反之,则进行步骤320;
步骤318:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(前述所定义的第二影像);
步骤320:判断电路110判断是否3×3像素范围的中心点像素并未发生影像变化以及是否3×3像素范围的影像梯度并未发生变化,若是,则进行步骤324,反之,则进行步骤322;
步骤322:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(前述所定义的第二影像);
步骤324:判断电路110判断是否3×3像素范围的中心点上方像素并未发生影像变化以及3×3像素范围的中心点下方的影像是否为平缓变化的影像,若是,则进行步骤326,反之,则进行步骤328;
步骤326:判断电路110判定3×3像素范围的中心点像素及其下方影像为静止影像,亦即判定中心点像素为前述所定义的第四影像;
步骤328:判断电路110判断是否3×3像素范围的中心点下方像素并未发生影像变化以及3×3像素范围的中心点上方的影像是否为平缓变化的影像,若是,则进行步骤330,反之,则进行步骤332;
步骤330:判断电路110判定3×3像素范围的中心点像素及其上方影像为静止影像,亦即判定中心点像素为前述所定义的第五影像;以及
步骤332:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(前述所定义的第二影像)。
步骤402:判断电路110接收目前图框F中的3×3像素范围(亦即本实施例的部分影像)的移动信息INFO,而移动信息INFO指示出3×3像素范围的影像为移动影像(motion);
步骤404:判断电路110判断3×3像素范围中是否具有至少一水平边缘,如果具有至少一水平边缘,则进行步骤408,反之,如果判断出不具有任何水平边缘,则进行步骤406;
步骤406:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述所定义的第二影像);
步骤408:判断电路110判断3×3像素范围的中心点上方的像素与中心点下方的像素是否同时具有变化平缓的影像,如果同时具有变化平缓的影像,则进行步骤410,反之,如果仅具上方平缓影像与下方平缓影像的其中之一或皆并未具有变化平缓的影像,则进行步骤412;
步骤410:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述的第二影像);
步骤412:判断电路110判断是否3×3像素范围的中心点像素并未发生影像变化以及是否3×3像素范围的影像梯度并未发生变化,若是,则进行步骤414,反之,则进行步骤416;
步骤414:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述的第二影像);
步骤416:判断电路110判断是否3×3像素范围的中心点像素存在影像变化以及是否3×3像素范围的影像梯度并未发生变化,若是,则进行步骤420,反之,则进行步骤418;
步骤418:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述的第二影像);
步骤420:判断电路110判断3×3像素范围的中心点上方的像素是否具有变化平缓的影像以及同时中心点下方的像素是否并未具有变化平缓的影像,若是,则进行步骤422,反之,则进行步骤424;
步骤422:判断电路110判定3×3像素范围的中心点像素及其下方影像为静止影像,亦即判定中心点像素为前述所定义的第四影像;
步骤424:判断电路110判断3×3像素范围的中心点下方的像素是否具有变化平缓的影像以及同时中心点上方的像素是否并未具有变化平缓的影像,若是,则进行步骤426,反之,则进行步骤428;
步骤426:判断电路110判定3×3像素范围的中心点像素及其上方影像为静止影像,亦即判定中心点像素为前述所定义的第五影像;以及
步骤428:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述的第二影像)。
当判断电路110判断出部分影像中一子影像(一像素)的影像类型后,会接着输出该影像类型的结果IMG_TYPE至产生电路115,而产生电路115则依据所接收到的影像类型结果IMG_TYPE来决定该像素的目标影像IMG。请参照图5,图5是图1所示的产生电路115产生每一子影像的目标影像IMG以更新该子影像的影像内容的操作流程图。如图5所示,于步骤502中,产生电路115接收到判断电路110所输出的影像类型结果IMG_TYPE,该影像类型结果IMG_TYPE指示出一子影像(亦即一像素)属于前述四种影像的其中一种。于步骤504中,产生电路115检查该影像类型的结果IMG_TYPE是否指示出该子影像为静止影像且同时其上下方影像皆是静止的影像,若是,则表示子影像属于前述所定义的第一影像,流程进入步骤506,反之,则继续进行检查,流程进入步骤508。于步骤508中,产生电路115检查该影像类型的结果IMG_TYPE是否指示出该子影像及其上方影像为静止影像,若是,则表示子影像属于前述所定义的第五影像,流程进入步骤510,反之,则继续进行检查,流程进入步骤512。于步骤512中,产生电路115检查该影像类型的结果IMG_TYPE是否指示出该子影像及其下方影像为静止影像,若是,则表示子影像属于前述所定义的第四影像,流程进入步骤514,反之,则表示该子影像为移动的影像(亦即前述所定义的第二影像),流程进入步骤516。
在步骤506中,由于该子影像被判定属于第一影像(亦即静止的影像),所以产生电路115直接使用该子影像的影像内容作为目标影像IMG,也就是说,当该子影像属于第一影像时,产生电路115并不需要更新该子影像的影像内容。在步骤510中,由于该子影像被判定属于第五影像(亦即该子影像及其上方影像为静止影像),所以产生电路115参考该子影像的上方影像的影像内容以及该子影像本身的影像内容来产生目标影像IMG以取代该子影像原先的影像内容,实作上,产生电路115对该子影像的上方影像的影像内容(例如灰阶值)以及该子影像本身的影像内容进行算术平均来产生目标影像IMG,然而此仅为本发明的其中一种实作方式,并非是本发明的限制。此外,在步骤514中,由于该子影像被判定属于第四影像(亦即该子影像及其下方影像为静止影像),所以产生电路115参考该子影像的下方影像的影像内容以及该子影像本身的影像内容来产生目标影像IMG以取代该子影像原先的影像内容,实作上,产生电路115是对该子影像的下方影像的影像内容(例如灰阶值)以及该子影像本身的影像内容进行算术平均来产生目标影像IMG,然而此仅为本发明的其中一种实作方式,并非是本发明的限制。此外,在步骤516中,由于该子影像被判定属于第二影像(亦即子影像为移动的影像),所以产生电路115参考该子影像的下方影像的影像内容以及该子影像的上方影像的影像内容来产生目标影像IMG以取代该子影像原先的影像内容,实作上,产生电路115是对该子影像的上、下方影像的影像内容(例如灰阶值)进行算术平均来产生目标影像IMG,然而此仅为本发明的其中一种实作方式,并非是本发明的限制。
需注意的是,图5所示的操作流程仅表示图1所示的产生电路115的其中一种操作方式,于其他实施例中,产生电路115可不需逐一检查是否子影像为四种影像的其中一种,而直接依据其影像类型的结果IMG_TYPE来产生目标影像IMG,而此一设计变化亦属于本发明的范畴。另外,前述实施例可应用于一显示端中,用于提高显示端解交错能力,也就是说,采用上述实施例所使用的级联结构,可将解码端的区块比对估测所得的移动信息在显示端进一步细化为像素级的移动信息,使得可在不增加过多计算成本下提高解交错的影像品质效果。
在本发明的第二实施例中,如图1所示的影像处理装置100,判断电路亦可在当子影像不为第二影像时,依据前述的部分影像以及相对应影像,判断子影像是否为第三影像,其中第一、第二影像之一为一静止影像,另一为一移动影像,以及第三影像为子影像与其部分邻近影像为静止的影像(即子影像及其上方或下方影像为静止影像,也就是子影像与子影像的上方或下方其中一方为静止影像),换言之,第二实施例所提出的影像类型包括有第一至第三影像等三种可能。由于判断电路110可对每一部分影像中的每一子影像进行上述三种影像类型的分类,产生电路115即可依据子影像被分类为何种类型的影像来决定产生目标影像IMG的方式,目标影像IMG用以取代原本的子影像,如此即可达到提高影像品质的目的。
请参照图6与图7。图6为第二实施例中当移动信息INFO指示出该3×3的像素范围的影像为静止影像时图1所示的判断电路110判断3×3的像素范围内的一中心点影像(本发明或称为子影像)的影像类型的操作流程图,而图7为第二实施例中当移动信息INFO指示出该3×3的像素范围的影像为移动影像时图1所示的判断电路110判断3×3的像素范围内的一中心点影像的影像类型的操作流程图。倘若大体上可达到相同的结果,并不需要一定依照图6与图7所示的流程中的步骤顺序来进行,且图6与图7所示的步骤不一定要连续进行,亦即其他步骤亦可插入其中。图6与图7所示的步骤的说明分别描述于下:
步骤602:判断电路110接收目前图框中的3×3像素范围(亦即本实施例的部分影像)的移动信息INFO,而移动信息INFO指示出3×3像素范围的影像为静止影像(still);
步骤604:判断电路110判断部分影像以及周围的影像是否均未发生变化或者部分影像是否与邻近影像接近?若是,进行步骤608,反之,进行步骤606;
步骤606:判断电路110判断部分影像中心点是否在水平边缘上并且部分影像是否与上方或下方影像接近?若是,进行步骤610,反之,进行步骤612;
步骤608:判断电路110判定3×3像素范围的中心点像素的影像为一静止的影像(亦即前述的第一影像);
步骤610:判断电路110判定3×3像素范围的中心点像素的影像为前述第二实施例的第三影像;以及
步骤612:判断电路110判定3×3像素范围的中心点像素的影像为一移动的影像(亦即前述的第二影像)。
步骤702:判断电路110接收目前图框F中的3×3像素范围(亦即本实施例的部分影像)的移动信息INFO,而移动信息INFO指示出3×3像素范围的影像为移动影像(motion);
步骤704:判断电路110判断部分影像的中心点是否在水平边缘?若是,进行步骤706,反之,进行步骤710;
步骤706:判断电路110判断部分影像以及其周围的影像的梯度是否并未发生变化?若是,进行步骤712,反之,进行步骤708;
步骤708:判断电路110判断部分影像与上方或下方影像是否接近以及部分影像与其周围的影像的梯度是否并未发生变化?若是,进行步骤714,反之,进行步骤710;
步骤710:判断电路110判定3×3像素范围的中心点像素的影像为第二影像;
步骤712:判断电路110判定3×3像素范围的中心点像素的影像为第一影像;以及
步骤714:判断电路110判定3×3像素范围的中心点像素的影像为第二实施例的第三影像。
需注意的是,在步骤604中,判断电路110判断部分影像以及周围的影像是否并未发生变化的操作,通过判断部分影像的四周影像的中心点像素与相对应影像的中心点像素的差值是否小于一定的门限值,或通过判断部分影像的四周影像的与相对应影像的差值是否小于一定的门限值来完成,举例来说,如果部分影像的左边影像的中心点像素为C1,其对应的影像的中心点像素为C1’,则当C1与C1’之间的差值小于门限TH0时,判断电路110判定部分影像及左边的影像并未发生变化,而通过分别对部分影像及其他周围的影像进行上述的判断,若各别的差值皆小于门限TH0,则判定部分影像及其四周围的影像并未发生变化。而在另一例子中,如果左边影像为三个像素C0、C1及C2所组成,而相对应影像由像素C0’、C1’及C2’所组成,则当像素C0、C1及C2的像素值加权平均(例如(C0+2×C1+C2)/4)与像素C0’、C1’及C2’的像素值加权平均(例如(C0’+2×C1’+C2’)/4)之间的差值小于一定的门限TH1时,判断电路110判定部分影像及左边的影像并未发生变化,而通过分别对部分影像及其他周围的影像进行上述的判断,若各别像素加权平均的差值皆小于门限TH1,则判定部分影像及其四周围的影像并未发生变化。此外,在步骤604中,判断电路110判断部分影像是否与邻近影像接近的操作,通过判断部分影像的中心点像素与邻近影像的中心点像素的差值是否小于一定的门限,或通过判断部分影像与邻近影像的的差值是否小于一定的门限来完成,操作上类似于前述的判断操作,另外,在步骤606中,判断电路110判断部分影像中心点是否在水平边缘上并且部分影像是否与上方或下方影像接近的操作亦通过判断是否其差值小于一定的门限来完成,操作上也类似于前述的判断操作,为了简化说明书的篇幅,在此不另赘述。
此外,在步骤706中,判断电路110判断部分影像以及其周围的影像的梯度是否并未发生变化的操作,通过判断部分影像的影像梯度与周围影像的影像梯度的差值是否小于一定门限来完成,举例来说,如果部分影像是由像素C0、C1与C2所组成,周围影像是由C0’、C1’与C2’所组成,则判断电路110计算像素C0与C1的差值以及像素C0’与C1’的差值,并计算该两差值之间的差值,判断所计算出的差值是否小于门限值TH2,如果所计算出的差值是否小于门限值TH2,则判断电路110判定影像梯度并未发生变化,反之,则判定影像梯度发生了变化,而判断电路110也可通过计算像素C2与C1的差值以及像素C2’与C1’的差值,并计算该两差值之间的差值,判断所计算出的差值是否小于门限值TH3来判断影像梯度有无发生变化,或者判断电路110可执行上述的两起判断操作来判断影像梯度有无发生变化。此外,判断电路110也可采用像素C0与C1的差值、像素C0’与C1’的差值、像素C2与C1的差值以及像素C2’与C1’的差值之间相关的差值(例如,来判断影像梯度有无发生变化,例如,当差值||C0-C1|+|C0′-C1′|-|C2-C1|-|C2′-C1′||小于门限值TH4时,判断电路110判定并未发生影像梯度的变化,反之,则判定发生了影像梯度的变化。另外,判断电路110判断部分影像与上方或下方影像是否托近的操作亦类似于前述的判断操作,为了简化说明书的篇幅,在此不另赘述。
请参照图8,图8是第二实施例中图1所示的产生电路115产生每一子影像的目标影像IMG以更新该子影像的影像内容的操作流程图。如图8所示,于步骤802中,产生电路115接收到判断电路110所输出的影像类型结果IMG_TYPE,该影像类型结果IMG_TYPE指示出一子影像(亦即一像素)属于前述三种影像的其中一种。于步骤804中,产生电路115检查该影像类型的结果IMG_TYPE是否指示出该子影像为静止影像且同时其上下方影像皆是静止的影像,若是,则表示子影像属于前述所定义的第一影像,流程进入步骤806,反之,则继续进行检查,流程进入步骤808。于步骤808中,产生电路115检查该影像类型的结果IMG_TYPE是否指示出该子影像为前述的第三影像,若是,则表示子影像属于第三影像,流程进入步骤810,反之,则表示子影像属于第二影像,流程进入步骤812。
在步骤806中,由于该子影像被判定属于第一影像(亦即静止的影像),所以产生电路115直接使用该子影像的影像内容作为目标影像IMG,也就是说,当该子影像属于第一影像时,产生电路115并不需要更新该子影像的影像内容。在步骤810中,由于该子影像被判定属于第三影像,所以产生电路115参考该子影像的上方或下方影像的影像内容以及该子影像本身的影像内容来产生目标影像IMG以取代该子影像原先的影像内容,实作上,产生电路115是对该子影像的上方或下方影像的影像内容(例如灰阶值)以及该子影像本身的影像内容进行算术平均来产生目标影像IMG,然而此仅为本发明的其中一种实作方式,并非是本发明的限制。此外,在步骤812中,由于该子影像被判定属于第二影像(亦即子影像为移动的影像),所以产生电路115参考该子影像的下方影像的影像内容以及该子影像的上方影像的影像内容来产生目标影像IMG以取代该子影像原先的影像内容,在此实施例中,产生电路115是对该子影像的上、下方影像的影像内容(例如灰阶值)进行算术平均来产生目标影像IMG,然而此仅为本发明的其中一种实作方式,并非是本发明的限制。
需注意的是,图8所示的操作流程仅表示本发明第二实施例的图1所示的产生电路115的其中一种操作方式,于其他实施例中,产生电路115可不需逐一检查是否子影像为第一至第三影像的其中一种,而直接依据其影像类型的结果IMG_TYPE来产生目标影像IMG,而此一设计变化亦属于本发明的范畴。另外,前述实施例可应用于一显示端中,用于提高显示端解交错能力,也就是说,采用上述实施例所使用的级联结构,可将解码端的区块比对估测所得的移动信息在显示端进一步细化为像素级的移动信息,使得可在不增加过多计算成本下提高解交错的影像品质效果。
此外,在一较佳实施例中,判断电路也可不需参考移动信息INFO来判断目前图框F中每一子影像的影像类型,以节省讯号传输及计算成本。请搭配参照图9、图10A与图10B,图9是本发明第三实施例的影像处理装置900的示意图,而图10A与图10B分别是图9所示的判断电路910与产生电路915的操作流程图。影像处理装置900包括储存电路905、判断电路910以及产生电路915,其中储存电路905以及产生电路915的操作与功能相似于前述的储存电路105以及产生电路115的操作与功能,为了简化说明,在此不另赘述;另外,判断电路910可不参考移动信息INFO,通过接收多个输入图框F_0~F_n而直接判断目前图框F中每一子影像的影像类型并据此输出影像类型结果IMG_TYPE至产生电路915。即当判断电路910判断目前图框F中的子影像的影像类型为第一影像(步骤1006)、第二影像(步骤1010)或是第三影像(步骤1008),判断电路910会输出影像类型结果IMG_TYPE至产生电路915,产生电路915会依据影像类型结果产生一目标影像以取代该子影像原先的影像内容。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (16)

1.一种影像处理方法,其特征在于,所述影像处理方法包括:
依据一目前图框的一部分影像以及一邻近图框中对应于所述部分影像的一相对应影像,比对是否发生变化;
当未发生变化,则判断所述部分影像中的一子影像的影像类型为一第一影像;
当发生变化,则进一步判断部分影像是否在水平边缘上及部分影像与部分影像的上方或下方影像是否接近,若部分影像在水平边缘上及部分影像与部分影像的上方或下方影像不接近,则判断所述部分影像中的一子影像的影像类型为一第二影像,若部分影像在水平边缘上及部分影像与部分影像的上方或下方影像接近,则判断所述部分影像中的一子影像的影像类型为一第三影像;以及
依据所述子影像的影像类型产生一目标影像以取代所述子影像原先的影像内容,其中当所述子影像的影像类型被判断为所述第一影像时,则直接使用所述子影像的内容作为所述目标影像,当所述子影像的影像类型被判断为所述第二影像时,参考所述子影像的一上方影像与一下方影像,产生所述目标影像取代所述子影像的影像内容,当所述子影像的影像类型被判断为所述第三影像时,参考所述子影像与所述子影像的一上方影像或一下方影像,产生所述目标影像取代所述子影像的影像内容。
2.如权利要求1所述的影像处理方法,其特征在于,当所述子影像的影像类型被判断为所述第二影像时,参考所述子影像的所述上方影像与所述下方影像产生所述目标影像的步骤包括:
对所述子影像的所述上方影像与所述下方影像进行平均来产生所述目标影像。
3.如权利要求1所述的影像处理方法,其特征在于,当所述子影像类型被判断为所述第三影像时,所述第三影像的所述上、下方影像其中一方为一静止影像与另一方为一移动影像,以及所述影像处理方法另包括:
当所述子影像被判断为所述第三影像时,参考所述子影像邻近的一方静止影像与所述子影像,产生一目标影像取代所述子影像的影像内容,其中参考所述子影像邻近的一方静止影像与所述子影像是对所述子影像与所述子影像的邻近的所述静止影像进行平均来产生所述目标影像。
4.如权利要求1所述的影像处理方法,其特征在于,判断所述部分影像中的所述子影像的影像类型为所述第一影像的步骤包括:
参考所述部分影像的一移动信息来判断所述子影像是否为所述第一影像;以及
所述移动信息指示出所述部分影像是一静止影像时,判断所述部分影像与所述相对应影像之间是否有一影像变化或一影像梯度变化,来决定是否所述子影像为所述第一影像。
5.如权利要求4所述的影像处理方法,其特征在于,判断所述子影像是否为所述第一影像另包括:
当所述影像变化或所述影像梯度变化的至少其中之一大于一相对应门槛值时,判断是否所述部分影像中具有一水平边缘以及判断所述部分影像中是否包括有一上方平坦影像与一下方平坦影像;以及
当所述部分影像中具有一水平边缘且包括有所述上方平坦影像与所述下方平坦影像时,判断所述子影像为所述第一影像。
6.如权利要求4所述的影像处理方法,其特征在于,判断所述子影像是否为所述第一影像包括:
当所述部分影像与所述相对应影像之间不具有所述影像变化或所述影像梯度变化以及所述部分影像不包括一水平边缘时,判断所述子影像为所述第一影像。
7.如权利要求5所述的影像处理方法,其特征在于,判断所述子影像是否为所述第二影像包括:
当所述部分影像具有所述水平边缘以及所述部分影像并未同时包括所述上方平坦影像与所述下方平坦影像时,判断所述部分影像与所述相对应影像之间的一影像变化关系或一影像梯度变化关系,来决定所述子影像是否为所述第二影像。
8.如权利要求7所述的影像处理方法,其特征在于,所述第三影像的所述上、下方影像分别为一静止影像与一移动影像,以及判断所述子影像的影像类型是否为所述第三影像的步骤包括:
当所述影像变化关系指示出所述子影像的一空间位置所对应的影像并未发生变化以及所述影像梯度关系指示出所述并未发生一影像梯度变化时,判断所述部分影像中所述子影像的一下方位置的影像是否发生变化以及所述子影像的一上方位置的影像是否平坦;以及
当所述子影像的所述下方位置并未发生影像变化以及所述子影像的所述上方位置的影像是一平坦影像时,决定所述子影像为所述第三影像。
9.如权利要求7所述的影像处理方法,其特征在于,所述第三影像的所述上、下方影像分别为一移动影像与一静止影像,以及判断所述子影像的影像类型是否为所述第三影像的步骤包括:
当所述影像变化关系指示出所述子影像的一空间位置所对应的影像并未发生变化以及所述影像梯度关系指示出所述并未发生一影像梯度变化时,判断所述部分影像中所述子影像的一下方位置的影像是否发生变化以及所述子影像的一上方位置的影像是否平坦;以及
当所述子影像的所述上方位置并未发生影像变化以及所述子影像的所述下方位置的影像是一平坦影像时,决定所述子影像为所述第三影像。
10.如权利要求1所述的影像处理方法,其特征在于,所述第一影像是一静止影像,而所述第二影像是一移动影像,以及判断所述部分影像中的所述子影像的影像类型为所述第二影像的步骤包括:
参考所述部分影像的一移动信息来判断所述子影像是否为所述第二影像;
当所述移动信息指示出所述部分影像是一移动影像时,判断所述部分影像是否包括一水平边缘;
当所述部分影像不包括所述水平边缘时,决定所述子影像为所述第二影像;
当部分影像包括有所述水平边缘时,判断所述部分影像是否同时具有一上方平坦影像与一下方平坦影像;以及
当所述部分影像同时具有所述上方平坦影像与所述下方平坦影像时,决定所述子影像为所述第二影像。
11.如权利要求10所述的影像处理方法,其特征在于,判断所述部分影像中的所述子影像的影像类型为所述第二影像的步骤另包括:
当所述部分影像并未同时具有所述上方平坦影像与所述下方平坦影像时,判断所述部分影像与所述相对应影像之间的一影像变化关系或一影像梯度变化关系;以及
当所述影像梯度变化关系指示出并未发生影像变化及并未发生一影像梯度变化时,决定所述子影像为所述第二影像。
12.如权利要求11所述的影像处理方法,其特征在于,所述第三影像的所述上、下方影像分别为一静止影像与一移动影像,以及判断所述子影像是否为所述第三影像包括:
当所述影像变化关系指示出所述子影像的一空间位置上的影像发生一影像变化以及所述影像梯度变化关系指示出并未发生一影像梯度变化时,判断所述部分影像是否包括一下方平坦影像且不包括一上方平坦影像;以及
当所述部分影像包括所述下方平坦影像且不包括所述上方平坦影像时,决定所述子影像为所述第三影像。
13.如权利要求11所述的影像处理方法,其特征在于,所述第三影像的所述上、下方影像分别为一移动影像与一静止影像,以及判断所述子影像是否为所述第三影像包括:
当所述影像变化关系指示出所述子影像的一空间位置上的影像发生一影像变化以及所述影像梯度变化关系指示出并未发生一影像梯度变化时,判断所述部分影像是否包括一上方平坦影像且不包括一下方平坦影像;以及
当所述部分影像包括所述上方平坦影像且不包括所述下方平坦影像时,决定所述子影像为所述第三影像。
14.一种影像处理装置,其特征在于,所述影像处理装置包括:
一储存电路,用以储存一目前图框以及一邻近图框;以及
一判断电路,耦接至所述储存电路,用以判断所述子影像的影像类型,其是:
依据所述目前图框的一部分影像以及所述邻近图框中对应于所述部分影像的一相对应影像,比对是否发生变化,判断所述部分影像中的一子影像的影像类型,当未发生变化,则判断所述部分影像中的一子影像的影像类型为一第一影像,当发生变化,则进一步判断部分影像是否在水平边缘上及部分影像与部分影像的上方或下方影像是否接近,若部分影像在水平边缘上及部分影像与部分影像的上方或下方影像不接近,则判断所述部分影像中的一子影像的影像类型为一第二影像,若部分影像在水平边缘上及部分影像与部分影像的上方或下方影像接近,则判断所述部分影像中的一子影像的影像类型为一第三影像;以及
一产生电路,耦接至所述判断电路,用以依据所述子影像的影像类型来产生一目标影像,以取代所述子影像原先的影像内容,其中当所述子影像的影像类型为所述第一影像时,则直接使用所述子影像的内容作为所述目标影像,当所述子影像的影像类型为所述第二影像时,参考所述子影像的一上方影像与一下方影像,产生所述目标影像取代所述子影像的影像内容,当所述子影像的影像类型为所述第三影像时,参考所述子影像与所述子影像的一上方影像或一下方影像,产生所述目标影像取代所述子影像的影像内容。
15.如权利要求14所述的影像处理装置,其特征在于,当所述子影像被判断为所述第二影像时,所述产生电路是参考所述子影像的一上方影像与一下方影像,产生所述目标影像取代所述子影像的影像内容,其中所述产生电路是对所述子影像的所述上方影像与所述下方影像进行平均来产生所述目标影像。
16.如权利要求14所述的影像处理装置,其特征在于,所述第三影像的所述上方或下方影像其中一方为一静止影像,以及当所述子影像被判断为所述第三影像时,所述产生电路是参考所述子影像的上方或下方的所述静止影像与所述子影像,产生所述目标影像取代所述子影像的影像内容,其中所述产生电路是对所述子影像与所述子影像的所述上方或下方的所述静止影像进行平均来产生所述目标影像。
CN201110186799.4A 2011-07-05 2011-07-05 影像处理方法与影像处理装置 Active CN102867310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110186799.4A CN102867310B (zh) 2011-07-05 2011-07-05 影像处理方法与影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110186799.4A CN102867310B (zh) 2011-07-05 2011-07-05 影像处理方法与影像处理装置

Publications (2)

Publication Number Publication Date
CN102867310A CN102867310A (zh) 2013-01-09
CN102867310B true CN102867310B (zh) 2015-02-04

Family

ID=47446166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110186799.4A Active CN102867310B (zh) 2011-07-05 2011-07-05 影像处理方法与影像处理装置

Country Status (1)

Country Link
CN (1) CN102867310B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108240891A (zh) * 2016-12-23 2018-07-03 财团法人工业技术研究院 气体泄漏检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941886A (zh) * 2005-09-28 2007-04-04 扬智科技股份有限公司 自适应垂直/时态滤波的解交错方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100360893B1 (ko) * 2001-02-01 2002-11-13 엘지전자 주식회사 영상 움직임 보상 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941886A (zh) * 2005-09-28 2007-04-04 扬智科技股份有限公司 自适应垂直/时态滤波的解交错方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Novel Intra Deinterlacing Algorithm Using Content Adaptive Interpolation;Wonki Kim et al.;《IEEE Transactions on Consumer Electronics》;20070831;第53卷(第3期);第1036-1043页 *
一种新型去隔行算法的FPGA实现;蔡玉强等;《现代显示》;20100131;第51-56页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108240891A (zh) * 2016-12-23 2018-07-03 财团法人工业技术研究院 气体泄漏检测方法
CN108240891B (zh) * 2016-12-23 2019-12-20 财团法人工业技术研究院 气体泄漏检测方法

Also Published As

Publication number Publication date
CN102867310A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
JP5310247B2 (ja) 画像処理装置および方法、並びにプログラム
Kang et al. Scene change detection using multiple histograms for motion-compensated frame rate up-conversion
CN102194443B (zh) 视频画中画窗口的显示方法、系统及视频处理设备
CN106162177A (zh) 视频编码方法和装置
CN104392468A (zh) 基于改进视觉背景提取的运动目标检测方法
WO2012096768A2 (en) Method of detecting logos, titles, or sub-titles in video frames
CN103700116A (zh) 一种用于运动目标检测的背景建模方法
CN106650728B (zh) 一种阴影车牌图像二值化方法
US20170004628A1 (en) Method and apparatus for segmenting object in image
CN102208023A (zh) 基于边缘信息和分布熵的视频字幕识别设计方法
CN102402918B (zh) 改善画面画质的方法及lcd显示器
CN104268899A (zh) 基于帧间差分和背景差分的运动目标检测方法
CN103413311A (zh) 一种基于边缘的模糊检测方法
CN103226824B (zh) 维持视觉显著性的视频重定向系统
US20220036089A1 (en) Method, electronic apparatus and storage medium for detecting a static logo of a video
CN103945089A (zh) 基于亮度闪烁修正及IP camera的动态目标检测方法
KR20160138239A (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
CN106447656B (zh) 基于图像识别的渲染瑕疵图像检测方法
CN104537688A (zh) 一种基于背景差分和hog特征的运动目标检测方法
US20100150462A1 (en) Image processing apparatus, method, and program
CN104966348A (zh) 一种票据图像要素完整性检测方法及系统
CN102447870A (zh) 静止物体检测方法和运动补偿装置
CN104065975B (zh) 基于适应性运动估计的帧率提升方法
CN102867310B (zh) 影像处理方法与影像处理装置
CN102186045B (zh) 去隔行处理的三场运动检测方法、装置以及去隔行系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant