具体实施方式
在下文中将会参考附图详细地描述本发明的示例性实施例。在用于以下说明的附图中被示出为用于进行各种处理的功能块的元件可以通过处理器、存储器或者其它的电路作为硬件构造或者可以通过被存储在或者被加载到存储器中的程序作为软件来实现。因此,对本领域的技术人员来说显然的是,可以以诸如仅硬件、仅软件或者它们的组合的各种形式实现这些功能块,并且不限于上述中的任何一种。此外,为了易于理解,在附图中仅示出了解释本发明的技术的所需要的元件。
图1示出根据本发明的示例性实施例的图像处理装置100。图像处理装置100包括边缘检测单元110、块边界位置检测单元120、以及锐化处理单元190。
边缘检测单元110对顺序输入的运动图像的帧执行边缘检测并且将获得的边缘信息输出至块边界位置检测单元120和锐化处理单元190。通过图像处理装置100的边缘检测的技术可以是诸如微分滤波的任何已知的技术,并且通过边缘检测单元110获得的边缘信息包括每个边缘的方向、强度和位置。
块边界位置检测单元120使用来自于边缘检测单元110的边缘信息在运动图像的帧中检测是块边界位置的块噪声的位置,并且将指示这些位置的边界位置信息输出至锐化处理单元190。边界位置信息包含指示在垂直方向上延伸的块边界的位置的垂直边界位置信息和指示在水平方向上延伸的块边界的位置的水平边界位置信息。
锐化处理单元190通过参考来自于边缘检测单元110的边缘信息和来自于块边界位置检测单元120的边界位置信息对运动图像的帧执行锐化处理。稍后描述锐化处理单元190的细节。
图2示出块边界位置检测单元120的构造。块边界位置检测单元120包括块垂直边界位置检测单元130和块水平边界位置检测单元160。块垂直边界位置检测单元130检测在垂直方向上延伸的块边界的位置并且获得垂直边界位置信息。块水平边界位置检测单元160检测在水平方向上延伸的块边界的位置并且获得水平边界位置信息。
图3示出块垂直边界位置检测单元130的构造。块垂直边界位置检测单元130包括垂直线提取单元132、垂直计数器134、历史存储单元150、垂直计数值加法单元136、块垂直边界位置确定单元138、周期性确定单元140、以及噪声确定阈值控制单元142。
垂直线提取单元132从由来自于边缘检测单元110的边缘信息表示的所有边缘中提取具有等于或者小于噪声确定阈值的强度的垂直边缘,并且将提取的边缘的位置输出至垂直计数器134。通过噪声确定阈值控制单元142设置由垂直线提取单元132使用的噪声确定阈值,将在下面进行详细描述。
垂直计数器134相对于当前处理的帧的每个像素列位置对通过垂直线提取单元132提取的边缘的总数进行计数并且获得垂直计数值。垂直计数器134将每个像素列的垂直计数值输出至历史存储单元150和垂直计数值加法单元136。
历史存储单元150包括N(N是一或者大于一的整数)个垂直计数值存储单元151至15N,并且垂直计数值存储单元151至15N分别存储在当前处理的帧之前的已经被处理的N个帧的垂直计数值。
例如,当N是3时,垂直计数值存储单元15N存储是通过垂直计数器134当前处理的帧之前的三个帧的帧的垂直计数值,垂直计数值存储单元152存储是当前处理的帧之前的两个帧的帧的垂直计数值,并且垂直计数值存储单元151存储是当前处理的帧之前的一个帧的帧的垂直计数值。
当垂直计数器134处理第一帧时,没有历史存储单元150的垂直计数值存储单元存储任何垂直计数值。当垂直计数器134处理第二帧时,垂直计数值存储单元151存储第一帧的垂直计数值,并且垂直计数值存储单元152和垂直计数值存储单元15N不存储任何垂直计数值。
在接下来的关于根据示例性实施例的图像处理装置100的描述中,假定N为3。
相对于各个对应的像素列位置,垂直计数值加法单元136将从垂直计数器134输出的当前帧的垂直计数值和被存储在历史存储单元150的各个垂直计数值存储单元中的以前帧的垂直计数值相加。不存储任何垂直计数值的垂直计数值存储单元不用于加法计算。
具体地,垂直计数值加法单元136将水平方向上的每个像素位置中的多个帧的垂直计数值相加。垂直计数值加法单元136将如上获得的每个像素列位置的垂直计数值输出至块垂直边界位置确定单元138。
块垂直边界位置确定单元138包括峰值检测单元139。峰值检测单元139检测来自垂直计数值加法单元136的每个垂直计数值的峰值。
如果从垂直计数器134输出的垂直计数值是第四帧之前的帧的垂直计数值,那么块垂直边界位置确定单元138将通过峰值检测单元139检测到的每个峰值的位置输出至周期性确定单元140。峰值的位置与检测到峰值的每个像素列位置一致。另一方面,如果从垂直计数器134输出的垂直计数值是第四帧的垂直计数值,那么块垂直边界位置确定单元138将通过峰值检测单元139检测到的每个峰值的位置确定为块垂直边界位置并且将表示块垂直边界位置的垂直边界位置信息输出至锐化处理单元190。
周期性确定单元140确定来自块垂直边界位置确定单元138的峰值位置的周期性存在还是不存在。如果存在周期性,即,如果峰值位置是等间距的,那么周期性确定单元140确定存在周期性并且将表示周期边界位置的信息输出至噪声确定阈值控制单元142。周期边界位置与来自于块垂直边界位置确定单元138的峰值位置相同。如果周期性确定单元140确定不存在周期性,那么它将其通知给噪声确定阈值控制单元142。
噪声确定阈值控制单元142设置在通过垂直线提取单元132的提取处理中使用的噪声确定阈值。噪声确定阈值是用于确定边缘是噪声还是图像图案的阈值。如果边缘具有高于阈值的强度,那么边缘被确定为图像图案,并且如果边缘具有等于或者小于阈值的强度,那么边缘被确定为噪声。
噪声确定阈值控制单元142首先设置噪声确定阈值的初始值并且将其供给垂直线提取单元132用于在第一帧的处理中使用。在本示例性实施例中,噪声确定阈值控制单元142将相同的初始值设置给帧的每个像素位置。然后,噪声确定阈值控制单元142基于来自周期性确定单元140的周期性确定结果调整噪声确定阈值并且将其供给垂直线提取单元132用于在随后帧的处理中使用。
关于噪声确定阈值的调整,如果从周期性确定单元140提供表示不存在周期性的确定结果,那么噪声确定阈值控制单元142不调整噪声确定阈值。另一方面,如果从确定存在周期性的周期性确定单元提供周期边界位置,那么噪声确定阈值控制单元142为周期边界处的像素位置设置较高的噪声确定阈值并且为周期边界之间的像素位置设置较低的噪声确定阈值。
垂直线提取单元132、垂直计数器134、垂直计数值加法单元136、块垂直边界位置确定单元138、周期性确定单元140以及噪声确定阈值控制单元142重复上述处理直到第三个帧。
然后,对第四帧,垂直线提取单元132和垂直计数器134执行与对以前的帧执行的处理相同的处理。然而,由垂直计数器134使用的噪声确定阈值可能是已经通过噪声确定阈值控制单元142从初始值调整的噪声确定阈值。
这时,历史存储单元150的三个垂直计数值存储单元分别存储第一至第三帧的垂直计数值。
相对于每个对应的像素列位置,垂直计数值加法单元136将通过垂直计数器134获得的第四帧的垂直计数值和被存储在历史存储单元150的各个垂直计数值存储单元中的垂直计数值,并且将结果输出至块垂直边界位置确定单元138。
块垂直边界位置确定单元中的峰值检测单元139使用来自于垂直计数值加法单元136的每个垂直计数值检测峰值。块垂直边界位置确定单元138将通过峰值检测单元139检测到的峰值的位置确定为块垂直边界位置并且将表示块垂直边界位置的垂直边界位置信息输出至锐化处理单元190。
图4和图5是示出图3中所示的块垂直边界位置检测单元130的处理的流程图。如图4中所示,当块垂直边界位置检测单元130从运动图像的帧中检测到块垂直边界位置时,噪声确定阈值控制单元142首先初始化噪声确定阈值并且对垂直线提取单元132设置初始值(S102)。然后,对于第一帧,通过使用由噪声确定阈值控制单元142设置的噪声确定阈值(在本步骤中是初始值),垂直线提取单元132从通过边缘检测单元110检测到的边缘中提取具有等于或者小于噪声确定阈值的强度的边缘(S104、S106)。然后,垂直计数器134相对于帧的每个像素列位置对由垂直线提取单元132提取的边缘的总数进行计数并且获得垂直计数值(S106、S108)。
垂直计数值存储单元151存储第一帧的垂直计数值(S110中的否)。在步骤S114中,尽管垂直计数值加法单元136将相对于每个对应的像素列位置的第一至第t帧的垂直计数值相加,但是因为是第一帧,因此垂直计数值加法单元136将通过垂直计数器134获得的垂直计数值输出至块垂直边界位置确定单元138。
块垂直边界位置确定单元138从垂直计数值中检测水平方向中的峰值,所述垂直计数值是从垂直计数值加法单元136输出的,并且块垂直边界位置确定单元138将检测到的峰值的位置输出至周期性确定单元140(S116)。
周期性确定单元140确定从块垂直边界位置确定单元138输出的峰值位置的周期性的存在或者不存在,并且将确定结果输出至噪声确定阈值控制单元142(S120、S122中的否)。噪声确定阈值控制单元142基于周期性确定单元140的确定结果调整噪声确定阈值(S130)。稍后详细地描述通过噪声确定阈值控制单元142的步骤130中的处理。
接下来,对第二帧执行从步骤S106的处理(S140)。在对第二帧的处理中,垂直计数值加法单元136将通过垂直计数器134获得的第二帧的垂直计数值和在步骤S114中相对于每个对应的像素列位置的被存储在垂直计数值存储单元151中的第一帧的垂直计数值相加,并且将结果输出至块垂直边界位置确定单元138。
重复上述处理直到N(在本示例中是三)个帧。至于第四帧,执行从步骤S106的处理,并且,在步骤S114中,垂直计数值加法单元136将相对于每个像素列位置的第一至第四帧的垂直计数值相加。
然后,块垂直边界位置确定单元138从通过垂直计数值加法单元136相加的垂直计数值中检测峰值,并且将这些峰值的位置确定为块垂直边界位置(S150)。
图5是示出图4中的步骤S130中的阈值调整的细节的流程图。如图5中所示,如果周期性确定单元140的确定结果表示不存在周期性,那么噪声确定阈值控制单元142不调整噪声确定阈值(S132、S136中的否)。另一方面,如果周期性确定单元140的确定结果表示存在周期性,那么噪声确定阈值控制单元142为周期边界处的像素位置设置较高的噪声确定阈值并且为周期边界之间的像素位置设置较低的噪声确定阈值,并且将已调整的噪声确定阈值输出至垂直线提取单元132(S132、S134中的是)。
图6示出块水平边界位置检测单元160。块水平边界位置检测单元160包括水平线提取单元162、水平计数器164、历史存储单元180、水平计数值加法单元166、块水平边界位置确定单元168、周期性确定单元170、以及噪声确定阈值控制单元172。历史存储单元180包括N个水平计数值存储单元181至18N,并且块水平边界位置确定单元168包括峰值检测单元169。
水平线提取单元162从由来自于边缘检测单元110的边缘信息表示的所有边缘中提取具有等于或者小于噪声确定阈值的强度的水平边缘,并且将提取的边缘的位置输出至水平计数器164。由噪声确定阈值控制单元172以与噪声确定阈值控制单元142相同的方式设置由水平线提取单元162使用的噪声确定阈值。
水平计数器164相对于当前处理的帧的每个像素列位置对由水平线提取单元162提取的边缘的总数进行计数并且获得水平计数值。水平计数器164将每个像素列位置的水平计数值输出至历史存储单元180和水平计数值加法单元166。
历史存储单元180中的水平计数值存储单元、水平计数值加法单元166、块水平边界位置确定单元168、周期性确定单元170以及噪声确定阈值控制单元172以与块垂直边界位置检测单元130中的等效功能块相同的方式进行操作,不同之处在于它们处理水平计数值,并因此在下面没有对它们进行详细描述。
块水平边界位置确定单元168将完成四个帧的处理时通过峰值检测单元169检测到的峰值的位置确定为块水平边界位置,并且将表示块水平边界位置的水平边界位置信息输出至锐化处理单元190。
如上所述,边缘检测单元110和块边界位置检测单元120使用多个帧检测块边界位置并且将边界位置信息输出至锐化处理单元190。
对于直到从块垂直边界位置确定单元138输出边界位置信息的帧(即,本示例性实施例中的第一至第四帧),锐化处理单元190基于来自于边缘检测单元110的边缘信息在各个像素中以同等级别执行锐化处理。例如,锐化处理可以是边缘增强处理。然后,对于从块垂直边界位置确定单元138输出边界位置信息之后的帧(即,本示例性实施例中的第五和随后的帧),锐化处理单元190在由边界位置信息指示的块边界部分中以低于其它部分的级别执行锐化处理。
通常,由块噪声导致的边缘的强度低于由图像图案导致的边缘的强度。利用此,根据示例性实施例的图像处理装置100通过从被用于检测块边界的边缘中排除有可能是图像图案的边缘(即,具有高于噪声确定阈值的强度的边缘)来检测块边界,从而使能检测精确度的增加。
此外,图像处理装置100检测计数值(垂直计数值和水平计数值)的峰值位置作为块边界,从而使能其中块边界没有周期性地出现的运动图像的块边界的检测。
此外,图像处理装置100使用多个帧执行检测,从而使能检测精确度的进一步增加。
此外,当计数值的峰值位置周期性地出现时,用于周期边界位置的噪声确定阈值被调整为较高并且用于其它的位置的噪声确定阈值被调整为较低,从而周期边界位置有可能被确定为块边界,并且其它的位置不可能被确定为块边界。这增加了检测其中块边界出现周期性的运动图像的块边界的精确度。
此外,当图像处理装置100执行锐化处理时,为块边界部分降低处理的强度,从而避免块噪声的增强并且提高图像质量。降低对块边界部分的处理的强度不包括对块边界部分执行锐化处理。
尽管四个帧被用于根据示例性实施例的图像处理装置100中的块边界的确定,但是在本发明的技术中任何数目的帧可以被用于块边界的确定。
此外,如果运动图像的尺寸和用于播放运动图像的诸如电视监控器的播放装置的分辨率不同,那么需要扩大或者缩小运动图像。这时,不同的放大或者缩小比率可以用于图像的不同部分。尽管在图像的不同部分上以不同的放大或者缩小比率放大或者缩小的帧中存在不同的块尺寸,但是在具有相同的放大或者缩小比率的部分中块尺寸是相同的。在将本发明的技术应用于此种运动图像的情况下,可以根据放大或者缩小比率将帧划分为多个区域,并且可以为每个区域检测计数值的峰值的周期性。
此外,尽管图像处理装置100检测前面的多个帧的块边界位置,并且使用检测到的块边界位置作为随后帧的块边界位置执行锐化处理,但是可以为每个帧检测块边界位置。同样在此种情况下,为了增加检测的精确度,优选地使用将当前帧的计数值和相对于每个像素列位置或者每个像素行位置的之前的一个或者多个帧的帧的计数值相加的结果检测块边界位置。当然使用根据从前帧检测到的峰值位置的周期性确定的结果而调整的噪声确定阈值用于当前帧的检测是更加优选的。
此外,尽管在上述的图像处理装置100中噪声确定阈值的初始值对于所有像素位置来说是相同的,可以基于典型的块尺寸或者通过解码器获得的块尺寸评估块边界,并且可以为块边界处的像素位置设置高于用于另外像素位置的噪声确定阈值的初始值。
此外,尽管通过示出以便于理解,在图像处理装置100中分离地放置块垂直边界位置检测单元130的噪声确定阈值控制单元142和块水平边界位置检测单元160的噪声确定阈值控制单元172,但是块垂直边界位置检测单元130和块水平边界位置检测单元160可以共同地具有一个噪声确定阈值控制单元。这对周期性确定单元140和周期性确定单元170来说也是这样。
此外,尽管在上述示例性实施例中垂直计数值加法单元136将相对于每个像素列位置的多个帧的垂直计数值相加,但是可以计算多个帧的垂直计数值的平均值。这对水平计数值加法单元166来说也是这样。
虽然已经按照若干示例性实施例描述了本发明,但是本领域的技术人员将理解本发明可以在所附的权利要求的精神和范围内进行各种修改的实践,并且本发明并不限于上述的示例。
此外,权利要求的范围不受到上述的示例性实施例的限制。
此外,应当注意的是,申请人意在涵盖所有权利要求要素的等同形式,即使在后期的审查过程中对权利要求进行过修改亦是如此。