CN101521738B

CN101521738B - 图像画面的差补方法及其图像处理装置

Info

Publication number: CN101521738B
Application number: CN 200810082002
Authority: CN
Inventors: 张庆华; 谢俊兴
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2008-02-26
Filing date: 2008-02-26
Publication date: 2011-09-28
Anticipated expiration: 2028-02-26
Also published as: CN101521738A

Abstract

本发明是揭露一种用来差补至少一像素至目标图像图框的待差补位置中的图像画面的差补方法。该差补方法包含有：接收具有相对应图像对象的多个图像图场；依据该图像对象位于这些图像图场的第一图像图场中所对应的第一像素位置，与该图像对象位于这些图像图场的第二图像图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象的移动速率；依据该图像对象的该移动速率，从这些图像图场中决定该像素；以及差补该像素至该目标图像图框的该待差补位置中。

Description

图像画面的差补方法及其图像处理装置

技术领域

本发明是指一种图像处理机制，尤指一种于执行解交错(de-interlacing)运算时的图像画面的差补方法及其相关图像处理装置。

背景技术

以现今电视系统来说，为了利用较低的频宽来获得较佳的画面质量，一般会使用交错式的图场格式来传送电视信号(例如是NTSC电视信号)，其原理是于传送端先扫描1、3、5、...等奇数条扫描线以形成奇图场(odd field)，并于下一个时间点扫描2、4、6、...等偶数条扫描线以形成偶图场(even field)，再将此两个图场传送至接收端，并重复交错地传送奇、偶图场至接收端，而接收端(除了传统的映像管显示装置外)即可利用解交错运算来将所接收的交错式图场转换成渐进式(progressive)图场以播放该电视信号。执行解交错运算时则需搭配移动补偿(motion compensation)运算来差补像素(亦即，待差补像素)至图像画面的待差补位置中。然而，实际上，使用已知移动适应(motion adaptive)机制执行解交错运算与移动补偿运算以增进图像画面质量时，大部分仍无法有效地差补出原本图像画面中具有高频移动的图像对象(object)(例如画面中的垂直移动字幕(亦即跑马灯字幕))。

此外，由于垂直移动字幕中通常具有相当多不平滑的边缘(edge)部分(亦即跑马灯中的文字线条部分)，故若直接使用已知移动适应机制来执行解交错运算与移动补偿运算，仍然无法产生较为清晰的图像画面以供使用者观赏；而已知移动适应方法的其中之一即是直接利用运动图像专家组(Moving Picture Experts Group)规格所解码出的信息(例如移动向量(motion vector)或是离散余弦变换(Discrete Cosine Transform)的信息)来执行移动补偿运作，其技术内容烦请参阅台湾专利公开号第200514443号的相关叙述；对于非运动图像专家组规格的图像数据而言，由于其无法使用上述方式来获取解码后的信息，所以将无法正确执行移动补偿运算。

发明内容

因此本发明的目的之一在于提出一种图像画面的差补方法及其图像处理装置，其能够检测出图像画面中高频移动的图像对象并差补至少一像素至目标图像图框的待差补位置中，以解决上述的问题。

依据本发明的实施例，其是揭露一种用来差补至少一像素至目标图像图框的待差补位置中的图像画面的差补方法。该差补方法包含：接收具有相对应图像对象的多个图像图场；依据该图像对象位于这些图像图场的第一图像图场中所对应的第一像素位置，与该图像对象位于这些图像图场的第二图像图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象的移动速率，该移动速率的估计是对多个图像对象进行的，并依据估计出的移动速率来输出相对应的参数；统计该参数数目，以产生多个统计值，依据该多个统计值中的最大值所对应的参数，从这些图像图场中决定一像素；以及差补该一像素至该目标图像图框的该待差补位置中。

依据本发明的实施例，其还揭露一种用来于输入图框中决定至少一像素并差补该像素至目标图框的待差补位置中的图像处理装置。该图像处理装置包含移动估计模块、决定模块及移动补偿模块。该移动估计模块是用来依据图像对象位于该输入图框中所对应的像素位置与依据该图像对象位于该目标图框所对应的像素位置来估计该图像对象的移动速率，并依据该移动速率以输出相对应的参数，该移动速率的估计是对多个图像对象进行的，该移动估计模块统计该参数数目以产生多个统计值。该决定模块是耦接至该移动估计模块，并用来依据该多个统计值中的最大值所对应的参数以从该输入图框中决定一像素。该移动补偿模块是耦接至该决定模块，并用来差补该决定模块所决定的该一像素至该目标图框的该待差补位置中。

附图说明

图1为本发明一实施例的图像处理装置的简化示意图。

图2(a)是显示电视信号传送端所传送的多个图像图场中垂直移动字幕所对应的不同像素位置的简化示意图。

图2(b)为图1所示的移动检测器依据多个图像图场来估计多个图像对象的第一可能移动速率的运作示意图。

图2(c)为图1所示的移动检测器依据多个图像图场来估计多个图像对象的第二可能移动速率的运作示意图。

图2(d)为图1所示的移动检测器依据多个图像图场来估计多个图像对象的第三可能移动速率的运作示意图。

图2(e)为图1所示的移动检测器依据多个图像图场来估计多个图像对象的第四可能移动速率的运作示意图。

图3为电视画面中垂直移动字幕的预定范围的简化示意图。

图4为图1所示的统计单元120所统计的四个统计值中一最大值所对应的旗标值个数于画面宽度上的分布示意图。

[主要元件标号说明]

100	图像处理装置	105	移动估计模块
				110	移动补偿模块	115	移动检测器
120	统计单元	125	决定模块
				130	控制单元	300	电视画面
305、310	预定范围

具体实施方式

由于对于同一频道/节目的垂直移动字幕的移动速率来说，实质上应具有相同的移动特性(例如，电视新闻中的跑马灯字幕无论是由下往上移动或是由上往下移动，平均来说其移动速率实质上应是相同的)，故本发明的精神在于通过估计垂直移动字幕中至少一图像对象(例如字幕像素)的移动速率来决定像素并差补该像素至目标图像图框的待差补位置中。其中估计垂直移动字幕中的图像对象的移动速率是利用移动检测器(motion detector)比较多个图像图场中对应于该图像对象的不同像素位置的距离差来加以实现，其详细运作将于稍后说明。此外，虽然在通篇说明书中仅说明电视画面中垂直移动字幕的处理方式，然而，经由本发明的教导，亦可同样应用于处理电视画面中其它高频移动的图像对象(例如是水平移动字幕)。

请参阅图1，图1是本发明一实施例的图像处理装置100的简化示意图。如图1所示，图像处理装置100包含移动估计模块105、决定模块125与移动补偿模块110，其中移动估计模块105包含移动检测器115、统计单元120以及控制单元130。移动估计模块105是依据图像对象位于多个图像图场的第一图像图场中所对应的像素位置以及该图像对象位于该多个图像图场的第二图像图场中所对应的像素位置来估计该图像对象的移动速率，并依据该移动速率来输出相对应的参数值；决定模块125则依据该参数值从这些图像图场中决定一像素，而移动补偿模块110则差补决定模块125所决定的该像素至该目标图像图框的待差补位置中。在本实施例中，移动估计模块105是依据上述两像素位置的距离差来估计出该图像对象于这些图像图场的垂直方向上的移动速率。

请参阅图2(a)，图2(a)是显示电视信号传送端所传送的多个图像图场中，垂直移动字幕所对应的不同像素位置的简化示意图。其中第2图所绘示的圆圈部分是表示垂直移动字幕中对应于显示文字内容的像素位置，而图像图场F₁、F₃、F_5-以及图像图场F₂、F₄则是指分别包含奇数条扫描线C₁、C₃、C₅与偶数条扫描线C₂、C₄、C₆上像素位置所对应的多个字幕像素的图像图场(这些字幕像素一般皆是储存于扫描线缓冲器(line buffer)中)，举例来说，图像图场F₃至少包含图中所示的扫描线C₁、C₃、C₅上的像素位置P₁₃、P₃₃与P₅₃的字幕像素。此外，假设图像处理装置100在接收上述图像图场时是依据图像图场F₁至F₅的先后顺序来接收(亦即会先接收图像图场F₁)，无论画面中的垂直移动字幕是曲上往下或由下往上移动(本实施例是假设垂直移动字幕由下往上移动)，皆可利用移动检测器115来检测出垂直移动字幕中多个图像对象的移动速率以使决定模块125可决定出差补至该目标图像图框的待差补位置(例如图像图框F₃的待差补位置P’)中的像素；详细说明于下段叙述中描述之。

请参阅图2(b)～2(e)，图2(b)～2(e)分别是移动检测器115依据图像图场F₁～F₅估计多个图像对象的不同移动速率的运作示意图。其中移动检测器115会于图像图场F₁～F₅中检测不同图像图场的像素位置所对应的多个图像对象(亦即字幕像素)来估计这些图像对象的移动速率以产生多个旗标值；因此，对于每一图像对象而言，移动检测器115会参考不同图像图场F₁～F₅中位于不同扫描线上的两像素位置来判断此两像素位置是否是对应于相同的图像对象以估计此图像对象的移动距离，并藉此间接估计出该图像对象的移动速率。如图2(b)所示，移动检测器115首先会检测两倍图像图场的播放时间内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是四倍扫描线间隔距离的情形(亦即，平均单一图像图场的播放时间内是否发生有字幕像素移动两倍扫描线间隔距离的情形)。举例来说，移动检测器115会分别计算出像素位置P₁₃、P₅₁与像素位置P₂₄、P₆₂以及像素位置P₁₅、P₅₃所分别对应的像素值的差量，并分别比较此三个差量与特定临界值；若此三个差量皆小于该特定临界值，则表示对应于此三组像素位置的字幕像素分别是相同的像素，并且其移动速率皆相同。此时若将像素位置P₄₂所对应的字幕像素差补至待差补位置P’中，则执行移动补偿运算上会较为准确，因此，移动检测器115会产生对应所估计出的移动速率的旗标值f₁。

然而，倘若上述三个差量并非皆小于该特定临界值，则表示在两倍图像图场的播放时间内垂直移动字幕中上述图像对象的移动距离可能不是四倍扫描线间隔距离，所以，移动检测器115会改成检测单一图像图场的播放时间内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是单一扫描线间隔距离的情形；而其目的是为了检测出于单一图像图场播放时间内是否发生有字幕像素移动单一扫描线间隔距离的情形。例如，如图2(c)所示，移动检测器115会分别计算像素位置P₅₁、P₄₂与像素位置P₄₂、P₃₃与像素位置P₃₃、P₂₄与像素位置P₂₄、P₁₅以及像素位置P₅₁、P₁₅的彼此像素值的差量，并接着分别比较此五个差量与该特定临界值。倘若此五个差量皆小于该特定临界值，则表示对应于上述五组像素位置的字幕像素分别是相同的像素，并且其移动速率皆相同。此时若将像素位置P₂₂所对应的字幕像素差补至待差补位置P’，则执行移动补偿运算时会较为准确，因此，移动检测器115会产生对应于目前所估计出的移动速率的旗标值f₂。请注意到，虽然此时参考像素位置P₂₂上的字幕像素来执行移动补偿运算，于时间顺序上来说并非相当准确，然而，此时像素位置P₂₂上的字幕像素却可能是较佳的参考像素；当然，亦可以改成依据像素位置P₂₄(或是同时依据像素位置P₂₂与P₂₄两者)上的字幕像素来执行移动补偿运算，此亦符合本发明的精神。

再者，倘若上述五个差量并非皆小于该特定临界值，则表示在单一图像图场的播放时间内垂直移动字幕中上述图像对象的移动距离可能不是单一扫描线间隔距离，所以，移动检测器115会改成检测两倍图像图场的播放时间内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是三倍扫描线间隔距离的情形；而其目的则是为了检测出于两倍图像图场播放时间内是否发生有字幕像素移动三倍扫描线间隔距离的情形，亦即，检测垂直移动字幕平均是否是于单一图像图场的播放时间内移动一倍半的扫描线间隔距离。举例来说，如图2(d)所示，移动检测器115会分别计算出像素位置P₄₂、P₅₁及像素位置P₃₃、P₂₄的彼此像素值的差量，并分别将两差量与该特定临界值进行比较；倘若此两差量皆小于该特定临界值，则表示对应于此两组像素位置的字幕像素分别是相同的像素，并且其移动速率皆相同，此时若将像素位置P₄₂或是像素位置P₅₁所对应的字幕像素差补至待差补位置P’，则执行移动补偿运算时会较为准确(其原因是对应于像素位置P₅₁的字幕像素在图像图场F₂的播放时间内是由像素位置P₅₁移动至像素位置P₄₂，而在图像图场F₃的播放时间内则由像素位置P₄₂移动至待差补位置P’)，因此，移动检测器115会产生对应于目前所估计出的移动速率的旗标值f₃。然而，倘若上述两差量并非皆小于该特定临界值，则移动检测器115会改成检测像素位置P₄₂、P₃₃是否是对应于相同的字幕像素以及像素P₂₄、P₁₅是否是对应于相同的字幕像素，此是因为亦有可能发生对应于像素位置P₅₁的字幕像素在图像图场F₂的播放时间内由像素位置P₅₁往上移动两倍扫描线间隔距离，接着，在图像图场F₃播放时间内再往上移动单一扫描线间隔距离至待差补位置P’，而此种情况同样属于垂直移动字幕平均于单一图像图场的播放时间内移动一倍半的扫描线间隔距离的情形。举例来说，如图2(e)所示，移动检测器115会分别计算出像素位置P₄₂、P₃₃及像素位置P₂₄、P₁₅的彼此像素值的差量，并分别将两差量与该特定临界值进行比较。倘若此两差量皆小于该特定临界值，则表示对应于此两差量的字幕像素分别是相同的像素，并且其移动速率皆相同。此时若将像素位置P₅₁所对应的字幕像素差补至待差补位置P’，则执行移动补偿运算时会较为准确，因此，移动检测器115会产生对应于目前所估计出的移动速率的旗标值f₄。

请注意到，上述用以估计多个图像对象的移动速率的实作方式，是仅为移动估计模块105估计图像对象的移动速率的方式其中之一；经由本发明的教导，本领域技术人员应可对估计图像对象的移动速率的实作方式进行适当修改。例如，可改成检测两倍图像图场的播放时间内垂直移动字幕中是否有一或多个图像对象移动四倍以上的扫描线间隔的距离；或是变换前述估计图像对象的移动速率的顺序；或是改成利用移动检测器115参考图像图场F₁～F₅中两组像素位置(举例来说，一组像素位置所包含的大小范围可以是1*5的窗口大小)来判断此两组像素位置是否对应于相同的图像对象以估计图像对象的移动速率，并且移动检测器115会计算此两组像素位置中所对应的像素的像素值的个别差量，再将个别差量的总和与该特定临界值进行比较。因此，本领域技术人员对上述估计图像对象的移动速率的方式所进行的任何设计变化，亦属于本发明的范畴。

此外，由于欲播放的目标图像图框中可能仅具有奇图场或偶图场(例如在本实施例中目标图像图框仅具有奇图场F₃)，因此于播放该目标图像图框之前，必需预先决定出欲播放的图像图框中多个待差补位置所对应的字幕像素，以便进行移动补偿运算。移动检测器115会针对每一待差补位置进行上述运作而输出多个旗标值，统计单元120会统计这些旗标值来产生多个统计值，并以该多个统计值中的最大值所对应的旗标值(f₁、f₂、f₃或f₄)来作为该参数值，具体来说，统计单元120是依据上述所估计出的不同的移动速率来分别统计其相对应所产生的旗标值的个数以产生该多个统计值，亦即，不同的旗标值是表示不同移动速率的情形，而这些统计值则是分别表示不同移动速率所对应的旗标值的个数，以上述例子而言，统计单元120将会产生四个统计值。接着，统计单元120会依据该多个统计值(例如四个)中最大值所对应的旗标值来决定出该参数值，详细来说，统计单元120会先检查该最大值是否超过预定临界值(理由是实际上垂直移动字幕具有相同的移动速度，所产生的最大值一般皆会超过该预定临界值)；倘若该最大值超过该预定临界值(亦即，垂直移动字幕是以对应于该最大值的移动速率进行移动)，则统计单元120会依据对应于该最大值的旗标值来决定出该参数值。因此，决定模块125则可依据该参数值从上述多个图像图场中决定出每一待差补位置所需要差补的像素，而移动补偿模块110则会差补决定模块125所决定出的每一像素至目标图像图框的不同的待差补位置中。由于垂直移动字幕中所有图像对象(字幕像素)的移动速度通常皆相同，故决定模块125于决定上述目标图像图框中多个待差补位置所需要差补的像素时，通常会依据相同的参数值来决定出该垂直移动字幕中所有的待差补位置所需要差补的像素，此优点在于利用垂直移动字幕的统计特性可避免决定字幕边缘的某些待差补位置所需的像素时可能发生错误。

另外，移动估计模块105中的控制单元130可依据该多个统计值的分布来调整进行差补的预定范围，以使得移动补偿模块110仅针对位于该目标图像图框中的该预定范围内的待差补位置进行像素差补。请参阅图3，图3是一般电视画面中垂直移动字幕的预定范围的简化示意图。如图3所示，电视画面300包含有两垂直移动字幕的预定范围305、310(斜线部分)，虽然此时电视画面中已预先定义有预定范围305、310，然而，由于并非所有频道/节目上显示的垂直移动字幕的实际字幕范围皆相同(亦即可能发生垂直移动字幕的实际字幕范围小于该预定范围)，利用控制单元130则可避免进行像素差补时将字幕像素差补到实际字幕范围外的像素位置而造成移动补偿运算发生错误。实作上，请参阅图4，图4是显示上述四个统计值中一最大值所对应的旗标值个数于画面宽度上的分布示意图。举例来说，假设移动检测器115检测出大多数的图像对象所对应的两像素位置的距离差皆是四倍扫描线间隔距离(亦即该最大值所对应的旗标值为f₁)，由于图4中旗标值f₁的个数仅于字幕宽度W的范围内超过临界值Th，而在字幕宽度W的范围外则低于临界值Th，因此此时实际的字幕宽度较有可能是W，控制单元130则会将上述的预定范围305或10的宽度调整为字幕宽度W。移动补偿模块110接着将可依据该参数值来差补决定模块125所决定的像素至该调整后的预定范围内的待差补位置，以增进观赏电视节目时垂直移动字幕的显示质量。当然，倘若为了避免调整该预定范围时计算量过于庞大，则亦可以直接针对该预定范围中的待差补位置来进行移动补偿运算，不需使用到控制单元130，亦即，在本发明中的实施例中，控制单元130为选择性的元件(optional)。

再者，于其它实施例中，移动估计模块亦可依据上述图像图场来估计目标图像图框的垂直移动字幕中单一图像对象的移动速率来输出参数值，而决定模块可直接依据该参数值来决定像素。因此，该移动估计模块将仅需具有移动检测器(或是仅具有该移动检测器与一控制单元)，而不需具有上述的统计单元，此亦符合本发明的精神。其中此实施例中的移动检测器是用来于上述图像图场中检测位于不同图像图场的像素来估计出图像对象的移动速率以决定出参数值。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种图像画面的差补方法，用来差补至少一像素至目标图像图框的待差补位置中，该差补方法包含：

接收具有相对应图像对象的多个图像图场；

依据该图像对象位于这些图像图场的第一图像图场中所对应的第一像素位置，与该图像对象位于这些图像图场的第二图像图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象的移动速率，该移动速率的估计是对多个图像对象进行的，并依据估计出的移动速率来输出相对应的参数；

统计该参数数目，以产生多个统计值，依据该多个统计值中的最大值所对应的参数，从这些图像图场中决定一像素；以及

差补该一像素至该目标图像图框的该待差补位置中。

2.根据权利要求1所述的差补方法，其中估计该图像对象的该移动速率的步骤还包含：

估计该图像对象于这些图像图场的垂直方向上的该移动速率。

3.根据权利要求1所述的差补方法，还包含：

当该最大值超过临界值时，决定该像素。

4.根据权利要求1所述的差补方法，该图像对象位于该目标图像图框中的预定范围内，该差补方法还包含：

依据该统计值的分布以调整该预定范围。

5.根据权利要求1所述的差补方法，其中该图像对象为这些图像图场中的字幕像素。

6.根据权利要求1所述的差补方法，是应用于NTSC电视画面中。

7.一种图像处理装置，用来差补至少一像素至目标图图像框的待差补位置中，该图像处理装置包含：

移动估计模块，用来依据图像对象位于多个图像图场的第一图像图场中所对应的第一像素位置，与依据该图像对象位于这些图像图场的第二图像图场中所对应的第二像素位置，以估计该图像对象的移动速率，并依据该移动速率以输出相对应的参数，该移动速率的估计是对多个图像对象进行的，该移动估计模块统计该参数数目以产生多个统计值；

决定模块，耦接至该移动估计模块，用来依据该多个统计值中的最大值所对应的参数，从这些图像图场中决定一像素；以及

移动补偿模块，耦接至该决定模块，用来差补该决定模块所决定的该一像素至该目标图像图框的该待差补位置中。

8.根据权利要求7所述的图像处理装置，其中该移动估计模块是用来估计该图像对象于这些图像图场的垂直方向上的该移动速率。

9.根据权利要求7所述的图像处理装置，其中该移动估计模块是依据该图像对象位于该第一图像图场中所对应的该第一像素位置，与依据该图像对象位于该第二图像影图中所对应的该第二像素位置，该两像素位置的距离差，以估计该图像对象的该移动速率。

10.根据权利要求7所述的图像处理装置，其中该图像对象为这些图像图场中的字幕像素。

11.根据权利要求7所述的图像处理装置，其中该移动估计模块是分别估计多个图像对象的多个移动速率以决定出该参数。

12.根据权利要求7所述的图像处理装置，其中该移动估计模块包含：

移动检测器，用来检测这些图像图场中多个图像对象，并估计该多个图像对象所对应的该多个移动速率以产生多个旗标值；以及

统计单元，耦接至该移动检测器，用来统计该多个旗标值以产生多个统计值，并由该多个统计值中的最大值所对应的旗标值作为该参数。

13.根据权利要求12所述的图像处理装置，其中该移动检测器是检测这些图像图场中预定范围内的该多个图像对象所对应的该多个移动速率，以及该移动估计模块还包含：

控制单元，耦接于该统计单元，用来依据该多个统计值的分布，来调整该预定范围。