CN101646032A

CN101646032A - 图像处理设备及图像处理方法

Info

Publication number: CN101646032A
Application number: CN200910119767A
Authority: CN
Inventors: 寺田宗城; 永井贤一
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-08-04
Filing date: 2009-03-26
Publication date: 2010-02-10
Also published as: US20100026885A1

Abstract

根据一个实施例，一种图像处理设备包括超分辨率转换器和控制器。超分辨率转换器在接收到具有第一分辨率的视频信号时，通过根据该视频信号估计原始像素值并增加像素来对该视频信号执行超分辨率转换，以将第一分辨率提高至第二分辨率。控制器依赖于视频信号的类型来控制超分辨率转换器不执行超分辨率转换。

Description

图像处理设备及图像处理方法

技术领域

本发明的一个实施例涉及图像处理设备和图像处理方法。

背景技术

在最近的图像处理技术中有一种用于提高低分辨率运动视频图像分辨率从而可以在宽屏上清楚地显示该视频图像的超分辨率技术。更具体地，超分辨率技术是用于通过在诸如DVD视频和模拟视频的标清(SD)分辨率视频之中内插像素来提高其分辨率，从而得到高清(HD)分辨率视频的技术。关于被内插到SD分辨率视频中的像素的确定是基于相邻像素进行的(例如，见第2007-310837号日本专利申请公开(KOKAI))。

已经知道在将超分辨技术应用于数字电视机的情况下，超分辨技术会根据视频的类型而具有不良或不利的效果。除此之外，超分辨率处理会引起视频输出的延迟。因此，当用户在数字电视机上玩(例如)动作游戏时，就会在视频显示和用户操作之间产生时滞，导致操作体验降低。

因此，本发明的一个目的在于提供能够根据视频类型跳过超分辨率处理或者以低等级来执行超分辨率处理的图像处理设备和图像处理方法。

发明内容

为了克服上述问题并实现上述目的，根据本发明的一个方面，一种图像处理设备包括超分辨率转换器和控制器。超分辨率转换器配置为在接收到具有第一分辨率的视频信号时，通过根据该视频信号估计原始像素值并增加像素来对该视频信号执行超分辨率转换，以将第一分辨率提高至第二分辨率。控制器配置为依赖于该视频信号的类型来控制超分辨率转换器不执行超分辨率转换。

根据本发明的另一个方面，一种图像处理设备包括超分辨率转换器和控制器。超分辨率转换器配置为在接收到具有第一分辨率的视频信号时，通过根据该视频信号估计原始像素值并增加像素来对该视频信号执行超分辨率转换，以将第一分辨率提高至第二分辨率。控制器配置为依赖于根据视频信号的类型来控制超分辨率转换器以不同等级执行超分辨率转换。

根据本发明的又一个方面，一种图像处理设备包括超分辨率转换器和控制器。超分辨率转换器配置为对具有第一分辨率的视频信号执行超分辨率转换以将第一分辨率提高至第二分辨率。控制器配置为依赖于视频信号的类型来控制超分辨率转换器不执行超分辨率转换。

根据本发明的再一个方面，一种图像处理方法包括：在接收到具有第一分辨率的视频信号时，通过根据该视频信号估计原始像素值并增加像素来对该视频信号执行超分辨率转换，从而将第一分辨率提高至第二分辨率；以及依赖于视频信号的类型控制不执行超分辨率转换。

附图说明

下面将参照附图描述实现本发明各种特征的总体构造。附图及其相关描述用于解释本发明的实施例而不用于限制本发明的范围。

图1是根据本发明一个实施例的图像处理设备的示例性框图；

图2是该实施例中的分辨率提高模块的示例性框图；

图3是该实施例中的分辨率提高模块的工作模式与各工作模式中执行的图像处理之间的关系的示例性图表；

图4是该实施例中的分辨率提高模块对其以通过模式(硬通过模式或软通过模式)进行工作的视频图像的类型及其原因的示例性图表；以及

图5是该实施例中分辨率提高控制器对分辨率提高模块进行控制的工作的示例性流程图。

具体实施方式

下面将参照附图来描述根据本发明的各种实施例。

图1是根据本发明一个实施例的图像处理设备的框图。下面将利用将该实施例的图像处理设备应用于数字电视机(TV)作为实例的方式对该实施例进行描述。如图1所示，数字TV 1包括：数字天线2、数字调谐器3、数字信号解调器4、模拟天线5、模拟调谐器6、外部输入信号处理器7、互联网协议电视机(IPTV)信号处理器8、互联网信号处理器9、中央处理器10、分辨率提高模块11、运动图像改善模块12、显示处理器13、显示模块14、音频处理器15、扬声器16、FLASH 17、电可擦除可编程只读存储器(EEPROM)18、以及EEPROM 19。

数字天线2接收诸如BS广播、CS广播、以及数字地面广播的数字广播。除了视频广播以外，数字广播还包括数据广播和电子节目指南(EPG)数据。数字调谐器3根据来自用户的指示选择要观看的频道。数字信号解调器4将数字广播解调为数字信号。

模拟天线5接收模拟广播。模拟调谐器6根据来自用户的指示选择要观看的频道。外部输入信号处理器7对接收到的模拟广播信号执行信号处理，还对从诸如游戏机20、个人计算机(PC)21、数字多功能光盘(DVD)播放器22的外部装置接收到的信号执行处理。

IPTV信号处理器8接收IPTV信号并对其执行信号处理。互联网信号处理器9接收互联网信号并对其执行信号处理。

中央处理器10对接收到的视频信号执行图像处理。图像处理的实例包括隔行扫描/逐行扫描(IP)转换、降噪(NR)处理、以及定标。此外，中央处理器10包括分辨率提高控制器23，该分辨率提高控制器对安排在后级中的分辨率提高模块11进行控制。分辨率提高控制器23根据待发送至分辨率提高模块11的视频信号的类型来控制分辨率提高模块11的工作模式。下面将给出分辨率提高控制器23如何控制分辨率提高模块11的详细描述。

分辨率提高模块11提高接收到的视频信号(图像数据)的分辨率。例如，在视频信号表示SD分辨率图像的情况下，分辨率提高模块11将其转换为HD分辨率图像。图2是分辨率提高模块11的框图。分辨率提高模块11包括选择器24、预处理器25、超分辨率转换器26、和后处理器27。

选择器24连接至处理器25和后处理器27，并选择是将接收到的视频信号发送至预处理器25还是将其直接发送至后处理器27。预处理器25对该视频信号执行预处理。更具体地，预处理器25再次对该视频信号执行IP转换和NR处理。根据规格，可不必提供预处理器25。

超分辨率转换器26对该视频信号执行超分辨率转换。超分辨率转换指的是图像锐化，在图像锐化中，根据具有低分辨率(即，第一分辨率)的图像信号估计原始像素值以增加像素，从而重建具有高分辨率(即，第二分辨率)的图像信号。原始像素值指的是通过(例如)利用具有高分辨率像素并能够拍摄具有第二分辨率的图像的照相机对与具有第一分辨率的图像目标相同的目标进行拍照而得到的图像信号的每一像素的值。此外，“估计原始像素值以增加像素”指的是得到图像特性以找到相关图像，并使用该相关图像来根据相邻图像(在同一帧中或帧之间)估计原始像素值以增加像素。

通过以此方式对视频信号进行处理，可以产生具有高于该视频信号分辨率的分辨率的图像，并将其显示在显示模块14上。超分辨率转换可以使用已知的技术或在第2007-310837、2008-98803、和2000-188680号日本专利申请公开(KOKAI)中披露的共同使用的技术来执行。在该实施例中，超分辨率转换使用以高于由输入图像采样率确定的尼奎斯特(Nyquist)频率的频率分量来重建图像的技术。

如果采用在第2007-310837号日本专利申请公开(KOKAI)中披露的超分辨率转换，则超分辨率转换器26在多个低分辨率图像信号(图像数据)中的每一个中设置目标像素，并设置包含该目标像素的目标图像区。超分辨率转换器26从基准图像信号(图像数据)中选择对应于最接近目标图像区中的像素值变化图案的多个目标图像区的多个对应点。超分辨率转换器26将对应点的照度采样值设置为相应目标像素的像素值。超分辨率转换器26基于多个采样值的大小和多个对应点的布局来计算用于比基准图像信号(图像数据)具有更多像素并对应于该基准图像信号(图像数据)的高分辨率图像(图像数据)的像素值。从而，超分辨率转换器26根据低分辨率图像信号估计原始像素值，并增加像素以重建高分辨率图像信号。

如果采用在第2008-98803号日本专利申请公开(KOKAI)中披露的在同一图像信号(图像数据)中使用自叠合位置搜索的超分辨率转换，则超分辨率转换器26通过对低分辨率图像信号的搜索区中的各像素的误差进行比较来计算具有最小误差(即，第一误差)的第一像素位置。超分辨率转换器26基于第一像素位置和第一误差、及围绕第一像素位置的第二像素位置及其第二误差来计算具有十进制精度的搜索区中的具有最小误差的位置。超分辨率转换器26计算十进制精度向量，该向量末端位于具有最小误差的位置处而其起点位于感兴趣的像素处。超分辨率转换器26基于该十进制精度向量计算该十进制精度向量的外插向量，该向量末端点位于屏幕上不在搜索区中的一个像素处。超分辨率转换器26基于从图像数据得到的像素值、十进制精度向量、和外插向量计算具有比图像数据具有更多像素的高分辨率图像的像素值。在此方式中，超分辨率转换器26根据低分辨率图像信号估计原始像素值，并增加像素以重建高分辨率图像信号。

超分辨率转换器26可以采用在第2000-188680号日本专利申请公开(KOKAI)中披露的使用多个图像信号(图像数据)之间的映射的超分辨率转换。

上述超分辨率转换技术以实例的方式而不是以限制的方式进行引用。超分辨率转换器26可以采用根据低分辨率图像信号估计原始像素值以增加像素从而得到高分辨率图像信号的各种其他技术。

此外，图像锐化已知的是在其中增强图像边缘以使图像外观尖锐。然而，超分辨率技术与图像锐化完全不同之处在于新产生了高频分量像素。

后处理器27对视频信号执行后处理。更具体地，后处理器27对视频信号执行图像质量校正(诸如伽玛校正)和白平衡调整。

如上所述，分辨率提高模块11根据接收到的视频信号的类型而以不同的工作模式进行工作。下面将给出分辨率提高模块11的工作模式的描述。图3示出了分辨率提高模块11的工作模式与以这些工作模式中的每一工作模式执行的图像处理之间的关系。这些工作模式包括标准模式和通过模式。进一步的，通过模式包括依赖于如何跳过处理的硬通过模式和软通过模式。

在标准模式中，根据从分辨率提高控制器23接收到的用于切换选择器24的控制信号以及视频信号，选择器24将视频信号发送至预处理器25。从而，视频信号经历由预处理器25进行的所有预处理、由超分辨率转换器26进行的超分辨率转换、以及由后处理器27进行的后处理。例如，在接收到除了全HD(1920×1080像素的分辨率)视频信号以外的视频信号时，分辨率提高模块11以标准模式进行工作。在标准模式中，超分辨率处理会引起视频输出的延迟。

在通过模式中，跳过由预处理器25进行的预处理和由超分辨率转换器26进行的超分辨率转换，从而只由后处理器27执行后处理。更具体地，在硬通过模式中，根据从分辨率提高控制器23接收到的用于切换选择器24的控制信号以及视频信号，选择器24将视频信号直接发送至后处理器27。从而，视频信号只经历由后处理器27进行的后处理，而不经历由处理器25进行的预处理、以及由超分辨率转换器26进行的超分辨率转换。

在软通过模式中，根据从分辨率提高控制器23接收到的用于切换选择器24的控制信号以及视频信号，与标准模式一样，选择器24将视频信号发送至预处理器25。进一步的，根据来自分辨率提高控制器23的控制信号，将用于预处理和超分辨率转换的参数设置为零(将这些参数设置为零而不增加锐化增益)。从而，预处理器25和超分辨率转换器26不执行它们的处理，即，禁止执行预处理和超分辨率转换，而只有后处理器27执行后处理。因此，在硬通过模式和软通过模式中，没有引起由超分辨率转换引起的延迟。

图4是分辨率提高模块以通过模式(硬通过模式或软通过模式)进行工作的视频图像的类型及其原因的示例性图表。

在显示具有高图像质量的全HD(1920×1080像素的分辨率)视频图像时，即使对视频图像执行超分辨率转换也不会改变图像质量。从而，分辨率提高模块11以通过模式进行工作。

在显示EPG或以高质量图形创建的数据广播的情况下，图形质量没有由于超分辨率转换而变化。因此，分辨率提高模块11以通过模式进行工作。

在利用L型安排的数据广播显示视频图像的情况下，以更小的尺寸来显示视频图像。因此，即使对视频图像执行了超分辨率转换，图像质量也没有变化。此外，以高质量图形创建数据广播，因此，图形质量不会由于超分辨率转换而变化。因此，分辨率提高模块11以通过模式进行工作。

在将显示屏幕划分成两个部分，并且在这两个部分上都显示视频图像时，在两个部分上以更小的尺寸来显示视频图像。因此，即使对视频图像执行了超分辨率转换，图像质量也不会变化。此外，该设计没有假定对屏幕的这两个部分同时执行超分辨率转换。从而，分辨率提高模块11以通过模式进行工作。

在显示具有迷你节目指南视频图像的情况下，如果以小尺寸显示视频图像，则图像质量不会由于超分辨率转换而变化。此外，由于高质量的图形，这些图形的质量也不会由于超分辨率转换而变化。从而，分辨率提高模块11以通过模式进行工作。如果以大尺寸显示视频图像，则可以切换工作模式，从而分辨率提高模块11可以以标准模式进行工作。

在除了全尺寸运动图像外还显示IPTV或互联网图像的情况中，如果以小尺寸显示图像，则图像质量不会由于超分辨率转换而变化。因此，超分辨率提高模块11以通过模式进行工作。

在显示来自PC的静止图像(诸如视频图形阵列(VGA)分辨率或扩展的图形阵列(XGA)分辨率的图像)的情况下，超分辨率转换对图像会有不利的影响，从而图像质量会降低。这是因为，如果对RGB 4:4:4数据执行超分辨率转换，则色度(颜色)带宽(即，信息量)就会减少一半。从而，不能完全重建图像。因此，分辨率提高模块11以通过模式进行工作。

在显示来自游戏机的游戏图像的情况下，超分辨率转换会引起图像显示的延迟。此外，由于游戏图像的图形非常复杂，因此超分辨率转换对游戏图像有不良影响。因此，分辨率提高模块11以通过模式进行工作。

在以原始尺寸显示输入图像的逐点显示的情况下，即使对图像执行了超分辨率转换，图像质量也不会变化。因此，分辨率提高模块11以通过模式进行工作。

分辨率提高模块11以硬通过模式还是以软通过模式进行工作依赖于视频(图像)的类型。通常，对于显示来自PC的静止图像、游戏图像和逐点显示图像，分辨率提高模块11以硬通过模式进行工作。对于其他视频(图像)，在设计时就确定应用硬通过模式还是应用软通过模式。

运动图像改善模块12对接收到的视频图像执行运动图像改善。更具体地，运动图像改善模块12通过高质量运动内插将以60帧每秒(fps)传输的视频信号的帧率转换为120fps。这减少了对象水平、垂直、对角线、以及旋转运动的部分中的图像模糊，以及有效的抑制噪声。因此，可以在显示模块14上清晰地显示投影仪序列、快速运动的体育场景。

显示处理器13在经过调整的视频图像上叠加诸如文本数据的图形。显示模块14在屏幕上显示视频图像。附带地，以两种不同方式在视频图像上叠加诸如数据广播的特定图形。即，通过显示处理器13或中央处理器10将这些图形叠加到视频图像上。用户观看在显示模块14的屏幕上显示的电视图像。音频处理器15对音频信号执行音频处理以及对音频信号进行放大。扬声器16将音频信号作为声音进行输出。用户收听来自扬声器16的声音作为电视声音。

FLASH 17是存储中央处理器10所需数据的闪存。EEPROM 18可进行电重写或改写，以及存储分辨率提高模块11所需的数据。EEPROM 19也可以电重写或改写，并存储运动图像改善模块12所需的数据。

上述的硬通过模式和软通过模式被应用于中央处理器10将诸如数据广播的图形叠加到视频图像上的情况中。同时，在显示处理器13将诸如数据广播的图形叠加到视频图像上的情况中，可以部分地以如下方式应用通过模式。

例如，当与L型安排的数据广播同时显示视频图像时，分辨率提高控制器23基于图形信号指定将被叠加数据广播的图形的视频图像的位置。根据来自分辨率提高控制器23的指示，分辨率提高模块11对除了将要叠加图形的位置以外的视频图像执行超分辨率转换。此后，显示处理器13将该图形叠加到经历了超分辨率转换的视频图像上。此外，在逐点显示的情况中，可以基于坐标信息指定输入图像的该位置，从而，不对该坐标区执行超分辨率转换。

以下描述了分辨率提高控制器23如何控制分辨率提高模块11。图5是分辨率提高控制器23控制分辨率提高模块11的工作的流程图。首先，分辨率提高控制器23基于由中央处理器得到的信息(来自用户操作或其他模块的信息)来识别在随后阶段将要发送至分辨率提高模块11的视频信号的类型(S501)。

然后，分辨率提高控制器23确定是否对视频信号执行超分辨率转换(S502)。该确定是根据之前参照图4描述的视频信号的类型作出的。一旦确定对该视频信号执行超分辨率转换(S502的是)，分辨率提高控制器23就指示分辨率提高模块11执行超分辨率转换(S503)。更具体地，分辨率提高控制器23将该指示的控制信号连同该视频信号一起发送至分辨率提高模块11。根据该控制信号，分辨率提高模块11切换选择器以将该视频信号输出至预处理器25，并以标准模式进行工作。

一旦确定不对视频信号执行超分辨率转换(S502的否)，分辨率提高控制器23就确定是否将硬通过模式应用于该视频信号(S504)。一旦确定了将硬通过模式应用于该视频信号(S504的是)，分辨率提高控制器23就控制分辨率提高模块11以硬通过模式进行工作(S505)。更具体地，分辨率提高模块23将该指示的控制信号连同该视频信号一起发送至分辨率提高模块11。根据该控制信号，分辨率提高模块11切换选择器24以将该视频信号输出至后处理器27，并以硬通过模式进行工作。

另一方面，一旦确定不对视频信号应用硬通过模式而是应用软通过模式(S504的否)，分辨率提高控制器23就控制分辨率提高模块11以软通过模式进行工作(S506)。更具体地，分辨率提高控制器23将该指示的控制信号连同该视频信号一起发送至分辨率提高模块11。根据该控制信号，分辨率提高模块11切换选择器24以将该视频信号输出至预处理器25，并将用于预处理器25和超分辨率转换器26的参数设置为零，从而分辨率提高模块以软通过模式进行工作。以此方式，分辨率提高控制器23控制分辨率提高模块11。

尽管上面描述具有两种通过模式，即，硬通过模式和软通过模式，但是该实施例的图像处理设备可以具有这些通过模式中的任意一种(具体地，为硬通过模式)。

此外，在上述软通过模式中，将用于超分辨率转换的参数设置为零(将该参数设置为零而不增加锐化增益)，从而超分辨率转换器26不执行超分辨率转换。可选的，除了软通过模式外，还可以设置一种模式(低超分辨率处理模式)，在该模式中，将参数设置为低于超分辨率转换的标准模式中的一个值(该参数被设置为稍微增加锐化增益)。在该低分辨率处理模式中，超分辨率转换器26以低于标准模式的等级对视频信号执行超分辨率转换。

如上所述，根据一个实施例，图像处理设备不对视频信号执行超分辨率转换，其中，超分辨率转换对该视频信号具有不良效果。在该方式中，通过跳过超分辨率转换，可以减少图像处理设备上的负载。

此外，当超分辨率转换降低视频信号的图像质量时，图像处理设备不对该视频信号执行超分辨率转换。从而，可以防止由于超分辨率转换造成的图像质量劣化。

此外，当超分辨率转换对视频信号有不利影响(例如，视频输出的延迟)时，图像处理设备不对该视频信号执行超分辨率转换。因此，可以防止由于超分辨率转换引起的不利影响。

此外，图像处理设备可以以低于标准模式的等级对视频信号(超分辨率对该视频信号具有不良效果)执行超分辨率转换。这样，可以减少图像处理设备上的负载、减少噪声增强等。

以应用于数字TV 1的实例的方式描述了上述实施例的图像处理设备，其中，数字TV包括显示处理器13、显示模块14、音频处理器15和扬声器16；然而，其还可以应用于例如不带有这些模块的调谐器或机顶盒。

本文中描述的各系统的各种模块可以实现为软件应用程序、硬件和/或软件模块、或一台或多台计算机(诸如服务器)上的部件。尽管独立地示出了各种模块，但是它们可以共享同一下层逻辑电路或代码中的一些或全部。

尽管已经描述了本发明的一些实施例，但是这些实施例仅以实例的方式来呈现，而不用于限制本发明的范围。实际上，本文中描述的新颖方法和系统可以以各种其他的形式来实现；此外，在不背离本发明精神的条件下，可以对本发明中所述的方法和系统进行形式上的各种省略、替换和改变。所附权利要求及其等同物用于将这些形式或改进覆盖为落入本发明范围和精神内。

Claims

1.一种图像处理设备，包括：

超分辨率转换器，配置为在接收到具有第一分辨率的视频信号时，通过根据所述视频信号估计原始像素值并增加像素来对所述视频信号执行超分辨率转换，以将所述第一分辨率提高至第二分辨率；以及

控制器，配置为依赖于所述视频信号的类型来控制所述超分辨率转换器不执行所述超分辨率转换。

2.根据权利要求1所述的图像处理设备，其中，所述控制器配置为依赖于所述视频信号的类型来控制所述视频信号不被输入至所述超分辨率转换器。

3.根据权利要求2所述的图像处理设备，进一步包括：选择器，配置为选择是否将所述视频信号发送至所述超分辨率转换器，其中，

所述控制器配置为依赖于所述视频信号的类型来控制所述选择器不将所述视频信号发送至所述超分辨率转换器。

4.根据权利要求1所述的图像处理设备，其中，所述控制器配置为控制所述超分辨率转换器来禁止所述超分辨率转换。

5.根据权利要求1所述的图像处理设备，其中，所述控制器配置为在所述视频信号呈现静止图像时，控制所述超分辨率转换器不执行所述超分辨率转换。

6.根据权利要求1所述的图像处理设备，其中，所述控制器配置为在所述视频信号呈现游戏图像时，控制所述超分辨率转换器不执行所述超分辨率转换。

7.根据权利要求1所述的图像处理设备，其中，所述超分辨率转换器配置为对所述视频信号的一部分执行所述超分辨率转换。

8.根据权利要求1所述的图像处理设备，进一步包括：显示模块，配置为显示所述视频信号。

9.一种图像处理设备，包括：

控制器，配置为依赖于所述视频信号的类型来控制所述超分辨率转换器以不同等级执行所述超分辨率转换。

10.一种图像处理设备，包括：

超分辨率转换器，配置为对具有第一分辨率的视频信号执行超分辨率转换，以将所述第一分辨率提高至第二分辨率；以及

11.一种图像处理方法，包括：

在接收到具有第一分辨率的视频信号时，通过根据所述视频信号估计原始像素值并增加像素来对所述视频信号执行超分辨率转换，以将所述第一分辨率提高至第二分辨率；以及

依赖于所述视频信号的类型来控制不执行所述超分辨率转换。