CN101646033A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101646033A
CN101646033A CN200910127135A CN200910127135A CN101646033A CN 101646033 A CN101646033 A CN 101646033A CN 200910127135 A CN200910127135 A CN 200910127135A CN 200910127135 A CN200910127135 A CN 200910127135A CN 101646033 A CN101646033 A CN 101646033A
Authority
CN
China
Prior art keywords
resolution
super
module
video mode
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910127135A
Other languages
English (en)
Other versions
CN101646033B (zh
Inventor
寺田宗城
永井贤一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Toshiba Visual Solutions Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101646033A publication Critical patent/CN101646033A/zh
Application granted granted Critical
Publication of CN101646033B publication Critical patent/CN101646033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6118—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving cable transmission, e.g. using a cable modem
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

根据一个实施例，图像处理装置包括等级存储模块、指令接收模块、切换模块、以及分辨率提高模块。等级存储模块存储与表明显示视频信号的清晰度的视频模式相关联的超分辨率等级。超分辨率等级表明超分辨率转换的强度，其中，根据具有第一分辨率的视频信号，获得具有高于第一分辨率的第二分辨率的视频信号。指令接收模块接收指定视频模式的指令。切换模块将视频模式切换至指定的视频模式。分辨率提高模块以与所指定的视频模式相对应的超分辨率等级执行超分辨率转换。

Description

图像处理装置和图像处理方法
技术领域
本发明的一个实施例涉及用于提高图像分辨率的技术，并且，更具体地，涉及切换分辨率等级的图像处理装置和图像处理方法。
背景技术
最近在将个人计算机(PC)和电视机整合到一起的进步为在具有超过标准清晰度(SD)的高清晰度(HD)的高分辨率显示器上观看各种类型的视频提供了更多的可能。
用于SD电视的视频广播、记录在DVD上的视频等具有较低的分辨率。因此，当用户以HD尺寸(尤其是，以全HD尺寸，即，1920×1080像素的全HD分辨率)观看视频时，会增加视频的分辨率。为了提高图像的分辨率，诸如线性内插和立体卷积内插的技术已经被用于计算图像的像素值。然而，通过这些技术不能获得锐化图像。
鉴于此，已经研发出了一种超分辨率技术，在该技术中，图像被扩大，在经扩大的图像的各像素间内插高频分量像素以获得锐化的高分辨率图像(例如，参见第2008-067110和2008-146190号日本专利申请公开(KOKAI))。传统的超分辨率技术增强了视频锐度，并且用户因此可以享受到锐化的和清楚的视频。
以诸如经由包括广播卫星(BS)广播、通讯卫星(CS)广播、数字地面广播、模拟数据广播的广播以及经由互联网的各种方式来提供具有不同数据量的视频。因此，利用传统的超分辨率技术，为了欣赏更清晰的视频，用户执行复杂的操作以根据所提供的视频来切换表明超分辨率处理的强度的等级(下文中，“超分辨率等级”)。
因此，本发明的目的是提供允许用户容易地切换超分辨率等级的图像处理装置和图像处理方法。
发明内容
为了克服该问题并且达到上述目的，根据本发明的一方面，提供了一种图像处理装置，该图像处理装置包括：等级存储模块，被配置为存储与表明显示视频信号的清晰度的视频模式相关联的超分辨率等级，该超分辨率等级表明超分辨率转换的强度，其中，在接收到具有第一分辨率的第一视频信号时，根据第一视频信号估计原始像素值，并且增加像素以获得具有高于第一分辨率的第二分辨率的第二视频信号；指令接收模块，被配置为接收指定视频模式的指令；切换模块，被配置为将视频模式切换为由指令所指定的视频模式；以及分辨率提高模块，被配置为以与通过切换模块所切换的视频模式相对应的超分辨率等级来执行超分辨率转换。
根据本发明的另一方面，提供了一种图像处理装置，该图像处理装置包括：分辨率提高模块，被配置为执行超分辨率转换，其中，在接收到具有第一分辨率的第一视频信号时，分辨率提高模块根据第一视频信号来估计原始像素值，并且增加像素以获得具有高于第一分辨率的第二分辨率的第二视频信号；显示模块，被配置为显示通过超分辨率转换所获得的第二视频信号；超分辨率等级选择模块，被配置为通过显示模块接收选择超分辨率转换的等级的输入；以及控制器，被配置为控制分辨率提高模块以按照超分辨率转换的等级来执行超分辨率转换。
根据本发明的又一方面，提供了一种图像处理装置，该图像处理装置包括：等级存储模块，被配置为存储与表明显示视频信号的清晰度的视频模式相关联的超分辨率等级，该超分辨率等级表明超分辨率转换的强度，其中，将具有第一分辨率的视频信号转换为具有高于第一分辨率的第二分辨率的视频信号；指令接收模块，被配置为接收指定视频模式的指令；切换模块，被配置为将视频模式切换为由指令所指定的视频模式；以及分辨率提高模块，被配置为以与通过切换模块所切换的视频模式相对应的超分辨率等级来执行超分辨率转换。
进一步根据本发明的再一实施例，提供了图像处理方法，该图像处理方法包括：存储与表明显示视频信号的清晰度的视频方式相关联的超分辨率等级，该超分辨率等级表明超分辨率转换的强度，其中，在接收到具有第一分辨率的第一视频信号时，根据第一视频信号来估计原始像素值，并且增加像素以获得具有高于第一分辨率的第二分辨率的第二视频信号；接收指定视频模式的指令；将视频模式切换为由指令所指定的视频模式；以及按照与切换时所切换的视频模式相对应的超分辨率等级来执行超分辨率转换。
如上所述，根据本发明的一个方面，与表明显示视频信号的清晰度的视频模式相关联地存储超分辨率等级，并且以通过用户所指定的视频模式对视频信号执行超分辨率处理。因此，用户可以容易地从一个等级至另一个等级切换超分辨率等级。
附图说明
现在将参照附图来描述实现本发明各特征的大体构造。附图及其相关描述用于阐述本发明的各实施例并不用于限制本发明的范围。
图1是根据本发明的实施例的图像显示装置的示例性框图；
图2是图1所示的中央处理器的示例性框图；
图3是响应于该实施例中对操作模块的操作经由OSD显示在显示模块上的有关图像调整的屏幕的示例性示图；
图4是该实施例中图3所示的超分辨率调整的菜单的示例性示图；
图5是该实施例中在视频模式和超分辨率等级之间的关系的示例性示图；
图6是该实施例中图1所示的分辨率提高模块的示例性框图；以及
图7是该实施例中超分辨率切换处理的示例性流程图。
具体实施方式
下文中，将参照附图描述根据本发明的各种实施例。
图1是根据本发明的实施例的图像显示装置100的示意性框图。如图1所示，该实施例的图像显示装置100包括：视频信号输入模块11、中央处理器12、分辨率提高模块13、运动图像改善模块14、显示处理器15、显示模块16、音频处理器17、以及音频输出模块18。分辨率提高模块13对应于图像处理装置。
视频信号输入模块11包括数字广播接收机111、互联网协议电视(IPTV)信号处理器112、互联网信号处理器113、以及外部输入模块114。数字广播接收机111接收要显示的视频信号。互联网信号处理器113接收通过诸如互联网的IP网络传送的数据。外部输入模块114接收模拟信号的输入。本文中所使用的术语“视频信号”包括音频信号和诸如静止图像信号和运动图像信号的图像信号。
数字广播接收机111包括数字天线1111、数字调谐器1112、和数字信号解调器1113。数字天线1111接收诸如BS广播、CS广播、以及数字地面广播的数字广播。数字调谐器1112用于选择数字广播频道。数字信号解调器1113对数字广播信号进行解调，并将其作为数字视频信号输出至中央处理器12。
IPTV信号处理器112接收通过专用IP网络传送的IP广播，并将其作为数字视频信号输出至中央处理器12。
互联网信号处理器113接收通过诸如互联网的IP网络传送的数据(静止图像、运动图像等)，并将其作为数字视频信号输出至中央处理器12。
外部输入模块114包括模拟天线1141、模拟调谐器1142、和外部输入信号处理器1143。模拟天线1141接收模拟广播。模拟调谐器1142用于选择模拟广播频道。外部输入信号处理器1143对模拟信号执行信号处理(诸如A/D转换)，并将其作为数字视频信号输出至中央处理器12。外部输入信号处理器1143设置有用于连接到外部装置(诸如游戏机、个人计算机(PC)、数字通用光盘(DVD)播放器)的端子(未示出)。外部输入信号处理器1143还对通过该端子从外部装置接收到的模拟信号执行信号处理。
图2是中央处理器12的功能性框图。如图2所示，中央处理器12包括操作接收机121、切换器122、控制器123、以及闪存19。
操作接收机121接收(如稍后描述的)用于指定视频模式的信号(下文中称作“指令信号(instruction signal)”)，并将其输出至切换器122。该视频模式表明在显示模块16上显示视频信号的清晰度并且该视频模式通过操作模块200来指定。操作模块200可以包括遥控器。
更具体地，例如，当用户在操作模块200上按下有关视频显示调整的设置按钮(未示出)时，经由屏幕上显示(OSD)来显示如图3所示的精细调整屏幕。精细调整屏幕显示菜单项“超分辨率调整”，其用于调整通过诸如用于白平衡的色温设置和伽玛校正参数的各种类型的参数表明超分辨率强度的超分辨率等级。如下文所说，该超分辨率等级表示例如从等级1至等级5进行分级的超分辨率转换的强度。这消除了用户指定复杂的超分辨率参数的需要。
当在经由OSD所显示的精细调整屏幕上选择菜单项“超分辨率调整”时，显示如图4所示的“超分辨率等级调整菜单”。超分辨率等级调整菜单允许用户通过(例如)按下设置按钮来选择视频模式。此处超分辨率等级调整菜单提供了用于超分辨率处理的菜单项“自动”、“模式1”、“模式2”、“模式3”、以及“关闭”。当选择“Auto”模式时，模式可以根据输入的视频信号在模式1至模式3中进行自动切换，或者除模式1至模式3之外，超分辨率处理的参数特性还可以自动地可变。
更具体地，模式根据视频信号的数据量(比特率，分辨率)或噪声等级在模式1至模式3中自动切换，或者超分辨率处理的参数特性自动变化。在模式1中，对于具有低噪声的以低压缩率/高比特率所压缩的清晰并且生动的视频执行超分辨率处理，并且强度低于其他模式的强度。
另一方面，在模式3中，对于具有相对高的噪声，以高压缩率/低比特率所压缩的视频执行超分辨率处理，并且强度高于其他模式的强度。在模式1和模式3之间的模式2中，对于以中等压缩率/中等比特率(在高和低之间的中等)所压缩的标准视频执行超分辨率处理。此外，在“关闭”模式中，不执行超分辨率处理。因此，通过在关闭模式和其他模式之间的切换，用户可以体验超分辨率处理的效果。
此外，如图4所示，当用户选择视频模式时，显示选择菜单，从而用户可以选择与视频模式相对应的超分辨率等级。因此，用户可以通过诸如按下按钮的简单操作来选择与各视频模式相对应的超分辨率等级。图4示出了用户已选择“模式2”作为视频模式并且已经将超分辨率等级设置为“等级2”的情况。
因为个人用户对视频的喜好，所以可以按照与上述相反方式来执行超分辨率处理。即，在模式1中超分辨率处理的强度可以是高于其他模式，同时在模式3中强度可以是低于其他模式。
图5示出了视频模式和超分辨率等级之间的关系。如图5所示，对于各视频模式来设置超分辨率等级。更具体地，视频模式和超分辨率等级相关联，从而当视频模式从模式1通过模式2至...(模式1→模式2→...)改变时，视频信号的高频分量的输出以超分辨率等级增加。利用以这种方式对于各视频模式所设置的超分辨率等级，用户可以精细地设置超分辨率等级。视频模式和超分辨率等级彼此相关联地被存储在诸如闪存19的存储介质中。
返回参照图2，已经从数字信号解调器1113、IPTV信号处理器112、互联网信号处理器113、或者外部输入信号处理器114接收到视频信号，切换器122识别与通过操作接收器121所接收的指令信号相对应的视频模式(例如，模式2)和超分辨率等级(例如，等级2)并且将其输出至控制器123。切换器122还将视频模式和超分辨率等级写入闪存19。
控制器123将视频信号分离为图像信号和音频信号。控制器123将经受预定图像处理的图像信号输出至分辨率提高模块13，以及将音频信号输出至音频处理器17。
控制器123对图像信号执行的图像处理的实例包括定标以将图像信号的分辨率转换为预定值(例如，1280×720)。
如上所述，闪存19将与通过操作接收器121接收到、来自操作模块200的指令信号相对应的视频模式和超分辨率等级彼此关联地进行存储。
下文中，描述了分辨率提高模块13。图6是分辨率提高模块13的功能框图。如图6所示，分辨率提高模块13包括：预处理器131、超分辨率转换器132、后处理器133、以及电可擦可编程只读存储器(EEPROM)20。
预处理器131对从中央处理器12接收到的图像信号执行图像处理(下文中，称作“预处理”)，然后，将其输出至超分辨率转换器132(后面将对其进行描述)。预处理的实例包括隔行扫描/逐行扫描转换和噪声减小以消除噪声。预处理器131还接收来自中央处理器12的视频模式和超分辨率等级，并将其输出至超分辨率转换器132。顺便地，与视频模式和超分辨率等级有关的信号可以直接输入至超分辨率转换器132而无需经由预处理器131。
更具体地，作为隔行扫描/逐行扫描转换，预处理器131从图像信号检测图像的运动，并确定图像是静止图像还是运动图像。当图像是静止图像时，预处理器131执行静止图像内插。另一方面，当图像是运动图像时，预处理器131执行运动图像内插。
作为噪声减小，预处理器131校正图像的轮廓、减小图像模糊和眩光、抑制过度补偿(高频增强)、以及校正由照相机的水平运动引起的照相机抖动模糊。
超分辨率转换器132对接收到的来自预处理器131的低分辨率帧执行图像处理(下文中称作“超分辨率转换”)以提高分辨率，从而产生HD尺寸的高分辨率运动图像数据帧(下文中称作“高分辨率帧”)。超分辨率转换器132将高分辨率帧输出至后处理器133。
本文中使用的术语“超分辨率转换”指的是图像锐化，其中，根据具有低分辨率(即，第一分辨率)的图像信号，估计原始像素值以增加像素并因此恢复具有高分辨率(即，第二分辨率)的图像信号。原始像素值指的是通过(例如)利用照相机对与具有低分辨率(第一分辨率)的图像相同的对象进行成像而得到的图像信号的每个像素的值，其中，该照相机具有高分辨率像素并能够拍摄具有高分辨率(第二分辨率)的图像。
此外，“估计原始像素值以增加像素”意味着获得图像特性以找到相关的图像，以及使用相关的图像从相邻的图像(处于同一帧或帧之间)估计原始像素值以增加像素。可以使用例如第2007-310837、2008-98803、以及2000-188680号日本专利申请公开(KOKAI)中披露的已知或通常使用的技术来执行超分辨率转换。在该实施例中，超分辨率转换使用(例如)对具有高于通过输入图像的采样率所确定的奈奎斯特(Nyquist)频率的频率分量的图像进行恢复的技术。
如果采用第2007-310837号日本专利申请公开(KOKAI)中披露的超分辨率转换，则超分辨率转换器132设置中等分辨率的多个帧中的每一个中的目标像素，并设置目标图像区以使其包含目标像素。超分辨率转换器132从参考帧中选择对应于最接近于目标图像区中的像素值的变化模式的多个目标图像区的多个对应点。超分辨率转换器132将对应点的亮度采样值设置为相应目标像素的像素值。超分辨率转换器132基于多个采样值的大小和多个对应点的布置来计算用于比参考帧具有更多像素并对应于该参考帧的高分辨率帧的像素值。从而，超分辨率转换器132从低分辨率图像信号估计原始像素值，并增加像素以恢复高分辨率图像信号。
如果采用第2008-98803号日本专利申请公开(KOKAI)中披露的在同一帧图像中使用自和谐位置搜索(self-congruency positionsearch)的超分辨率转换，则超分辨率转换器132通过比较中等分辨率的帧的搜索区中的各像素的误差来计算具有最小误差(即，第一误差)的第一像素位置。超分辨率转换器132基于第一像素位置和第一误差计算具有搜索区中具有十进制精度的最小误差的位置，以及第一像素周围的第二像素位置及其第二误差。超分辨率转换器132计算十进制精度向量，该向量的结束点位于具有最小误差的位置处，其起始点位于感兴趣的像素处。超分辨率转换器132基于十进制精度向量来计算十进制精度向量的外插向量，该外插向量的结束点位于屏幕上不在搜索区内的像素处。超分辨率转换器132基于从图像信号、十进制精度向量、和外插向量得到的像素值，计算具有比图像信号更多像素的高分辨率图像的像素值。按照该方式，超分辨率转换器132从低分辨率图像信号估计原始像素值，并增加像素以恢复高分辨率图像信号。
超分辨率转换器132可以采用利用了多个帧之间映射的第2000-188680号日本专利申请公开(KOKAI)中披露的超分辨率转换。
以实例而不是以限制性的方式引用了上述的超级分辨率转换技术。超分辨率转换器132可以采用各种其他技术，在这些技术中，根据低分辨率图像信号估计原始像素值以增加像素从而得到高分辨率图像信号。
在接收到已经由预处理器131进行了噪声减小等处理的图像信号后，超分辨率转换器132执行对应于视频模式和超分辨率等级的超分辨率转换。更具体地，超分辨率转换器132从例如EEPROM 20中检索对应于视频模式和超分辨率等级的超分辨率参数。
超分辨率参数以数字值表示超分辨率变化的强度。例如，当将在像素间内插更多的具有高频分量的像素时，高频分量像素与将利用它们进行内插的像素的比率较高，以及超分辨率参数表示较大的值。超分辨率参数的较大值表示较高的锐化增益和较高的超分辨率转换强度。图5中所示的超分辨率参数表示，假设当对所有的像素都执行超分辨率转换时将超分辨率参数都设置为100时，将被内插的高频分量像素与所有像素的比率。以此方式，超分辨率转换的指数被存储为参数。因此，如果超分辨率转换的基准中存在变化，则有可能容易地且有效地应付该变化。
超分辨率转换器132基于超分辨率参数对图像信号执行超分辨率转换，并将其输出至下面描述的后处理器133。
后处理器133对从超分辨率转换器132接收到的图像信号进行诸如伽玛校正和白平衡调整的图像校正(下文中称作“后处理”)，并将其输出至运动图像改善模块14。
返回参照图1，将描述运动图像改善模块14。运动图像改善模块14对从后处理器133接收到的图像信号进行双速处理(double-speed processing)。更具体地，运动图像改善模块14将以60帧每秒(fps)传送的视频信号的帧率转换为120fps。这减少了对象水平、垂直、以及对角或旋转运动的部分中的图像模糊，以及有效地抑制了噪声。从而，可以清楚地显示具有快速运动的运动场景、字幕(telop)序列等。运动图像改善模块14将进行了帧率转换的图像信号输出至显示处理器15。
内插可以基于利用第2008-35404号日本专利申请公开(KOKAI)披露的利用块匹配的运动向量检测来通过使用根据用于帧图像的内插的常用方法(诸如，内插帧生成方法)所产生的内插帧来实现。此外，内插帧的数量可以任意确定。
显示处理器15包括将图像信号输出至显示模块16的驱动器，从而显示模块16可以显示从运动图像改善模块14所接收的图像信号。显示处理器15还响应于来自操作模块200的指令经由OSD显示有关视频显示的精细调整屏幕。
显示模块16包括诸如液晶显示(LCD)面板、等离子面板、或表面传导电子发射显示(SED)面板的显示面板。显示模块16在显示处理器15的控制下在屏幕上显示图像信号。
如之前提及的，EEPROM 20存储彼此相关的视频模式和超分辨率等级。
操作模块200可以包括诸如遥控器的远程操作装置，并且响应于用户对于指定视频模式的输入，将对应其的指令信号发送至中央控制器12。
下文中，描述如上配置的图像显示装置100的操作。图7是以与通过用户所指定的视频模式相对应的超分辨率等级通过图像显示装置100执行超分辨率转换的流程图。为了简化并且容易理解，以下描述假设用户已经指定了视频模式，并且获得了作为与视频模式相对应的超分辨率等级的超分辨率参数。然而，即使在各处理期间，当需要时，也可以通过中断信号指定视频模式。
如图7所示，中央处理器12的切换器122识别由用户所设置的视频模式(S601)。
切换器122将视频模式连同图像信号发送至分辨率提高模块13。预处理器131对图像信号执行诸如隔行扫描/逐行扫描转换和噪声减小的图像处理，并且将其与视频模式和对应超分辨率等级一起输出至超分辨率转换器132(S602)。顺便提及，有关视频模式和超分辨率等级的信号可以从中央处理器12直接输入至超分辨率转换器132而不用经由预处理器131。
此后，超分辨率转换器132从EEPROM 20获得与视频模式和超分辨率等级相对应的超分辨率参数(S603)。
超分辨率转换器132对图像信号以与超分辨率参数相对应的超分辨率等级来执行超分辨率转换(S604)，并且将所转换的信号输出至后处理器133。后处理器133对于图像信号执行诸如伽玛校正和白平衡调整的图像校正，并且将所校正的图像信号输出至运动图像改善模块14(S605)。显示模块16在显示处理器15的控制下显示图像信号。
如上所述，中央处理器12的切换器122获得与由用户所指定的视频模式相对应的超分辨率等级的超分辨率参数。其允许用户通过简单操作设置期望的超分辨率等级。此外，利用“自动”模式，用户可以通过自动调整至最佳设置的超分辨率处理享受视频。此外，利用诸如模式1模式3和关闭的多个模式，利用取决于视频类型作为他/她期望而选择的超分辨率处理，用户可以享受视频。
在上述实施例中，将超分辨率等级描述为与表明显示视频信号的清晰度的视频模式相关联的存储。然而，可以根据图像信号的类型(例如，通过BS广播、CS广播等所提供的图像信号的频率)或节目的类型(例如，体育节目、电影等)设置超分辨率等级。在这种情况下，基于与如此设置的超分辨率等级相对应的超分辨率参数执行超分辨率转换。
利用作为被应用于图像显示装置100的实例描述了该实施例的信息处理设备，而图像显示设备例如是包括显示处理器15、显示模块16、音频处理器17和音频输出模块18的数字电视；然而，例如，其可以应用于没有这些模块的机顶盒或调谐器。
本文中描述的系统的各模块可以实现为软件应用程序、硬件和/或软件模块、或一个或多个计算机(诸如服务器)上的部件。尽管独立地示出了不同模块，但是它们共享同一下部逻辑电路或代码中的一些或全部。
尽管已经描述了本发明的一些实施例，但是这些实施例仅以实例的形式被呈现，并不用于限制本发明的范围。实际上，本文中描述的新的方法和系统可以以各种其他的形式实现；此外，在不背离本发明的精神的条件下，可以对本文中描述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同替换用于覆盖这些形式和改进，使其落入本发明的范围和精神内。

Claims (9)

1.一种图像处理装置，包括：
等级存储模块，被配置为与视频模式相关联地存储超分辨率等级，所述视频模式表明显示视频信号的清晰度，所述超分辨率等级表明超分辨率转换的强度，其中，在接收到具有第一分辨率的第一视频信号时，根据所述第一视频信号估计原始像素值，并且增加像素以获得具有高于所述第一分辨率的第二分辨率的第二视频信号；
指令接收模块，被配置为接收指定视频模式的指令；
切换模块，被配置为将视频模式切换至由所述指令所指定的视频模式；以及
分辨率提高模块，被配置为按照与通过所述切换模块所切换的视频模式相对应的超分辨率等级执行所述超分辨率转换。
2.根据权利要求1所述的图像处理装置，其中，所述等级存储模块被配置为存储多个视频模式，以及分别与所述视频模式中的一个相关联的多个超分辨率等级。
3.根据权利要求2所述的图像处理装置，其中，所述等级存储模块被配置为与所述超分辨率等级相关联地存储所述视频模式，从而当所述超分辨率转换的强度提高时，所述第二视频信号具有较高的频率。
4.根据权利要求1所述的图像处理装置，其中，所述等级存储模块被配置为以参数的形式存储所述超分辨率等级和所述视频模式。
5.根据权利要求1所述的图像处理装置，进一步包括显示模块，所述显示模块被配置为显示通过所述超分辨率转换所获得的所述第二视频信号。
6.根据权利要求1所述的图像处理装置，进一步包括显示控制器，所述显示控制器被配置为控制所述显示模块经由屏幕上显示来显示所述视频模式和所述超分辨率等级。
7.一种图像处理装置，包括：
分辨率提高模块，被配置为执行超分辨率转换，其中，在接收到具有第一分辨率的第一视频信号时，所述分辨率提高模块根据所述第一视频信号估计原始像素值，并且提高像素以获得具有高于所述第一分辨率的第二分辨率的第二视频信号；
显示模块，被配置为显示通过所述超分辨率转换所获得的所述第二视频信号；
超分辨率等级选择模块，被配置为接收通过所述显示模块进行的选择所述超分辨率转换的等级的输入；以及
控制器，被配置为控制所述分辨率提高模块按照所述超分辨率转换的等级来执行所述超分辨率转换。
8.一种图像处理装置，包括：
等级存储模块，被配置为与视频模式相关联地存储超分辨率等级，所述视频模式表明显示视频信号的清晰度，所述超分辨率等级表明超分辨率转换的强度，其中，具有第一分辨率的视频信号被转换为具有高于所述第一分辨率的第二分辨率的视频信号；
指令接收模块，被配置为接收指定视频模式的指令；
切换模块，被配置为将视频模式切换至由所述指令所指定的视频模式；以及
分辨率提高模块，被配置为按照与通过所述切换模块所切换到的视频模式相对应的超分辨率等级来执行所述超分辨率转换。
9.一种图像处理方法，包括：
与视频模式相关联地存储超分辨率等级，所述视频模式表明显示视频信号的清晰度，所述超分辨率等级表明超分辨率转换的强度，其中，当接收到具有第一分辨率的第一视频信号时，根据所述第一视频信号估计原始像素值，并且增加像素以获得具有高于所述第一分辨率的第二分辨率的第二视频信号；
接收指定视频模式的指令；
将视频模式切换至由所述指令所指定的视频模式；以及
按照与所述切换时所切换到的视频模式相对应的超分辨率等级来执行所述超分辨率转换。
CN2009101271353A 2008-08-04 2009-03-13 图像处理装置和图像处理方法 Active CN101646033B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008201202 2008-08-04
JP2008-201202 2008-08-04
JP2008201202 2008-08-04

Publications (2)

Publication Number Publication Date
CN101646033A true CN101646033A (zh) 2010-02-10
CN101646033B CN101646033B (zh) 2012-02-15

Family

ID=41137740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101271353A Active CN101646033B (zh) 2008-08-04 2009-03-13 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8581906B2 (zh)
EP (1) EP2152003A1 (zh)
CN (1) CN101646033B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182105A2 (zh) * 2013-05-07 2013-12-12 中兴通讯股份有限公司 一种自适应调节视频的方法及系统
CN103716575A (zh) * 2013-12-11 2014-04-09 乐视致新电子科技（天津）有限公司 一种可调整清晰度的显示装置及控制方法
CN105872662A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 一种视频清晰度控制方法、装置及播放终端
CN110868625A (zh) * 2019-11-22 2020-03-06 北京金山云网络技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN111147893A (zh) * 2018-11-02 2020-05-12 华为技术有限公司 一种视频自适应方法、相关设备以及存储介质
CN112866574A (zh) * 2021-01-14 2021-05-28 中国科学院软件研究所 一种面向软件定义卫星的可重构阵列成像方法与装置
CN113475091A (zh) * 2019-02-22 2021-10-01 三星电子株式会社 显示设备及其图像显示方法
CN113837939A (zh) * 2017-10-09 2021-12-24 华为技术有限公司 一种图像处理方法及设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4674614B2 (ja) * 2008-04-18 2011-04-20 ソニー株式会社 信号処理装置および制御方法、信号処理方法、プログラム、並びに信号処理システム
KR20100116850A (ko) * 2009-04-23 2010-11-02 삼성전자주식회사 디스플레이 장치 세팅방법 및 이를 적용한 디스플레이 장치
JP5343785B2 (ja) * 2009-09-17 2013-11-13 ソニー株式会社 画像信号処理装置、送信装置、画像信号処理方法、プログラム、および画像信号処理システム
KR101650779B1 (ko) * 2010-02-01 2016-08-25 삼성전자주식회사 단일 칩 디스플레이 구동회로, 이를 포함하는 디스플레이 장치 및 디스플레이 시스템
US20120005507A1 (en) * 2010-07-01 2012-01-05 Himax Technologies Limited Display Devices and Control Methods
US9729938B2 (en) * 2015-01-24 2017-08-08 Valens Semiconductor Ltd. Low latency visually lossless switching between different compression ratios
DE102016122934A1 (de) * 2016-11-28 2018-06-14 SMR Patents S.à.r.l. Bildgebungssystem für ein Fahrzeug und Verfahren zum Erhalten eines superaufgelösten Antiflimmer-Bildes
CN108496198B (zh) * 2017-10-09 2021-08-20 华为技术有限公司 一种图像处理方法及设备
CN113728354A (zh) * 2019-04-30 2021-11-30 华为技术有限公司 一种图像处理方法及装置
CN114286126A (zh) * 2020-09-28 2022-04-05 阿里巴巴集团控股有限公司 视频处理方法及装置
CN113099289B (zh) * 2021-03-31 2023-12-12 京东方科技集团股份有限公司 显示装置及其控制方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3409889B2 (ja) 1993-09-01 2003-05-26 株式会社日立製作所 記録制御装置
US5760783A (en) * 1995-11-06 1998-06-02 Silicon Graphics, Inc. Method and system for providing texture using a selected portion of a texture map
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6563504B1 (en) * 1998-12-24 2003-05-13 B3D, Inc. System and method for creating 3D animated content for multiple playback platforms from a single production process
US6184894B1 (en) * 1999-01-29 2001-02-06 Neomagic Corp. Adaptive tri-linear interpolation for use when switching to a new level-of-detail map
AU2001239926A1 (en) * 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
JP2002077834A (ja) 2000-08-29 2002-03-15 Toshiba Corp デジタル放送受信装置
US7081893B2 (en) * 2001-10-10 2006-07-25 Sony Computer Entertainment America Inc. System and method for point pushing to render polygons in environments with changing levels of detail
US6833839B2 (en) 2002-05-13 2004-12-21 Genesis Microchip Inc. Apparatus and method for multi-resolution color mapping for display devices
US6943805B2 (en) * 2002-06-28 2005-09-13 Microsoft Corporation Systems and methods for providing image rendering using variable rate source sampling
US7120311B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Systems and methods for providing forward mapping with visibility for and resolution of accumulated samples
US20050030386A1 (en) 2003-08-04 2005-02-10 John Kamieniecki Method and apparatus for determining video formats supported by a digital television receiver
KR100565058B1 (ko) 2003-08-22 2006-03-30 삼성전자주식회사 최적의 디스플레이 환경을 설정하는 ｄｖｄ 플레이어 및그 동작 방법
JP2005141614A (ja) 2003-11-10 2005-06-02 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像生成における処理時間の短縮化
US8161388B2 (en) 2004-01-21 2012-04-17 Rodriguez Arturo A Interactive discovery of display device characteristics
JP2005338185A (ja) 2004-05-24 2005-12-08 Toshiba Corp 情報処理装置および表示制御方法
JP2006236317A (ja) 2005-01-26 2006-09-07 Matsushita Electric Ind Co Ltd 画像処理方法
US7689053B2 (en) 2005-01-26 2010-03-30 Panasonic Corporation Image processing method
KR20060104811A (ko) * 2005-03-31 2006-10-09 엘지전자 주식회사 영상표시기기의 화질 조정장치 및 방법
JP2007193508A (ja) 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム
US7626591B2 (en) * 2006-01-24 2009-12-01 D & S Consultants, Inc. System and method for asynchronous continuous-level-of-detail texture mapping for large-scale terrain rendering
JP4116649B2 (ja) 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP4868968B2 (ja) 2006-07-31 2012-02-01 株式会社東芝 補間フレーム作成方法及び補間フレーム作成装置
JP2008067110A (ja) 2006-09-07 2008-03-21 Toshiba Corp 超解像度画像の生成装置
JP2008067316A (ja) 2006-09-11 2008-03-21 Olympus Corp 画像配信システム、サーバ及びクライアント端末
JP4818053B2 (ja) 2006-10-10 2011-11-16 株式会社東芝 高解像度化装置および方法
JP2008146190A (ja) 2006-12-07 2008-06-26 Seiko Epson Corp 解像度変換装置、解像度変換方法、解像度変換プログラム及び画像表示システム
TWI466547B (zh) 2007-01-05 2014-12-21 Marvell World Trade Ltd 用於改善低解析度視訊之方法與系統

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013182105A2 (zh) * 2013-05-07 2013-12-12 中兴通讯股份有限公司 一种自适应调节视频的方法及系统
WO2013182105A3 (zh) * 2013-05-07 2014-04-10 中兴通讯股份有限公司 一种自适应调节视频的方法及系统
CN104144311A (zh) * 2013-05-07 2014-11-12 中兴通讯股份有限公司 一种自适应调节视频的方法及系统
CN103716575A (zh) * 2013-12-11 2014-04-09 乐视致新电子科技（天津）有限公司 一种可调整清晰度的显示装置及控制方法
CN105872662A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 一种视频清晰度控制方法、装置及播放终端
CN113837939A (zh) * 2017-10-09 2021-12-24 华为技术有限公司 一种图像处理方法及设备
CN111147893A (zh) * 2018-11-02 2020-05-12 华为技术有限公司 一种视频自适应方法、相关设备以及存储介质
CN111147893B (zh) * 2018-11-02 2021-10-22 华为技术有限公司 一种视频自适应方法、相关设备以及存储介质
US11509860B2 (en) 2018-11-02 2022-11-22 Huawei Technologies Co., Ltd. Video adaptation method, related device, and storage medium
CN113475091A (zh) * 2019-02-22 2021-10-01 三星电子株式会社 显示设备及其图像显示方法
CN113475091B (zh) * 2019-02-22 2023-08-25 三星电子株式会社 显示设备及其图像显示方法
CN110868625A (zh) * 2019-11-22 2020-03-06 北京金山云网络技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN112866574A (zh) * 2021-01-14 2021-05-28 中国科学院软件研究所 一种面向软件定义卫星的可重构阵列成像方法与装置
CN112866574B (zh) * 2021-01-14 2022-12-23 中国科学院软件研究所 一种面向软件定义卫星的可重构阵列成像方法与装置

Also Published As

Publication number Publication date
US20100026695A1 (en) 2010-02-04
EP2152003A1 (en) 2010-02-10
CN101646033B (zh) 2012-02-15
US8581906B2 (en) 2013-11-12

Similar Documents

Publication Publication Date Title
CN101646033B (zh) 图像处理装置和图像处理方法
CN101646042B (zh) 图像处理设备和图像处理方法
US8265426B2 (en) Image processor and image processing method for increasing video resolution
US7995146B2 (en) Image processing apparatus and image processing method
US8385422B2 (en) Image processing apparatus and image processing method
US20100026885A1 (en) Image Processing Apparatus
US20080239151A1 (en) Video signal processing apparatus, video display apparatus and video signal processing method
US7983454B2 (en) Image processing apparatus and image processing method for processing a flesh-colored area
US7787047B2 (en) Image processing apparatus and image processing method
JP5178579B2 (ja) 画像処理装置
US7903126B2 (en) Image processing apparatus and image processing method thereof
US20100165205A1 (en) Video signal sharpening apparatus, image processing apparatus, and video signal sharpening method
JP4722672B2 (ja) 画像表示装置
US8270773B2 (en) Image processing apparatus and image processing method
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP4897036B2 (ja) 画像処理装置、および画像処理方法
US20100045857A1 (en) Image Processor and Image Processing Method
JP2008099091A (ja) 画像処理方法およびテレビジョン受像機
JP5075923B2 (ja) 画像処理装置、および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161206

Address after: Tokyo, Japan

Patentee after: Toshiba Corp.

Patentee after: TOSHIBA VISUAL SOLUTIONS Corp.

Address before: Tokyo, Japan

Patentee before: Toshiba Corp.

Patentee before: TOSHIBA LIFESTYLE PRODUCTS & SERVICES Corp.

Effective date of registration: 20161206

Address after: Tokyo, Japan

Patentee after: Toshiba Corp.

Patentee after: TOSHIBA LIFESTYLE PRODUCTS & SERVICES Corp.

Address before: Tokyo, Japan

Patentee before: Toshiba Corp.

TR01 Transfer of patent right

Effective date of registration: 20180510

Address after: Aomori

Patentee after: TOSHIBA VISUAL SOLUTIONS Corp.

Address before: Tokyo, Japan

Co-patentee before: TOSHIBA VISUAL SOLUTIONS Corp.

Patentee before: Toshiba Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210902

Address after: 218 Qianwangang Road, Qingdao Economic and Technological Development Zone, Shandong Province

Patentee after: Hisense Video Technology Co.,Ltd.

Patentee after: TOSHIBA VISUAL SOLUTIONS Corp.

Address before: Aomori

Patentee before: TOSHIBA VISUAL SOLUTIONS Corp.

TR01 Transfer of patent right