CN101998083B - 影像处理装置 - Google Patents

影像处理装置 Download PDF

Info

Publication number
CN101998083B
CN101998083B CN201010249171XA CN201010249171A CN101998083B CN 101998083 B CN101998083 B CN 101998083B CN 201010249171X A CN201010249171X A CN 201010249171XA CN 201010249171 A CN201010249171 A CN 201010249171A CN 101998083 B CN101998083 B CN 101998083B
Authority
CN
China
Prior art keywords
signal
image
video signal
convergent
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010249171XA
Other languages
English (en)
Other versions
CN101998083A (zh
Inventor
则竹俊哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101998083A publication Critical patent/CN101998083A/zh
Application granted granted Critical
Publication of CN101998083B publication Critical patent/CN101998083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供一种影像处理装置，其在影像上重叠图形图像。图形图像的影像信号对于每个像素具有颜色信息及透过信息，该影像处理装置具备：滤波处理部，接收表示影像的4:2:0格式的影像信号，并变换为4:2:2或4:4:4格式的影像信号；判定部，根据透过信息，判定是否在影像上重叠了图形图像；合成部，将图形图像的色差信号合成到由滤波处理部变换后的影像信号的色差信号上；和缩放部，对合成后的色差信号进行缩放处理。滤波处理部及缩放部根据判定结果来切换对4:2:0格式的影像信号的色差信号的像素数据及位置信息进行保持的处理，和不保持的处理。由此，即使在影像信号上重叠了OSD影像信号，也能抑制重叠后的影像信号及OSD影像信号的频率特性的劣化和灰度等级的劣化。

Description

影像处理装置
技术领域
本发明涉及一种与数字广播的视听、记录及/或再现相关的影像处理技术。另外，本发明涉及用于再现记录在BD、DVD等数字记录介质中的运动图像的设备中的影像处理技术。
背景技术
当再现数字广播的节目或记录在BD、DVD等中的内容时，有时字幕或反射式字幕(telop)等(以下在本申请说明书中以“字幕”为例)与影像同时显示。此时，影像设备生成在影像信号上重叠字幕的图形的输出图像。
数字广播的节目或记录在BD、DVD中的内容的影像信号，例如被4:2:0取样后，按照MPEG标准被压缩编码。
该“4:2:0取样”是指，针对亮度信号(Y)在影像的水平方向(扫描线上)、垂直方向上均按照1/2的比例取得色差信号(Cb信号以及Cr信号)。例如如果着眼于横向2个像素、纵向2个像素的4个像素，则对于4个像素的每一个生成亮度信号(Y)，将色差信号(Pb信号或Cr信号)作为代表4个像素的同一像素来生成。
被4:2:0取样后的影像信号也被称作“4:2:0格式的影像信号”。
再现装置解调被压缩编码后的影像信号，在将字幕的图形数据作为OSD(On Screen Display)平面的影像信号(OSD影像信号)来生成后，按照影像信号和OSD影像信号的透过信息进行合成、描绘。此合成处理，是在对影像的色差信号进行垂直滤波处理，并变换为与影像的亮度信号相位(也称为“垂直相位”或“取样相位”)相等的色差信号(4:2:2或4:4:4格式的信号)之后进行的(例如参照专利文献1)。
在再现装置中，为了与所连接的显示装置的分辨率相匹配，对上述合成后的影像信号进行缩放(scaling)处理，之后输出到显示装置。在此缩放处理中，进行IP变换(Interlace-progressive变换：隔行-逐行变换)。在IP变换时也对合成后的影像信号的色差信号进行垂直滤波处理。
例如，图6(a)～(d)表示与合成后的色差信号相关的以往的影像处理的一个例子。这个例子表示了将1080条水平扫描线的隔行扫描(Interlace)影像(1080i影像)变换为720条水平扫描线的逐行扫描(progressive)影像(720p影像)并输出的实例。1080i影像假定为4:2:0格式。不过以下的说明不会谈及亮度信号。以下为了明确影像信号是以像素单位进行处理的，将色差信号的各像素所具有的值表述为“色差数据”。
图6(a)表示1080i影像的上场及下场。上场的色差数据(●)例如构成Cb信号，下场的色差数据(○)例如构成Cr信号。
图6(b)表示通过对图6(a)的上场及下场的色差信号实施垂直滤波处理而得到的4:2:2格式的影像信号。例如连接图6(a)的色差数据(●)和图6(b)的色差数据(●)的箭头表示了图6(b)的各场的色差数据是用图6(a)的哪个色差数据生成的。通过垂直滤波处理，各场的色差信号的信息量增大到2倍。
进行垂直滤波处理的理由是，通过使亮度信号的像素数和色差信号的像素数相匹配，可以使得在后面进行的IP变换处理变得容易。
图6(c)表示IP变换处理后的色差信号。通过IP变换处理，上场及下场的色差数据被合并，得到1个帧的色差数据。即，通过IP变换处理，生成了逐行扫描方式的帧的色差信号(1080p)。之后，进行将扫描线的条数变换为720条的缩放处理(垂直滤波处理)。
图6(d)表示缩放处理后的帧的色差信号(720p)。连接图6(c)的色差数据和图6(d)的色差数据的箭头表示了图6(d)的帧的各扫描线的色差数据是用图6(c)的哪个色差数据生成的。
专利文献1：日本特表平10-501942号公报
根据以往的影像处理，解调后的影像的色差信号是在OSD合成前实施垂直滤波处理，从而变换为4:2:2信号。此外，在OSD合成后作为缩放为输出分辨率的缩放处理，对变换后的色差信号也实施垂直滤波处理。因为任何一个处理都包括利用多个色差数据生成一个色差数据的处理，所以在每次处理时信号的频率特性都会劣化。因此，若分两次实施滤波处理，则与实施1次滤波处理的情况相比，信号的频率特性将会劣化。在显示装置的性能有了飞跃性提升的现今，信号的频率特性的劣化被认知为画质(例如灰度等级)的劣化。
发明内容
本发明是鉴于上述课题而进行的，其目的在于，即使在影像信号上重叠OSD影像信号，也能够抑制重叠后的影像信号及OSD影像信号的频率特性的劣化和灰度等级的劣化。
本发明的影像处理装置，是在影像上重叠图形图像的影像处理装置，所述图形图像的影像信号对于每个像素具有颜色信息以及与透明度相关的透过信息，所述影像处理装置具备：滤波处理部，其接收表示所述影像的4:2:0格式的影像信号，并变换为4:2:2或4:4:4格式的影像信号；判定部，其接收所述图形图像的影像信号，并根据所述透过信息，判定是否在影像上重叠所述图形图像；合成部，其将所述图形图像的色差信号重叠在由所述滤波处理部变换后的影像信号的色差信号上，并作为合成色差信号输出；和缩放部，其对所述合成色差信号进行缩放处理，所述滤波处理部及所述缩放部，根据通过所述判定部判定为在所述影像上未重叠所述图形图像，还是判定为重叠了所述图形图像，来切换对所述4:2:0格式的影像信号的色差信号的像素数据及位置信息进行保持的处理，和不保持的处理。
通过所述判定部判定为在所述影像上未重叠所述图形图像时，所述滤波处理部以保持所述4:2:0格式的影像信号的色差信号的像素数据及位置信息的方式，将所述4:2:0格式的影像信号变换为所述4:2:2或4:4:4格式的影像信号，并且，所述缩放部提取根据通过所述滤波处理部变换后的影像信号而得到的所述合成色差信号的像素数据，并根据所述位置信息对所述合成色差信号进行缩放处理；在通过所述判定部判定为在所述影像上重叠了所述图形图像时，所述滤波处理部以不保持所述4:2:0格式的影像信号的色差信号的像素数据及位置信息的方式，将所述4:2:0格式的影像信号变换为所述4:2:2格式或4:4:4格式的影像信号，并且，所述缩放部也可以对所述合成色差信号在保持4:2:2或4:4:4格式不变的状态下进行缩放处理。
当通过所述透过信息表示的透明度为预先确定的第1阈值以上时，所述判定部也可以判定为在所述影像上未重叠所述图形图像。
当通过所述透过信息表示的透明度小于预先确定的第1阈值，并且，所述影像的色差与所述图形图像的色差之差为预先确定的第2阈值以下时，所述判定部也可以判定为在所述影像上未重叠所述图形图像。
当通过所述透过信息表示的透明度小于预先确定的第1阈值，并且，所述影像的色差与所述图形图像的色差之差比预先确定的第2阈值大时，所述判定部也可以判定为在所述影像上重叠了所述图形图像。
所述判定部，根据每个所述像素的透过信息，按每个像素来判定是否在所述影像上重叠了所述图形图像，所述滤波处理部及所述缩放部，也可以根据每个所述像素的判定结果来切换处理。
所述判定部，也可以对通过所述透过信息表示的透明度超过预先确定的第3阈值的像素的数量，在预先确定的期间内进行计数，当计数值为第4阈值以上的时候，判定为在所述影像上未重叠所述图形图像，当所述计数值小于第4阈值的时候，判定为在所述影像上重叠了所述图形图像。
根据本发明，OSD透过的影像信号从4:2:0格式的状态直接被缩放，因此可以得到频率特性劣化较少的鲜明的影像。另外，重叠了OSD的影像信号的处理根据透过判定结果被切换为4:2:2格式处理，因此可以减轻OSD的垂直分辨率劣化。
附图说明
图1是本发明的实施方式的记录器100的框图。
图2是表示影像处理部105的详细功能模块的结构的图。
图3(a)～(c)是表示滤波处理部207的输入输出处理的一个实例的图。
图4是表示透明度判定部211的处理步骤的流程图。
图5是表示实施方式2所涉及的透明度判定部211的处理步骤的图。
图6(a)～(d)是表示与合成后的色差信号相关的以往的影像处理的一个实例的图。
图中：100-影像处理装置；101-盘；102-盘驱动部；103-天线；104-调谐器；105-影像处理部；106-输出部；201-流控制部；202-视频译码器；203-图形处理部；204-存储器；205-RGB-YUV变换部；206-亮度信号合成部；207-滤波处理部；210-色差信号合成部；211-透明度判定部；212-第3缩放部；213-第1缩放部；214-第2缩放部；215-缩放处理部；216-开关。
具体实施方式
下面，参照附图，对本发明的影像处理装置的实施方式进行说明。在以下说明中，假定影像处理装置是具有数字广播记录功能的记录器(recorder)。记录器中设有盘驱动部，盘驱动部被用于数字广播的记录以及所记录的数字广播的再现。盘驱动部中可以装入例如蓝光光盘(blue-raydisc，BD)，也可以再现蓝光光盘中记录的内容。另外，本申请发明除了作为记录器来实施以外，也可以作为例如进行后述处理的再现装置(播放器)、电视、具有电视接收功能的移动电话、PC等来实施。
(实施方式1)
本实施方式的记录器是将4:2:0格式的影像信号分解为亮度信号及色差信号分别进行处理的。此时，根据在影像上是否重叠了OSD(On ScreenDisplay)来变更色差信号的处理方法。具体来说，对于未重叠OSD的影像，直接从4:2:0格式缩放色差信号并输出。其结果是，可以得到频率特性劣化较少的鲜明的影像。另一方面，在重叠了OSD，且影像的色差与OSD的色差之间存在规定以上的差值的情况下，将色差信号变换为4:2:2格式，并对变换后的色差信号进行缩放与输出。若在4:2:0格式下进行处理，则通常为4:4:4格式的OSD的颜色信息将会大幅削减，但因为变换为4:2:2格式，所以可以减轻OSD的垂直分辨率的劣化。
图1是本实施方式的记录器100的框图。
记录器100具有：盘驱动部102、天线103、调谐器(tuner)104、影像处理部105和输出部106。
盘驱动部102再现盘101中存储的信息，并将影像信号和字幕的图形数据等数字信号输出。盘101是记录了影像信号或图形数据的盘(例如BD)。另外，盘可以从记录器100中取出，并不是记录器100的构成要素。
天线103接收广播波。调谐器104将天线103接收的广播波中包含的广播数据的数字信号输出。影像处理部105对输入的数字信号进行选择、解调，并变换为基带(base band)的影像信号。影像处理部105优选由一个芯片电路实现。输出部106将影像处理部105输出的基带的影像信号变换为例如HDMI规格的信号等，并将变换后的信号输出。
以下，利用图2详细说明影像处理部105。另外，在本实施方式中，假定输入到影像处理部105的影像信号为4:2:0格式的影像信号来进行说明。4:2:0格式已在本申请说明书的背景技术栏中做了详细说明。
图2表示影像处理部105的详细功能模块的构造。影像处理部105具备：流控制部201、视频译码器202、图形处理部203、存储器204、RGB-YUV变换部205、亮度信号合成部206、滤波处理部207、色差信号合成部210、透明度判定部211、第3缩放部212、缩放处理部215。
流控制部201从所输入的数字信号中选择要再现的信号。在这里，选择要再现的信号是指，例如，选择再现来自盘驱动部102的输入还是再现来自调谐器104的输入。之后，将与所选择的信号相对应的影像信号输出到视频译码器202。并且，将与所选择的信号相对应的图形数据输出到图形处理部203。
视频译码器202对影像信号进行解调，并输出亮度信号和色差信号。在本实施方式中，被输入到影像处理部105的数字信号是4:2:0格式的影像信号，因此被解调的色差信号(Cb信号以及Cr信号)的信息量(像素数或尺寸)相对于亮度信号(Y信号)的信息量而言在纵向、横向均为二分之一。此外，4:2:0格式的影像信号中的色差信号被译码为：像素位置相对于亮度信号错位0.5行的数据。
滤波处理部207接收从视频译码器202输出的色差信号，并进行用于使色差信号在垂直方向的像素数与亮度信号在垂直方向的像素数相一致的处理。滤波处理部207具有重复处理部207a和垂直放大部207b。
图3(a)～(c)表示滤波处理部207的输入输出处理的一个实例。图3(a)～(c)中的横虚线表示影像信号在垂直方向的像素位置。色差信号用“○”表示，亮度信号用“●”表示。
另外，在输入到影像处理部105的数字信号是4:2:0格式的影像信号的前提下，滤波处理部207不需要接收亮度信号。但是，在不存在这种前提的情况下，为了调整色差信号在垂直方向的像素数，滤波处理部207既可以接收亮度信号，也可以接收亮度信号在垂直方向的像素数的信息。
图3(a)表示输入到滤波处理部207的色差信号的例子。如图3(a)所示，4:2:0的影像信号中的色差信号被译码为像素位置相对于亮度信号错位0.5行的数据。色差信号被输入到滤波处理部207。
滤波处理部207使用后述的重复处理部207a及垂直放大部207b中的任意一个，使色差信号在垂直方向的像素数与亮度信号在垂直方向的像素数一致。
例如，重复处理部207a原样保持所输入的色差数据的值，并在垂直方向上重复该色差数据的值使得色差信号的像素数增加，从而使色差信号的垂直像素数与亮度信号的垂直像素数一致。图3(b)表示重复处理部207a的输出信号的例子。某个色差数据的值，被当作在垂直方向上的下一个像素的色差数据的值来使用。在此情况下，亮度信号和色差信号的像素位置错位0.5行。
另一方面，垂直放大部207b不仅使色差信号在垂直方向的像素数与亮度信号在垂直方向的像素数一致。垂直放大部207b进行放大滤波处理，使垂直方向的色差信号的像素位置与亮度信号的像素位置也一致。在此，“放大滤波处理”是指：利用插补滤波器，使得与亮度信号的垂直像素数、以及与亮度信号的垂直像素位置相一致的处理。
另外，图3(b)及图3(c)的处理对于任意色差信号(Cb信号及Cr信号)都适用。
开关207c选择输出重复处理部207a的处理结果还是输出垂直放大部207b的处理结果。选择哪个是通过透明度判定部211的判定结果来控制的。
另外，根据图2的滤波处理部207的构造，虽然重复处理部207a及垂直放大部207b都工作，但输出的只是任意一方的色差信号。考虑到耗电量的减少等，也可以将开关207c设置在视频译码器202与重复处理部207a及垂直放大部207b之间来选择输入信号，并使未输入色差信号的要素不工作。
图形处理部203从流控制部201接收脚本数据或压缩后的图形数据。图形处理部203根据脚本数据等的描绘指示，将图形图像(例如字幕图像)作为OSD平面的影像信号(OSD影像信号)向存储器204描绘。OSD影像信号是用RGB颜色空间来表现的。即，亮度信号(Y)、Cb信号以及Cr信号的信息量相等。并且在OSD影像信号上附加了透过信息。
例如，OSD影像信号的各像素是用作为透过信息的α值和作为颜色信息的RGB值来表现的。更具体来说，OSD影像信号的各像素包含α值、红色像素值、绿色像素值、以及蓝色像素值。根据描绘指示，在存储器204中存储α值，并且也存储RGB各颜色的像素值。在本实施方式中，α值及RGB各颜色的像素值分别用8位来表现。
RGB-YUV变换部205将描绘到存储器204中的OSD影像信号的RGB值变换为亮度信号和色差信号。从RGB-YUV变换部205输出的亮度信号与透过信息一起被输入到亮度信号合成部206。
同样，从RGB-YUV变换部205输出的色差信号与透过信息一起被输入到色差信号合成部210。
亮度信号合成部206按照透过信息，合成从视频译码器202输出的影像信号和来自RGB-YUV变换部205的亮度信号。合成后的亮度信号通过第3缩放部212缩放为输出分辨率后输出。
色差信号合成部210合成来自RGB-YUV变换部205的色差信号和来自滤波处理部207的色差信号。合成后的色差信号通过缩放处理部215缩放为输出分辨率后输出。
缩放处理部215具有第1缩放部213、第2缩放部214和开关216。
第1缩放部213接收合成后的色差信号并提取原来的4:2:0的色差数据，以4:2:0的像素位置为基准，将合成后的色差信号缩放为输出分辨率。也就是说，缩放处理部215提取例如图3(b)中所示的影像色差数据中的用实线圆圈“○”表示的像素组并进行缩放。
第2缩放部214接收合成后的色差信号，使用输入的所有的像素，以4:2:2的像素位置为基准，将合成后的色差信号缩放为输出分辨率。也就是说，缩放处理部214使用例如图3(c)所记载的影像色差数据中的、用实线圆圈“○”以及虚线圆圈表示的像素组进行缩放。
开关216是选择输出第1缩放部213还是输出第2缩放部214的开关，通过透明度判定部211的判定结果来进行控制。
另外，与开关207c相同，也可以变更设置开关216的位置。具体来说，也可以将开关216设置在色差信号合成部210与第1缩放部213及第2缩放部214之间并选择输入信号，使未输入合成后的色差信号的要素不工作。
在透明度判定部211中判定OSD影像信号的透明度。关于该判定处理，后面将参照图4详细说明。
在透明度判定部211判定为影像上实际未重叠OSD的情况下，将开关207c切换到重复处理部207a一侧。于是，滤波处理部207输出通过重复处理部207a进行重复输出后的影像信号。该影像信号保持了视频译码时的4:2:0格式的色差分量的像素数据。并且，该影像信号保持了视频译码时的4:2:0格式的色差分量的位置信息。
透明度判定部211根据判定结果将开关216切换到第1缩放部213一侧。第1缩放部213提取变换前的4:2:0格式的YUV形式的影像信号的色差分量的像素数据，并根据其位置信息缩放变换为输出分辨率。
另一方面，在透明度判定部211判定为影像上实际重叠了OSD的情况下，将开关207c切换到垂直放大部207b一侧。于是，滤波处理部207输出通过垂直放大部207b处理后的影像信号。此时，垂直放大部207b将通过视频译码器202译码后的色差信号完全变换为4:2:2格式的色差信号。此时，变换后的影像信号没有保持视频译码时的4:2:0的原数据的色差分量的像素数据。并且，该影像信号没有保持视频译码时的4:2:0的原数据的色差分量的位置信息。
透明度判定部211根据判定结果将开关216切换到第2缩放部214一侧。第2缩放部214将以4:2:2格式的像素位置为基准合成后的色差信号缩放为输出分辨率。
图4是表示透明度判定部211的处理步骤的流程图。
在步骤S1中，透明度判定部211按每个像素来取得OSD影像信号的透明度的信息。
在步骤S2中，透明度判定部211按每个像素将OSD影像信号的透明度与预先确定的值(规定值)相比较。规定值是指，例如透明度20％。若在规定值以上则处理进入步骤S3，若小于规定值则处理进入步骤S4。
在步骤S3中，透明度判定部211设为在影像上未重叠OSD，切换开关207c及开关216，以便基于4:2:0格式进行处理。
另一方面，在步骤S4中，透明度判定部211判定影像的色差与OSD的色差之间的差异是否在规定值以下。影像的色差与OSD的色差之间的差异在规定值以下时处理进入步骤S3，否则处理进入步骤S5。
在此从步骤S4进入步骤S3的理由是，OSD的色差与影像的色差相同、或与之相近时，当作在影像上未重叠OSD来处理也没有问题，并且优选利用缩放性能较高的后级的4:2:0格式的缩放。另外，OSD的色差与影像的色差相同时是指，例如，在画面内的上下显示黑色边线的宽荧幕电影(Cinemascope)的方式中，在黑色边线的影像上显示白色字幕(OSD)的情况。双方的亮度虽然不同但是色差相同。
不过，上述步骤S4并非必须。因为与总是进行变换为4:2:2格式的变换处理的以往的方法相比，通过从步骤S2进入步骤S3，可以得到能够抑制画质劣化的效果。
另一方面，OSD的颜色与影像的颜色不同时，若进行基于4:2:0格式的处理，则OSD的颜色垂直分辨率会降低，并产生颜色的劣化。因此在步骤S5中透明度判定部211切换开关207c及开关216，以便基于4:2:2格式进行处理。
另外，在本实施方式中，虽然说明了滤波处理部207中设置有重复处理部207a及垂直放大部207b，但这是一个例子。也可以通过变更同一滤波器资源的参数，从而使用一个硬件并从软件上实现重复处理部207a及垂直放大部207b。此时，开关207c被置换为变更参数的处理。
在本实施方式中，虽然说明了缩放处理部215中设置有第1缩放部213及第2缩放部214，但这也是一个例子。也可以通过变更同一缩放器(Scaler)资源的参数，从而使用一个硬件并从软件上实现第1缩放部213及第2缩放部214。此时，开关216被置换为变更参数的处理。
另外，说明了向后级的缩放处理部215中输入4:2:2格式的信号。这是起因于滤波处理部207输出4:2:2格式的信号。然而，滤波处理部207也可以将4:2:0格式的信号变换为4:4:4格式的信号，以后作为4:4:4格式的信号进行处理。
根据以上所述，在OSD透过的影像中，色差信号从4:2:0格式直接被缩放，因此可以得到频率特性劣化较少的鲜明的影像，并且，在重叠了OSD的情况下，根据透过判定结果，色差信号被切换为4:2:2格式处理。这意味着4:4:4格式的OSD影像信号不在OSD透过时的那种4:2:0格式下进行处理。由此可以减轻OSD的垂直分辨率劣化。
另外，因为没有了通过演算生成的低位位的舍入处理，所以可以减轻色差信号的灰度等级劣化。在此“舍入”是指，用位列表示的值按照一定的规则用不同的位值(近似值)来表现。
更具体地说明。在以往的处理中，例如将8位的影像信号扩充为更多位数(例如10位)的影像信号，之后进行缩放并进行舍入为更少位数(例如8位)的处理。其结果是由位舍入产生了灰度等级精度的劣化。
另一方面，根据本实施方式的处理，对于透过OSD的影像信号，原本的8位影像(4:2:0格式)不变换为4:2:2格式，换言之即不变更位数，而直接进行缩放，所以不需要位舍入处理。因此不发生位舍入，灰度等级劣化被抑制。
此外，在合成OSD的情况下，也可以减轻OSD的色差信号的垂直分辨率的劣化。
也就是说，本实施方式的影像处理装置具备：滤波处理部207，其将4:2:0格式的YUV形式的影像信号变换为4:2:2或4:4:4格式的YUV形式的影像信号；透明度判定部211，其判定影像信号上是否重叠了图形图像；色差信号合成部210，其将图形图像的色差分量重叠在由滤波处理部207变换后的影像信号的色差分量上，并作为合成影像信号输出；和缩放处理部215，其对合成影像信号进行缩放处理。在透明度判定部211判定为影像信号上未重叠图形图像的情况下，滤波处理部207进行变换，以便使变换后的4:2:2或4:4:4格式的YUV形式的影像信号保持变换前的4:2:0格式的YUV形式的影像信号的色差分量的像素数据及位置信息，缩放处理部215在进行缩放前在滤波处理部207中提取变换前的4:2:0格式的YUV形式的影像信号的色差分量的像素数据，并根据所述位置信息进行缩放。另一方面，在透明度判定部211判定为影像信号上重叠了图形图像的情况下，滤波处理部207进行变换，以便使变换后的4:2:2或4:4:4格式的YUV形式的影像信号不保持变换前的4:2:0格式的YUV形式的影像信号的色差分量的像素数据及位置信息，缩放处理部215对所述合成影像信号在原样保持4:2:2或4:4:4格式的状态下进行缩放处理。
由此，透过OSD的影像信号从4:2:0直接被缩放，因此可以得到频率特性劣化较少的鲜明的影像，并且，在重叠了OSD的情况下，根据透过判定结果切换到4:2:2处理侧，因此可以减轻OSD的垂直分辨率劣化。
另外，判定影像信号上是否重叠了图形图像的透明度判定部211是根据图形图像的透过信息来判定的。由此，可以实施与图形图像的透过信息的变化相对应的缩放处理。
此外，按每个像素来进行判定影像信号上是否重叠了图形图像的判定处理，并切换处理。由此，可以实施与图形图像的每个像素的透过信息的变化相对应的缩放。
(实施方式2)
本实施方式所涉及的记录器具有与实施方式1所涉及的记录器100相同的构造。因此，将图1及图2所示的记录器100当作本实施方式所涉及的记录器进行说明。另外，除了以下特别说明的构造及动作之外，因为与实施方式1的记录器的构造及动作相同，所以省略那些说明。
本实施方式与实施方式1的不同点在于，透明度判定部211采用了与实施方式1所涉及的判定方法不同的判定方法这一点。
以下，说明本实施方式所涉及的记录器100。
图5表示本实施方式所涉及的透明度判定部211的处理步骤。在本实施方式中，在图4的步骤S 1的后面追加了步骤S10及S11，取代其而省略了S2及S4。
在步骤S10中，透明度判定部211对OSD的透明度被设定为预先确定的值以上(例如20％以上)的像素的像素数在规定期间内进行计数。规定期间是指，例如1个帧期间(例如1/60秒)或2个场期间。
在步骤S11中，透明度判定部211判定该计数值是否为规定值以上。若为规定值以上，则判定为影像上未重叠OSD，处理进入步骤S3。在此，所谓规定值是指例如1帧期间内所包含的总像素数的99％以上。
并且，透明度判定部211切换开关207c及开关216，以便基于4:2:0格式进行处理。另一方面，若小于规定值，则透明度判定部211判定为影像上重叠了OSD，处理进入步骤S5。而且，透明度判定部211切换开关207c及开关216，以便基于4:2:2格式进行处理。
由于在本实施方式中需要上述计数处理，因此与实施方式1相比，实时性等性能将会劣化。但是，滤波处理部207和缩放处理部215的构造变得简单。由此，容易共享4:2:0格式处理时和4:2:2格式处理时的资源。
另外，在本实施方式中，也可以进行与图4的步骤S4相同的按每个像素来进行的透过判定。更具体来说，也可以在步骤S11和步骤S5之间，设置图4所示的步骤S4，加入当影像的色差与OSD的色差相同或与其相近时视为透过的处理，并包含进入步骤S3的处理。
例如考虑在黑色边线的影像上显示白色字幕(OSD)的情况。因为重叠了OSD，本来应该切换为可以降低OSD的画质劣化的基于4:2:2格式的处理。然而，影像全体基于4:2:2格式处理的话，如上所述，将分2次实施滤波处理，信号的频率特性将会劣化。因此，像在黑色边线的影像上显示白色字幕(OSD)这样的，影像的色差与OSD的色差相同或与其相近时，也可以基于4:2:0格式进行处理以防止影像的劣化。
另外，对像素数进行计数时，也可以以影像与OSD的颜色差别是否明显为基准，根据画面位置进行加权。
本实施方式所涉及的记录器对于判定在影像信号上是否重叠了图形图像的判定结果在规定期间内进行累计，根据其累计值以规定期间周期切换处理。由此，因为按每段规定时间来切换缩放，所以可以防止成为所显示的影像按每个领域其缩放方法不同的状态。
另外，虽然联系上述图4的步骤S2、S4及图5的步骤S10、S11的说明具体说明了预先确定的值(阈值)，但这是一个例子。也可以采用其他数值作为阈值。
与上述各实施方式相关的图4及图5的流程图中记载的处理是当作主要通过透明度判定部211执行来说明的。透明度判定部211既可以预先通过像程序化的数字信号处理器(DSP)那样的1个半导体芯片或IC来实现上述流程图所示的处理，也可以使用例如计算机和软件(计算机程序)来实现。在该计算机程序中记述了用于执行图4及图5中所示的各流程图中记载的步骤的命令。执行了计算机程序的计算机执行图4及图5所示的各流程图中记载的处理。计算机程序可以记录在CD-ROM等记录介质上并作为商品在市场上流通，或者可以通过互联网等电通信电路来传送。
另外，除了透明度判定部211以外的其他构成要素的功能也可以通过上述处理器或计算机和软件来实现。例如，影像处理部105自身也可以通过1个半导体芯片实现。
(产业上的可利用性)
本发明可以适用于数字电视和数字录像机等解调4:2:0格式的影像信号并重叠图形数据来进行再现的设备中，在可以提供最佳再现环境这一点上是十分有用的。

Claims (6)

1.一种影像处理装置，在影像上重叠图形图像，其特征在于，
所述图形图像的影像信号对于每个像素具有颜色信息以及与透明度相关的透过信息，所述影像处理装置具备：
滤波处理部，其接收表示所述影像的4:2:0格式的影像信号，并变换为4:2:2或4:4:4格式的影像信号；
判定部，其接收所述图形图像的影像信号，并根据所述透过信息，判定是否在影像上重叠所述图形图像；
合成部，其将所述图形图像的色差信号重叠在由所述滤波处理部变换后的影像信号的色差信号上，并作为合成色差信号输出；和
缩放部，其对所述合成色差信号进行缩放处理；
所述滤波处理部及所述缩放部，根据通过所述判定部判定为在所述影像上未重叠所述图形图像，还是判定为重叠了所述图形图像，来切换对所述4:2:0格式的影像信号的色差信号的像素数据及位置信息进行保持的处理、和不保持的处理，
在通过所述判定部判定为在所述影像上未重叠所述图形图像时，所述滤波处理部以保持所述4:2:0格式的影像信号的色差信号的像素数据及位置信息的方式，将所述4:2:0格式的影像信号变换为所述4:2:2或4:4:4格式的影像信号，并且，所述缩放部提取根据通过所述滤波处理部变换后的影像信号而得到的所述合成色差信号的像素数据，并根据所述位置信息对所述合成色差信号进行缩放处理；
在通过所述判定部判定为在所述影像上重叠了所述图形图像时，所述滤波处理部以不保持所述4:2:0格式的影像信号的色差信号的像素数据及位置信息的方式，将所述4:2:0格式的影像信号变换为所述4:2:2格式或4:4:4格式的影像信号，并且，所述缩放部对所述合成色差信号在保持4:2:2或4:4:4格式不变的状态下进行缩放处理。
2.根据权利要求1所述的影像处理装置，其特征在于，
当通过所述透过信息表示的透明度为预先确定的第1阈值以上时，所述判定部判定为在所述影像上未重叠所述图形图像。
3.根据权利要求1所述的影像处理装置，其特征在于，
当通过所述透过信息表示的透明度小于预先确定的第1阈值，并且，所述影像的色差与所述图形图像的色差之差为预先确定的第2阈值以下时，所述判定部判定为在所述影像上未重叠所述图形图像。
4.根据权利要求1所述的影像处理装置，其特征在于，
当通过所述透过信息表示的透明度小于预先规定的第1阈值，并且，所述影像的色差与所述图形图像的色差之差比预先确定的第2阈值大时，所述判定部判定为在所述影像上重叠了所述图形图像。
5.根据权利要求1所述的影像处理装置，其特征在于，
所述判定部，根据每个所述像素的透过信息，按每个像素来判定是否在所述影像上重叠所述图形图像，
所述滤波处理部及所述缩放部，根据每个所述像素的判定结果来切换处理。
6.根据权利要求1所述的影像处理装置，其特征在于，
所述判定部，对通过所述透过信息表示的透明度超过预先确定的第3阈值的像素的数量，在预先确定的期间内进行计数，当计数值为第4阈值以上的时候，判定为在所述影像上未重叠所述图形图像，当所述计数值小于第4阈值的时候，判定为在所述影像上重叠了所述图形图像。
CN201010249171XA 2009-08-06 2010-08-06 影像处理装置 Active CN101998083B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-183000 2009-08-06
JP2009183000 2009-08-06

Publications (2)

Publication Number Publication Date
CN101998083A CN101998083A (zh) 2011-03-30
CN101998083B true CN101998083B (zh) 2013-03-27

Family

ID=42990235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010249171XA Active CN101998083B (zh) 2009-08-06 2010-08-06 影像处理装置

Country Status (5)

Country Link
US (1) US20110032272A1 (zh)
EP (1) EP2285124A3 (zh)
JP (1) JP4996725B2 (zh)
CN (1) CN101998083B (zh)
TW (1) TW201130320A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5769493B2 (ja) * 2011-05-20 2015-08-26 キヤノン株式会社 表示装置及びその制御方法
US9214135B2 (en) * 2011-07-18 2015-12-15 Yahoo! Inc. System for monitoring a video
JP5232319B2 (ja) 2011-10-20 2013-07-10 株式会社東芝 通信装置及び通信方法
JP5390667B2 (ja) * 2012-06-11 2014-01-15 株式会社東芝 映像送信機器及び映像受信機器
US20140205025A1 (en) * 2013-01-22 2014-07-24 Microsoft Corporation Adaptive filter application to video data
JP6289879B2 (ja) * 2013-11-21 2018-03-07 株式会社Ｎｔｔドコモ 通信端末、通信方法及びプログラム
CN103679658B (zh) * 2013-12-13 2016-06-22 厦门美图网科技有限公司 一种根据主色调智能脱色的图像处理方法
CN103618886B (zh) * 2013-12-13 2015-07-08 厦门美图网科技有限公司 一种根据主色调智能脱色的摄像方法
US10560764B2 (en) * 2014-05-30 2020-02-11 Aquarius Spectrum Ltd. System, method, and apparatus for synchronizing sensors for signal detection
CN110913262B (zh) * 2019-11-28 2022-11-04 京东方科技集团股份有限公司 图像叠加方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115581A (ja) * 1998-09-30 2000-04-21 Toshiba Corp 映像信号処理装置
JP2002271811A (ja) * 2001-03-12 2002-09-20 Matsushita Electric Ind Co Ltd グラフィックス信号の合成装置および合成方法
CN1893618A (zh) * 2005-04-27 2007-01-10 三星电子株式会社 用于处理拜耳模式数字彩色视频信号的方法和装置
JP2008283392A (ja) * 2007-05-09 2008-11-20 Toshiba Corp 補間画素生成回路

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345554A (en) * 1992-04-17 1994-09-06 Intel Corporation Visual frame buffer architecture
US5489947A (en) 1994-06-17 1996-02-06 Thomson Consumer Electronics, Inc. On screen display arrangement for a digital video signal processing system
US5625759A (en) * 1995-05-08 1997-04-29 Novalogic, Inc. Real-time video and animation playback process
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
JP3742167B2 (ja) * 1996-12-18 2006-02-01 株式会社東芝 画像表示制御装置
US6226047B1 (en) * 1997-05-30 2001-05-01 Daewoo Electronics Co., Ltd. Method and apparatus for providing an improved user interface in a settop box
US7414632B1 (en) * 2000-01-07 2008-08-19 Intel Corporation Multi-pass 4:2:0 subpicture blending
US6833845B2 (en) * 2000-10-27 2004-12-21 Matsushita Electric Industrial Co., Ltd. Image object content generation device and padding device
TWI229562B (en) * 2003-04-17 2005-03-11 Mediatek Inc Apparatus and method for signal processing of format conversion and combination of video signals
JP3909596B2 (ja) * 2003-05-15 2007-04-25 ソニー株式会社 画像処理装置および方法、並びに、撮像装置
US7145573B2 (en) * 2003-12-19 2006-12-05 Texas Instruments Incorporated Method and system to combine a digital graphics object and a digital picture
JP4737991B2 (ja) * 2005-01-04 2011-08-03 株式会社東芝 再生装置
JP4568120B2 (ja) * 2005-01-04 2010-10-27 株式会社東芝 再生装置
JP2006246248A (ja) * 2005-03-04 2006-09-14 Toshiba Corp 映像信号処理装置及び映像信号処理方法
US20070103483A1 (en) * 2005-07-20 2007-05-10 Steven Feldman Adaptive alpha blending
US7925045B2 (en) * 2007-09-10 2011-04-12 Konica Minolta Systems Laboratory, Inc. Determining document authenticity in a closed-loop process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115581A (ja) * 1998-09-30 2000-04-21 Toshiba Corp 映像信号処理装置
JP2002271811A (ja) * 2001-03-12 2002-09-20 Matsushita Electric Ind Co Ltd グラフィックス信号の合成装置および合成方法
CN1893618A (zh) * 2005-04-27 2007-01-10 三星电子株式会社 用于处理拜耳模式数字彩色视频信号的方法和装置
JP2008283392A (ja) * 2007-05-09 2008-11-20 Toshiba Corp 補間画素生成回路

Also Published As

Publication number Publication date
JP2011055486A (ja) 2011-03-17
EP2285124A3 (en) 2015-09-16
EP2285124A2 (en) 2011-02-16
JP4996725B2 (ja) 2012-08-08
CN101998083A (zh) 2011-03-30
TW201130320A (en) 2011-09-01
US20110032272A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
CN101998083B (zh) 影像处理装置
EP0808061B1 (en) Displaying of digitally coded images extracted from video
US7586540B2 (en) Image interpolation device and a frame rate converter and image display apparatus using the same
US7477319B2 (en) Systems and methods for deinterlacing video signals
US20050226529A1 (en) Signal processing apparatus and method, and command-sequence data structure
US8031267B2 (en) Motion adaptive upsampling of chroma video signals
US20100053195A1 (en) Filter device, image correction circuit, image dispay device, and method of correcting image
US20040263684A1 (en) Image processing device and method, video display device, and recorded information reproduction device
CN101513051B (zh) 视频处理装置及视频处理方法
US7324158B2 (en) Video signal processing apparatus to generate both progressive and interlace video signals
US20120008692A1 (en) Image processing device and image processing method
US6297855B1 (en) Signal conversion apparatus and method
US8224120B2 (en) Image signal processing apparatus and image signal processing method
CN101998082B (zh) 影像处理装置
JP2005311776A (ja) 映像再生装置
US20120169927A1 (en) Color difference signal ip conversion method
US7583324B2 (en) Video data processing method and apparatus for processing video data
JP2006332904A (ja) 輪郭強調回路
US7551233B2 (en) Image processing circuit having capability of reducing distorted/falsified phenomena of color component of decoded video data, and image processing method thereof
US20020085121A1 (en) Image processing apparatus capable of changing active size and method for changing the active size thereof
US7495706B2 (en) Video signal setting device for performing output setting to a display device
JP2006311277A (ja) 走査線変換回路
JP2002084506A (ja) 映像信号再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant