CN104335567B - 视频处理装置、视频处理方法、电视接收机 - Google Patents
视频处理装置、视频处理方法、电视接收机 Download PDFInfo
- Publication number
- CN104335567B CN104335567B CN201380025155.4A CN201380025155A CN104335567B CN 104335567 B CN104335567 B CN 104335567B CN 201380025155 A CN201380025155 A CN 201380025155A CN 104335567 B CN104335567 B CN 104335567B
- Authority
- CN
- China
- Prior art keywords
- video
- edge
- ratio
- frame
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 320
- 230000008569 process Effects 0.000 title claims abstract description 294
- 238000012545 processing Methods 0.000 title claims description 84
- 230000002787 reinforcement Effects 0.000 claims abstract description 52
- 230000033228 biological regulation Effects 0.000 claims abstract description 15
- 238000005728 strengthening Methods 0.000 claims description 49
- 230000002708 enhancing effect Effects 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 28
- 230000003116 impacting effect Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000003313 weakening effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 101000760663 Hololena curta Mu-agatoxin-Hc1a Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
视频处理装置(100)的边缘直方图生成部(130)对于构成帧的各像素求出相邻像素间亮度差,并求出该相邻像素间亮度差为规定的第1阈值以上的像素的比例即第1比例。边缘增强处理部(140)对于第1比例越大的帧越是减小冲击分量,由此来进行加强处理。
Description
技术领域
本发明主要涉及用于改善视频画质的视频处理装置、以及视频处理方法。
背景技术
以往,作为用于改善视频画质的技术,已知有通过实施边缘增强处理来提高视频的清晰度的技术。通过进行边缘增强,能够清晰地呈现细节,立体地表现视频。
现有技术文献
专利文献
专利文献1:日本公开专利公报“专利第4550016号公报(公开日:2010年9月22日)”
专利文献2:日本公开专利公报“特开2009-100270号公报(公开日:2009年5月7日)”
发明内容
发明所要解决的技术问题
然而,根据视频内容的不同,通过实施边缘增强处理,有时在轮廓部会出现白色镶边,导致视频带有闪烁,从而看起来不自然。即,根据视频内容的不同,有可能会因边缘增强处理而出现弊端,即产生闪烁。
在专利文献1中记载了下述技术,即,使用边缘像素的密度即边缘密度,来降低亮度相同的部分的对比度,并增强亮度不同的部分的对比度。并且还记载有,在求取边缘密度时,通过将边缘强度在规定等级以上的像素的边缘强度设为0,使得以对比度被增强的部分在非常明亮的部分与非常暗的部分的边界之外,以防止非常明亮的部分与非常暗的部分各自的对比度下降。因此,专利文献1的技术虽然关注了边缘像素,但仍然以适当地增强对比度为目的,因此并不能防止上述因边缘增强处理而带来的弊端。
本发明是鉴于上述问题而完成的,其目的在于实现一种能够抑制因边缘增强处理而带来的弊端即闪烁的视频处理装置。
解决技术问题所采用的技术方案
为了解决上述问题,本发明的一实施方式所涉及的视频处理装置具备边缘增强处理单元,该边缘增强处理单元通过对构成视频的帧附加冲击分量来进行边缘增强,由此来进行加强处理,该视频处理装置的特征在于,具备计算单元,该计算单元对于构成上述帧的各像素求出与相邻像素间的亮度差,并求出该亮度差在规定的第1阈值以上的像素的比例即第1比例,上述边缘增强处理单元对于上述第1比例越大的帧越是减小上述冲击分量,由此来进行加强处理。
此外,本发明的一实施方式所涉及的视频处理方法是通过对构成视频的帧附加冲击分量来进行边缘增强,由此来进行加强处理的视频处理方法,其特征在于,包括:对于构成所述帧的各像素求出与相邻像素间的亮度差,并求出该亮度差在规定的第1阈值以上的像素的比例即第1比例的步骤,以及对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理的步骤。
发明效果
根据本发明,能够抑制因边缘增强处理而带来的弊端即闪烁。
附图说明
图1是表示本发明的实施方式1所涉及的电视接收机的结构的功能框图。
图2是表示边缘直方图的一个示例的图。
图3是表示通过加强处理而附加在边缘部分的冲击分量(shootcomponent)的图。
图4是表示过滤选择表的一个示例的图。
图5是表示边缘直方图与第1~第3比例之间关系的图。
图6是表示过滤选择表的另一个示例的图。
图7是表示本发明的实施方式2所涉及的视频处理装置的结构的功能框图。
图8是表示帧差分直方图的计算例的图。
图9是表示亮度差分直方图的一个示例的图。
图10是表示本发明的实施方式4所涉及的视频处理装置的结构的功能框图。
图11是表示本发明的实施方式6所涉及的视频处理装置的结构的功能框图。
图12是用于说明阈值根据画质模式的不同而不同的图。
图13是表示本发明的实施方式8所涉及的视频处理装置的功能结构的框图。
图14是表示本发明的实施方式8所涉及的视频处理装置来进行视频处理的步骤的流程图。
图15表示在本发明的实施方式8所涉及的视频处理装置中,从某视频检测得到的亮度直方图的一个示例。
图16表示在本发明的实施方式8所涉及的视频处理装置中,从某视频检测得到的帧差分直方图的一个示例。
图17表示在本发明的实施方式8所涉及的视频处理装置中,从某视频检测得到的边缘直方图的一个示例。
图18示意性地示出本发明的实施方式8所涉及的视频处理装置对加强进行调整的处理。
图19示意性地示出本发明的实施方式8所涉及的视频处理装置对LTI进行调整的处理。
具体的实施方式
<实施方式1>
(电视接收机1)
图1是表示本发明的实施方式1所涉及的电视接收机1的结构的功能框图。电视接收机1包括:视频处理装置100,用于对所输入的视频的画质进行改善;显示部300,例如液晶显示器或等离子体显示器、有机EL显示器等;以及显示控制部400,通过将从视频处理装置100依次输出的以帧为单位表示的图像显示于显示部300,由此来呈现由该多个帧构成的视频。
(视频处理装置100)
视频处理装置100对所输入的视频信号的画质进行改善,然后依次输出构成视频的多个帧。帧由图像数据构成,该图像数据表示规定数量的像素的各像素中多个颜色的浓度值。视频处理装置100包括:视频获取部110、解码处理部120、边缘直方图生成部(计算单元)130、边缘增强处理部(边缘增强处理单元)140。
(视频获取部110)
视频获取部110接收使视频信号化后的视频信号。视频信号的获取对象可认为是例如广播波、存储于存储介质的视频数据等任意形式的视频信号源。视频获取部110也获取为了实施视频信号的解码处理所必需的量化参数。例如,在视频流的头文件部分等描述量化参数,视频获取部110在获取视频流时一并获取量化参数。
(解码处理部120)
解码处理部120对视频获取部110所获得的视频信号进行解码。由于在通常情况下,会通过某些方法来对视频信号进行编码,因此,解码处理部120的处理是必须的。
解码处理部120进行解码的视频信号例如是通过MPEG-1、MPEG-2、以及H.264/MPEG-4.AVC等方式被编码后的视频信号。
解码处理部120例如使用画面内预测(帧内预测)和画面间预测(帧间预测)中的某一个来生成预测图像,通过将由视频信号解码得到的各像素值与该预测图像的各像素值相加,来生成解码图像。
在利用帧间预测生成预测图像的情况下,解码处理部120参照已经过解码的存储于未图示的帧存储器的一个或多个解码完成图像,对构成该解码完成图像的各块进行使用了运动矢量的动态补偿,由此来生成预测图像。这里,表示各运动矢量的运动矢量信息由视频信号解码得到。
此外,视频信号中包含有量化变换系数(也简称为变换系数),该量化变换系数是在按块对各块中所包含的像素的像素值进行频率变换(例如,DCT(DiscreteCosineTransform:离散余弦变换)变换)之后,实施与量化参数相对应的量化处理而得到的。例如,在按8x8像素的块对视频信号进行编码的情况下,视频信号中包含有对于每个块的8x8分量的量化变换系数。
在对这种视频信号进行解码的情况下,解码处理部120在参照量化参数对各变换系数进行反向量化之后,通过实施反向频率变换来对各像素值进行解码。
视频信号中所包含的各帧(图片)可大致划分如下。
·I图片:无需参照其他图片就能进行解码的图片。I图片例如是使用上述帧内预测进行编码后得到的图像。
·P图片:可通过参照其他的一张图片来进行解码的图片。P图片例如是使用上述帧间预测进行编码后得到的图像。
·B图片:可通过参照其他两张图片来进行解码的图片。B图片例如是使用上述帧间预测进行编码后得到的图像。
解码处理部120由此输出构成视频的各帧的图像数据。
(边缘直方图生成部130)
边缘直方图生成部130对于从解码处理部120输出的每一帧,求出构成该帧的各像素中与相邻像素之间的亮度差的绝对值即相邻像素间亮度差,并生成表示具有相邻像素间亮度差的像素数的边缘直方图。图2是表示由边缘直方图生成部130生成的边缘直方图的一个示例的图。
此外,边缘直方图生成部130基于所生成的边缘直方图,求得相邻像素间亮度差在规定的第1阈值以上的像素数占全部像素数的比例、即第1比例,并将其输出至边缘增强处理部140。
本实施方式中设为:边缘直方图生成部130求得目标像素与位于该目标像素右侧的像素之间的亮度差的绝对值来作为相邻像素间亮度差。由此,边缘直方图生成部130的处理速度变快。由此,容易检测出对观看视频的用户来说易于发现闪烁的画面纵向的边缘的亮度差。
但是,边缘直方图生成部130求取相邻像素间亮度差的方法并不限于此。例如,边缘直方图生成部130可以求取目标像素与位于该目标像素左侧或上侧或下侧的像素之间的亮度差的绝对值来作为相邻像素间亮度差。或者,边缘直方图生成部130也可以求取目标像素与位于该目标像素周围的4个像素(与右侧、左侧、上侧及下侧相邻的像素)或8个像素(右侧、左侧、上侧、下侧及斜侧相邻的像素)之间的亮度差的绝对值的代表值(例如,平均值、最大值等)来作为相邻像素间亮度差。
(边缘增强处理部140)
对从编码处理部120输出的各帧的整体,边缘增强处理部140通过在边缘部分(轮廓部分)附加过冲和/或下冲即冲击分量,来进行边缘增强处理(加强处理)。具体而言,边缘增强处理部140通过将边缘增强滤波器用于帧来进行加强处理,该边缘增强滤波器从该图像数据中减去根据帧的图像数据的二次微分而得到的分量。
但是,对于利用边缘直方图生成部130求得的第1比例越大的帧,则边缘增强处理部140对其进行冲击分量(即边缘增强的程度)越小的加强处理。即,对于第1比例相对较大的帧,冲击分量较小,对于第1比例相对较小的帧,冲击分量较大。
在具有第1阈值以上的相邻像素间亮度差的像素数占全部像素数的第1比例较大的情况下,意味着包含有较多的与相邻像素间的亮度差相对较大的边缘。若对与相邻像素间的亮度差相对较大的边缘执行加强处理,则通过附加较大的冲击分量,使得边缘部分带有白色镶边,从而有可能观察到出现闪烁。
然而,本实施方式的边缘增强处理部140对于第1比例较大的帧,在减小冲击分量的基础上进行加强处理。因此,能够防止在与相邻像素间的亮度差相对较大的边缘观察到出现闪烁。
下面,对边缘增强处理部140的具体的两个处理例进行说明。但是,本发明并不限于下述具体例,只要是具有第1阈值以上的相邻像素间亮度差的像素数占全部像素数的第1比例越大、就越对冲击分量进行抑制的处理即可。
(具体例1)
边缘增强处理部140预先存储有在加强处理中对边缘部分附加的冲击分量的大小不同的多个边缘增强滤波器。图3是表示通过加强处理而附加在边缘部分的冲击分量的图。如图3所示,通过附加由两次微分而得到的冲击分量,在边缘的上端产生过冲,在边缘的下端产生下冲。因此,边缘增强处理部140预先存储有冲击分量的深度H和宽度W的大小不同的多个边缘增强滤波器。此处,边缘增强处理部140存储有(1)直接将两次微分分量作为冲击分量的第1边缘增强滤波器、(2)与第1边缘增强滤波器相比冲击分量的深度H和宽度W得以抑制的第2边缘增强滤波器、(3)与第2边缘增强滤波器相比冲击分量的深度H和宽度W进一步得以抑制的第3边缘增强滤波器。即,第1边缘增强滤波器是边缘增强的程度相对较大的滤波器(即,不对冲击分量进行抑制的滤波器),第2边缘增强滤波器是边缘增强的程度为中等程度的滤波器(即,对冲击分量的抑制为中等程度的滤波器),第3边缘增强滤波器是边缘增强的程度相对较小的滤波器(即,对冲击分量的抑制较强的滤波器)。另外,通过调整边缘增强滤波器的滤波系数或滤波器尺寸等,能够控制冲击分量的大小。
此外,边缘增强处理部140存储有滤波器选择表(对应信息),在该滤波器选择表中,将可取第1比例的范围分割成三个后得到的分割范围中的各个范围与适合于该分割范围的边缘增强滤波器相对应地关联。图4是表示滤波器选择表的一个示例的图。图4中,包含有“小于30%”、“大于等于30%~小于70%”、“大于等于70%~100%”这三个分割范围。如图4所示,相对应地关联有第1比例越大则冲击分量(边缘增强的程度)越小的边缘强度滤波器。因此,边缘增强处理部140参照滤波器选择表,对于各帧,根据所求得的第1比例来决定边缘增强滤波器,使用所决定边缘增强滤波器来进行加强处理。
根据本具体例,对于第1比例越大的帧,利用冲击分量越小的边缘增强滤波器来执行加强处理。即,对于包含有较多与相邻像素间的亮度差较大的边缘的帧,适用冲击分量较小的边缘增强滤波器。因此,加强处理中过冲和下冲的大小变小,从而能够防止在与相邻像素间的亮度差较大的边缘观察到闪烁。
另外,在本具体例中,边缘增强处理部140设为预先存储有三种边缘增强滤波器,利用三个等级的冲击分量中的任意一个来进行加强处理。然而,边缘增强处理部140所存储的边缘增强滤波器不限于三种,也可以是两种或四种以上。无论在哪种情况下,通过选择第1比例越大的帧冲击分量越小的边缘增强滤波器,能够防止加强处理的弊端即闪烁。
(具体例2)
视频存在有多种种类,例如,CG视频这样的单色单一区域较多的视频。在这种单色单一区域较多的视频的情况下,无需将边缘增强的程度提高得过高。若不合理地对单色单一区域附加冲击分量,则该冲击分量有可能会成为噪声,从而导致画质劣化。本具体例是在单色单一区域较多的视频和除此以外的视频中均使冲击分量的大小变化的示例。
在本具体例中,与具体例1相同,边缘增强处理部140也预先存储有第1~第3边缘增强滤波器。
本具体例中,如图5所示,边缘直方图生成部130基于边缘直方图,除第1比例之外,还求得具有小于第1阈值且在第2阈值(<第1阈值)以上的相邻像素间亮度差的像素数占全部像素数的第2比例、具有小于第2阈值的相邻像素间亮度差的像素数占全部像素数的第3比例,并将其输出至边缘增强处理部140。
并且,边缘增强处理部140存储有滤波器选择表,该滤波器选择表中,相对应地关联有将对应于第1比例的范围与适用于该范围的边缘增强滤波器。但是,边缘增强处理部140根据是否满足第2比例≧第3比例来存储有不同的滤波器选择表。图6是表示本具体例2中的滤波器选择表的一个示例的图。如图6所示,边缘增强处理部140存储有满足第2比例≧第3比例的情况下的第1滤波器选择表、以及满足第2比例<第3比例的情况下的第2滤波器选择表。另外,在第2滤波器选择表中没有设定对应于第1比例为70~100%的滤波器。这意味着不进行加强处理,冲击分量为0。即使在第1滤波器选择表和第2滤波器选择表的任一个中,相对应地关联有第1比例越大则冲击分量越小的边缘增强滤波器。其中,对于与相同的第1比例相对应的边缘增强滤波器中的冲击分量(边缘增强的程度),第1滤波器选择表中的冲击分量要设定得大于第2滤波器选择表中的冲击分量。
于是,边缘增强处理部140对各帧比较所求得的第2比例和第3比例,在满足第2比例≧第3比例的情况下决定第1滤波器选择表作为目标表格,在满足第2比例<第3比例的情况下,决定第2滤波器选择表作为目标表格。然后,边缘增强处理部140参照所决定的目标表格,决定与第1比例相对应的边缘增强滤波器,使用所决定的边缘增强滤波器来进行加强处理。
在单色单一区域较多的视频中,相邻像素间亮度差相对较小的像素的个数变得较多。因此,满足第2比例<第3比例的视频为单色单一区域较多的视频的可能性较大。本具体例中,在满足第2比例<第3比例的情况下,决定冲击分量相对较小的第2滤波器选择表来作为目标表格。因此,对于单色单一区域较多的视频,不进行不必要的较强的加强处理,从而能够防止画质的劣化。
此外,即使在第1滤波器选择表和第2滤波器选择表的任一个中,相对应地关联有第1比例越大则冲击分量越小的边缘增强滤波器。因此,对于包含有较多与相邻像素间的亮度差较大的边缘的帧,使用冲击分量相对较小的边缘增强滤波器,因此,能够防止在与相邻像素间的亮度差较大的边缘观察到闪烁。
(实施方式1的总结)
本实施方式的视频处理装置100具备边缘增强处理部(边缘增强处理单元)140,该边缘增强处理部140通过对构成视频的帧附加冲击分量并进行边缘增强来进行加强处理,并且还具备边缘直方图生成部(计算单元)130,该边缘直方图生成部130求得构成帧的各像素中的相邻像素间亮度差,并求得该相邻像素间亮度差在规定的第1阈值以上的像素的比例即第1比例。从而,边缘增强处理部140对于第1比例越大的帧,越是减小冲击分量来进行加强处理。另外,作为第1阈值,设定为在附加较大的冲击分量的情况下会出现成为闪烁原因的白色镶边的相邻像素间亮度差的值。由此,对于包含有相邻像素之间的亮度差较大的边缘的帧,能够抑制因冲击分量而产生的白色镶边。其结果是,能够抑制因边缘增强处理而带来的弊端即闪烁,例如垂直条纹西服中条纹的闪烁。
<实施方式2>
下面,基于图7至图9说明本发明的其它实施方式。此外,为了方便说明,对于与实施方式1所说明的附图中具有相同功能的构件,标注相同标号,并省略其说明。
对于通过对相邻像素间亮度差较大的边缘进行冲击分量较大的加强处理而产生的闪烁,大多数情况下在滚动(scroll)显示具有较多的相邻像素间亮度差较大的边缘的相同场景时会变得显著。例如,滚动显示包含有穿着垂直条纹西服的人物(例如新闻主播等)的视频的情况等。本实施方式是仅限在这种闪烁显著时来减小冲击分量的方式。
(视频处理装置101)
图7是表示本实施方式所涉及的视频处理装置101的结构的功能框图。如图7所示,视频处理装置101与实施方式1的视频处理装置100(参照图1)相比,其不同点在于,具备边缘增强处理部141来取代边缘增强处理部140,并且还具备相同场景量检测部151和运动量检测部161。
(相同场景量检测部151)
相同场景量检测部151检测出表示成为处理对象的对象帧与该对象帧的前一帧为相同场景的程度即相同场景量。相同场景量检测部151将检测得到的相同场景量输出至边缘增强处理部141。
具体而言,相同场景量检测部151对每一个帧求得亮度直方图,该亮度直方图表示该帧的全部像素的按亮度值来区分的像素数。接着,相同场景检测部求出帧差分直方图,该帧差分直方图是对对象帧求得的亮度直方图与对对象帧的前一帧求得的亮度直方图之间的差分的直方图。图8是表示相同场景量检测部151中的帧差分直方图的计算例的图。接着,相同场景量检测部151求得帧差分直方图的总频度来作为相同场景量。
(运动量检测部161)
运动量检测部161检测出表示成为处理对象的对象帧与该对象帧的前一帧之间视频的运动的参数即运动量。运动量检测部161将检测得到的运动量输出至边缘增强处理部141。
具体而言,运动量检测部161对各像素求得对象帧与对象帧的前一帧之间的亮度差的绝对值即帧间亮度差。接着,运动量检测部161求得表示按帧间亮度差来区分的像素数的亮度差分直方图。图9是表示运动量检测部161求得的亮度差分直方图的一个示例的图。接着,运动量检测部161求得亮度差分直方图中在规定的运动阈值以上的度数的比例(在运动阈值以上的度数的和/全部度数的总和)来作为运动量。另外,运动阈值是预先设定的值。
(边缘增强处理部141)
边缘增强处理部141与边缘增强处理部140相同,对各帧进行加强处理,通过在边缘部分附加过冲和/或下冲的冲击分量来进行边缘增强(轮廓增强)。此外,边缘增强处理部141与边缘增强处理部140相同,求出具有规定的第1阈值以上的相邻像素间亮度差的像素数占全部像素数的比例,根据第1比例来改变冲击分量的大小。但是,在本实施方式中,仅限于在同时满足以下条件A、B的情况下,根据第1比例来改变冲击分量的大小。
条件A:相同场景量<相同场景判别阈值
条件B:运动量>运动场景判别阈值。
此处,相同场景判别阈值是预先设定的量(规定量),设定为基于各种视频通过实验求得的易于区分为相同场景的情况和非相同场景的情况的值。相同场景量是对象帧与前一帧所表示的视频越接近于相同场景、其值越小的参数。因此,通过满足条件A,能够检测出与前一帧为相同场景的概率较高的对象帧。
此外,运动场景判别阈值是预先设定的量(规定量),设定为基于各种视频通过实验求得的在附加较大的冲击分量时边缘的闪烁刚开始变显著的运动量的值。运动量是与对象帧内的视频对象物相对于前一帧的运动的大小成比例地变大的参数。因此,通过满足条件B,能够检测出视频对象物相对于前一帧而言正在运动的概率较高的对象帧。
如上所述,通过对相邻像素间亮度差较大的边缘进行加强处理而产生的闪烁较为显著的视频是指滚动显示相同场景的视频。因此,边缘增强处理部141通过提取出同时满足条件A、B的帧,从而能够确定闪烁显著的帧。
下面,对边缘增强处理部141中改变冲击分量的大小的具体例进行说明。
(具体例3)
边缘增强处理部141预先存储有图3所示的冲击分量的深度H和宽度W的大小不同的两种边缘增强滤波器。此处,边缘增强处理部141存储有直接应用二次微分分量的第1边缘增强滤波器、以及与第1边缘增强滤波器相比冲击分量的深度H和宽度W得以抑制的第N边缘增强滤波器。
边缘增强处理部141在不满足条件A和B中的至少一个的情况下,使用第1边缘增强滤波器来进行加强处理。这是由于在不满足条件A和B中的至少一个的情况下,成为加强处理的弊端的闪烁不显著,因此,即使使用冲击分量未被抑制的第1边缘增强滤波器,视频质量也不会变得过差。
另一方面,边缘增强处理部141在同时满足条件A和B时,判定第1比例是否满足下述条件C。
条件C:第1比例>大边缘场景判别阈值
此处,大边缘场景判别阈值是预先设定的,例如可以与实施方式1所说明的图4的“70%~100%”的分割范围同样地设定为70%。第1比例如实施方式1所说明的那样,是对于具有较多的相邻像素间亮度差较大的像素的帧,即清晰的边缘部分越多的帧则其值越大的参数。因此,通过满足条件C,能够检测出具有较多相邻像素间亮度差较大的像素的帧。
于是,边缘增强处理部141在满足条件C的情况下,使用第N边缘增强滤波器进行边缘增强处理,在不满足条件C的情况下,使用第1边缘增强滤波器进行边缘增强处理。
由此,在满足条件A~C的情况下,即在进行冲击分量较大的边缘增强处理时闪烁变得显著,仅在此情况下,通过使用第N边缘增强滤波器,在冲击分量得以抑制的状态下执行加强处理。其结果是,即使在相邻像素间亮度差较大的边缘,也能防止闪烁。
(具体例4)
在上述具体例3的情况下,在满足条件A~C的时刻,边缘增强处理部141将加强处理中所使用的滤波器从第1边缘增强滤波器变更为第N边缘增强滤波器。此处,在使用第1边缘增强滤波器时的冲击分量与使用第N边缘增强滤波器时的冲击分量之间的差分较大时,边缘增强的程度的变化有可能会变得显著。因此,在本具体例4中,缓慢地改变边缘增强的程度,以使得这种变化变得不显著。
边缘增强处理部141除了第1边缘增强滤波器和第N边缘增强滤波器之外,还预先存储有第2~第(N-1)边缘增强滤波器。其中,按以下方式设定第2~第(N-1)边缘增强滤波器,即,使得使用第k边缘增强滤波器(k=2~N)时的冲击分量的深度H和宽度W小于使用第(k-1)边缘增强滤波器时的冲击分量的深度H和宽度W。也就是说,边缘增强处理部141存储有冲击分量以N个等级依次减小的N个边缘增强滤波器。另外,等级数N并没有特别的限定。
于是,边缘增强处理部141对满足条件A~C的帧应用与对前一帧应用的边缘增强滤波器相比冲击分量小一个等级的边缘增强滤波器。但是,在对前一帧应用的滤波器为第N边缘增强滤波器的情况下,应用该第N边缘增强滤波器。由此,在满足条件A~C的帧连续的情况下,由于依次应用第1~第N边缘增强滤波器,因此,边缘增强的程度以缓慢变小的方式进行变化,从而能够使得该变化不显著。
(其他具体例)
边缘增强处理部141也可以仅在满足条件A和条件B的情况下,进行实施方式1的具体例1或具体例2所示的处理。
(实施方式2的总结)
本实施方式的视频处理装置101包括相同场景量检测部(相同场景量检测单元)151,该相同场景量检测部151检测表示对象帧与该对象帧的前一帧为相同场景的程度即相同场景量;以及运动量检测部(运动量检测单元)161,该运动量检测部161检测对象帧与该对象帧的前一帧之间的视频的运动量。接着,边缘增强处理部(边缘增强处理单元)141在表示相同场景量与规定量即相同场景判别阈值相比为同一场景的程度较高、且表示运动量与规定量即运动场景判别阈值相比较大的情况下,边缘增强处理部(边缘增强处理单元)141对第1比例越大的帧越是减小冲击分量,由此来进行加强处理。由此,仅限于对闪烁有可能会显著的帧进行冲击分量的控制,由此来进行加强处理。即,能够将改变冲击分量的处理抑制在所需的最小限度。
<实施方式3>
在上述实施方式1、2中,边缘增强处理部140、141对与相邻像素间的亮度差在第1阈值以上的像素的第1比例越大的帧,应用冲击分量越小的边缘增强滤波器,由此来防止闪烁。但是,由于对冲击分量进行了抑制,视频有可能会变得模糊。因此,边缘增强处理部140、141在应用冲击分量较小的边缘增强滤波器的情况下,也可以根据冲击分量的抑制量来进行LTI(LuminanceTransientImprovement:亮度信号瞬态校正)处理。LTI处理是不对边缘附加冲击分量,而是通过使边缘的倾斜度陡峭来进行边缘增强的处理。此外,可对于冲击分量的抑制量越大的边缘增强滤波器,越是增大LTI处理的强度,即越是增大使边缘的倾斜度陡峭的程度。
例如,在实施方式1的具体例1的情况下,本实施方式的边缘增强处理部140在使用第3边缘增强滤波器执行加强处理时,也可以一并进行LTI处理。或者,边缘增强处理部140在使用第2边缘增强滤波器和第3边缘增强滤波器执行加强处理时,也一并进行LTI处理。在该情况下,与使用第2边缘增强滤波器的情况相比,使用第3边缘增强滤波器的情况下的LTI处理的强度变大。
由此,能够防止因抑制冲击分量而引起的视频的模糊。
<实施方式4>
在上述实施方式中,对于边缘增强处理部140、141中边缘增强滤波器的切换功能的开/关,可以根据用户指令来改变。图10是表示实施方式1的变形方式即本实施方式4所涉及的视频处理装置102的结构的功能框图。如图10所示,视频处理装置102与图1所示的视频处理装置100相比,其不同点在于具备边缘增强处理部142来取代边缘增强处理部140,并且还具备指令接受部(指令接受单元)172。
指令接受部172接受下述模式中的任意一个设定指令,即:(1)使用第1边缘增强滤波器来进行加强处理的冲击抑制“弱”模式、(2)使用第2边缘增强滤波器来进行加强处理的冲击抑制“中”模式、(3)使用第3边缘增强滤波器来进行加强处理的冲击抑制“强”模式、(4)使用与第1比例相应的边缘增强滤波器来进行加强处理的“自动”模式。
边缘增强处理部142根据指令接受部172所接受的模式来选择边缘增强滤波器。即,边缘增强处理部142在接收到冲击抑制“弱”模式的指令的情况下,无论第1比例为多少,均使用第1边缘增强滤波器。边缘增强处理部142在接收到冲击抑制“中”模式的指令的情况下,无论第1比例为多少,均使用第2边缘增强滤波器。同样地,边缘增强处理部142在接收到冲击抑制“强”模式的指令的情况下,无论第1比例为多少,均使用第3边缘增强滤波器。由此,冲击抑制“弱”模式、冲击抑制“中”模式、冲击抑制“强”模式是指关闭根据第1比例来改变冲击分量这个功能的模式。
另一方面,边缘增强处理部142在接收到“自动”模式的指令的情况下,如实施方式1的具体例1、2所记载的那样,根据第1比例来选择边缘增强滤波器,由此来执行加强处理。即,“自动”模式是打开根据第1比例来改变冲击分量这个功能的模式。
<实施方式5>
在上述实施方式中,边缘增强处理部140、141的处理对象设为帧的整个画面,但也可以仅限于画面的一部分块。
例如,边缘直方图生成部130按构成帧的多个块来生成边缘直方图,对每个块计算出第1比例。此时的第1比例是指在成为对象的块中,用相邻像素间亮度差在规定的第1阈值以上的像素数除以该块的全部像素数而得到的值。于是,边缘增强处理部140、141也可以根据每个块的第1比例来选择边缘增强滤波器。
<实施方式6>
基于图11说明本发明的另一个实施方式6。此外,为了方便说明,对于与上述实施方式所说明的附图中具有相同功能的构件,标注相同标号,并省略其说明。
本实施方式是根据用户所选择的画质模式来改变边缘增强处理的程度的方式。图11是表示实施方式6所涉及的视频处理装置103的结构的功能框图。如图11所示,视频处理装置103与图1所示的视频处理装置100相比,其不同点在于具备边缘直方图生成部131来取代边缘直方图生成部130,并且还具备画质模式决定部(画质模式决定单元)173。
画质模式决定部173决定在显示部400显示的视频的画质模式。画质模式决定部173根据用户输入来决定画质模式。作为画质模式,例如有标准模式、动态模式、电影模式等。标准模式是一般家庭中观看各种视频内容所适用的通用模式,动态模式是例如在店头为了引人注目而加重色彩同时增强了轮廓的模式,电影模式是重视色调,实现类似电影的视频(仿佛正在电影院观赏的视频)的模式。
边缘直方图生成部131除了实施方式1所记载的边缘直方图生成部130的功能之外,还具备根据画质模式决定部所决定的画质模式来改变图5所示的第1阈值和第2阈值的功能。
具体而言,边缘直方图生成部131预先存储有标准模式用的第1阈值和第2阈值、动态模式用的第1阈值和第2阈值、以及电影模式用的第1阈值和第2阈值。其中,各阈值满足以下关系:
动态模式用的第1阈值>标准模式用的第1阈值>电影模式用的第1阈值、
动态模式用的第2阈值>标准模式用的第2阈值>电影模式用的第2阈值。于是,边缘直方图生成部131使用与画质模式决定部173决定的画面模式相对应的第1阈值和第2阈值,求取第1比例、第2比例和第3比例,并输出至边缘增强处理部140。
图12的(a)示出标准模式用的第1阈值和第2阈值、与动态模式用的第1阈值和第2阈值之间的关系。如图所示,动态模式用的第1阈值和第2阈值与标准模式用的第1阈值和第2阈值相比,向相邻像素间亮度差较大的一方偏移。因此,与标准模式相比,在动态模式下,表示相邻像素间亮度差较大分量的比例的第1比例的值为较小的值。其结果是,边缘增强处理部140根据图6的滤波器选择表,与标准模式相比,在动态模式时,使得加强处理的强度增大,从而能够实现相对而言轮廓得以增强的视频。
此外,图12的(b)示出标准模式用的第1阈值和第2阈值、与电影模式用的第1阈值和第2阈值之间的关系。如图所示,电影模式用的第1阈值和第2阈值与标准模式用的第1阈值和第2阈值相比,向相邻像素间亮度差较小的一方偏移。因此,与标准模式相比,在电影模式下,表示相邻像素间亮度差较大分量的比例的第1比例的值为较大的值。其结果是,边缘增强处理部140根据图6的滤波器选择表,与标准模式相比,在电影模式时,使得加强处理的强度减弱,不进行过度的轮廓增强,从而能够实现类似电影那样的视频。
标准模式用的第1阈值和第2阈值分别设定为动态模式用的第1阈值和第2阈值与电影模式用的第1阈值和第2阈值之间的中间值。因此,在进行一般家庭中收看普通广播时所适用的轮廓增强的同时,还能够实现与其他模式之间的差别化。
另外,上述说明是对下述情况进行的说明,即:在本实施方式中进行对应于实施方式1的具体例2的处理的情况。在本实施方式中进行对应于实施方式1的具体例1的处理的情况下,边缘直方图生成部131只要预先存储标准模式用的第1阈值、动态模式用的第1阈值、以及电影模式用的第1阈值(其中,动态模式用的第1阈值>标准模式用的第1阈值>电影模式用的第1阈值),使用与画质模式决定部决定的画质模式相对应的第1阈值来求出第1比例即可。
此外,在本实施方式中,视频处理装置103也可以根据画质模式决定部173所决定的画质模式,来进行明亮度、对比度等画质调整。画质调整的方法使用现有的公知方法即可,因此,此处省略详细说明。
<实施方式7>
各实施方式中,作为视频获取部110获取视频信号的获取对象,可考虑有下述示例。
(视频信号源的示例1)从模拟视频广播波获取视频信号。
(视频信号源的示例2)从数字视频广播波获取视频信号。
(视频信号源的示例3)获取Blu-ray(注册商标)光盘、DVD(DigitalVersatileDisk:数字通用光盘)、HDD等存储介质中所存储的视频信号。
(视频信号源的示例4)从IP广播波、CATV广播波等广播波获取视频信号。
(视频信号源的示例5)从外设视频存储装置、外设视频获取装置等外部设备获取视频信号。
<其它>
视频获取部110、解码处理部120、边缘直方图生成部130、131、边缘增强处理部140、141、142、相同场景量检测部151、运动量检测部161、指令接受部172、画质模式决定部173可以使用实现这些功能的电路器件等硬件来实现,也可以使用微处理器、CPU(CentralProcessingUnit:中央处理器)等运算装置及规定其动作的软件来构成。
此外,可以将用于实现各实施方式中所说明的视频处理装置100、101、102的各功能部的处理的程序记录在计算机可读取的存储介质中,通过将该存储介质所记录的程序读入计算机系统,并进行执行,来实现各功能部的处理。另外,这里所说的“计算机系统”包含OS(OperatingSystem:操作系统)和周边设备等硬件。
上述程序可以是用于实现上述功能的一部分的程序,也可以是通过与已记录在计算机系统中的程序进行组合从而能够实现上述功能的程序。
存储有上述程序的“存储介质”是指软盘、光磁盘、ROM(ReadOnlyMemory:只读存储器)、CD-ROM等计算机可读取的便携式介质、内置于计算机系统的硬盘等存储装置等。并且,还包含如经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样,在短时间内动态保存程序的介质;以及如作为该情况下的服务器或客户端的计算机系统内部的易失性存储器那样,在一定时间内保存程序的介质。
<实施方式8>
此处,在显示装置所显示的视频中,存在有较多包含文字信息的内容。例如,在电视接收机中,显示文字广播、录制列表、节目表等包含有较多文字的视频的机会较多。因此,近年来,电视接收机中的文字信息不再仅仅是辅助性的内容,对观众来说已成为了重要的信息传递手段。
尽管如此,在电视接收机中,大多不具备提高文字信息的可视性的功能,而直接使用用于主要显示的视频即主视频的画质设定来反映文字信息的显示。因此,例如,若对主视频进行提高加强程度(轮廓增强)的设定,则对于文字信息的加强也提高到所需以上的程度,从而有可能导致文字的边缘部分带有白色镶边,文字信息的可视性下降。
因此,对于以电视接收机为代表的各种视频设备,开发研究了提高这种文字信息的可视性的技术。例如,在上文揭示的专利文献2中公开了以下技术,即:在电视广播接收机中,为了提高视频中所包含的文字的可视性,从视频中提取出文字,并对所提取得到的文字进行边缘增强处理、对比度增加处理、以及文字浓度调整处理。
然而,在专利文献2所记载的技术中,很难说进行了有效地处理。例如,专利文献2中,采用了通过实施色彩信息聚类处理、二值化处理、噪声去除处理等来提取文字的结构。这些处理由于是基于复杂的逻辑来进行的,因此比较费时。尤其是近年来,视频内容的高分辨率化和高帧率化显著,若如上述那样提取文字的处理较为费时,则会因视频的运动停止等而导致视频的显示不稳定。
下述实施方式中所要说明的结构是鉴于上述问题完成的,其目的在于实现能够有效地提高视频所包含的文字的可视性的视频处理装置。
下面,参照图13~图19对本发明的实施方式8进行说明。实施方式8中,以下述情况为例进行说明,即:基于视频的特征量来判断该视频是否包含有文字,在判断为包含文字的情况下,对上述视频实施各文字增强处理(边缘增强处理)。另外,在实施方式8的视频处理装置200中,可以进行实施方式1~6的任一实施方式中所记载的边缘增强处理来取代实施方式8中所说明的文字增强处理。
〔视频处理装置200的功能结构〕
图13是表示本发明的实施方式8所涉及的视频处理装置200的功能结构的框图。视频处理装置200是能够进行用于提高视频所包含的文字的可视性的处理的装置。视频处理装置200可安装于处理视频数据的各种视频设备(例如,电视接收机、各种记录器设备等)。本实施方式中,对在电视接收机10中安装视频处理装置200的实施方式进行说明。另外,电视接收机10除了安装有视频处理装置200这一点之外,与一般的电视接收机的结构相同,因此省略其具体说明。
如图13所示,视频处理装置200包括:获取部202、解码部204、检测部210、判断部206、以及文字增强部220。
(获取部202)
获取部202获取处理对象的视频数据(视频信号)。例如,获取部202获取利用电视接收机10所具备的调谐器接收到的视频数据、从连接至电视接收机10的外部设备(例如,HDD(HardDiskDrive:硬盘驱动器)记录器、BD(Blu-rayDisc(注册商标))记录器等)输入的视频数据、以及电视接收机10所搭载的各种记录介质(HDD、光盘、存储卡等)中所记录的视频数据等。获取部202所获取的视频数据的种类以及存储对象并不限于上述内容。
(解码部204)
解码部204对通过获取部202获得的视频数据进行解码。通过获取部202获取的视频数据有可能利用任意的编码方式(例如,MPEG-1、MPEG-2、H.264/MPEG-4.AVC等)进行了编码。在该情况下,解码部204利用与应用于该视频数据的编码方式相对应的解码方法,对通过获取部202获得的视频数据进行解码。获取部202可获得未编码的视频数据。在这种情况下,不需要进行解码处理的解码部204。因此,视频处理装置200也可以是未设置解码部204的结构。
(检测部210)
检测部210对通过获取部202获得的视频数据所表示的视频的各种特征量进行检测。检测部210包括:边缘直方图检测部212、帧差分直方图检测部214、以及亮度直方图检测部216。
边缘直方图检测部212检测出上述视频的边缘直方图来作为上述特征量。边缘直方图表示通过对关于上述视频(帧图像)的各像素的与相邻其他像素之间亮度的差分值即第2差分值进行统计而得到的该第2差分值的度数分布。
帧差分直方图检测部214检测出上述视频的帧差分直方图来作为上述特征量。帧差分直方图表示通过对关于上述视频(帧图像)的各像素的帧间(该帧图像与前一帧图像之间)亮度的差分值即第1差分值进行统计而得到的该第1差分值的度数分布。
亮度直方图检测部216检测出上述视频的亮度直方图来作为上述特征量。亮度直方图表示通过对关于上述视频(帧图像)的各像素的亮度进行统计而得到的该亮度的度数分布。
(判断部206)
判断部206基于检测部210检测得到的各种特征量(边缘直方图、帧差分直方图、以及亮度直方图),来判断由获取部202获得的视频数据所表示的视频中是否包含有文字。
这里所说的判断是否包含有文字指的不是判断是否包含有至少一个文字,而是判断是否包含有达到需要由文字增强部220来进行处理的程度的多个文字。
(文字增强部220)
文字增强部220对上述视频实施用于提高视频数据所表示的视频中包含的文字的可视性的处理。文字增强部220包括加强控制部222、LTI控制部224、以及CTI控制部226。加强控制部222为了提高视频数据所表示的视频中包含的文字的可视性而减弱上述视频的加强。LTI控制部224为提高视频数据所表示的视频中包含的文字的可视性而增强上述视频的LTI(LuminanceTransientImprovement:亮度信号瞬态校正)。即,不对视频的边缘部分附加冲击分量,而是通过使其亮度变化率的倾斜度陡峭来增强该边缘部分。CTI控制部226为了提高视频数据所表示的视频中包含的文字的可视性而对上述视频的CTI(ColorTransientImprovement:彩色瞬变改善)进行控制。
〔视频处理装置200进行视频处理的步骤〕
接下来,参照图14,对本发明的实施方式8所涉及的视频处理装置200进行视频处理的步骤进行说明。图14是表示本发明的实施方式8所涉及的视频处理装置200进行视频处理的步骤的流程图。
(获取工序和解码工序)
首先,获取部202获取处理对象的视频数据(步骤S202)。接着,解码部204对步骤S202中所获得的视频数据进行解码(步骤S204)。
(检测工序)
接着,边缘直方图检测部212根据步骤S204中经过解码得到的视频数据,检测出该视频数据所表示的视频的边缘直方图。(步骤S206)。帧差分直方图检测部214根据步骤S204中经过解码得到的视频数据,检测出该视频数据所表示的视频的帧差分直方图(步骤S208)。亮度直方图检测部216根据步骤S204中经过解码得到的视频数据,检测出该视频数据所表示的视频的亮度直方图(步骤S210)。
(判断工序)
接着,判断部206基于步骤S206中检测得到的边缘直方图、步骤S208中检测得到的帧差分直方图、以及步骤S210中检测得到的亮度直方图,来判断上述视频中是否包含有文字(步骤S212)。在步骤S212中,若判断为“不包含有文字”(步骤S212:否),则视频处理装置200结束该视频处理。
(文字对比度控制工序)
另一方面,在步骤S212中,若判断为“包含有文字”(步骤S212:是),则加强控制部222为了提高上述视频中所包含的文字的可视性,对上述视频的加强进行减弱(步骤S214)。LTI控制部224为了提高上述视频中所包含的文字的可视性,对上述视频的LTI进行增强(步骤S216)。并且,CTI控制部226为提高上述视频所包含的文字的可视性,对上述视频的CTI进行控制(步骤S218)。接着,视频处理装置200结束该视频处理。
例如,CTI控制部226在判断为“视频中包含有文字”的情况下,为了提高视频中所包含的文字的可视性,通过增强该视频的CTI来提高文字的边缘部分的色彩对比度(即,使得色差信号的变化的倾斜度更为陡峭)。
但是,对于静止图像这种追求精细度的视频而言,这种处理有可能会使文字附近的锯齿变得显著,反而会导致文字显示的品质下降。
因此,对于上述这种追求精细度的视频,CTI控制部226优选采用以不过度增强CTI的方式适当地对其进行调整的结构。
上述视频处理是对某一个帧图像的视频处理的说明,根据视频数据包含有多个帧图像这样的结构,视频处理装置200重复进行上述视频处理。此时,视频处理装置200可以以1帧图像为单位来进行上述视频处理,也可以以多帧图像为单位来进行上述视频处理。此外,视频处理装置200可以对将要显示的帧图像进行上述视频处理,也可以对帧存储器等中所存储的帧图像进行上述视频处理。
〔基于亮度直方图的判断处理的具体例〕
图15示出在本发明的实施方式8所涉及的视频处理装置200中,从某视频检测得到的亮度直方图的一个示例。图15所示的亮度直方图是亮度直方图检测部216对于某视频的各像素、通过统计其亮度而得到的,该亮度直方图表示该亮度的度数分布。在该亮度直方图中,横轴表示灰度(亮度),纵轴表示像素数(度数)。
视频处理装置200的判断部206基于按此方式从某视频检测得到的亮度直方图,判断该视频中是否包含有文字。具体而言,判断部206在从某视频检测得到的亮度直方图同时满足下述条件(1)和(2)的情况下,判断为该视频中“包含有文字”。
(1)将相当于全部像素数的6%的像素数作为第5阈值,像素数为第5阈值以上的灰度(亮度)存在两个以上。
(2)将相当于全部像素数的1%的像素数作为第6阈值,与像素数为第5阈值以上的灰度相邻的灰度的像素数在第6阈值以下。
使用上述条件(1)和(2)的理由如下所述。在视频的文字信息的显示区域中,通常背景部分为单色图案,即该灰度被固定为一个灰度。此外,通常,文字部分的灰度也被固定为一个灰度。因此,在从包含有文字信息的视频检测得到的亮度直方图中,至少对于上述背景部分所使用的灰度、以及上述文字部分所使用的灰度这两个灰度,本发明的发明人发现具有像素数突出的趋势。
例如,在图15所示的亮度直方图中,对于从低亮度侧(图中左侧)起的第3个和第11个灰度,其像素数占全部像素数的6%(第5阈值)以上。因此,图15所示的亮度直方图满足上述条件(1)。
此外,在图15所示的亮度直方图中,从低亮度侧(图中左侧)起的第2个、第4个、第10个、第12个灰度属于上述“相邻灰度”,且像素数均在全部像素数的1%(第6阈值)以下。因此,图15所示的亮度直方图满足上述条件(2)。
即,图15所示的亮度直方图同时满足上述条件(1)和(2)。因此,判断部206判断为检测到该亮度直方图的视频中“包含有文字”。
〔基于帧差分直方图的判断处理的具体例〕
图16示出在本发明的实施方式8所涉及的视频处理装置200中,从某视频检测得到的帧差分直方图的一个示例。图16所示的帧差分直方图是利用帧差分直方图检测部214,对于某视频的各像素,通过对帧间(该帧图像与前一帧图像之间)亮度的差分值即第1差分值进行统计而得到的,该帧差分直方图示出该第1差分值的度数分布。在该帧差分直方图中,横轴表示上述第1差分值,纵轴表示像素数(度数)。
视频处理装置200的判断部206基于按此方式从某视频检测得到的帧差分直方图,判断该视频是否包含有文字。具体而言,判断部206在从某视频检测得到的帧差分直方图满足下述条件(3)的情况下,判断为该视频中“包含有文字”。
(3)将上述第1差分值的阈值即第3阈值设为“25”,将上述第1差分值在第3阈值以上的像素作为“运动像素”,且将相当于全部像素数的20%的像素数设为第4阈值,在此情况下,“运动像素”的像素数为第4阈值。
使用上述条件(3)的理由如下所述。若关注于视频中文字信息的显示区域,则通常情况下,该区域是多个帧之间没有运动的静止图像,本发明的发明人发现随着这种文字信息的显示区域增加,“运动像素”的像素数有减少的趋势。
例如,在图16所示的帧差分直方图中,全部像素可分类成“无差分”、“差分小”、“差分大”。上述第1差分值为0~1的像素属于“无差分”。上述第1差分值为0~1的像素被认为是没有运动的像素。上述第1差分值为1~24的像素属于“差分小”。上述第1差分值为2~24的像素被认为是没有运动的像素,该像素中所产生的上述第1差分值被认为是因噪声而引起的。上述第1差分值为25~1023的像素属于“差分大”。上述第1差分值为25~1023的像素被认为是运动像素。
于是,在图16所示的帧差分直方图中,“差分大”(即,“运动像素”)的像素数在第4阈值以下。因此,图16所示的帧差分直方图满足上述条件(3)。因此,判断部206判断为检测到该帧差分直方图的视频中“包含有文字”。
本实施方式中,将相当于全部像素数的20%的像素数设为第4阈值,因此,在视频中允许某种程度的像素的运动。这是因为,即使在显示较多文字信息的视频中,也有可能包含录制列表中所选择的节目的缩略动画、文字信息的动画显示、录制列表上的用户操作(例如,光标移动等)等运动图像。
〔基于边缘直方图的判断处理的具体例〕
图17示出在本发明的实施方式8所涉及的视频处理装置200中,从某视频检测得到的边缘直方图的一个示例。图17所示的边缘直方图是利用边缘直方图检测部212,对于某视频的各像素,通过对与在水平方向相邻的其他像素之间亮度的差分值即第2差分值进行统计而得到的,该边缘直方图示出该第2差分值的度数分布。在该边缘直方图中,横轴表示上述第2差分值,纵轴表示像素数(度数)。
视频处理装置200的判断部206基于按此方式从某视频检测得到的边缘直方图,判断该视频中是否包含有文字。具体而言,判断部206在从某视频检测得到的边缘直方图满足下述条件(4)的情况下,判断为该视频中“包含有文字”。
(4)将上述第2差分值的阈值即第7阈值设为“319”,将上述第2差分值在第7阈值以上的像素作为“边缘部像素”,且将相当于全部像素数的1%的像素数设为第8阈值,在此情况下,“边缘部像素”的像素数为第8阈值以上。
使用上述条件(4)的理由如下所述。对于视频中所包含的文字信息,通常对其进行亮度设定以使得该文字信息相对于背景的对比度得以提高,因此,本发明的发明人发现下述趋势,即,在视频中,随着这种文字信息的增加,“边缘部像素”的像素数也增加。
例如,在图17所示的边缘直方图中,第2差分值为“319”以上的“边缘部像素”的总像素数为第8阈值以上。因此,图17所示的边缘直方图满足上述条件(4)。因此,判断部206判断为检测到该边缘直方图的视频中“包含有文字”。
〔对加强进行调整的处理的具体例〕
图18示意性地示出了本发明的实施方式8所涉及的视频处理装置200中对加强进行调整的处理。图18示出在本发明的实施方式8所涉及的视频处理装置200中,从某视频检测得到的边缘附近的亮度。图18中,横轴是表示像素的坐标轴,纵轴表示亮度。
加强控制部222在判断为“视频中包含有文字”的情况下,为了提高视频中所包含的文字的可视性,通过减弱对该视频的加强,来去除文字的边缘部分的冲击分量(过冲和下冲)。
例如,加强控制部222在电视接收机10的画质设定中,通过将加强设定的设定值减小4来去除上述冲击分量。若举出具体示例来说明,则在电视接收机10中,在画质模式设定为“动态”的情况下,加强设定的设定值被初始设定为“+4”。在该情况下,加强控制部222将加强设定的设定值从“+4”变更为“0”。
同样地,加强控制部222在加强设定的设定值被设定为“+8”的情况下,将加强设定的设定值从“+8”变更为“+4”,在加强设定的设定值被设定为“+10”的情况下,将加强设定的设定值从“+10”变更为“+6”。
由此,如图18所示,在处理对象的视频中,去除了文字的边缘部分所产生的冲击分量。一般而言,若要提高加强的程度,则将源信号的二次微分与源信号相加,由此,在边缘部分形成冲击分量。因此,相反地,通过减弱加强程度,可去除边缘部分所形成的冲击分量。
但是,为了防止在边缘部分产生模糊,加强控制部222不会将加强设定的设定值设定为加强关闭的状态即小于“0”。例如,在加强设定的设定值被设定为“+2”的情况下,加强控制部222不会将加强设定的设定值从“+2”变更为“-2”,而是将其变更为“+0”。此外,在加强设定的设定值被已设定为小于“0”的值的情况下,由于已处于去除冲击分量的状态,因此,加强控制部222不会改变该设定值。
在通常的轮廓增强处理中,采用通过提高加强程度来在边缘部分形成冲击分量的方法,但本实施方式的视频处理装置200对于处理对象的视频,通过对其加强进行减弱,来去除边缘部分的冲击分量,由此来提高文字的可视性。在文字的边缘部分,若带有冲击分量,则有时反而会导致文字难以辨识。另外,在加强设定的设定值变更的处理中,为了使观众不会因边缘部分的急剧变化而产生视觉上的不舒服,也可以在多个帧内缓慢地改变加强设定的设定值。
〔LTI的调整处理的具体例〕
图19示意性地示出本发明的实施方式8所涉及的视频处理装置200中对LTI进行调整的处理。图19示出在本发明的实施方式8所涉及的视频处理装置200中,从某视频检测得到的边缘附近的亮度。图19中,横轴是表示像素的坐标轴,纵轴表示亮度。
LTI控制部224在判断为“视频中包含有文字“的情况下,为了提高视频中所包含的文字的可视性,通过增强该视频的LTI,来提高文字边缘部分的亮度变化率。
例如,在电视接收机10中,LTI设定中的最大设定值为“63”。此外,在电视接收机10中,通常时,LTI设定的设定值为“0”。因此,LTI控制部224将LTI设定的设定值从“0”变更为“47”。由此,如图18所示,在处理对象的视频中,文字的边缘部分的亮度变化率得以提高,该边缘部分得以增强。另外,不将LTI设定的设定值变更为最大设定值是为了抑制对视频中所包含的斜线的影响。这是由于通常情况下,对于视频中所包含的斜线,LTI越高,则越容易产生锯齿。
由此,根据本实施方式的视频处理装置200,对于处理对象的视频,通过去除冲击分量,并增强边缘部分,从而使得文字的可视性得以提高。对于实施了这种视频处理的视频,即使存在例如细小的文字,也能够清晰地对文字进行确认。另外,在LTI设定的设定值变更的处理中,为了使观众不会因边缘部分的急剧变化而产生视觉上的不舒服,也可以在多个帧内缓慢地改变LTI设定的设定值。
〔程序、存储介质〕
实施方式8所说明的视频处理装置200的各功能既可利用集成电路(IC芯片)上所形成的逻辑电路以硬件的方式来实现,也可使用CPU(CentralProcessingUnit:中央处理器)以软件的方式来实现。
例如,视频处理装置200包括:执行用于实现各功能的程序的命令的CPU;存储有上述程序的ROM(ReadOnlyMemory:只读存储器);展开上述程序的RAM(RandomAccessMemory:随机存取存储器);以及存储上述程序及各种数据的存储器等各种存储装置(记录介质)等。于是,上述CPU通过对上述各种存储装置中所存储的程序进行读取,并执行该程序,从而能实现视频处理装置200的各功能。
作为上述记录介质,例如可以使用:磁带或盒带等带类、包含软盘(floppy(注册商标)disc)/硬盘等磁盘以及CD-ROM/MO/MD/DVD/CD-R等光盘在内的盘类、IC卡(包含存储卡)/光卡等卡类、掩模ROM/EPROM/EEPROM(注册商标)/闪存ROM等半导体存储器类、或者PLD(Programmablelogicdevice:可编程逻辑器件)和FPGA(FieldProgrammableGateArray:现场可编程门阵列)等逻辑电路类等。
另外,上述程序也可以通过通信网络来提供给视频处理装置200。该通信网络只要能至少将上述程序传输给视频处理装置200即可,对于其种类没有限制。例如,可以利用互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(VirtualPrivateNetwork)、电话网、移动通信网、卫星通信网等来作为通信网络。
作为用于向视频处理装置200提供上述程序的传输介质,也可以利用任何种类。例如,作为传输介质,可以利用IEEE1394、USB、电力线传输、有线电视线路、电话线、ADSL(AsymmetricDigitalSubscriberLine:非对称数字用户环路)线路等利用有线的传输介质。此外,作为传输介质,也可以利用IrDA、遥控器那样的红外线、蓝牙(注册商标)、IEEE80211无线、HDR(HighDataRate:高数据速率)、NFC(NearFieldCommunication:近场通信)、DLNA、移动电话网、卫星线路、地面波数字网等利用无线的传输介质。
〔补充事项〕
(关于检测方法)
在上述实施方式8中,使用了基于边缘直方图的检测方法、基于帧差分直方图的检测方法、以及基于亮度直方图的检测方法来作为检测视频中是否包含有文字的检测方法,但也可以使用除上述以外的检测方法。
(关于作为处理对象的区域)
在上述实施方式8中,对视频中的整个区域进行利用文字增强部220的处理(提高文字的可视性的处理),但也可以对视频中的一部分区域进行利用文字增强部220的处理。例如,在视频中,确定显示有文字信息的区域即文字显示区域,然后仅对所确定的文字显示区域、或者,对所确定的文字显示区域及其周边区域进行利用文字增强部220的处理。这种情况下,确定文字显示区域的方法可以使用现有已知的任意技术。
(关于噪声降低处理)
在上述实施方式8中,对视频调整了加强、LTI、以及CTI,但此外,还可以对视频实施高频滤波处理(高频分量去除处理)、边缘滤波处理(边缘噪声去除处理)、核心处理(微小高频分量去除处理)、锐度处理(轮廓增强处理)等各种噪声降低处理。在该情况下,可以对视频中的整个区域进行各种噪声降低处理,也可以对视频中的一部分区域进行该各种噪声降低处理。
(关于判断条件)
在上述实施方式8中,将条件(1)~(4)全部设为必要条件,在满足所有条件(1)~(4)的情况下,最终判断为“包含有文字”。即,在上述实施方式8中,在三个判断处理(基于帧差分直方图的判断处理、基于亮度直方图的判断处理、以及基于边缘直方图的判断处理)中均判断为“包含有文字”的情况下,才最终判断为“包含有文字”。但是,也可以不将条件(1)~(4)全部设为必要条件,在该情况下,在满足条件(1)~(4)中的所有必要条件的情况下,最终判断为“包含有文字”。
(关于作为执行对象的判断处理)
在上述实施方式8中,设为进行全部三个判断处理(基于帧差分直方图的判断处理、基于亮度直方图的判断处理、以及基于边缘直方图的判断处理),但也可以不进行一部分的判断处理。例如,可以不进行基于边缘直方图的判断处理。但是,若仅进行基于帧差分直方图的判断处理和基于亮度直方图的判断处理,则尤其对于动漫视频这样的视频,则有时难以正确地判断是否包含有文字串。在这种情况下,通过进一步进行基于边缘直方图的判断处理,能够更为准确地判断是否包含有文字串。
(关于第2差分值)
在上述实施方式8中,在基于边缘直方图的判断处理中,使用与在水平方向相邻的其他像素之间的亮度的差分值作为第2差分值,但也可以使用与在水平方向以外的方向(垂直方向、斜向)上相邻的其他像素之间的亮度的差分值作为第2差分值。
(关于阈值)
在上述实施方式8中,示出了各阈值(第3阈值~第8阈值)的优选值,但所述各阈值预先存储于视频处理装置200所具备的存储器等中,可适当地进行变更。例如,优选根据安装有视频处理装置200的视频设备的种类、输入视频处理装置200的视频的种类等,将所述各阈值(第3阈值~第8阈值)设定为适当的值。
<总结>
如上所述,本发明的方式1所涉及的视频处理装置具备边缘增强处理单元,该边缘增强处理单元通过对构成视频的帧附加冲击分量并进行边缘增强,来进行加强处理,该视频处理装置的特征在于,具备计算单元,该计算单元对于构成所述帧的各像素求出与相邻像素之间的亮度差,并求出该亮度差在规定的第1阈值以上的像素的比例即第1比例,所述边缘增强处理单元对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
在进行对与相邻像素之间的亮度差较大的边缘部分附加过冲或下冲的冲击分量的边缘增强时,有可能因该冲击分量而产生白色镶边。该白色镶边成为闪烁的原因。但是,根据上述结构,对于在第1阈值以上的像素的第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。因此,对于包含有与相邻像素之间的亮度差较大的边缘的帧,能够抑制产生所述那样的白色镶边。其结果是,能够抑制因边缘增强处理而带来的弊端即闪烁。
在本发明的方式2所涉及的视频处理装置中,优选为所述计算单元还进一步求出第2比例、以及第3比例,所述第2比例是所述亮度差在小于所述第1阈值的第2阈值以上且小于所述第1阈值的像素的比例,所述第3比例是所述亮度差小于所述第2阈值的像素的比例,所述边缘增强处理单元将对于第2比例小于第3比例的帧的冲击分量减小至小于对于第2比例大于第3比例的帧的冲击分量,由此来进行加强处理。
在单色单一区域较多的视频中,与相邻像素之间的亮度差相对较小的像素的个数较多。因此,满足第2比例<第3比例的视频为单色单一区域较多的视频的可能性较大。在这种视频中,大多数情况下边缘原本就比较清晰,因此无需附加较大的冲击分量。根据上述结构,将对于第2比例小于第3比例的帧的冲击分量减小至小于对于第2比例大于第3比例的帧的冲击分量,由此来进行加强处理。因此,对于单色单一区域较多的视频,不进行不必要的较强的加强处理即可,从而能够提高视频的画质。
并且,本发明的方式3所涉及的视频处理装置优选为包括相同场景量检测单元检测表示对象帧与该对象帧的前一帧为相同场景的程度即相同场景量;以及运动量检测单元,检测对象帧与该对象帧的前一帧之间的视频的运动量,所述边缘增强处理单元在由所述相同场景量检测单元检测得到的相同场景量与规定量相比表示为相同场景的程度较高、且由所述运动量检测单元检测得到的运动量表示比规定量要大的情况下,对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
对于通过对与相邻像素之间的亮度差较大的边缘进行冲击分量较大的边缘增强而产生的闪烁,大多数情况下在动态显示具有较多的与相邻像素之间的亮度差较大的边缘的相同场景时会变得显著。根据上述结构,在相同场景量与规定量相比表示为相同场景的程度较高、且运动量表示比规定量要大的情况下,对所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。由此,仅限于对闪烁有可能会显著的帧进行冲击分量的控制,由此来进行加强处理。即,能够将改变冲击分量的处理抑制在所需的最小限度。
另外,所述相同场景量检测单元例如可以求出每一帧的表示按亮度区别的像素数的亮度直方图,然后检测对象帧的亮度直方图与该对象帧的前一帧的亮度直方图之间的差分的直方图的总度数,来作为所述相同场景量即可。
此外,所述运动量检测单元例如可以对每个像素求出对象帧与该对象帧的前一帧之间的亮度差,检测具有规定的运动阈值以上的亮度差的像素的比例,来作为所述运动量即可。
本发明的方式4所涉及的视频处理装置中,优选为所述边缘增强处理单元除了上述的加强处理之外,还具有进行不附加冲击分量而改变边缘的倾斜度以使其陡峭的LTI处理的功能,对根据上述第1比例来减小冲击分量从而进行了加强处理的帧,进行所述LTI处理。
根据上述结构,在减小冲击分量从而进行了加强处理之后,通过执行LTI处理,能够防止视频模糊。
在本发明的方式5所涉及的视频处理装置中,优选为所述边缘增强处理单元对所述第1比例越大的帧越是增大使所述倾斜度陡峭的程度,由此来进行LTI处理。
根据上述结构,由于在加强处理中冲击分量越小,在LTI处理使倾斜度陡峭的程度越大,因此能够进一步防止视频模糊。
本发明的方式6所涉及的视频处理装置中,优选为所述边缘增强处理单元参照对应信息,使用与所述计算单元计算得到的第1比例所属的分割范围相对应的边缘增强滤波器来进行加强处理,所述对应信息是将可取第1比例的范围分割成多个而得到的各个分割范围与用于进行加强处理的边缘增强滤波器相对应地关联而得到的,在所述对应信息中,对与各分割范围相对应的边缘增强滤波器进行设定,以使得在使用与第1比例相对较大的分割范围相对应的边缘增强滤波器进行加强处理时的冲击分量的大小要小于在使用与第1比例相对较小的分割范围相对应的边缘增强滤波器来进行加强处理时的冲击分量的大小。
根据上述结构,通过预先具备有与多个分割范围中的各分割范围相对应的边缘增强滤波器,能够容易地改变冲击分量的大小,由此来执行加强处理。
在本发明的方式7所涉及的视频处理装置中,优选为具备指令接受单元,接受将所述边缘增强处理单元根据所述第1比例来改变冲击分量的功能切换为打开或关闭的指令,所述边缘增强处理单元在所述指令接受单元将该功能切换为打开时,对所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
根据上述结构,用于能够容易地将改变冲击分量的功能切换为打开或关闭。
本发明的方式8所涉及的视频处理装置中,优选为具备画质模式决定单元,决定表示所述视频的画质的画质模式,所述计算单元根据所述画质模式决定单元所决定的画质模式来改变所述第1阈值的值。
根据上述结构,由于第1阈值的值随着画质模式的不同而不同,因此,第1比例的值也随着画质模式的不同而不同。由此,能够根据画质模式来改变加强处理的强度。
本发明的方式9所涉及的视频处理装置的特征在于,包括:检测单元,该检测单元检测视频数据所表示的视频的特征量;判断单元,该判断单元基于所述特征量,判断所述视频中是否包含有文字;以及文字增强单元,该文字增强单元在判断为所述视频中包含有文字的情况下,对所述视频实施用于提高所述视频中文字的可视性的处理,所述检测单元对所述视频中多个像素的各个像素,检测出帧间亮度的差分值即第1差分值,所述判断单元基于所述第1差分值的度数分布,判断所述视频中是否包含有文字。
根据上述视频处理装置,在判断为视频中包含有文字的情况下,进行提高文字的可视性的处理(本说明书中,称为“文字增强处理”),因此,只要判断“视频中是否包含有文字”即可,而无需确定视频中的文字,因而能够缩短一系列视频处理所花费的时间。
尤其是,根据上述视频处理装置,由于基于帧间像素的亮度的差分值、即第1差分值的度数分布来判断是否进行所述文字增强处理,检测所述度数分布的处理、以及是否进行所述文字增强处理的判断处理均能通过相对简单的逻辑来实现,因此,能够缩短一系列视频处理所花费的时间。
本发明的方式10所涉及的视频处理装置中,优选为在所述第1差分值的度数分布中,在所述第1差分值在第3阈值以上的像素的度数为第4阈值以下时,所述判断单元判断为所述视频中包含有文字。
根据该结构,能够容易且准确地确定视频中是否包含有文字。
本发明的方式11所涉及的视频处理装置中,优选为所述检测单元进一步检测出所述视频中多个像素各自的亮度,所述判断单元进一步基于所述亮度的度数分布,来判断所述视频中是否包含有文字。
根据该结构,能够容易且准确地确定视频中是否包含有文字。
本发明的方式12所涉及的视频处理装置中,优选为在所述亮度的度数分布中,在度数为第5阈值以上的亮度存在两个以上,且与度数为第5阈值以上的亮度相邻的亮度的度数为低于所述第5阈值的第6阈值以下时,所述判断单元判断为所述视频中包含有文字。
根据该结构,能够容易且准确地确定视频中是否包含有文字。
本发明的方式13所涉及的视频处理装置中,优选为所述检测单元对于所述视频中多个像素的各像素,进一步检测出与相邻的其他像素之间的亮度的差分值即第2差分值,所述判断单元进一步基于所述第2差分值的度数分布,来判断所述视频中是否包含有文字。
根据该结构,能够容易且准确地确定视频中是否包含有文字。
本发明的方式14所涉及的视频处理装置中,优选为在所述第2差分值的度数分布中,在所述第2差分值在第7阈值以上的像素的度数为第8阈值以下时,所述判断单元判断为所述视频中包含有文字。
根据该结构,能够容易且准确地确定视频中是否包含有文字。
本发明的方式15所涉及的视频处理装置中,优选为所述文字增强单元减弱所述视频的加强程度,由此提高所述视频中文字的可视性。
根据该结构,能够去除文字边缘部分的冲击分量,从而能够提高文字的可视性。
本发明的方式16所涉及的视频处理装置中,优选为所述文字增强单元加强所述视频的LTI,由此提高所述视频中文字的可视性。
根据该结构,能够增强文字的边缘部分,从而能够提高文字的可视性。
本发明的方式17所涉及的视频处理装置中,优选为所述文字增强单元对所述视频的CTI进行控制,由此提高所述视频中文字的可视性。
根据该结构,能够增强文字的边缘部分,从而能够提高文字的可视性。
此外,包括上述视频处理装置的电视接收机也包含在本发明的范围内。
本发明的方式18所涉及的视频处理方法是通过对构成视频的帧附加冲击分量来进行边缘增强来进行加强处理的视频处理方法,其特征在于,包括:对于构成所述帧的各像素求出与相邻像素间的亮度差,并求出该亮度差在规定的第1阈值以上的像素的比例即第1比例的步骤,以及对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理的步骤。
本发明的方式19所涉及的视频处理方法的特征在于,包括:检测工序,在该检测工序中,检测视频数据所表示的视频的特征量;判断工序,在该判断工序中,基于所述特征量,判断所述视频中是否包含有文字;以及文字增强工序,在该文字增强工序中,在判断为所述视频中包含有文字的情况下,对所述视频实施用于提高所述视频中文字的可视性的处理,在所述检测工序中,对所述视频中多个像素的各个像素,检测出帧间亮度的差分值即第1差分值,在所述判断工序中,基于所述第1差分值的度数分布,判断所述视频中是否包含有文字。
根据通过上述方式构成的视频处理方法,能够获得与上述视频处理装置相同的效果。
此外,作为所述视频处理装置所具备的各单元的使计算机动作的程序、以及记录有这种程序的计算机可读取的记录介质也包含在本发明的范围内。
本发明并不局限于上述各实施方式,可以在权利要求所示的范围内作出各种变更,通过对分别在不同实施方式中公开的技术手段进行适当组合而得到的实施方式也包含在本发明的技术范围内。
工业上的实用性
本发明尤其适用于用于改善视频画质的视频处理装置。
标号说明
1电视接收机
100、101、102视频处理装置
110视频获取部
120解码处理部
130、131边缘直方图生成部(计算单元)
140、141、142边缘增强处理部(边缘增强处理单元)
151相同场景量检测部(相同场景量检测单元)
161运动量检测部(运动量检测单元)
172指令接受部(指令接受单元)
173画质模式决定部(画质模式决定单元)
200视频处理装置
202获取部
204解码部
206判断部
210检测部
212边缘直方图检测部
214帧差分直方图检测部
216亮度直方图检测部
220文字增强部(边缘增强处理单元)
222加强控制部
224LTI控制部
226CTI控制部
Claims (12)
1.一种视频处理装置,包括边缘增强处理单元,该边缘增强处理单元对构成视频的帧附加冲击分量来进行边缘增强,由此来进行加强处理,所述视频处理装置的特征在于,包括:
计算单元,该计算单元对于构成所述帧的各像素求出其与相邻像素之间的亮度差,并求出该亮度差为规定的第1阈值以上的像素的比例即第1比例,
所述边缘增强处理单元对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
2.如权利要求1所述的视频处理装置,其特征在于,
所述计算单元还进一步求出:第2比例,该第2比例是所述亮度差为小于所述第1阈值的第2阈值以上且小于所述第1阈值的像素的比例;以及第3比例,该第3比例是所述亮度差小于所述第2阈值的像素的比例,
所述边缘增强处理单元将对于第2比例小于第3比例的帧的冲击分量减小至小于对于第2比例大于第3比例的帧的冲击分量,由此来进行加强处理。
3.如权利要求1或2所述的视频处理装置,其特征在于,包括:
相同场景量检测单元,该相同场景量检测单元检测出表示对象帧与该对象帧的前一帧为相同场景的程度即相同场景量;以及
运动量检测单元,该运动量检测单元检测出对象帧与该对象帧的前一帧之间的视频的运动量,
所述边缘增强处理单元在由所述相同场景量检测单元检测得到的相同场景量与规定量相比表示为相同场景的程度较高、且由所述运动量检测单元检测得到的运动量表示比规定量要大的情况下,对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
4.如权利要求1或2所述的视频处理装置,其特征在于,
所述边缘增强处理单元除了所述加强处理之外,还具有进行不附加冲击分量而改变边缘的倾斜度以使其陡峭的LTI处理的功能,对根据所述第1比例来减小冲击分量从而进行了加强处理的帧,进行所述LTI处理。
5.如权利要求4所述的视频处理装置,其特征在于,
所述边缘增强处理单元对所述第1比例越大的帧越是增大使所述倾斜度陡峭的程度,由此来进行LTI处理。
6.如权利要求1或2所述的视频处理装置,其特征在于,
所述边缘增强处理单元通过参照对应信息,使用与所述计算单元计算得到的第1比例所属的分割范围相对应的边缘增强滤波器来进行加强处理,所述对应信息是将可取第1比例的范围分割成多个而得到的各个分割范围与用于进行加强处理的边缘增强滤波器相对应地关联而得到的,
在所述对应信息中,对与各分割范围相对应的边缘增强滤波器进行设定,以使得在使用与第1比例相对较大的分割范围相对应的边缘增强滤波器来进行加强处理时的冲击分量的大小要小于在使用与第1比例相对较小的分割范围相对应的边缘增强滤波器来进行加强处理时的冲击分量的大小。
7.如权利要求1或2所述的视频处理装置,其特征在于,
包括指令接受单元,该指令接受单元接受将所述边缘增强处理单元根据所述第1比例来改变冲击分量的功能切换为打开或关闭的指令,
所述边缘增强处理单元在所述指令接受单元将所述功能切换为打开时,对所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理。
8.如权利要求3所述的视频处理装置,其特征在于,
所述相同场景量检测单元求出每一帧的表示按亮度区别的像素数的亮度直方图,然后检测出对象帧的亮度直方图与该对象帧的前一帧的亮度直方图之间的差分的直方图的总频度,来作为所述相同场景量。
9.如权利要求3所述的视频处理装置,其特征在于,
所述运动量检测单元对每个像素求出对象帧与该对象帧的前一帧之间的亮度差,然后检测出具有规定的运动阈值以上的亮度差的像素的比例,来作为所述运动量。
10.如权利要求1或2所述的视频处理装置,其特征在于,
包括画质模式决定单元,该画质模式决定单元决定表示所述视频的画质的画质模式,
所述计算单元根据所述画质模式决定单元所决定的画质模式来改变所述第1阈值的值。
11.一种电视接收机,其特征在于,
具备权利要求1所述的视频处理装置。
12.一种视频处理方法,通过对构成视频的帧附加冲击分量来进行边缘增强,由此来进行加强处理,所述视频处理方法的特征在于,包括:
对于构成所述帧的各像素求出其与相邻像素之间的亮度差,并求出该亮度差为规定的第1阈值以上的像素的比例即第1比例的步骤;以及
对于所述第1比例越大的帧越是减小所述冲击分量,由此来进行加强处理的步骤。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-111954 | 2012-05-15 | ||
JP2012111954 | 2012-05-15 | ||
JP2012-112796 | 2012-05-16 | ||
JP2012112796 | 2012-05-16 | ||
JP2013-061039 | 2013-03-22 | ||
JP2013061039A JP5514344B2 (ja) | 2012-05-15 | 2013-03-22 | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
PCT/JP2013/061933 WO2013172159A1 (ja) | 2012-05-15 | 2013-04-23 | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104335567A CN104335567A (zh) | 2015-02-04 |
CN104335567B true CN104335567B (zh) | 2016-02-10 |
Family
ID=49583573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380025155.4A Expired - Fee Related CN104335567B (zh) | 2012-05-15 | 2013-04-23 | 视频处理装置、视频处理方法、电视接收机 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9275440B2 (zh) |
JP (1) | JP5514344B2 (zh) |
CN (1) | CN104335567B (zh) |
WO (1) | WO2013172159A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6396156B2 (ja) * | 2014-09-30 | 2018-09-26 | 株式会社メガチップス | 画像処理装置及び画像処理方法 |
EP3067857A1 (en) * | 2015-03-13 | 2016-09-14 | Thomson Licensing | Method and device for processing a peripheral image |
TWI570635B (zh) * | 2016-03-08 | 2017-02-11 | 和碩聯合科技股份有限公司 | 圖像辨識方法及執行該方法之電子裝置、電腦可讀取記錄媒體 |
CN106210446B (zh) | 2016-07-18 | 2019-08-30 | 北京小米移动软件有限公司 | 饱和度增强方法及装置 |
CN106846270B (zh) * | 2017-01-05 | 2020-02-14 | 浙江大华技术股份有限公司 | 一种图像边缘增强方法及装置 |
US10848772B2 (en) * | 2018-09-28 | 2020-11-24 | Ati Technologies Ulc | Histogram-based edge/text detection |
US11272185B2 (en) | 2018-10-31 | 2022-03-08 | Ati Technologies Ulc | Hierarchical measurement of spatial activity for text/edge detection |
CN110636331B (zh) * | 2019-09-26 | 2022-08-09 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
EP4156170A4 (en) | 2020-05-22 | 2023-12-06 | Panasonic Intellectual Property Management Co., Ltd. | VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, VIDEO PRODUCING APPARATUS, VIDEO PROCESSING METHOD AND PROGRAM |
CN111738944B (zh) * | 2020-06-12 | 2024-04-05 | 深圳康佳电子科技有限公司 | 一种图像对比度增强方法、装置、存储介质及智能电视 |
CN111932521B (zh) * | 2020-08-13 | 2023-01-03 | Oppo(重庆)智能科技有限公司 | 图像质量测试方法和装置、服务器、计算机可读存储介质 |
CN112819843B (zh) * | 2021-01-20 | 2022-08-26 | 上海大学 | 一种夜间电力线的提取方法及系统 |
CN112448962B (zh) * | 2021-01-29 | 2021-04-27 | 深圳乐播科技有限公司 | 视频抗锯齿显示方法、装置、计算机设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1539119A (zh) * | 2001-04-20 | 2004-10-20 | �ʼҷ����ֵ�������˾ | 改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置 |
CN1694507A (zh) * | 2005-01-17 | 2005-11-09 | 深圳创维-Rgb电子有限公司 | 电视图象边缘增强方法 |
CN1878240A (zh) * | 2006-03-30 | 2006-12-13 | 深圳创维-Rgb电子有限公司 | 一种视频图象边缘增强方法 |
JP2009290608A (ja) * | 2008-05-29 | 2009-12-10 | Fujitsu Ten Ltd | 動画出力装置および動画出力方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0567210A (ja) * | 1991-09-09 | 1993-03-19 | Seiko Epson Corp | 画像領域検出装置 |
JPH06164929A (ja) * | 1992-11-19 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 階調変換処理方法および装置 |
JP3470938B2 (ja) * | 1997-05-20 | 2003-11-25 | 日本電信電話株式会社 | テロップ文字表示フレーム検出方法及び装置 |
US6392759B1 (en) * | 1997-06-02 | 2002-05-21 | Seiko Epson Corporation | Edge-enhancement processing apparatus and method, and medium containing edge-enhancement processing program |
JP4029316B2 (ja) * | 2001-10-18 | 2008-01-09 | 日本電気株式会社 | 画像種別識別方法および装置と画像処理プログラム |
JP4414307B2 (ja) * | 2003-09-11 | 2010-02-10 | パナソニック株式会社 | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
KR101089426B1 (ko) | 2003-09-11 | 2011-12-07 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치 |
JP4325388B2 (ja) * | 2003-12-12 | 2009-09-02 | ソニー株式会社 | 信号処理装置、画像表示装置および信号処理方法 |
JP4526405B2 (ja) * | 2005-02-04 | 2010-08-18 | シャープ株式会社 | テレビ画像処理装置 |
JP2007288534A (ja) * | 2006-04-17 | 2007-11-01 | Toshiba Corp | 波形整形装置及び波形整形方法 |
JP4550016B2 (ja) | 2006-06-19 | 2010-09-22 | パナソニック株式会社 | 輝度変換装置 |
JP4221434B2 (ja) * | 2006-10-04 | 2009-02-12 | 株式会社ナナオ | 輪郭補正方法、画像処理装置及び表示装置 |
EP2198603A1 (en) * | 2007-10-01 | 2010-06-23 | Nxp B.V. | Pixel processing |
JP2009100270A (ja) | 2007-10-17 | 2009-05-07 | Sharp Corp | 映像編集方法およびテレビ放送受信機 |
RU2012106583A (ru) * | 2009-07-31 | 2013-10-20 | Шарп Кабусики Кайся | Устройство регулирования градации, устройство отображения изображений, телевизионный приемник, программа и считываемый компьютером носитель данных, имеющий сохраненную программу |
-
2013
- 2013-03-22 JP JP2013061039A patent/JP5514344B2/ja not_active Expired - Fee Related
- 2013-04-23 WO PCT/JP2013/061933 patent/WO2013172159A1/ja active Application Filing
- 2013-04-23 US US14/400,915 patent/US9275440B2/en not_active Expired - Fee Related
- 2013-04-23 CN CN201380025155.4A patent/CN104335567B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1539119A (zh) * | 2001-04-20 | 2004-10-20 | �ʼҷ����ֵ�������˾ | 改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置 |
CN1694507A (zh) * | 2005-01-17 | 2005-11-09 | 深圳创维-Rgb电子有限公司 | 电视图象边缘增强方法 |
CN1878240A (zh) * | 2006-03-30 | 2006-12-13 | 深圳创维-Rgb电子有限公司 | 一种视频图象边缘增强方法 |
JP2009290608A (ja) * | 2008-05-29 | 2009-12-10 | Fujitsu Ten Ltd | 動画出力装置および動画出力方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2013258682A (ja) | 2013-12-26 |
WO2013172159A1 (ja) | 2013-11-21 |
JP5514344B2 (ja) | 2014-06-04 |
CN104335567A (zh) | 2015-02-04 |
US9275440B2 (en) | 2016-03-01 |
US20150125090A1 (en) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104335567B (zh) | 视频处理装置、视频处理方法、电视接收机 | |
US9256924B2 (en) | Image processing device, moving-image processing device, video processing device, image processing method, video processing method, television receiver, program, and recording medium | |
JP4857360B2 (ja) | 視覚処理装置、視覚処理方法、テレビジョン、携帯情報端末、カメラおよびプロセッサ | |
CN102959962B (zh) | 图像压缩装置、图像压缩方法、集成电路以及影像显示装置 | |
JP4157592B2 (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP4440245B2 (ja) | 視覚処理装置、表示装置および集積回路 | |
CN103563374B (zh) | 图像处理设备及方法 | |
US7940333B2 (en) | Gradation control apparatus and gradation control method | |
KR20120018124A (ko) | 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리 프로세서의 자동 조정 | |
US20110013834A1 (en) | Apparatus and method for feature-based dynamic contrast enhancement | |
US20110129020A1 (en) | Method and apparatus for banding artifact detection | |
US8503814B2 (en) | Method and apparatus for spectrum estimation | |
US20150085943A1 (en) | Video processing device, video processing method, television receiver, program, and recording medium | |
US10922792B2 (en) | Image adjustment method and associated image processing circuit | |
CN103227775A (zh) | 网络图像/视频处理系统及网络站点 | |
US20020140864A1 (en) | System and method for performing segmentation-based enhancements of a video image | |
JP2008125112A (ja) | 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路 | |
JP2009141815A (ja) | 画像符号化方法、装置及びプログラム | |
EP1157543A1 (en) | Signal peaking | |
CN101207769A (zh) | 用于视频播放器和电视之间提供视频接口的方法和系统 | |
US6810082B1 (en) | Chroma based adaptive signal peaking | |
JP2008278185A (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
US8369423B2 (en) | Method and device for coding | |
JP2003324738A (ja) | 画像信号処理装置及び方法、並びにプログラム及び記録媒体 | |
WO2010101292A1 (en) | Method of and apparatus for processing a video image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160210 Termination date: 20170423 |