CN105519089A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN105519089A
CN105519089A CN201480048582.9A CN201480048582A CN105519089A CN 105519089 A CN105519089 A CN 105519089A CN 201480048582 A CN201480048582 A CN 201480048582A CN 105519089 A CN105519089 A CN 105519089A
Authority
CN
China
Prior art keywords
mentioned
image
detection signal
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480048582.9A
Other languages
English (en)
Inventor
峰崇志
村桥善光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN105519089A publication Critical patent/CN105519089A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

图像处理装置(1000)具备亮度方差检测部(1)、角度方差检测部(2)、图像区域检测部(3)以及图像处理部(4)。亮度方差检测部(1)在包含关注像素和关注像素的周边像素的像素参照区域中检测像素值的偏差程度。角度方差检测部(2)在像素参照区域中按每个像素取得像素值为恒定值的轮廓方向,检测所取得的轮廓方向的偏差程度。图像区域检测部(3)基于像素值的偏差程度和轮廓方向的偏差程度,取得表示包含关注像素的图像区域的特征的图像区域检测信号。图像处理部(4)基于图像区域检测信号,对关注像素执行规定的图像处理。

Description

图像处理装置
技术领域
本发明涉及图像处理技术,例如,涉及提取具有规定的特征的图像区域并对所提取的图像区域执行规定的图像处理的技术。
背景技术
由于信息通信技术的普及,已经以各种各样的方式提供各种各样的图像(视频)内容。
另一方面,能够显示全高清等高分辨率的视频(图像)的显示装置已经普及,使该显示装置显示各种各样的图像(视频)内容的机会越来越多。例如,将分辨率为水平方向640像素、垂直方向360像素的低分辨率的图像(视频)内容显示于对应水平方向1920像素、垂直方向1080像素的全高清标准的高分辨率显示装置的机会越来越多。在高分辨率显示装置中,利用内置的定标器(スケーラ)等对分辨率比显示分辨率低的图像(视频)执行向上变换(アップスケール)处理,由此,能够将其作为1920像素×1080像素的图像(视频)来显示。然而,当通过向上变换处理使低分辨率的图像(视频)以高分辨率显示时,在边缘部中,有时会产生锯齿。
另外,在使高分辨率显示装置将压缩的图像(视频)解码来显示的情况下,在边缘部中,有时会产生蚊式噪声。
若对这种图像实施锐化处理(例如,锐度增强处理、强化处理),则会有如下问题:在边缘部中,锯齿、蚊式噪声被过度增强,导致画质劣化。当对如上述这样的图像执行例如专利文献1(特开2003-348379号公报)所公开的锐化处理时,虽然能够提高纹理部分的细节感,但边缘部的锯齿、蚊式噪声被过度增强,在边缘部中,锯齿、蚊式噪声变得醒目。
这种产生于边缘部的锯齿、噪声很碍眼,因此,希望使其减少。
已开发出用于减少这种产生于边缘部的锯齿、噪声的技术。例如,在专利文献2(特开2004-336652号公报)中,公开了如下技术:基于边缘检测信号、平滑化信号以及边缘信号,识别关注像素,基于表示该识别结果的识别信息以及边缘信号进行滤波处理,由此,不损害有意而为的纹理部的细节地减少蚊式噪声。
发明内容
发明要解决的问题
然而,在上述专利文献2的技术中,采用了对于对输入视频信号进行高通滤波处理的结果设置阈值来将边缘部与纹理部分离的方法,根据输入视频信号的情况不同,有时无法将边缘部与纹理部恰当地分离,其结果是,有时也无法恰当地执行降噪处理。在上述专利文献2的技术中,例如,在输入亮度值的对比度很大地变化的视频信号的情况下,在该视频信号的亮度值的对比度处于规定的范围内时,能恰当地将边缘部与纹理部分离,恰当地执行降噪处理,但在该视频信号的亮度值的对比度处于规定的范围外时,无法将边缘部与纹理部恰当地分离,其结果是,也无法恰当地执行降噪处理。
鉴于上述问题,本发明的目的在于,实现一种图像处理装置(视频处理装置),其即使在输入的图像信号(视频信号)的亮度值等对比度很大地变化的情况下,也能够恰当地将边缘部与纹理部分离,恰当地执行图像处理(例如,降噪处理、强化处理)。
用于解决问题的方案
为了解决上述问题,第1构成是图像处理装置,其具备亮度方差检测部、角度方差检测部、图像区域检测部以及图像处理部。
亮度方差检测部在包含关注像素和关注像素的周边像素的像素参照区域中检测像素值的偏差程度。
角度方差检测部在像素参照区域中,按每个像素取得像素值为恒定值的轮廓方向,检测按每个像素取得的轮廓方向的偏差程度。
图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示包含关注像素的图像区域的特征的图像区域检测信号。
图像处理部基于图像区域检测信号,对关注像素执行规定的图像处理。
发明效果
根据本发明,能够实现一种图像处理装置(视频处理装置),其即使在输入的图像信号(视频信号)的亮度值等对比度很大地变化的情况下,也能够恰当地将边缘部与纹理部分离,恰当地执行图像处理(例如,降噪处理)。
附图说明
图1是第1实施方式的图像处理装置1000的概略构成图。
图2是第1实施方式的图像处理装置1000的图像处理部4的概略构成图。
图3是在包含边缘部的图像区域Img1和包含纹理部的图像区域Img2中用箭头重叠地示意性地表示出轮廓方向θ的图。
图4是示出图像处理装置1000进行处理的结果的一例的图。
图5是示出图像处理装置1000进行处理的结果的一例的图。
图6是第1实施方式的第1变形例的图像处理部4A的概略构成图。
图7是第1实施方式的第1变形例的强化部42的概略构成图。
图8是第2实施方式的图像处理装置2000的概略构成图。
图9是第2实施方式的图像处理部4B的概略构成图。
图10是第3实施方式的图像处理装置3000的概略构成图。
图11是第3实施方式的图像处理部4C的概略构成图。
图12是第3实施方式的强化处理部431的概略构成图。
图13是第3实施方式的方向强化处理部432的概略构成图。
图14是第4实施方式的图像处理装置4000的概略构成图。
图15是第4实施方式的图像处理部4D的概略构成图。
图16是第5实施方式的图像处理装置5000的概略构成图。
图17是第5实施方式的图像处理部4E的概略构成图。
具体实施方式
[第1实施方式]
以下,参照附图来说明第1实施方式。
<1.1:图像处理装置的构成>
图1是第1实施方式的图像处理装置1000的概略构成图。
图2是第1实施方式的图像处理装置1000的图像处理部4的概略构成图。
如图1所示,图像处理装置1000具备亮度方差检测部1、角度方差检测部2、图像区域检测部3以及图像处理部4。
图像信号(视频信号)Din输入到亮度方差检测部1,亮度方差检测部1按图像Din(由图像信号(视频信号)Din形成的图像)的每个像素算出亮度方差值Yv。此外,将关注像素(处理对象像素)在图像上的坐标设为(x1,y1),将关注像素(x1,y1)的亮度方差值标记为Yv(x1,y1)。
亮度方差检测部1将算出的亮度方差值Yv输出到图像区域检测部3。
图像信号(视频信号)Din输入到角度方差检测部2,角度方差检测部2按图像Din的每个像素算出角度方差值Av。此外,将关注像素(x1,y1)的角度方差值标记为Av(x1,y1)。
角度方差检测部2将算出的角度方差值Av输出到图像区域检测部3。
如图1所示,图像区域检测部3具备第1乘法器31、反转部32以及第2乘法器33。
从亮度方差检测部1输出的亮度方差值Yv和从角度方差检测部2输出的角度方差值Av输入到第1乘法器31。第1乘法器31按每个像素将亮度方差值Yv与角度方差值Av相乘,将以相乘结果的值为信号值的纹理检测信号Det_txt输出到图像处理部4。
从角度方差检测部2输出的角度方差值Av输入到反转部32。反转部32在将角度方差值Av的可取值范围设为0~Max1即0≤Av≤Max1时,将通过
Av_r=Max1-Av
算出的角度方差值的反转值Av_r输出到第2乘法器33。
从亮度方差检测部1输出的亮度方差值Yv和从反转部32输出的角度方差值的反转值Av_r输入到第2乘法器33。第2乘法器33将亮度方差值Yv与角度方差值的反转值Av_r相乘,将以相乘结果的值为信号值的边缘检测信号Det_edge输出到图像处理部4。
图像信号(视频信号)Din和从图像区域检测部3输出的纹理检测信号Det_txt及边缘检测信号Det_edge输入到图像处理部4。图像处理部4基于纹理检测信号Det_txt和边缘检测信号Det_edge,对图像信号执行规定的图像处理,将图像处理后的图像信号Dout输出。
例如,如图2所示,图像处理部4具备噪声处理部41。
如图2所示,噪声处理部41具备降噪处理部411、合成比决定部412以及合成部413。
降噪处理部411将图像信号(视频信号)Din作为输入,对图像信号Din执行降噪处理。然后,降噪处理部411将降噪处理后的图像信号作为图像信号D_NR输出到合成部413。
合成比决定部412将从图像区域检测部3输出的纹理检测信号Det_txt和边缘检测信号Det_edge作为输入,基于纹理检测信号Det_txt和边缘检测信号Det_edge,决定合成比α。合成部413将所决定的合成比α输出到合成部413。
图像信号(视频信号)Din、从降噪处理部411输出的图像信号D_NR以及从合成比决定部412输出的合成比α输入到合成部413。合成部413基于合成比α将图像信号(视频信号)Din与图像信号D_NR进行合成,将合成后的图像信号作为图像信号Dout输出。
<1.2:图像处理装置的动作>
以下,说明如以上这样构成的图像处理装置1000的动作。
在亮度方差检测部1中,根据所输入的图像信号(视频信号)Din算出亮度方差值Yv。具体地说,当将关注像素在图像上的坐标设为(x,y),将关注像素(x,y)的像素值(亮度值)设为P(x,y)时,通过下述的数学式算出关注像素(x,y)的亮度方差值Yv(x,y)。
[数学式1]
Y v ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n ( P ( x + i , y + j ) - P _ a v e ( x , y ) ) 2 P _ a v e ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n P ( x + i , y + j ) ... ( 1 )
也就是说,亮度方差值Yv(x,y)是以关注像素(x,y)为中心的(2n+1)个像素×(2n×1)个像素(n:自然数)的图像区域中的像素值(亮度值)的方差值。
在亮度方差检测部1中,按每个像素通过与上述数学式相当的处理算出亮度方差值Yv。
算出的亮度方差值Yv从亮度方差检测部1输出到图像区域检测部3的第1乘法器31和第2乘法器33。
此外,亮度方差检测部1也可以是将亮度方差值Yv作为二值信号输出。也就是说,亮度方差检测部1也可以是在将规定的阈值设为Th_Yv的情况下,
(1)Yv(x,y)≥Th_Yv时,设Yv(x,y)=1,
(2)Yv(x,y)<Th_Yv时,设Yv(x,y)=0,
将亮度方差值Yv输出到第1乘法器31和第2乘法器33。
在角度方差检测部2中,根据所输入的图像信号(视频信号)Din算出轮廓方向θ。具体地说,当将关注像素在图像上的坐标设为(x,y),将关注像素(x,y)的像素值(亮度值)设为P(x,y)时,通过与下述数学式相当的处理算出关注像素(x,y)的轮廓方向θ(x,y)。
[数学式2]
θ ( x , y ) = tan - 1 ( - ∂ ∂ x P ( x , y ) / ∂ ∂ y P ( x , y ) ) ... ( 2 )
此外,假定P(x,y)能在图像上即在xy平面上进行微分。
在(数学式2)中,轮廓方向θ(x,y)是以水平方向(x方向)为基准的逆时针方向的角度。轮廓方向θ(x,y)是作为给出如下正切值的角度算出的:将像素值(亮度值)P(x,y)在x方向的偏微分值除以像素值P(x,y)在方向的偏微分值而得到的正切值。为使上述(数学式2)适用于离散值,角度方差检测部2通过与以下的(数学式3)、(数学式4)相当的处理算出关注像素(x,y)在x方向的偏微分值Gx(x,y)和关注像素在y方向的偏微分值Gy(x,y)。
[数学式3]
G x ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W x ( x + i , y + j ) ... ( 3 )
[数学式4]
G y ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W y ( x + i , y + j ) ... ( 4 )
此外,Wx(x+i,y+j)和Wy(x+i,y+j)为滤波系数。
滤波系数Wx(x+i,y+j)如下:
(1)―n≤i<0时,Wx(x+i,y+j)=-1
(2)i=0时,Wx(x+i,y+j)=0
(3)0<i≤n时,Wx(x+i,y+j)=1。
滤波系数Wy(x+i,y+j)如下:
(1)―n≤j<0时,Wy(x+i,y+j)=-1
(2)j=0时,Wy(x+i,y+j)=0
(3)0<j≤n时,Wy(x+i,y+j)=1。
通过与(数学式3)、(数学式4)相当的处理,算出关注像素(x,y)在x方向的偏微分值Gx(x,y)和关注像素在y方向的偏微分值Gy(x,y)。
然后,角度方差检测部2基于算出的x方向偏微分值Gx(x,y)、y方向偏微分值Gy(x,y)将算出的轮廓方向θ(x,y)量子化,算出表示量子化后的轮廓方向的量子化轮廓方向A(x,y)。角度方差检测部2例如通过与下述(数学式5)相当的处理算出量子化轮廓方向A(x,y)。
[数学式5]
A ( x , y ) = r o u n d ( N d π tan - 1 ( G y ( x , y ) / G x ( x , y ) ) ..... ( 5 )
在上述(数学式5)中,round(z)是给出将实数z的小数点以后的位数四舍五入得到的整数值的化整函数。Nd是表示量子化后的轮廓方向的数量(量子化轮廓方向数)的常量。量子化轮廓方向数Nd例如是8至32之间的任意的值。也就是说,量子化轮廓方向A(x,y)是由将轮廓方向θ(x,y)除以量子化间隔π/Nd得到的值进行化整从而取得的0至Nd-1的任意的整数来表示的。此外,角度方差检测部2为了避免除数为零,在x方向偏微分值Gx(x,y)的绝对值|Gx(x,y)|小于预先确定的微小的实数值(例如,10^-6)的情况下,将tan-1()的值设为π/2。另外,根据运算处理系统的不同,有时为了避免上述的除法运算的误差、除数为零而准备具有Gx和Gy这2个变量的正切函数,角度方差检测部2也可以利用它来求出tan-1()的值。
角度方差检测部2使用如上述这样算出的量子化轮廓方向的值A(x,y),算出关注像素(x,y)的角度方差值Av(x,y)。具体地说,角度方差检测部2通过与下述(数学式6)相当的处理来算出角度方差值Av(x,y)。
[数学式6]
A v ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n ( A ( x + i , y + j ) - A _ a v e ( x , y ) ) 2 A _ a v e ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n A ( x + i , y + j ) ... ( 6 )
通过以上的方式,将由角度方差检测部2算出的角度方差值Av(x,y)输出到图像区域检测部3的第1乘法器31和反转部32。
此外,角度方差检测部2也可以是将角度方差值Av作为二值信号输出。也就是说,角度方差检测部2也可以是在将规定的阈值设为Th_Av的情况下,
(1)Av(x,y)≥Th_Av时,设Av(x,y)=1,
(2)Av(x,y)<Th_Av时,设Av(x,y)=0,
将角度方差值Av输出到第1乘法器31和反转部32。
在图像区域检测部3的第1乘法器31中,按每个像素将从亮度方差检测部1输出的亮度方差值Yv和从角度方差检测部2输出的角度方差值Av相乘,由此,取得纹理检测信号Det_txt。
具体地说,第1乘法器31通过
Det_txt(x,y)=Yv(x,y)×Av(x,y)
取得关注像素(x,y)的纹理检测信号的值Det_txt(x,y)。
一般来说,边缘部、纹理部、平坦部、存在细微的噪声的部分中的亮度方差值和角度方差值显示出以下的倾向。
(1)边缘部:亮度方差值是大的值,角度方差值是小的值。
(2)纹理部:亮度方差值是大的值,角度方差值也是大的值。
(3)平坦部:亮度方差值是小的值,角度方差值也是小的值。
(4)细微的噪声:亮度方差值是小的值,角度方差值是大的值。
图3是在包含边缘部的图像区域Img1和包含纹理部的图像区域Img2中用箭头重叠地示意性地表示出轮廓方向θ的图。
从图3可知,在边缘部中,轮廓方向θ有对齐到一定的方向的倾向,另一方面,在纹理部中,轮廓方向θ有偏差的倾向。也就是说,有如下倾向:在边缘部中,角度方差值成为小的值,在纹理部中,角度方差值成为大的值。
因此,如上述所示,在纹理部中,亮度方差值Yv和角度方差值Av均成为大的值,因而纹理检测信号的值Det_txt也成为大的值。也就是说,能够根据纹理检测信号的值Det_txt恰当地检测出图像上的纹理部。例如,在纹理检测信号的值Det_txt(x,y)大于规定的阈值Th1的情况下,能够判断为关注像素(x,y)包含在纹理部中。此外,在亮度方差值和角度方差值是二值(二值信号)的情况下,在纹理检测信号的值Det_txt(x,y)为“1”时,能够判断为其包含在纹理部中,不需要如上述这样的根据阈值的判断处理。
由第1乘法器31取得的纹理检测信号Det_txt输出到图像处理部4。
此外,在亮度方差值和角度方差值是二值(二值信号)的情况下,纹理检测信号Det_txt也是作为二值信号输出到图像处理部4。
在反转部32中,根据角度方差值Av,取得角度方差值的反转值Av_r。
具体地说,当将角度方差值Av的可取值范围设为0~Max1即0≤Av≤Max1时,反转部32通过
Av_r=Max1-Av
取得角度方差值的反转值Av_r。
此外,在亮度方差值和角度方差值是二值(二值信号)的情况下,通过使角度方差值Av反转,能够取得角度方差值的反转值Av_r。
然后,将所取得的角度方差值的反转值Av_r输出到第2乘法器33。
此外,在亮度方差值和角度方差值是二值(二值信号)的情况下,角度方差值的反转值Av_r也是作为二值信号输出到第2乘法器33。
在第2乘法器33中,按每个像素将从亮度方差检测部1输出的亮度方差值Yv和从反转部32输出的角度方差值的反转值Av_r相乘,由此,取得边缘检测信号Det_edge。
具体地说,第2乘法器33通过
Det_edge(x,y)=Yv(x,y)×Av_r(x,y)
取得关注像素(x,y)的边缘检测信号的值Det_edge(x,y)。
在图像上的边缘部中,有亮度方差值Yv成为大的值而角度方差值Av成为小的值的倾向,因此,亮度方差值Yv成为大的值,角度方差值的反转值Av_r成为大的值。
也就是说,能够根据边缘检测信号的值Det_edge恰当地检测出图像上的边缘部。例如,在边缘检测信号的值Det_edge(x,y)大于规定的阈值Th2的情况下,能够判断为关注像素(x,y)包含在边缘部中。此外,在亮度方差值和角度方差值是二值(二值信号),边缘检测信号的值Det_edge(x,y)为“1”的情况下,能够判断为其包含在边缘部中,不需要如上述这样的根据阈值的判断处理。
由第2乘法器33取得的边缘检测信号Det_edge输出到图像处理部4。
此外,在亮度方差值和角度方差值是二值(二值信号)的情况下,边缘检测信号Det_edge也是作为二值信号输出到图像处理部4。
在图像处理部4中,基于纹理检测信号Det_txt和边缘检测信号Det_edge,对图像信号(视频信号)Din例如执行降噪处理。
在降噪处理部411中,对图像信号Din执行降噪处理。然后,降噪处理后的图像信号作为图像信号D_NR输出到合成部413。
在合成比决定部412中,基于纹理检测信号Det_txt和边缘检测信号Det_edge,决定合成比α。
具体地说,通过以下的方式决定合成比α。此外,假定0≤α≤1。
(1)在纹理检测信号Det_txt的值大于规定的阈值的情况下(纹理检测信号为二值信号时,在纹理检测信号Det_txt为“1”的情况下),将α设定为接近0的αt(也可以是αt=0)。
(2)在边缘检测信号Det_edge的值大于规定的阈值的情况下(边缘检测信号为二值信号时,在边缘检测信号Det_edge为“1”的情况下),将α设定为接近“1”的值αe(也可以是αe=1)。
(3)在上述(1)、(2)这两个条件均满足的情况下,
将α设定为α=(αt+αe)/2。
(4)在上述(1)~(3)以外的情况下,将α设定为“0”。
通过以上的方式决定的合成比α输出到合成部413。
在合成部413中,根据合成比α,例如通过与
Dout=α×D_NR+(1-α)×Din
0≤α≤1
相当的处理(内分处理)将图像信号Din与降噪处理后的图像信号D_NR进行合成,由此,取得图像信号Dout。
(1)在α=αt的情况下(在判断为是纹理部的情况下),αt是接近“0”的值,因此,图像信号Dout基本上是接近图像信号Din的信号。也就是说,在纹理部中,基本上不执行降噪处理。因此,在由图像信号Dout形成的图像的纹理部中,细节感被保持。
(2)在α=αe的情况下(在判断为是边缘部的情况下),αe是接近“1”的值,因此,图像信号Dout基本上是接近图像信号D_NR的信号。也就是说,在边缘部中,以很强的强度执行降噪处理。因此,在由图像信号Dout形成的图像的边缘部中,锯齿、蚊式噪声等被恰当地减少。
(3)在纹理检测信号Det_txt的值大于规定的阈值且边缘检测信号Det_edge的值大于规定的阈值的情况下(在上述(1)、(2)这两个条件均满足的情况下),α=(αt+αe)/2,因此,根据上述(1)、(2)的中间的合成比α执行合成处理。通常,很少有符合该(3)的情况,但根据阈值的设定的方法的不同,有时有符合该(3)的情况。即使在该情况下,在合成部413中,也会根据上述(1)、(2)的中间的合成比α执行合成处理。其结果是,即使在符合该(3)的情况下,也能够取得被恰当地实施了降噪处理的图像信号Dout。
(4)在上述(1)~(3)以外的情况下,α是“0”,因此,在合成部413中,取得与图像信号Din相同的图像信号Dout。
如上所述,在图像处理装置1000中,考虑亮度方差值Yv和角度方差值Av这两者,将边缘部和纹理部分离,因此,即使在例如输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地将边缘部和纹理部分离。在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,若仅使用亮度方差值Yv将边缘部和纹理部分离,则有时会误判。在图像处理装置1000中,不仅考虑亮度方差值Yv,还考虑角度方差值Av,来判断图像区域的性质,也就是说,判断图像区域是边缘部还是纹理部。角度方差值不易受到图像信号的对比度值的变化的影响,因此,在图像处理装置1000中,不仅考虑亮度方差值Yv,还考虑角度方差值Av,将边缘部和纹理部分离。由此,在图像处理装置1000中,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地将边缘部和纹理部分离。并且,在图像处理装置1000中,能够对恰当地分离出的边缘部和纹理部分别执行合适的图像处理。
《实施例》
图4和图5示出图像处理装置1000进行处理的结果的一例。
图4是将输入了图3的图像区域Img1时的输入图像信号Din、亮度方差值Yv、角度方差值Av、纹理检测信号Det_txt以及边缘检测信号Det_edge作为图像来显示的图。
图5是将输入了图3的图像区域Img2时的输入图像信号Din、亮度方差值Yv、角度方差值Av、纹理检测信号Det_txt以及边缘检测信号Det_edge作为图像来显示的图。
此外,在示出亮度方差值Yv、角度方差值Av、纹理检测信号Det_txt以及边缘检测信号Det_edge的图像中,白的部分是值大的部分。另外,在上述图像中,为了明确值大的部分(或者检测部分),作为二值图像进行显示。
从图4可知,在边缘部中,亮度方差值Yv的值大,而角度方差值Av的值小。因此可知,在示出通过将亮度方差值Yv与使角度方差值反转得到的值相乘而取得的边缘检测信号Det_edge的图像中,边缘部被恰当地提取出。
另外,从图5可知,在纹理部中,亮度方差值Yv的值大且角度方差值Av的值也大。因此可知,在示出通过将亮度方差值Yv与角度方差值相乘而取得的纹理检测信号Det_txt的图像中,纹理部分被恰当地提取出。
如上所述,在图像处理装置1000中,通过考虑亮度方差值Yv和角度方差值Av这两者,能够将边缘部和纹理部恰当地分离。
《第1变形例》
接着,说明第1实施方式的第1变形例。
此外,以下,对本变形例特有的部分进行说明,对与第1实施方式同样的部分标注相同的附图标记而省略详细的说明。
图6示出本变形例的图像处理部4A的概略构成图。
图7示出本变形例的强化部42的概略构成图。
本变形例的图像处理装置具有在第1实施方式的图像处理装置1000中将图像处理部4置换为图像处理部4A的构成。除此以外,本变形例的图像处理装置与第1实施方式的图像处理装置1000是同样的。
如图6所示,图像处理部4A具备噪声处理部41和强化部42。
噪声处理部41与第1实施方式的噪声处理部41是同样的。
如图7所示,强化部42具备强化处理部421、强化用合成比决定部422以及强化用合成部423。
从噪声处理部41的合成部413输出的图像信号作为图像信号Dout_NR输入到强化处理部421。然后,强化处理部对图像信号Dout_NR执行强化处理(例如,高频成分增强处理、细节增强处理),将处理后的图像信号作为图像信号D_En输出到强化用合成部423。
强化用合成比决定部422将从图像区域检测部3输出的纹理检测信号Det_txt和边缘检测信号Det_edge作为输入,基于纹理检测信号Det_txt和边缘检测信号Det_edge,决定强化用合成比β。
具体地说,通过以下的方式决定合成比β。此外,假定0≤β≤1。
(1)在纹理检测信号Det_txt的值大于规定的阈值的情况下(纹理检测信号为二值信号时,在纹理检测信号Det_txt为“1”的情况下),将β设定为接近“1”的值βt。
(2)在边缘检测信号Det_edge的值大于规定的阈值的情况下(边缘检测信号为二值信号时,在边缘检测信号Det_edge为“1”的情况下),将β设定为接近“1”的值βe。
(3)在上述(1)、(2)这两个条件均满足的情况下,
将β设定为β=(βt+βe)/2。
(4)在上述(1)~(3)以外的情况下,将β设定为“0”。
通过以上的方式决定的强化用合成比β输出到强化用合成部423。
从噪声处理部41的合成部413输出的图像信号Dout_NR、从强化处理部421输出的图像信号D_En以及从强化用合成比决定部422输出的合成比β输入到强化用合成部423。强化用合成部423基于强化用合成比β,将图像信号Dout_NR和图像信号D_En进行合成。
具体地说,强化用合成部423根据强化用合成比β,例如执行与
Dout=β×D_En+(1-β)×Dout_NR
0≤β≤1
相当的处理(内分处理),由此,将图像信号Dout_NR和图像信号D_En进行合成。
(1)在β=βt的情况下(在判断为是纹理部的情况下),βt是接近“1”的值,因此,图像信号Dout基本上是接近图像信号D_En的信号。也就是说,在纹理部中,以很强的强度执行强化处理。因此,在由图像信号Dout形成的图像的纹理部中,细节感(精细感)被增强。
(2)在β=βe的情况下(在判断为是边缘部的情况下),βe是接近“1”的值,因此,图像信号Dout基本上是接近图像信号D_En的信号。也就是说,在边缘部中,以很强的强度执行强化处理。因此,在由图像信号Dout形成的图像的边缘部中,被进行高频增强,边缘变得更鲜明。
此外,在本变形例的图像处理装置中,利用前级的噪声处理部41,在边缘部中减少了锯齿、蚊式噪声,因此,通过利用强化部42对相当于边缘部的图像信号执行强化处理,既能够减少锯齿、蚊式噪声等,又能够恰当地进行边缘增强。
(3)在纹理检测信号Det_txt的值大于规定的阈值且边缘检测信号Det_edge的值大于规定的阈值的情况下(在上述(1)、(2)这两个条件均满足的情况下),β=(βt+βe)/2,因此,根据上述(1)、(2)的中间的合成比α执行合成处理。在该情况下,在本变形例的图像处理装置中,也能恰当地执行强化处理。
(4)在上述(1)~(3)以外的情况下,β是“0”,因此,在强化用合成部423中,取得与图像信号Dout_NR相同的图像信号Dout。
如上所述,在本变形例的图像处理装置中,与第1实施方式的图像处理装置1000同样,能够考虑亮度方差值Yv和角度方差值Av这两者,将边缘部和纹理部恰当地分离。并且,在本变形例的图像处理装置中,能够对恰当地分离出的边缘和纹理部分别执行恰当的降噪处理和强化处理。
《第2变形例》
接着,说明第1实施方式的第2变形例。
此外,以下,对本变形例特有的部分进行说明,对与第1实施方式同样的部分标注相同的附图标记而省略详细的说明。
在第1实施方式中,是在亮度方差检测部1中算出了亮度值的方差值,而在本变形例的图像处理装置中,是在亮度方差检测部1中算出亮度值的差的绝对值的平均值。
具体地说,在本变形例的亮度方差检测部1中,通过执行与下述(数学式7)相当的处理,取得近似的亮度方差值Yv(x,y)(亮度值的差的绝对值的平均值Yv(x,y))。
[数学式7]
Y v ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n a b s ( P ( x + i , y + j ) - P _ a v e ( x , y ) ) P _ a v e ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n P ( x + i , y + j ) ... ( 7 )
此外,abs(z)是取得值z的绝对值的函数。
然后,亮度方差检测部1将取得的值Yv(x,y)输出到图像区域检测部3。
此外,亮度方差检测部1也可以是将亮度方差值Yv作为二值信号输出。也就是说,亮度方差检测部1也可以是在将规定的阈值设为Th_Yv的情况下,
(1)Yv(x,y)≥Th_Yv时,设Yv(x,y)=1,
(2)Yv(x,y)<Th_Yv时,设Yv(x,y)=0,
将亮度方差值Yv输出到第1乘法器31和第2乘法器33。
另外,在第1实施方式中,是在角度方差检测部2中算出了量子化轮廓方向A(x,y)的值的方差值,而在本变形例的图像处理装置中,是在角度方差检测部2中算出量子化轮廓方向A(x,y)的差的绝对值的平均值。
具体地说,在本变形例的角度方差检测部2中,通过执行与下述(数学式8)相当的处理,取得近似的角度方差值Av(x,y)(量子化轮廓方向A(x,y)的值的差的绝对值的平均值Av(x,y))。
[数学式8]
A v ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n a b s ( A ( x + i , y + j ) - A _ a v e ( x , y ) ) A _ a v e ( x , y ) = 1 ( 2 n + 1 ) 2 Σ j = - n n Σ i = - n n A ( x + i , y + j ) ... ( 8 )
然后,角度方差检测部2将取得的值Av(x,y)输出到图像区域检测部3。
此外,角度方差检测部2也可以是将角度方差值Av作为二值信号输出。也就是说,角度方差检测部2也可以是在将规定的阈值设为Th_Av的情况下,
(1)Av(x,y)≥Th_Av时,设Av(x,y)=1,
(2)Av(x,y)<Th_Av时,设Av(x,y)=0,
将角度方差值Av输出到第1乘法器31和反转部32。
如上所述,在本变形例的图像处理装置中,用亮度值的差的绝对值的平均值代替亮度方差值Yv,用量子化轮廓方向A(x,y)的值的差的绝对值的平均值代替角度方差值Av。由此,在本变形例的图像处理装置中,能够以比算出方差值时少的运算量执行亮度方差检测部1和角度方差检测部2中的处理。因此,在本变形例的图像处理装置中,通过既抑制运算量又与上述实施方式同样地考虑亮度方差值Yv和角度方差值Av这两者,能够将边缘部和纹理部恰当地分离,对分离出的图像区域分别执行合适的图像处理。
[第2实施方式]
接着,说明第2实施方式。
此外,以下,对本实施方式特有的部分进行说明,对与上述实施方式同样的部分标注相同的附图标记而省略详细的说明。
图8示出本实施方式的图像处理装置2000的概略构成图。
图9示出本实施方式的图像处理部4B的概略构成图。
本实施方式的图像处理装置2000具有在第1实施方式的图像处理装置1000中将图像区域检测部3置换为图像区域检测部3A并将图像处理部4置换为图像处理部4B的构成。除此以外,本实施方式的图像处理装置2000与第1实施方式的图像处理装置1000是同样的。
如图8所示,图像区域检测部3A具有从第1实施方式的图像区域检测部3删去了第1乘法器31的构成。也就是说,虽然在图像区域检测部3中,是取得纹理检测信号Det_txt和边缘检测信号Det_edge,但在图像区域检测部3A中,仅取得边缘检测信号Det_edge。
图像区域检测部3A将取得的边缘检测信号Det_edge输出到图像处理部4B。
如图9所示,图像处理部4B具备降噪处理部411、合成比决定部412B以及合成部413。
降噪处理部411和合成部413与第1实施方式是同样的。
合成比决定部412B将从图像区域检测部3A输出的边缘检测信号Det_edge作为输入,基于所输入的边缘检测信号Det_edge,决定合成比α。
具体地说,合成比决定部412B通过以下的方式决定合成比α。此外,假定0≤α≤1。
(1)在边缘检测信号Det_edge的值大于规定的阈值的情况下(边缘检测信号为二值信号时,在边缘检测信号Det_edge为“1”的情况下),将α设定为接近“1”的值αe。
(2)在上述(1)以外的情况下,将α设定为“0”。
通过以上的方式决定的合成比α输出到合成部413。
然后,在合成部413中,根据合成比α,例如通过与
Dout=α×D_NR+(1-α)×Din
0≤α≤1
相当的处理(内分处理)将图像信号Din和降噪处理后的图像信号D_NR进行合成,由此,取得图像信号Dout。
(1)在α=αe的情况下(在判断为是边缘部的情况下),αe是接近“1”的值,因此,图像信号Dout基本上是接近图像信号D_NR的信号。也就是说,在边缘部中,以很强的强度执行降噪处理。因此,在由图像信号Dout形成的图像的边缘部中,锯齿、蚊式噪声等被恰当地减少。
(2)在上述(1)以外的情况下,α是“0”,因此,在合成部413中,取得与图像信号Din相同的图像信号Dout。
如上所述,在图像处理装置2000中,考虑亮度方差值Yv和角度方差值Av这两者,分离(检测)出边缘部,因此,例如,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地分离(检测)出边缘部。在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,若仅使用亮度方差值Yv来分离(检测)边缘部,则有时会误判。在图像处理装置2000中,不仅考虑亮度方差值Yv,还考虑角度方差值Av,来判断图像区域的性质,也就是说,判断图像区域是否是边缘部。角度方差值不易受到图像信号的对比度值的变化的影响,因此,在图像处理装置2000中,不仅考虑亮度方差值Yv,还考虑角度方差值Av,来分离(检测)边缘部。由此,在图像处理装置2000中,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地分离(检测)出边缘部。并且,在图像处理装置2000中,能够恰当地执行适于分离(检测)后的边缘部的图像处理。
而且,在图像处理装置2000中,删去了第1实施方式的图像处理装置1000中的检测纹理检测信号Det_txt的部分,因此,与第1实施方式的图像处理装置1000相比,能够降低用于实现的成本。
[第3实施方式]
接着,说明第3实施方式。
此外,以下,对本实施方式特有的部分进行说明,对与上述实施方式同样的部分标注相同的附图标记而省略详细的说明。
<3.1:图像处理装置的构成>
图10示出第3实施方式的图像处理装置3000的概略构成图。
图11示出第3实施方式的图像处理部4C的概略构成图。
图12示出第3实施方式的强化处理部431的概略构成图。
图13示出第3实施方式的方向强化处理部432的概略构成图。
在本实施方式的图像处理装置3000中,在图像处理部4C中执行锐化处理。
一般来说,在高分辨率显示装置中,通过利用内置的定标器等对比显示分辨率低的分辨率的图像(视频)执行向上变换处理,能够将其作为1920像素×1080像素的图像(视频)来显示。然而,当通过向上变换处理使低分辨率的图像(视频)以高分辨率显示时,在边缘部中,有时会产生锯齿。
另外,在使高分辨率显示装置将压缩的图像(视频)解码来显示的情况下,在边缘部中,有时会产生蚊式噪声。
若对这种图像实施锐化处理(例如,锐度增强处理、强化处理),则会有如下问题:在边缘部中,锯齿、蚊式噪声被过度增强,导致画质劣化。
因此,可以考虑导入轮廓方向依赖性降低滤波器,针对受到混叠的影响的信号预先使混叠的影响降低,抑制锯齿被过度增强。
然而,当通过该方法对所有的图像执行同样的处理时,虽然能够抑制锯齿的增强,但有时会毁坏细微的图案等纹理的细节。
在本实施方式中,说明能够恰当地抑制边缘部的锯齿的增强并且也能够对细微的图案等纹理的细节部执行恰当的强化处理的图像处理装置3000。
如图10所示,图像处理装置3000具有如下构成:在第1实施方式的图像处理装置1000中,将角度方差检测部2置换为角度方差检测部2A,将图像区域检测部3置换为图像区域检测部3C,将图像处理部4置换为图像处理部4C。
角度方差检测部2A具有与角度方差检测部2同样的功能。如图10所示,角度方差检测部2A将通过例如(数学式5)算出的量子化轮廓方向A(x,y)输出到图像处理部4C。角度方差检测部2A仅在这一点上与角度方差检测部2不同。
如图10所示,图像区域检测部3C是向图像区域检测部3追加了将从亮度方差检测部1输出的亮度方差值Yv输出到图像处理部4C的路径。除此以外,图像区域检测部3C与图像区域检测部3是同样的。
如图11所示,图像处理部4C具备强化处理部431、方向强化处理部432、合成比决定部433、合成部434、亮度方差水平判断部435以及选择器436。
如图12所示,强化处理部431具备高频增强处理部4311和加法器4312。
高频增强处理部4311将图像信号Din作为输入,取得提取并增强了图像信号的高频成分的信号。然后,高频增强处理部4311将取得的信号输出到加法器4312。
加法器4312将图像信号Din和从高频增强处理部4311输出的信号作为输入,将两者相加,由此,取得增强了高频成分的信号,即,取得执行了强化处理的图像信号。然后,加法器4312将取得的图像信号作为图像信号D_En1输出到合成部434。
如图13所示,方向强化处理部432具备降低滤波部4321和高频扩展部4432。
图像信号Din和表示从角度方差检测部2A输出的量子化轮廓方向A(x,y)的信号A输入到降低滤波部4321。降低滤波部4321基于量子化轮廓方向A(x,y),使用如下参照像素的信号值将关注像素平滑化:该参照像素的方向是关注像素中的轮廓方向或与该方向近似的方向且其轮廓方向与关注像素相同或近似。降低滤波部4321将以这种方式取得的降低滤波处理后的信号Y”输出到高频扩展部4432。
高频扩展部4432将从降低滤波部4321输出的降低滤波处理后的信号Y”作为输入,基于输入的信号Y”所表示的信号值算出高频成分值。高频扩展部4432将算出的高频成分值和输入的信号Y”所表示的信号值相加来算出高频扩展信号值。然后,高频扩展部4432将表示算出的高频扩展信号值的图像信号作为图像信号D_En2输出到合成部434。
合成比决定部433将从图像区域检测部3输出的纹理检测信号Det_txt和边缘检测信号Det_edge作为输入,基于纹理检测信号Det_txt和边缘检测信号Det_edge,决定合成比α。合成部434将所决定的合成比α输出到合成部434。此外,合成比决定部433与第1实施方式的合成比决定部412同样地决定合成比α。
从强化处理部431输出的图像信号D_En1、从方向强化处理部432输出的图像信号D_En2以及从合成比决定部433输出的合成比α输入到合成部434。合成部434基于合成比α,将图像信号D_En1和图像信号D_En2进行合成,将合成后的图像信号作为图像信号D1输出到选择器436。
亮度方差水平判断部435将从图像区域检测部3C输出的亮度方差值Yv作为输入。亮度方差水平判断部435在(1)输入的亮度方差值Yv大于规定的阈值TH0的情况下,将选择信号设定为“1”并将其输出到选择器436,另一方面,在(2)输入的亮度方差值Yv为规定的阈值TH0以下的情况下,将选择信号设定为“0”并将其输出到选择器436。
图像信号Din、从合成部434输出的图像信号D1以及从亮度方差水平判断部435输出的选择信号输入到选择器436。选择器436在(1)选择信号为“1”的情况下,将从合成部434输出的图像信号D1作为输出图像信号Dout输出,(2)另一方面,在选择信号为“0”的情况下,将输入图像信号Din作为输出图像信号Dout输出。
<3.2:图像处理装置的动作>
以下,说明如上所述构成的图像处理装置3000的动作。
此外,亮度方差检测部1、图像区域检测部3的处理与第1实施方式是同样的,因此省略说明。另外,角度方差检测部2A中的处理也仅在角度方差检测部2A将通过例如(数学式5)算出的量子化轮廓方向A(x,y)输出到图像处理部4C的处理上与角度方差检测部2不同。角度方差检测部2A中的其它处理与角度方差检测部2的处理是同样的。
在强化处理部431的高频增强处理部4311中,取得对输入的图像信号Din提取并增强了图像信号的高频成分的信号。高频增强处理部4311在例如将关注像素在图像上的坐标设为(x,y),将关注像素(x,y)的像素值(亮度值)设为P(x,y)时,对关注像素(x,y)利用滤波运算符[-12-1]执行垂直方向的滤波处理。也就是说,高频增强处理部4311在将关注像素的滤波处理后的像素值设为Dv(x,y)时,对所有像素执行与
Dv(x,y)=P(x,y-1)×(-1)+P(x,y)×2+P(x,y+1)×(-1)相当的处理,取得提取并增强了垂直方向的高频成分的图像Dv。
另外,高频增强处理部4311对关注像素(x,y)利用滤波运算符[-12-1]执行水平方向的滤波处理。也就是说,高频增强处理部4311在将关注像素的滤波处理后的像素值设为Dh(x,y)时,对所有像素执行与
Dh(x,y)=P(x-1,y)×(-1)+P(x,y)×2+P(x+1,y)×(-1)
相当的处理,取得提取并增强了水平方向的高频成分的图像Dh。
然后,高频增强处理部4311取得将通过上述处理取得的图像Dv和图像Dh相加后的图像D0。也就是说,高频增强处理部4311通过对所有像素执行与
D0(x,y)=Dv(x,y)+Dh(x,y)
相当的处理,取得提取/增强了图像信号Din的高频成分的图像信号D0。然后,高频增强处理部4311将取得的图像信号D0输出到加法器4312。
在加法器4312中,当针对图像信号Din和从高频增强处理部4311输出的图像信号D0,将关注像素(x,y)的图像信号Din的信号值设为Din(x,y),将关注像素(x,y)的图像信号D0的信号值设为D0(x,y),将从加法器4312输出的关注像素(x,y)的图像信号D_En1的信号值设为D_En(x,y)时,执行与
D_En1(x,y)=Din(x,y)+D0(x,y)
相当的处理。此外,在上述处理中,也可以设置上限值、下限值,利用该上限值、下限值执行限幅(クリップ)处理,从而使得输出信号的信号值(像素值)D_En1成为规定的范围内的信号。
也就是说,在加法器4312中,通过上述处理,取得增强了高频成分的图像信号D_En。
然后,通过上述处理取得的图像信号D_En1输出到合成部434。
接着,说明方向强化处理部432中的处理。
在方向强化处理部432的降低滤波部4321中,基于表示所输入的量子化轮廓方向A(x,y)的信号(关注像素(x,y)的量子化轮廓方向A(x,y)),使用如下参照像素的信号值在关注像素(x,y)的轮廓方向或与该方向近似的方向将关注像素平滑化,该参照像素的轮廓方向是与关注像素相同或近似的方向。
该平滑化处理是使用与关注像素的轮廓方向相关性高的像素进行平滑化处理,因此,例如在图像上的边缘部中,能够对受到混叠的影响的信号恰当地降低混叠的影响。也就是说,上述的平滑化处理是考虑到轮廓方向依赖性而使用存在于关注像素的轮廓方向的像素来执行的,因此,特别是在图像上的边缘部中,能够恰当地抑制混叠的影响。
这样,执行了考虑到轮廓方向依赖性的平滑化处理的图像信号(降低滤波处理后的信号)Y”输出到高频扩展部4432。
在高频扩展部4432中,基于输入的降低滤波处理后的图像信号Y”所表示的信号值算出高频成分值。在高频扩展部4432中,将算出的高频成分值和输入的信号Y”所表示的信号值相加,由此,算出高频扩展信号值。然后,在高频扩展部4432中,表示所算出的高频扩展信号值的图像信号作为图像信号D_En2输出到合成部434。
在合成部434中,根据合成比α,例如通过与
D1=(1-α)×D_En1+α×D_En2
0≤α≤1
相当的处理(内分处理)将从强化处理部431输出的图像信号D_En1和从方向强化处理部输出的图像信号D_En2进行合成,由此,取得图像信号D1。
(1)在α=αt的情况下(在判断为是纹理部的情况下),αt是接近“0”的值,因此,图像信号D1基本上是接近图像信号D_En1的信号。也就是说,在纹理部中,由强化处理部431执行了处理(一般的强化处理)的图像信号作为图像信号D1输出到选择器436。在由该图像信号D1形成的图像的纹理部中,细节感被恰当地保持。
(2)在α=αe的情况下(在判断为是边缘部的情况下),αe是接近“1”的值,因此,图像信号D1基本上是接近图像信号D_En2的信号。也就是说,在边缘部中,由方向强化处理部432执行了处理(方向强化处理)的图像信号作为图像信号D1输出。在由该图像信号D1形成的图像的边缘部中,锯齿、蚊式噪声等被恰当地减少。
(3)在纹理检测信号Det_txt的值大于规定的阈值且边缘检测信号Det_edge的值大于规定的阈值的情况下(在上述(1)、(2)这两个条件均满足的情况下),α=(αt+αe)/2,因此,根据上述(1)、(2)的中间的合成比α执行合成处理。通常,很少有符合该(3)的情况,但根据阈值的设定的方法的不同,有时会有符合该(3)的情况。即使在该情况下,在合成部434中,也会根据上述(1)、(2)的中间的合成比α执行合成处理。其结果是,即使在符合该(3)的情况下,也能够取得恰当地实施了强化处理的图像信号D1。
在亮度方差水平判断部435中,在输入的亮度方差值Yv大于规定的阈值TH0的情况下,选择信号设定为“1”并输出到选择器436。另一方面,在输入的亮度方差值Yv为规定的阈值TH0以下的情况下,选择信号设定为“0”并输出到选择器436。
在选择器436中,在选择信号为“1”的情况下,将从合成部434输出的图像信号D1作为输出图像信号Dout输出。另一方面,在选择信号为“0”的情况下,将输入图像信号Din作为输出图像信号Dout输出。
也就是说,在图像处理装置3000中,在亮度方差值Yv大于规定的阈值TH0的情况下,将通过上述(1)~(3)的处理取得的图像信号D1作为输出图像信号Dout来取得。另一方面,在亮度方差值Yv为规定的阈值TH0以下的情况下,也就是说,在判断为不是边缘部也不是纹理部而是平坦部或者存在细微的噪声的部分的情况下,不进行强化处理,而将输入图像信号Din原样作为输出图像信号Dout输出。
如上所述,在图像处理装置3000中,能够取得(1)在图像上的纹理部中由强化处理部431执行了处理(一般的强化处理),(2)在图像上的边缘部由方向强化处理部432执行了处理(方向强化处理)的输出图像信号Dout(输出图像Dout)。
在方向强化处理部432进行的处理(方向强化处理)中,为了确保方向检测精度,在某种程度的宽度的范围内进行方向检测处理(轮廓方向的检测处理)。因此,当对图像上的纹理部使用检测出的轮廓方向(量子化轮廓方向A(x,y))进行方向强化处理时,原本轮廓方向(量子化轮廓方向A(x,y))有偏差的像素在图像上看上去像是彼此相连地融入了通过方向检测处理检测出的方向。这是因为,对原本轮廓方向(量子化轮廓方向A(x,y))有偏差的像素群,根据在某种程度的宽度的范围内检测出的轮廓方向执行方向强化处理,使得存在于该轮廓方向的像素群的高频成分一齐增强。
在图像处理装置3000中,在图像上的纹理部中取得由强化处理部431执行了处理(一般的强化处理)的输出图像信号Dout,因此,不会产生如上述这样的仅存在于规定的方向的像素群被不自然地增强的现象。
因此,在图像处理装置3000中,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地将边缘部和纹理部分离,恰当地执行图像处理(强化处理)。也就是说,在图像处理装置3000中,对边缘部执行考虑到方向依赖性的方向强化处理,对纹理部执行不考虑方向依赖性的一般的强化处理(高频增强处理),由此,无论是对边缘部还是对纹理部,均能够恰当地执行强化处理。
此外,在图像处理装置3000中,基于亮度方差值Yv的水平判断结果,决定是否执行上述处理,因此,在判断为不是边缘部也不是纹理部而是平坦部或者存在细微的噪声的部分的情况下,能够将没有执行强化处理的输入图像信号原样作为输出图像信号输出。
[第4实施方式]
接着,说明第4实施方式。
此外,以下,对本实施方式特有的部分进行说明,对与上述实施方式同样的部分标注相同的附图标记而省略详细的说明。
图14示出第4实施方式的图像处理装置4000的概略构成图。
图15示出第4实施方式的图像处理部4D的概略构成图。
本实施方式的图像处理装置4000具有如下构成:在第3实施方式的图像处理装置3000中,将图像区域检测部3置换为图像区域检测部3B,将图像处理部4C置换为图像处理部4D。除此以外,本实施方式的图像处理装置4000与第3实施方式的图像处理装置3000是同样的。
如图14所示,图像区域检测部3B具有从第3实施方式的图像区域检测部3删去了反转部32和第2乘法器33的构成。也就是说,在图像区域检测部3中,是取得纹理检测信号Det_txt和边缘检测信号Det_edge,而在图像区域检测部3B中,仅取得纹理检测信号Det_txt。
图像区域检测部3B将取得的纹理检测信号Det_txt输出到图像处理部4D。
如图15所示,图像处理部4D具有在第3实施方式的图像处理部4C中将合成比决定部433置换为合成比决定部433A的构成。除此以外,图像处理部4D与图像处理部4C是同样的。
合成比决定部433A将从图像区域检测部3B输出的纹理检测信号Det_txt作为输入,基于输入的纹理检测信号Det_txt决定合成比α。
具体地说,合成比决定部433A通过以下的方式决定合成比α。此外,假定0≤α≤1。
(1)在纹理检测信号Det_txt的值大于规定的阈值的情况下(纹理检测信号为二值信号时,在纹理检测信号Det_txt为“1”的情况下),将α设定为接近0的αt(也可以是αt=0)。
(2)在上述(1)以外的情况下,将α设定为“1”。
通过以上的方式决定的合成比α输出到合成部434。
然后,在合成部434中,根据合成比α,例如通过与
Dout=(1-α)×D_En1+α×D_En2
0≤α≤1
相当的处理(内分处理)将从强化处理部431输出的图像信号D_En1和从方向强化处理部432输出的图像信号D_En2进行合成,由此,取得图像信号Dout。
(1)在α=αt的情况下(在判断为是纹理部的情况下),αt是接近“0”的值,因此,图像信号Dout基本上是接近图像信号D_En1的信号。也就是说,在纹理部中,由强化处理部431执行了处理(一般的强化处理)的图像信号作为图像信号Dout输出。在由该图像信号Dout形成的图像的纹理部中,细节感被恰当地保持。
(2)在上述(1)以外的情况下,α是“1”,因此,图像信号Dout为图像信号D_En2。也就是说,在边缘部中,由方向强化处理部432执行了处理(方向强化处理)的图像信号作为图像信号Dout输出。在由该图像信号Dout形成的图像的纹理部以外的部分(例如,边缘部)中,锯齿、蚊式噪声等被恰当地减少。
如上所述,在图像处理装置4000中,能够取得(1)在图像上的纹理部中由强化处理部431执行了处理(一般的强化处理),(2)在其以外的部分中由方向强化处理部432执行了处理(方向强化处理)的输出图像信号Dout(输出图像Dout)。
因此,在图像处理装置4000中,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能恰当地将边缘部和纹理部分离,恰当地执行图像处理(强化处理)。也就是说,在图像处理装置4000中,对纹理部以外的部分执行考虑到方向依赖性的方向强化处理,对纹理部执行不考虑方向依赖性的一般的强化处理(高频增强处理),由此,无论是对纹理部以外的部分(例如,边缘部)还是对纹理部,均能够恰当地执行强化处理。
而且,在图像处理装置4000中,删去了第3实施方式的图像处理装置3000中的检测边缘检测信号Det_edge的部分、亮度方差水平判断部435和选择器436,因此,与第3实施方式的图像处理装置3000相比,能够降低用于实现的成本。
[第5实施方式]
接着,说明第5实施方式。
此外,以下,对本实施方式特有的部分进行说明,对与上述实施方式同样的部分标注相同的附图标记而省略详细的说明。
图16示出第5实施方式的图像处理装置5000的概略构成图。
图17示出第5实施方式的图像处理部4E的概略构成图。
本实施方式的图像处理装置5000具有如下构成:在第3实施方式的图像处理装置3000中,将图像区域检测部3置换为图像区域检测部3A,将图像处理部4C置换为图像处理部4E。除此以外,本实施方式的图像处理装置5000与第3实施方式的图像处理装置3000是同样的。
如图16所示,图像区域检测部3A具有从第3实施方式的图像区域检测部3删去了第1乘法器31的构成。也就是说,在图像区域检测部3中,是取得纹理检测信号Det_txt和边缘检测信号Det_edge,而在图像区域检测部3A中,仅取得边缘检测信号Det_edge。
图像区域检测部3A将取得的纹理检测信号Det_edge输出到图像处理部4E。
如图17所示,图像处理部4E具有在第3实施方式的图像处理部4C中将合成比决定部433置换为合成比决定部433B的构成。除此以外,图像处理部4E与图像处理部4C是同样的。
合成比决定部433B将从图像区域检测部3A输出的边缘检测信号Det_edge作为输入,基于输入的边缘检测信号Det_edge,决定合成比α。
具体地说,合成比决定部433B通过以下的方式决定合成比α。此外,假定0≤α≤1。
(1)在边缘检测信号Det_edge的值大于规定的阈值的情况下(边缘检测信号为二值信号时,在边缘检测信号Det_edge为“1”的情况下),将α设定为接近“1”的值αe(也可以是αe=1)。
(2)在上述(1)以外的情况下,将α设定为“0”。
通过以上的方式决定的合成比α输出到合成部434。
然后,在合成部434中,根据合成比α,例如通过与
Dout=(1-α)×D_En1+α×D_En2
0≤α≤1
相当的处理(内分处理)将从强化处理部431输出的图像信号D_En1和从方向强化处理部432输出的图像信号D_En2进行合成,由此,取得图像信号Dout。
(1)在α=αe的情况下(在判断为是边缘部的情况下),αe是接近“1”的值,因此,图像信号Dout基本上是接近图像信号D_En2的信号。也就是说,在边缘部中,由方向强化处理部432执行了处理(方向强化处理)的图像信号作为图像信号Dout输出。在由该图像信号Dout形成的图像的边缘部中,锯齿、蚊式噪声等被恰当地减少。
(2)在上述(1)以外的情况下,α是“0”,因此,图像信号Dout为图像信号D_En1。也就是说,在边缘部以外的部分中,由强化处理部431执行了处理(一般的强化处理)的图像信号作为图像信号Dout输出。在由该图像信号Dout形成的图像的边缘部以外的部分(例如,纹理部)中,细节感被恰当地保持。
如上所述,在图像处理装置5000中,能够得到(1)在图像上的边缘部以外的部分(例如,纹理部)中由强化处理部431执行了处理(一般的强化处理),(2)在图像上的边缘部中由方向强化处理部432执行了处理(方向强化处理)的输出图像信号Dout(输出图像Dout)。
因此,在图像处理装置5000中,即使在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能恰当地将边缘部和纹理部分离,恰当地执行图像处理(强化处理)。也就是说,在图像处理装置5000中,对边缘部执行考虑到方向依赖性的方向强化处理,对边缘部以外的部分(例如,纹理部)执行不考虑方向依赖性的一般的强化处理(高频增强处理),由此,无论是对边缘部以外的部分(例如,纹理部)还是对边缘部,均能够恰当地执行强化处理。
而且,在图像处理装置5000中,删去了第3实施方式的图像处理装置3000中的检测纹理检测信号Det_txt的部分、亮度方差水平判断部435和选择器436,因此,与第3实施方式的图像处理装置3000相比,能够降低用于实现的成本。
[其它实施方式]
在上述实施方式(包括变形例)中,说明了通过在噪声处理部41、41B、强化部42中使用合成比α、β将执行了处理的图像信号和没有执行处理的图像信号进行合成来调整处理强度的情况。但是,不限于此,例如,也可以基于纹理检测信号Det_txt和/或边缘检测信号Det_edge来改变滤波系数,由此,调整处理强度(例如,降噪处理的处理强度、强化处理的处理强度)。另外,也可以设置多个不同特性的滤波器,使其输出能够通过选择器来选择,基于纹理检测信号Det_txt和/或边缘检测信号Det_edge来改变选择的滤波器,由此,调整处理强度(例如,降噪处理的处理强度、强化处理的处理强度)。
另外,在上述实施方式(包括变形例)中,说明了通过由亮度方差检测部1算出图像信号的亮度值的方差值来取得用于检测边缘部和纹理部的区域(亮度值的变化大的图像区域)的信号Yv的情况。但是,不限于此,亮度方差检测部1也可以使用例如HPF(例如,Sobel滤波器)等,提取包含较多高频成分的图像区域,将表示提取结果的信号代替亮度方差值Yv而输出。这样提取的信号也示出与亮度方差值Yv同样的倾向,因此,能够利用该提取的信号,与上述实施方式同样地执行图像区域检测部3、3A以后的处理。
另外,在上述实施方式中,说明了由图12所示的构成实现执行一般的强化处理的强化处理部431的情况。但是,强化处理部431不限于该构成。例如,强化处理部431也可以是如下构成:提取输入的图像信号的高频成分,将增强了所提取的高频成分的信号和提取了输入的图像信号的低频成分的信号进行合成(例如,相加)。
另外,也可以将上述实施方式(包括变形例)的一部分或者全部组合来实现图像处理装置。
另外,上述实施方式的图像处理装置的一部分或者全部也可以是作为集成电路(例如,LSI,系统LSI等)来实现。
上述实施方式的各功能块的处理的一部分或者全部也可以是由程序实现。并且,上述实施方式的各功能块的处理的一部分或者全部也可以是在计算机中由中央运算装置(CPU)执行。另外,用于进行各处理的程序也可以是存储于硬盘、ROM等存储装置,由中央运算装置(CPU)从ROM或者RAM读出该程序来执行。
另外,上述实施方式的各处理可以是由硬件实现,也可以由软件(包括与OS(操作系统)、中间件或者规定的程序库一起实现的情况。)实现。而且,还可以由软件和硬件的混合处理实现。
此外,在由硬件实现上述实施方式的图像处理装置的情况下,需要进行用于进行各处理的定时调整,这自不必说。在上述实施方式中,为了便于说明,省略了实际的硬件设计中产生的各自信号的定时调整的详细内容。另外,关于用于进行定时调整的延迟器等,也省略了图示。
另外,上述实施方式中的处理方法的执行顺序并不一定限于上述实施方式的记载,在不脱离发明的宗旨的范围内,能够调换执行顺序。
使计算机执行上述的方法的计算机程序以及记录了该程序的计算机可读取的记录介质包含在本发明的范围内。在此,作为计算机可读取的记录介质,例如能够举出软盘、硬盘、CD-ROM、MO、DVD、大容量DVD、新一代DVD、半导体存储器。
上述计算机程序不限于记录在上述记录介质,也可以是经由电气通信线路、无线或者有线通信线路、以互联网为代表的网络等来传输。
此外,本发明的具体构成不限于上述的实施方式,在不脱离发明的宗旨的范围内能进行各种变更和修正。
[附记]
此外,本发明也能够表述如下。
第1构成是图像处理装置,其具备亮度方差检测部、角度方差检测部、图像区域检测部以及图像处理部。
亮度方差检测部在包含关注像素和关注像素的周边像素的像素参照区域中检测像素值的偏差程度。
角度方差检测部在像素参照区域中,按每个像素取得像素值为恒定值的轮廓方向,检测按每个像素取得的轮廓方向的偏差程度。
图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示包含关注像素的图像区域的特征的图像区域检测信号。
图像处理部基于图像区域检测信号,对关注像素执行规定的图像处理。
在该图像处理装置中,考虑像素值的偏差程度和轮廓方向的偏差程度这两者,取得表示包含关注像素的图像区域的特征的图像区域检测信号。然后,能够根据图像区域检测信号,判断出关注像素是否包含在具有规定的图像特征量的区域中。例如,能够根据图像区域检测信号,判断出关注像素是否包含在边缘图像区域、纹理图像区域中。然后,在该图像处理装置中,图像处理部基于图像区域检测信号对关注像素执行规定的图像处理,因此,能够执行与包含关注像素的图像区域的特征相应的恰当的图像处理。
也就是说,在该图像处理装置中,通过考虑像素值的偏差程度和轮廓方向的偏差程度这两者,即使在例如输入的图像信号(视频信号)的像素值(亮度值等)的对比度很大地变化的情况下,也能够恰当地将具有规定的图像特征量的图像区域(例如,边缘部和纹理部)分离。在输入的图像信号(视频信号)的像素值(亮度值等)的对比度很大地变化的情况下,若想要仅使用像素值(亮度等)的偏差程度将具有规定的图像特征量的图像区域(例如,边缘部和纹理部)分离,则有时会误判。在该图像处理装置中,不仅考虑像素值的偏差程度,也考虑轮廓方向的偏差程度,来判断图像区域的性质,也就是说,判断关注像素包含在怎样的图像区域中。轮廓方向的偏差程度不易受到图像信号的对比度值的变化的影响,因此,在该图像处理装置中,通过考虑像素值的偏差程度和轮廓方向的偏差程度这两者,能够将规定的图像区域(例如,边缘部和纹理部)分离,能够对分离出的图像区域分别执行合适的图像处理。
此外,所谓“偏差程度”,是指包括例如方差值、标准偏差值、差的绝对值的合计值、差的绝对值的平均值等的概念。
另外,所谓“规定的图像处理”,是指包括例如降噪处理、高频成分抑制处理、低频成分增强处理、平滑化处理、LPF处理、BPF处理、强化处理等的概念。
第2构成是,在第1构成中,图像处理部根据基于图像区域检测信号决定的处理强度,对关注像素执行规定的图像处理。
由此,在该图像处理装置中,图像处理部根据基于图像区域检测信号决定的处理强度,对关注像素执行规定的图像处理,因此,能够执行与包含关注像素的图像区域的特征相应的恰当的图像处理。
第3构成是,在第2构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在边缘区域中这一信息的边缘检测信号作为图像区域检测信号。
图像处理部根据基于边缘检测信号决定的处理强度,对关注像素执行规定的图像处理。
由此,在该图像处理装置中,能够根据考虑像素值的偏差程度和轮廓方向的偏差程度这两者而取得的边缘检测信号,判断出关注像素是否包含在边缘图像区域中。并且,在该图像处理装置中,根据基于边缘检测信号决定的处理强度,对关注像素执行规定的图像处理,因此,例如,在边缘图像区域中,执行恰当的图像处理(例如,降噪处理)。
此外,所谓“边缘区域”,是指在图像上包含边缘(例如,境界、轮廓等)的图像区域。
第4构成是,在第2或者第3构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在纹理区域中这一信息的纹理检测信号作为图像区域检测信号。
图像处理部根据基于纹理检测信号决定的处理强度,对关注像素执行规定的图像处理。
由此,在该图像处理装置中,能够根据考虑像素值的偏差程度和轮廓方向的偏差程度这两者而取得的纹理检测信号,判断出关注像素是否包含在纹理图像区域中。并且,在该图像处理装置中,根据基于纹理检测信号决定的处理强度,对关注像素执行规定的图像处理,因此,例如,在纹理图像区域中,执行恰当的图像处理(例如,强化处理)。
此外,所谓“纹理区域”,是指在图像上包含纹理(例如,包含较多高频成分的细节部分等)的图像区域。
第5构成是,在第2构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在边缘区域中这一信息的边缘检测信号和表示关注像素包含在纹理区域中这一信息的纹理检测信号这2个检测信号作为图像区域检测信号。
图像处理部根据基于边缘检测信号和纹理检测信号中的至少一方决定的处理强度,对关注像素执行规定的图像处理。
由此,在该图像处理装置中,能够根据考虑像素值的偏差程度和轮廓方向的偏差程度这两者而取得的边缘检测信号和纹理检测信号这2个检测信号,判断出关注像素是否包含在边缘图像区域或者纹理图像区域中。并且,在该图像处理装置中,根据基于边缘检测信号和纹理检测信号决定的处理强度,对关注像素执行规定的图像处理,因此,例如,既能够在纹理图像区域中执行恰当的图像处理(例如,强化处理),又能够在边缘图像区域中执行恰当的图像处理(例如,降噪处理)。
第6构成是,在第1构成中,图像处理部对关注像素执行与图像区域检测信号所示出的图像区域的特征相应的图像处理。
由此,在该图像处理装置中,能够对关注像素执行与图像区域检测信号所示出的图像区域的特征相应的图像处理。
此外,所谓“与图像区域的特征相应的图像处理”,是指包括判断图像区域的特征并基于该判断结果来改善该图像区域的画质的图像处理的概念。例如,在关于图像区域的特征的判断的结果是该图像区域被判断为纹理部的情况下的将该纹理部自然地增强的图像处理(例如,一般的强化处理)是“与图像区域的特征相应的图像处理”的一例。另外,例如,在关于图像区域的特征的判断的结果是该图像区域被判断为边缘部的情况下的将该边缘部自然地增强的图像处理(例如,考虑到图像上的方向依赖性的方向强化处理)是“与图像区域的特征相应的图像处理”的一例。
第7构成是,在第6构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在边缘区域中这一信息的边缘检测信号作为图像区域检测信号。
图像处理部:
(1)在根据边缘检测信号判断为关注像素未包含在边缘区域中的情况下,对关注像素执行增强高频成分的一般强化处理,
(2)在根据边缘检测信号判断为关注像素包含在边缘区域中的情况下,通过使用由角度方差检测部取得的轮廓方向是与关注像素相同或近似的方向的参照像素的像素值对关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对关注像素执行考虑到图像上的方向依赖性的方向强化处理。
在该图像处理装置中,对边缘部执行考虑到方向依赖性的方向强化处理,对边缘部以外的部分(例如,纹理部)执行不考虑方向依赖性的一般的强化处理(高频增强处理),由此,无论是对边缘部以外的部分(例如,纹理部)还是对边缘部,均能够恰当地执行强化处理。
第8构成是,在第6构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在纹理区域中这一信息的纹理检测信号作为图像区域检测信号。
图像处理部:
(1)在根据纹理检测信号判断为关注像素包含在纹理区域中的情况下,对关注像素执行增强高频成分的一般强化处理,
(2)在根据纹理检测信号判断为关注像素未包含在纹理区域中的情况下,通过使用由角度方差检测部取得的轮廓方向是与关注像素相同或近似的方向的参照像素的像素值对关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对关注像素执行考虑到图像上的方向依赖性的方向强化处理。
在该图像处理装置中,对图像上的对纹理部以外的部分执行考虑到方向依赖性的方向强化处理,对纹理部执行不考虑方向依赖性的一般的强化处理(高频增强处理),由此,无论是对纹理部以外的部分(例如,边缘部)还是对纹理部,均能够恰当地执行强化处理。
第9构成是,在第6构成中,图像区域检测部基于像素值的偏差程度和轮廓方向的偏差程度,取得表示关注像素包含在边缘区域中这一信息的边缘检测信号和表示关注像素包含在纹理区域中这一信息的纹理检测信号这2个检测信号作为图像区域检测信号。
图像处理部:
(1)在根据边缘检测信号和纹理检测信号中的至少一方判断为关注像素包含在纹理区域中的情况下,对关注像素执行增强高频成分的一般强化处理,
(2)在根据边缘检测信号和纹理检测信号中的至少一方判断为关注像素包含在边缘区域中的情况下,通过使用由角度方差检测部取得的轮廓方向是与关注像素相同或近似的方向的参照像素的像素值对关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对关注像素执行考虑到图像上的方向依赖性的方向强化处理。
在该图像处理装置中,通过对边缘部执行考虑到方向依赖性的方向强化处理,对纹理部执行不考虑方向依赖性的一般的强化处理(高频增强处理),无论是对纹理部还是对边缘部,均能够恰当地执行强化处理。
第10构成是,在第1至第9的任一构成中,
角度方差检测部在
将关注像素在图像上的坐标设为(x,y),将关注像素的像素值设为P(x,y),将变量i、j、n设为整数,
将滤波系数Wx(x+i,y+j)设为
(1)―n≤i<0时,Wx(x+i,y+j)=-1
(2)i=0时,Wx(x+i,y+j)=0
(3)0<i≤n时,Wx(x+i,y+j)=1,
将滤波系数Wy(x+i,y+j)设为
(1)―n≤j<0时,Wy(x+i,y+j)=-1
(2)j=0时,Wy(x+i,y+j)=0
(3)0<j≤n时,Wy(x+i,y+j)=1时,
通过
[数学式9]
G x ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W x ( x + i , y + j ) ... ( 9 )
[数学式10]
G y ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W y ( x + i , y + j ) ... ( 10 )
算出关注像素(x,y)在x方向的偏微分值Gx(x,y)和关注像素在y方向的偏微分值Gy(x,y),基于通过
θ(x,y)=tan-1(Gy(x,y)/Gx(x,y))
算出的角度θ(x,y),取得表示轮廓方向的值。
由此,在该图像处理装置中,通过算出度θ(x,y)的偏差程度,能够算出轮廓方向的偏差程度。
工业上的可利用性
本发明在输入的图像信号(视频信号)的亮度值等的对比度很大地变化的情况下,也能够恰当地将边缘部与纹理部分离并恰当地执行图像处理(例如,降噪处理、强化处理)的。因此,本发明在视频相关工业领域中是有用的,能够在该领域中实施。
附图标记说明
1000、2000、3000、4000、5000图像处理装置
1亮度方差检测部
2角度方差检测部
3、3A、3B图像区域检测部
4、4A、4B、4C、4D、4D图像处理部
41噪声处理部
42强化部
43、43A、43B锐化处理部
431强化处理部
432方向强化处理部
434合成部。

Claims (10)

1.一种图像处理装置,其特征在于,具备:
亮度方差检测部,其在包含关注像素和上述关注像素的周边像素的像素参照区域中检测像素值的偏差程度;
角度方差检测部,其在上述像素参照区域中,按每个像素取得像素值为恒定值的轮廓方向,检测按每个像素取得的上述轮廓方向的偏差程度;
图像区域检测部,其基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示包含上述关注像素的图像区域的特征的图像区域检测信号;以及
图像处理部,其基于上述图像区域检测信号,对上述关注像素执行规定的图像处理。
2.根据权利要求1所述的图像处理装置,其中,
上述图像处理部根据基于上述图像区域检测信号决定的处理强度,对上述关注像素执行规定的图像处理。
3.根据权利要求2所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在边缘区域中这一信息的边缘检测信号作为上述图像区域检测信号,
上述图像处理部根据基于上述边缘检测信号决定的处理强度,对上述关注像素执行规定的图像处理。
4.根据权利要求2或3所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在纹理区域中这一信息的纹理检测信号作为述图像区域检测信号,
上述图像处理部根据基于上述纹理检测信号决定的处理强度,对上述关注像素执行规定的图像处理。
5.根据权利要求2所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在边缘区域中这一信息的边缘检测信号和表示上述关注像素包含在纹理区域中这一信息的纹理检测信号这2个检测信号作为上述图像区域检测信号,
上述图像处理部根据基于上述边缘检测信号和上述纹理检测信号中的至少一方决定的处理强度,对上述关注像素执行规定的图像处理。
6.根据权利要求1所述的图像处理装置,其中,
上述图像处理部对上述关注像素执行与上述图像区域检测信号所示出的上述图像区域的特征相应的图像处理。
7.根据权利要求6所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在边缘区域中这一信息的边缘检测信号作为上述图像区域检测信号,
上述图像处理部:
(1)在根据上述边缘检测信号判断为上述关注像素未包含在边缘区域中的情况下,对上述关注像素执行增强高频成分的一般强化处理,
(2)在根据上述边缘检测信号判断为上述关注像素包含在边缘区域中的情况下,通过使用由上述角度方差检测部取得的上述轮廓方向是与上述关注像素相同或近似的方向的参照像素的像素值对上述关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的上述降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对上述关注像素执行考虑到图像上的方向依赖性的方向强化处理。
8.根据权利要求6所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在纹理区域中这一信息的纹理检测信号作为上述图像区域检测信号,
上述图像处理部:
(1)在根据上述纹理检测信号判断为上述关注像素包含在纹理区域中的情况下,对上述关注像素执行增强高频成分的一般强化处理,
(2)在根据上述纹理检测信号判断为上述关注像素未包含在纹理区域的情况下,通过使用由上述角度方差检测部取得的上述轮廓方向是与上述关注像素相同或近似的方向的参照像素的像素值对上述关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的上述降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对上述关注像素执行考虑到图像上的方向依赖性的方向强化处理。
9.根据权利要求6所述的图像处理装置,其中,
上述图像区域检测部基于上述像素值的偏差程度和上述轮廓方向的偏差程度,取得表示上述关注像素包含在边缘区域中这一信息的边缘检测信号和表示上述关注像素包含在纹理区域中这一信息的纹理检测信号这2个检测信号作为上述图像区域检测信号,
上述图像处理部:
(1)在根据上述边缘检测信号和上述纹理检测信号中的至少一方判断为上述关注像素包含在纹理区域中的情况下,对上述关注像素执行增强高频成分的一般强化处理,
(2)在根据上述边缘检测信号和上述纹理检测信号中的至少一方判断为上述关注像素包含在边缘区域中的情况下,通过使用由上述角度方差检测部取得的上述轮廓方向是与上述关注像素相同或近似的方向的参照像素的像素值对上述关注像素执行平滑化处理来取得降低滤波处理信号,并对所取得的上述降低滤波处理信号增强高频成分而取得高频扩展信号,由此,对上述关注像素执行考虑到图像上的方向依赖性的方向强化处理。
10.根据权利要求1至9中的任一项所述的图像处理装置,其中,
上述角度方差检测部在
将上述关注像素在图像上的坐标设为(x,y),将上述关注像素的像素值设为P(x,y),将变量i、j、n设为整数,
将滤波系数Wx(x+i,y+j)设为
(1)―n≤i<0时,Wx(x+i,y+j)=-1
(2)i=0时,Wx(x+i,y+j)=0
(3)0<i≤n时,Wx(x+i,y+j)=1,
将滤波系数Wy(x+i,y+j)设为
(1)―n≤j<0时,Wy(x+i,y+j)=-1
(2)j=0时,Wy(x+i,y+j)=0
(3)0<j≤n时,Wy(x+i,y+j)=1时,
通过
G x ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W x ( x + i , y + j ) ........(权10-1)
G y ( x , y ) = Σ j = - n n Σ i = - n n P ( x + i , y + j ) · W y ( x + i , y + j ) ........(权10-2)
算出关注像素(x,y)在x方向的偏微分值Gx(x,y)和关注像素在y方向的偏微分值Gy(x,y),基于通过
θ(x,y)=tan-1(Gy(x,y)/Gx(x,y))
算出的角度θ(x,y),取得表示上述轮廓方向的值。
CN201480048582.9A 2013-09-06 2014-07-24 图像处理装置 Pending CN105519089A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-184827 2013-09-06
JP2013184827 2013-09-06
JP2014-017477 2014-01-31
JP2014017477 2014-01-31
PCT/JP2014/069592 WO2015033695A1 (ja) 2013-09-06 2014-07-24 画像処理装置

Publications (1)

Publication Number Publication Date
CN105519089A true CN105519089A (zh) 2016-04-20

Family

ID=52628181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048582.9A Pending CN105519089A (zh) 2013-09-06 2014-07-24 图像处理装置

Country Status (3)

Country Link
US (1) US9639771B2 (zh)
CN (1) CN105519089A (zh)
WO (1) WO2015033695A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314757A (zh) * 2016-07-01 2019-02-05 夏普株式会社 图像处理装置、图像处理方法、控制程序以及存储介质
CN109792476A (zh) * 2017-08-30 2019-05-21 三星电子株式会社 显示装置及其控制方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418055B2 (ja) * 2015-04-28 2018-11-07 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
JP2017004037A (ja) * 2015-06-04 2017-01-05 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2019132548A1 (en) 2017-12-28 2019-07-04 Samsung Electronics Co., Ltd. Method and apparatus for processing image and computer program product thereof
JP7265316B2 (ja) * 2017-12-28 2023-04-26 三星電子株式会社 画像処理装置及び画像処理方法
JP6821090B2 (ja) 2018-04-12 2021-01-27 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11158114B2 (en) 2019-05-20 2021-10-26 Canon Medical Systems Corporation Medical imaging method and apparatus
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539119A (zh) * 2001-04-20 2004-10-20 �ʼҷ����ֵ������޹�˾ 改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置
JP2004336652A (ja) * 2003-05-12 2004-11-25 Sony Corp 信号処理装置および信号処理方法、並びにプログラム
CN1805531A (zh) * 2004-11-29 2006-07-19 索尼株式会社 图像处理装置及方法、记录介质、以及程序
CN101123677A (zh) * 2006-08-11 2008-02-13 松下电器产业株式会社 改善图像锐度的方法、装置及集成电路
US20100134661A1 (en) * 2007-08-10 2010-06-03 Olympus Corporation Image processing apparatus, image processing method and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US497258A (en) * 1893-05-09 Double lever-swing
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
US6959870B2 (en) * 1999-06-07 2005-11-01 Metrologic Instruments, Inc. Planar LED-based illumination array (PLIA) chips
JP4174656B2 (ja) 2002-05-23 2008-11-05 ソニー株式会社 画像表示装置および画像処理装置、並びに画像処理方法
JP4635779B2 (ja) * 2005-08-18 2011-02-23 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
JP4710635B2 (ja) * 2006-02-07 2011-06-29 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
WO2011145668A1 (ja) * 2010-05-20 2011-11-24 シャープ株式会社 画像処理装置、画像処理回路、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539119A (zh) * 2001-04-20 2004-10-20 �ʼҷ����ֵ������޹�˾ 改善图像的图像处理装置及方法以及包括这种图像处理装置的图像显示装置
JP2004336652A (ja) * 2003-05-12 2004-11-25 Sony Corp 信号処理装置および信号処理方法、並びにプログラム
CN1805531A (zh) * 2004-11-29 2006-07-19 索尼株式会社 图像处理装置及方法、记录介质、以及程序
CN101123677A (zh) * 2006-08-11 2008-02-13 松下电器产业株式会社 改善图像锐度的方法、装置及集成电路
US20100134661A1 (en) * 2007-08-10 2010-06-03 Olympus Corporation Image processing apparatus, image processing method and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109314757A (zh) * 2016-07-01 2019-02-05 夏普株式会社 图像处理装置、图像处理方法、控制程序以及存储介质
CN109792476A (zh) * 2017-08-30 2019-05-21 三星电子株式会社 显示装置及其控制方法

Also Published As

Publication number Publication date
US20160171338A1 (en) 2016-06-16
WO2015033695A1 (ja) 2015-03-12
US9639771B2 (en) 2017-05-02

Similar Documents

Publication Publication Date Title
CN105519089A (zh) 图像处理装置
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US8339421B2 (en) Image processing apparatus and method and image display apparatus and method
JP5095860B2 (ja) 分離エッジ強調アーキテクチャ
CN110189349B (zh) 图像处理方法及装置
CN103854259B (zh) 图像处理设备以及处理图像的方法
US20080056617A1 (en) Method and apparatus for interpolating image information
US20090226097A1 (en) Image processing apparatus
CN102281388A (zh) 适应性滤除影像噪声的方法及装置
CN111709883A (zh) 一种图像检测方法、装置及设备
US20170061585A1 (en) System and method for supporting image denoising based on neighborhood block dimensionality reduction
US20150254822A1 (en) Multi-scale large radius edge-preserving low-pass filtering
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113674165A (zh) 图像处理方法、装置、电子设备、计算机可读存储介质
Lee et al. Two-stage false contour detection using directional contrast and its application to adaptive false contour reduction
KR101615479B1 (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
CN110728692A (zh) 一种基于Scharr算子改进的图像边缘检测方法
US9275446B2 (en) Large radius edge-preserving low-pass filtering
CN111798390B (zh) 一种基于多尺度滤波器图像增强的空域隐写方法
CN113689333A (zh) 一种图像增强的方法及装置
CN107231551B (zh) 一种图像检测方法及装置
CN111986095A (zh) 基于边缘提取的图像处理方法及图像处理装置
Lee et al. Laplacian based structure-aware error diffusion
Rehman et al. Classification-based de-mosaicing for digital cameras
JP2015108897A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160420

WD01 Invention patent application deemed withdrawn after publication