CN110399886A - 一种屏幕图像jnd模型构建方法 - Google Patents
一种屏幕图像jnd模型构建方法 Download PDFInfo
- Publication number
- CN110399886A CN110399886A CN201910635863.9A CN201910635863A CN110399886A CN 110399886 A CN110399886 A CN 110399886A CN 201910635863 A CN201910635863 A CN 201910635863A CN 110399886 A CN110399886 A CN 110399886A
- Authority
- CN
- China
- Prior art keywords
- screen picture
- contrast
- text
- textual
- masking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种屏幕图像JND模型构建方法。首先利用文本分割技术得到屏幕图像的文本区域;其次提取文本区域的边缘像素,将屏幕图像分为文本边缘区域和非文本边缘区域;然后利用边缘宽度和边缘对比度计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域视觉掩蔽模型;接着计算出非文本边缘区域的亮度自适应和对比度掩蔽效应,得到非文本边缘区域视觉掩蔽模型;最后结合文本边缘区域和非文本边缘区域的视觉掩蔽模型得到屏幕图像JND模型。本发明充分考虑屏幕图像特点以及人眼对屏幕图像不同区域具有不同的视觉感知特性等因素,对屏幕图像的视觉冗余信息有较为准确的估计,可广泛地应用到屏幕图像技术领域。
Description
技术领域
本发明涉及图像处理领域,尤其涉及屏幕图像视觉冗余估计方法。
背景技术
随着移动互联网和多媒体信息技术的快速发展,虚拟屏幕共享、远程教育和网络游戏等应用在人们实际生活中越来越流行,由此也产生了庞大的屏幕图像/视频数据,给图像/视频编码技术带来了巨大的挑战。考虑到人眼是图像/视频的最终接收者,那么如何利用人眼视觉特性来去除图像/视频中的视觉冗余以提升感知编码效率成为了当前学术界和工业界的研究热点。其中,恰可觉察失真模型(Just Noticeable Difference Model,JNDModel)对图像/视频中的视觉冗余有较为准确地量化估计。但是当前大多数的JND模型都只是针对自然图像,并不能较好地估计屏幕图像的视觉冗余信息。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种屏幕图像JND模型构建方法,能准确估计屏幕图像的视觉冗余信息。
本发明采用如下技术方案:
一种屏幕图像JND模型构建方法,其特征在于,步骤如下:
1)输入屏幕图像;
2)利用文本分割技术得到屏幕图像的文本区域;
3)提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域;
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型;
5)计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非文本边缘区域的视觉掩蔽模型;
6)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型。
所述的文本边缘区域的视觉掩蔽模型通过如下公式获得:
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}
其中Te(x,y)、Tes(x,y)和Tec(x,y)分别表示像素坐标为(x,y)的文本边缘像素的视觉掩蔽、边缘结构失真敏感度和边缘对比度掩蔽。
所述的边缘结构失真敏感度和边缘对比度掩蔽通过如下公式获得:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,|Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度,该失真屏幕图像是利用输入屏幕图像与高斯核函数卷积得到;Tc(x,y)、Tc+(x,y)和Tc-(x,y)分别表示文本边缘区域的边缘对比度、强边缘对比度和弱边缘对比度。
所述的强边缘对比度和弱边缘对比度通过如下公式获得:
其中系数t为常数。
所述的非文本边缘区域的视觉掩蔽模型通过如下公式获得:
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}
其中Tne(x,y)、Tla(x,y)和Tcm(x,y)分别表示像素坐标为(x,y)的非文本边缘像素的视觉掩蔽、亮度自适应和对比度掩蔽。
所述的亮度自适应和对比度掩蔽通过如下公式获得:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值。
所述的屏幕图像JND模型通过如下公式获得:
Te和Tne分别为文本边缘区域和非文本边缘区域的视觉掩蔽模型。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
1、本发明方法考虑人眼对于屏幕图像的文本边缘区域和非文本边缘区域的失真敏感性不同,利用文本分割技术和边缘提取技术将屏幕图像分为文本边缘区域和非文本边缘区域。
2、本发明方法克服现有JND模型对于文本边缘区域视觉冗余信息估计的不足,利用边缘宽度和边缘对比度得计算边缘的结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型,对屏幕图像中视觉冗余信息能进行准确地估计。
附图说明
图1为本发明方法的主流程图
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明是对屏幕图像中视觉冗余信息进行准确地估计,提供了一种屏幕图像JND模型构建方法,如图1所示,具体实施步骤如下:
1)输入屏幕图像。
2)利用文本分割技术得到屏幕图像的文本区域。
3)利用Gabor滤波器提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域。
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型。
具体的,计算强边缘对比度Tc+(x,y)和弱边缘对比度Tc-(x,y),具体如下:
其中Tc(x,y)表示边缘对比度,通过计算Gabor滤波器提取出的边缘水平分量与边缘垂直分量的2范数得到。
具体的,计算边缘结构失真敏感度Tes(x,y)和边缘对比度掩蔽Tec(x,y),具体如下:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度。边缘宽度通过计算一个方向上灰度值增加的像素个数与另一个方向上灰度值递减的像素个数的差值得到。该失真屏幕图像是利用输入屏幕图像与高斯核函数进行卷积得到。
具体的,通过如下公式获取文本边缘区域的视觉掩蔽估计Te(x,y):
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}。
5)计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非边缘区域的视觉掩蔽模型Tne(x,y)。
具体的,计算亮度自适应Tla(x,y)和对比度掩蔽Tcm(x,y),具体如下:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值。
通过如下公式获取非文本边缘区域的视觉掩蔽估计Tne(x,y):
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}。
6)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型:
Te和Tne分别为文本边缘区域和非文本边缘区域的视觉掩蔽模型。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (7)
1.一种屏幕图像JND模型构建方法,其特征在于,步骤如下:
1)输入屏幕图像;
2)利用文本分割技术得到屏幕图像的文本区域;
3)提取文本区域的边缘,将屏幕图像分为文本边缘区域和非文本边缘区域;
4)利用文本边缘像素的边缘宽度和边缘对比度相应地计算出边缘结构失真敏感度和边缘对比度掩蔽,得到文本边缘区域的视觉掩蔽模型;
5)计算非文本边缘区域的亮度自适应和对比度掩蔽,得到非文本边缘区域的视觉掩蔽模型;
6)结合文本边缘区域和非文本边缘区域的视觉掩蔽模型,得到屏幕图像JND模型。
2.根据权利要求1所述的一种屏幕图像JND模型构建方法,其特征在于,所述的文本边缘区域的视觉掩蔽模型通过如下公式获得:
Te(x,y)=Tes(x,y)+Tec(x,y)-0.2·min{Tes(x,y),Tec(x,y)}
其中Te(x,y)、Tes(x,y)和Tec(x,y)分别表示像素坐标为(x,y)的文本边缘像素的视觉掩蔽、边缘结构失真敏感度和边缘对比度掩蔽。
3.根据权利要求2所述的一种屏幕图像JND模型构建方法,其特征在于,所述的边缘结构失真敏感度和边缘对比度掩蔽通过如下公式获得:
Tes(x,y)=|wd(x,y)-wr(x,y)|
Tec(x,y)=min{|Tc+(x,y)-Tc(x,y)|,|Tc-(x,y)-Tc(x,y)|}
其中wr(x,y)和wd(x,y)分别为输入屏幕图像及其失真屏幕图像的文本边缘区域的边缘宽度,该失真屏幕图像是利用输入屏幕图像与高斯核函数卷积得到;Tc(x,y)、Tc+(x,y)和Tc-(x,y)分别表示文本边缘区域的边缘对比度、强边缘对比度和弱边缘对比度。
4.根据权利要求3所述的一种屏幕图像JND模型构建方法,其特征在于,所述的强边缘对比度和弱边缘对比度通过如下公式获得:
其中系数t为常数。
5.根据权利要求1所述的一种屏幕图像JND模型构建方法,其特征在于,所述的非文本边缘区域的视觉掩蔽模型通过如下公式获得:
Tne(x,y)=Tla(x,y)+Tcm(x,y)-0.3·min{Tla(x,y),Tcm(x,y)}
其中Tne(x,y)、Tla(x,y)和Tcm(x,y)分别表示像素坐标为(x,y)的非文本边缘像素的视觉掩蔽、亮度自适应和对比度掩蔽。
6.根据权利要求5所述的一种屏幕图像JND模型构建方法,其特征在于,所述的亮度自适应和对比度掩蔽通过如下公式获得:
Tcm(x,y)=[0.01f(x,y)+11.5]·[0.01G(x,y)-1]-12
其中B(x,y)为图像的亮度值,G(x,y)为5×5邻域内梯度的最大值。
7.根据权利要求1所述的一种屏幕图像JND模型构建方法,其特征在于,所述的屏幕图像JND模型通过如下公式获得:
Te和Tne分别为文本边缘区域和非文本边缘区域的视觉掩蔽模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635863.9A CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910635863.9A CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110399886A true CN110399886A (zh) | 2019-11-01 |
CN110399886B CN110399886B (zh) | 2022-09-30 |
Family
ID=68325546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910635863.9A Active CN110399886B (zh) | 2019-07-15 | 2019-07-15 | 一种屏幕图像jnd模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110399886B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112435188A (zh) * | 2020-11-23 | 2021-03-02 | 深圳大学 | 基于方向权重的jnd预测方法、装置、计算机设备及存储介质 |
CN112437302A (zh) * | 2020-11-12 | 2021-03-02 | 深圳大学 | 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1100278A2 (en) * | 1999-11-11 | 2001-05-16 | Tektronix, Inc. | Realtime human vision system behavioral modeling |
CN102750706A (zh) * | 2012-07-13 | 2012-10-24 | 武汉大学 | 基于深度显著度的立体图像恰可感知差异模型的构建方法 |
CN102905130A (zh) * | 2012-09-29 | 2013-01-30 | 浙江大学 | 基于视觉感知的多分辨率jnd模型建构方法 |
-
2019
- 2019-07-15 CN CN201910635863.9A patent/CN110399886B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1100278A2 (en) * | 1999-11-11 | 2001-05-16 | Tektronix, Inc. | Realtime human vision system behavioral modeling |
CN102750706A (zh) * | 2012-07-13 | 2012-10-24 | 武汉大学 | 基于深度显著度的立体图像恰可感知差异模型的构建方法 |
CN102905130A (zh) * | 2012-09-29 | 2013-01-30 | 浙江大学 | 基于视觉感知的多分辨率jnd模型建构方法 |
Non-Patent Citations (2)
Title |
---|
李承欣等: "面向视频压缩的显著性协同检测JND模型", 《计算机系统应用》 * |
陈勇等: "基于立体感知失真模型的3D-JND模型研究", 《福建电脑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112437302A (zh) * | 2020-11-12 | 2021-03-02 | 深圳大学 | 屏幕内容图像的jnd预测方法、装置、计算机设备及存储介质 |
CN112435188A (zh) * | 2020-11-23 | 2021-03-02 | 深圳大学 | 基于方向权重的jnd预测方法、装置、计算机设备及存储介质 |
CN112435188B (zh) * | 2020-11-23 | 2023-09-22 | 深圳大学 | 基于方向权重的jnd预测方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110399886B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
CN103606132B (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
CN104574366B (zh) | 一种基于单目深度图的视觉显著性区域的提取方法 | |
CN101587593B (zh) | 一种基于真实图像素描风格化的方法 | |
WO2017054314A1 (zh) | 一种建筑物高度计算方法、装置和存储介质 | |
CN102271254B (zh) | 一种深度图像的预处理方法 | |
CN109344724A (zh) | 一种证件照自动背景替换方法、系统及服务器 | |
CN102404594B (zh) | 基于图像边缘信息的2d转3d的方法 | |
CN102222328B (zh) | 一种边缘保持的自然场景图像自适应加权滤波方法 | |
WO2017016171A1 (zh) | 用于终端设备的窗口显示处理方法、装置、设备及存储介质 | |
CN104574404B (zh) | 一种立体图像重定位方法 | |
CN102420985B (zh) | 一种多视点视频对象提取方法 | |
CN101853497A (zh) | 一种图像增强方法和装置 | |
Luo et al. | Perspective-aware warping for seamless stereoscopic image cloning | |
CN109767408B (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
CN107622480A (zh) | 一种Kinect深度图像增强方法 | |
CN110399886A (zh) | 一种屏幕图像jnd模型构建方法 | |
Fang et al. | Single image dehazing and denoising with variational method | |
Vijayanagar et al. | Refinement of depth maps generated by low-cost depth sensors | |
CN105096261A (zh) | 图像处理装置和图像处理方法 | |
CN112258440A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN105023246B (zh) | 一种基于对比度和结构相似度的图像增强方法 | |
CN114298935B (zh) | 图像增强方法、装置及计算机可读存储介质 | |
CN103093417B (zh) | 生成水彩画风格图像的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |