CN108573472B - 利用最小熵判断视觉感知饱和的图像自适应缩小方法 - Google Patents

利用最小熵判断视觉感知饱和的图像自适应缩小方法 Download PDF

Info

Publication number
CN108573472B
CN108573472B CN201810365927.3A CN201810365927A CN108573472B CN 108573472 B CN108573472 B CN 108573472B CN 201810365927 A CN201810365927 A CN 201810365927A CN 108573472 B CN108573472 B CN 108573472B
Authority
CN
China
Prior art keywords
point
fixation
image
centroid
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810365927.3A
Other languages
English (en)
Other versions
CN108573472A (zh
Inventor
潘晨
徐文龙
叶家建
郭娅茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Publication of CN108573472A publication Critical patent/CN108573472A/zh
Application granted granted Critical
Publication of CN108573472B publication Critical patent/CN108573472B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种利用最小熵判断视觉感知饱和的图像自适应缩小方法,包括以下步骤:1)利用不同缩小倍数Ki,通过对原图像下采样,构造出多个缩小图Ii;2)分别对Ii用显著点预测算法计算显著图Si,其中显著度值大于平均值的像素点作为注视点;3)注视点形成注视区域,求出该区域质心;统计距质心点不同距离范围的注视点频数;4)计算各缩小图像中,由注视点与质心距离生成的熵值Ei;5)比较不同缩小倍数Ki下的Ei,其最小值对应的Ki是最佳图像缩小倍数。本发明引入熵值并利用人类视觉机制自动选择合适的图像缩小尺度,从而降低数据量、提高算法性能。

Description

利用最小熵判断视觉感知饱和的图像自适应缩小方法
技术领域
本发明涉及计算机视觉技术领域,具体地讲是一种利用最小熵判断视觉感知饱和的图像自适应缩小方法。
背景技术
图像分辨率的提高,使得像素数量几何倍数增加。面对海量视频图像数据,传统基于像素的图像处理算法面临严重的挑战。一方面人们致力于不断提高计算机系统硬件速度来减缓这种压力;另一方面,对传统图像处理算法做合理改进,使之更适应处理海量像素数据,是一种有效的解决问题思路。
从人类视觉的角度而言,由于视网膜面积和光感受器数量有限,人眼通常通过晶状体调整和瞳孔缩放实现外界场景在视网膜上投影的尺度变化和目标聚焦。场景在视网膜上的投影是适当缩小的图像。缩小图像——利用下采样方式,缩小图像到一个合适尺度,能大大降低数据量。缺点是下采样过程中,过分的下采样往往会丢失小目标、模糊目标边缘。应用中的关键问题是图像缩小到多大尺度最合适?因此如何选择合理的缩小尺度是个亟待解决的问题。
现有技术通常是由人累试不同的图像缩小尺度,经验性地选择一个对大多数任务都合适的固定参数。对于变化的实际场景,这种做法有严重局限性。为了克服图像算法对于尺度的敏感性,通常还采用多尺度图像同时并行处理方式,即同时生成多个不同尺度的缩小图,通过各个尺度图像处理结果做后处理(集成),来获得最终图像处理结果。缺点是此类方法有很高的时间复杂度。
发明内容
有鉴于此,本发明要解决的技术问题是,提供一种图像自动缩小方法,利用最小熵判断判断视觉感知饱和程度,选择可最容易引起感知饱和的图像尺度作为图像缩小的最佳依据。
本发明的技术解决方案是,提供以下步骤的利用最小熵判断视觉感知饱和的图像自适应缩小方法,包括以下各步骤:
1)利用不同缩小倍数Ki,通过对原图像I进行下采样,构造出多个缩小尺度图Ii。
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si,选择显著图Si中显著度值大于平均值的像素点作为注视点;
3)所述注视点形成注视区域,由各点位置信息计算注视区域的质心;对各注视点到质心的距离做归一化将各点到质心点距离作为变量来统计一定距离范围内的注视点频数,则各点到质心点的距离信息被转换为概率,进而表示为熵值;
4)计算各个缩小尺度图Ii中,由注视点与质心点的距离形成的熵值Ei;
5)比较熵值Ei,其最小值对应的缩小倍数Ki作为最佳图像尺度。
作为改进,注视时的微跳视幅度表示为一种信息熵,作为一种感知产生的指标,所述熵值最小时对应的缩小图像,最快产生感知饱和,优先输出视觉目标。
作为改进,对原图像I(x,y)进行二维离散傅里叶变换,将图像由空间域转换到频域,得到相位P(u,v)信息:
Figure BDA0001637089780000021
将相位信息经傅里叶逆变换后,可以在空间域得到显著度图像Sa_Map;
Sa_Map(x,y)=|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换,
Figure BDA0001637089780000025
表示相位运算;根据显著度图,注视点的位置可用下列公式求出:
pi(x,y)=Sa_Map(x,y)-mean(Sa_Map(x,y))>0 (3)
上述注视点pi(x,y)可形成一个注视区域。
作为改进,先计算出各注视点的均值位置,作为注视区域的质心cent(x,y);再计算该质心到各注视点的距离,并利用图像对角线长度为分母,对其归一化,采用如下公式实现:
Figure BDA0001637089780000022
Figure BDA0001637089780000023
Figure BDA0001637089780000024
其中:pi(x,y)表示第i个注视点,cent(x,y)表示质心点,(x,y)是点坐标,L表示图像对角线长度,n为注视点数量,Disti为质心到各注视点的距离。
作为改进,以各注视点到质心的归一化距离为变量,统计各注视点位于质心不同范围内出现的频数;将该频数归一化,即为注视点与质心距离的概率统计值,用于计算注视点与质心距离的熵值,所述熵值作为微跳视幅度的一种度量值。
采用本发明方法,与现有技术相比,具有以下优点:可以自动缩小图像到合适尺度;算法结果匹配人类视觉感知;避免了并行处理多尺度图像的耗时;算法只注重少数高显著度像素数据,极大降低了计算量,具有低时间复杂度;引入熵值Ei,无需对注视点做聚类估计,减少了算法参数;由于显著点预测算法对光照变化和大范围纹理噪声等干扰不敏感,借助该方法能容忍一定程度(如设备不同、光照条件不同导致)的图像变化,本发明利用人类视觉机制自动选择合适的图像缩小尺度,从而降低数据量、提高算法性能的方法。
附图说明
图1为本发明利用最小熵判断视觉感知饱和的图像自适应缩小方法流程框图。
图2以各点-质心距离为变量,计算各点与质心之间基于距离信息的频数来计算概率和熵的示意图。
具体实施方式
下面就具体实施例对本发明作进一步说明,但本发明并不仅仅限于这些实施例。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。此外,本发明之附图中为了示意的需要,并没有完全精确地按照实际比例绘制,在此予以说明。
已知人眼在观察场景时存在频繁眼动(跳视和微跳视)。跳视幅度大,使得视网膜中央凹朝向需要注意的场景;微跳视幅度小,维持目标区域相对稳定于中央凹。当人眼凝视(注视)感兴趣区域时,微跳视的幅度会逐渐下降,而当微跳视幅度微小时将导致视知觉饱和;一方面神经系统输出当前视觉目标,另一方面导致感知衰退,引发新跳视和返回抑制(注视不返回先前点)。因此,人眼注视过程中的微跳视幅度,可以作为一种视觉感知饱和程度的指标,来衡量不同尺度的缩小图像对视觉感知的影响。
如图1所示,本发明的视觉感知饱和策略的图像自适应缩小方法,包括以下各步骤:
1)利用不同缩小倍数Ki,通过对原图像I进行下采样,构造出多个缩小尺度图Ii。
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si,选择显著图Si中显著度值大于平均值的像素点作为注视点;
3)所述注视点形成注视区域,由各点位置信息计算注视区域的质心;对各注视点到质心的距离做归一化;若将各点到质心点距离作为变量来统计一定距离范围内的注视点频数,则各点到质心点的距离信息被转换为概率,进而表示为熵值;
4)计算各个缩小尺度图Ii中,由注视点与质心点的距离形成的熵值Ei;
5)比较熵值Ei,其最小值对应的缩小倍数Ki作为最佳图像尺度。
本发明利用注视预测模型产生注视点,模拟人类注视。注视预测模型中的许多算法,如谱残差法(SR),相位谱法(PFT),布尔图法(BMS)等,都可以用来产生合适的注视预测结果。例如,通过相位谱法对目标图像作注视点预测,可采用以下步骤:
对原图像I(x,y)进行二维离散傅里叶变换,将图像由空间域转换到频域,得到相位P(u,v)信息:
Figure BDA0001637089780000041
将相位信息经傅里叶逆变换后,可以在空间域得到显著度图像Sa_Map。
Sa_Map(x,y)=|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换,
Figure BDA0001637089780000045
表示相位运算。根据显著度图,注视点的位置可用下列公式求出:
pi(x,y)=Sa_Map(x,y)-mean(Sa_Map(x,y))>0 (3)
上述注视点pi(x,y)可形成一个注视区域。为了衡量注视点之间的离散程度,可以先计算出各注视点的均值位置,作为注视区域的质心cent(x,y)。接着,计算该质心到各注视点的距离,并利用图像对角线长度为分母,对其归一化。
Figure BDA0001637089780000042
Figure BDA0001637089780000043
Figure BDA0001637089780000044
其中:pi(x,y)表示第i个注视点,cent(x,y)表示质心点,(x,y)是点坐标。L表示图像对角线长度,n为注视点数量,Disti为质心到各注视点的距离。
以各注视点到质心的归一化距离为变量,可以统计各注视点位于质心不同范围内出现的频数。将该频数归一化,即为注视点与质心距离的概率值(公式7中的propj),可用于计算注视点与质心距离的熵值,作为微跳视幅度的一种度量值。
Figure BDA0001637089780000051
其中,#{rj-1<Disti<rj}表示(rj-1,rj)距离范围内出现注视点的个数(频数),n为注视点数量,propj表示某距离范围内注视点的概率。
第Ki个尺度下的微跳视幅度的熵值Ei计算如以下公式:
Figure BDA0001637089780000052
式中m表示距离范围,依远近程度将[0,1]区间划分为m个范围。
各注视点越密集,propj概率越大,熵值越小。各注视点位置越散乱,propj概率越小,但熵值越大。见图2示例。
上述分析表明,(表示距离的)熵值越小,视觉感知饱和的可能性越大。“熵最小”可用于衡量不同尺度图像对视觉感知饱和的贡献。
虽然以上将实施例分开说明和阐述,例如,方法和系统的两套发明,但涉及部分共通之技术,在本领域普通技术人员看来,可以在实施例之间进行替换和整合,涉及其中一个实施例未明确记载的内容,则可参考有记载的另一个实施例。
以上仅就本发明较佳的实施例作了说明,但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例,其具体结构允许有变化。总之,凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。

Claims (3)

1.利用最小熵判断视觉感知饱和的图像自适应缩小方法,其特征在于:包括以下步骤:
1)利用不同缩小倍数Ki,通过对原图像I进行下采样,构造出多个缩小尺度图Ii;
2)分别对缩小尺度图Ii用显著点预测算法计算得到显著图Si,选择显著图Si中显著度值大于平均值的像素点作为注视点;
3)所述注视点形成注视区域,由各点位置信息计算注视区域的质心;对各注视点到质心的距离做归一化;若将各点到质心点距离作为变量来统计一定距离范围内的注视点频数,则各点到质心点的距离信息被转换为概率,进而表示为熵值;
4)计算各个缩小尺度图Ii中,由注视点与质心点的距离形成的熵值Ei;
5)比较熵值Ei,其最小值对应的缩小倍数Ki作为最佳图像尺度;
其中,步骤3)中形成注视区域具体过程为:
对原图像I(x,y)进行二维离散傅里叶变换,将图像由空间域转换到频域,得到相位P(u,v)信息:
Figure FDA0003448298460000011
将相位信息经傅里叶逆变换后,可以在空间域得到显著度图像Sa_Map;
Sa_Map(x,y)=|F-1[exp{jP(u,v)}]|2 (2)
式中F和F-1表示二维离散傅里叶正、逆变换,
Figure FDA0003448298460000012
表示相位运算;根据显著度图,注视点的位置可用下列公式求出:
pi(x,y)=Sa_Map(x,y)-mean(Sa_Map(x,y))>0 (3)
上述注视点pi(x,y)可形成一个注视区域;
其中,步骤3)中归一化具体过程为:
先计算出各注视点的均值位置,作为注视区域的质心cent(x,y);再计算该质心到各注视点的距离,并利用图像对角线长度为分母,对其归一化,采用如下公式实现:
Figure FDA0003448298460000013
Figure FDA0003448298460000021
Figure FDA0003448298460000022
其中:pi(x,y)表示第i个注视点,cent(x,y)表示质心点,(x,y)是点坐标,L表示图像对角线长度,n为注视点数量,Disti为质心到各注视点的距离。
2.根据权利要求1所述的利用最小熵判断视觉感知饱和的图像自适应缩小方法,其特征在于:注视时的微跳视幅度表示为一种信息熵,作为一种感知产生的指标,所述熵值最小时对应的缩小图像,最快产生感知饱和,优先输出视觉目标。
3.根据权利要求1所述的利用最小熵判断视觉感知饱和的图像自适应缩小方法,其特征在于:以各注视点到质心的归一化距离为变量,统计各注视点位于质心不同范围内出现的频数;将该频数归一化,即为注视点与质心距离的概率统计值,用于计算注视点与质心距离的熵值,所述熵值作为微跳视幅度的一种度量值。
CN201810365927.3A 2018-04-18 2018-04-23 利用最小熵判断视觉感知饱和的图像自适应缩小方法 Expired - Fee Related CN108573472B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018103464330 2018-04-18
CN201810346433 2018-04-18

Publications (2)

Publication Number Publication Date
CN108573472A CN108573472A (zh) 2018-09-25
CN108573472B true CN108573472B (zh) 2022-05-24

Family

ID=63575077

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810365927.3A Expired - Fee Related CN108573472B (zh) 2018-04-18 2018-04-23 利用最小熵判断视觉感知饱和的图像自适应缩小方法
CN201811358212.1A Active CN109544452B (zh) 2018-04-18 2018-11-15 视觉感知饱和策略的图像自适应缩小方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811358212.1A Active CN109544452B (zh) 2018-04-18 2018-11-15 视觉感知饱和策略的图像自适应缩小方法

Country Status (1)

Country Link
CN (2) CN108573472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445275A (zh) * 2021-09-03 2022-05-06 中国计量大学 一种图像极限缩小导致视觉感知饱和现象的判断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104981839A (zh) * 2013-02-07 2015-10-14 卡迪夫城市大学 图像制作中与图像制作相关的改进
CN105430416A (zh) * 2015-12-04 2016-03-23 四川大学 一种基于自适应稀疏域编码的指纹图像压缩方法
CN106971376A (zh) * 2017-04-20 2017-07-21 太原工业学院 一种基于显著性模型的图像缩放方法
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390275B2 (ja) * 2014-09-01 2018-09-19 株式会社ソシオネクスト 符号化回路、符号化方法
CN104361340B (zh) * 2014-11-04 2017-10-27 西安电子科技大学 基于显著性检测和聚类的sar图像目标快速检测方法
CN105023016B (zh) * 2015-06-25 2018-08-28 中国计量学院 基于压缩感知分类的目标感知方法
JP2017098596A (ja) * 2015-11-18 2017-06-01 キヤノン株式会社 画像生成方法及び画像生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104981839A (zh) * 2013-02-07 2015-10-14 卡迪夫城市大学 图像制作中与图像制作相关的改进
CN105430416A (zh) * 2015-12-04 2016-03-23 四川大学 一种基于自适应稀疏域编码的指纹图像压缩方法
CN106971376A (zh) * 2017-04-20 2017-07-21 太原工业学院 一种基于显著性模型的图像缩放方法
CN108109162A (zh) * 2018-01-08 2018-06-01 中国石油大学(华东) 一种利用自适应特征融合的多尺度目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Leukocyte Image Segmentation Using Novel Saliency Detection Based on Positive Feedback of Visual Perception;Chen Pan et al;《Journal of Healthcare Engineering 》;20180201;第1-11页 *
基于视觉注意机制的运动目标识别算法研究;李旃;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120215(第02期);I138-2217 *
快速在线主动学习的图像自动分割算法;严静 等;《模式识别与人工智能》;20160915;第29卷(第9期);第816-822页 *

Also Published As

Publication number Publication date
CN108573472A (zh) 2018-09-25
CN109544452B (zh) 2023-06-23
CN109544452A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
RU2711050C2 (ru) Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем
US9811157B2 (en) Method for gaze tracking
CN107427233B (zh) 脉波检测装置、以及脉波检测程序
JP6957929B2 (ja) 脈波検出装置、脈波検出方法、及びプログラム
Mustafa et al. Single-trial EEG classification of artifacts in videos
US11503998B1 (en) Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US8260009B2 (en) System and method for measuring clarity of images used in an iris recognition system
Moorthy et al. Perceptually significant spatial pooling techniques for image quality assessment
CN111310584A (zh) 心率信息获取方法、装置、计算机设备和存储介质
CN115797333B (zh) 一种个性化定制的智能视觉训练方法
KR20130088666A (ko) 다층 신경망을 이용한 시선 추적 시스템의 초점 측정 장치
JP2008228759A (ja) 意識低下判定装置及びプログラム
CN108573472B (zh) 利用最小熵判断视觉感知饱和的图像自适应缩小方法
CN111368596A (zh) 人脸识别逆光补偿方法、装置、可读存储介质及设备
CN108596832B (zh) 视觉感知饱和策略的超像素参数自适应选择方法
Liu et al. Phases measure of image sharpness based on quaternion wavelet
JP5639033B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
Varfolomieiev et al. Modification of the KCF tracking method for implementation on embedded hardware platforms
He et al. Graph-based clustering for identifying region of interest in eye tracker data analysis
CN109685839B (zh) 图像对齐方法、移动终端以及计算机存储介质
CN114445275A (zh) 一种图像极限缩小导致视觉感知饱和现象的判断方法
Ramlan et al. Image Enhancement Methods for Anterior Segment Photographed Images
Wang et al. Import of distortion on saliency applied to image quality assessment
WO2024024283A1 (ja) 画像認識支援装置、方法及びプログラム
Liu et al. Image quality feedback-based adaptive video definition improvement for the space manipulation task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220524

CF01 Termination of patent right due to non-payment of annual fee