CN112703532A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112703532A
CN112703532A CN202080004518.6A CN202080004518A CN112703532A CN 112703532 A CN112703532 A CN 112703532A CN 202080004518 A CN202080004518 A CN 202080004518A CN 112703532 A CN112703532 A CN 112703532A
Authority
CN
China
Prior art keywords
weight
image
target object
detected
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004518.6A
Other languages
English (en)
Other versions
CN112703532B (zh
Inventor
罗达新
林永兵
赵胜男
马莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112703532A publication Critical patent/CN112703532A/zh
Application granted granted Critical
Publication of CN112703532B publication Critical patent/CN112703532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质,属于人工智能技术领域。所述方法包括:获取待检测图像;基于待检测图像中目标对象的位置信息,获取目标对象的位置权重;基于目标对象的类别信息,获取目标对象的类别权重;根据目标对象的位置权重与类别权重,得到目标对象的综合权重;基于待检测图像中各对象的综合权重,确定待检测图像的图像质量分。本申请实施例提供的技术方案中,通过获取目标对象的位置权重以及类别权重,进而得到反映目标对象的综合重要性的综合权重,最终基于各对象的综合权重来有侧重地评估待检测图像的图像质量,得到合理的反映图像质量的图像质量分,提升图像质量评估的准确性。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
近年来,随着对数字图像领域的广泛研究,图像质量评价的研究也越来越受到研究者的关注,提出并完善了许多图像质量评价的指标和方法。
相关技术中,通常通过计算输入图片与基准图片之间的差别或者距离,即全参考的图像质量评估(FR-IQA)。基准图片一般是未压缩的原始图片,距离越大,说明输入图片的质量越差。
相关技术中,计算的内容与任务无关,丢弃了图片中的重要信息,图片质量评估的准确性差。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质,能够提高图片质量评估的准确性。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种图像处理方法,所述方法包括:
获取待检测图像;
基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,所述位置权重用于反映所述目标对象在所述待检测图像中所占据位置的相对重要程度;
基于所述目标对象的类别信息,获取所述目标对象的类别权重,所述类别权重用于反映所述目标对象所属类别在所述待检测图像中的相对重要程度;
根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重;
基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分。
通过检测目标对象在待检测图像中的位置,从而得到反映目标对象位置重要性的位置权重,再通过识别目标对象的类别来获取反映目标对象类别重要性的类别权重,进一步地将目标对象的位置权重与类别权重进行结合,得到反映目标对象的综合重要性的综合权重,最终在考虑各对象的综合权重的情况下,有侧重地评估待检测图像的图像质量,使得图像质量评估过程更加合理,所得到反映图像质量的图像质量分更加准确,提升图像质量评估的准确性。
在一个可能的设计中,所述基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,包括:
获取所述待检测图像中所述目标对象的位置信息,所述位置信息包括所述目标对象在所述待检测图像描述的物理空间中的位置;
根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,所述位置权重关系反映位置与权重之间的数学对应关系。
通过上述方式,可以根据目标对象的实际空间位置获得更加精确的位置权重。
在一个可能的设计中,所述目标对象包括目标像素,所述获取所述待检测图像中目标对象的位置信息,包括:
在所述待检测图像是前视图或侧视图的情况下,对所述前视图或所述侧视图进行图像变换处理,得到与所述前视图或所述侧视图对应的俯视图;
基于所述前视图或所述侧视图与所述俯视图之间的像素映射关系,获取所述前视图或所述侧视图中所述目标像素在所述俯视图中的位置坐标。
通过上述方式,可以更加准确地得到反映目标对象的实际空间位置的数据信息。
在一个可能的设计中,所述根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,包括:
根据位置权重曲线以及所述目标像素在所述俯视图中的位置坐标,获取所述目标像素的位置权重,所述位置权重曲线通过描述像素位置与权重之间的数学关系来反映所述像素位置的相对重要程度。
通过上述方式,可以保证目标对象的空间位置与位置权重之间的映射关系的稳定性。
在一个可能的设计中,所述基于所述目标对象的类别信息,获取所述目标对象的类别权重,包括:
识别所述待检测图像中所述目标对象的类别信息,所述类别信息包括所述目标对象在所述待检测图像中所属实体的类别;
根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,所述类别权重关系反映类别与权重之间的数学对应关系。
通过上述方式,根据识别得到的目标对象的类别,进而保证得到的目标对象的位置权重的准确性。
在一个可能的设计中,所述识别所述待检测图像中所述目标对象的类别信息,包括:
对所述待检测图像进行语义分割处理,得到所述待检测图像中各对象的类别信息;
所述根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,包括:
基于所述目标对象的类别信息,在类别权重数据结构中进行查找,得到所述目标对象的类别权重。
通过上述方式,可以保证类别识别的准确性,并提升确定类别权重的效率。
在一个可能的设计中,所述获取待检测图像之后,还包括:
检测所述目标对象在所述待检测图像中所属实体的运动状态;
在所述实体的运动状态符合条件的情况下,确定所述目标对象的状态权重,所述状态权重用于表征所述待检测图像中所述目标对象在不同运动状态下的相对重要程度;
将所述目标对象的状态权重与所述目标对象的类别权重进行结合,得到所述目标对象的状态类别权重,所述状态类别权重用于表征不同类别的目标对象在不同运动状态下的相对重要程度;
在所述目标对象具有状态类别权重的情况下,根据所述目标对象的位置权重与状态类别权重,得到所述目标对象的综合权重;
在所述目标对象不具有状态类别权重的情况下,执行所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重的步骤。
通过上述方式,可以更加准确的通过权重反映目标对象的重要程度,权重不仅反映目标对象的位置信息和类别信息,还可反映目标对象的运动状态。
在一个可能的设计中,所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重,包括:
对所述位置权重与所述类别权重进行加权求和处理,得到所述目标像素的综合权重。
通过上述方式,使得综合权重的计算方式更加科学,从而能够更加客观的反映目标像素的重要程度。
在一个可能的设计中,所述目标对象包括目标像素,所述待检测图像是压缩图像;
所述基于所述待检测图像中各对象的综和权重,确定所述待检测图像的图像质量分,包括:
获取所述待检测图像与参考图像在各像素上的像素差值,所述参考图像是指所述待检测图像未经压缩的原始图像;
基于所述各像素的综和权重与所述各像素上的像素差值,得到所述待检测图像与所述参考图像之间的加权相似度,所述加权相似度是指基于所述综和权重计算的峰值信噪比和/或结构相似度,所述峰值信噪比和/或结构相似度用于反映所述待检测图像与所述参考图像之间的差异程度;
基于所述加权相似度,得到所述待检测图像的图像质量分。
通过上述方式,能够更加准确地评估图像质量,合理运用权重指标。
在一个可能的设计中,所述基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分之后,还包括:
基于所述图像质量分,对图像处理算法进行调整。
通过上述方式,能够使用图像质量分提升图像处理算法所希望达到的目标效果,在尽可能不丢失图像中的重要信息的情况下,对图像进行处理。
在一个可能的设计中,所述目标对象包括以下任意一种:目标像素、目标图像块、目标实体。
通过上述方式,能够进行不同量级的图像质量评价。
根据本申请实施例的一个方面,提供了一种图像处理装置,所述装置包括:
待测图像获取模块,用于获取待检测图像;
位置权重确定模块,用于基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,所述位置权重用于反映所述目标对象在所述待检测图像中所占据位置的相对重要程度;
类别权重确定模块,用于基于所述目标对象的类别信息,获取所述目标对象的类别权重,所述类别权重用于反映所述目标对象所属类别在所述待检测图像中的相对重要程度;
综合权重确定模块,用于根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重;
图像质量检测模块,用于基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述图像处理方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述图像处理方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像处理方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过检测目标对象在待检测图像中的位置,从而得到反映目标对象位置重要性的位置权重,再通过识别目标对象的类别来获取反映目标对象类别重要性的类别权重,进一步地将目标对象的位置权重与类别权重进行结合,得到反映目标对象的综合重要性的综合权重,最终在考虑各对象的综合权重的情况下,有侧重地评估待检测图像的图像质量,使得图像质量评估过程更加合理,所得到反映图像质量的图像质量分更加准确,提升图像质量评估的准确性。
另外,本申请实施例设计了一个位置权重模型,能够准确计算图像中每个像素点的位置权重;并且通过语义分割模型,将待检测图像按照类别分割为不同区域,并计算每个区域的类别权重,保证确定类别权重的准确性;最终综合位置权重和类别权重,并结合传统的PSNR/SSIM等方法,计算最终的图像质量分数,进一步保证了得到的图像质量分的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图;
图2是本申请一个实施例提供的图像处理方法的流程图;
图3、图4、图5、图6示例性示出了几种待检测图像的示意图;
图7示例性示出了一种反映类别-权重关系的示意图;
图8示例性示出了一种行车图像的示意图;
图9是本申请另一个实施例提供的图像处理方法的流程图;
图10示例性示出了本申请实施例提供的图像处理流程的示意图;
图11是本申请一个实施例提供的图像处理方法的流程图;
图12示例性示出了一种自动驾驶任务中前视图与俯视图的示意图;
图13是本申请一个实施例提供的图像处理装置的框图;
图14是本申请另一个实施例提供的图像处理装置的框图;
图15是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
图像质量评价(Image Quality Assessment,IQA)是图像处理中的基本技术之一,主要通过对图像进行特性分析研究,然后评估出图像优劣(图像失真程度)。图像质量评价在图像处理系统中,对于算法分析比较、系统性能评估等方面有着重要的作用。图像质量客观评价可分为全参考(Full-Reference,FR),部分参考(Reduced-Reference,RR)和无参考(No-Reference,NR)三种类型。
全参考图像质量评估(Full Reference Image Quality Assessment,FR-IQA),是指在选择理想图像作为参考图像的情况下,比较待评图像与参考图像之间的差异,分析待评图像的失真程度,从而得到待评图像的质量评估。常用的全参考图像质量客观评价主要以像素统计、信息论、结构信息三方面为基础。
1、基于图像像素统计基础
基于图像像素统计基础,峰值信噪比(Peak-Signal to Noise Ratio,PSNR)和均方误差(Mean Square Error,MSE)是比较常见的两种质量评价方法。它们通过计算待评测图像和参考图像对应像素点灰度值之间的差异,从统计角度来衡量待评图像的质量优劣。
2、基于信息论基础
基于信息论中信息熵基础,互信息被广泛用来评价图像质量。近些年,Sheikh和Bovik等人提出来了信息保真度准则(Information Fidelity Criterion,IFC)和视觉信息保真度(Visual Information Fidelity,VIF)两种算法。它们通过计算待评图像与参考图像之间的互信息来衡量待评图像的质量优劣。这两种方法具有一定的理论支撑,在信息保真度上拓展了图像与人眼之间的联系,但是这类方法对于图像的结构信息没有反应。
3、基于结构信息基础
人眼视觉的主要功能是提取背景中的结构信息,而且人眼视觉系统能高度自适应地实现这一目标,因此对图像的结构失真的度量应是图像感知质量的最好近似。在此基础上给出了一种符合人眼视觉系统特性的图像质量客观评判标准-结构相似度(StructureSimilarity,SSIM)。
SSIM根据图像像素间的相关性构造出参考图像与待评图像之间的结构相似性,SSIM值越大,图像质量越好。该指标算法实现简单,质量评估性比较可靠,同时很多研究者结合人眼视觉系统对其又进行了许多改进,目前在图像处理各个方面都受到广泛应用。SSIM使用的两张图像中,一张为未经压缩的无失真图像,另一张为失真后的图像。作为结构相似性理论的实现,结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的,反映场景中物体结构的属性,并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量。其计算方式如下图。其中x,y分别表示两张图像,μ和δ分别是均值和方差,c为常数。
Figure BDA0002940808300000051
无参考图像质量评估(Non Reference Image Quality Assessment,NR-IQA),无参考方法也称为首评价方法,因为一般的理想图像很难获得,所以这种完全脱离了对理想参考图像依赖的质量评价方法应用较为广泛。无参考方法一般都是基于图像统计特性。
1、均值
均值是指图像像素的平均值,它反映了图像的平均亮度,平均亮度越大,图像质量越好。
2、标准差
标准差是指图像像素灰度值相对于均值的离散程度。如果标准差越大,表明图像中灰度级分别越分散,图像质量也就越好。
3、平均梯度
平均梯度能反映图像中细节反差和纹理变换,它在一定程度上反映了图像的清晰程度。
1)熵
熵是指图像的平均信息量,它从信息论的角度衡量图像中信息的多少,图像中的信息熵越大,说明图像包含的信息越多。
一般而言,无参考图像质量评价方法首先对理想图像的特征作出某种假设,再为该假设建立相应的数学分析模型,最后通过计算待评图像在该模型下的表现特征,从而得到图像的质量评价结果。
高动态范围图像(High-Dynamic Range,简称HDR),相比普通的图像,可以提供更多的动态范围和图像细节,根据不同的曝光时间的LDR(Low-Dynamic Range,低动态范围图像),并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好的反映出真实环境中的视觉效果。
峰值信噪比(Peak Signal to Noise Ratio,PSNR),是指信号的可能最大值和噪声的比值。由于信号常常有很宽的动态范围,所以常用对数的方式计算PSNR。通常情况下,PSNR可用于计算一张图像与基准图像的差异。其计算公式如下:
Figure BDA0002940808300000061
Figure BDA0002940808300000062
其中,I表示输入图像,K表示基准图像,MAX表示最大允许的图像值。是一种评价图像的客观标准,它具有局限性,一般是用于最大值信号和背景噪音之间的一个工程项目。Peak的中文意思是顶点。而Ratio的意思是比率或比例的。整个意思就是到达噪音比率的顶点信号,PSNR一般是用于最大值信号和背景噪音之间的一个工程项目。通常在经过影像压缩之后,输出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质,我们通常会参考PSNR值来衡量某个处理程序能否令人满意。它是原图像与被处理图像之间的均方误差相对于(2n-1)2的对数值(信号最大值的平方,n是每个采样值的比特数),它的单位是dB。
请参考图1,其示出了本申请一个实施例提供的实施环境的示意图。该方案实施环境可以实现成为一个自动驾驶任务系统。该实施环境可以包括:终端10和服务器20。
终端10可以是诸如手机、平板电脑、多媒体播放设备、PC(Personal Computer,个人电脑)等电子设备,也可是装载于无人驾驶车辆、普通车辆中的智能车载终端,还可以是任何涉及图像处理的终端。终端10可以配置或者连接摄像头,通过该摄像头采集图像。
服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。服务器20可以是为上述终端10提供服务的后台服务器。
终端10和服务器20之间可以通过网络进行通信,本申请在此不作限制。
本申请实施例提供的图像处理方法,各步骤的执行主体可以是服务器20,也可以是终端10,还可以是由终端10和服务器20交互配合执行。为了便于说明,在下述方法实施例中,仅以各步骤的执行主体为计算机设备进行介绍说明,但对此不构成限定。在一个可能的设计中,本申请提供的图像质量评估方法主要应用于自动驾驶场景。
请参考图2,其示出了本申请一个实施例提供的图像处理方法的流程图。该方法可以包括以下几个步骤(210~250):
步骤210,获取待检测图像。
待检测图像是指待检测图像质量的图像。本申请实施例对图像的数据格式不作限制。
在一种可能的实施方式中,待检测图像是压缩图像。在一个示例中,如图3所示,其示例性示出了一种待检测图像的示意图。其中,图3(a)是未经压缩的原始图像,图3(b)、图3(c)分别是压缩图3(a)后得到的压缩图像,图3(b)、图3(c)的压缩程度不同。可通过本申请实施例提供的方法对图3(b)、图3(c)的图像质量进行评估,具体方法参见后文。
在一种可能的实施方式中,待检测图像是车辆行驶过程中采集的车道图像。所谓的自动驾驶场景,即待检测图像是由自动驾驶车辆的前视、后视或者侧视摄像头拍摄而来,图像中通常包括道路、行人、车辆、路标等内容。在一个示例中,如图4所示,其示例性示出了一种待检测图像的示意图。图4是车辆行驶过程中采集的车道图像。
在一种可能的实施方式中,待检测图像是去雾度图像。一个示例中,如图5所示,其示例性示出了一种待检测图像的示意图。其中,图5(a)是未经去雾处理的原始图像,图5(b)、图5(c)、图5(d)分别是对图5(a)进行去雾图像处理后得到的去雾度图像,图5(b)、图5(c)、图5(d)的去雾效果不同。可通过本申请实施例提供的方法对图5(b)、图5(c)、图5(d)的图像质量进行评估,具体方法参见后文。
在一种可能的实施方式中,待检测图像是终端采集的视频监控图像,可通过本申请实施例提供的方法对视频监控图像的图像质量进行评估,具体方法参见后文。
步骤220,基于待检测图像中目标对象的位置信息,获取目标对象的位置权重。
图像中往往具有多个对象作为观察目标,可根据图像中所包含的对象来获取图像中蕴含的信息。目标对象是指用于检测图像质量的任一对象。目标对象包括以下任意一种:目标像素、目标图像块、目标实体。目标像素是指待检测图像中任一像素。目标图像块是指待检测图像中任一图像块,上述图像块可以是规则形状的图像块,也可以是非规则形状的图像块。目标实体是指待检测图像中任一实体,上述实体包括人体、物体,例如行人、车辆、树木、路面等实体。
根据待检测图像中目标对象的属性信息,可以得到目标对象的权重信息。属性信息包括描述目标对象的各项数据信息。可选地,属性信息包括位置信息。可选地,属性信息包括类别信息。权重信息反映目标对象在待检测图像中的相对重要程度。
位置信息用于反映目标对象的位置,既可以是目标对象在待检测图像的图像坐标系中的位置,也可以是目标对象在待检测图像描述的物理空间中的位置,本申请实施例对此不作限定。
位置权重用于反映目标对象在待检测图像中所占据位置的相对重要程度。可选地,位置权重指的是图像中的每个像素,在对应的实际物理空间中的位置的重要性。在本方案中,距离自车越近的像素,其位置权重越高。例如,自车正前方的位置权重最高,而远程天空的位置权重最低。
在示例性实施例中,上述步骤220包括如下子步骤:
步骤221,获取待检测图像中目标对象的位置信息。
位置信息包括目标对象在待检测图像描述的物理空间中的位置。
步骤222,根据位置权重关系以及目标对象的位置信息,得到目标对象的位置权重。
位置权重关系反映位置与权重之间的数学对应关系。可选地,通过设置位置与权重的函数反应位置权重关系。
步骤230,基于目标对象的类别信息,获取目标对象的类别权重。
类别权重用于反映目标对象所属类别在待检测图像中的相对重要程度。
在示例性实施例中,如图6所示,其示例性示出了一种待检测图像的示意图。其中,图6(a)是压缩前的车辆行驶图像,图6(b)是压缩后的车辆行驶图像,其中图6(a)中的树木1和图6(b)中的树木2是同一颗树木。对于自动驾驶任务,更关注压缩算法是否对原始图片中的车辆等造成模糊,而对树木所在区域进行图片压缩而造成的模糊影响不大,但在传统的图片质量评价方法中图片的所有区域和像素的重要程度等同,不符合具体任务场景,在此种方式下树木造成的影响会体现出来,但是这种影响本申请并不关注,通过为树木设置一个较低的权重,可降低对图片中树木的图像质量的关注程度。因此,对不同目标或区域增加不同权重,可以有区分的关注不同的图像内容。
在示例性实施例中,上述步骤230包括如下子步骤:
步骤231,识别待检测图像中目标对象的类别信息。
类别信息包括目标对象在待检测图像中所属实体的类别;
对待检测图像进行语义分割处理,得到待检测图像中各对象的类别信息。
基于神经网络的语义分割算法,会对图像中的每个对象进行分类,输出每个像素对应的物体类别。例如车辆、行人等。
步骤232,根据类别权重关系以及目标对象的类别信息,得到目标对象的类别权重。
类别权重关系反映类别与权重之间的数学对应关系。
基于目标对象的类别信息,在类别权重数据结构中进行查找,得到目标对象的类别权重。
自定义每种类别的权重。具体来说,根据先验知识,预设每种类别的权重系数。
在一个示例中,如图7所示,其示例性示出了一种反映类别-权重关系的示意图。图中横轴表示类别,纵轴表示权重值,通过该折线可知,不同的目标类别设不同的权重。
结合语义分割算法的类别输出,赋予不同对象不同的类别权重。在语义分割图上对应类别区域,赋予此权重值。例如,语义分割图中包括车辆区域与树木区域,那么车辆区域的类别权重要高于树木区域。
步骤240,根据目标对象的位置权重与类别权重,得到目标对象的综合权重。
综合权重是指综合各方面因素来反映目标像素的相对重要程度的数据指标。
在示例性实施例中,对位置权重与类别权重进行加权求和处理,得到目标像素的综合权重。
结合位置权重和类别权重,利用加权和的方式计算像素的综合权重。在一个示例中,可通过如下公式计算像素的综合权重:
Wij=m*Wd+n*Wobject
其中,m,n为加权系数,根据任务灵活调整。Wij是目标像素的综合权重,Wd是目标像素的位置权重,Wobject是目标像素的类别权重。
在一个示例中,如图8所示,其示例性示出了一种行车图像的示意图。本申请提供的技术方案对与自车中心不同距离的物体有不同的关注程度,例如对近处车辆的关注程度大于远处车辆,例如图中的前方车辆50的位置权重大于旁边车辆30的位置权重。此外,本申请提供的技术方案中不同目标或区域的重要程度不同,不同类别的实体的重要程度不同,如车辆、行人的重要程度大于树木、灯柱,例如图中前方车辆50的类别权重大于树木40的类别权重;如路上>路边,地面>天空,例如图中地面区域10的权重大于高处区域20的权重。
步骤250,基于待检测图像中各对象的综合权重,确定待检测图像的图像质量分。
上述图像质量分是指衡量图像质量的量化数据指标。利用计算机视觉的方法,计算图像质量,可以输出一个相对值或者绝对值,作为图像质量的度量,有利于对图像压缩算法、图像生成类算法和图像增强类算法进行定量评估。
基于待检测图像中各显示元素的权重信息,对待检测图像进行图像质量检测处理,得到待检测图像的图像质量分。
可选地,基于待检测图像中各像素的类别权重,对待检测图像进行图像质量检测处理,得到待检测图像的图像质量分。
可选地,基于待检测图像中各像素的位置权重,对待检测图像进行图像质量检测处理,得到待检测图像的图像质量分。
在图像质量分用于评价图像压缩算法的情况下,图像质量分用于评价图像的关键信息在图像压缩前后的保存程度。可选地,图像质量分越高,压缩效果越好,压缩后的图片中丢失的关键信息越少。
在示例性实施例中,计算PSNR/SSIM等数据指标时,可对不同的像素乘以不同的综合权重,获得最终的质量分数。下述步骤251-253为步骤250的一种实施方式,能够根据权重计算PSNR/SSIM:
步骤251,获取待检测图像与参考图像在各像素上的像素差值。
参考图像是指待检测图像未经压缩的原始图像。
步骤252,基于各像素的综和权重与各像素上的像素差值,得到待检测图像与参考图像之间的加权相似度。
加权相似度是指基于综和权重计算的峰值信噪比和/或结构相似度,峰值信噪比和/或结构相似度用于反映待检测图像与参考图像之间的差异程度。
将各像素的综和权重代入与待检测图像与参考图像之间在各像素上的均方误差计算过程中,得到待检测图像与参考图像之间的加权均方误差。
基于待检测图像与参考图像之间的加权均方误差,得到待检测图像与参考图像之间的峰值信噪比和/或结构相似度。
在一个示例中,上述计算过程可由如下公式体现:
Figure BDA0002940808300000101
Figure BDA0002940808300000102
其中,Wij为第i行第j列像素的综合权重。
这里仅以PSNR的计算作为示例,综合权重也可以用于SSIM等多种方法的度量。
步骤253,基于加权相似度,得到待检测图像的图像质量分。
可选地,将加权相似度作为待检测图像的图像质量分。
可选地,图像质量分是由加权相似度进行标准化处理得到的数值,例如归一化处理,图像质量分的取值区间在[0,1]内,便于比较。
综上所述,本申请实施例提供的技术方案,通过检测目标对象在待检测图像中的位置,从而得到反映目标对象位置重要性的位置权重,再通过识别目标对象的类别来获取反映目标对象类别重要性的类别权重,进一步地将目标对象的位置权重与类别权重进行结合,得到反映目标对象的综合重要性的综合权重,最终在考虑各对象的综合权重的情况下,有侧重地评估待检测图像的图像质量,使得图像质量评估过程更加合理,所得到反映图像质量的图像质量分更加准确,提升图像质量评估的准确性。
另外,本申请实施例设计了一个位置权重模型,能够准确计算图像中每个像素点的位置权重;并且通过语义分割模型,将待检测图像按照类别分割为不同区域,并计算每个区域的类别权重,保证确定类别权重的准确性;最终综合位置权重和类别权重,并结合传统的PSNR/SSIM等方法,计算最终的图像质量分数,进一步保证了得到的图像质量分的可靠性。
在示例性实施例中,图像质量分具有多种用途,下面对此进行介绍。
不同的图像处理过程,可以获得不同的质量的图像。这些图像处理过程包括摄像系统、图像信号处理、存储、传输、压缩等。
图像质量评估(IQA)是对图像质量进行经验性地衡量的方式,包括主观和客观两大类方法。主观的方法基于人类视觉对图像中的物体或属性的感知,得出图像好坏程度的判断;客观的方法则基于预设的计算模型得出定量的数值。本申请提供的技术方案主要涉及客观的图像质量评估方法,即设计一种计算模型,用于计算图像质量分数。
图像质量评估可以应用于很多不同的领域,且各领域使用图像质量评估的方法和目的各有不同。例如,评测机构用于评估不同摄像机拍摄图片的优劣;机器学习模型训练过程中,用于指导算法收敛方向等。
本申请实施例提供的图像质量评估方法所输出的图像质量分可用于衡量该图像是否适用于自动驾驶任务。在一种可能的实施方式中,基于图像质量分,对图像处理算法进行调整。例如,对图像压缩算法进行调整。
下面结合相关技术,对本申请提供的技术方案所产生的有益效果进行进一步的说明。
在一种相关技术中,通过峰值信噪比或者结构相似性度量去衡量两张图片的相似程度,无论是用峰值信噪比或者结构相似性度量,其方案都需要计算输入图片与基准图片之间的差别或者距离,即全参考的图像质量评估(FR-IQA)。基准图片一般是未压缩的原始图片,距离越大,说明输入图片的质量越差。此类技术的缺点大致反应在如下两个方面:
一是计算的内容与任务无关。这两种方法都属于直接利用图像进行计算,其计算过程与计算内容都与具体任务无关,因此无法反映出图像质量对某一种实际任务产生的影响,例如自动驾驶任务。
二是计算的内容不能代表真实情况。一方面,公式中包含了过多与场景或者任务无关的内容,例如PSNR计算了所有像素的MSE,但事实上,并非所有的像素都会对任务有同等价值的影响;另一方面,公式的计算过程舍弃了部分图像的信息,导致结果偏离实际情况,例如PSNR计算了单个像素点的MSE,但事实上对于图像而言,像素点之间有紧密联系,且物体的大小和形状都体现在这些像素点的关系之中,因此PSNR的计算丢弃了这些重要的信息。
以自动驾驶场景为例,本申请提供的IQA评估方法适用于自动驾驶任务,该方法可以评估在自动驾驶领域中输入图像的质量情况,并且算法简单易实现。IQA通常是作为图像处理算法(如图像压缩)的评价或者神经网络的损失函数来使用,需要避免算法太复杂或者难以实现。因此,本申请设计地是一种简单、高效、通用的IQA算法,适用于多种应用场景,权重可以根据具体的应用场景进行实现。
在示例性实施例中,还可以根据如下信息增加权重值,例如车辆速度信息,行人运动速度和方向,行人到车道的距离等反映某一对象的运动状态的数据指标。请参考图9,上述步骤210之后还包括如下步骤:
步骤260,检测目标对象在待检测图像中所属实体的运动状态。
可选地,通过选取待检测图像的前几帧图像或者前一帧图像,与待检测图像进行对比,得到目标对象在待检测图像中所属实体的运动状态。例如,行人若是处于步行的运动状态,那么行人的位置信息就会发生变化,可通过与之前的行人位置进行对比,确定当前行人处于运动的状态。
步骤270,判断目标对象在待检测图像中所属实体的运动状态是否符合条件。若是,则执行步骤280;否则,执行步骤240。
步骤280,确定目标对象的状态权重。
在实体的运动状态符合条件的情况下,确定目标对象的状态权重,状态权重用于表征待检测图像中目标对象在不同运动状态下的相对重要程度。
步骤290,将目标对象的状态权重与目标对象的类别权重进行结合,得到目标对象的状态类别权重,状态类别权重用于表征不同类别的目标对象在不同运动状态下的相对重要程度。
在一个示例中,状态类别权重可以表示为Wobject,可通过如下公式进行计算:
Wobject=Wo*Wenhance
其中,Wo表示为目标对象所属类别预设的类别权重,Wenhance表示根据目标对象的运动状态增加的状态权重,例如根据车辆或行人状态增加的权重系数。
相应地,上述步骤240可以替换为如下步骤291:
步骤291,根据目标对象的位置权重与状态类别权重,得到目标对象的综合权重。
在目标对象具有状态类别权重的情况下,根据目标对象的位置权重与状态类别权重,得到目标对象的综合权重。
此种情况下,位置权重与状态类别权重的结合办法可以参考上文中位置权重与类别权重之间的结合方法,这里不再赘述。
在目标对象不具有状态类别权重的情况下,执行根据目标对象的位置权重与类别权重,得到目标对象的综合权重的步骤。
在一个示例中,如图10所示,其示例性示出了本申请实施例提供的图像处理流程的示意图,用于评价压缩算法是否对自动驾驶任务产生影响。图中包括图像处理流程中的图像输入环节、位置权重计算环节、语义分割环节、类别权重计算环节、全局图像质量分数计算环节以及加权图像质量分数计算环节。其中,图像输入环节,用于获取待评估图像和参考图像。位置权重计算环节,用于计算图像的每个像素点的位置权重。语义分割环节,利用语义分割模型,获得图像中不同像素的类别。类别权重计算环节,根据语义分割模型输出的类别结果和预设的不同类别的权重,获得每个像素点对应的类别权重值。全局图像质量分数计算环节,利用输入图像和参考图像,计算全局图像质量分数。可用方法包括PSNR和SSIM。加权图像质量分数计算环节,综合位置权重和类别权重,获得每个像素的综合权重,并结合全局图像质量分数计算最终的图像质量分。
综上所述,本申请实施例提供的技术方案,除了获取目标对象反映目标对象位置重要性的位置权重以及反映目标对象类别重要性的类别权重之外,还根据目标对象的运动状态为目标对象增加状态权重,进而将三种权重合理地进行结合,得到从多方面反映目标对象的综合重要性的综合权重,更加科学可靠地计算目标对象的权重,进一步保证图像质量评估的准确性。
请参考图11,其示出了本申请一个实施例提供的图像处理方法的流程图。该方法可以包括以下几个步骤(1~14):
步骤1,获取待检测图像。
步骤2,检测待检测图像是否为俯视图。若是,则执行步骤3;否则,执行步骤5。
步骤3,对前视图或侧视图进行图像变换处理,得到与前视图或侧视图对应的俯视图。
在待检测图像是前视图或侧视图的情况下,对前视图或侧视图进行图像变换处理,得到与前视图或侧视图对应的俯视图。
步骤4,基于前视图或侧视图与俯视图之间的像素映射关系,获取前视图或侧视图中目标像素在俯视图中的位置坐标。
步骤5,根据位置权重曲线以及目标像素在俯视图中的位置坐标,获取目标像素的位置权重。
位置权重曲线通过描述像素位置与权重之间的数学关系来反映像素位置的相对重要程度。
上述过程可以简单理解为,如果输入图像是前视图或者侧视图,将其转换为俯视图;在一种可能的设计中,利用如下公式,计算俯视图中不同像素点对应的位置权重。
Figure BDA0002940808300000121
其中,a、b为曲线形状相关参数。P0(x0,y0)为自车中心点。△x=x-x0,△y=y-y0表示P(x,y)点与P0的距离。可选地,上述公式可以应用于上述俯视图中。
最后将位置权重映射回前视图或俯视图,获得原始输入图像的每个像素的位置权重值wd
待检测图像中各像素的位置权重,与待检测图像中各像素在俯视图中对应的像素的位置权重相等。
在一个示例中,如图12所示,其示例性示出了一种自动驾驶任务中前视图与俯视图的示意图。其中,图12(a)是当前行驶车辆前方的道路前视图,图12(b)是由图12(a)所示的前视图进行图像变换得到的俯视图,通过上述公式可以得到俯视图中每个像素的位置权重值,基于前视图与俯视图之间的变换关系,得到前视图中每个像素的位置权重值。在俯视图中距离自车中心n越近的像素点权重越高,其在前视图中对应的位置越在自车的正前方,例如图中他车中心n-1的权重值就需要根据自车中心n与他车中心n-1之间的距离进行计算。
出于精准检测图片质量的考虑,车辆的正前方无论是否有物体,都需要保证此区域的图片质量,远处图片质量可以较低,设置权重值的目的也在于有侧重地关注图像质量,更加关注与车辆附近区域的图像质量,使得图像质量评价更加合理。
步骤6,对待检测图像进行语义分割处理,得到待检测图像中各像素的类别信息。
步骤7,基于目标像素的类别信息,在类别权重数据结构中进行查找,得到目标像素的类别权重。
步骤8,检测目标对象在待检测图像中所属实体的运动状态。
步骤9,判断目标对象在待检测图像中所属实体的运动状态是否符合条件。若是,则执行步骤10;否则,执行步骤13。
步骤10,确定目标对象的状态权重。
步骤11,将目标对象的状态权重与目标对象的类别权重进行结合,得到目标对象的状态类别权重。
步骤12,根据目标对象的位置权重与状态类别权重,得到目标对象的综合权重。
步骤13,根据目标对象的位置权重与类别权重,得到目标对象的综合权重。
步骤14,基于待检测图像中各对象的综合权重,确定待检测图像的图像质量分。
综上所述,本申请实施例提供的技术方案,以像素为单位进行图像质量检测,将获取到的目标像素的位置权重、类别权重以及状态权重进行结合,得到目标像素的综合权重之后遍历所有像素,便可得到待检测图像中各像素的综合权重,进而以像素为单位有侧重地计算待检测图像的图像质量分,进一步保证了图像质量评估的准确性。
下述为本申请装置实施例,可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图13,其示出了本申请一个实施例提供的图像处理装置的框图。该装置具有实现上述图像处理方法的功能。该装置1300可以包括:待测图像获取模块1310、位置权重确定模块1320、类别权重确定模块1330、综合权重确定模块1340以及图像质量检测模块1350。
待测图像获取模块1310,用于获取待检测图像。
位置权重确定模块1320,用于基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,所述位置权重用于反映所述目标对象在所述待检测图像中所占据位置的相对重要程度。
类别权重确定模块1330,用于基于所述目标对象的类别信息,获取所述目标对象的类别权重,所述类别权重用于反映所述目标对象所属类别在所述待检测图像中的相对重要程度。
综合权重确定模块1340,用于根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重。
图像质量检测模块1350,用于基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分。
在示例性实施例中,请参考图14,所述位置权重确定模块1320包括:位置信息获取单元1321以及位置权重确定单元1322。
位置信息获取单元1321,用于获取所述待检测图像中所述目标对象的位置信息,所述位置信息包括所述目标对象在所述待检测图像描述的物理空间中的位置。
位置权重确定单元1322,用于根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,所述位置权重关系反映位置与权重之间的数学对应关系。
在示例性实施例中,请参考图14,所述目标对象包括目标像素,所述位置信息获取单元1321用于:
在所述待检测图像是前视图或侧视图的情况下,对所述前视图或所述侧视图进行图像变换处理,得到与所述前视图或所述侧视图对应的俯视图;
基于所述前视图或所述侧视图与所述俯视图之间的像素映射关系,获取所述前视图或所述侧视图中所述目标像素在所述俯视图中的位置坐标。
在示例性实施例中,请参考图14,所述位置权重确定单元1322用于:
根据位置权重曲线以及所述目标像素在所述俯视图中的位置坐标,获取所述目标像素的位置权重,所述位置权重曲线通过描述像素位置与权重之间的数学关系来反映所述像素位置的相对重要程度。
在示例性实施例中,请参考图14,所述类别权重确定模块1330包括:类别信息识别单元1331以及类别权重确定单元1332。
类别信息识别单元1331,用于识别所述待检测图像中所述目标对象的类别信息,所述类别信息包括所述目标对象在所述待检测图像中所属实体的类别。
类别权重确定单元1332,用于根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,所述类别权重关系反映类别与权重之间的数学对应关系。
在示例性实施例中,请参考图14,所述类别信息识别单元1331用于:
对所述待检测图像进行语义分割处理,得到所述待检测图像中各对象的类别信息。
所述类别权重确定单元1332用于:
基于所述目标对象的类别信息,在类别权重数据结构中进行查找,得到所述目标对象的类别权重。
在示例性实施例中,请参考图14,所述装置1300还包括:运动状态检测模块1360、状态权重确定模块1370以及状态类别权重确定模块1380。
运动状态检测模块1360,用于检测所述目标对象在所述待检测图像中所属实体的运动状态。
状态权重确定模块1370,用于在所述实体的运动状态符合条件的情况下,确定所述目标对象的状态权重,所述状态权重用于表征所述待检测图像中所述目标对象在不同运动状态下的相对重要程度。
状态类别权重确定模块1380,用于将所述目标对象的状态权重与所述目标对象的类别权重进行结合,得到所述目标对象的状态类别权重,所述状态类别权重用于表征不同类别的目标对象在不同运动状态下的相对重要程度。
所述综合权重确定模块1340,用于在所述目标对象具有状态类别权重的情况下,根据所述目标对象的位置权重与状态类别权重,得到所述目标对象的综合权重。
所述综合权重确定模块1340,还用于在所述目标对象不具有状态类别权重的情况下,执行所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重的步骤。
在示例性实施例中,所述综合权重确定模块1340用于:
对所述位置权重与所述类别权重进行加权求和处理,得到所述目标像素的综合权重。
在示例性实施例中,请参考图14,所述目标对象包括目标像素,所述待检测图像是压缩图像;所述图像质量检测模块1350包括:像素差获取单元1351、加权相似度计算单元1352以及质量分评估单元1353。
像素差获取单元1351,用于获取所述待检测图像与参考图像在各像素上的像素差值,所述参考图像是指所述待检测图像未经压缩的原始图像。
加权相似度计算单元1352,用于基于所述各像素的综和权重与所述各像素上的像素差值,得到所述待检测图像与所述参考图像之间的加权相似度,所述加权相似度是指基于所述综和权重计算的峰值信噪比和/或结构相似度,所述峰值信噪比和/或结构相似度用于反映所述待检测图像与所述参考图像之间的差异程度。
质量分评估单元1353,用于基于所述加权相似度,得到所述待检测图像的图像质量分。
在示例性实施例中,请参考图14,所述装置1300还包括:算法调整模块1390。
算法调整模块1390,用于基于所述图像质量分,对图像处理算法进行调整。
在示例性实施例中,所述目标对象包括以下任意一种:目标像素、目标图像块、目标实体。
综上所述,本申请实施例提供的技术方案,通过检测目标对象在待检测图像中的位置,从而得到反映目标对象位置重要性的位置权重,再通过识别目标对象的类别来获取反映目标对象类别重要性的类别权重,进一步地将目标对象的位置权重与类别权重进行结合,得到反映目标对象的综合重要性的综合权重,最终在考虑各对象的综合权重的情况下,有侧重地评估待检测图像的图像质量,使得图像质量评估过程更加合理,所得到反映图像质量的图像质量分更加准确,提升图像质量评估的准确性。
另外,本申请实施例设计了一个位置权重模型,能够准确计算图像中每个像素点的位置权重;并且通过语义分割模型,将待检测图像按照类别分割为不同区域,并计算每个区域的类别权重,保证确定类别权重的准确性;最终综合位置权重和类别权重,并结合传统的PSNR/SSIM等方法,计算最终的图像质量分数,进一步保证了得到的图像质量分的可靠性。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图15,其示出了本申请一个实施例提供的计算机设备1500的结构框图。该计算机设备1500可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC(PersonalComputer)、语言学习终端、智能教学机等电子设备。该计算机设备用于实施上述实施例中提供的图像处理方法。该计算机设备可以是图1所示应用程序运行环境中的终端10或者服务器20。
通常,计算机设备1500包括有:处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令,至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集,且经配置以由一个或者一个以上处理器执行,以实现上述图像处理方法。
在一些实施例中,计算机设备1500还可选包括有:外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。
本领域技术人员可以理解,图15中示出的结构并不构成对计算机设备1500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序在被处理器执行时以实现上述图像处理方法。
可选地,该计算机可读存储介质可以包括:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机存取记忆体)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像处理方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (24)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待检测图像;
基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,所述位置权重用于反映所述目标对象在所述待检测图像中所占据位置的相对重要程度;
基于所述目标对象的类别信息,获取所述目标对象的类别权重,所述类别权重用于反映所述目标对象所属类别在所述待检测图像中的相对重要程度;
根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重;
基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,包括:
获取所述待检测图像中所述目标对象的位置信息,所述位置信息包括所述目标对象在所述待检测图像描述的物理空间中的位置;
根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,所述位置权重关系反映位置与权重之间的数学对应关系。
3.根据权利要求2所述的方法,其特征在于,所述目标对象包括目标像素,所述获取所述待检测图像中目标对象的位置信息,包括:
在所述待检测图像是前视图或侧视图的情况下,对所述前视图或所述侧视图进行图像变换处理,得到与所述前视图或所述侧视图对应的俯视图;
基于所述前视图或所述侧视图与所述俯视图之间的像素映射关系,获取所述前视图或所述侧视图中所述目标像素在所述俯视图中的位置坐标。
4.根据权利要求3所述的方法,其特征在于,所述根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,包括:
根据位置权重曲线以及所述目标像素在所述俯视图中的位置坐标,获取所述目标像素的位置权重,所述位置权重曲线通过描述像素位置与权重之间的数学关系来反映所述像素位置的相对重要程度。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标对象的类别信息,获取所述目标对象的类别权重,包括:
识别所述待检测图像中所述目标对象的类别信息,所述类别信息包括所述目标对象在所述待检测图像中所属实体的类别;
根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,所述类别权重关系反映类别与权重之间的数学对应关系。
6.根据权利要求5所述的方法,其特征在于,所述识别所述待检测图像中所述目标对象的类别信息,包括:
对所述待检测图像进行语义分割处理,得到所述待检测图像中各对象的类别信息;
所述根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,包括:
基于所述目标对象的类别信息,在类别权重数据结构中进行查找,得到所述目标对象的类别权重。
7.根据权利要求1所述的方法,其特征在于,所述获取待检测图像之后,还包括:
检测所述目标对象在所述待检测图像中所属实体的运动状态;
在所述实体的运动状态符合条件的情况下,确定所述目标对象的状态权重,所述状态权重用于表征所述待检测图像中所述目标对象在不同运动状态下的相对重要程度;
将所述目标对象的状态权重与所述目标对象的类别权重进行结合,得到所述目标对象的状态类别权重,所述状态类别权重用于表征不同类别的目标对象在不同运动状态下的相对重要程度;
在所述目标对象具有状态类别权重的情况下,根据所述目标对象的位置权重与状态类别权重,得到所述目标对象的综合权重;
在所述目标对象不具有状态类别权重的情况下,执行所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重的步骤。
8.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重,包括:
对所述位置权重与所述类别权重进行加权求和处理,得到所述目标像素的综合权重。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述目标对象包括目标像素,所述待检测图像是压缩图像;
所述基于所述待检测图像中各对象的综和权重,确定所述待检测图像的图像质量分,包括:
获取所述待检测图像与参考图像在各像素上的像素差值,所述参考图像是指所述待检测图像未经压缩的原始图像;
基于所述各像素的综和权重与所述各像素上的像素差值,得到所述待检测图像与所述参考图像之间的加权相似度,所述加权相似度是指基于所述综和权重计算的峰值信噪比和/或结构相似度,所述峰值信噪比和/或结构相似度用于反映所述待检测图像与所述参考图像之间的差异程度;
基于所述加权相似度,得到所述待检测图像的图像质量分。
10.根据权利要求1至8任一项所述的方法,其特征在于,所述基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分之后,还包括:
基于所述图像质量分,对图像处理算法进行调整。
11.根据权利要求1至8任一项所述的方法,其特征在于,所述目标对象包括以下任意一种:目标像素、目标图像块、目标实体。
12.一种图像处理装置,其特征在于,所述装置包括:
待测图像获取模块,用于获取待检测图像;
位置权重确定模块,用于基于所述待检测图像中目标对象的位置信息,获取所述目标对象的位置权重,所述位置权重用于反映所述目标对象在所述待检测图像中所占据位置的相对重要程度;
类别权重确定模块,用于基于所述目标对象的类别信息,获取所述目标对象的类别权重,所述类别权重用于反映所述目标对象所属类别在所述待检测图像中的相对重要程度;
综合权重确定模块,用于根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重;
图像质量检测模块,用于基于所述待检测图像中各对象的综合权重,确定所述待检测图像的图像质量分。
13.根据权利要求12所述的装置,其特征在于,所述位置权重确定模块包括:
位置信息获取单元,用于获取所述待检测图像中所述目标对象的位置信息,所述位置信息包括所述目标对象在所述待检测图像描述的物理空间中的位置;
位置权重确定单元,用于根据位置权重关系以及所述目标对象的位置信息,得到所述目标对象的位置权重,所述位置权重关系反映位置与权重之间的数学对应关系。
14.根据权利要求13所述的装置,其特征在于,所述目标对象包括目标像素,所述位置信息获取单元用于:
在所述待检测图像是前视图或侧视图的情况下,对所述前视图或所述侧视图进行图像变换处理,得到与所述前视图或所述侧视图对应的俯视图;
基于所述前视图或所述侧视图与所述俯视图之间的像素映射关系,获取所述前视图或所述侧视图中所述目标像素在所述俯视图中的位置坐标。
15.根据权利要求14所述的装置,其特征在于,所述位置权重确定单元用于:
根据位置权重曲线以及所述目标像素在所述俯视图中的位置坐标,获取所述目标像素的位置权重,所述位置权重曲线通过描述像素位置与权重之间的数学关系来反映所述像素位置的相对重要程度。
16.根据权利要求12所述的装置,其特征在于,所述类别权重确定模块包括:
类别信息识别单元,用于识别所述待检测图像中所述目标对象的类别信息,所述类别信息包括所述目标对象在所述待检测图像中所属实体的类别;
类别权重确定单元,用于根据类别权重关系以及所述目标对象的类别信息,得到所述目标对象的类别权重,所述类别权重关系反映类别与权重之间的数学对应关系。
17.根据权利要求16所述的装置,其特征在于,所述类别信息识别单元用于:
对所述待检测图像进行语义分割处理,得到所述待检测图像中各对象的类别信息;
所述类别权重确定单元用于:
基于所述目标对象的类别信息,在类别权重数据结构中进行查找,得到所述目标对象的类别权重。
18.根据权利要求12所述的装置,其特征在于,所述装置还包括:
运动状态检测模块,用于检测所述目标对象在所述待检测图像中所属实体的运动状态;
状态权重确定模块,用于在所述实体的运动状态符合条件的情况下,确定所述目标对象的状态权重,所述状态权重用于表征所述待检测图像中所述目标对象在不同运动状态下的相对重要程度;
状态类别权重确定模块,用于将所述目标对象的状态权重与所述目标对象的类别权重进行结合,得到所述目标对象的状态类别权重,所述状态类别权重用于表征不同类别的目标对象在不同运动状态下的相对重要程度;
所述综合权重确定模块,用于在所述目标对象具有状态类别权重的情况下,根据所述目标对象的位置权重与状态类别权重,得到所述目标对象的综合权重;
所述综合权重确定模块,还用于在所述目标对象不具有状态类别权重的情况下,执行所述根据所述目标对象的位置权重与类别权重,得到所述目标对象的综合权重的步骤。
19.根据权利要求12所述的装置,其特征在于,所述综合权重确定模块用于:
对所述位置权重与所述类别权重进行加权求和处理,得到所述目标像素的综合权重。
20.根据权利要求12至19任一项所述的装置,其特征在于,所述目标对象包括目标像素,所述待检测图像是压缩图像;
所述图像质量检测模块包括:
像素差获取单元,用于获取所述待检测图像与参考图像在各像素上的像素差值,所述参考图像是指所述待检测图像未经压缩的原始图像;
加权相似度计算单元,用于基于所述各像素的综和权重与所述各像素上的像素差值,得到所述待检测图像与所述参考图像之间的加权相似度,所述加权相似度是指基于所述综和权重计算的峰值信噪比和/或结构相似度,所述峰值信噪比和/或结构相似度用于反映所述待检测图像与所述参考图像之间的差异程度;
质量分评估单元,用于基于所述加权相似度,得到所述待检测图像的图像质量分。
21.根据权利要求12至19任一项所述的装置,其特征在于,所述装置还包括:
算法调整模块,用于基于所述图像质量分,对图像处理算法进行调整。
22.根据权利要求12至19任一项所述的装置,其特征在于,所述目标对象包括以下任意一种:目标像素、目标图像块、目标实体。
23.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至11任一项所述的方法。
24.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至11任一项所述的方法。
CN202080004518.6A 2020-12-03 2020-12-03 图像处理方法、装置、设备及存储介质 Active CN112703532B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/133674 WO2022116104A1 (zh) 2020-12-03 2020-12-03 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112703532A true CN112703532A (zh) 2021-04-23
CN112703532B CN112703532B (zh) 2022-05-31

Family

ID=75514813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004518.6A Active CN112703532B (zh) 2020-12-03 2020-12-03 图像处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112703532B (zh)
WO (1) WO2022116104A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191266A (zh) * 2021-04-30 2021-07-30 江苏航运职业技术学院 船舶动力装置远程监控管理方法及系统
CN113364963A (zh) * 2021-08-09 2021-09-07 浙江大华技术股份有限公司 成像控制方法及相关设备
CN118096580A (zh) * 2024-04-19 2024-05-28 深圳市元视芯智能科技有限公司 一种基于物联大数据的图像去噪方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620030B (zh) * 2022-12-06 2023-04-18 浙江正泰智维能源服务有限公司 一种图像匹配方法、装置、设备、介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
CN101976444A (zh) * 2010-11-11 2011-02-16 浙江大学 一种基于像素类型的结构类似性图像质量客观评价方法
CN102722888A (zh) * 2012-05-22 2012-10-10 天津大学 基于生理与心理立体视觉的立体图像客观质量评价方法
US20140307979A1 (en) * 2013-04-10 2014-10-16 Kabushiki Kaisha Toshiba Electronic apparatus and image processing method
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN106202089A (zh) * 2015-05-04 2016-12-07 阿里巴巴集团控股有限公司 一种确定图片质量和网页展示的方法及设备
CN108550259A (zh) * 2018-04-19 2018-09-18 何澜 道路拥堵判断方法、终端设备及计算机可读存储介质
CN109345552A (zh) * 2018-09-20 2019-02-15 天津大学 基于区域权重的立体图像质量评价方法
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010060B (zh) * 2017-12-06 2021-07-27 北京小米移动软件有限公司 目标检测方法及装置
CN108829826B (zh) * 2018-06-14 2020-08-07 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
US11113571B2 (en) * 2018-10-11 2021-09-07 Kognition Llc Target object position prediction and motion tracking
CN111696112B (zh) * 2020-06-15 2023-04-07 携程计算机技术(上海)有限公司 图像自动裁剪方法、系统、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853504A (zh) * 2010-05-07 2010-10-06 厦门大学 基于视觉特性与结构相似度的图像质量评测方法
CN101976444A (zh) * 2010-11-11 2011-02-16 浙江大学 一种基于像素类型的结构类似性图像质量客观评价方法
CN102722888A (zh) * 2012-05-22 2012-10-10 天津大学 基于生理与心理立体视觉的立体图像客观质量评价方法
US20140307979A1 (en) * 2013-04-10 2014-10-16 Kabushiki Kaisha Toshiba Electronic apparatus and image processing method
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN106202089A (zh) * 2015-05-04 2016-12-07 阿里巴巴集团控股有限公司 一种确定图片质量和网页展示的方法及设备
CN108550259A (zh) * 2018-04-19 2018-09-18 何澜 道路拥堵判断方法、终端设备及计算机可读存储介质
CN109345552A (zh) * 2018-09-20 2019-02-15 天津大学 基于区域权重的立体图像质量评价方法
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191266A (zh) * 2021-04-30 2021-07-30 江苏航运职业技术学院 船舶动力装置远程监控管理方法及系统
CN113191266B (zh) * 2021-04-30 2021-10-22 江苏航运职业技术学院 船舶动力装置远程监控管理方法及系统
CN113364963A (zh) * 2021-08-09 2021-09-07 浙江大华技术股份有限公司 成像控制方法及相关设备
CN113364963B (zh) * 2021-08-09 2021-11-16 浙江大华技术股份有限公司 成像控制方法及相关设备
CN118096580A (zh) * 2024-04-19 2024-05-28 深圳市元视芯智能科技有限公司 一种基于物联大数据的图像去噪方法
CN118096580B (zh) * 2024-04-19 2024-08-09 深圳市元视芯智能科技有限公司 一种基于物联大数据的图像去噪方法

Also Published As

Publication number Publication date
WO2022116104A1 (zh) 2022-06-09
CN112703532B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
Li et al. Image dehazing using residual-based deep CNN
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
US20230214976A1 (en) Image fusion method and apparatus and training method and apparatus for image fusion model
CN108895981B (zh) 一种三维测量方法、装置、服务器和存储介质
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112036339B (zh) 人脸检测的方法、装置和电子设备
CN112581379A (zh) 图像增强方法以及装置
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN113038123A (zh) 无参考全景视频质量评价方法、系统、终端及介质
CN114066999A (zh) 基于三维建模的目标定位系统及方法
CN115619652A (zh) 图像盲去噪方法、装置、电子设备和存储介质
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN114549297A (zh) 一种基于不确定分析的无监督单目深度估计方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN111914938A (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
CN111738099A (zh) 基于视频图像场景理解的人脸自动检测方法
Li (Retracted) Infrared image filtering and enhancement processing method based upon image processing technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant