CN109615620B - 图像压缩度识别方法、装置、设备及计算机可读存储介质 - Google Patents
图像压缩度识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109615620B CN109615620B CN201811456748.7A CN201811456748A CN109615620B CN 109615620 B CN109615620 B CN 109615620B CN 201811456748 A CN201811456748 A CN 201811456748A CN 109615620 B CN109615620 B CN 109615620B
- Authority
- CN
- China
- Prior art keywords
- target image
- block
- image
- sample
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明提供一种图像压缩度识别方法,其包括:获取目标图像,并识别目标图像的目标物体边沿区域;使用预设尺寸对目标图像进行分割操作,以获取与目标物体边沿区域相关的目标图像块;将目标图像块的像素灰阶值输入至预设神经网络模型中,以计算目标图像块对应的清晰度;根据目标图像块对应的清晰度,计算目标图像的清晰度,从而获取目标图像的压缩度。本发明还提供一种图像压缩度识别装置,本发明基于目标物体边沿区域相关的目标图像块来获取目标图像的压缩度,降低了视频清晰度的识别误差以及识别成本,提高了视频清晰度识别的识别效率。
Description
技术领域
本发明涉及图像识别领域,特别是涉及一种图像压缩度识别方法、装置、设备及计算机可读存储介质。
背景技术
在网络社交媒体中,图像和视频在获取、上传、处理、存储和传输的过程中,通常会经过多轮压缩处理。以JPEG(Joint Photographic Experts Group,联合图像专家小组)为代表的压缩算法虽然让上述过程更有效率,也不可避免地降低了图像和视频的显示质量,从而降低了用户体验。
有时用户创作一件具有各种特效的视频,通常会使用多个软件处理该视频,进而导致该视频经过了多次上传和处理。在这个过程中视频被多次压缩,产生了很多JPEG压缩痕迹,例如在图像或视频的边沿存在锯齿以及图像或视频的纯色区域具有马赛克效应等,这些压缩痕迹都严重的降低了视频图像的清晰度。
因此视频或图像的清晰度成为视频或图像的一个重要指标,现有的短视频应用的视频上传量非常大,现在往往是使用人工对视频清晰度进行标注,这样导致视频清晰度的标注是昂贵和低效的,且不同人工对视频清晰度的判断也是具有一定主观性的,从而导致标注的视频清晰度有时具有较大的误差。
发明内容
本发明实施例提供一种可方便、快捷且高效的进行视频清晰度识别的图像压缩度识别方法以及图像压缩度识别装置;以有效的解决现有的图像压缩度识别方法以及图像压缩度识别装置的视频清晰度的识别误差较大、成本高以及效率低的技术问题。
本发明实施例提供一种图像压缩度识别方法,其包括:
获取目标图像,并识别所述目标图像的目标物体边沿区域;
使用预设尺寸对所述目标图像进行分割操作,以获取与所述目标物体边沿区域相关的目标图像块;
将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以计算所述目标图像块对应的清晰度;以及
根据所述目标图像块对应的清晰度,计算所述目标图像的清晰度,从而获取所述目标图像的压缩度。
本发明实施例还提供一种图像压缩度识别装置,其包括:
目标物体边沿区域识别模块,用于获取目标图像,并识别所述目标图像的目标物体边沿区域;
目标图像块获取模块,用于使用预设尺寸对所述目标图像进行分割操作,以获取与所述目标物体边沿区域相关的目标图像块;
目标图像块清晰度计算模块,用于将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以计算所述目标图像块对应的清晰度;以及
目标图像清晰度计算模块,用于根据所述目标图像块对应的清晰度,计算所述目标图像的清晰度,从而获取所述目标图像的压缩度。
在本发明的图像压缩度识别装置中,所述图像压缩度识别装置还包括:
样本图像获取模块,用于获取具有压缩标识的样本物体边沿区域的多个样本图像;
样本图像块获取模块,用于使用预设尺寸对所述样本图像进行分割操作,以获取与所述样本物体边沿区域相关的样本图像块;
图像块清晰度属性设定模块,用于根据所述压缩标识,设定每个所述样本图像块的清晰度属性;以及
模型创建模块,用于将所有所述样本图像块的像素灰阶值作为预设神经网络模型框架的输入,所述样本图像块的清晰度属性作为预设神经网络建模型框架的输出,通过机器训练创建所述预设神经网络模型。
在本发明的图像压缩度识别装置中,所述样本图像块获取模块包括:
样本图像预备块获取单元,用于使用预设尺寸对所述样本图像进行分割操作,以获取所述样本图像的样本图像预备块;以及
样本图像块获取单元,用于根据所述样本图像预备块中所述样本物体边沿区域相关的像素的数量,确定所述样本图像预备块中的样本图像块。
在本发明的图像压缩度识别装置中,所述样本图像块获取单元具体用于将所述样本物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的样本图像预备块设定为样本图像块。
在本发明的图像压缩度识别装置中,所述图像块清晰度属性设定模块具体用于如所述样本图像块中具有压缩标识,则设定所述样本图像块为低清晰度样本图像块;如所述样本图像块中不具有压缩标识,则设定所述样本图像块为高清晰度样本图像块。
在本发明的图像压缩度识别装置中,所述预设神经网络模型框架包括用于输入所述样本图像块的像素灰阶值的输入层、用于提取所述样本图像块的图像特征的卷积层、用于降低所述样本图像块的图像特征的维度的池化层、用于输出样本图像块的图像特征的分类结果的输出层以及用于对输出结果进行非线性化操作的激活函数层。
在本发明的图像压缩度识别装置中,所述目标图像块获取模块包括:
目标图像预备块获取单元,用于使用预设尺寸对所述目标图像进行分割操作,以获取所述目标图像的目标图像预备块;以及
目标图像块获取单元,用于根据所述目标图像预备块中所述目标物体边沿区域相关的像素的数量,确定所述目标图像预备块中的目标图像块。
在本发明的图像压缩度识别装置中,所述目标图像块获取单元具体用于将所述目标物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的目标图像预备块设定为目标图像块。
在本发明的图像压缩度识别装置中,所述目标图像块清晰度计算模块包括:
清晰置信度获取单元,用于将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以得到所述目标图像块的清晰置信度;以及
图像块清晰度获取单元,用于获取所述目标图像块中每个像素的显著性权重,并根据所述目标图像块中每个像素的显著性权重以及所述目标图像块的清晰置信度,获取所述目标图像块对应的清晰度。
本发明实施例还提供一种计算机可读存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行上述的图像压缩度识别方法。
本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,所述处理器通过调用所述计算机程序,用于执行上述的图像压缩度识别方法。
相较于现有技术,本发明的图像压缩度识别方法以及图像压缩度识别装置基于目标物体边沿区域相关的目标图像块来获取目标图像的压缩度,降低了视频清晰度的识别误差以及识别成本,提高了视频清晰度识别的识别效率;有效的解决了现有的图像压缩度识别方法以及图像压缩度识别装置的视频清晰度的识别误差较大、成本高以及效率低的技术问题。
附图说明
图1a为本发明的图像压缩度识别方法的第一实施例的流程图;
图1b为本发明的图像压缩度识别方法的目标图像的目标物体边沿区域的示意图;
图2为本发明的图像压缩度识别方法的第二实施例的流程图;
图3为本发明的图像压缩度识别方法的预设神经网络模型创建的流程图;
图4为本发明的图像压缩度识别方法的预设神经网络模型框架的结构示意图;
图5为本发明的图像压缩度识别装置的第一实施例的结构示意图;
图6为本发明的图像压缩度识别装置的第二实施例的结构示意图;
图7为本发明的图像压缩度识别装置的第二实施例的目标图像块获取模块的结构示意图;
图8为本发明的图像压缩度识别装置的第二实施例的目标图像块清晰度计算模块的结构示意图;
图9为本发明的图像压缩度识别装置中的预设神经网络模型创建相关模块的结构示意图;
图10为本发明的图像压缩度识别装置的样本图像块获取模块的结构示意图;
图11为本发明的图像压缩度识别方法以及图像压缩度识别装置的图像压缩度识别过程的示意图;
图12为本发明的图像压缩度识别方法以及图像压缩度识别装置的图像筛选过程示意图;
图13为本发明的图像压缩度识别装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明,除非另有述明。因此,其将可了解到这些步骤及操作,其中有数次提到为由计算机执行,包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的图像压缩度识别方法及图像压缩度识别装置可设置在任何的电子设备中,用于对目标图像进行图像压缩度的识别。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。该电子设备优选为对目标图像进行图像压缩度识别的固定终端或移动终端,以便用户可快速准确的获取目标图像的压缩度或清晰度。
请参照图1a,图1a为本发明的图像压缩度识别方法的第一实施例的流程图。本实施例的图像压缩度识别方法可使用上述的电子设备进行实施,本实施例的目标检测方法包括:
步骤S101,获取目标图像,并识别目标图像的目标物体边沿区域;
步骤S102,使用预设尺寸对目标图像进行分割操作,以获取与目标物体边沿区域相关的目标图像块;
步骤S103,将目标图像块的像素灰阶值输入至预设神经网络模型中,以计算目标图像块对应的清晰度;
步骤S104,根据目标图像块对应的清晰度,计算目标图像的清晰度,从而获取目标图像的压缩度。
下面详细说明本实施例的图像压缩度识别方法的各步骤的具体流程。
在步骤S101中,图像压缩度识别装置获取目标图像,这里的目标图像是指用于进行图像压缩度识别的图像,该目标图像可为视频文件中的某些画面帧或是直接进行图像压缩度识别的图像文件。
随后图像压缩度识别装置识别目标图像的目标物体边沿区域,目标图像中可具有各种各样的目标物体,如区别于背景的人物、飞机、汽车等。目标物体边沿区域是指上述目标物体的边沿区域,如人物的边沿、飞机的边沿或汽车的边沿等。这里可通过Opencv工具包(一个基于BSD(Berkly Software Distribution,伯克利软件套件)许可发行的跨平台计算机视觉库)中的Canny算子目标图像中目标物体的边沿区域,即按目标图像中像素的灰度变化梯度来判断目标物体的边沿区域。如图1b中的女生所在区域10即为目标图像中的目标物体,女生的边沿区域即为目标图像的目标物体边沿区域。
在步骤S102中,图像压缩度识别装置使用预设尺寸如32*32或64*64的像素比例对目标图像进行分割操作,从而获取目标图像的目标图像块。随后图像压缩度识别装置根据目标图像块中的目标物体边沿区域的内容,确定所有目标图像块中与目标物体边沿区域相关的目标图像块。
在步骤S103中,图像压缩度识别装置将步骤S102中获取的与目标物体边沿区域相关的目标图像块作为目标图像的清晰度确定依据。因此图像压缩度识别装置将与目标物体边沿区域相关的目标图像块的像素灰阶值输入至预设神经网络模型中。这里的预设神经网络模型是图像压缩度识别装置预先训练的,用于根据目标图像块的像素灰阶值来获取目标图像块对应的清晰度的神经网络模型。这里的像素灰阶值可为目标图像块的黑白像素灰阶值,也可为目标图像块的RGB(红绿蓝)像素的灰阶值。下面会具体描述该预设神经网络模型如何通过机器训练来创建。
这样预设神经网络模型可通过计算输出目标图像块对应的清晰度,即每个目标图像块的图像压缩程度。
在步骤S104中,图像压缩度识别装置根据步骤S103获取的目标图像块对应的清晰度,计算目标图像的清晰度,进而根据目标图像的清晰度获取目标图像的压缩度。这里目标图像的清晰度越高,目标图像的压缩度越低;目标图像的清晰度越低,目标图像的压缩度越高。
这样即完成了本实施例的图像压缩度识别方法的目标图像压缩度识别过程。
本实施例的图像压缩度识别方法基于目标物体边沿区域相关的目标图像块来获取目标图像的压缩度,由于统一使用预设神经网络模型输出目标图像块的清晰度,因此降低了视频清晰度的识别误差以及识别成本,提高了视频清晰度识别的识别效率。
请参照图2,图2为本发明的图像压缩度识别方法的第二实施例的流程图。本实施例的图像压缩度识别方法可使用上述的电子设备进行实施,本实施例的目标检测方法包括:
步骤S201,获取目标图像,并识别目标图像的目标物体边沿区域;
步骤S202,使用预设尺寸对目标图像进行分割操作,以获取所述目标图像的目标图像预备块;
步骤S203,根据目标图像预备块中的目标物体边沿区域相关的像素的数量,确定目标图像预备块中的目标图像块;
步骤S204,将目标图像块的像素灰阶值输入至预设神经网络模型中,以得到目标图像块的清晰置信度;
步骤S205,获取目标图像块中每个像素的显著性权重,并根据目标图像块中每个像素的显著性权重以及目标图像块的清晰置信度,获取目标图像块对应的清晰度;
步骤S206,根据目标图像块对应的清晰度,计算目标图像的清晰度,从而获取目标图像的压缩度。
下面详细说明本实施例的图像压缩度识别方法的各步骤的具体流程。
在步骤S201中,图像压缩度识别装置获取目标图像,这里的目标图像是指用于进行图像压缩度识别的图像,该目标图像可为视频文件中的某些画面帧或是直接进行图像压缩度识别的图像文件。
随后图像压缩度识别装置识别目标图像的目标物体边沿区域,目标图像中可具有各种各样的目标物体,如区别于背景的人物、飞机、汽车等。目标物体边沿区域是指上述目标物体的边沿区域,如人物的边沿、飞机的边沿或汽车的边沿等。
在步骤S202中,图像压缩度识别装置使用预设尺寸如32*32或64*64的像素比例对目标图像进行分割操作,从而获取目标图像的目标图像预备块。这里的目标图像预备块既包括用于评价目标图像的清晰度的目标图像块,也包括不能对目标图像进行清晰度评价的其他目标图像预备块。
在步骤S203中,图像压缩度识别装置识别目标图像预备块中的目标物体边沿区域相关的像素,即识别具有目标物体边缘区域相关像素的目标图像预备块。然后图像压缩度识别装置根据目标图像预备块中目标物体边沿区域相关的像素的数量来确定目标图像预备块是否为可评价目标图像的清晰度的目标图像块。
具体的,这里图像压缩度识别装置可将目标物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的目标图像预备块设定为目标图像块。
图像压缩度识别装置遍历所有的目标图像预备块,如目标图像预备块中目标物体边沿区域相关的像素的数量小于第一设定值,则判定该目标图像预备块没有有效覆盖目标物体边沿区域,该目标图像预备块不是目标图像块,该第一设定值可为N/2至N中的一个值,其中N为目标图像预备块的预设边长尺寸。
如目标图像预备块中目标物体边沿区域相关的像素的数量大于第二设定值,则判定目标图像预备块内的边沿纹理过多,不适合进行目标图像块的清晰度的评价,该目标图像预备块也不是目标图像块,该第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为目标图像预备块的预设边长尺寸。
这样图像压缩度识别装置可确定目标图像预备块中的目标图像块。
在步骤S204中,图像压缩度识别装置将步骤S203获取的目标图像块的灰阶值输入到预设神经网络模型中,这里的预设神经网络模型是图像压缩度识别装置预先训练的,用于根据目标图像块的像素灰阶值来获取目标图像块对应的清晰度的神经网络模型。下面会具体描述该预设神经网络模型如何通过机器训练来创建。
这样预设神经网络模型可通过计算输出输入的目标图像块对应的清晰置信度。
在步骤S205中,由于目标图像块中的每个像素对于画面显著性呈现的权重不同,因此图像压缩度识别装置需要使用目标图像块中每个像素的显著性权重对目标图像块对应的清晰置信度进行修正。
具体的,图像压缩度识别装置可使用Boolean Map based Saliency模型(基于布尔图的显著性检测模型)对目标图像做像素级的显著性检测,从而获取目标图像块中每个像素的显著性权重(在0-1之间)。
随后图像压缩度识别装置对目标图像块中每个像素的显著性权重求平均得到每个目标图像块的显著性权重,随后根据每个目标图像块的显著性权重以及目标图像块的清晰置信度,获取目标图像块对应的清晰度。
即Si=si*ai,其中S为目标图像块的清晰度,s为目标图像块的清晰置信度,a为目标图像块的显著性权重,i为目标图像块的编号。
在步骤S206中,图像压缩度识别装置计算步骤S205获取的所有目标图像块对应的清晰度的平均值,即为目标图像的清晰度,进而根据目标图像的清晰度获取目标图像的压缩度。这里目标图像的清晰度越高,目标图像的压缩度越低;目标图像的清晰度越低,目标图像的压缩度越高。使用像素的显著性权重对目标图像块的清晰度进行修正,可使得修正后的清晰度更加关注目标图像最显著的部分,使得目标图像的清晰度更加符合人类视觉系统的主观感受。
这样即完成了本实施例的图像压缩度识别方法的目标图像压缩度识别过程。
在第一实施例的基础上,本实施例的图像压缩度识别方法通过第一设定值和第二设定值来确定目标图像块,进一步提高了获取的目标图像块的有效性;同时使用像素的显著性权重对目标图像块的清晰度进行修正,进一步提高了输出目标图像的压缩度的准确性。
请参照图3,图3为本发明的图像压缩度识别方法的预设神经网络模型创建的流程图。本实施例的预设神经网络模型创建包括:
步骤S301,获取具有压缩标识的样本物体边沿区域的多个样本图像;
步骤S302,使用预设尺寸对样本图像进行分割操作,以获取与样本物体边沿区域相关的样本图像块;
步骤S303,根据压缩标识,设定每个样本图像块的清晰度属性;
步骤S304,将所有样本图像块的像素灰阶值作为预设神经网络模型框架的输入,样本图像块的清晰度属性作为预设神经网络模型框架的输出,通过机器训练创建预设神经网路模型。
在步骤S301中,图像压缩度识别装置获取多个样本图像,然后可识别每个样本图像的样本物体边沿区域,可通过Opencv工具包中的Canny算子检测样本图像中样本物体的边沿区域。随后人工对每个样本图像中的样本物体边沿区域进行压缩标识,即对具有压缩痕迹的样本物体边沿区域标识为压缩边沿,对不具有压缩痕迹的样本物体边沿区域标识为清晰边沿。
这样图像压缩度识别装置即获取了具有压缩标识的样本物体边沿区域的多个样本图像。
在步骤S302中,图像压缩度识别装置使用预设尺寸如32*32或64*64的像素比例对样本图像进行分割操作,从而获取样本图像的样本图像块。随后图像压缩度识别装置根据样本图像块中的样本物体边沿区域的内容,确定所有样本图像块中与样本物体边沿区域相关的样本图像块。
具体的,图像压缩度识别装置可使用预设尺寸如32*32或64*64的像素比例对样本图像进行分割操作,以获取样本图像的样本图像预备块。
这里的样本图像预备块既包括用于评价样本图像的清晰度的样本图像块,也包括不能对样本图像进行清晰度评价的其他样本图像预备块。
然后图像压缩度识别装置根据样本图像预备块中样本物体边沿区域相关的像素的数量来确定样本图像预备块是否为可评价样本图像的清晰度的样本图像块。
具体的,这里图像压缩度识别装置可将样本物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的样本图像预备块设定为样本图像块。
图像压缩度识别装置遍历所有的样本图像预备块,如样本图像预备块中样本物体边沿区域相关的像素的数量小于第一设定值,则判定该样本图像预备块没有有效覆盖目标物体边沿区域,该样本图像预备块不是目标图像块,该第一设定值可为N/2至N中的一个值,其中N为样本图像预备块的预设边长尺寸。
如样本图像预备块中样本物体边沿区域相关的像素的数量大于第二设定值,则判定样本图像预备块内的边沿纹理过多,不适合进行样本图像块的清晰度的评价,该样本图像预备块也不是样本图像块,该第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为样本图像预备块的预设边长尺寸。
这样图像压缩度识别装置可确定样本图像预备块中的样本图像块。
在步骤S303中,图像压缩度识别装置根据样本图像块上的压缩标识,设定每个样本图像块的清晰度属性。如样本图像块中具有压缩标识,即在步骤S301中人工标识该样本图像块具有压缩边沿,则设定该样本图像块为低清晰度样本图像块;如样本图像块中不具有压缩标识,即在步骤S301中人工标识该样本图像块具有清晰边沿,则设定该样本图像块为高清晰度样本图像块。
在步骤S304中,图像压缩度识别装置将步骤S302获取的所有样本图像块的像素灰阶值作为预设神经网络模型框架的输入,将步骤S303获取的样本图像块的清晰度属性作为预设神经网络模型框架的输出,通过机器训练获取该预设神经网络模型框架的参数,从而创建对应的预设神经网路模型(具有对应参数的预设神经网络模型框架)。
具体的,这里的预设神经网络模型框架包括用于输入样本图像块的像素灰阶值的输入层401、用于提取样本图像块的图像特征的卷积层402、用于降低样本图像块的图像特征的维度的池化层403、用于输出样本图像块的图像特征的分类结果的输出层404以及用于对输出结果进行非线性化操作的激活函数层405。
该预设神经网络模型框架的结构可如图4所示,样本图像块的像素灰阶值直接进入一个卷积核大小为7*7、通道数为50的卷积层402;随后池化层403对卷积层402的输出结果分别做最大池化和最小池化,分别得到2个50维的向量;然后池化层403将2个50维的向量串联为一个100维的向量;这个100维的向量通过输出层404的两个全连接层以及具有ReLU(线性整流函数(Rectified Linear Unit)的激活函数层405输出样本图像块的清晰度的置信度,最后将输出的样本图像块的清晰度的置信度与样本图像块的实际清晰度属性进行比较后,根据比较结果进行反向传播,对预设神经网络模型框架的参数进行调整,以使得输出的样本图像块的清晰度的置信度与样本图像块的实际清晰度属性尽量符合。
这里可使用cross-entropy loss(交叉熵)作为损失函数,设置SGD(Stochasticgradient descent,随机梯度下降)作为预设神经网络模型框架的优化算法,参数的学习率设置为1e-3,势能为0.9,批尺寸为128。
这样即完成了本实施例的预设神经网络模型的创建过程。
本实施例的预设神经网络模型通过人工进行压缩标识设置的样本图像块进行训练,保证了训练生成的预设神经网络模型的准确性;通过第一设定值和第二设定值来确定样本图像块,进一步提高了获取的样本图像块的有效性。
本发明还提供一种图像压缩度识别装置,请参照图5,图5为本发明的图像压缩度识别装置的第一实施例的结构示意图。本实施例的图像压缩度识别装置可使用上述的图像压缩度识别方法的第一实施例进行实施,本实施例的图像压缩度识别装置50包括目标物体边沿区域识别模块51、目标图像块获取模块52、目标图像块清晰度计算模块53以及目标图像清晰度计算模块54。
目标物体边沿区域识别模块51用于获取目标图像,并识别目标图像的目标物体边沿区域;目标图像块获取模块52用于使用预设尺寸对目标图像进行分割操作,以获取与目标物体边沿区域相关的目标图像块;目标图像块清晰度计算模块53用于将目标图像块的像素灰阶值输入至预设神经网络模型中,以计算目标图像块对应的清晰度;目标图像清晰度计算模块54用于根据目标图像块对应的清晰度,计算目标图像的清晰度,从而获取目标图像的压缩度。
本实施例的图像压缩度识别装置50使用时,首先目标物体边沿区域识别模块51获取目标图像,这里的目标图像是指用于进行图像压缩度识别的图像,该目标图像可为视频文件中的某些画面帧或是直接进行图像压缩度识别的图像文件。
随后目标物体边沿区域识别模块51识别目标图像的目标物体边沿区域,目标图像中可具有各种各样的目标物体,如区别于背景的人物、飞机、汽车等。目标物体边沿区域是指上述目标物体的边沿区域,如人物的边沿、飞机的边沿或汽车的边沿等。这里可通过Opencv工具包(一个基于BSD(Berkly Software Distribution,伯克利软件套件)许可发行的跨平台计算机视觉库)中的Canny算子目标图像中目标物体的边沿区域,即按目标图像中像素的灰度变化梯度来判断目标物体的边沿区域。
随后目标图像块获取模块52使用预设尺寸如32*32或64*64的像素比例对目标图像进行分割操作,从而获取目标图像的目标图像块。随后目标图像块获取模块52根据目标图像块中的目标物体边沿区域的内容,确定所有目标图像块中与目标物体边沿区域相关的目标图像块。
然后目标图像块清晰度计算模块53将获取的与目标物体边沿区域相关的目标图像块作为目标图像的清晰度确定依据。因此目标图像块清晰度计算模块53将与目标物体边沿区域相关的目标图像块的像素灰阶值输入至预设神经网络模型中。这里的预设神经网络模型是图像压缩度识别装置50预先训练的,用于根据目标图像块的像素灰阶值来获取目标图像块对应的清晰度的神经网络模型。下面会具体描述该预设神经网络模型如何通过机器训练来创建。
这样预设神经网络模型可通过计算输出目标图像块对应的清晰度,即每个目标图像块的图像压缩程度。
最后目标图像清晰度计算模块54根据获取的目标图像块对应的清晰度,计算目标图像的清晰度,进而根据目标图像的清晰度获取目标图像的压缩度。这里目标图像的清晰度越高,目标图像的压缩度越低;目标图像的清晰度越低,目标图像的压缩度越高。
这样即完成了本实施例的图像压缩度识别装置50的目标图像压缩度识别过程。
本实施例的图像压缩度识别装置基于目标物体边沿区域相关的目标图像块来获取目标图像的压缩度,由于统一使用预设神经网络模型输出目标图像块的清晰度,因此降低了视频清晰度的识别误差以及识别成本,提高了视频清晰度识别的识别效率。
请参照图6,图6为本发明的图像压缩度识别装置的第二实施例的结构示意图。本实施例的图像压缩度识别装置可使用上述的图像压缩度识别方法的第二实施例进行实施,本实施例的图像压缩度识别装置60包括目标物体边沿区域识别模块61、目标图像块获取模块62、目标图像块清晰度计算模块63以及目标图像清晰度计算模块64。
目标物体边沿区域识别模块61用于获取目标图像,并识别目标图像的目标物体边沿区域;目标图像块获取模块62用于使用预设尺寸对目标图像进行分割操作,以获取与目标物体边沿区域相关的目标图像块;目标图像块清晰度计算模块63用于将目标图像块的像素灰阶值输入至预设神经网络模型中,以计算目标图像块对应的清晰度;目标图像清晰度计算模块64用于根据目标图像块对应的清晰度,计算目标图像的清晰度,从而获取目标图像的压缩度。
请参照图7,图7为本发明的图像压缩度识别装置的第二实施例的目标图像块获取模块的结构示意图。该目标图像块获取模块62包括目标图像预备块获取单元71以及目标图像块获取单元72。
目标图像预备块获取单元71用于使用预设尺寸对目标图像进行分割操作,以获取目标图像的目标图像预备块;目标图像块获取单元72用于根据目标图像预备块中目标物体边沿区域相关的像素的数量,确定目标图像预备块中的目标图像块。
请参照图8,图8为本发明的图像压缩度识别装置的第二实施例的目标图像块清晰度计算模块的结构示意图。该目标图像块清晰度计算模块63包括清晰置信度获取单元81以及图像块清晰度获取单元82。
清晰置信度获取单元81用于将目标图像块的像素灰阶值输入至预设神经网络模型中,以得到目标图像块的清晰置信度;图像块清晰度获取单元82用于获取目标图像块中每个像素的显著性权重,并根据目标图像块中每个像素的显著性权重以及目标图像块的清晰置信度,获取目标图像块对应的清晰度。
本实施例的图像压缩度识别装置60使用时,目标物体边沿区域识别模块61获取目标图像,这里的目标图像是指用于进行图像压缩度识别的图像,该目标图像可为视频文件中的某些画面帧或是直接进行图像压缩度识别的图像文件。
随后目标物体边沿区域识别模块61识别目标图像的目标物体边沿区域,目标图像中可具有各种各样的目标物体,如区别于背景的人物、飞机、汽车等。目标物体边沿区域是指上述目标物体的边沿区域,如人物的边沿、飞机的边沿或汽车的边沿等。
然后目标图像块获取模块62的目标图像预备块获取单元71使用预设尺寸如32*32或64*64的像素比例对目标图像进行分割操作,从而获取目标图像的目标图像预备块。这里的目标图像预备块既包括用于评价目标图像的清晰度的目标图像块,也包括不能对目标图像进行清晰度评价的其他目标图像预备块。
随后目标图像块获取模块62的目标图像块获取单元72识别目标图像预备块中的目标物体边沿区域相关的像素,即识别具有目标物体边缘区域相关像素的目标图像预备块。然后目标图像块获取单元72根据目标图像预备块中目标物体边沿区域相关的像素的数量来确定目标图像预备块是否为可评价目标图像的清晰度的目标图像块。
具体的,这里目标图像块获取单元72可将目标物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的目标图像预备块设定为目标图像块。
目标图像块获取单元72遍历所有的目标图像预备块,如目标图像预备块中目标物体边沿区域相关的像素的数量小于第一设定值,则判定该目标图像预备块没有有效覆盖目标物体边沿区域,该目标图像预备块不是目标图像块,该第一设定值可为N/2至N中的一个值,其中N为目标图像预备块的预设边长尺寸。
如目标图像预备块中目标物体边沿区域相关的像素的数量大于第二设定值,则判定目标图像预备块内的边沿纹理过多,不适合进行目标图像块的清晰度的评价,该目标图像预备块也不是目标图像块,该第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为目标图像预备块的预设边长尺寸。
这样目标图像块获取单元72可确定目标图像预备块中的目标图像块。
随后目标图像块清晰度计算模块63的清晰置信度获取单元81将获取的目标图像块的灰阶值输入到预设神经网络模型中,这里的预设神经网络模型是图像压缩度识别装置预先训练的,用于根据目标图像块的像素灰阶值来获取目标图像块对应的清晰度的神经网络模型。下面会具体描述该预设神经网络模型如何通过机器训练来创建。
这样预设神经网络模型可通过计算输出目标图像块对应的清晰置信度。
由于目标图像块中的每个像素对于画面显著性呈现的权重不同,因此目标图像块清晰度计算模块63的图像块清晰度获取单元82需要使用目标图像块中每个像素的显著性权重对目标图像块对应的清晰置信度进行修正。
具体的,图像块清晰度获取单元82可使用Boolean Map based Saliency模型(基于布尔图的显著性检测模型)对目标图像做像素级的显著性检测,从而获取目标图像块中每个像素的显著性权重(在0-1之间)。
随后图像块清晰度获取单元82对目标图像块中每个像素的显著性权重求平均得到每个目标图像块的显著性权重,随后根据每个目标图像块的显著性权重以及目标图像块的清晰置信度,获取目标图像块对应的清晰度。
即Si=si*ai,其中S为目标图像块的清晰度,s为目标图像块的清晰置信度,a为目标图像块的显著性权重,i为目标图像块的编号。
最后目标图像清晰度计算模块64计算获取的所有目标图像块对应的清晰度的平均值,即为目标图像的清晰度,进而根据目标图像的清晰度获取目标图像的压缩度。这里目标图像的清晰度越高,目标图像的压缩度越低;目标图像的清晰度越低,目标图像的压缩度越高。使用像素的显著性权重对目标图像块的清晰度进行修正,可使得修正后的清晰度更加关注目标图像最显著的部分,使得目标图像的清晰度更加符合人类视觉系统的主观感受。
这样即完成了本实施例的图像压缩度识别装置60的目标图像压缩度识别过程。
在第一实施例的基础上,本实施例的图像压缩度识别装置通过第一设定值和第二设定值来确定目标图像块,进一步提高了获取的目标图像块的有效性;同时使用像素的显著性权重对目标图像块的清晰度进行修正,进一步提高了输出目标图像的压缩度的准确性。
请参照图9,图9为本发明的图像压缩度识别装置中的预设神经网络模型创建相关模块的结构示意图。该图像压缩度识别装置中的预设神经网络模型创建相关模块包括样本图像获取模块91、样本图像块获取模块92、图像块清晰度属性设定模块93以及模型创建模块94。
样本图像获取模块91用于获取具有压缩标识的样本物体边沿区域的多个样本图像;样本图像块获取模块92用于使用预设尺寸对所述样本图像进行分割操作,以获取与样本物体边沿区域相关的样本图像块;图像块清晰度属性设定模块93用于根据所述压缩标识,设定每个样本图像块的清晰度属性;模型创建模块94用于将所有样本图像块的像素灰阶值作为预设神经网络模型框架的输入,样本图像块的清晰度属性作为预设神经网络建模型框架的输出,通过机器训练创建预设神经网络模型。
请参照图10,图10为本发明的图像压缩度识别装置的样本图像块获取模块的结构示意图。该样本图像块获取模块92包括样本图像预备块获取单元101以及样本图像块获取单元102。
样本图像预备块获取单元101用于使用预设尺寸对样本图像进行分割操作,以获取样本图像的样本图像预备块;样本图像块获取单元102用于根据样本图像预备块中样本物体边沿区域相关的像素的数量,确定样本图像预备块中的样本图像块。
本实施例的图像压缩度识别装置进行预设神经网络模型创建时,首先样本图像获取模块91获取多个样本图像,然后可识别每个样本图像的样本物体边沿区域,可通过Opencv工具包中的Canny算子检测样本图像中样本物体的边沿区域。随后人工对每个样本图像中的样本物体边沿区域进行压缩标识,即对具有压缩痕迹的样本物体边沿区域标识为压缩边沿,对不具有压缩痕迹的样本物体边沿区域标识为清晰边沿。
这样样本图像获取模块91即获取了具有压缩标识的样本物体边沿区域的多个样本图像。
然后样本图像块获取模块92的样本图像预备块获取单元101使用预设尺寸如32*32或64*64的像素比例对样本图像进行分割操作,从而获取样本图像的样本图像块。随后样本图像预备块获取单元101根据样本图像块中的样本物体边沿区域的内容,确定所有样本图像块中与样本物体边沿区域相关的样本图像块。
具体的,样本图像预备块获取单元101可使用预设尺寸如32*32或64*64的像素比例对样本图像进行分割操作,以获取样本图像的样本图像预备块。
这里的样本图像预备块既包括用于评价样本图像的清晰度的样本图像块,也包括不能对样本图像进行清晰度评价的其他样本图像预备块。
然后样本图像块获取模块92的样本图像块获取单元102根据样本图像预备块中样本物体边沿区域相关的像素的数量来确定样本图像预备块是否为可评价样本图像的清晰度的样本图像块。
具体的,这里样本图像块获取单元102可将样本物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的样本图像预备块设定为样本图像块。
样本图像块获取单元102遍历所有的样本图像预备块,如样本图像预备块中样本物体边沿区域相关的像素的数量小于第一设定值,则判定该样本图像预备块没有有效覆盖样本物体边沿区域,该样本图像预备块不是样本图像块,该第一设定值可为N/2至N中的一个值,其中N为样本图像预备块的预设边长尺寸。
如样本图像预备块中样本物体边沿区域相关的像素的数量大于第二设定值,则判定样本图像预备块内的边沿纹理过多,不适合进行样本图像块的清晰度的评价,该样本图像预备块也不是样本图像块,该第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为样本图像预备块的预设边长尺寸。
这样样本图像块获取单元102可确定样本图像预备块中的样本图像块。
然后图像块清晰度属性设定模块93根据样本图像块上的压缩标识,设定每个样本图像块的清晰度属性。如样本图像块中具有压缩标识,即人工标识该样本图像块具有压缩边沿,则图像块清晰度属性设定模块93设定该样本图像块为低清晰度样本图像块;如样本图像块中不具有压缩标识,即人工标识该样本图像块具有清晰边沿,则图像块清晰度属性设定模块93设定该样本图像块为高清晰度样本图像块。
最后模型创建模块94将获取的所有样本图像块的像素灰阶值作为预设神经网络模型框架的输入,将获取的样本图像块的清晰度属性作为预设神经网络模型框架的输出,通过机器训练获取该预设神经网络模型框架的参数,从而创建对应的预设神经网路模型(具有对应参数的预设神经网络模型框架)。
具体的,这里的预设神经网络模型框架包括用于输入样本图像块的像素灰阶值的输入层、用于提取样本图像块的图像特征的卷积层、用于降低样本图像块的图像特征的维度的池化层、用于输出样本图像块的图像特征的分类结果的输出层以及用于对输出结果进行非线性化操作的激活函数层。
这样即完成了本实施例的预设神经网络模型的创建过程。
本实施例的预设神经网络模型通过人工进行压缩标识设置的样本图像块进行训练,保证了训练生成的预设神经网络模型的准确性;通过第一设定值和第二设定值来确定样本图像块,进一步提高了获取的样本图像块的有效性。
下面通过一具体实施例说明本发明的图像压缩度识别方法以及图像压缩度识别装置的具体工作原理。请参照图11和图12,图11为本发明的图像压缩度识别方法以及图像压缩度识别装置的图像压缩度识别过程的示意图,图12为本发明的图像压缩度识别方法以及图像压缩度识别装置的图像筛选过程示意图。本具体实施例的图像压缩度识别装置可设置在对目标图像进行图像压缩度识别的视频服务器121中,以便视频服务器121向用户128推送合适的分享视频或分享图像。该图像压缩度识别过程包括:
步骤S1101,输入用于训练模型的样本图像。样本图像可直接从具有压缩痕迹的视频中进行视频帧截取获得或者直接从具有压缩痕迹的视频图像中获取。
步骤S1102,对所有的样本图像进行样本物体边沿检测,以获取样本图像的样本物体边沿区域;如使用Opencv工具包中的Canny算子目标图像中样本物体的边沿。
步骤S1103,人工对每个样本图像中的样本物体边沿区域进行压缩标识,对具有压缩痕迹的样本物体边沿区域标识为压缩边沿,对不具有压缩痕迹的样本物体边沿区域标识为清晰边沿;这里可对压缩边沿进行标识,清晰边沿不进行标识。
步骤S1104,使用预设尺寸如32*32或64*64的像素比例对样本图像进行分割操作,并保留与样本物体边沿区域相关的样本图像块,将覆盖样本物体边沿区域的像素的数量小于第一设定值、或覆盖样本物体边沿区域的像素的数量大于第二设定值的样本图像块舍弃,其中第一设定值可为N/2至N中的一个值,第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为样本图像预备块的预设边长尺寸。随后根据样本图像块的压缩标识设置样本图像块的清晰度属性。
步骤S1105,将样本物体边沿区域相关的样本图像块的像素灰阶值作为输入、样本图像块的清晰度属性作为输出,放进一个二分类的神经网络模型框架中进行训练,以得到一个以预设尺寸的图像块作为输入的神经网络模型125。
如图4所示,样本物体边沿区域相关的样本图像块的像素灰阶值可通过神经网络模型125的输入层进入卷积核大小为7*7,通道数为50的卷积层;随后神经网络模型125的池化层对卷积层的输出结果分别做最大池化和最小池化,分别得到2个50维的向量;然后池化层将2个50维的向量串联为一个100维的向量;这个100维的向量通过神经网络模型的输出层的两个全连接层以及具有ReLU的激活函数层输出样本图像块的清晰度的置信度,最后将输出的样本图像块的清晰度的置信度与样本图像块的清晰度属性进行比较后,根据比较结果进行反向传播,对预设神经网络模型框架的参数进行调整,以使得输出的样本图像块的清晰度的置信度与样本图像块的清晰度属性尽量符合。
这里可使用cross-entropy loss(交叉熵)作为损失函数,设置SGD(Stochasticgradient descent,随机梯度下降)作为预设神经网络模型框架的优化算法,参数的学习率设置为1e-3,势能为0.9,批尺寸为128。
这样即完成了神经网络模型125的训练过程。如图12所示,视频服务器121从多个终端122接收到目标视频或目标图像123时,即可使用上述神经网络模型125对接收到的目标视频或目标图像123进行图像压缩度的识别。具体为:
步骤S1106,向视频服务器121输入用于进行图像压缩度识别的目标图像123;视频服务器121可从多个终端122接收到目标图像123,或从多个终端122接收到目标视频,并从目标视频中提取出来的目标图像123(视频帧图像);
步骤S1107,对目标图像123进行目标物体边沿检测,以获取目标图像123的目标物体边沿区域;
步骤S1108,使用预设尺寸如32*32或64*64的像素比例对目标图像123进行分割操作,并保留与目标物体边沿区域相关的目标图像块124;将覆盖目标物体边沿区域的像素的数量小于第一设定值、或覆盖目标物体边沿区域的像素的数量大于第二设定值的目标图像块舍弃,其中第一设定值可为N/2至N中的一个值,第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为目标图像块的预设边长尺寸。
步骤S1109,对目标图像123进行像素级的显著性检测,从而得到每个目标图像块124的显著性权重(值在0到1之间);这里可对每个目标图像块124中的全部像素的显著性权重求平均值得到每个目标图像块124的显著性权重。
步骤S1110,将目标图像块124输入至步骤S1105训练的神经网络模型125中,从而得到每个目标图像块124的清晰度,并使用每个目标图像块124的显著性权重对目标图像块124的清晰度进行加权修正,得到修正后的目标图像块124的清晰度;
步骤S1111,修正后的目标图像块的清晰度的平均值即为目标图像的清晰度,目标图像的清晰度越高,目标图像的压缩度越低;目标图像的清晰度越低,目标图像的压缩度越高。
这里设定压缩度低于某个设定值的目标图像(或对应的目标视频)为可分享图像126(或可分享视频),压缩度高于某个设定值的目标图像(或对应的目标视频)为不可分享图像127(或不可分享视频),视频服务器121可将设定的可分享图像126(或可分享视频)分享给用户128,以提高用户128对分享图像或分享视频的观看体验。
这样即完成了本具体实施例的图像压缩度识别方法及图像压缩度识别装置的目标图像压缩度识别过程以及图像或视频分享过程。
本发明的图像压缩度识别方法以及图像压缩度识别装置基于目标物体边沿区域相关的目标图像块来获取目标图像的压缩度,降低了视频清晰度的识别误差以及识别成本,提高了视频清晰度识别的识别效率;有效的解决了现有的图像压缩度识别方法以及图像压缩度识别装置的视频清晰度的识别误差较大、成本高以及效率低的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图13和随后的讨论提供了对实现本发明所述的图像压缩度识别装置所在的电子设备的工作环境的简短、概括的描述。图13的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1312包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。
尽管没有要求,但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块,比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地,该计算机可读指令的功能可以在各种环境中随意组合或分布。
图13图示了包括本发明的图像压缩度识别装置中的一个或多个实施例的电子设备1312的实例。在一种配置中,电子设备1312包括至少一个处理单元1316和存储器1318。根据电子设备的确切配置和类型,存储器1318可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图13中由虚线1314图示。
在其他实施例中,电子设备1312可以包括附加特征和/或功能。例如,设备1312还可以包括附加的存储装置(例如可移除和/或不可移除的),其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图13中由存储装置1320图示。在一个实施例中,用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1320中。存储装置1320还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1318中由例如处理单元1316执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1318和存储装置1320是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1312访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1312的一部分。
电子设备1312还可以包括允许电子设备1312与其他设备通信的通信连接1326。通信连接1326可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1312连接到其他电子设备的其他接口。通信连接1326可以包括有线连接或无线连接。通信连接1326可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据,并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号:该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1312可以包括输入设备1324,比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1312中也可以包括输出设备1322,比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1324和输出设备1322可以经由有线连接、无线连接或其任意组合连接到电子设备1312。在一个实施例中,来自另一个电子设备的输入设备或输出设备可以被用作电子设备1312的输入设备1324或输出设备1322。
电子设备1312的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中,电子设备1312的组件可以通过网络互连。例如,存储器1318可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到,用于存储计算机可读指令的存储设备可以跨越网络分布。例如,可经由网络1328访问的电子设备1330可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1312可以访问电子设备1330并且下载计算机可读指令的一部分或所有以供执行。可替代地,电子设备1312可以按需要下载多条计算机可读指令,或者一些指令可以在电子设备1312处执行并且一些指令可以在电子设备1330处执行。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以实施例揭露如上,实施例前的序号仅为描述方便而使用,对本发明各实施例的顺序不造成限制。并且,上述实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (12)
1.一种图像压缩度识别方法,其特征在于,包括:
获取目标图像,并识别所述目标图像的目标物体边沿区域;
使用预设尺寸对所述目标图像进行分割操作,以获取所述目标图像的目标图像预备块;
将所述目标物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的目标图像预备块设定为目标图像块;其中基于目标图像预备块的预设边长尺寸来设定所述第一设定值和所述第二设定值;其中第一设定值为N/2至N中的一个值,第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为目标图像预备块的预设边长尺寸;
将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以计算所述目标图像块对应的清晰度;以及
根据所述目标图像块对应的清晰度,计算所述目标图像的清晰度,从而获取所述目标图像的压缩度。
2.根据权利要求1所述的图像压缩度识别方法,其特征在于,所述预设神经网络模型通过以下步骤创建:
获取具有压缩标识的样本物体边沿区域的多个样本图像;
使用预设尺寸对所述样本图像进行分割操作,以获取与所述样本物体边沿区域相关的样本图像块;
根据所述压缩标识,设定每个所述样本图像块的清晰度属性;以及
将所有所述样本图像块的像素灰阶值作为预设神经网络模型框架的输入,所述样本图像块的清晰度属性作为预设神经网络建模型框架的输出,通过机器训练创建所述预设神经网络模型。
3.根据权利要求2所述的图像压缩度识别方法,其特征在于,所述使用预设尺寸对所述样本图像进行分割操作,以获取与所述样本物体边沿区域相关的样本图像块的步骤包括:
使用预设尺寸对所述样本图像进行分割操作,以获取所述样本图像的样本图像预备块;以及
根据所述样本图像预备块中所述样本物体边沿区域相关的像素的数量,确定所述样本图像预备块中的样本图像块。
4.根据权利要求3所述的图像压缩度识别方法,其特征在于,所述根据所述样本图像预备块中所述样本物体边沿区域相关的像素的数量,确定所述样本图像预备块中的样本图像块的步骤包括:
将所述样本物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的样本图像预备块设定为样本图像块。
5.根据权利要求2所述的图像压缩度识别方法,其特征在于,所述根据所述压缩标识,设定每个所述样本图像块的清晰度属性的步骤包括:
如所述样本图像块中具有压缩标识,则设定所述样本图像块为低清晰度样本图像块;如所述样本图像块中不具有压缩标识,则设定所述样本图像块为高清晰度样本图像块。
6.根据权利要求2所述的图像压缩度识别方法,其特征在于,所述预设神经网络模型框架包括用于输入所述样本图像块的像素灰阶值的输入层、用于提取所述样本图像块的图像特征的卷积层、用于降低所述样本图像块的图像特征的维度的池化层、用于输出样本图像块的图像特征的分类结果的输出层以及用于对输出结果进行非线性化操作的激活函数层。
7.根据权利要求1所述的图像压缩度识别方法,其特征在于,所述将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以计算所述目标图像块对应的清晰度的步骤包括:
将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以得到所述目标图像块的清晰置信度;以及
获取所述目标图像块中每个像素的显著性权重,并根据所述目标图像块中每个像素的显著性权重以及所述目标图像块的清晰置信度,获取所述目标图像块对应的清晰度。
8.一种图像压缩度识别装置,其特征在于,包括:
目标物体边沿区域识别模块,用于获取目标图像,并识别所述目标图像的目标物体边沿区域;
目标图像块获取模块,用于使用预设尺寸对所述目标图像进行分割操作,以获取与所述目标物体边沿区域相关的目标图像块;
目标图像块清晰度计算模块,用于将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以计算所述目标图像块对应的清晰度;以及
目标图像清晰度计算模块,用于根据所述目标图像块对应的清晰度,计算所述目标图像的清晰度,从而获取所述目标图像的压缩度;
所述目标图像块获取模块包括:
目标图像预备块获取单元,用于使用预设尺寸对所述目标图像进行分割操作,以获取所述目标图像的目标图像预备块;以及
目标图像块获取单元,用于将所述目标物体边沿区域相关的像素的数量大于第一设定值且小于第二设定值的目标图像预备块设定为目标图像块;其中基于目标图像预备块的预设边长尺寸来设定所述第一设定值和所述第二设定值;其中第一设定值为N/2至N中的一个值,第二设定值可为(N*N)/8至(N*N)/2中的一个值,其中N为目标图像预备块的预设边长尺寸。
9.根据权利要求8所述的图像压缩度识别装置,其特征在于,所述图像压缩度识别装置还包括:
样本图像获取模块,用于获取具有压缩标识的样本物体边沿区域的多个样本图像;
样本图像块获取模块,用于使用预设尺寸对所述样本图像进行分割操作,以获取与所述样本物体边沿区域相关的样本图像块;
图像块清晰度属性设定模块,用于根据所述压缩标识,设定每个所述样本图像块的清晰度属性;以及
模型创建模块,用于将所有所述样本图像块的像素灰阶值作为预设神经网络模型框架的输入,所述样本图像块的清晰度属性作为预设神经网络建模型框架的输出,通过机器训练创建所述预设神经网络模型。
10.根据权利要求8所述的图像压缩度识别装置,其特征在于,所述目标图像块清晰度计算模块包括:
清晰置信度获取单元,用于将所述目标图像块的像素灰阶值输入至预设神经网络模型中,以得到所述目标图像块的清晰置信度;以及
图像块清晰度获取单元,用于获取所述目标图像块中每个像素的显著性权重,并根据所述目标图像块中每个像素的显著性权重以及所述目标图像块的清晰置信度,获取所述目标图像块对应的清晰度。
11.一种计算机可读存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行如权利要求1-7中任一的图像压缩度识别方法。
12.一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,所述处理器通过调用所述计算机程序,用于执行如权利要求1-7中任一的图像压缩度识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811456748.7A CN109615620B (zh) | 2018-11-30 | 2018-11-30 | 图像压缩度识别方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811456748.7A CN109615620B (zh) | 2018-11-30 | 2018-11-30 | 图像压缩度识别方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109615620A CN109615620A (zh) | 2019-04-12 |
CN109615620B true CN109615620B (zh) | 2021-01-08 |
Family
ID=66005695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811456748.7A Active CN109615620B (zh) | 2018-11-30 | 2018-11-30 | 图像压缩度识别方法、装置、设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109615620B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080595A (zh) * | 2019-12-09 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN112906721B (zh) * | 2021-05-07 | 2021-07-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
CN113392241B (zh) * | 2021-06-29 | 2023-02-03 | 中海油田服务股份有限公司 | 测井图像清晰度的识别方法、装置、介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881855A (zh) * | 2015-06-10 | 2015-09-02 | 北京航空航天大学 | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 |
CN106228556A (zh) * | 2016-07-22 | 2016-12-14 | 北京小米移动软件有限公司 | 图像质量分析方法和装置 |
CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
CN108615231A (zh) * | 2018-03-22 | 2018-10-02 | 浙江科技学院 | 一种基于神经网络学习融合的全参考图像质量客观评价方法 |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105809704B (zh) * | 2016-03-30 | 2019-03-15 | 北京小米移动软件有限公司 | 识别图像清晰度的方法及装置 |
CN106548468B (zh) * | 2016-10-13 | 2019-08-23 | 广州酷狗计算机科技有限公司 | 图像清晰度的判别方法及装置 |
US10657424B2 (en) * | 2016-12-07 | 2020-05-19 | Samsung Electronics Co., Ltd. | Target detection method and apparatus |
-
2018
- 2018-11-30 CN CN201811456748.7A patent/CN109615620B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881855A (zh) * | 2015-06-10 | 2015-09-02 | 北京航空航天大学 | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 |
CN106228556A (zh) * | 2016-07-22 | 2016-12-14 | 北京小米移动软件有限公司 | 图像质量分析方法和装置 |
CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
CN108615231A (zh) * | 2018-03-22 | 2018-10-02 | 浙江科技学院 | 一种基于神经网络学习融合的全参考图像质量客观评价方法 |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109615620A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473137B (zh) | 图像处理方法和装置 | |
US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
WO2019201042A1 (zh) | 图像对象识别方法和装置、存储介质及电子装置 | |
CN111950723A (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
CN110363753B (zh) | 图像质量评估方法、装置及电子设备 | |
CN107633237B (zh) | 图像背景分割方法、装置、设备及介质 | |
CN109615620B (zh) | 图像压缩度识别方法、装置、设备及计算机可读存储介质 | |
EP2797052B1 (en) | Detecting a saliency region in an image | |
CN110399842B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN112308866B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111402170A (zh) | 图像增强方法、装置、终端及计算机可读存储介质 | |
CN112101359B (zh) | 文本公式的定位方法、模型训练方法及相关装置 | |
CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
CN111935479A (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
WO2019090580A1 (en) | System and method for image dynamic range adjusting | |
CN114494775A (zh) | 视频切分方法、装置、设备及存储介质 | |
CN110717929A (zh) | 图像目标检测方法、装置及存储介质 | |
CN110288560A (zh) | 一种图像模糊检测方法及装置 | |
CN113179421B (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
CN113658196A (zh) | 红外图像中船舶的检测方法、装置、电子设备和介质 | |
CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
CN107742316B (zh) | 图像拼接点获取方法及获取装置 | |
CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
US11200708B1 (en) | Real-time color vector preview generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |