CN112598614A - 一种基于深度神经网络的司法图像质量度量方法 - Google Patents
一种基于深度神经网络的司法图像质量度量方法 Download PDFInfo
- Publication number
- CN112598614A CN112598614A CN201910883978.XA CN201910883978A CN112598614A CN 112598614 A CN112598614 A CN 112598614A CN 201910883978 A CN201910883978 A CN 201910883978A CN 112598614 A CN112598614 A CN 112598614A
- Authority
- CN
- China
- Prior art keywords
- image
- picture
- neural network
- judicial
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 11
- 238000000691 measurement method Methods 0.000 title claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 3
- 238000007619 statistical method Methods 0.000 abstract 1
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明提出了一种基于深度神经网络的司法图像质量度量方法，用于帮助司法工作人员对获得的司法图像进行质量度量，量化图像质量，以帮助司法人员在工作时对图片质量进行预估，减少低质量材料的流入，提高工作效率。该发明的主要创新在于(1)使用裁剪技术将图片处理成符合卷积神经网络的输入，避免对图像质量造成进一步损失；(2)使用深度神经网络提取图像深层次特征；(3)利用SVR对图像质量进行量化；(4)使用统计方法得到司法图像的质量分数。
Description
技术领域
本发明属于图像质量评估的无参考图像质量评估领域，通过搭建深度神经网络提取司法图像特征，并使用回归、统计相关方法对司法图像质量进行度量，量化案件图片质量。例如，在我国司法领域，司法图像质量参差不齐，可以使用本专利在获取司法图像时不接收低质量图像，保证司法图像质量。本专利也可以量化司法图像质量，给图片证据可信度提供参考。
背景技术
目前，图片证据在司法活动过程中是十分重要的一类证据，而图片证据的质量评估工作主要由人工判断为主，需要消耗大量人力。同时，由于司法从业者年龄、工作经验、教育背景等差异，对于同一张图片的评估结果也存在差异。因此，需要一个针对司法图像的质量度量方法。基于这一问题，本系统搭建深度神经网络提取司法图像特征，通过回归计算图像局部质量分数；进一步地，综合图像多个局部质量，计算得出图像整体质量分数。
图像特征提取选择预训练好的VGG16卷积神经网络，并使用司法图像对该模型进行fine-tune。卷积神经网络将多个特征图作为输入，通过卷积操作，使用卷积核对图像进行局部感知，提取图像特征；通过池化操作，降低数据维度，避免过拟合。卷积、池化层的多层叠加，最终得到图像高层次特征。
VGG16卷积神经网络包含了16个隐藏层，其中有13个卷积层和3个全连接层，虽然层数较多，但是其结构简单，使用的均为3×3的卷积和2×2的池化。同时，多个卷积层与非线性的激活层交替，比单一的卷积层结构更能提取处深层次的更好的特征。VGG16模型主要是为了解决图片分类问题。该卷积神经网络的输入大小是224×224×3，即图片大小为224×224像素，并含有RGB三个通道，每个通道上的颜色提取出来形成一个矩阵，最终叠加变成224×224×3大小的输入。其输出结果为1×1000，每一维分别表示图片属于该类的可能性大小。
预训练好的VGG16模型使用ImageNet数据集进行分类训练，将图片分成1000个类别。fine-tune是迁移学习的一种方式，旨在利用训练好的卷积神经网络部分参数，提取图像低层次特征，从而避免从头开始训练模型，需要消耗大量的数据集和时间。对模型进行fine-tune主要是使用没有经过训练的参数替换训练好的模型的后面几层的参数，搭建自己的模型，使其满足需要的输出，并使用自己的数据集对模型进行训练。在训练过程中，冻结前面已经训练好的部分参数，主要是通过训练对后面全新的参数进行调整，从而获得我们所需要的模型。
本系统主要将卷积神经网络用于提取局部图像的特征，结合人对事物的评价倾向于定性描述而非定量描述的习惯，将卷积神经网络的输出分成5类：好、较好、一般、较差、差，形成特征向量，共有5个维度，分别代表图像质量属于这5类的概率。
发明内容
本发明要解决的问题是：提出一种基于深度神经网络的司法图像质量度量方法。本发明的技术方案为：
1)处理图片大小，将图像随机切割成30个224×224大小的图像块。
2)将图像块放到卷积神经网络中提取特征，将图像分成好、较好、一般、较差、差5类，形成含有5个维度特征向量。
3)对特征向量进行回归分析，得到局部图像块的质量分数。
4)对于单张图像切割得到的30个局部图像块，将局部图像质量分数的平均数作为该司法图像最终的质量分数。
本发明的有益效果是：对司法图像质量进行度量，使得司法工作人员在获得相关材料的时候使用本方法对图像质量进行评估，将低质量的图像拒之门外，以此保证司法机关在工作过程中使用材料的质量，提高工作效率。
附图说明
图1系统业务流程图
图2卷积神经网络特征变换图
具体实施方法
本方法是基于深度神经网络对图片质量进行度量，因此首先建立卷积神经网络模型，选择预训练好的VGG16模型，使用司法图像对模型进行fine-tune。通过该模型提取图像特征，并将特征放到回归模型中，得到图像局部质量分数，最终对单张图像多个局部图像块的质量分数进行处理，得到图像最终质量分数。本方法具体执行流程见图1。
在该系统中，首先对图像大小进行处理，使得图像满足卷积神经网络所需要的输入大小：224×224。对于图像质量来说，在度量过程不能使用任何方式改变要求度量的图像质量，因此没有采取直接将司法图像调整至224×224，而是选择通过裁剪得到满足条件的图像大小。由于目前司法图像的主要拍摄设备：手机，其拍摄出来的图片大多远大于224×224，而司法图像的拍摄强目的性决定了图像主要内容在图片中央位置。在图像大小处理过程中，如果图像远大于，选择图片居中64％部分，即四边各去除10％，在裁剪后的部分中继续随机裁剪30个224×224大小的图像块；如果图片居中64％部分不足224×224，即图片原始大小不足280×280，则直接将图像随机裁剪成30个224×224大小的图像块；如果图片大小不足224×224，则将图片用边缘色填充到224×224大小，并且对该类图片的处理不需要进行最后一步，回归模型的输出即为图片的质量分数。
选择预训练并且fine-tune好的VGG16卷积神经网络模型，将统一224×224大小的图像块作为输入，读取在RGB三个通道的值，形成224×224×3大小的数组输入到模型中。通过13个卷积层、5个最大池化层和2个全连接层，得到一个5维特征向量，分别代表该输入图像在好、较好、一般、较差、差这5类上的表现。具体特征变换见图2。
对于图像特征向量，通过回归模型将其转换成单个质量分数，以此代表224×224大小的局部图像质量。
如果图像较大，在前面过程中被随机裁剪成了30个224×224大小的图像块，最后需要对30个局部图像质量分数进行处理，选择一个代表整张图片对质量分数。在本方法中，选择将30个局部质量分数的平均数作为整张图片的质量分数，即
综上，本方法通过对图片进行裁剪，避免了对图片质量的进一步破坏，并通过卷积神经网络提取图像特征，通过回归模型得到图像局部质量质量分数，对局部质量整合之后可以有效地对司法图像质量进行度量，给出一张司法图像的质量分数。
Claims (3)
1.一种基于深度神经网络的司法图像质量度量方法，其特征是：(1)案件图片为彩色图片，具有RGB三个通道，(2)对案件图片进行大小处理，将图片裁剪成卷积神经网络的输入大小，(3)利用卷积神经网络提取图像深层次特征，得到图像的特征向量，(4)利用SVR(支持向量回归)将特征向量转换成质量分数。
2.据权利要求1所述的基于深度神经网络的司法图像质量度量方法，其特征是上传图片，通过对原始图片的裁剪，使得图片大小符合VGG16模型的输入大小，并加载图片。将图片放到训练好的卷积神经网络中，通过计算得到图片的特征向量，使用SVR将特征向量转换成图片质量分数。
3.据权利要求1，2所述的基于深度神经网络的司法图像质量度量方法，其特征是具体步骤如下：
1)对案件图片进行大小处理，对于大图进行裁剪，对于小图进行颜色填充，使其满足卷积神经网络所要求的224×224的输入大小，
2)将统一224×224大小的图像块作为输入，放到预训练和fine-tune好的VGG16卷积神经网络模型中，通过13个卷积层、5个最大池化层和3个全连接层，得到一个5维特征向量，分别代表该输入图像在好、较好、一般、较差、差这5类上的表现，
3)通过SVR将图像特征向量转换成质量分数，以此代表224×224大小的局部图像质量
4)对于单张图像切割得到的30个局部图像块，将局部图像质量分数的平均数作为该图像最终的质量分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883978.XA CN112598614A (zh) | 2019-09-17 | 2019-09-17 | 一种基于深度神经网络的司法图像质量度量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883978.XA CN112598614A (zh) | 2019-09-17 | 2019-09-17 | 一种基于深度神经网络的司法图像质量度量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598614A true CN112598614A (zh) | 2021-04-02 |
Family
ID=75180220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910883978.XA Pending CN112598614A (zh) | 2019-09-17 | 2019-09-17 | 一种基于深度神经网络的司法图像质量度量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598614A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| CN106127725A (zh) * | 2016-05-16 | 2016-11-16 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
| CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
| CN106780434A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 水下图像视觉质量评价方法 |
| CN107123123A (zh) * | 2017-05-02 | 2017-09-01 | 电子科技大学 | 基于卷积神经网络的图像分割质量评价方法 |
| CN107743225A (zh) * | 2017-10-16 | 2018-02-27 | 杭州电子科技大学 | 一种利用多层深度表征进行无参考图像质量预测的方法 |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| CN108710893A (zh) * | 2018-04-04 | 2018-10-26 | 中山大学 | 一种基于特征融合的数字图像相机源模型分类方法 |
| CN109002463A (zh) * | 2018-06-05 | 2018-12-14 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于深度度量模型的文本检测方法 |
| CN110060236A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度卷积神经网络的立体图像质量评价方法 |
-
2019
- 2019-09-17 CN CN201910883978.XA patent/CN112598614A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956572A (zh) * | 2016-05-15 | 2016-09-21 | 北京工业大学 | 一种基于卷积神经网络的活体人脸检测方法 |
| CN106127725A (zh) * | 2016-05-16 | 2016-11-16 | 北京工业大学 | 一种基于多分辨率cnn的毫米波雷达云图分割方法 |
| CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
| CN106780434A (zh) * | 2016-11-15 | 2017-05-31 | 天津大学 | 水下图像视觉质量评价方法 |
| CN107123123A (zh) * | 2017-05-02 | 2017-09-01 | 电子科技大学 | 基于卷积神经网络的图像分割质量评价方法 |
| CN107743225A (zh) * | 2017-10-16 | 2018-02-27 | 杭州电子科技大学 | 一种利用多层深度表征进行无参考图像质量预测的方法 |
| CN108519812A (zh) * | 2018-03-21 | 2018-09-11 | 电子科技大学 | 一种基于卷积神经网络的三维微多普勒手势识别方法 |
| CN108710893A (zh) * | 2018-04-04 | 2018-10-26 | 中山大学 | 一种基于特征融合的数字图像相机源模型分类方法 |
| CN109002463A (zh) * | 2018-06-05 | 2018-12-14 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于深度度量模型的文本检测方法 |
| CN110060236A (zh) * | 2019-03-27 | 2019-07-26 | 天津大学 | 基于深度卷积神经网络的立体图像质量评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| MIGYUNG CHO, ET AL.,: ""Improved Medical Image Segmentation Algorithm Using Two-Step CNN Architecture"", 《2019 IEEE INTL CONF ON DEPENDABLE, AUTONOMIC AND SECURE COMPUTING, INTL CONF ON PERVASIVE INTLLIGENCE AND COMPUTING, INTL CONF ON CLOUD AND BIG DATA COMPUTING, INNTL CONF ON CYBER SCIENCE AND TECHNOLOGY CONGRESS(DASC/PICOM/CBDCOM/CYBERSCITECH》 * |
| 张戈;刘嘉勋;马磊;周桢津;李满春;: "快速城市化的空间过程检测与动态机制分析", 地理信息世界, no. 03 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111432207B (zh) | 基于显著目标检测和显著性指导的感知高清视频编码方法 | |
| Jin et al. | Statistical study on perceived JPEG image quality via MCL-JCI dataset construction and analysis | |
| CN108305240B (zh) | 图像质量检测方法及装置 | |
| CN107680077A (zh) | 一种基于多阶梯度特征的无参考图像质量评价方法 | |
| CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
| CN110599439A (zh) | 用于训练神经网络的图像块的选择方法及图像质量评价方法 | |
| CN109671063B (zh) | 一种基于深度网络特征间重要性的图像质量评估方法 | |
| JP2014524631A (ja) | 検索のための画像品質分析 | |
| CN109218716B (zh) | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 | |
| CN108765425A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN110516716A (zh) | 基于多分支相似度网络的无参考图像质量评价方法 | |
| CN110717058B (zh) | 信息推荐方法及装置、存储介质 | |
| CN104851098A (zh) | 基于改进结构相似度的立体图像质量客观评价方法 | |
| CN111178312B (zh) | 基于多任务特征学习网络的人脸表情识别方法 | |
| CN104376565A (zh) | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 | |
| CN107743225A (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
| CN110956201B (zh) | 一种基于卷积神经网络的图像失真类型分类方法 | |
| CN110728354B (zh) | 一种基于改进的滑动式分组卷积神经网络的图像处理方法 | |
| CN112767385B (zh) | 基于显著性策略与特征融合无参考图像质量评价方法 | |
| CN114972232A (zh) | 基于增量元学习的无参考图像质量评价方法 | |
| CN112598614A (zh) | 一种基于深度神经网络的司法图像质量度量方法 | |
| CN110807369B (zh) | 基于深度学习和注意力机制的短视频内容智能分类方法 | |
| CN108446688B (zh) | 人脸图像性别判断方法、装置、计算机设备及存储介质 | |
| CN107292331A (zh) | 基于无监督特征学习的无参考屏幕图像质量评价方法 | |
| Gu et al. | Learning quality-aware filters for no-reference image quality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |