CN111815510B - 基于改进的卷积神经网络模型的图像处理方法及相关设备 - Google Patents

基于改进的卷积神经网络模型的图像处理方法及相关设备 Download PDF

Info

Publication number
CN111815510B
CN111815510B CN202010950699.3A CN202010950699A CN111815510B CN 111815510 B CN111815510 B CN 111815510B CN 202010950699 A CN202010950699 A CN 202010950699A CN 111815510 B CN111815510 B CN 111815510B
Authority
CN
China
Prior art keywords
deformation energy
image
neural network
offset information
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010950699.3A
Other languages
English (en)
Other versions
CN111815510A (zh
Inventor
张玉琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010950699.3A priority Critical patent/CN111815510B/zh
Publication of CN111815510A publication Critical patent/CN111815510A/zh
Application granted granted Critical
Publication of CN111815510B publication Critical patent/CN111815510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于改进的卷积神经网络模型的图像处理方法及相关设备，该方法包括：获取样本图像集，利用预设的卷积神经网络模型对样本图像集中的各样本图像进行训练，以得到各样本图像中每个特征点的偏移量信息；计算每个特征点的偏移量信息对应的变形能；将变形能加入损失函数，并根据加入形变能的损失函数更新预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；将待处理图像输入加入变形能的图像处理模型进行处理，识别得到待处理图像中的对象。通过这种方式，可以实现对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，以提高图像处理的效果。

Description

基于改进的卷积神经网络模型的图像处理方法及相关设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于改进的卷积神经网络模型的图像处理方法及相关设备。
背景技术
卷积操作是当前深度学习网络的重要操作，广泛的应用于图像领域。其中，卷积神经网络中的卷积操作由于参数共享的特性，在一层卷积神经网络中重复使用同一个卷积核，大大地降低了卷积神经网络模型中的参数量和计算量，允许卷积神经网络有更大的深度的同时，提高了卷积神经网络模型的效果。
然而，由于目前的卷积神经网络模型中缺乏对“变形”程度的限制，对整体模型的效果的提升并没有到达它应有的程度，导致图像处理的效果不理想。因此，如何更有效地提高图像处理的效果非常重要。
发明内容
本发明实施例提供了一种基于改进的卷积神经网络模型的图像处理方法及相关设备，通过引入变形能实现了对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，从而提高图像处理的效果。
第一方面，本发明实施例提供了一种基于改进的卷积神经网络模型的图像处理方法，其特征在于，包括：
获取样本图像集，所述样本图像集中包括多个样本图像；
利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
进一步地，所述根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，包括：
根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，所述应变场用于指示所述每个特征点的偏移量的分布情况；
利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，包括：
获取所述每个特征点的当前位置信息；
计算所述每个特征点的当前位置信息与预设的参考位置信息之间的相对位置信息；
根据所述计算得到的每个特征点的相对位置信息，确定与所述每个特征点的偏移量信息对应的应变场。
进一步地，所述利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能，包括：
根据所述应变场计算所述每个特征点对应的弹性能；
利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，包括：
将所述各样本图像输入所述更新参数后的变形卷积神经网络模型进行处理，以输出所述各样本图像对应的初始特征图；
根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型。
进一步地，所述根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型，包括：
获取所述初始特征图对应的损失函数值；
根据所述损失函数值确定所述初始特征图的准确率，并根据所述准确率确定所述加入变形能的图像处理模型。
进一步地，所述将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象，包括：
将待处理图像输入所述加入变形能的图像处理模型进行处理，得到所述待处理图像中每个特征点的偏移量信息；
根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，以根据所述目标特征图确定出所述待处理图像中的对象。
第二方面，本发明实施例提供了一种图像处理设备，其特征在于，包括：
获取单元，用于获取样本图像集，所述样本图像集中包括多个样本图像；
训练单元，用于利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
计算单元，用于根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
更新单元，用于将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
处理单元，用于将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
第三方面，本发明实施例提供了一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持卷积神经网络模型的改进设备执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例，服务器可以获取样本图像集，利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息，计算所述每个特征点的偏移量信息对应的变形能，将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，以及将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。通过这种方式，可以实现对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，从而提高图像处理的效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于改进的卷积神经网络模型的图像处理方法的示意流程图；
图2是本发明实施例提供的一种计算变形能的示意图；
图3是本发明实施例提供的一种变形卷积神经网络模型的示意图；
图4是本发明实施例提供的一种图像处理设备的示意框图；
图5是本发明实施例提供的一种服务器的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于改进的卷积神经网络模型的图像处理方法可以应用于服务器，具体可应用于服务器中的图像处理设备。本发明实施例通过在卷积神经网络模型中引入变形能，对卷积神经网络模型的变形卷积进行控制，以对卷积神经网络模型进行改进，得到引入变形能的图像处理模型，通过引入变形能的图像处理模型可以更有效地识别出待处理图像中的对象，提高图像处理的效果。
下面结合附图1对本发明实施例提供的基于改进的卷积神经网络模型的图像处理方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种基于改进的卷积神经网络模型的图像处理方法的示意流程图，如图1所示，该方法可以由图像处理设备执行，所述图像处理设备设置于服务器中。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取样本图像集，所述样本图像集中包括多个样本图像。
本发明实施例中，图像处理设备可以获取样本图像集，所述样本图像集中包括多个样本图像，其中，所述样本图像可以是图片或视频。
S102：利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息。
本发明实施例中，图像处理设备可以利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息。
在一个实施例中，图像处理设备在利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练时，可以将所述样本图像集中的各样本图像输入所述预设的卷积神经网络模型中进行卷积处理，以得到所述待处理图像中每个特征点的偏移量信息。
S103：根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制。
本发明实施例中，图像处理设备可以根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制。
在一个实施例中，图像处理设备在根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能时，可以根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，所述应变场用于指示所述每个特征点的偏移量的分布情况，并利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能。
在一个实施例中，图像处理设备在根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场时，可以获取所述每个特征点的当前位置信息，并计算所述每个特征点的当前位置信息与预设的参考位置信息之间的相对位置信息，以及根据所述计算得到的每个特征点的相对位置信息，确定与所述每个特征点的偏移量信息对应的应变场。
在一个实施例中，假设u是当前位置信息x相对于参考位置信息的相对位置信息，其中，
Figure 973107DEST_PATH_IMAGE001
或者，
Figure 905291DEST_PATH_IMAGE002
当位移量很小时，
Figure 921788DEST_PATH_IMAGE003
Figure 419766DEST_PATH_IMAGE004
可以分为对称部分和反对称部分，其中，
Figure 817511DEST_PATH_IMAGE005
，其中，对称部分即为应变张量，对称的应变张量满足
Figure 689521DEST_PATH_IMAGE006
。
在二维空间里，基e1和e2可以用来刻画整个平面，
Figure 463705DEST_PATH_IMAGE007
Figure 737560DEST_PATH_IMAGE008
和
Figure 883371DEST_PATH_IMAGE009
分别为相对于
Figure 258988DEST_PATH_IMAGE010
和
Figure 356302DEST_PATH_IMAGE011
主应变。
Figure 687926DEST_PATH_IMAGE012
代表切应变。这里
Figure 4638DEST_PATH_IMAGE013
即为二维平面的应变场。
在一个实施例中，图像处理设备在利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能时，可以根据所述应变场计算所述每个特征点对应的弹性能，并利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能。
在一个实施例中，在根据所述应变场计算所述每个特征点对应的弹性能时，假设弹性能为
Figure 555967DEST_PATH_IMAGE014
，则弹性能的计算公式如下公式（5）所示。
Figure 967226DEST_PATH_IMAGE015
其中
Figure 654822DEST_PATH_IMAGE016
为应力， A 代表整个平面。最简单的二维情况，假设应力
Figure 63806DEST_PATH_IMAGE016
有3个分量
Figure 476333DEST_PATH_IMAGE017
,
Figure 130430DEST_PATH_IMAGE018
,
Figure 249696DEST_PATH_IMAGE019
, 应变
Figure 626320DEST_PATH_IMAGE020
有3个分量
Figure 152241DEST_PATH_IMAGE021
,
Figure 842986DEST_PATH_IMAGE022
,
Figure 82337DEST_PATH_IMAGE023
，对应关系如下
Figure 69010DEST_PATH_IMAGE024
则，弹性能可写做
Figure 643080DEST_PATH_IMAGE025
在一个实施例中，图像处理设备在利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能时，可以利用有限差分的方法离散计算所有特征点的偏移量信息对应的变形能。以图2为例进行说明，图2是本发明实施例提供的一种计算变形能的示意图。利用有限差分法，将应变的有限差分表示带入至弹性能的如下公式（8）中，即可计算出特征图的弹性能。
Figure 950564DEST_PATH_IMAGE026
S104：将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型。
本发明实施例中，图像处理设备可以将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到变形卷积神经网络模型，并确定该变形卷积神经网络模型为加入变形能的图像处理模型。
在一个实施例中，图像处理设备可以将所述变形能加入到损失函数中，通过梯度下降等的优化方式来更新所述预设的卷积神经网络模型的参数，以实现对形变卷积进行控制。在某些实施例中，所述参数包括但不限于权重。
在一个实施例中，在得到变形能
Figure 467258DEST_PATH_IMAGE027
后，乘上一个系数
Figure 451264DEST_PATH_IMAGE028
加入损失函数
Figure 997783DEST_PATH_IMAGE029
，得到最后的损失函数
Figure 797374DEST_PATH_IMAGE030
，其中，
Figure 995006DEST_PATH_IMAGE031
根据该变形卷积操作具体使用的任务而定。在一个示例中，当
Figure 600779DEST_PATH_IMAGE032
时更新后的变形卷积神经网络模型的优化效果最好。
在一个实施例中，图像处理设备在根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型时，可以将所述各样本图像输入所述更新参数后的变形卷积神经网络模型进行处理，以输出所述各样本图像对应的初始特征图，并根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型。
在一个实施例中，图像处理设备在根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型时，可以获取所述初始特征图对应的损失函数值，并根据所述损失函数值确定所述初始特征图的准确率，并根据所述准确率确定所述加入变形能的图像处理模型。
可见，通过引入了变形能的限制，在更新模型参数时考虑到了该限制，令模型学习到更合理的参数，从而提升了变形卷积的效果。
S105：将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
本发明实施例中，图像处理设备可以将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
在一个实施例中，图像处理设备在将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象时，可以将待处理图像输入所述加入变形能的图像处理模型进行处理，得到所述待处理图像中每个特征点的偏移量信息，根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，以根据所述目标特征图确定出所述待处理图像中的对象。在某些实施例中，所述目标特征图是由所述待处理图像中的对象组成，所述目标特征图像包括从待处理图像中识别出的一个或多个对象。
具体可以图3为例进行说明，图3是本发明实施例提供的一种变形卷积神经网络模型的示意图，如图3所示，将待处理图像输入变形卷积神经网络模型即加入变形能的图像处理模型进行变形卷积操作，以输出特征图，所述特征图与本申请全文中的目标特征图等同，其中，所述变形卷积操作包括对待处理图像的卷积处理，以得到所述待处理图像中每个特征点的偏移量信息，并根据所述每个特征点的偏移量信息确定所述待处理图像对应的目标特征图。在根据所述每个特征点的偏移量信息确定所述待处理图像对应的目标特征图时，可以根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，从而可以根据所述目标特征图确定出所述待处理图像中的对象。
本发明实施例中，图像处理设备可以获取样本图像集，利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息，计算所述每个特征点的偏移量信息对应的变形能，将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，以及将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。通过这种方式，可以实现对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，从而提高图像处理的效果。
本发明实施例还提供了一种图像处理设备，该图像处理设备用于执行前述任一项所述的方法的单元。具体地，参见图4，图4是本发明实施例提供的一种卷积神经网络模型的改进设备的示意框图。本实施例的卷积神经网络模型的改进设备包括：获取单元401、训练单元402、计算单元403、更新单元404以及处理单元。
获取单元401，用于获取样本图像集，所述样本图像集中包括多个样本图像；
训练单元402，用于利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
计算单元403，用于根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
更新单元404，用于将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
处理单元405，用于将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
进一步地，所述计算单元403根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能时，具体用于：
根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，所述应变场用于指示所述每个特征点的偏移量的分布情况；
利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述计算单元403根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场时，具体用于：
获取所述每个特征点的当前位置信息；
计算所述每个特征点的当前位置信息与预设的参考位置信息之间的相对位置信息；
根据所述计算得到的每个特征点的相对位置信息，确定与所述每个特征点的偏移量信息对应的应变场。
进一步地，所述计算单元403利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能时，具体用于：
根据所述应变场计算所述每个特征点对应的弹性能；
利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述更新单元404根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型时，具体用于：
将所述各样本图像输入所述更新参数后的变形卷积神经网络模型进行处理，以输出所述各样本图像对应的初始特征图；
根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型。
进一步地，所述更新单元404根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型时，具体用于：
获取所述初始特征图对应的损失函数值；
根据所述损失函数值确定所述初始特征图的准确率，并根据所述准确率确定所述加入变形能的图像处理模型。
进一步地，所述处理单元405将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象时，具体用于：
将待处理图像输入所述加入变形能的图像处理模型进行处理，得到所述待处理图像中每个特征点的偏移量信息；
根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，以根据所述目标特征图确定出所述待处理图像中的对象。
本发明实施例中，图像处理设备可以获取样本图像集，利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息，计算所述每个特征点的偏移量信息对应的变形能，将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，以及将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。通过这种方式，可以实现对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，从而提高图像处理的效果。
参见图5，图5是本发明实施例提供的一种服务器的示意框图。如图所示的本实施例中的服务器可以包括：一个或多个处理器501；一个或多个输入设备502，一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器504通过总线505连接。存储器504用于存储计算机程序，所述计算机程序包括程序，处理器501 用于执行存储器504存储的程序。其中，处理器501被配置用于调用所述程序执行：
获取样本图像集，所述样本图像集中包括多个样本图像；
利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
进一步地，所述处理器501根据所述每个特征点的偏移量信息计算所述每个特征点的偏移量信息对应的变形能时，具体用于：
根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，所述应变场用于指示所述每个特征点的偏移量的分布情况；
利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述处理器501根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场时，具体用于：
获取所述每个特征点的当前位置信息；
计算所述每个特征点的当前位置信息与预设的参考位置信息之间的相对位置信息；
根据所述计算得到的每个特征点的相对位置信息，确定与所述每个特征点的偏移量信息对应的应变场。
进一步地，所述处理器501利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能时，具体用于：
根据所述应变场计算所述每个特征点对应的弹性能；
利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能。
进一步地，所述处理器501根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型时，具体用于：
将所述各样本图像输入所述更新参数后的变形卷积神经网络模型进行处理，以输出所述各样本图像对应的初始特征图；
根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型。
进一步地，所述处理器501根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型时，具体用于：
获取所述初始特征图对应的损失函数值；
根据所述损失函数值确定所述初始特征图的准确率，并根据所述准确率确定所述加入变形能的图像处理模型。
进一步地，所述处理器501将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象时，具体用于：
将待处理图像输入所述加入变形能的图像处理模型进行处理，得到所述待处理图像中每个特征点的偏移量信息；
根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，以根据所述目标特征图确定出所述待处理图像中的对象。
本发明实施例中，图像处理设备可以获取样本图像集，利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息，计算所述每个特征点的偏移量信息对应的变形能，将所述变形能加入损失函数，并根据所述加入形变能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，以及将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。通过这种方式，可以实现对卷积神经网络模型的变形卷积操作的有效控制，提高了卷积神经网络模型的变形卷积的效果，从而提高图像处理的效果。
应当理解，在本发明实施例中，所称处理器501可以是中央处理单元 (CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigiSalSignal Processor，DSP)、专用集成电路 (ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列 (Field-Programmable GaSe Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备502可以包括触控板、麦克风等，输出设备503可以包括显示器（LCD等）、扬声器等。
该存储器504可以包括只读存储器和随机存取存储器，并向处理器501 提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器。例如，存储器504还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器501、输入设备502、输出设备503可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图2所描述的卷积神经网络模型的改进设备的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的卷积神经网络模型的改进方法，也可实现本发明图2所对应实施例的卷积神经网络模型的改进设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的卷积神经网络模型的改进设备的内部存储单元，例如卷积神经网络模型的改进设备的硬盘或内存。所述计算机可读存储介质也可以是所述卷积神经网络模型的改进设备的外部存储设备，例如所述卷积神经网络模型的改进设备上配备的插接式硬盘，智能存储卡（SmarS Media Card, SMC），安全数字（Secure DigiSal, SD）卡，闪存卡（Flash Card）等。进一步地，所述计算机可读存储介质还可以既包括所述卷积神经网络模型的改进设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述卷积神经网络模型的改进设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备 ( 可以是个人计算机，终端，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、随机存取存储器 (RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于改进的卷积神经网络模型的图像处理方法，其特征在于，包括：
获取样本图像集，所述样本图像集中包括多个样本图像；
利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
根据所述每个特征点的偏移量信息对应的应变场和有限差分方法计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
将所述变形能加入损失函数，并根据所述加入变形能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
2.根据权利要求1所述的方法，其特征在于，所述根据所述每个特征点的偏移量信息对应的应变场和有限差分方法计算所述每个特征点的偏移量信息对应的变形能，包括：
根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，所述应变场用于指示所述每个特征点的偏移量的分布情况；
利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每个特征点的偏移量信息确定与所述每个特征点的偏移量信息对应的应变场，包括：
获取所述每个特征点的当前位置信息；
计算所述每个特征点的当前位置信息与预设的参考位置信息之间的相对位置信息；
根据所述计算得到的每个特征点的相对位置信息，确定与所述每个特征点的偏移量信息对应的应变场。
4.根据权利要求3所述的方法，其特征在于，所述利用有限差分方法和所述应变场计算所述每个特征点的偏移量信息对应的变形能，包括：
根据所述应变场计算所述每个特征点对应的弹性能；
利用有限差分方法和所述每个特征点对应的弹性能，计算所述每个特征点的偏移量信息对应的变形能。
5.根据权利要求1所述的方法，其特征在于，所述根据所述加入变形能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型，包括：
将所述各样本图像输入所述更新参数后的变形卷积神经网络模型进行处理，以输出所述各样本图像对应的初始特征图；
根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述初始特征图的准确率，确定所述更新参数后的变形卷积神经网络模型为所述加入变形能的图像处理模型，包括：
获取所述初始特征图对应的损失函数值；
根据所述损失函数值确定所述初始特征图的准确率，并根据所述准确率确定所述加入变形能的图像处理模型。
7.根据权利要求1所述的方法，其特征在于，所述将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象，包括：
将待处理图像输入所述加入变形能的图像处理模型进行处理，得到所述待处理图像中每个特征点的偏移量信息；
根据所述待处理图像中每个特征点的偏移量信息确定所述待处理图像对应的变形能，并根据所述待处理图像对应的变形能确定目标特征图，以根据所述目标特征图确定出所述待处理图像中的对象。
8.一种图像处理设备，其特征在于，包括：
获取单元，用于获取样本图像集，所述样本图像集中包括多个样本图像；
训练单元，用于利用预设的卷积神经网络模型对所述样本图像集中的各样本图像进行训练，以得到所述各样本图像中每个特征点的偏移量信息；
计算单元，用于根据所述每个特征点的偏移量信息对应的应变场和有限差分方法计算所述每个特征点的偏移量信息对应的变形能，所述变形能用于指示对所述预设的卷积神经网络模型的变形卷积的控制；
更新单元，用于将所述变形能加入损失函数，并根据所述加入变形能的损失函数更新所述预设的卷积神经网络模型的参数，得到加入变形能的图像处理模型；
处理单元，用于将待处理图像输入所述加入变形能的图像处理模型进行处理，识别得到所述待处理图像中的对象。
9.一种服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
CN202010950699.3A 2020-09-11 2020-09-11 基于改进的卷积神经网络模型的图像处理方法及相关设备 Active CN111815510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010950699.3A CN111815510B (zh) 2020-09-11 2020-09-11 基于改进的卷积神经网络模型的图像处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950699.3A CN111815510B (zh) 2020-09-11 2020-09-11 基于改进的卷积神经网络模型的图像处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111815510A CN111815510A (zh) 2020-10-23
CN111815510B true CN111815510B (zh) 2020-12-22

Family

ID=72860091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950699.3A Active CN111815510B (zh) 2020-09-11 2020-09-11 基于改进的卷积神经网络模型的图像处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN111815510B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230099872A1 (en) * 2021-09-27 2023-03-30 Northwestern University Image correlation for end-to-end displacement and strain measurement
CN114004731B (zh) * 2021-09-30 2023-11-07 苏州浪潮智能科技有限公司 一种基于卷积神经网络的图像处理方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN108564025A (zh) * 2018-04-10 2018-09-21 广东电网有限责任公司 一种基于可变形卷积神经网络的红外图像物体识别方法
CN110276743A (zh) * 2019-05-14 2019-09-24 广东工业大学 一种基于卷积神经网络的结构损伤程度识别方法
CN111126385A (zh) * 2019-12-13 2020-05-08 哈尔滨工程大学 一种可变形活体小目标的深度学习智能识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817758B2 (en) * 2018-06-20 2020-10-27 International Business Machines Corporation Framework for integrating deformable modeling with 3D deep neural network segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN108427920A (zh) * 2018-02-26 2018-08-21 杭州电子科技大学 一种基于深度学习的边海防目标检测方法
CN108564025A (zh) * 2018-04-10 2018-09-21 广东电网有限责任公司 一种基于可变形卷积神经网络的红外图像物体识别方法
CN110276743A (zh) * 2019-05-14 2019-09-24 广东工业大学 一种基于卷积神经网络的结构损伤程度识别方法
CN111126385A (zh) * 2019-12-13 2020-05-08 哈尔滨工程大学 一种可变形活体小目标的深度学习智能识别方法

Also Published As

Publication number Publication date
CN111815510A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109840477B (zh) 基于特征变换的受遮挡人脸识别方法及装置
CN111815510B (zh) 基于改进的卷积神经网络模型的图像处理方法及相关设备
JP6991983B2 (ja) 機械学習システムをトレーニングする方法及びシステム
CN106855952B (zh) 基于神经网络的计算方法及装置
JP2020506488A (ja) バッチ再正規化層
US20190236336A1 (en) Facial recognition method, facial recognition system, and non-transitory recording medium
US20220129740A1 (en) Convolutional neural networks with soft kernel selection
CN113159143A (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN111144457A (zh) 图像处理方法、装置、设备及存储介质
CN115082920A (zh) 深度学习模型的训练方法、图像处理方法和装置
CN112465141A (zh) 模型压缩方法、装置、电子设备及介质
CN115205736A (zh) 视频数据的识别方法和装置、电子设备和存储介质
CN109960841B (zh) 一种流体表面张力的仿真方法、终端设备及存储介质
CN108875901B (zh) 神经网络训练方法以及通用物体检测方法、装置和系统
CN109993694B (zh) 一种生成超分辨率图像的方法及装置
CN116258196A (zh) 对神经网络进行训练的方法及更新神经网络参数的优化器
CN116168403A (zh) 医疗数据分类模型训练方法、分类方法、装置及相关介质
US20230298326A1 (en) Image augmentation method, electronic device and readable storage medium
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN112259239B (zh) 一种参数处理方法、装置、电子设备及存储介质
CN115452101A (zh) 一种仪表检定方法、装置、设备及介质
CN113704452A (zh) 基于Bert模型的数据推荐方法、装置、设备及介质
CN111310896A (zh) 用于训练神经网络的方法和装置
CN110569873A (zh) 图像识别模型训练方法、装置以及计算机设备
CN111768220A (zh) 生成车辆定价模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant