CN110969217A - 基于卷积神经网络进行图像处理的方法和装置 - Google Patents
基于卷积神经网络进行图像处理的方法和装置 Download PDFInfo
- Publication number
- CN110969217A CN110969217A CN201811142216.6A CN201811142216A CN110969217A CN 110969217 A CN110969217 A CN 110969217A CN 201811142216 A CN201811142216 A CN 201811142216A CN 110969217 A CN110969217 A CN 110969217A
- Authority
- CN
- China
- Prior art keywords
- layer
- processing
- function
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 220
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 169
- 238000004364 calculation method Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 33
- 238000000926 separation method Methods 0.000 claims description 29
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络进行图像处理的方法和装置，属于卷积神经网络领域。所述方法包括：在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的处理层按预设顺序串联组成，且每个层集合的首层为卷积层；对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。采用本发明，可以提升卷积神经网络模型的处理效率。
Description
技术领域
本发明涉及卷积神经网络技术领域，特别涉及一种基于卷积神经网络进行图像处理的方法和装置。
背景技术
随着科学技术的发展，机器学习在众多领域里都有涉及，深度学习作为机器学习领域最前沿的分支，在近几年也得到了飞速发展。
卷积神经网络模型是深度学习中应用较为广泛的一种算法模型，在图像处理模型中通常以卷积神经网络模型作为主干。
然而随着卷积神经网络的复杂度不断提高，计算量也越来越大，但是计算机资源存在限制，那么如何在计算机资源一定的情况下，提升卷积神经网络模型的处理效率，是技术人员面临的主要问题。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种基于卷积神经网络进行图像处理的方法和装置。所述技术方案如下：
第一方面，提供了一种基于卷积神经网络进行图像处理的方法，所述方法包括：
在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层；
对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；
根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
可选的，所述基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，包括：
确定所述层集合的综合函数为h＝fn(……f2(f1))；
其中，fN，N＝1,……n为所述层集合中第N层的算法函数。
可选的，所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理之前，还包括：
在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；
对所述多个层集合的卷积核进行合并，得到合并卷积核，其中，所述合并卷积核与所述多个层集合的卷积核的高和宽相同，所述合并卷积核的通道数为所述多个层集合的卷积核的通道数之和；
基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数；
在所述更新的卷积神经网络模型中，将所述多个层集合的综合函数，替换为所述合并综合函数和分离处理函数，其中，所述合并综合函数的输入数据为所述多个层集合的综合函数的输入数据，所述合并综合函数的输出数据为所述分离处理函数的输入数据，所述分离处理函数用于根据所述多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，所述分离处理函数的多个输出数据分别为所述多个层集合中每个层集合的下一处理层的输入数据。
可选的，所述基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数包括：
确定所述多个层集合的合并综合函数为：H＝fn(……f2(F1))；
其中，F1为所述卷积核合并后的卷积运算函数。
可选的，所述预设处理层不包括池化层，所述更新的卷积神经网络模型中包括第一卷积层和第一池化层，所述第一池化层是所述第一卷积层的下一处理层；
所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理，包括：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一卷积层的输入数据输入所述第一卷积层后，进行所述第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足所述第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行所述至少一次待进行的核运算。
可选的，所述更新的卷积神经网络模型中包括进行逐元素运算Element-Wise的第一计算层和第一激活层，所述第一激活层是所述第一计算层的下一处理层；
所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理，包括：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一激活层的一次元素运算。
第二方面，提供了一种基于卷积神经网络进行图像处理的装置，所述装置包括：
查找模块，用于在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层；
确定模块，用于对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；
处理模块，根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
可选的，所述确定模块用于：
确定所述层集合的综合函数为h＝fn(……f2(f1))；
其中，fN,N＝1,……n为所述层集合中第N层的算法函数。
可选的，所述装置还包括：
合并模块，用于在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；
对所述多个层集合的卷积核进行合并，得到合并卷积核，其中，所述合并卷积核与所述多个层集合的卷积核的高和宽相同，所述合并卷积核的通道数为所述多个层集合的卷积核的通道数之和；
基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数；
在所述更新的卷积神经网络模型中，将所述多个层集合的综合函数，替换为所述合并综合函数和分离处理函数，其中，所述合并综合函数的输入数据为所述多个层集合的综合函数的输入数据，所述合并综合函数的输出数据为所述分离处理函数的输入数据，所述分离处理函数用于根据所述多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，所述分离处理函数的多个输出数据分别为所述多个层集合中每个层集合的下一处理层的输入数据。
可选的，所述合并模块用于：
确定所述多个层集合的合并综合函数为：H＝fn(……f2(F1))；
其中，F1为所述卷积核合并后的卷积运算函数。
可选的，所述预设处理层不包括池化层，所述更新的卷积神经网络模型中包括第一卷积层和第一池化层，所述第一池化层是所述第一卷积层的下一处理层；
所述处理模块用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一卷积层的输入数据输入所述第一卷积层后，进行所述第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足所述第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行所述至少一次待进行的核运算。
可选的，所述更新的卷积神经网络模型中包括进行逐元素运算Element-Wise的第一计算层和第一激活层，所述第一激活层是所述第一计算层的下一处理层；
所述处理模块用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一激活层的一次元素运算。
第三方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的基于卷积神经网络进行图像处理的方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的基于卷积神经网络进行图像处理的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，首先查找由多个不同的处理层按预设顺序串联组成的层集合，并基于该层集合中各处理层的算法函数，确定出该层集合的综合函数，再将该层集合中各处理层的算法函数，整体替换为综合函数。在实际进行图像处理时，每调用一个算法函数进行运算，便会对内存进行一次申请和释放，那么进行替换处理得到的卷积神经网络模型，就可以减少处理层进行运算时对内存的申请释放次数，提升了卷积神经网络进行图像处理的处理效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的流程图；
图2是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的流程图；
图3是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的示意图；
图4是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的示意图；
图5是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的流程图；
图6是是本发明实施例提供的一种基于卷积神经网络进行图像处理的装置的结构示意图；
图7是本发明实施例提供的一种计算机设备结构示意图；
图8是本发明实施例提供的一种基于卷积神经网络进行图像处理的方法的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种基于卷积神经网络进行图像处理的方法，该方法可以由计算机设备实现。其中，计算机设备可以是具有图像处理功能的计算机。
如图1所示，该方法的处理流程可以包括如下的步骤：
在步骤101中，在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层。
在实施中，技术人员按照需求预先对初始卷积神经网络模型进行训练，得到训练好的卷积神经网络模型。在该训练后的卷积神经网络模型中，计算机设备会根据每个处理层的类型，查找出由多个预设处理层按照预设顺序串联排列所组成的层集合。层集合中预设处理层按照预设顺序串联排列可以有但是不限于如下几种情况：
情况1：卷积层和ReLU(激活)层；
情况2：卷积层、BN(Batch Normalization，批处理归一化层)层和Scale(缩放系数)层；
情况3：卷积层、BN层和Scale层和ReLU层。
其中，上述每种情况下，层集合的首层都为卷积层。
在步骤102中，对于每个层集合，基于层集合中各处理层的算法函数，确定层集合的综合函数，将层集合中各处理层的算法函数，整体替换为综合函数。
在实施中，如图2所示，技术人员按照层集合中各处理层的预设排列顺序，将各处理层的算法函数合并为一个综合函数，该综合函数包含各处理层的算法函数。然后将层集合中的各处理层整体替换为综合层，将层集合中各处理层的算法函数，整体替换为综合函数。由于每个预设处理层的算法函数是固定的，所以层集合中的各预设处理层的算法函数，可以用一个包含有上述的算法函数的综合函数替换，这样输出数据不会改变。在替换之前，每一层的算法函数进行运算前要申请和读取内存，运算完毕后要释放和写回内存。以上述情况1进行说明，卷积层中的卷积核进行运算前要申请内存，运算完毕后要释放内存，ReLU层的算法函数进行运算前要申请内存，运算完毕后要释放内存，这样就进行了两次的内存申请和释放。而在替换后，相当于卷积层和ReLU层的运算只由一个综合函数进行，那么，只需要进行一次内存的申请和释放，可以省去一次申请、释放和读取、写回内存的时间。
可选的，在步骤102中，可以确定层集合的综合函数为h＝fn(……f2(f1))；其中，fN，N＝1……n为层集合中第N层的算法函数。
在实施中，以上述情况1为例进行说明，层集合的综合函数为h＝f2(f1)，其中f1为卷积层卷积运算函数，该函数中包含有由训练得到的权重值、偏置值和常量系数等，f2为ReLU层的算法函数，其具体算法函数可以是tanh函数或者Sigmoid函数，也可以是技术人员根据具体需求设置的其他算法函数。
可选的，在对图像数据进行处理之前，还可以对输入数据相同且满足一定条件的多个综合函数进行进一步合并，相应的处理可以如下：
在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；对多个层集合的卷积核进行合并，得到合并卷积核，其中，合并卷积核与多个层集合的卷积核的高和宽相同，合并卷积核的通道数为多个层集合的卷积核的通道数之和。基于合并卷积核和层集合中除卷积层之外的其它处理层的算法函数，确定多个层集合的合并综合函数；在更新的卷积神经网络模型中，将多个层集合的综合函数，替换为合并综合函数和分离处理函数，其中，合并综合函数的输入数据为多个层集合的综合函数的输入数据，合并综合函数的输出数据为分离处理函数的输入数据，分离处理函数用于根据多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，分离处理函数的多个输出数据分别为多个层集合中每个层集合的下一处理层的输入数据。
其中，卷积核为多个相同的二维矩阵所组成的三维矩阵，卷积核的高即为此二维矩阵高，卷积核的宽即为此二维矩阵的宽，卷积核的通道数即为此三维矩阵中的二维矩阵的个数。
在实施中，在更新的卷积神经网络模型中，如图3所示，确定卷积核的高和宽相同且具有相同输入数据的多个层集合。将确定出的多个层集合的卷积核在通道数这个维度上进行合并，得到合并卷积核，合并卷积核的高和宽与合并前的个卷积核相同，而合并卷积核的通道数为合并前的卷积核的通道数的和。下面对卷积核的合并举例说明：卷积核301的通道数、高和宽分别为64、3和3，卷积核302的通道数、高和宽分别为32、3和3，卷积核303的通道数、高和宽分别为32、3和3，那么合并之后得到的合并卷积核304的通道数、高和宽分别为128、3和3。
然后再基于合并卷积核和层集合中的除了卷积层以外的其他处理层的算法函数，确定多个层集合的合并综合函数。该确定的合并综合函数为H＝fn(……f2(F1))。基于图3可知，合并综合函数的结果矩阵，是进行合并的各综合函数的结果矩阵在通道数这个维度上的简单合并，而且，又因为卷积核结合之前，每个层集合的输出会送到不同的下一处理层，所以要在合并综合函数后添加分离处理函数，用于对合并函数的结果矩阵进行分离。这样，将多个层集合的综合函数，替换为合并综合函数和分离处理函数，而不会对输出产生影响。举例说明，如图4所示，有三个符合上述合并条件的层集合，并且三个层集合中的卷积层下一处理层均为ReLU层，其综合函数分别为h1＝f2(f11)，h2＝f2(f12)，h3＝f2(f13)那么合并综合函数为H＝f2(F1)，其中F1表示合并卷积核对应的卷积运算函数，合并卷积核是由f11所在卷积层的卷积核、f12所在卷积层的卷积核和f13所在卷积层的卷积核合并得到的，F1中含有f11、f12和f13中的偏置值。再把综合函数h1、h2和h3由合并综合函数H和分离处理函数替换，其中分离处理函数，用于根据多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，分离处理函数的多个输出数据分别为多个层集合中每个层集合的下一处理层的输入数据。
在步骤103中，根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
其中，图像数据采用NCHW(batch、channels、height、width，图片张数、通道数、高、宽)的数据排列格式。
在实施中，技术人员在利用更新的卷积神经网络进行图像处理前，可以对图像进行预处理，该预处理过程可以包括数据类型转换、分辨率处理等。其中，数据类型转换可以是根据需要在能完整表示数据的基础上，将float类型输入数据转换为位数更低的unsigned char类型。将分辨率处理可以是根据需要进行上采样操作放大图像或下采样操作缩小图像。然后再将图像数据输入到该卷积神经网络中进行图像处理。
可选的，如果在卷积神经网络模型中，有卷积层的下一处理层为池化层的情况，可以对该卷积层和池化层的计算过程进行优化，在步骤103中，处理可以如下：将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在第一卷积层的输入数据输入第一卷积层后，进行第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行至少一次待进行的核运算。
其中，第一池化层是第一卷积层的下一处理层，池化层的核运算可以是求取最值，也可以是求取平均值等。
在实施中，技术人员会在卷积神经网络模型中，设置有调用硬件资源检测的脚本命令，当有出现第一卷积层的下一处理层为池化层的情况，便会调用该脚本命令进行硬件资源检测，该硬件资源可以是内存资源等。并且技术人员还可以设置内存资源的阈值，如果内存资源达到该阈值，输入数据输入到第一卷积层，在卷积层进行卷积运算过程中，如图5所示，第一卷积层的卷积核高和宽分别为3和3，第一池化层的核高和宽分别为3和3，输入数据为高和宽为6和6，每当检测到计算出的卷积结果矩阵的元素满足第一池化层的至少一次待进行的核运算时，即得到计算出的卷积结果矩阵中有满足高和宽都为3的元素排列时，第一池化层便会对计算出的卷积结果矩阵的元素，进行至少一次待进行的核运算。图5中所示的输入数据中的黑色加粗框内的元素是已经进行卷积计算的元素，而池化层中的黑色加粗框内的元素为满足一次池化层的核运算的元素，池化层中有数字填充的格为卷积核与输入数据卷积得到的卷积结果。如果内存资源没有达到该阈值，输入数据输入到第一卷积层中后，第一卷积层会对所有输入数据进行卷积运算，运算完成后，将得到的全部卷积结果，输入到第一池化层，第一池化层再对输入的全部卷积结果进行后续处理。
可选的，如果在卷积神经网络模型中，有进行Element-Wise(逐元素运算)的计算层的下一处理层为ReLU层的情况，可以对该计算层和ReLU层的计算过程进行优化，在步骤103中，处理可以如下：将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一ReLU层的一次元素运算。
其中，第一ReLU层是该第一计算层的下一处理层。Element-Wise计算可以是两个或多个矩阵进行对位元素的加、减、乘等计算。该第一计算层的输入数据至少有两个。
在实施中，卷积神经网络模型在对图像数据进行处理的过程中，如果出现Element-Wise计算相关的第一计算层，并且该第一计算层的下一处理层是第一ReLU层，那么，就会对这两个处理层的计算过程进行优化。下面以第一计算层有两个输入数据、ReLU层的元素运算为tanh运算的情况为例，进行说明。
如图8所示，输入数据矩阵A和矩阵B输入到第一计算层，第一计算层对矩阵A和矩阵B进行求和运算，将两个输入数据对应位置的元素A1和B1相加,每对一组元素完成相加求和，得到结果矩阵中的一个元素C1，就对该元素C1，进行ReLU层的tanh运算，与此同时，对下一组元素A2和B2也会进行相同的处理，以此类推，直到矩阵A和矩阵B中的元素全部计算完成为止。
基于相同的技术构思，本发明实施例还提供了一种基于卷积神经网络进行图像处理的装置，该装置可以为上述实施例中的计算机设备，如图6所示，该装置包括：查找模块610，确定模块620、合并模块630、处理模块640。
查找模块610，用于在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层；
确定模块620，用于对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；
处理模块640，根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
可选的，所述确定模块620用于：
确定所述层集合的综合函数为h＝fn(……f2(f1))；
其中，fN，N＝1,……n为所述层集合中第N层的算法函数。
可选的，所述装置还包括：
合并模块630，用于在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；
对所述多个层集合的卷积核进行合并，得到合并卷积核，其中，所述合并卷积核与所述多个层集合的卷积核的高和宽相同，所述合并卷积核的通道数为所述多个层集合的卷积核的通道数之和；
基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数；
在所述更新的卷积神经网络模型中，将所述多个层集合的综合函数，替换为所述合并综合函数和分离处理函数，其中，所述合并综合函数的输入数据为所述多个层集合的综合函数的输入数据，所述合并综合函数的输出数据为所述分离处理函数的输入数据，所述分离处理函数用于根据所述多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，所述分离处理函数的多个输出数据分别为所述多个层集合中每个层集合的下一处理层的输入数据。
可选的，所述合并模块630用于：
确定所述多个层集合的合并综合函数为：H＝fn(……f2(F1))；
其中，F1为所述卷积核合并后的卷积运算函数。
可选的，所述预设处理层不包括池化层，所述更新的卷积神经网络模型中包括第一卷积层和第一池化层，所述第一池化层是所述第一卷积层的下一层；
所述处理模块640用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一卷积层的输入数据输入所述第一卷积层后，进行所述第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足所述第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行所述至少一次待进行的核运算。
可选的，所述更新的卷积神经网络模型中包括进行逐元素运算Element-Wise的第一计算层和第一激活层，所述第一激活层是所述第一计算层的下一层；
所述处理模块用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一激活层的一次元素运算。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是：上述实施例提供的基于卷积神经网络进行图像处理的装置在进行基于卷积神经网络进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于卷积神经网络进行图像处理的装置与基于卷积神经网络进行图像处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是本发明实施例提供的一种计算机设备的结构框图。该计算机设备700可以是便携式移动计算机设备，比如：智能手机、平板电脑。计算机设备700还可能被称为用户设备、便携式计算机设备等其他名称。
通常，计算机设备700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中提供的基于卷积神经网络进行图像处理的方法。
在一些实施例中，计算机设备700还可选包括有：外围设备接口703和至少一个外围设备。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
触摸显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏705还具有采集在触摸显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。触摸显示屏705用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏705可以为一个，设置计算机设备700的前面板；在另一些实施例中，触摸显示屏705可以为至少两个，分别设置在计算机设备700的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏705可以是柔性显示屏，设置在计算机设备700的弯曲表面上或折叠面上。甚至，触摸显示屏705还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏705可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707用于提供用户和计算机设备700之间的音频接口。音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位计算机设备700的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源709用于为计算机设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图7中示出的结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例中的识别动作类别的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于卷积神经网络进行图像处理的方法，其特征在于，所述方法包括：
在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层；
对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；
根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
2.根据权利要求1所述的方法，其特征在于，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，包括：
确定所述层集合的综合函数为h＝fn(……f2(f1))；
其中，fN,N＝1……n为所述层集合中第N层的算法函数。
3.根据权利要求1所述的方法，其特征在于，所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理之前，还包括：
在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；
对所述多个层集合的卷积核进行合并，得到合并卷积核，其中，所述合并卷积核与所述多个层集合的卷积核的高和宽相同，所述合并卷积核的通道数为所述多个层集合的卷积核的通道数之和；
基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数；
在所述更新的卷积神经网络模型中，将所述多个层集合的综合函数，替换为所述合并综合函数和分离处理函数，其中，所述合并综合函数的输入数据为所述多个层集合的综合函数的输入数据，所述合并综合函数的输出数据为所述分离处理函数的输入数据，所述分离处理函数用于根据所述多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，所述分离处理函数的多个输出数据分别为所述多个层集合中每个层集合的下一处理层的输入数据。
4.根据权利要求3所述方法，其特征在于，所述基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数包括：
确定所述多个层集合的合并综合函数为：H＝fn(……f2(F1))；
其中，F1为所述合并卷积核对应的卷积运算函数。
5.根据权利要求1所述的方法，其特征在于，所述更新的卷积神经网络模型中包括第一卷积层和第一池化层，所述第一池化层是所述第一卷积层的下一处理层；
所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理，包括：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一卷积层的输入数据输入所述第一卷积层后，进行所述第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足所述第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行所述至少一次待进行的核运算。
6.根据权利要求1所述的方法，其特征在于，所述更新的卷积神经网络模型中包括进行逐元素运算Element-Wise的第一计算层和第一激活ReLU层，所述第一激活层是所述第一计算层的下一处理层；
所述根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理，包括：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一激活层的一次元素运算。
7.一种基于卷积神经网络进行图像处理的装置，其特征在于，所述装置包括：
查找模块，用于在预先训练的卷积神经网络模型中，查找至少一个层集合，其中，每个层集合由多个不同的预设处理层按预设顺序串联组成，且每个层集合的首层为卷积层；
确定模块，用于对于每个层集合，基于所述层集合中各处理层的算法函数，确定所述层集合的综合函数，将所述层集合中各处理层的算法函数，整体替换为所述综合函数；
处理模块，根据经过替换处理得到的更新的卷积神经网络模型，对待处理的图像数据，进行图像处理。
8.根据权利要求7所述的装置，其特征在于，所述确定模块用于：
确定所述层集合的综合函数为h＝fn(……f2(f1))；
其中，fN,N＝1,……n为所述层集合中第N层的算法函数。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
合并模块，用于在经过替换处理得到的更新的卷积神经网络模型中，确定卷积核的高和宽相同且具有相同输入数据的多个层集合；
对所述多个层集合的卷积核进行合并，得到合并卷积核，其中，所述合并卷积核与所述多个层集合的卷积核的高和宽相同，所述合并卷积核的通道数为所述多个层集合的卷积核的通道数之和；
基于所述合并卷积核和所述层集合中除所述卷积层之外的其它处理层的算法函数，确定所述多个层集合的合并综合函数；
在所述更新的卷积神经网络模型中，将所述多个层集合的综合函数，替换为所述合并综合函数和分离处理函数，其中，所述合并综合函数的输入数据为所述多个层集合的综合函数的输入数据，所述合并综合函数的输出数据为所述分离处理函数的输入数据，所述分离处理函数用于根据所述多个层集合中每个层集合的卷积核的通道数，对输入数据进行划分，得到多个输出数据，所述分离处理函数的多个输出数据分别为所述多个层集合中每个层集合的下一处理层的输入数据。
10.根据权利要求9所述装置，其特征在于，所述合并模块用于：
确定所述多个层集合的合并综合函数为：H＝fn(……f2(F1))；
其中，F1为所述卷积核合并后的卷积运算函数。
11.根据权利要求7所述的装置，其特征在于，所述预设处理层不包括池化层，所述更新的卷积神经网络模型中包括第一卷积层和第一池化层，所述第一池化层是所述第一卷积层的下一处理层；
所述处理模块用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一卷积层的输入数据输入所述第一卷积层后，进行所述第一卷积层的卷积运算的过程中，每当检测到计算出的卷积结果矩阵的元素满足所述第一池化层的至少一次待进行的核运算时，基于计算出的卷积结果矩阵的元素，进行所述至少一次待进行的核运算。
12.根据权利要求7所述的装置，其特征在于，所述更新的卷积神经网络模型中包括进行逐元素运算Element-Wise的第一计算层和第一激活层，所述第一激活层是所述第一计算层的下一处理层；
所述处理模块用于：
将待处理的图像数据，输入经过替换处理得到的更新的卷积神经网络模型进行图像处理，在所述第一计算层的所述输入数据输入所述第一计算层后，进行所述第一计算层的计算过程中，每当计算得到结果矩阵的一个元素时，基于所述元素，进行所述第一激活层的一次元素运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142216.6A CN110969217B (zh) | 2018-09-28 | 2018-09-28 | 基于卷积神经网络进行图像处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811142216.6A CN110969217B (zh) | 2018-09-28 | 2018-09-28 | 基于卷积神经网络进行图像处理的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969217A true CN110969217A (zh) | 2020-04-07 |
| CN110969217B CN110969217B (zh) | 2023-11-17 |
Family
ID=70027007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811142216.6A Active CN110969217B (zh) | 2018-09-28 | 2018-09-28 | 基于卷积神经网络进行图像处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969217B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703727A (zh) * | 2023-08-03 | 2023-09-05 | 芯动微电子科技(珠海)有限公司 | 一种神经网络中图像缩放优化方法与装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2945102A1 (en) * | 2014-05-15 | 2015-11-18 | Ricoh Company, Ltd. | Image processing apparatus, method of processing image, and program |
| WO2016075081A1 (en) * | 2014-11-10 | 2016-05-19 | Lego A/S | System and method for toy recognition |
| US20160148078A1 (en) * | 2014-11-20 | 2016-05-26 | Adobe Systems Incorporated | Convolutional Neural Network Using a Binarized Convolution Layer |
| US20170132758A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
| CN107194559A (zh) * | 2017-05-12 | 2017-09-22 | 杭州电子科技大学 | 一种基于三维卷积神经网络的工作流识别方法 |
| CN107529650A (zh) * | 2017-08-16 | 2018-01-02 | 广州视源电子科技股份有限公司 | 网络模型的构建和闭环检测方法、相应装置及计算机设备 |
| CN107729819A (zh) * | 2017-09-22 | 2018-02-23 | 华中科技大学 | 一种基于稀疏全卷积神经网络的人脸标注方法 |
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN108206937A (zh) * | 2016-12-20 | 2018-06-26 | 浙江宇视科技有限公司 | 一种提升智能分析性能的方法和装置 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| WO2018140294A1 (en) * | 2017-01-25 | 2018-08-02 | Microsoft Technology Licensing, Llc | Neural network based on fixed-point operations |
| CN108416327A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 一种目标检测方法、装置、计算机设备及可读存储介质 |
| WO2018153128A1 (zh) * | 2017-02-21 | 2018-08-30 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、系统、介质 |
-
2018
- 2018-09-28 CN CN201811142216.6A patent/CN110969217B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2945102A1 (en) * | 2014-05-15 | 2015-11-18 | Ricoh Company, Ltd. | Image processing apparatus, method of processing image, and program |
| WO2016075081A1 (en) * | 2014-11-10 | 2016-05-19 | Lego A/S | System and method for toy recognition |
| US20160148078A1 (en) * | 2014-11-20 | 2016-05-26 | Adobe Systems Incorporated | Convolutional Neural Network Using a Binarized Convolution Layer |
| US20170132758A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Systems and methods for processing content using convolutional neural networks |
| EP3319039A1 (en) * | 2016-11-07 | 2018-05-09 | UMBO CV Inc. | A method and system for providing high resolution image through super-resolution reconstruction |
| CN108206937A (zh) * | 2016-12-20 | 2018-06-26 | 浙江宇视科技有限公司 | 一种提升智能分析性能的方法和装置 |
| WO2018140294A1 (en) * | 2017-01-25 | 2018-08-02 | Microsoft Technology Licensing, Llc | Neural network based on fixed-point operations |
| WO2018153128A1 (zh) * | 2017-02-21 | 2018-08-30 | 京东方科技集团股份有限公司 | 卷积神经网络和用于其的处理方法、装置、系统、介质 |
| CN107194559A (zh) * | 2017-05-12 | 2017-09-22 | 杭州电子科技大学 | 一种基于三维卷积神经网络的工作流识别方法 |
| CN107529650A (zh) * | 2017-08-16 | 2018-01-02 | 广州视源电子科技股份有限公司 | 网络模型的构建和闭环检测方法、相应装置及计算机设备 |
| CN107729819A (zh) * | 2017-09-22 | 2018-02-23 | 华中科技大学 | 一种基于稀疏全卷积神经网络的人脸标注方法 |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN108416327A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 一种目标检测方法、装置、计算机设备及可读存储介质 |
| CN108259997A (zh) * | 2018-04-02 | 2018-07-06 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703727A (zh) * | 2023-08-03 | 2023-09-05 | 芯动微电子科技(珠海)有限公司 | 一种神经网络中图像缩放优化方法与装置 |
| CN116703727B (zh) * | 2023-08-03 | 2024-01-02 | 芯动微电子科技(珠海)有限公司 | 一种神经网络中图像缩放优化方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969217B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110149541B (zh) | 视频推荐方法、装置、计算机设备及存储介质 | |
| CN110136136B (zh) | 场景分割方法、装置、计算机设备及存储介质 | |
| CN110097019B (zh) | 字符识别方法、装置、计算机设备以及存储介质 | |
| CN110059744B (zh) | 训练神经网络的方法、图像处理的方法、设备及存储介质 | |
| CN108304265B (zh) | 内存管理方法、装置及存储介质 | |
| CN110083791B (zh) | 目标群组检测方法、装置、计算机设备及存储介质 | |
| CN109189950B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN109840584B (zh) | 基于卷积神经网络模型的图像数据分类方法及设备 | |
| CN112733970B (zh) | 图像分类模型处理方法、图像分类方法及装置 | |
| CN111414736A (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN110211593B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| CN110796248A (zh) | 数据增强的方法、装置、设备及存储介质 | |
| CN111753498A (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN111325220B (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN112053360B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN111414737B (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN110969217B (zh) | 基于卷积神经网络进行图像处理的方法和装置 | |
| CN112508959A (zh) | 视频目标分割方法、装置、电子设备及存储介质 | |
| CN115168643B (zh) | 音频处理方法、装置、设备及计算机可读存储介质 | |
| CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
| CN113361376B (zh) | 获取视频封面的方法、装置、计算机设备及可读存储介质 | |
| CN114817709A (zh) | 排序方法、装置、设备及计算机可读存储介质 | |
| CN114332118A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114298268A (zh) | 图像获取模型的训练方法、图像检测方法、装置及设备 | |
| CN111652432A (zh) | 用户属性信息的确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |