CN110647898A - 图像处理方法、装置、电子设备及计算机存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN110647898A
CN110647898A CN201810681606.4A CN201810681606A CN110647898A CN 110647898 A CN110647898 A CN 110647898A CN 201810681606 A CN201810681606 A CN 201810681606A CN 110647898 A CN110647898 A CN 110647898A
Authority
CN
China
Prior art keywords
convolutional
layer
sub
neural network
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810681606.4A
Other languages
English (en)
Other versions
CN110647898B (zh
Inventor
王坤
曹雨
曾星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810681606.4A priority Critical patent/CN110647898B/zh
Publication of CN110647898A publication Critical patent/CN110647898A/zh
Application granted granted Critical
Publication of CN110647898B publication Critical patent/CN110647898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种图像处理方法、装置、电子设备及计算机存储介质，所述方法包括：获取图像中各像素点的像素值；根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。实现数据的分配，提高卷积神经网络的计算速度，进而降低其对电子设备的硬件要求，降低成本。

Description

图像处理方法、装置、电子设备及计算机存储介质
技术领域
本发明实施例涉及计算机图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及计算机存储介质。
背景技术
在计算机视觉中，物体的检测、跟踪、识别是最基本的几个任务。在进行物体的检测、跟踪和识别时，均需要准确获得图像的特征图(或特征向量)，基于该特征图可以准确实现图像中物体的检测、跟踪和识别。由此可知，图像的特征图的提取是计算机图像处理技术的重点。
发明内容
本发明实施例提供一种图像处理方法、装置、电子设备及计算机存储介质。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取图像中各像素点的像素值；
根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
在第一方面的一种可能的实现方式中，在第另所述其他网络层包括第二卷积层或池化层，和/或，所述第一卷积层为所述卷积神经网络的中间网络层。
在第一方面的另一种可能的实现方式中，所述卷积神经网络包括第二预设数量个的所述第一卷积层，所述第二预设数量大于或等于2。
在第一方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层依次连接。
在第一方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层之间通过至少一个所述其他网络层连接。
在第一方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量相同，或者，至少二个所述第一卷积层各自包括的子卷积层的数量不同。
在第一方面的一种可能的实现方式中，所述第一卷积层输出的特征图的长度和宽度与输入的特征图的长度和宽度相同。
在第一方面的另一种可能的实现方式中，所述第一卷积层输出的特征图的通道数与输入的特征图的通道数相同。
在第一方面的另一种可能的实现方式中，所述第一卷积层中各子卷积层的输出的特征图的通道数之和，等于所述第一卷积层输出的特征图的通道数。
在第一方面的另一种可能的实现方式中，所述第一卷积层中后一子卷积层输出的特征图的通道数，小于或等于前一子卷积层输出的特征图的通道数。
在第一方面的另一种可能的实现方式中，所述第一卷积层中第一个子卷积层对应的卷积核小于其他子卷积层对应的卷积核。
在第一方面的另一种可能的实现方式中，所述根据所述图像的像素值和预先训练完成的卷积神经网络，确定所述图像的特征图之前，所述方法还包括：
获取多个训练样本；
将多个所述训练样本输入所述卷积神经网络中，对所述卷积神经网络进行训练。
在第一方面的另一种可能的实现方式中，所述将多个所述训练样本输入所述卷积神经网络中，对所述卷积神经网络进行训练之后，所述方法还包括：
对训练后的卷积神经网络的参数进行压缩，获得第一卷积神经网络；
检测所述第一卷积神经网络的准确率，若所述第一卷积神经网络的准确率大于或等于预设准确率，则将所述第一卷积神经网络作为训练完成的卷积神经网络；
若所述第一卷积神经网络的准确率小于所述预设准确率，则对所述第一卷积神经网络的参数进行调整，使得调整后的第一卷积神经网络的准确率大于或等于所述预设准确率，将调整后的第一卷积神经网络作为训练完成的卷积神经网络。
在第一方面的另一种可能的实现方式中，所述根据所述图像的像素值和卷积神经网络，确定所述图像的特征图之后，所述方法还包括：
根据所述图像的特征图，确定所述图像中目标物体的类别。
在第一方面的另一种可能的实现方式中，所述根据所述图像的像素值和预先训练完成的卷积神经网络，确定所述图像的特征图之后，所述方法还包括：
根据所述图像的特征图，获得所述图像中目标物体对应的检测框，所述检测框为包围所述目标物体的矩形框；
确定所述检测框中所述目标物体的类别；
根据所述目标物体的类别，对所述检测框进行调整，确定所述目标物体在所述图像中的位置。
第二方面，本发明实施例提供一种图像处理装置，包括：
第一获取模块，用于获取图像中各像素点的像素值；
处理模块，用于根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
在第二方面的一种可能的实现方式中，所述其他网络层包括第二卷积层或池化层，和/或，所述第一卷积层为所述卷积神经网络的中间网络层。
在第二方面的另一种可能的实现方式中，所述卷积神经网络包括第二预设数量个的所述第一卷积层，所述第二预设数量大于或等于2。
在第二方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层依次连接。
在第二方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层之间通过至少一个所述其他网络层连接。
在第二方面的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量相同，或者，至少二个所述第一卷积层各自包括的子卷积层的数量不同。
在第二方面的另一种可能的实现方式中，所述第一卷积层输出的特征图的长度和宽度与输入的特征图的长度和宽度相同。
在第二方面的另一种可能的实现方式中，所述第一卷积层输出的特征图的通道数与输入的特征图的通道数相同。
在第二方面的另一种可能的实现方式中，所述第一卷积层中各子卷积层的输出的特征图的通道数之和，等于所述第一卷积层输出的特征图的通道数。
在第二方面的另一种可能的实现方式中，所述第一卷积层中后一子卷积层输出的特征图的通道数，小于或等于前一子卷积层输出的特征图的通道数。
在第二方面的另一种可能的实现方式中，所述第一卷积层中第一个子卷积层对应的卷积核小于其他子卷积层对应的卷积核。
在第二方面的另一种可能的实现方式中，所述装置还包括：
第二获取模块，用于获取多个训练样本；
训练模块，用于将多个所述训练样本输入所述卷积神经网络中，对所述卷积神经网络进行训练。
在第二方面的另一种可能的实现方式中，所述装置还包括：
压缩模块，用于对训练后的卷积神经网络的参数进行压缩，获得第一卷积神经网络；
检测模块，用于检测所述第一卷积神经网络的准确率；
确定模块，用于若所述检测模块检测到所述第一卷积神经网络的准确率大于或等于预设准确率，则将所述第一卷积神经网络确定为训练完成的卷积神经网络；
调整模块，用于若所述检测模块检测到所述第一卷积神经网络的准确率小于所述预设准确率，则对所述第一卷积神经网络的参数进行调整；
所述确定模块，还用于若所述检测模块检测到调整后的第一卷积神经网络的准确率大于或等于所述预设准确率，将调整后的第一卷积神经网络确定为训练完成的卷积神经网络。
在第二方面的另一种可能的实现方式中，所述装置还包括：
分类模块，用于根据所述图像的特征图，确定所述图像中目标物体的类别。
在第二方面的另一种可能的实现方式中，所述装置还包括：
检测框获取模块，用于根据所述图像的特征图，获得所述图像中目标物体对应的检测框，所述检测框为包围所述目标物体的矩形框；
分类模块，用于确定所述检测框中所述目标物体的类别；
位置确定模块，用于根据所述目标物体的类别，对所述检测框进行调整，确定所述目标物体在所述图像中的位置。
第三方面，本发明实施例提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现第一方面所述的图像处理方法。
第四方面，本发明实施例提供一种计算机存储介质，所述存储介质中存储计算机程序，所述计算机程序在执行时实现第一方面所述的图像处理方法。
本发明实施例提供的技术方案的效果为：
首先获取图像中各像素点的像素值；接着，将图像的像素值输入卷积神经网络，确定图像的特征图。该卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，其中第一卷积层包括第一预设数量个子卷积层，且前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为该第一卷积层的输出。该第一卷积层，前一个子卷积层的输出作为后一个卷积成的输入，这样各子卷积层之间实现残差学习，可以提高第一卷积层中参数的利用率，进而减少卷积神经网络的参数，从而提高卷积神经网络的计算速度。同时，将各子卷积层的输出进行合并，作为第一卷积层的输出，这样在保证第一卷积层输出的数据量的基础上，减少各子卷积层所处理的数据量，实现数据的分配，提高了各子卷积层的数据处理速度，进一步提高了整个卷积神经网络的计算速度，进而降低对电子设备的硬件要求，降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的图像处理方法的流程图；
图2为本实施例涉及的卷积神经网络中第一卷积层的结构示意图；
图3为本实施例涉及的一种卷积神经网络的结构示意图；
图4为本实施例涉及的卷积神经网络中第一卷积层的另一种结构示意图；
图5为本发明实施例二提供的图像处理方法的流程图；
图6为本发明实施例三提供的图像处理方法的流程图；
图7为本发明实施例三涉及的检测流程图；
图8为本发明实施例一提供的图像处理装置的结构示意图；
图9为本发明实施例二提供的图像处理装置的结构示意图；
图10为本发明实施例三提供的图像处理装置的结构示意图；
图11为本发明实施例四提供的图像处理装置的结构示意图；
图12为本发明实施例五提供的图像处理装置的结构示意图；
图13为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的技术方案构建的卷积神经网络，具有广泛的通用性，适用领域包括但不限于计算机视觉、智能视频分析、高级辅助驾驶系统和自动驾驶等领域，用于准确、快速获取图像的特征图，基于特征图可进一步实现包括但不限于物体的检测、跟踪和/或识别等任务。
本发明实施例提供的技术方案中，卷积神经网络至少包括第一卷积层，该第一卷积层包括多个子卷积层，其中前一个子卷积层的输出为后一个子卷积层的输入，且第一卷积层中各子卷积层的输出合并为该第一卷积层的输出。
本实施例的卷积神经网络，融合了多个子卷积层的输出，用于捕获不同可视域的信息。同时不同子卷积层前后连接，实现了局部的残差学习，其残差连接密集，可以提高该卷积神经网络中各参数的利用率，进而减少该卷积神经网络中的参数数量，进而提高了计算速度。同时，该卷积神经网络中，第一卷积层中不同的子卷积层之间前后连接，可以让不同的子卷积层关注不同的信息，后续的子卷积层可以直接使用前面子卷积层已经学到的信息，从而专注于其它互补的信息，实现数据的分配，提高了各子卷积层的数据处理速度，进一步提高了整个卷积神经网络的计算速度，进而降低对电子设备的硬件要求，例如，降低电子设备对GPU(Graphics Processing Unit，图形处理器)等硬件的要求，又例如，电子设备可通过FPGA(Field-Programmable Gate Array，即现场可编程门阵列)等较低成本的硬件实现，降低成本。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个例如实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例一提供的图像处理方法的流程图。该如图1所示，本实施例的方法可以包括：
S101、获取图像中各像素点的像素值。
本实施例的执行主体是电子设备或者电子设备中的处理器，该电子设备可以是计算机、智能手机、AR(Augmented Reality Technique，增强现实技术)眼镜、车载系统等。
本实施例的电子设备还包括存储介质，该存储介质中保存有预先训练完成的卷积神经网络，且处理器可以调用该卷积神经网络。
为了便于阐述本实施例的技术方案，首先对本实施例涉及的图像在计算机中的可选呈现形式做以下说明。
图像在计算机中可以用数字化表示，例如，可以用一堆按数字顺序排列的数值0到255的数字表示图像中不同像素的不同像素值，一种可选示例中，不同数值表示图像各像素不同的亮度值、灰度值或色度值等，例如，0表示最暗，255表示最亮，此时可以将这些数字用一个长长的向量来表示。进一步的，为保留图像平面结构信息，还可选择矩阵的表示方式，例如用28×28的矩阵表示图像。
普遍的图像表达方式是RGB颜色模型，即红(Red)、绿(Green)、蓝(Blue)三原色的色光以不同的比例相加，以产生多种多样的色光。
这样，RGB颜色模型中，单个矩阵就扩展成了有序排列的三个矩阵，即由图像的各像素点的红色像素值组成的红色矩阵、由图像的各像素点的绿色像素值组成的绿色矩阵，以及由图像的各像素点的蓝色像素值组成的蓝色矩阵。其中每一个矩阵称为该图像的一个通道(channel)，即该图像具有R、G、B三个通道。
在计算机中，一张图像是数字构成的“长方体”，可用宽(width)，高(height)，深(depth)来描述，其中深(depth)为该图像的通道数的合并，即初始的图像包括R、G、B三个通道，对应的其深(depth)等于3。
基于上述描述，在进行图像处理时，首先向电子设备输入图像，处理器获取该图像后，对该图像进行处理，获得该图像中各像素点的像素值(即各像素点的RGB值)。
本实施例的图像可以是静态图像，也可以是视频流中的一帧图像。
S102、根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
图2为本实施例涉及的卷积神经网络中第一卷积层的一种结构示意图，如图2所示，本实施例的第一卷积层包括第一预设数量个子卷积层，其中前一个子卷积层的输出为后一个子卷积层的输入，且第一卷积层中各子卷积层输出的合并为该第一卷积层的输出。
例如，如图2所示，第一卷积层包括n个子卷积层，分别为子卷积层1、子卷积层2…子卷积层n，则子卷积层1的输出为1a，将1a输入子卷积层2中，子卷积层2的输出为2a，将2a输入到子卷积层3中，子卷积层3的输出为3a，以此类推，子卷积层n的输出为na。接着，将子卷积层1、子卷积层2到子卷积层n的输出的合并作为第一子卷积层的输出，即将1a+2a+3a+…+na作为第一子卷积层的输出。
假设本实施例的第一卷积层包括4个子卷积层，依次分别为第一子卷积层、第二子卷积层、第三子卷积层和第四子卷积层。此时，本实施例可以根据下列公式获得第一卷积层的输出yl：
yl＝concat[F1(xl-1,Wl1)+F2(F1,Wl2)+F3(F2,Wl3)+F4(F3,Wl4)]
其中，concat表示合并，F1(xl-1,Wl1)为第一子卷积层的输出，xl为第一子卷积层的输入，也为第一卷积层的输入；Wl1为第一子卷积层的卷积核，Wl2为第二子卷积层的卷积核，Wl3为第三子卷积层的卷积核，Wl4为第四子卷积层的卷积核；F1(xl,Wl1)为第一子卷积层的输出，F2(F1,Wl2)为第二子卷积层的输出，F3(F2,Wl3)为第三子卷积层的输出，F4(F3,Wl4)为第四子卷积层的输出。
在本实施例中，第一卷积层中的前一个子卷积层的输出作为后一个子卷积层的输入，这样各子卷积层之间实现残差学习，可以提高第一卷积层中参数的利用率，进而减少卷积神经网络的参数，从而提高卷积神经网络的计算速度。
同时，本实施例中，将第一卷积层中的各子卷积层的输出进行合并，作为第一卷积层的输出并作为卷积神经网络下一网络层(如下一第一卷积层或池化层等)的输入，这样在保证第一卷积层输出的数据量的基础上，使得各子卷积层处理的数据量少，实现数据的分配，提高了各子卷积层的数据处理速度，进一步提高了整个卷积神经网络的计算速度。
需要说明的是，本实施例对卷积神经网络中的第一卷积层的数目不做限制，具体根据实际需要进行设定。该卷积神经网络中可以包括一个第一卷积层，也可以包括多个第一卷积层。当包括多个第一卷积层时，若干个第一卷积层可以紧邻设置，例如，当该卷积神经网络包括5个第一卷积层时，可以将前3个第一卷积层依次相邻设置，其中前一个第一卷积层的输出为后一个第一卷积层的输入，剩余的第一卷积层与前3个第一卷积层之间间隔设置，例如之间可以设置其他的卷积层和/或池化层等。
在一种示例中，所述其他网络层包括第二卷积层或池化层，和/或，所述第一卷积层为所述卷积神经网络的中间网络层。
即本实施例的卷积神经网络除了包括上述所述的第一卷积层之外，还包括第二卷积层或池化层，其中，第二卷积层可以为已有的常规卷积层(即包括一层卷积层)。
可选的，本实施例的卷积神经网络还包括输入层、激活函数和全连接层等。
可选的，本实施例的第一卷积层可以为卷积神经网络的中间网络层，即第一卷积层不是卷积神经网络的首个网络层，也不是末端网格层。
同时，本实施例对第一卷积层所包括的子卷积层的数量也不做限制，只要大于或等于2即可，具体数量根据实际需要进行设定。
需要说明的是，本实施例中第一卷积层中的各子卷积层在进行卷积运算时，其过程与现有的卷积运算相同。
例如，第一卷积层中的某一个子卷积层对应的卷积核为
Figure BDA0001710527870000101
该子卷积层的输入如表1所示，stride(步长)1，偏移量为1：
表1
1 1 0 0
0 0 1 1
1 0 1 0
1 1 0 0
根据上述参数，对表1中的特征图进行卷积运算，例如根据公式(1)进行卷积运算；
对表1中的X进行卷积运行，获得表2所示的特征图。
表2
4 4
6 7
有上述可知，4×4的图片被3×3的卷积核卷积后变成了2×2的图片，此时，为了控制特征图的输出尺寸，同时避免边缘信息被一步步舍弃的问题，可以在表1所示的特征图的边缘Zero padding(零补充)一圈后，再用3×3的卷积核卷积后，得到的特征图的尺寸依然是4×4不变。
本实施例的池化层可以为最大池化层，例如，将表3所示的特征图，进行2×2maxpool，stride2的最大池化操作，被不重叠的分割成4个同样大小的小块(pooling size)。
表3
1 1 2 4
5 6 7 8
3 2 1 0
1 2 3 4
每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构，得出如表4所示的输出：
表4
6 8
3 4
可选的，本实施例的池化层可以为平均池化层，例如继续参照表3所示，将表3所示的特征图，进行2×2ave pool，stride2的平均池化操作，得到表5所示的输出：
表5
3.25 5.25
2 2
本实施例中，处理器获得图像的像素值之后，对像素值进行R、G、B划分，便可以获得图像的R、G、B三个通道的三张图。
其中，三个channels的权重并不共享。即当深度变为3后，权重也跟着扩增到了三组，不同channels用的是自己的权重，例如red channel权重，green channel权重，bluechannel权重。
接着，从电子设备的存储器中读取预先训练完成的卷积神经网络，基于上述三个channels的权重，将这三张图输入到预先训练完成的卷积神经网络，该卷积神经网络中的至少一个第一卷积层对该图像的像素值进行相应的卷积运算，至少一个池化层对第一卷积层输出的图像的特征图进行池化运算，获得该图像的特征图。
本实施例可以对图像对应的R、G、B三个通道的三张图分别进行卷积运算，然后将输出结果进行合并。可选的，也可以对图像对应的R、G、B三个通道的三张图同时进行卷积运算，获得最终结果。
本实施例对第一卷积层输出的特征图的维度(H,W,C)不做限制，例如，对第一卷积层输出的特征图的尺寸(即长度H和宽度W)不做限制，具体根据实际需要进行设定。
可选的，本实施例对第一卷积层输出的特征图的通道数C(即张数)不做限制，保证第一卷积层输出的特征图的通道数为第一卷积层中各子卷积层输出的特征图的通道数的合并即可。例如，第一卷积层包括3个子卷积层，子卷积层1输出a张特征图，子卷积层2输出b张特征图，子卷积层3输出c张特征图，则第一卷积层输出的特征图为a+b+c张。
可选的，本实施例的卷积神经网络包括第二预设数量个的所述第一卷积层，所述第二预设数量大于或等于2。例如，如图3所示，本实施例的卷积神经网络包括9个第一卷积层。
可选的，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层依次连接。例如，如图3所示，第一卷积层1和第一卷积层2依次连接，第一卷积层6、第一卷积层7和第一卷积层8依次连接。
可选的，为了实现卷积神经网络的快速收敛和运算精度，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层之间通过至少一个所述其他网络层连接。例如，如图3所示，第一卷积层2和第一卷积层4之间通过第二卷积层3和池化层2连接。
可选的，本实施例对各第一卷积层所包括的子卷积层的数量不做限制，不同的所述第一卷积层包括的子卷积层的数量相同或者不同。
例如，第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量相同。例如，如图3所示，第一卷积层1和第二卷积层2均包括4个子卷积层。
可选的，本实施例中，第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量不同。
为了进一步阐述本实施例的技术方案，现举例如下：
如图3所示的卷积神经网络，该卷积神经网络包括9个第一卷积层(每个第一卷积层包括多个子卷积层，每个子卷积层可以为传统的卷积层)、6个第二卷积层(第二卷积层与第一卷积层不同，可以为传统的卷积层)、5个池化层和一个全连接层，其中各层的设置参数如表5所示：表5
Figure BDA0001710527870000131
Figure BDA0001710527870000141
其中，softmax为损失函数。
在本实施例中，根据上述参数构建卷积神经网络，并将图3所示的小猫图像输入到该卷积神经网络中，可以准确、快速地获得图像的特征图。
由图3和表5可知，本实施例通过在卷积神经网络中设置多个第一卷积层，而第一卷积层中各子卷积层所处理的数据量少，运算速度快，进而使得第一卷积层的运算速度也大幅提升，相比于与现有的通过传统的卷积层和池化层构成的卷积神经网络，本实施例的卷积神经网络可以大大提升数据的处理速度，降低对电子设备的GPU的要求。
可选的，本实施例中，对每个子卷积层输出的特征图还进行了非线性运算和批规范化运算，以进一步提高卷积神经网络的运算速度。
本发明实施例提供的图像处理方法，首先获取图像中各像素点的像素值；接着，将图像的像素值输入卷积神经网络，确定图像的特征图。该卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，其中第一卷积层包括第一预设数量个子卷积层，且前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为该第一卷积层的输出。该第一卷积层，前一个子卷积层的输出作为后一个卷积成的输入，这样各子卷积层之间实现残差学习，可以提高第一卷积层中参数的利用率，进而减少卷积神经网络的参数，从而提高卷积神经网络的计算速度。同时，将各子卷积层的输出进行合并，作为第一卷积层的输出，这样在保证第一卷积层输出的数据量的基础上，减少各子卷积层所处理的数据量，实现数据的分配，提高了各子卷积层的数据处理速度，进一步提高了整个卷积神经网络的计算速度，进而降低对电子设备的硬件的要求，降低成本。
在本实施例的一种可能的实现方式中，所述第一卷积层输出的特征图的长度和宽度与输入的特征图的长度和宽度相同。
例如，第一卷积层输入的特征图的长度和宽度为112×112，则第一卷积层输出的特征图的长度和宽度也为112×112。本实施例中，由于第一卷积层的输出为第一卷积层中各子卷积层输出的合并，因此，第一卷积层中各子卷积层的输出的特征图的长度和宽度也为112×112。这样可以避免输入的特征图的边缘信息被一步步舍弃的问题，进而提高了卷积神经网络的运算准确性。
在本实施例的另一种可能的实现方式中，所述第一卷积层输出的特征图的通道数与输入的特征图的通道数相同。
例如，第一卷积层输入的特征图的通道数为64，则第一卷积层输出的特征图的通道数也为64。本实施例中，由于第一卷积层的输出为第一卷积层中各子卷积层输出的合并，因此，第一卷积层中各子卷积层的输出的特征图的通道数之和也为64。
在本实施例的另一种可能的实现方式中，所述第一卷积层中各子卷积层的输出的特征图的通道数之和，等于所述第一卷积层输出的特征图的通道数。
例如，如图4所示，假设本实施例的第一卷积层包括4个子卷积层，分别为第一子卷积层、第二子卷积层、第三子卷积层和第四子卷积层。
其中，所述第一子卷积层的第一输出特征图为所述第二子卷积层的输入，所述第二子卷积层的第二输出特征图为所述第三子卷积层的输入，所述第三子卷积层的第三输出特征图为所述第四子卷积层的输入，第四子卷积层输出四输出特征图。
第一输出特征图的通道数、第二输出特征图的通道数、第三输出特征图的通道数和第四输出特征图的通道数的之和等于第一卷积层输出的特征图的通道数。
例如，第一输出特征图的通道数为4c，第二输出特征图的通道数为2c，将2c，第三输出特征图的通道数为1c，第四输出特征图的通道数为1c。这样，将这4个子卷积层输出的特征图的通道数之和作为第一卷积层输出的特征图的通道数，即第一卷积层输出的特征图的通道数为8c。
在本实施例的另一种可能的实现方式中，所述第一卷积层中后一子卷积层输出的特征图的通道数，小于或等于前一子卷积层输出的特征图的通道数。
继续参照图4，例如，第二输出特征图的通道数小于或等于第一输出特征图的通道数，第三输出特征图的通道数小于或等于第二输出特征图的通道数，第四输出特征图的通道数小于或等于第三输出特征图的通道数。
在一种示例中，图4所示的第一卷积层中，第一输出特征图的通道数为第一子卷积层输入的通道数的1/2，第二输出特征图的通道数为第一输出特征图的通道数的1/2，第三输出特征图的通道数和第二输出特征图的通道数的1/2，第四输出特征图的通道数等于第三输出特征图的通道数。
这样，在通道维度上，将上述4个子卷积层的输出进行合并，假设第一子卷积的输入通道为64，则第一子卷积层的输出通道数为32，第二子卷积层的输出通道数为16，第三子卷积层的输出通道数为8，第四子卷积层的输出通道数为8。此时，各子卷积层输出的通道数相加32+16+8+8＝64，与第一卷积层的输入相同。
这样设置各子卷积层的输出通道数，使得第一子卷积层快速实现降维，即将输入的64维降低为32维，并将降维后的特征图输入到第二子卷积层中，第二子卷积层对输入的维数较低的特征图进行卷积操作，可以降低卷积操作的速度，并进一步实现对输入的特征图进行降维，输出16维的特征图给第三子卷积层，降低第三子卷积层的数据处理量，提高第三子卷积层的处理速度。同时，第三子卷积层对输入的16维特征图进一步进行降维，降为8维特征图并输入到第四子卷积层中，使得第四子卷积层的处理的数据量更少，提高第四子卷积层的处理速度。
即本实施例中，各子卷积层处理的数据量少，处理速度快，进而使得整个第一卷积层的处理速度也提高。同时，各子卷积层前后连接，实现局部的残差学习，可以降低卷积神经网络的参数量。
在本实施例的另一种可能的实现方式中，所述第一卷积层中第一个子卷积层对应的卷积核小于其他子卷积层对应的卷积核。
继续参照图4所示，本实施例的第一卷积层中，第一子卷积层对输入的特征图进行降维处理，而为了实现快速降维，则第一卷积层选择较小的卷积核进行运行，例如，选择1×1或者2×2的卷积核，实现对输入的快速降维。而为了保证第一卷积层的卷积运算准确率，则第二子卷积层、第三子卷积层和第四子卷积层选择比第一子卷积层较大的卷积核进行卷积运算，例如第二子卷积层选择3×3的卷积核，第三子卷积层和第四子卷积层选择5×5的卷积核，或者，第二子卷积层和第三子卷积层选择3×3的卷积核，第四子卷积层选择5×5的卷积核，或者第二子卷积层、第三子卷积层和第四子卷积层均选择5×5的卷积核。
在一种示例中，本实施例的第一卷积层中，所述第一子卷积层对应的卷积核为1×1，所述第二子卷积层、所述第三子卷积层和所述第四子卷积层对应的卷积核均为3×3。
本发明实施例提供的图像处理方法，通过将卷积神经网络进行上述匹配后，可以进一步提高该卷积神经网络的运输速度。
图5为本发明实施例二提供的图像处理方法的流程图。在上述实施例的基础上，在执行上述S102之前，首先需要对该卷积神经网络进行训练，例如，如图5所示，本实施例的方法还包括：
S201、获取多个训练样本；
S202、将多个所述训练样本输入所述卷积神经网络中，对所述卷积神经网络进行训练。
例如，构建完如图3所示的卷积神经网络后，获取多个训练样本，将多个训练样本输入到该卷积神经网络中，获得卷积神经网络的预测值，并比较预测值与期望的目标值。根据两者的差异来更新卷积神经网络中每一层的权重矩阵，例如，卷积神经网络的预测值高了，就调整权重让其预测低一些，不断调整，直到能够预测出目标值为止。
通常，通过损失函数或目标函数，用于衡量预测值和目标值的差异。
卷积神经网络的训练方法，可以使用但不限于梯度下降法，例如通过使输出值向当前点对应梯度的反方向不断移动，来降低输出值，卷积神经网络的训练方法为本领域技术人员的公知，在此不再赘述。需要说明的是，卷积神经网络可以采用监督、半监督或无监督等现有方法进行训练，本发明实施例对此并不限制。
在本实施例中，根据上述步骤训练完卷积神经网络之后，为了进一步缩小卷积神经网络的数据量，本实施例还对训练后的卷积神经网络进行压缩，具体包括如下步骤：
S203、对训练后的卷积神经网络的参数进行压缩，获得第一卷积神经网络。
可选的，分析训练后的卷积神经网络中，每一层的参数，例如权重，对参数进行量化处理，例如，经过训练后，某一层的权重为0.123456，为了减少运算量，则将权重0.123456压缩为0.12。
可选的，分析每一层的特征图，参照上述例子，对特征图进行量化处理，减少特征图中各数据的数据位数。
可选的，对每一层的卷积参数进行分析，选择合适的位数(bit-width)进行裁剪。
S204、检测所述第一卷积神经网络的准确率，若所述第一卷积神经网络的准确率大于或等于预设准确率，则将所述第一卷积神经网络作为训练完成的卷积神经网络。
S205、若所述第一卷积神经网络的准确率小于所述预设准确率，则对所述第一卷积神经网络的参数进行调整，使得调整后的第一卷积神经网络的准确率大于或等于所述预设准确率，将调整后的第一卷积神经网络作为训练完成的卷积神经网络。
例如，根据上述S203的步骤，对训练后的卷积神经网络压缩之后，获得第一卷积神经网络，该第一卷积神经网络的准确率可能会发生变化，此时需要计算该第一卷积神经网络的准确性。例如，向该第一卷积神经网络中输入训练样本，判断输出与期望的目标值之间的差距，进而获得第一卷积神经网络的准确率。
若第一卷积神经网络的准确率大于或等于预设准确率时，则说明压缩后形成的第一卷积神经网络的准确率满足要求，此时可以将该第一卷积神经网络作为S102中的卷积神经网络，执行上述S102的步骤，获得图像的特征图。
若第一卷积神经网络的准确率小于预设准确率时，则说明压缩后形成的第一卷积神经网络的准确率遭到破坏，需要调整第一卷积神经网络的参数，对该第一卷积神经网络重新进行训练，使得调整后的第一卷积神经网络的准确率大于或等于预设准确性。其具体训练过程与上述训练过程相同，在此不再赘述。当调整后的第一卷积神经网络的准确率大于或等于预设准确率时，将调整后的第一卷积神经网络作为上述S102步骤中的卷积神经网络。
本发明实施例提供的方法，通过对卷积神经网络进行压缩，进一步减少卷积神经网络的复杂度，提高了其运算速度。
在本实施例的一种可能的实现方式中，本实施例的图像处理方法，通过卷积神经网络提取图像的特征图之后，可以将其运用到多种计算机视觉任务中，例如分类、物体检测和视频分析等任务中。
当本实施例的方法应用到分类中时，上述S102之后，本实施例的方法还可以包括：
S300、根据所述图像的特征图，确定所述图像中目标物体的类别。
例如，继续参照图3和表5，在卷积神经网络中增加一个分类器，该分类器根据S102获得的图像的特征图，计算出该图像中的目标物体为猫。需要说明的是，根据图像的特征图，确定出图像中目标物体的类别的过程为公知常识，本实施不再详细阐述。
图6为本发明实施例三提供的图像处理方法的流程图，当本实施例的方法应用到物体检测中时，上述S102之后，如图6所示，本实施例的方法还可以包括：
S301、根据所述图像的特征图，获得所述图像中目标物体对应的检测框，所述检测框为包围所述目标物体的矩形框。
例如，根据上述S102的方法获得图像的特征图后，对图像中的目标物体进行检测，获得图像中目标物体对应的检测框。
例如，如图7所示，本实施例的图像A包括两个目标物体，分别为人和鱼形运动器。将图像A输入预先训练后的卷积神经网络中，获得该图像的特征图。接着，基于获得的图像的特征图，获得目标特征人和鱼形运动器对应的检测框。
S302、确定所述检测框中所述目标物体的类别。
可选的，从图像的特征图中提取检测框中的目标物体对应的特征向量。使用分类器，基于目标物体对应的特征向量，确定出各检测框中目标物体的类别。
S303、根据所述目标物体的类别，对所述检测框进行调整，确定所述目标物体在所述图像中的位置。
例如，如图7所示，根据上述S302获得检测框中目标物体的类别之后，根据目标物体的类别，对上述S301生成的检测框进行适应性调整，使得检测框可以与目标物体的边缘相切，即使用最小的检测框完整地包围目标物体。
接着，根据目标物体对应的检测框，可以确定出目标物体在图像中的位置，例如将检测框在图像中的位置作为该目标物体在图像中的位置。
需要说明的是，本实施例的图像处理方法获得的图像的特征图还可以应用到其他应用中，本实施例对此不做限制。
本发明实施例提供的图像处理方法，可以对图像中目标物体的进行分类，并且可以准确、快速地检测出图像中的目标物体，其使用范围广，为计算机视觉的发展提供可靠的基础。
图8为本发明实施例一提供的图像处理装置的结构示意图。如图8所示，本实施例的图像处理装置10可以包括：
第一获取模块11，用于获取图像中各像素点的像素值；
处理模块12，用于根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
本发明实施例的图像处理装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在本实施例的一种可能的实现方式中，所述其他网络层包括第二卷积层或池化层，和/或，所述第一卷积层为所述卷积神经网络的中间网络层。
在本实施例的另一种可能的实现方式中，所述卷积神经网络包括第二预设数量个的所述第一卷积层，所述第二预设数量大于或等于2。
在本实施例的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层依次连接。
在本实施例的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层之间通过至少一个所述其他网络层连接。
在本实施例的另一种可能的实现方式中，所述第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量相同，或者，至少二个所述第一卷积层各自包括的子卷积层的数量不同。
在本实施例的一种可能的实现方式中，所述第一卷积层输出的特征图的长度和宽度与输入的特征图的长度和宽度相同。
在本实施例的另一种可能的实现方式中，所述第一卷积层输出的特征图的通道数与输入的特征图的通道数相同。
在本实施例的另一种可能的实现方式中，所述第一卷积层中各子卷积层的输出的特征图的通道数之和，等于所述第一卷积层输出的特征图的通道数。
在本实施例的另一种可能的实现方式中，所述第一卷积层中后一子卷积层输出的特征图的通道数，小于或等于前一子卷积层输出的特征图的通道数。
在本实施例的另一种可能的实现方式中，所述第一卷积层中第一个子卷积层对应的卷积核小于其他子卷积层对应的卷积核。
图9为本发明实施例二提供的图像处理装置的结构示意图，在上述实施例的基础上，如图9所示，本实施例的图像处理装置10还包括：
第二获取模块13，用于获取多个训练样本；
训练模块14，用于将多个所述训练样本输入所述卷积神经网络中，对所述卷积神经网络进行训练。
本发明实施例的图像处理装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明实施例三提供的图像处理装置的结构示意图。如图10所示，本实施例的图像处理装置10还可以包括：
压缩模块15，用于对训练后的卷积神经网络的参数进行压缩，获得第一卷积神经网络；
检测模块16，用于检测所述第一卷积神经网络的准确率；
确定模块17，用于若所述检测模块16检测到所述第一卷积神经网络的准确率大于或等于预设准确率，则将所述第一卷积神经网络确定为训练完成的卷积神经网络；
调整模块18，用于若所述检测模块16检测到所述第一卷积神经网络的准确率小于所述预设准确率，则对所述第一卷积神经网络的参数进行调整；
所述确定模块17，还用于若所述检测模块16检测到调整后的第一卷积神经网络的准确率大于或等于所述预设准确率，将调整后的第一卷积神经网络确定为训练完成的卷积神经网络。
本发明实施例的图像处理装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图11为本发明实施例四提供的图像处理装置的结构示意图。如图11所示，本实施例的图像处理装置10还包括，
分类模块19，用于根据所述图像的特征图，确定所述图像中目标物体的类别。
图12为本发明实施例五提供的图像处理装置的结构示意图，在上述实施例的基础上，如图12所示，本实施例的图像处理装置10还包括：
检测框获取模块20，用于根据所述图像的特征图，获得所述图像中目标物体对应的检测框，所述检测框为包围所述目标物体的矩形框；
分类模块19，还用于确定所述检测框中所述目标物体的类别；
位置确定模块21，用于根据所述目标物体的类别，对所述检测框进行调整，确定所述目标物体在所述图像中的位置。
在本实施例的一种可能的实现方式中，所述卷积神经网络还包括多个第二卷积层。
本发明实施例的图像处理装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图13为本发明实施例提供的电子设备的结构示意图，如图13所示，本实施例的电子设备200包括：
存储器220，用于存储计算机程序；
处理器230，用于执行所述计算机程序，以实现上述图像处理方法，其实现原理和技术效果类似，此处不再赘述。
进一步的，当本发明实施例中图像处理方法的至少一部分功能通过软件实现时，本发明实施例还提供一种计算机存储介质，计算机存储介质用于储存为上述对基于双目相机的图像处理的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述方法实施例中各种可能的图像处理方法。在计算机上加载和执行所述计算机执行指令时，可全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取图像中各像素点的像素值；
根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
2.根据权利要求1所述的方法，其特征在于，所述其他网络层包括第二卷积层或池化层，和/或，所述第一卷积层为所述卷积神经网络的中间网络层。
3.根据权利要求1或2所述的方法，其特征在于，所述卷积神经网络包括第二预设数量个的所述第一卷积层，所述第二预设数量大于或等于2。
4.根据权利要求3所述的方法，其特征在于，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层依次连接。
5.根据权利要求3所述的方法，其特征在于，所述第二预设数量个的所述第一卷积层中，至少二个所述第一卷积层之间通过至少一个所述其他网络层连接。
6.根据权利要求3所述的方法，其特征在于，所述第二预设数量个的所述第一卷积层中：至少二个所述第一卷积层各自包括的子卷积层的数量相同，或者，至少二个所述第一卷积层各自包括的子卷积层的数量不同。
7.根据权利要求1或2所述的方法，其特征在于，所述第一卷积层输出的特征图的长度和宽度与输入的特征图的长度和宽度相同。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取图像中各像素点的像素值；
处理模块，用于根据所述图像的像素值和卷积神经网络，确定所述图像的特征图；其中，所述卷积神经网络至少包括第一卷积层和与所述第一卷积层连接的其他网络层，所述第一卷积层包括第一预设数量个子卷积层，前一个子卷积层的输出为后一个子卷积层的输入，各子卷积层输出的合并为所述第一卷积层的输出，所述第一预设数量大于或等于2。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1-7任一项所述的图像处理方法。
10.一种计算机存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序在执行时实现如权利要求1-7任一项所述的图像处理方法。
CN201810681606.4A 2018-06-27 2018-06-27 图像处理方法、装置、电子设备及计算机存储介质 Active CN110647898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810681606.4A CN110647898B (zh) 2018-06-27 2018-06-27 图像处理方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810681606.4A CN110647898B (zh) 2018-06-27 2018-06-27 图像处理方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110647898A true CN110647898A (zh) 2020-01-03
CN110647898B CN110647898B (zh) 2022-11-01

Family

ID=69009165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810681606.4A Active CN110647898B (zh) 2018-06-27 2018-06-27 图像处理方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110647898B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366080A1 (en) * 2020-05-20 2021-11-25 Industry-Academic Cooperation Foundation, Yonsei University Method for optimizing hardware structure of convolutional neural networks

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016033990A1 (zh) * 2014-09-01 2016-03-10 华为技术有限公司 生成检测模型的方法和设备、用于检测目标的方法和设备
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107798381A (zh) * 2017-11-13 2018-03-13 河海大学 一种基于卷积神经网络的图像识别方法
CN107832835A (zh) * 2017-11-14 2018-03-23 贵阳海信网络科技有限公司 一种卷积神经网络的轻量化方法及装置
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016033990A1 (zh) * 2014-09-01 2016-03-10 华为技术有限公司 生成检测模型的方法和设备、用于检测目标的方法和设备
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN107529650A (zh) * 2017-08-16 2018-01-02 广州视源电子科技股份有限公司 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107798381A (zh) * 2017-11-13 2018-03-13 河海大学 一种基于卷积神经网络的图像识别方法
CN107832835A (zh) * 2017-11-14 2018-03-23 贵阳海信网络科技有限公司 一种卷积神经网络的轻量化方法及装置
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210366080A1 (en) * 2020-05-20 2021-11-25 Industry-Academic Cooperation Foundation, Yonsei University Method for optimizing hardware structure of convolutional neural networks
US11587203B2 (en) * 2020-05-20 2023-02-21 Industry-Academic Cooperation Foundation, Yonsei University Method for optimizing hardware structure of convolutional neural networks

Also Published As

Publication number Publication date
CN110647898B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN108664981B (zh) 显著图像提取方法及装置
EP4109392A1 (en) Image processing method and image processing device
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
CN112348747A (zh) 图像增强方法、装置及存储介质
US10810462B2 (en) Object detection with adaptive channel features
CN112307853A (zh) 航拍图像的检测方法、存储介质和电子装置
CN110111347B (zh) 图像标志提取方法、装置及存储介质
CN113689373B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN116188808B (zh) 图像特征提取方法和系统、存储介质及电子设备
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN112614110A (zh) 评估图像质量的方法、装置及终端设备
CN115482529A (zh) 近景色水果图像识别方法、设备、存储介质及装置
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN111563517A (zh) 图像处理方法、装置、电子设备及存储介质
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN112166598B (zh) 图像处理方法、系统、可移动平台和存储介质
CN110288691B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116843566A (zh) 色调映射方法、装置、显示设备和存储介质
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN114998172A (zh) 图像处理方法及相关系统
CN115223018A (zh) 伪装对象协同检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant