CN113592041A - 图像处理方法、装置、设备、存储介质及计算机程序产品 - Google Patents

图像处理方法、装置、设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN113592041A
CN113592041A CN202111147187.4A CN202111147187A CN113592041A CN 113592041 A CN113592041 A CN 113592041A CN 202111147187 A CN202111147187 A CN 202111147187A CN 113592041 A CN113592041 A CN 113592041A
Authority
CN
China
Prior art keywords
convolution
convolutional
layer
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111147187.4A
Other languages
English (en)
Other versions
CN113592041B (zh
Inventor
李德辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111147187.4A priority Critical patent/CN113592041B/zh
Publication of CN113592041A publication Critical patent/CN113592041A/zh
Application granted granted Critical
Publication of CN113592041B publication Critical patent/CN113592041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、设备、存储介质及计算机产品,可应用于云技术、人工智能、智慧交通以及辅助驾驶等各种场景。图像处理方法包括:获取待处理图像的输入特征;输入特征所在空间的维度为第一维度;获取图像处理网络,图像处理网络包括N个卷积层,每个卷积层均包括至少一个卷积核;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;根据卷积运算结果对待处理图像进行图像处理得到处理结果。采用本申请实施例可提高图像分类或识别的准确性。

Description

图像处理方法、装置、设备、存储介质及计算机程序产品
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、设备、存储介质及计算机程序产品。
背景技术
深度学习网络是近几年来最流行的机器学习方法,驱动了人工智能算法在各行各业中落地。其中,卷积神经网络作为深度学习网络中的一个热门研究方向之一,其主要用于对图像进行分类或识别处理。卷积层是卷积神经网络中最重要的部分,它主要是通过权重值共享的方式,与输入其的特征进行卷积计算。通常情况下,卷积层的卷积操作是直接在原空间上进行内积运算,但是原空间的表达能力有限,如此使得卷积神经网络的特征表达能力不高,从而导致卷积神经网络对图像的分类或者识别准确度降低。因此,在图像处理领域中,如何利用卷积神经网络对图像进行分类或者识别处理,以提高图像分类或者识别准确度成为研究的热点问题之一。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备、存储介质及计算机程序产品,可以提高图像分类或者识别的准确度。
一方面,本申请实施例提供了一种图像处理方法,包括:
获取待处理图像的输入特征;输入特征所在空间的维度为第一维度;
获取图像处理网络,图像处理网络包括N个卷积层,N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;图像处理网络用于对输入图像处理网络的图像进行分类处理或识别处理;
调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;
根据卷积运算结果对待处理图像进行图像处理得到处理结果。
一方面,本申请实施例提供了一种图像处理装置,包括:
获取单元,用于获取待处理图像的输入特征,输入特征所在空间的维度为第一维度;
获取单元,还用于获取图像处理网络,图像处理网络包括N个卷积层,N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;图像处理网络用于对输入图像处理网络的图像进行分类处理或识别处理;
处理单元,用于调用N个卷积层将输入特征和每个卷积层的卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;
根据卷积运算结果对待处理图像进行图像处理得到处理结果。
一方面,本申请实施例提供了一种图像处理设备,包括:处理器,适用于实现一条或多条计算机程序;以及计算机存储介质,计算机存储介质存储有一条或多条计算机程序,一条或多条计算机程序适于由处理器加载并执行:
获取待处理图像的输入特征;输入特征所在空间的维度为第一维度;获取图像处理网络,图像处理网络包括N个卷积层,N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;图像处理网络用于对输入图像处理网络的图像进行分类处理或识别处理;
调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;根据卷积运算结果对待处理图像进行图像处理得到处理结果。
一方面,本申请实施例提供了一种计算机存储介质,计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,用于执行:
获取待处理图像的输入特征;输入特征所在空间的维度为第一维度;获取图像处理网络,图像处理网络包括N个卷积层,N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;图像处理网络用于对输入图像处理网络的图像进行分类处理或识别处理;
调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;根据卷积运算结果对待处理图像进行图像处理得到处理结果。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,计算机程序产品包括计算机程序,该计算机程序存储在计算机存储介质中;图像处理设备的处理器从计算机存储介质中读取该计算机程序,处理器执行该计算机程序,使得图像处理设备执行:
获取待处理图像的输入特征;输入特征所在空间的维度为第一维度;获取图像处理网络,图像处理网络包括N个卷积层,N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;每个卷积层中卷积核对应的权重值所在空间的维度为第一维度;图像处理网络用于对输入图像处理网络的图像进行分类处理或识别处理;
调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;映射空间的维度为第二维度,第二维度大于第一维度;根据卷积运算结果对待处理图像进行图像处理得到处理结果。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层均包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理系统的结构示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3是本申请实施例提供的另一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种图像处理网络进行卷积运算的示意图;
图5是本申请实施例提供的一种图像处理装置的结构示意图;
图6是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的自动驾驶、智慧交通、无人驾驶、自动驾驶等等。人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,机器学习(Machine Learning,ML)作为人工智能的核心,其是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
近几年来,深度学习网络作为比较流行的机器学习方法,驱动了人工智能算法在各行各业中落地。在深度学习网络中使用比较频繁的是卷积神经网络,卷积神经网络主要用于对图像进行处理,比如图像分类、图像识别、图像检测以及目标跟踪等等。
本申请基于机器学习中的卷积神经网络提出了一种图像处理方案,采用本申请的图像处理方法对图像进行分类、识别或者其他处理时,可以提高图像处理准确性。具体实现中,本申请的图像处理方案在获取到待处理图像的输入特征后,进一步获取图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层中包括至少一个卷积核,每个卷积层中卷积核会对应一个权重值,如果一个卷积层中卷积核的数量为多个,那么该卷积层中卷积核对应的权重值可以是一个权重值矩阵,待处理图像的输入特征所在空间的维度和每个卷积层中卷积核对应的权重值所在空间的维度均是第一维度;然后,调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间中进行卷积运算。其中,映射空间的维度大于第一维度,也就是说,相对来说,第一维度是比较低的维度,在低维度的空间中反映的信息有限,其表达能力也有限,而在高维度的空间中反映的信息更加丰富,其表达能力相对较高,因此,在高维度的空间中进行卷积运算可以提取到更加丰富的图像特征,从而后续基于该丰富的图像特征进行图像分类或者识别时,可以提高图像分类或者识别的准确性。
上述图像处理方案可由图像处理设备执行,该图像处理设备可以是终端,比如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能家电、智能语音交互设备等等;图像处理设备还可以是服务器,比如独立的物理服务器、多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。上述图像处理方法可应用于各种场景,包括但不限于云技术、人工智能、智慧交通以及辅助驾驶等。
请参见图1,为本申请实施例提供的一种图像处理网络的结构示意图,图1所示的图像处理网络是基于卷积神经网络设计的,并采用训练数据进行训练的。图1所示的图像处理网络可以应用于多个与图像处理相关的领域中,比如应用于自动驾驶领域中,具体可以通过自动驾驶车辆摄像头拍摄的图像判断前方道路情况比如前方是否存在行人、非机动车等障碍物,以便于自动驾驶车辆安全行驶;再如,还可以应用于无人机的目标跟踪场景中,具体可以是通过无人机的摄像头拍摄的图像判断当前场景中是否存在指定的跟踪目标。
图1所述的图像处理网络中可以包括N个卷积层,比如图1中卷积层1,卷积层2,……卷积层13,这N个卷积层可以被划分到M个卷积模块中,例如卷积层1单独作为卷积模块101,卷积层2-卷积层5组成一个卷积模块102,卷积层6-卷积层9组成一个卷积模块103,卷积层10-卷积层13组成一个卷积模块104,以及卷积层14-卷积层17组成一个卷积模块105。每个卷积模块中的各个卷积层可以通过残差跳连的方式进行连接。
每个卷积层中包括至少一个卷积核,通常情况下卷积核的大小可以为7*7,3*3,每个卷积模块中各个卷积层的中卷积核大小可以相同,也可以不同,本申请实施例中假设每个卷积模块中各个卷积层的卷积核大小相同。
图1所述的图像处理网络中在每个卷积层处还可以标示每个卷积层的属性信息,每个卷积层的属性信息可以包括该卷积层的卷积核大小,卷积类型,卷积层的特征通道数。其中,卷积类型可以包括普通卷积,分组卷积以及非对称卷积,通常情况下,如果一个卷积层的卷积类型是普通卷积,则可以不用特别标出。本申请实施例中,假设每个卷积层的卷积类型均可以是普通卷积。每个卷积层中卷积核的数量决定了该卷积层的特征通道数,也就是说每个卷积层中有多少个卷积核,该卷积层的特征通道数就为多少。在图1中,卷积层1处标示出卷积层1的属性信息表示为:7*7 conv 64;7*7表示卷积层1的卷积核大小,64表示卷积层1的特征通道数;再如,在卷积层3中标示出该卷积层的属性信息表示为:3*3 conv 64。
可选的,输入到图像处理网络中的待处理图像,经过每个卷积层的卷积处理后都会得到一些特征图,每个卷积模块中各个卷积层输出的特征图的尺寸是相同的。特征图的尺寸包括长度、宽度和通道数,每个卷积层输出的特征图中通道数和每个卷积层的通道数相同。在图1中,每个卷积层的右侧示出了每个卷积层输出的特征图的尺寸。假设输入到卷积模块101中的特征图的尺寸为3*224*224,因为卷积模块101是第一个卷积模块,输入到其中的特征图是指待处理图像,卷积模块101中的第一个卷积层(如将第一个卷积层命名为图1中所述的卷积层1)对待处理图像进行卷积处理后输出一个特征图,该特征图的尺寸为64*112*112。其中,3表示待处理图像的通道数,如果待处理图像是彩色图片,所以待处理图像对应R通道、G通道和B通道这3个通道;如果待处理图像是灰度图像,则待处理图像的通道数为1,本申请假设待处理图像是彩色图像。64表示卷积层1的特征通道数,112表示特征图的长度和宽度。
应当理解的,卷积层1输出的特征图的长度和宽度是对输入其中的特征图的长度和宽度进行1/2降采样得到的,由于卷积层1处于卷积模块1中,每个卷积模块中各个卷积层输出的特征图的尺寸相同,也就是说卷积模块1最后输出的特征图的长度和宽度是对输入到该模块的特征图的长度和宽度进行降采样得到的。本申请图1中还可以在每个卷积模块的第一个卷积层处还可以标示该卷积模块是对上一个卷积模块输出的特征图进行怎样的降采样处理,比如卷积模块1中只包括一个卷积层1,因此在卷积层1处标识“/2”,用于表示卷积模块101最后输出的特征图的长度和宽度是对输入其中的特征图的长度和宽度进行1/2降采样处理确定的。对于其他各个卷积模块采用相同的方法标示,本申请在此不一一赘述。
基于上述的图像处理网络,本申请实施例提供了一种图像处理方法,参见图2,为本申请实施例提供的一种图像处理方法的流程示意图。图2所示的图像处理方法可由图像处理设备执行,具体可由图像处理设备的处理器执行。图2所示的图像处理方法可包括如下步骤:
步骤S201、获取待处理图像的输入特征。
其中,待处理图像可以是任意一张图像,待处理图像的输入特征可以指待处理图像的长度、宽度以及通道数,如果待处理图像是彩色的图像,则该待处理图像的通道数为3,分别是R通道、G通道以及B通道;如果待处理图像是灰度图像,则该待处理图像的通道数为1。待处理图像可以是图像处理设备进行实时获得得到的,或者,该待处理图像也可以是图像处理设备接收到的其他设备发送的,本申请实施例中不做具体限定。
步骤S202、获取图像处理网络,该图像处理网络包括N个卷积层,每个卷积层包括至少一个卷积核,每个卷积层中卷积核对应的权重值所在空间的维度为第一维度。
顾名思义,图像处理网络是用于对图像进行处理的网络,对图像的处理可以包括分类、识别、检测、目标跟踪等等。该图像处理网络可以是基于卷积神经网络设计的,卷积神经网络作为一种典型的深度学习网络,主要应用在图像处理领域中。该图像处理网络的结构可以如图1所示,具体地,该图像处理网络中包括了N个卷积层,每个卷积层中包括至少一个卷积核以及卷积核对应的权重值,每个卷积核对应的权重值均是该图像处理网络中的网络参数,采用具有不同权重值的卷积核进行特征提取时,可以提取到不同特征,从而可以影响最后的图像处理结果,因此,对每个卷积核对应的权重值进行优化训练是在图像处理网络的训练阶段必不可少的。
可选的,每个卷积层中卷积核对应的权重值和待处理图像的输入特征所在空间的维度均为第一维度,该第一维度可以指二维,三维,四维等等任意维度。
在一个实施例中,获取图像处理网络可以包括从图像处理设备本地中获取该图像处理网络,或者接受其他设备发送的图像处理网络。具体实现中,图像处理网络可以是图像处理设备基于训练数据训练得到的,图像处理设备训练得到该图像处理网络后,可以将该图像处理网络存储在本地。或者,图像处理网络是其他设备训练得到的,当图像处理设备需要使用图像处理网络时,向其他设备发送请求,其他无设备响应该请求将图像处理设备发送给图像处理设备。
步骤S203、调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度为第二维度。
步骤S204、根据卷积运算结果对待处理图像进行图像处理得到处理结果。
获取到待处理图像的输入特征和图像处理网络之后,调用图像处理网络基于待处理图像的输入特征对待处理图像进行处理得到处理结果。具体实现中,可以通过步骤S203和步骤S204实现。
在步骤S203中,映射空间的维度为第二维度,第二维度大于第一维度,应当理解的,一个空间的维度越高,在其空间能够反映的信息就越丰富,比如在二维空间中可能只能反映一个物体的长度信息和宽度信息,在三维空间中则可以反映该物体的长度信息、宽度信息以及高度信息,可想而知,在更高维度的空间中可以反映更多的信息;反映的信息越丰富,在进行卷积运算时,提取到的特征就越丰富,这样在步骤S204中基于卷积运算结果对待处理图像进行图像处理得到的处理结果就越准确。
在一个实施例中,假设N个卷积层中包括第一个卷积层和第二个卷积层,第一个卷积层和第二个卷积层相连接,且第二个卷积层在第一个卷积层之后,调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,可以包括:调用第一个卷积层将输入特征和第一个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到第一内积运算结果;调用第二个卷积层将第一内积运算结果和第二个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到卷积运算结果。简单来说,除了第一个卷积层之外,其他每个卷积层的输入均是该卷积层的上一个卷积层的输出,每个卷积层均会将其输入和该卷积层中卷积核对应的权重值映射到映射空间后进行内积运算得到该卷积层的输出。应当理解的,本申请的上述只是以图像处理网络包括第一个卷积层和第二个卷积层为例介绍的,在实际应用中,可以根据不同应用场景的需求,设置图像处理网络包括多少个卷积层。
在一个实施例中,假设图像处理网络是用于对输入到该图像处理网络的图像进行分类处理的,并且假设卷积运算结果包括图像特征向量,图像处理网络还包括池化层和全连接层,那么步骤S204的具体实现方式,可以包括:调用所述图像处理网络中的池化层对所述图像特征向量进行压缩处理;并调用所述图像处理网络中的全连接层基于压缩处理后的图像特征向量进行分类预测,输出分类预测值;基于所述分类预测值确定所述待处理图像所属类别。其中,输出的分类预测值的格式是在创建图像处理网络时设置的,假设输出的分类预测值的格式是采用one hot编码,对于n分类问题,可以设置输出的分类预测值的格式为g=g0,g1,g2…,g(n-1),gi代表一个分类的情况,i的取值为0-n-1,gi的取值为1或0,如果gi的取值为1,则表示待处理图像是属于第i类的;如果gi的取值为0,则表示待处理图像不是属于第i类的。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。
基于上述图像处理方法,本申请实施例提供了另一种图像处理方法,参见图3,为本申请实施例提供的另一种图像处理方法的流程示意图。图3所示的图像处理方法可由图像处理设备执行,具体可由图像处理设备的处理器执行。图3所示的图像处理方法可包括如下步骤:
步骤S301、构建图像处理网络,该图像处理网络包括N个卷积层,每个卷积层均包括至少一个卷积核,每个卷积核对应一个权重值,且每个卷积层中卷积核对应的权重值所在空间的维度为第一维度。
可选的,构建图像处理网络可以包括如下几个步骤:s1、确定网络结构参数;s2、获取目标核函数;s3、基于目标核函数确定每个卷积层对应的卷积处理逻辑,每个卷积层对应的卷积处理逻辑用于指示每个卷积层将每个卷积层的输入和每个卷积层中卷积核对应的权重值进行目标核函数的运算。
其中,在s1中网络结构参数可以包括图像处理网络包括的网络层以及各个网络层之间的连接关系,如图1所示,假设本申请中设置的图像处理网络中包括的网络层为:N个卷积层、池化层以及全连接层。N个卷积层被划分到M个卷积模块中,池化层可以包括最大池化层和平均池化层,最大池化层表示为maxpool,与第一个卷积模块101相连接;平均池化层可以表示为avgpool,与最后一个卷积模块105相连接;全连接层与平均池化层连接。
具体实现中,确定网络结构参数可以包括:确定每个卷积模块的卷积模块属性信息,由前述可知,第i个卷积模块的卷积模块属性信息可以包括第i个卷积模块中包括的卷积层的数量,每个卷积层的属性信息,第i个卷积模块中第j个卷积层的属性信息包括:第j个卷积层中卷积核的尺寸、卷积类型、特征通道数以及经过第j个卷积层的卷积处理得到的特征图的尺寸。这部分内容已在图1实施例中进行具体介绍,在此不再赘述。
在s2中,核函数是机器学习中一种在高维空间计算卷积的技巧,假设一个卷积核 对应的权重值用x表示,待处理图像的输入特征用y表示,通常情况下,卷积层在权重值和输 入特征所在空间进行卷积运算是指直接对权重值x和输入特征y进行内积运算,假设z表示 内积运算结果,z的计算表示为
Figure 958389DEST_PATH_IMAGE001
;核函数的工作原理可以概括为:假设存在一种映 射
Figure 48704DEST_PATH_IMAGE002
,能够将卷积核对应的权重值和输入特征映射到更高维的映射空间,那么就可以在更 高维的空间中计算内积:
Figure 89342DEST_PATH_IMAGE003
,本申请中并不关注具体映射是什么样的,只关注x和 y映射之后的内积,可以令
Figure 341331DEST_PATH_IMAGE004
Figure 37892DEST_PATH_IMAGE005
就称为核函数。常见的核函数可以包括 线性核函数
Figure 666319DEST_PATH_IMAGE006
、多项式核函数
Figure 829972DEST_PATH_IMAGE007
、高斯核函数
Figure 987284DEST_PATH_IMAGE008
、拉普拉斯核函数
Figure 436720DEST_PATH_IMAGE010
、sigmoid核函数
Figure 868838DEST_PATH_IMAGE011
,在上述公式中x表示任意一个卷积层中卷积核对应的权重值,y表示 该任意一个卷积层的输入,
Figure 618488DEST_PATH_IMAGE012
Figure 212281DEST_PATH_IMAGE013
以及c均为核函数的参数。每种核函数对应一个高维的 映射空间,比如高斯核函数对应的映射空间是无限维度空间。本申请中目标核函数可以是 上述多种核函数中任意一种。
在一个实施例中,在s3中基于目标核函数确定每个卷积层对应的卷积处理逻辑,可以包括:根据目标核函数公式完成每个卷积层中卷积代码编码,以使得每个卷积层基于每个卷积层中的卷积代码实现每个卷积层的卷积处理逻辑。另外,还需要编码每个卷积层中的误差反传代码编码,该误差反传代码用于指示在图像处理网络的训练过程中如何修改每个卷积层对应的权重值。
可选的,构建图像处理网络还可以包括确定图像处理网络的输入和输出的数据格式。一般来说,确定图像处理网络的输入的数据格式是指确定对图像处理网络训练时所用数据的数据格式,具体实现中,用于对图像处理网络进行训练的数据是多个,这些数据需要以批次的格式输入到图像处理网络中,在输入到图像处理网络中之前一个批次的数据需要进行去均值和归一化处理;输出的数据是指上述提到的输出的分类预测值的格式,具体可参见前述,在此不再赘述。
步骤S302、获取用于训练图像处理网络的训练数据集,并基于训练数据集对图像处理网络进行训练。
具体实现中,训练数据集可以是指步骤S301中所需的一个批次的数据,这个训练数据集中包括样本图像以及样本图像对应的训练标签,样本图像的数量为多个。基于训练数据集对图像处理网络进行训练实际上是调用图像处理网络对训练数据集中样本图像进行图像处理比如分类处理、识别处理等等,然后输出处理预测值;进一步的,根据每个样本图像对应的处理预测值和每个样本图像对应的训练标签构建损失函数的值;按照减小损失函数的值的方向反向优化图像处理网络的网络参数。图像处理网络的网络参数可以包括每个卷积层中卷积核对应的权重值。损失函数可以指交叉熵损失函数,或者其他用于损失函数,本申请实施例中不做具体限定。
步骤S303、获取待处理图像的输入特征,该待处理图像的输入特征所在空间的维度为第一维度。
在一个实施例中,步骤S303中包括的一些可行的实施方式可参见图2实施例中步骤S201的描述,在此不再赘述。
步骤S304、调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重映射到映射空间后进行卷积运算,并根据卷积运算结果对待处理图像进行图像处理得到处理结果。
由前述可知,假设N个卷积层中包括第一个卷积层和第二个卷积层,调用N个卷积层将输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,可以包括:调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到第一内积运算结果;调用所述第二个卷积层将所述第一内积运算结果和所述第二个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到卷积运算结果。
可选的,每个卷积层对应一个卷积处理逻辑,每个卷积层对应的卷积处理逻辑用语指示每个卷积层将每个人卷积层的输入和每个卷积层中卷积核对应的权重值进行目标核函数的核函数运算;所述目标核函数运算用于实现将每个卷积层的输入和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;因此,调用第一卷积层将输入特征和第一个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,得到第一内积运算结果,包括:基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数的运算,得到第一内积运算结果。
具体实现中,基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数运算,得到第一内积运算结果,包括:确定所述目标核函数的函数参数;将所述输入特征、所述第一个卷积层的卷积核的权重值以及所述函数参数按照所述目标核函数所指示的运算规则进行计算,得到第一内积运算结果。
可选的,每个卷积层还对应一个函数处理逻辑,每个卷积层对应的函数处理逻辑用于指示每个卷积层将每个卷积层的输入和每个卷积层中卷积核对应的权重值进行内积运算,目标核函数的函数参数是基于每个卷积层的函数处理逻辑对输入特征进行处理得到的,具体地,假设图像处理网络包括第一个卷积层和第二个卷积层,那么确定目标核函数的函数参数,包括:按照第一个卷积层对应的函数处理逻辑将所述输入特征和所述第一个卷积层的卷积核的权重值进行内积运算,得到第二内积运算结果;基于第二个卷积层对应的函数处理逻辑,将所述第二内积运算结果和所述第二个卷积层的卷积核的权重值进行内积运算,得到所述目标核函数的函数参数。举例来说,假设图像处理网络包括N个卷积层,参见图4为本申请实施例提供的一种N个卷积层对输入特征进行卷积处理的示意图,假设N的取值为2,图像处理网络中N个卷积层分别为第一个卷积层和第二个卷积层,待处理图像的输入特征输入到图像处理网络后,第一个卷积层基于函数处理逻辑将输入特征和第一个卷积层中卷积核对应的权重值进行内积计算得到第二内积计算运算结果,然后将第二内积计算结果输入到第二个卷积层中,第二个卷积层将第二个卷积层中卷积核对应的权重值和第二内积运算结果进行内积运算得到目标核函数的函数参数;进一步的,第一个卷积层和第二个卷积层基于各自的卷积处理逻辑以及函数参数进行卷积运算,最后输出卷积运算结果。
总结而言,目标核函数的函数参数是基于待处理图像的输入特征和N个卷积层中卷积核对应的权重值确定的,因此,在基于训练数据集对各个卷积核对应的权重值进行优化的同时,也优化了函数参数,可以实现为该图像处理网络学习到一个比较匹配的目标核函数的函数参数,这样有助于进一步提高图像处理的准确性。
在得到卷积运算结果后,可以根据卷积运算结果进行图像处理,比如图像分类,图像识别或者图像中目标跟踪等等。具体地,根据卷积运算结果进行图像处理的相关实施方式可参见图2实施例中步骤S204中所述,在此不再赘述。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。
基于上述图像处理方法的实施例,本申请实施例提供了一种图像处理装置,参见图5,为本申请实施例提供的一种图像处理装置的结构示意图。图5所示的图像处理装置可运行如下单元:
获取单元501,用于获取待处理图像的输入特征,所述输入特征所在空间的维度为第一维度;
所述获取单元501,还用于获取图像处理网络,所述图像处理网络包括N个卷积层,所述N个卷积层中每个卷积层包括至少一个卷积核,N为大于1的整数;所述每个卷积层中卷积核对应的权重值所在空间的维度为所述第一维度;所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理或识别处理;
处理单元502,用于调用所述N个卷积层将所述输入特征和所述每个卷积层的卷积核对应的权重值映射到映射空间后进行卷积运算;所述映射空间的维度为第二维度,所述第二维度大于所述第一维度;
所述处理单元502,还用于根据卷积运算结果对所述待处理图像进行图像处理得到处理结果。
在一个实施例中,所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理,所述卷积运算结果包括图像特征向量,所述图像处理网络还包括池化层和全连接层,所述处理单元502在根据所述卷积运算结果对所述待处理图像进行处理得到处理结果时,执行如下步骤:
调用所述图像处理网络中的池化层对所述图像特征向量进行压缩处理;并调用所述图像处理网络中的全连接层基于压缩处理后的图像特征向量进行分类预测,输出分类预测值;基于所述分类预测值确定所述待处理图像所属类别。
在一个实施例中,所述N个卷积层包括第一个卷积层和第二个卷积层,所述第一个卷积层和所述第二个卷积层相连接,且所述第二个卷积层在所述第一个卷积层之后,所述处理单元502在调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算时,执行如下步骤:
调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到第一内积运算结果;调用所述第二个卷积层将所述第一内积运算结果和所述第二个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到卷积运算结果。
在一个实施例中,所述每个卷积层对应一个卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数运算,所述目标核函数运算用于实现将每个卷积层的输入和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述处理单元502在调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,得到第一内积运算结果时,执行如下步骤:
基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数的运算,得到第一内积运算结果。
在一个实施例中,所述图像处理装置还包括构建单元503;所述构建单元503,用于构建图像处理网络;所述获取单元501,还用于获取用于训练所述图像处理网络的训练数据集,所述训练数据集中包括样本图像以及所述样本图像对应的训练标签;所述处理单元502,还用于基于所述训练数据集对所述图像处理网络进行训练。
在一个实施例中,所述构建单元503在构建图像处理网络时,执行如下步骤:确定网络结构参数,所述网络结构参数包括所述图像处理网络包括的网络层以及各个网络层之间的连接关系,所述网络层包括N个卷积层;确定目标核函数;基于所述目标核函数确定每个卷积层对应的卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数运算。
在一个实施例中,所述N个卷积层被划分到M个卷积模块中,M为大于1的整数,所述构建单元503在确定网络结构参数时,执行如下步骤:确定每个卷积模块的卷积模块属性信息,第i个卷积模块的卷积模块属性信息包括所述第i个卷积模块中包括的卷积层的数量、每个卷积层的属性信息,所述第i个卷积模块中第j个卷积层的属性信息包括:所述第j个卷积层中卷积核的尺寸、卷积类型、特征通道数以及经过所述第j个卷积层的卷积处理得到的特征图的尺寸;其中,i为小于或等于M的正整数,j大于或等于1且小于或等于所述第i个卷积模块中包括的卷积层的数量。
在一个实施例中,所述处理单元502在所述基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数运算,得到第一内积运算结果时,执行如下步骤:
确定所述目标核函数的函数参数;将所述输入特征、所述第一个卷积层的卷积核的权重值以及所述函数参数按照所述目标核函数所指示的运算规则进行计算,得到第一内积运算结果。
在一个实施例中,所述每个卷积层对应一个函数处理逻辑,所述每个卷积层对应的函数处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行内积运算;所述处理单元502在确定所述目标核函数的函数参数时,执行如下步骤:
按照所述第一个卷积层对应的函数处理逻辑将所述输入特征和所述第一个卷积层的卷积核的权重值进行内积运算,得到第二内积运算结果;基于所述第二个卷积层对应的函数处理逻辑,将所述第二内积运算结果和所述第二个卷积层的卷积核的权重值进行内积运算,得到所述目标核函数的函数参数。
根据本申请的一个实施例,图2和图3所示的图像处理方法所涉及各个步骤可以是由图5所示的图像处理装置中的各个单元来执行的。例如,图2所述的步骤S201和步骤S202可由图5所示的图像处理装置中的获取单元501来执行,步骤S203可由图5所示的图像处理装置中处理单元802来执行;再如,图3所示的步骤S301可由图5所示的图像处理装置中构建单元503来执行;步骤S302和步骤S303可由图5所示的图像处理装置中的获取单元501来执行。周S304可由图5所示的图像处理装置中的处理单元502来执行。
根据本申请的另一个实施例,图5所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图3所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图5中所示的图像处理装置,以及来实现本申请实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于图像处理设备中,并在其中运行。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。
基于上述图像处理方法的实施例以及图像处理装置的实施例,本申请实施例还提供了一种图像处理设备,参见图6,为本申请实施例提供的一种图像处理设备的结构示意图。图6所示的图像处理设备可以包括处理器601、输入接口602、输出接口603以及计算机存储介质604。其中,处理器601、输入接口602、输出接口603以及计算机存储介质604可通过总线或其他方式连接。
计算机存储介质604可以存储在图像处理设备的存储器中,所述计算机存储介质604用于存储计算机程序,所述处理器901用于执行所述计算机存储介质604存储的计算机程序。处理器601(或称CPU(Central Processing Unit,中央处理器))是图像处理设备的计算核心以及控制核心,其适于实现一条或多条计算机程序,具体适于加载并执行:
获取待处理图像的输入特征;所述输入特征所在空间的维度为第一维度;获取图像处理网络,所述图像处理网络包括N个卷积层,所述N个卷积层中每个卷积层包括至少一个卷积核,N为大于1的整数;所述每个卷积层中卷积核对应的权重值所在空间的维度为所述第一维度;所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理或识别处理;调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述映射空间的维度为第二维度,所述第二维度大于所述第一维度;根据卷积运算结果对所述待处理图像进行图像处理得到处理结果。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是图像处理设备的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括图像处理设备的内置存储介质,当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了图像处理设备的操作系统。并且,在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的计算机程序。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,所述计算机存储介质中存储的一条或多条计算机程序可由处理器601加载并执行:
获取待处理图像的输入特征;所述输入特征所在空间的维度为第一维度;获取图像处理网络,所述图像处理网络包括N个卷积层,所述N个卷积层中每个卷积层包括至少一个卷积核,N为大于1的整数;所述每个卷积层中卷积核对应的权重值所在空间的维度为所述第一维度;所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理或识别处理;调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述映射空间的维度为第二维度,所述第二维度大于所述第一维度;根据卷积运算结果对所述待处理图像进行图像处理得到处理结果。
在一个实施例中,所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理,所述卷积运算结果包括图像特征向量,所述图像处理网络还包括池化层和全连接层,所述处理器601在根据所述卷积运算结果对所述待处理图像进行处理得到处理结果时,执行如下步骤:
调用所述图像处理网络中的池化层对所述图像特征向量进行压缩处理;并调用所述图像处理网络中的全连接层基于压缩处理后的图像特征向量进行分类预测,输出分类预测值;基于所述分类预测值确定所述待处理图像所属类别。
在一个实施例中,所述N个卷积层包括第一个卷积层和第二个卷积层,所述第一个卷积层和所述第二个卷积层相连接,且所述第二个卷积层在所述第一个卷积层之后,所述处理器601在调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算时,执行如下步骤:
调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到第一内积运算结果;调用所述第二个卷积层将所述第一内积运算结果和所述第二个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到卷积运算结果。
在一个实施例中,所述每个卷积层对应一个卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数运算,所述目标核函数运算用于实现将每个卷积层的输入和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述处理器601在调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,得到第一内积运算结果时,执行如下步骤:
基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数的运算,得到第一内积运算结果。
在一个实施例中,所述处理器601还用于:构建图像处理网络;获取用于训练所述图像处理网络的训练数据集,所述训练数据集中包括样本图像以及所述样本图像对应的训练标签;基于所述训练数据集对所述图像处理网络进行训练。
在一个实施例中,所述处理器601在构建图像处理网络时,执行如下步骤:
确定网络结构参数,所述网络结构参数包括所述图像处理网络包括的网络层以及各个网络层之间的连接关系,所述网络层包括N个卷积层;确定目标核函数;基于所述目标核函数确定每个卷积层对应的卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数运算。
在一个实施例中,所述N个卷积层被划分到M个卷积模块中,M为大于1的整数;所述处理器601在确定网络结构参数时,执行如下步骤:
确定每个卷积模块的卷积模块属性信息,第i个卷积模块的卷积模块属性信息包括所述第i个卷积模块中包括的卷积层的数量、每个卷积层的属性信息,所述第i个卷积模块中第j个卷积层的属性信息包括:所述第j个卷积层中卷积核的尺寸、卷积类型、特征通道数以及经过所述第j个卷积层的卷积处理得到的特征图的尺寸;其中,i为小于或等于M的正整数,j大于或等于1且小于或等于所述第i个卷积模块中包括的卷积层的数量。
在一个实施例中,所述处理器601在基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层的卷积核的权重值进行目标核函数运算,得到第一内积运算结果时,执行如下步骤:
确定所述目标核函数的函数参数;将所述输入特征、所述第一个卷积层的卷积核的权重值以及所述函数参数按照所述目标核函数所指示的运算规则进行计算,得到第一内积运算结果。
在一个实施例中,所述每个卷积层对应一个函数处理逻辑,所述每个卷积层对应的函数处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行内积运算;所述处理器601在确定所述目标核函数的函数参数时,执行如下步骤:
按照所述第一个卷积层对应的函数处理逻辑将所述输入特征和所述第一个卷积层的卷积核的权重值进行内积运算,得到第二内积运算结果;基于所述第二个卷积层对应的函数处理逻辑,将所述第二内积运算结果和所述第二个卷积层的卷积核的权重值进行内积运算,得到所述目标核函数的函数参数。
本申请实施例中,当需要对待处理图像进行分类或者识别时,首先获取该待处理图像的输入特征以及图像处理网络,该图像处理网络中包括N个卷积层,每个卷积层包括至少一个卷积核,并且每个卷积层中卷积核对应的权重值所在空间的维度和输入特征所在空间的维度均为第一维度;接着,调用图像处理网络中的N个卷积层将该输入特征和每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,映射空间的维度高于前述第一维度。应当理解的,空间维度越高其所能表达的信息越多,表达能力越强,在更高的映射空间中进行卷积运算可以获取更丰富的图像特征,后续可以基于更丰富的图像特征对待处理图像进行图像分类或者识别,从而可提高图像分类或者识别的准确性。

Claims (13)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像的输入特征;所述输入特征所在空间的维度为第一维度;
获取图像处理网络,所述图像处理网络包括N个卷积层,所述N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;所述每个卷积层中卷积核对应的权重值所在空间的维度为所述第一维度;所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理或识别处理;
调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述映射空间的维度为第二维度,所述第二维度大于所述第一维度;
根据卷积运算结果对所述待处理图像进行图像处理得到处理结果。
2.如权利要求1所述的方法,其特征在于,所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理,所述卷积运算结果包括图像特征向量,所述图像处理网络还包括池化层和全连接层,所述根据所述卷积运算结果对所述待处理图像进行处理得到处理结果,包括:
调用所述图像处理网络中的池化层对所述图像特征向量进行压缩处理;并调用所述图像处理网络中的全连接层基于压缩处理后的图像特征向量进行分类预测,输出分类预测值;
基于所述分类预测值确定所述待处理图像所属类别。
3.如权利要求1所述的方法,其特征在于,所述N个卷积层包括第一个卷积层和第二个卷积层,所述第一个卷积层和所述第二个卷积层相连接,且所述第二个卷积层在所述第一个卷积层之后,所述调用所述N个卷积层将所述输入特征和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,包括:
调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到第一内积运算结果;
调用所述第二个卷积层将所述第一内积运算结果和所述第二个卷积层中卷积核对应的权重值映射到映射空间后进行内积运算,得到卷积运算结果。
4.如权利要求3所述的方法,其特征在于,所述每个卷积层对应一个卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数运算,所述目标核函数运算用于实现将每个卷积层的输入和所述每个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算;所述调用所述第一个卷积层将所述输入特征和所述第一个卷积层中卷积核对应的权重值映射到映射空间后进行卷积运算,得到第一内积运算结果,包括:
基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层中卷积核对应的权重值进行目标核函数的运算,得到第一内积运算结果。
5.如权利要求4所述的方法,其特征在于,所述获取图像处理网络之前,所述方法还包括:
构建图像处理网络;
获取用于训练所述图像处理网络的训练数据集,所述训练数据集中包括样本图像以及所述样本图像对应的训练标签;
基于所述训练数据集对所述图像处理网络进行训练。
6.如权利要求5所述的方法,其特征在于,所述构建图像处理网络,包括:
确定网络结构参数,所述网络结构参数包括所述图像处理网络包括的网络层以及各个网络层之间的连接关系,所述网络层包括N个卷积层;
确定目标核函数;
基于所述目标核函数确定每个卷积层对应的卷积处理逻辑,所述每个卷积层对应的卷积处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行目标核函数的运算。
7.如权利要求6所述的方法,其特征在于,所述N个卷积层被划分到M个卷积模块中,M为大于1的整数,所述确定网络结构参数,包括:
确定每个卷积模块的卷积模块属性信息,第i个卷积模块的卷积模块属性信息包括所述第i个卷积模块中包括的卷积层的数量、每个卷积层的属性信息;所述第i个卷积模块中第j个卷积层的属性信息包括:所述第j个卷积层中卷积核的尺寸、卷积类型、特征通道数以及经过所述第j个卷积层的卷积处理得到的特征图的尺寸;其中,i为小于或等于M的整数,j大于或等于1且小于或等于所述第i个卷积模块中包括的卷积层的数量。
8.如权利要求4所述的方法,其特征在于,所述基于所述第一个卷积层中的卷积处理逻辑对所述输入特征和所述第一个卷积层中卷积核对应的权重值进行目标核函数的运算,得到第一内积运算结果,包括:
确定所述目标核函数的函数参数;
将所述输入特征、所述第一个卷积层中卷积核对应的权重值以及所述函数参数按照所述目标核函数所指示的运算规则进行计算,得到第一内积运算结果。
9.如权利要求8所述的方法,其特征在于,所述每个卷积层对应一个函数处理逻辑,所述每个卷积层对应的函数处理逻辑用于指示所述每个卷积层将所述每个卷积层的输入和所述每个卷积层中卷积核对应的权重值进行内积运算;所述确定所述目标核函数的函数参数,包括:
按照所述第一个卷积层对应的函数处理逻辑将所述输入特征和所述第一个卷积层中卷积核对应的权重值进行内积运算,得到第二内积运算结果;
基于所述第二个卷积层对应的函数处理逻辑,将所述第二内积运算结果和所述第二个卷积层中卷积核对应的权重值进行内积运算,得到所述目标核函数的函数参数。
10.一种图像处理装置,其特征在于,包括:
获取单元,用于获取待处理图像的输入特征,所述输入特征所在空间的维度为第一维度;
所述获取单元,还用于获取图像处理网络,所述图像处理网络包括N个卷积层,所述N个卷积层中每个卷积层均包括至少一个卷积核,N为大于1的整数;所述每个卷积层中卷积核对应的权重值所在空间的维度为所述第一维度;所述图像处理网络用于对输入所述图像处理网络的图像进行分类处理或识别处理;
处理单元,用于调用所述N个卷积层将所述输入特征和所述每个卷积层的卷积核对应的权重值映射到映射空间后进行卷积运算;所述映射空间的维度为第二维度,所述第二维度大于所述第一维度;
所述处理单元,还用于根据卷积运算结果对所述待处理图像进行图像处理得到处理结果。
11.一种图像处理设备,其特征在于,包括:
处理器,适用于实现一条或多条计算机程序;
计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-9任一项所述的图像处理方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时用于加载并执行如权利要求1-9任一项所述的图像处理方法。
13.一种计算机程序产品或计算机程序,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时用于加载并执行如权利要求1-9任一项所述的图像处理方法。
CN202111147187.4A 2021-09-29 2021-09-29 图像处理方法、装置、设备、存储介质及计算机程序产品 Active CN113592041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147187.4A CN113592041B (zh) 2021-09-29 2021-09-29 图像处理方法、装置、设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147187.4A CN113592041B (zh) 2021-09-29 2021-09-29 图像处理方法、装置、设备、存储介质及计算机程序产品

Publications (2)

Publication Number Publication Date
CN113592041A true CN113592041A (zh) 2021-11-02
CN113592041B CN113592041B (zh) 2022-01-21

Family

ID=78242621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147187.4A Active CN113592041B (zh) 2021-09-29 2021-09-29 图像处理方法、装置、设备、存储介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN113592041B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051662A (zh) * 2023-03-31 2023-05-02 腾讯科技(深圳)有限公司 图像处理方法、装置、设备和介质
CN117574136A (zh) * 2024-01-16 2024-02-20 浙江大学海南研究院 一种基于多元高斯函数空间变换的卷积神经网络计算方法
WO2024055952A1 (zh) * 2022-09-16 2024-03-21 华为技术有限公司 一种数据处理方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052989A (zh) * 2018-02-07 2018-05-18 深圳市唯特视科技有限公司 一种基于样条卷积神经网络的图像分类方法
CN110245669A (zh) * 2019-05-15 2019-09-17 平安科技(深圳)有限公司 手掌关键点的识别方法、装置、终端及可读存储介质
CN111898403A (zh) * 2020-06-02 2020-11-06 浙江吉利汽车研究院有限公司 一种目标检测跟踪方法、装置及设备
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN112598012A (zh) * 2020-12-23 2021-04-02 清华大学 神经网络模型中数据处理方法、存储介质和电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052989A (zh) * 2018-02-07 2018-05-18 深圳市唯特视科技有限公司 一种基于样条卷积神经网络的图像分类方法
CN110245669A (zh) * 2019-05-15 2019-09-17 平安科技(深圳)有限公司 手掌关键点的识别方法、装置、终端及可读存储介质
CN111898403A (zh) * 2020-06-02 2020-11-06 浙江吉利汽车研究院有限公司 一种目标检测跟踪方法、装置及设备
CN112488205A (zh) * 2020-11-30 2021-03-12 桂林电子科技大学 基于优化kpca算法的神经网络图像分类识别方法
CN112598012A (zh) * 2020-12-23 2021-04-02 清华大学 神经网络模型中数据处理方法、存储介质和电子装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055952A1 (zh) * 2022-09-16 2024-03-21 华为技术有限公司 一种数据处理方法及其装置
CN116051662A (zh) * 2023-03-31 2023-05-02 腾讯科技(深圳)有限公司 图像处理方法、装置、设备和介质
CN116051662B (zh) * 2023-03-31 2023-06-23 腾讯科技(深圳)有限公司 图像处理方法、装置、设备和介质
CN117574136A (zh) * 2024-01-16 2024-02-20 浙江大学海南研究院 一种基于多元高斯函数空间变换的卷积神经网络计算方法
CN117574136B (zh) * 2024-01-16 2024-05-10 浙江大学海南研究院 一种基于多元高斯函数空间变换的卷积神经网络计算方法

Also Published As

Publication number Publication date
CN113592041B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN110175671B (zh) 神经网络的构建方法、图像处理方法及装置
CN113592041B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
WO2021238366A1 (zh) 一种神经网络构建方法以及装置
WO2022116856A1 (zh) 一种模型结构、模型训练方法、图像增强方法及设备
CN110222718B (zh) 图像处理的方法及装置
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN112215332B (zh) 神经网络结构的搜索方法、图像处理方法和装置
Akan et al. Stretchbev: Stretching future instance prediction spatially and temporally
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111352965A (zh) 序列挖掘模型的训练方法、序列数据的处理方法及设备
CN112464930A (zh) 目标检测网络构建方法、目标检测方法、装置和存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
Yi et al. Elanet: effective lightweight attention-guided network for real-time semantic segmentation
CN113688814B (zh) 图像识别方法及装置
CN112948626B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US20220261641A1 (en) Conversion device, conversion method, program, and information recording medium
CN115830711A (zh) 基于深度学习的手语词汇识别方法、系统、设备及介质
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN112805723A (zh) 一种图像处理系统、方法以及包括该系统的自动驾驶车辆
Mandal et al. Deep learning model with GA-based visual feature selection and context integration
US20230085127A1 (en) Electronic device and control method thereof
CN114821068B (zh) 全景分割和深度确定的处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055358

Country of ref document: HK