CN106373112A - 图像处理方法、装置和电子设备 - Google Patents

图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN106373112A
CN106373112A CN201610800084.6A CN201610800084A CN106373112A CN 106373112 A CN106373112 A CN 106373112A CN 201610800084 A CN201610800084 A CN 201610800084A CN 106373112 A CN106373112 A CN 106373112A
Authority
CN
China
Prior art keywords
computing unit
pending image
image
convolutional neural
new construction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610800084.6A
Other languages
English (en)
Other versions
CN106373112B (zh
Inventor
杨存永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing suneng Technology Co.,Ltd.
Original Assignee
Beijing Bitmain Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bitmain Technology Co Ltd filed Critical Beijing Bitmain Technology Co Ltd
Priority to CN201610800084.6A priority Critical patent/CN106373112B/zh
Publication of CN106373112A publication Critical patent/CN106373112A/zh
Application granted granted Critical
Publication of CN106373112B publication Critical patent/CN106373112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置和电子设备,其中,方法包括:响应于接收到待处理图像,处理器获取所述待处理图像的形状;处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理。本发明实施例实现了对待处理图像的快速处理,并且由于处理过程中不对待处理图像进行分割,因此,不会出现图像结果的误差问题;采用本发明所述的方法和装置实现了快速无误差的图像处理。

Description

图像处理方法、装置和电子设备
技术领域
本发明涉及图像处理技术,尤其是一种图像处理方法、装置和电子设备。
背景技术
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。在卷积神经网络对图像进行处理的过程中,为提高速度需要CPU控制加速器进行加速。
然而,在实现本发明的过程中,发明人发现,待处理图像与加速器中的处理单元的结构往往不匹配,处理单元对待处理图像进行处理时,先对图像进行分割,由于分割后的各图像之间存在相关性,对分割后的各图像分别处理后,还需要将各图像的处理结果进行综合处理才能得到完整结果,这就需要在各图像的处理结果之间进行数据交互,导致计算速度慢。
因此,现有技术至少存在以下问题:因为待处理图像的与加速器结构不匹配,导致图像的处理速度慢。
发明内容
本发明实施例所要解决的一个技术问题是:提供一种图像处理方法、装置和电子设备,使卷积神经网络中的图像处理速度加快。
本发明实施例提供的一种图像处理方法,包括:
响应于接收到待处理图像,处理器获取所述待处理图像的形状;
处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理。
基于上述方法的另一实施例中,所述卷积神经网络为二维结构,所述待处理图像为二维图像。
基于上述方法的另一实施例中,所述卷积神经网络被划分为多个计算单元块,所述多个计算单元块之间全连接;所述多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
基于上述方法的另一实施例中,对卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构包括:
调整所述多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
基于上述方法的另一实施例中,加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理包括:
识别构成新结构的多个计算单元块的大小与所述待处理图像的大小是否相同;
若新结构的多个计算单元块的大小与所述待处理图像的大小相同,分别通过新结构的多个计算单元块对所述待处理图像中的对应单元进行计算处理;所述待处理图像包括多个单元。
基于上述方法的另一实施例中,所述方法还包括:
若新结构的多个计算单元块的大小大于所述待处理图像的大小,根据所述待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与所述待处理图像的形状相匹配的部分计算单元块;
分别通过选择的部分计算单元块对所述待处理图像中的对应单元进行计算处理。
基于上述方法的另一实施例中,所述新结构的多个计算单元块包括部分数量的所述部分计算单元块和剩余数量的剩余计算单元块;
所述方法还包括:
响应于还接收到其他待处理图像,利用所述剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
基于上述方法的另一实施例中,利用所述剩余计算单元块对接收到的其他待处理图像进行处理包括:
以所述其他待处理图像作为所述待处理图像,以所述剩余计算单元块作为所述卷积神经网络,开始执行所述处理器获取所述待处理图像的形状的操作。
根据本发明实施例的另一个方面,提供的一种处理图像装置,包括加速器,所述加速器中存储有卷积神经网络;所述装置还包括:
接收单元,用于接收待处理图像;
获取单元,用于获取所述待处理图像的形状;
处理单元,用于对所述卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
所述加速器,用于基于所述新结构的卷积神经网络对所述待处理图像进行处理。
根据本发明实施例的另一个方面,提供的一种电子设备,包括处理器,所述处理器包括如上所述的图像处理装置。
基于本发明上述实施例提供的图像处理方法和装置,在接收到待处理图像的处理请求时,对处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构,再进行图像处理,解决了由于图像与卷积神经网络结构不匹配造成的问题,实现了对待处理图像的快速处理,并且由于处理过程中不对待处理图像进行分割,因此,不会出现图像结果的误差问题;采用本发明所述的方法和装置实现了快速无误差的图像处理。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明图像处理方法一个实施例的流程图。
图2a~2c为全连接结构和全连接变形结构示意图。
图3为本发明图像处理方法另一实施例的流程图。
图4为本发明图像处理方法另一实施例的具体示例流程图。
图5为本发明图像处理方法另一实施例的另一具体示例流程图。
图6为本发明图像处理装置一个实施例的结构示意图。
图7为本发明图像处理装置另一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明图像处理方法一个实施例的流程图。如图1所示,该实施例方法包括:
S101,响应于接收到待处理图像,处理器获取该待处理图像的形状;
S102,处理器对该处理器的加速器中卷积神经网络(CNN)的结构进行调整,将卷积神经网络配置为与该待处理图像的形状相匹配的新结构;
S103,加速器基于该新结构的卷积神经网络对该待处理图像进行处理。
基于本发明上述实施例提供的图像处理方法,在接收到待处理图像的处理请求时,对处理器的加速器中卷积神经网络的结构进行调整,将卷积神经网络配置为与待处理图像的形状相匹配的新结构,再进行图像处理,解决了由于图像与卷积神经网络结构不匹配造成的问题,实现了对待处理图像的快速处理,并且由于处理过程中不对待处理图像进行分割,因此,不会出现图像结果的误差问题;采用本发明所述的方法和装置实现了快速无误差的图像处理。
上述实施例所述方法在一个具体示例中,上述卷积神经网络具体为二维结构,上述待处理图像具体为二维图像。
上述实施例所述方法在另一个具体示例中,卷积神经网络被划分为多个计算单元块,该多个计算单元块之间全连接;多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
其中,全连接是指每个计算单元块与除其自身之外的所有计算单元块存在直接连接关系。例如,图2a~2c为全连接结构和全连接变形结构示意图。对四个计算单元块,分别对其编号为:0、1、2和3;如图2a所示,其中计算单元块0与计算单元块1、计算单元块2、计算单元块3分别直接连接;计算单元块1与计算单元块0、计算单元块2、计算单元块3分别直接连接;计算单元块2与计算单元块0、计算单元块1、计算单元块3分别直接连接;计算单元块3与计算单元块0、计算单元块1、计算单元块2分别直接连接。此时,可以将上述四个计算单元块改变形状构成如图2b所示的一排结构;也可以将上述四个计算单元块改变形状构成如图2c所示的正方形结构。因为每个计算单元块都与其他计算单元块直接连接,图2b和图2c中的不同编号的计算单元块之间可以互换。当存在全连接关系的计算单元块的数量足够多时,可构成的形状也将更多。
将卷积神经网络划分为多个相互之间全连接的计算单元块,实现了卷积神经网络的结构发生变化,其结构变为可变换的结构。
在与上述另一具体示例相应的进一步示例中,对卷积神经网络的结构进行调整,将卷积神经网络配置为与待处理图像的形状相匹配的新结构包括:调整多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
通过改变计算单元块之间的连接关系,就能改变卷积神经网络的结构,进而通过改变结构的方式,使卷积神经网络的新结构与待处理图像的形状相匹配。而每个计算单元块中还包括一个以上的计算单元,可以通过对计算单元数量的控制,实现在对卷积神经网络进行划分时对计算单元块的大小和结构进行控制,使计算单元块的结构更易于掌控。
图3为本发明图像处理方法的另一实施例的流程图。如图3所示,该实施例方法包括:
S201,响应于接收到待处理图像,处理器获取该待处理图像的形状;
S202,处理器对该处理器的加速器中卷积神经网络的结构进行调整,将卷积神经网络配置为与该待处理图像的形状相匹配的新结构;
S203,识别构成新结构的多个计算单元块的大小与该待处理图像的大小是否相同;
若新结构的多个计算单元块的大小与该待处理图像的大小相同,执行操作S204。否则,不执行本实施例的后续流程。
S204,分别通过新结构的多个计算单元块对该待处理图像中的对应单元进行计算处理。其中的待处理图像包括多个单元。
上述另一实施例中对于卷积神经网络变换得到的新结构的大小与待处理图像的大小进行匹配,本方法希望达到的效果是,经过变换后的新结构与待处理图像的大小相同,当大小相同时,直接采用卷积神经网络对待处理图像进行整体处理,无需对待处理图像进行分割等处理,对于待处理图像的处理十分便捷,大大提高了处理速度和处理准确度。
如图4所示,在基于图3所示实施例的进一步实施例中,还包括:
若新结构的多个计算单元块的大小大于待处理图像的大小,执行操作S205。
S205,根据待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与待处理图像的形状相匹配的部分计算单元块;
S206,分别通过选择的部分计算单元块对待处理图像中的对应单元进行计算处理。
对于本发明另一实施例还包括了当卷积神经网络通过结构变换,无法与待处理图像的大小相同时的情况,当新结构的多个计算单元块的大小大于待处理图像的大小,就可以选择部分数量、结构与待处理图像的形状相匹配的计算单元块对待处理图像进行处理,这种情况同样可以实现对待处理图像的一次性处理,速度和精度较现有技术大大提高,并且由于只利用了部分计算单元块,对于剩余计算单元块还可以做其他用,提高了卷积神经网络的利用率。克服了现有技术中出现的,即使卷积神经网络整体面积大于待处理图像,但限于形状不匹配和不可变,导致的无法快速处理图像,还需对待处理图像进行分割的问题。
在基于上述图4所示实施例的又一个实施例中,新结构的多个计算单元块具体包括部分数量的部分计算单元块和剩余数量的剩余计算单元块。相应的,该实施例的方法还包括:
响应于还接收到其他待处理图像,利用剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
在此实施示例中新结构的多个计算单元块大于待处理图像的,此时出现剩余数量的剩余计算单元块,为了提高卷积神经网络的利用率,并提高整体图像处理速度,可以接收其他待处理图像,并利用剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理;实现了同时处理一个以上的待处理图像,从而大大提高了图像处理速度和计算单元块的利用率。
具体地,利用剩余计算单元块对接收到的其他待处理图像进行处理的操作可以包括:
以其他待处理图像作为待处理图像,以剩余计算单元块作为所述卷积神经网络,开始执行处理器获取待处理图像的形状的操作。
剩余计算单元块对其他待处理图像的处理过程是与一个单独的卷积神经网络对一个单独的待处理图像的处理过程是相同的,同样的,首先接收其他待处理图像,获取其他待处理图像的形状,处理器对剩余计算单元块的连接关系进行调整,使剩余计算单元块构成的新结构与其他待处理图像的形状相匹配,基于新结构对其他待处理图像进行处理;而此时如发生S205的情况,将对该过程进行循环,继续利其他剩余计算单元块对待处理图像进行处理,实现了同时处理两个以上的待处理图像的技术效果。
如图5所示,在基于上述图3、图4所示实施例的另一实施例,还包括:
若新结构的多个计算单元块的大小小于待处理图像的大小,执行操作S207。
S207,通过新结构的多个计算单元块分别对待处理图像中一部分图像中的对应单元进行计算处理;
S208,在对一部分图像计算处理完成后,通过新结构的多个计算单元块分别对待处理图像中下一部分图像中的对应单元进行计算处理,直至完成对待处理图像中所有单元的计算处理。
当新结构的多个计算单元块的大小小于待处理图像的大小,此时采用移动新结构的多个计算单元块来对待处理图像分多次处理,得到多个部分处理结果,最后将多个部分处理结果进行累加,得到待处理图像的整体处理结果;而不是采用现有技术中的对待处理图像进行分割的方式进行处理,而现有技术由于分割会出现的误差和其他问题,在本实施例中都得以解决。
进一步地,在本发明上述各图像处理方法实施例中,
上述卷积神经网络具体可以包括多个网络层,依次通过卷积神经网络中的每一个网络层对待处理图像进行处理时,操作S102或S202具体可以包括:处理器对该卷积神经网络的当前网络层的结构进行调整,将当前网络层配置为与待处理图像的形状相匹配的新结构;
相应地,操作S103或其他实施例中的相应操作具体可以包括:加速器基于该新结构的当前网络层对待处理图像进行处理,并在对待处理图像处理完成后,以该卷积神经网络中的下一个网络层作为当前网络层,返回执行处理器对卷积神经网络的当前网络层的结构进行调整的操作,直至完成该卷积神经网络中的最后一个网络层对待处理图像的处理。
每个网络层处理完一个待处理图像后将进入等待状态,直到接收到下一个待处理图像,根据下一个待处理图像进行结构调整,使结构与下一个待处理图像的结构相匹配。
上述实施例提供了包括多个网络层的卷积神经网络对待处理图像的处理过程,对于每一层都通过改变其结构,使结构与待处理图像的结构相匹配进行简化处理,依次处理,直至完成该卷积神经网络中的最后一个网络层对待处理图像的处理;通常卷积神经网络都是多层的,因此,对于多层分别进行结构改变十分必要,并且能够提高整体处理速度。
另外,在本发明上述各实施例图像处理方法的另一个具体示例中,上述计算单元块具体包括卷积滤波器。
在本发明上述各实施例图像处理方法的又一个具体示例中,每个计算单元块中包括一个以上数量相同的多个子计算单元块,同一个计算单元块中的多个子计算单元块之间全连接。相应地,该实施例中,通过计算单元块对该待处理图像中的对应单元进行计算处理,具体可以通过如下方式实现:
根据对应单元的图像结构调整同一个计算单元块中的多个子计算单元块之间的排列结构,使多个子计算单元块构成的新结构与对应单元的图像结构相匹配;
通过计算单元块中构成新结构的多个子计算单元块对该对应单元进行并行计算处理,其中,每个子计算单元块至少计算处理一个像素点的图像。
每个计算单元块中又包括多个子计算单元块,进一步细化了计算单元块对待处理图像进行处理的过程,通过调整子计算单元块的结构使其构成的新结构的计算单元块与待处理图像的结构相匹配,使计算单元块的结构改变更具有可操作性,并且子计算单元块最小可细化到处理一个像素点的图像,因此本发明实施例所述的方法对于任意形状的待处理图像的处理都具有可操作性。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本发明图像处理装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图6所示,该实施例的装置包括加速器,该加速器中存储有卷积神经网络;所述装置还包括:
接收单元1,用于接收待处理图像;
获取单元2,用于获取该待处理图像的形状;
处理单元3,用于对卷积神经网络的结构进行调整,将该卷积神经网络配置为与上述待处理图像的形状相匹配的新结构;
加速器4,用于基于该新结构的卷积神经网络对该待处理图像进行处理。
基于本发明上述实施例提供的图像处理装置,在接收到待处理图像的处理请求时,对处理器的加速器中卷积神经网络的结构进行调整,将卷积神经网络配置为与待处理图像的形状相匹配的新结构,再进行图像处理,解决了由于图像与卷积神经网络结构不匹配造成的问题,实现了对待处理图像的快速处理,并且由于处理过程中不对待处理图像进行分割,因此,不会出现图像结果的误差问题;采用本发明所述的方法和装置实现了快速无误差的图像处理。
上述实施例所述装置在一个具体示例中,上述卷积神经网络具体为二维结构,上述待处理图像具体为二维图像。
上述实施例所述装置在另一个具体示例中,处理单元将该卷积神经网络被划分为多个计算单元块,该多个计算单元块之间全连接;多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
在与上述另一具体示例相应的进一步示例中,该处理单元对卷积神经网络的结构进行调整,将卷积神经网络配置为与待处理图像的形状相匹配的新结构,具有用于:调整上述多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
通过改变计算单元块之间的连接关系,就能改变卷积神经网络的结构,进而通过改变结构的方式,使卷积神经网络的新结构与待处理图像的形状相匹配。而每个计算单元块中还包括一个以上的计算单元,可以通过对计算单元数量的控制,实现在对卷积神经网络进行划分时对计算单元块的大小和结构进行控制,使计算单元块的结构更易于掌控。
图7为本发明图像处理装置的另一实施例的结构示意图。如图7所示,该实施例装置在图6所示实施例的基础上,包括:
上述加速器4包括识别模块41和相同处理模块42;
该识别模块41,用于识别构成新结构的多个计算单元块的大小与待处理图像的大小是否相同;
该相同处理模块42,用于当新结构的多个计算单元块的大小与待处理图像的大小相同,分别通过新结构的多个计算单元块对待处理图像中的对应单元进行计算处理。其中的待处理图像包括多个单元。
上述另一实施例中对于卷积神经网络变换得到的新结构的大小与待处理图像的大小进行匹配,本方法希望达到的效果是,经过变换后的新结构与待处理图像的大小相同,当大小相同时,直接采用卷积神经网络对待处理图像进行整体处理,无需对待处理图像进行分割等处理,对于待处理图像的处理十分便捷,大大提供了处理速度和处理准确度。
图7所示实施例在具体示例中,加速器4还包括大于处理模块43;
该大于处理模块43,用于当新结构的多个计算单元块的大小大于待处理图像的大小,根据待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与待处理图像的形状相匹配的部分计算单元块;并用于分别通过选择的部分计算单元块对待处理图像中的对应单元进行计算处理。
上述实施例的具体示例中,该大于处理模块43中的新结构的多个计算单元块包括部分数量的部分计算单元块和剩余数量的剩余计算单元块;相应的,该具体示例的装置还包括剩余处理模块5;
该剩余处理模块5,用于响应于接收到其他待处理图像,利用剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
该剩余处理模块5,具体用于以所述其他待处理图像作为待处理图像,以剩余计算单元块作为所述卷积神经网络,开始执行上述处理器获取待处理图像的形状的操作。
图7所示实施例在具体示例中,处理单元4还包括小于计算模块44;
该小于计算模块44,用于当新结构的多个计算单元块的大小小于待处理图像的大小,通过新结构的多个计算单元块分别对该待处理图像中一部分图像中的对应单元进行计算处理;
还用于在对一部分图像计算处理完成后,通过新结构的多个计算单元块分别对该待处理图像中下一部分图像中的对应单元进行计算处理,直至完成对待处理图像中所有单元的计算处理。
进一步地,在本发明上述各图像处理装置实施例中,
上述卷积神经网络具体可以包括多个网络层,依次通过卷积神经网络中的每一个网络层对待处理图像进行处理时,处理单元3具体用于处理器对该卷积神经网络的当前网络层的结构进行调整,将当前网络层配置为与待处理图像的形状相匹配的新结构;
相应地,加速器4具体可以用于基于该新结构的当前网络层对待处理图像进行处理,并在对待处理图像处理完成后,以该卷积神经网络中的下一个网络层作为当前网络层,返回执行处理器对卷积神经网络的当前网络层的结构进行调整的操作,直至完成该卷积神经网络中的最后一个网络层对待处理图像的处理。
每个网络层处理完一个待处理图像后将进入等待状态,直到接收到下一个待处理图像,根据下一个待处理图像进行结构调整,使结构与下一个待处理图像的结构相匹配。
上述又一实施例提供了包括多个网络层的卷积神经网络对待处理图像的处理过程,对于每一层都通过改变其结构,使结构与待处理图像的结构相匹配进行简化处理,依次处理,直至完成该卷积神经网络中的最后一个网络层对待处理图像的处理;通常卷积神经网络都是多层的,因此,对于多层分别进行结构改变十分必要,并且能够提高整体处理速度。
另外,在本发明上述各实施例图像处理方法的另一具体示例中,上述计算单元块具体包括卷积滤波器。
在本发明上述各实施例图像处理方法的又一个具体示例中,每个计算单元块中包括一个以上数量相同的多个子计算单元块,同一个计算单元块中的多个子计算单元块之间全连接。相应的,该实施例中,
该处理单元通过计算单元块对待处理图像中的对应单元进行计算处理,具体可以用于:
根据对应单元的图像结构调整同一个计算单元块中的多个子计算单元块之间的排列结构,使多个子计算单元块构成的新结构与对应单元的图像结构相匹配;
上述加速器,具体用于通过计算单元块中构成新结构的多个子计算单元块对所述对应单元进行并行计算处理,其中,每个子计算单元块至少计算处理一个像素点的图像。
本发明还提供一种电子设备,包括处理器,该处理器包括上述各装置实施例中所述的图像处理装置。
本发明实施例提供了以下技术方案:
1、一种图像处理方法,包括:
响应于接收到待处理图像,处理器获取所述待处理图像的形状;
处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理。
2、根据1所述的方法,所述卷积神经网络为二维结构,所述待处理图像为二维图像。
3、根据1或2所述的方法,所述卷积神经网络被划分为多个计算单元块,所述多个计算单元块之间全连接;所述多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
4、根据3所述的方法,对卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构包括:
调整所述多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
5、根据1-4任意一项所述的方法,加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理包括:
识别构成新结构的多个计算单元块的大小与所述待处理图像的大小是否相同;
若新结构的多个计算单元块的大小与所述待处理图像的大小相同,分别通过新结构的多个计算单元块对所述待处理图像中的对应单元进行计算处理;所述待处理图像包括多个单元。
6、根据5所述的方法,还包括:
若新结构的多个计算单元块的大小大于所述待处理图像的大小,根据所述待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与所述待处理图像的形状相匹配的部分计算单元块;
分别通过选择的部分计算单元块对所述待处理图像中的对应单元进行计算处理。
7、根据6所述的方法,所述新结构的多个计算单元块包括部分数量的所述部分计算单元块和剩余数量的剩余计算单元块;
所述方法还包括:
响应于还接收到其他待处理图像,利用所述剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
8、根据7所述的方法,利用所述剩余计算单元块对接收到的其他待处理图像进行处理包括:
以所述其他待处理图像作为所述待处理图像,以所述剩余计算单元块作为所述卷积神经网络,开始执行所述处理器获取所述待处理图像的形状的操作。
9、根据5至8任意一项所述的方法,还包括:
若新结构的多个计算单元块的大小小于所述待处理图像的大小,通过新结构的多个计算单元块分别对所述待处理图像中一部分图像中的对应单元进行计算处理;
在对所述一部分图像计算处理完成后,通过新结构的多个计算单元块分别对所述待处理图像中下一部分图像中的对应单元进行计算处理,直至完成对所述待处理图像中所有单元的计算处理。
10、根据1至9任意一项所述的方法,所述卷积神经网络包括多个网络层,依次通过卷积神经网络中的每一个网络层对待处理图像进行处理时,所述处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构包括:处理器对所述卷积神经网络的当前网络层的结构进行调整,将当前网络层配置为与所述待处理图像的形状相匹配的新结构;
所述加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理包括:加速器基于所述新结构的当前网络层对所述待处理图像进行处理,并在对所述待处理图像处理完成后,以所述卷积神经网络中的下一个网络层作为当前网络层,返回执行所述处理器对所述卷积神经网络的当前网络层的结构进行调整的操作,直至完成所述卷积神经网络中的最后一个网络层对所述待处理图像的处理。
11、根据3至10任意一项所述的方法,所述计算单元块包括卷积滤波器。
12、根据5至11任意一项所述的方法,每个计算单元块中包括一个以上数量相同的多个子计算单元块,同一个计算单元块中的多个子计算单元块之间全连接;
通过计算单元块对所述待处理图像中的对应单元进行计算处理包括:
根据对应单元的图像结构调整同一个计算单元块中的多个子计算单元块之间的排列结构,使多个子计算单元块构成的新结构与对应单元的图像结构相匹配;
通过计算单元块中构成新结构的多个子计算单元块对所述对应单元进行并行计算处理,其中,每个子计算单元块至少计算处理一个像素点的图像。
13、一种图像处理装置,所述装置包括加速器,所述加速器中存储有卷积神经网络;所述装置还包括:
接收单元,用于接收待处理图像;
获取单元,用于获取所述待处理图像的形状;
处理单元,用于对所述卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
所述加速器,用于基于所述新结构的卷积神经网络对所述待处理图像进行处理。
14、根据13所述的装置,所述卷积神经网络为二维结构,所述待处理图像为二维图像。
15、根据13或14所述的装置,所述处理单元将所述卷积神经网络被划分为多个计算单元块,所述多个计算单元块之间全连接;所述多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
16、根据15所述的装置,所述处理单元对卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构,具有用于:
调整所述多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
17、根据13-16任意一项所述的装置,所述加速器包括识别模块和相同处理模块;
所述识别模块,用于识别构成新结构的多个计算单元块的大小与所述待处理图像的大小是否相同;
所述相同处理模块,用于当新结构的多个计算单元块的大小与所述待处理图像的大小相同,分别通过新结构的多个计算单元块对所述待处理图像中的对应单元进行计算处理;所述待处理图像包括多个单元。
18、根据17所述的装置,所述加速器中还包括大于处理模块;
所述大于处理模块,用于当新结构的多个计算单元块的大小大于所述待处理图像的大小,根据所述待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与所述待处理图像的形状相匹配的部分计算单元块;并用于分别通过选择的部分计算单元块对所述待处理图像中的对应单元进行计算处理。
19、根据18所述的装置,所述大于处理模块中的新结构的多个计算单元块包括部分数量的所述部分计算单元块和剩余数量的剩余计算单元块;
所述装置还包括剩余处理模块;
所述剩余处理模块,用于响应于接收到其他待处理图像,利用所述剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
20、根据19所述的装置,所述剩余处理模块,具体用于以所述其他待处理图像作为所述待处理图像,以所述剩余计算单元块作为所述卷积神经网络,开始执行所述处理器获取所述待处理图像的形状的操作。
21、根据17至20任意一项所述的装置,所述处理单元还包括小于计算模块;
所述小于计算模块,用于当新结构的多个计算单元块的大小小于所述待处理图像的大小,通过新结构的多个计算单元块分别对所述待处理图像中一部分图像中的对应单元进行计算处理;
还用于在对所述一部分图像计算处理完成后,通过新结构的多个计算单元块分别对所述待处理图像中下一部分图像中的对应单元进行计算处理,直至完成对所述待处理图像中所有单元的计算处理。
22、根据13至21任意一项所述的装置,所述卷积神经网络包括多个网络层,依次通过卷积神经网络中的每一个网络层对待处理图像进行处理时,所述处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构包括:处理器对所述卷积神经网络的当前网络层的结构进行调整,将当前网络层配置为与所述待处理图像的形状相匹配的新结构;
所述加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理,具体用于基于所述新结构的当前网络层对所述待处理图像进行处理,并在对所述待处理图像处理完成后,以所述卷积神经网络中的下一个网络层作为当前网络层,返回执行所述处理器对所述卷积神经网络的当前网络层的结构进行调整的操作,直至完成所述卷积神经网络中的最后一个网络层对所述待处理图像的处理。
23、根据16至22任意一项所述的装,所述计算单元块包括卷积滤波器。
24、根据17至13任意一项所述的装置,每个计算单元块中包括一个以上数量相同的多个子计算单元块,同一个计算单元块中的多个子计算单元块之间全连接;
所述处理单元通过计算单元块对所述待处理图像中的对应单元进行计算处理,具体用于:
根据对应单元的图像结构调整同一个计算单元块中的多个子计算单元块之间的排列结构,使多个子计算单元块构成的新结构与对应单元的图像结构相匹配;
所述加速器,具体用于通过计算单元块中构成新结构的多个子计算单元块对所述对应单元进行并行计算处理,其中,每个子计算单元块至少计算处理一个像素点的图像。
25、一种电子设备,包括处理器,所述处理器包括13至24任意一项所述的图像处理装置。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变换对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
响应于接收到待处理图像,处理器获取所述待处理图像的形状;
处理器对该处理器的加速器中卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理。
2.根据权利要求1所述的方法,其特征在于,所述卷积神经网络为二维结构,所述待处理图像为二维图像。
3.根据权利要求1或2所述的方法,其特征在于,所述卷积神经网络被划分为多个计算单元块,所述多个计算单元块之间全连接;所述多个计算单元块中的每个计算单元块分别包括一个以上数量相同的计算单元。
4.根据权利要求3所述的方法,其特征在于,对卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构包括:
调整所述多个计算单元块之间的排列结构,使多个计算单元块构成的新结构与待处理图像的结构相匹配。
5.根据权利要求1-4任意一项所述的方法,其特征在于,加速器基于所述新结构的卷积神经网络对所述待处理图像进行处理包括:
识别构成新结构的多个计算单元块的大小与所述待处理图像的大小是否相同;
若新结构的多个计算单元块的大小与所述待处理图像的大小相同,分别通过新结构的多个计算单元块对所述待处理图像中的对应单元进行计算处理;所述待处理图像包括多个单元。
6.根据权利要求5所述的方法,其特征在于,还包括:
若新结构的多个计算单元块的大小大于所述待处理图像的大小,根据所述待处理图像的形状,从新结构的多个计算单元块中选择部分数量、结构与所述待处理图像的形状相匹配的部分计算单元块;
分别通过选择的部分计算单元块对所述待处理图像中的对应单元进行计算处理。
7.根据权利要求6所述的方法,其特征在于,所述新结构的多个计算单元块包括部分数量的所述部分计算单元块和剩余数量的剩余计算单元块;
所述方法还包括:
响应于还接收到其他待处理图像,利用所述剩余数量的剩余计算单元块对接收到的其他待处理图像进行处理。
8.根据权利要求7所述的方法,其特征在于,利用所述剩余计算单元块对接收到的其他待处理图像进行处理包括:
以所述其他待处理图像作为所述待处理图像,以所述剩余计算单元块作为所述卷积神经网络,开始执行所述处理器获取所述待处理图像的形状的操作。
9.一种图像处理装置,其特征在于,所述装置包括加速器,所述加速器中存储有卷积神经网络;所述装置还包括:
接收单元,用于接收待处理图像;
获取单元,用于获取所述待处理图像的形状;
处理单元,用于对所述卷积神经网络的结构进行调整,将所述卷积神经网络配置为与所述待处理图像的形状相匹配的新结构;
所述加速器,用于基于所述新结构的卷积神经网络对所述待处理图像进行处理。
10.一种电子设备,其特征在于,包括处理器,所述处理器包括权利要求9所述的图像处理装置。
CN201610800084.6A 2016-08-31 2016-08-31 图像处理方法、装置和电子设备 Active CN106373112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610800084.6A CN106373112B (zh) 2016-08-31 2016-08-31 图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610800084.6A CN106373112B (zh) 2016-08-31 2016-08-31 图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN106373112A true CN106373112A (zh) 2017-02-01
CN106373112B CN106373112B (zh) 2020-08-04

Family

ID=57900541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610800084.6A Active CN106373112B (zh) 2016-08-31 2016-08-31 图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN106373112B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480789A (zh) * 2017-08-07 2017-12-15 北京中星微电子有限公司 一种深度学习模型的高效转换方法及装置
WO2018184214A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Systems and methods for providing deeply stacked automated program synthesis
CN108765258A (zh) * 2018-04-26 2018-11-06 深圳市商汤科技有限公司 车载图像处理方法和装置、电子设备、介质、程序产品
CN109214281A (zh) * 2018-07-30 2019-01-15 苏州神指微电子有限公司 一种用于ai芯片人脸识别的cnn硬件加速装置
CN110473162A (zh) * 2018-05-11 2019-11-19 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
CN112183736A (zh) * 2019-07-05 2021-01-05 三星电子株式会社 人工智能处理器及其执行神经网络运算的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984959A (zh) * 2014-05-26 2014-08-13 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
CN105787506A (zh) * 2016-01-26 2016-07-20 耿春茂 基于图像识别与二维码识别技术的垃圾分类评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984959A (zh) * 2014-05-26 2014-08-13 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
CN104933722A (zh) * 2015-06-29 2015-09-23 电子科技大学 一种基于Spiking-卷积网络模型的图像边缘检测方法
CN105096279A (zh) * 2015-09-23 2015-11-25 成都融创智谷科技有限公司 一种基于卷积神经网络的数字图像处理方法
CN105787506A (zh) * 2016-01-26 2016-07-20 耿春茂 基于图像识别与二维码识别技术的垃圾分类评价方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184214A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Systems and methods for providing deeply stacked automated program synthesis
CN107480789A (zh) * 2017-08-07 2017-12-15 北京中星微电子有限公司 一种深度学习模型的高效转换方法及装置
CN108765258A (zh) * 2018-04-26 2018-11-06 深圳市商汤科技有限公司 车载图像处理方法和装置、电子设备、介质、程序产品
CN108765258B (zh) * 2018-04-26 2022-05-24 深圳市商汤科技有限公司 车载图像处理方法和装置、电子设备、介质、程序产品
CN110473162A (zh) * 2018-05-11 2019-11-19 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
CN110473162B (zh) * 2018-05-11 2023-04-18 精工爱普生株式会社 机器学习装置、摄影时间估计装置及学习模型的生成方法
CN109214281A (zh) * 2018-07-30 2019-01-15 苏州神指微电子有限公司 一种用于ai芯片人脸识别的cnn硬件加速装置
CN112183736A (zh) * 2019-07-05 2021-01-05 三星电子株式会社 人工智能处理器及其执行神经网络运算的方法

Also Published As

Publication number Publication date
CN106373112B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN106373112A (zh) 图像处理方法、装置和电子设备
CN110298443A (zh) 神经网络运算装置及方法
JP2022037022A (ja) ハードウェアにおけるカーネルストライドの実行
CN108898554A (zh) 提高图像分辨率的方法及相关产品
CN108416436A (zh) 使用多核心处理模块进行神经网络划分的方法及其系统
CN110447010A (zh) 在硬件中执行矩阵乘法
CN107341541A (zh) 一种用于执行全连接层神经网络训练的装置和方法
CN108694055A (zh) 向量归约处理器
CN107610146A (zh) 图像场景分割方法、装置、计算设备及计算机存储介质
CN115880132B (zh) 图形处理器、矩阵乘法任务处理方法、装置及存储介质
JP2021507345A (ja) 畳み込みニューラル・ネットワークの完全なカーネルを近似するためのスパース・カーネルの融合
CN109086871A (zh) 神经网络的训练方法、装置、电子设备和计算机可读介质
CN111966361A (zh) 用于确定待部署模型的方法、装置、设备及其存储介质
CN110147252A (zh) 一种卷积神经网络的并行计算方法及装置
CN109902182A (zh) 知识数据处理方法、装置、设备及存储介质
CN108334944A (zh) 一种人工神经网络运算的装置及方法
CN109214515A (zh) 一种深度神经网络推理方法及计算设备
CN110046638A (zh) 多平台间数据的融合方法、装置及设备
CN109583579B (zh) 计算装置及相关产品
CN109992372A (zh) 一种基于映射归约的数据处理方法及装置
CN113965313B (zh) 基于同态加密的模型训练方法、装置、设备以及存储介质
CN109726800B (zh) 运算方法、装置及相关产品
CN108875920A (zh) 神经网络的运行方法、装置、系统及存储介质
CN109711540B (zh) 一种计算装置及板卡
CN110837567A (zh) 实现知识图谱嵌入的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180329

Address after: 100029 Beijing city Haidian District Baosheng Road No. 1 Building No. 25 hospital three layer 301

Applicant after: Feng Feng Technology (Beijing) Co., Ltd.

Address before: 100029 Beijing, Haidian District North Austrian industrial base project, building 2, floor 6

Applicant before: BEIJING BITMAIN TECHNOLOGY CO., LTD.

TA01 Transfer of patent application right
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190418

Address after: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing

Applicant after: BEIJING BITMAIN TECHNOLOGY CO., LTD.

Address before: 300029 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, 301

Applicant before: Feng Feng Technology (Beijing) Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210819

Address after: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301

Patentee after: SUANFENG TECHNOLOGY (BEIJING) Co.,Ltd.

Address before: 100192 2nd Floor, Building 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing

Patentee before: BITMAIN TECHNOLOGIES Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220228

Address after: 100176 901, floor 9, building 8, courtyard 8, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (Yizhuang group, high-end industrial area of Beijing Pilot Free Trade Zone)

Patentee after: Beijing suneng Technology Co.,Ltd.

Address before: 100192 Building No. 25, No. 1 Hospital, Baosheng South Road, Haidian District, Beijing, No. 301

Patentee before: SUANFENG TECHNOLOGY (BEIJING) CO.,LTD.

TR01 Transfer of patent right