CN116266273A - 神经网络生成、图像处理的方法及装置、设备及存储介质 - Google Patents

神经网络生成、图像处理的方法及装置、设备及存储介质 Download PDF

Info

Publication number
CN116266273A
CN116266273A CN202111535079.4A CN202111535079A CN116266273A CN 116266273 A CN116266273 A CN 116266273A CN 202111535079 A CN202111535079 A CN 202111535079A CN 116266273 A CN116266273 A CN 116266273A
Authority
CN
China
Prior art keywords
neural network
network
candidate
candidate neural
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111535079.4A
Other languages
English (en)
Inventor
薛韬略
张天明
王智恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202111535079.4A priority Critical patent/CN116266273A/zh
Publication of CN116266273A publication Critical patent/CN116266273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种神经网络生成、图像处理的方法及装置、设备及存储介质，其中，该方法包括：获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；基于各个网络层分别对应的硬件耗时值构建多个候选神经网络；对多个候选神经网络分别进行性能检测，从多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，目标神经网络用于针对目标图像进行处理。本公开选取出的目标神经网络由于整体的硬件耗时更小，这使得即使是算力有限的边缘设备也可以支撑上述神经网络的运行，进而使得神经网络的应用范围更为广泛，适用性更强。

Description

神经网络生成、图像处理的方法及装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种神经网络生成、图像处理的方法及装置、设备及存储介质。
背景技术
随着深度学习的不断发展，各种人工智能(Artificial Intelligence，AI)模型在各行各业取得了越来越大的成功。以网约车服务行业为例，为了确保对证件信息进行安全且规范性的审核，在服务平台可以集成一些相关AI模型的神经网络，这些神经网络可以帮助平台自动抓取作弊信息并辅助拍摄清晰完整的证件。
然而，考虑到现有的神经网络需要大量的算力作为支持，这对于算力有限的边缘设备而言不足以支撑上述神经网络的运行，这导致无法很好地进行证件审核，降低了平台的服务质量。
发明内容
本公开实施例至少提供一种神经网络生成、图像处理的方法及装置、设备及存储介质。
第一方面，本公开实施例提供了一种神经网络生成的方法，所述方法包括：
获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个所述网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络；
对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，所述目标神经网络用于针对目标图像进行处理。
在一种可能的实施方式中，所述基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络，包括：
基于所述各个网络层分别对应的硬件耗时值，确定针对每个所述网络层预设的各组网络参数值分别被采样到的采样概率；
基于各个所述网络层预设的各组网络参数值分别被采样到的采样概率，从每个所述网络层预设的各组网络参数值中选取一组网络参数值；
按照各个所述网络层分别选取出的一组网络参数值将各个所述网络层进行组合，得到一个候选神经网络。
在一种可能的实施方式中，所述基于所述各个网络层分别对应的硬件耗时值，确定针对每个所述网络层预设的各组网络参数值分别被采样到的采样概率，包括：
针对每个所述网络层，确定该网络层在预设的每组网络参数值下对应的第一硬件耗时值、该网络层在预设的各组网络参数值下对应的硬件耗时方差值以及最小硬件耗时值；以及，
基于所述第一硬件耗时值、所述硬件耗时方差值以及所述最小硬件耗时值，确定针对该网络层预设的每组网络参数值被采样到的采样概率。
在一种可能的实施方式中，所述从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，包括：
获取用于进行网络精度检测的性能检测神经网络；
将所述多个候选神经网络中的每个候选神经网络分别作为第一候选神经网络，利用所述性能检测神经网络对所述第一候选神经网络进行精度检测，确定所述第一候选神经网络的网络精度；
基于所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络。
在一种可能的实施方式中，所述基于所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络，包括：
基于构建所述第一候选神经网络的各个网络层分别对应的硬件耗时值，确定所述第一候选神经网络对应的硬件耗时值；
基于所述第一候选神经网络对应的硬件耗时值以及所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络。
在一种可能的实施方式中，按照如下一种方式确定所述第一候选神经网络为所述目标神经网络：
在所述第一候选神经网络对应的硬件耗时值小于预设耗时值、且所述第一候选神经网络的网络精度大于预设精度的情况下，确定所述第一候选神经网络为所述目标神经网络；
在所述第一候选神经网络对应的硬件耗时值位于所述多个候选神经网络对应的硬件耗时表中的第一预设名次之前、且所述第一候选神经网络的网络精度位于所述多个候选神经网络对应的网络精度表中的第二预设名次之前的情况下，确定所述第一候选神经网络为所述目标神经网络；其中，所述第一预设名次按照硬件耗时由短到长的顺序排列得到，第二预设名次按照网络精度由高到底的顺序排列得到。
在一种可能的实施方式中，在利用所述性能检测神经网络对所述第一候选神经网络进行精度检测之前，所述方法还包括：
针对所述多个候选神经网络中的每个候选神经网络，基于构建所述候选神经网络的各个网络层分别选取出的一组网络参数值，对所述候选神经网络进行编码，得到所述候选神经网络对应的编码信息；
基于所述多个候选神经网络分别对应的编码信息，对所述多个候选神经网络中的第一候选神经网络进行扩展，得到扩展后的第一候选神经网络；
所述利用所述性能检测神经网络对所述第一候选神经网络进行精度检测，包括：
利用所述性能检测神经网络对扩展后的所述第一候选神经网络进行精度检测。
在一种可能的实施方式中，按照如下至少一种方式对所述多个候选神经网络中的第一候选神经网络进行扩展：
对所述多个候选神经网络中的第一候选神经网络对应的编码信息进行突变处理，得到突变后的编码信息，并基于突变后的编码信息确定扩展后的第一神经网络；
基于所述多个候选神经网络中的第二候选神经网络对应的编码信息对所述多个候选神经网络中的第一候选神经网络对应的编码信息进行交叉处理，得到交叉后的编码信息，并基于交叉后的编码信息确定扩展后的第一神经网络。
在一种可能的实施方式中，所述对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，包括：
将所述多个候选神经网络作为初始化种群内的神经网络；
依次对所述初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群；
对所述扩展后种群包括的各个神经网络分别进行性能检测，从扩展后种群中选取出性能检测结果符合预设排名的候选神经网络，并基于选取出的候选神经网络确定更新后种群；
循环执行依次对所述初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群，并对所述扩展后种群包括的各个神经网络分别进行性能检测的操作，直至选取出符合预设性能要求的目标神经网络。
在一种可能的实施方式中，所述目标应用场景包括目标证件检测场景；所述方法还包括：
获取包括用户证件的目标图像；
将所述目标图像分别输入到所述目标神经网络包括的类别特征提取层和位置特征提取层，得到所述用户证件的类别特征信息以及位置特征信息；
基于所述用户证件的类别特征信息以及所述位置特征信息，确定所述用户证件在所述目标图像中的位置坐标信息。
在一种可能的实施方式中，所述基于所述用户证件的类别特征信息以及所述位置特征信息，确定所述用户证件在所述目标图像中的位置坐标信息，包括：
基于预先设置的证件位置信息对所述用户证件的类别特征信息进行空间过滤，得到表征所述用户证件所在区域的类别特征信息；
基于预先设置的证件类型信息对所述过滤后的类别特征信息进行通道过滤，得到表征所述用户证件所属证件类型的类别特征信息；
将得到的所述类别特征信息中最大的类别特征值作为所述用户证件的类别值；
基于所述用户证件的类别值对所述用户证件的位置特征信息进行解析，得到所述用户证件在所述目标图像中的位置坐标信息。
在一种可能的实施方式中，所述基于所述用户证件的类别值对所述用户证件的位置特征信息进行解析，得到所述用户证件在所述目标图像中的位置坐标信息，包括：
在所述用户证件的类别值大于预设阈值的情况下，将所述类别值对应的像素位置作为位置索引值；
从所述用户证件的位置特征信息中查找与所述位置索引值匹配的位置坐标，得到所述用户证件在所述目标图像中的位置坐标信息。
第二方面，本公开实施例还提供了一种图像处理的方法，所述方法包括：
获取待处理证件图像；
将所述待处理证件图像输入到利用第一方面及其各种实施方式任一所述的神经网络生成的方法得到的目标神经网络中，确定所述待处理证件图像是否为合格图像；
在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
第三方面，本公开实施例还提供了一种神经网络生成的装置，所述装置包括：
获取模块，用于获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个所述网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
构建模块，用于基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络；
生成模块，用于对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，所述目标神经网络用于针对目标图像进行处理。
第四方面，本公开实施例还提供了一种图像处理的装置，所述装置包括：
获取模块，用于获取待处理证件图像；
处理模块，用于将所述待处理证件图像输入到利用第一方面及其各种实施方式任一所述的神经网络生成的方法得到的目标神经网络中，确定所述待处理证件图像是否为合格图像；
获取模块，还用于在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
第五方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的神经网络生成的方法的步骤或者如第二方面所述的图像处理的方法的步骤。
第六方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及其各种实施方式任一所述的神经网络生成的方法的步骤或者如第二方面所述的图像处理的方法的步骤。
采用本公开提供的神经网络生成、图像处理的方法及装置、设备及存储介质，其首先可以获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值，硬件耗时值越大，其所对应网络参数值选取的网络层的性能越差，反之，硬件耗时值越小，其对应的性能越好，基于此，可以通过对构建的多个候选神经网络进行性能检测，继而可以选取出性能优良的目标神经网络，这样选取出的目标神经网络由于整体的硬件耗时更小，这使得即使是算力有限的边缘设备也可以支撑上述神经网络的运行，进而使得神经网络的应用范围更为广泛，适用性更强。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种神经网络生成的方法的流程图；
图2示出了本公开实施例所提供的神经网络生成的方法中，确定目标神经网络具体方法的流程图；
图3示出了本公开实施例所提供的神经网络生成的方法中，确定用户证件位置具体方法的流程图；
图4示出了本公开实施例所提供的一种图像处理的方法的流程图；
图5示出了本公开实施例所提供的一种神经网络生成的装置的示意图；
图6示出了本公开实施例所提供的一种图像处理的装置的示意图；
图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在网约车服务行业，为了确保对证件信息进行安全且规范性的审核，需要一种识别模糊、不完整、虚假等不规范证件的方法。已有方法中可分为两类：第一类是基于传统手工特征的方法，第二类是基于卷积神经网络(Convolutional Neural Network，CNN)的深度模型方法。基于传统手工特征的方法通过人工设计特征提取方式和规则判断证件是否合规，计算复杂度低，运行速度较快，但识别精度较低；基于CNN网络的深度模型方法通过从大量数据中学习相应特征并拟合出识别规则，精度较高，但这种方法通常都是采用计算复杂度较高的模型，需要依赖较高的算力，在算力受限的条件下难以运行。简而言之，现有技术难以满足在算力受限情况下的高精度证件采集需求。
基于上述研究，本公开提供了一种兼顾低运算量和高精度的神经网络生成的方案，以通过提供的目标神经网络提升后续诸如目标检测等相关的应用。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种神经网络生成的方法进行详细介绍，本公开实施例所提供的神经网络生成的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该神经网络生成的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的神经网络生成的方法的流程图，方法包括步骤S101～S103，其中：
S101：获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
S102：基于各个网络层分别对应的硬件耗时值构建多个候选神经网络；
S103：对多个候选神经网络分别进行性能检测，从多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，目标神经网络用于针对目标图像进行处理。
这里，为了便于理解本公开实施例提供的神经网络生成的方法，接下来首先对该方法的应用场景进行简单说明。本公开实施例中的神经网络生成的方法主要可以应用于图像处理领域，特别是可以应用于网约车服务平台下的证件图像处理，除此之外，还可以应用于其它各种服务平台下的各类图像处理方案中，本公开实施例对此不做具体的限制。接下来多以网约车服务平台下的证件图像处理进行示例说明。
考虑到目前已有的证件辅助采集方法主要存在两个方面的不足。其一是对于模糊、不完整、虚假等不规范证件的识别精度不高；其二是方法本身计算度复杂大，难以在算力受限的条件下运行。
正是为了解决上述问题，本公开实施例才提供了一种专门针对算力受限场景，同时兼顾了精度和耗时两个方面的性能，可确保在低端手机、小程序等算力受限的场景下进行实施的方案。
本公开实施例中，首先可以获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值，而后可以基于各个网络层分别对应的硬件耗时值构建多个候选神经网络，最后通过性能检测，可以从多个候选神经网络中选取出符合预设性能要求的目标神经网络。
其中，这里的原始神经网络可以是CNN网络，还可以是其它已知性能优良的网络架构，在实际应用中，上述原始神经网络可以是由各个网络层组合得到的。上述网络层对应的硬件耗时值可以是由网络层在预设的各组网络参数值下进行硬件耗时检测得到的。这里的网络层可以是基于一组网络参数值构建的，这里的网络参数值可以包括诸如网络属性，例如可以是用于进行卷积运算的卷积层，还可以包括具体的网络运算规则，例如，卷积层的卷积核、卷积步长等相关参数。
针对同一网络层，在选取的网络参数值不同的情况下，其对应的硬件耗时检测结果也不相同。为了选取出可以适应于低算力设备的目标神经网络，这里可以综合考虑各网络层的硬件耗时值，选取整体的硬件耗时值比较小的神经网络是本公开实施例生成目标神经网络的前提。
需要说明的是，在进行硬件耗时检测的过程中，有关目标应用场景不同，所对应的硬件耗时检测结果也不同，这里的目标应用场景可以是包含各种应用领域下的相关场景，例如，可以是网约车服务领域下的证件检测场景、拍屏场景、质量评估场景等。
这里，可以预先基于各个网络层分别对应的硬件耗时值构建多个候选神经网络，继而通过有关耗时性能、精度性能的要求，从多个候选神经网络中选取目标神经网络。
在实际应用中，可以通过性能检测实现有关目标神经网络的选取，这里的性能检测主要是基于低算力和高精度的双重需求所进行的检测。针对低算力而言，这里可以通过确定候选神经网络的整体耗时情况来确定，针对高精度而言，这里可以通过性能检测神经网络来确定候选神经网络的网络精度，继而选取出精度较高的目标神经网络。
在构建候选神经网络的过程中，可以基于硬件耗时值，确定针对每个网络层预设的各组网络参数值分别被采样到的采样概率，而后基于采样频率进行网络参数值的选取以构建得到候选神经网络，具体可以通过如下步骤来实现：
步骤一、基于各个网络层分别对应的硬件耗时值，确定针对每个网络层预设的各组网络参数值分别被采样到的采样概率；
步骤二、基于各个网络层预设的各组网络参数值分别被采样到的采样概率，从每个网络层预设的各组网络参数值中选取一组网络参数值；
步骤三、按照各个网络层分别选取出的一组网络参数值将各个网络层进行组合，得到一个候选神经网络。
这里，首先可以基于各个网络层分别对应的硬件耗时值，确定针对每个网络层预设的各组网络参数值分别被采样到的采样概率。一定程度而言，对于硬件耗时比较小的一组网络参数值而言，其被采样到的概率也较低，对于硬件耗时比较大的一组网络参数值而言，其被采样到的概率也较高，也即，硬件耗时与采样概率呈正相关。
在实际应用中，为了进行更为合理的采样，可以依据正态分布概率函数对网络层下不同耗时的网络参数值赋予不同的采样概率。这里，针对每个网络层，确定该网络层在预设的每组网络参数值下对应的第一硬件耗时值、该网络层在预设的各组网络参数值下对应的硬件耗时方差值以及最小硬件耗时值；以及，基于第一硬件耗时值、硬件耗时方差值以及最小硬件耗时值，确定针对该网络层预设的每组网络参数值被采样到的采样概率。
具体可以通过如下公式进一步进行说明。
Figure BDA0003412305860000121
其中，t为网络层对应的硬件耗时值，θ为硬件耗时方差值，η为最小硬件耗时值。
通过以上公式，可以使低耗时的一组网络参数值具有更高的概率被采样到，使整个优化朝着低算力场景友好方向进行。
在实际应用中，可以通过对各个网络层在低端手机、小程序等使用场景上进行耗时评测，构建特定场景的硬件延时表，基于硬件延时表可以确定对应的采样频率表。
基于上述采样频率表，本公开实施例设置提供了一种低算力场景友好型的非均匀采样概率进行神经网络架构搜索的方案，这里所搜索出的候选神经网络可以是按照上述非均匀采样概率搜索到的特定数量的候选神经网络。
针对搜索得到的多个候选神经网络，本公开实施例可以通过性能检测实现目标神经网络的选取，具体可以通过如下步骤来实现：
步骤一、获取用于进行网络精度检测的性能检测神经网络；
步骤二、将多个候选神经网络中的每个候选神经网络分别作为第一候选神经网络，利用性能检测神经网络对第一候选神经网络进行精度检测，确定第一候选神经网络的网络精度；
步骤三、基于第一候选神经网络的网络精度，确定第一候选神经网络是否为目标神经网络。
考虑到候选神经网络是基于采样概率搜索得到的，而采样概率又是与硬件耗时值呈正相关的，这样，对于构建的候选神经网络而言，其基本已经满足低算力的耗时要求，这里，可以侧重于性能检测神经网络的性能检测。
上述性能检测神经网络主要训练的可以是网络与其对应的精度之间的对应关系，也即，在进行性能检测神经网络的训练之前，可以确定各个神经网络样本及其对应的网络精度，这样，在训练得到性能检测神经网络之后，将候选神经网络输入到训练完成的性能检测神经网络即可以得到对应的网络精度。
其中，有关神经网络样本可以是利用对各个网络层的各组网络参数值进行均匀采样所构建得到的，还可以是其它方式构建的，在此不做具体的限制。
为了进一步提升所选取的目标神经网络的性能，这里还可以结合硬件耗时值进行目标神经网络的筛选。也即，首先可以基于构建第一候选神经网络的各个网络层分别对应的硬件耗时值，确定第一候选神经网络对应的硬件耗时值，然后基于第一候选神经网络对应的硬件耗时值以及第一候选神经网络的网络精度，确定第一候选神经网络是否为目标神经网络。
在目标函数设定上，本公开实施例提出的是性能检测神经网络这一代理模型以及硬件延时表的双目标优化设计。其中的代理模型可以快速评估网络性能，硬件延时表可保证搜索到的神经网络架构对低算力场景的友好部署性能。
在实际应用中，可以通过如下两种方式确定第一候选神经网络是否为目标神经网络。其一，在第一候选神经网络对应的硬件耗时值小于预设耗时值、且第一候选神经网络的网络精度大于预设精度的情况下，确定第一候选神经网络为目标神经网络；其二，在第一候选神经网络对应的硬件耗时值位于多个候选神经网络对应的硬件耗时表中的第一预设名次之前、且第一候选神经网络的网络精度位于多个候选神经网络对应的网络精度表中的第二预设名次之前的情况下，确定第一候选神经网络为目标神经网络；其中，第一预设名次按照硬件耗时由短到长的顺序排列得到，第二预设名次按照网络精度由高到底的顺序排列得到。
本公开实施例提供的神经网络生成的方法，为了尽可能的搜索出性能更为优良的目标神经网络，在对候选神经网络进行性能检测之前，可以先对候选神经网络进行扩展，以第一候选神经网络示例具体说明有关扩展过程，包括如下步骤：
步骤一、针对多个候选神经网络中的每个候选神经网络，基于构建候选神经网络的各个网络层分别选取出的一组网络参数值，对候选神经网络进行编码，得到候选神经网络对应的编码信息；
步骤二、基于多个候选神经网络分别对应的编码信息，对多个候选神经网络中的第一候选神经网络进行扩展，得到扩展后的第一候选神经网络。
为了便于进行后续的网络扩展，这里可以基于构建候选神经网络的各个网络层分别选取出的一组网络参数值，对候选神经网络进行编码，得到候选神经网络对应的编码信息，而后基于各个候选神经网络分别对应的编码信息对第一候选神经网络进行扩展。
本公开实施例中的扩展主要指的是基于编码信息的突变和交叉操作。这里，一方面可以对多个候选神经网络中的第一候选神经网络对应的编码信息进行突变处理，得到突变后的编码信息，并基于突变后的编码信息确定扩展后的第一神经网络。在实际应用中，将突变后的编码还原成网络即可以确定扩展后的第一神经网络，而后即可以进行诸如第一神经网络相似的性能检测任务。
另一方面，基于多个候选神经网络中的第二候选神经网络对应的编码信息对多个候选神经网络中的第一候选神经网络对应的编码信息进行交叉处理，得到交叉后的编码信息，并基于交叉后的编码信息确定扩展后的第一神经网络。在实际应用中，将交叉后的编码还原成网络即可以确定扩展后的第一神经网络，而后即可以进行诸如第一神经网络相似的性能检测任务。
在本公开实施例中，可以采用分层编码，编码方式可以描述为：假设CNN单元架构空间(对应候选神经网络)中包含卷积层、全连接层、注意力层等带有参数的层，这些层依次编码为a,b,c，则进一步编码为ax1x2x3，bx1,cx1(x1-3为整数，对应相应参数的枚举索引)，除此之外，还可以包括最大池化、残差连接、批归一化层、激活函数Relu层、激活函数sigmoid层，对应可以编码为d,e,f,g,h。这样，编码链a121gdb0表示网络结构为通道数位为类型1、核尺寸为类型2、步长为类型1的卷积层、激活函数Relu层、最大池话层、输出通道为类型0的全连接层。
以5个网络层的神经网络架构为例，每一层用一条编码链表示，也即，使用5条编码链可以表示一个神经网络架构，各层的编码链长度不一。在进化算法的交叉环节中，可以只对相对应的层的编码链进行交叉，如架构A的第一层只能与架构B的第一层进行交叉，不能与架构B的其他层进行交叉。该编码方式即保障了网络结构的多样性，同时也限制了搜索空间的大小，避免搜索过程太过耗时。
本公开实施例中，为了使得搜索出的目标神经网络更为符合性能要求，这里，可以按照进化算法进行种群的更新，以通过种群扩展逐渐选取出性能更为优异的网络架构。具体可以包括如下步骤来实现：
步骤一、将多个候选神经网络作为初始化种群内的神经网络；
步骤二、依次对初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群；
步骤三、对扩展后种群包括的各个神经网络分别进行性能检测，从扩展后种群中选取出性能检测结果符合预设排名的候选神经网络，并基于选取出的候选神经网络确定更新后种群；
步骤四、循环执行依次对初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群，并对扩展后种群包括的各个神经网络分别进行性能检测的操作，直至选取出符合预设性能要求的目标神经网络。
为了便于说明上述循环过程，接下来可以结合图2进行具体说明。
如图2所示，不同的CNN单元架构搜索空间对应的网络层的网络参数值也不同，在进行非均匀采样的情况下，可以确定出CNN架构初始化种群，通过CNN架构交叉和突变可以得到扩展后的候选神经网络，继而可以通过代理模型和硬件延时表进行性能检测。通过性能检测可以选取出性能较为优异的候选神经网络作为新的种群，而后可以按照如2循环执行上述过程，直到得到目标神经网络。
在实际进行证件检测的场景中，可以利用上述选取出的最为优良的目标神经网络实现用户证件的检测，具体可以通过如下步骤来实现：
步骤一、获取包括用户证件的目标图像；
步骤二、将目标图像分别输入到目标神经网络包括的类别特征提取层和位置特征提取层，得到用户证件的类别特征信息以及位置特征信息；
步骤三、基于用户证件的类别特征信息以及位置特征信息，确定用户证件在目标图像中的位置坐标信息。
这里，在获取到目标图像的情况下，可以利用上述目标神经网络包括的类别特征提取层和位置特征提取层，继而可以基于得到用户证件的类别特征信息以及位置特征信息确定用户证件在目标图像中的位置坐标信息。
在确定位置坐标信息的过程中，可以利用相关先验信息缩小运算量，以进一步提升检测的效率，具体可以通过如下步骤来实现：
基于预先设置的证件位置信息对用户证件的类别特征信息进行空间过滤，得到表征用户证件所在区域的类别特征信息；
步骤一、基于预先设置的证件类型信息对过滤后的类别特征信息进行通道过滤，得到表征用户证件所属证件类型的类别特征信息；
步骤二、将得到的类别特征信息中最大的类别特征值作为用户证件的类别值；
步骤三、基于用户证件的类别值对用户证件的位置特征信息进行解析，得到用户证件在目标图像中的位置坐标信息。
在证件采集场景中，可以预先知晓需要检测的证件类别，还可以要求证件处于图片中心位置、每次只采集一个证件等。利用这些先验信息，本公开实施例可以首先利用证件类型对目标神经网络输出的类别特征信息进行空间过滤，截取出中心特征，再进行通道过滤，选择待检测证件所对应的通道特征。采用双维度的过滤(空间、通道)可以极大的缩小特征的数量，减少后续操作的计算量。随后，可以通过对过滤后的特征求最大值来进行坐标解析，以得到用户证件的位置坐标信息。
这里，若最大的类别值不满足阈值要求，则表示未检测到相应证件；若满足阈值要求，则输出最大值索引到位置特征上，截取出位置特征进行证件坐标解析。
为了便于说明上述确定位置坐标的过程，接下来可以结合图3进一步进行说明。
如图3所示，在获取到目标图像的情况下，可以首先利用目标神经网络进行类别特征和位置特征的提取，而后利用证件类型和证件位置进行过滤，最后通过最大值判断来确定索引位置以解析出位置坐标信息。
需要说明的是，本公开实施例提供的目标神经网络不仅可以是上述具有证件位置检测功能的神经网络，还可以是具有拍屏、质量评估等功能的神经网络，这里不做具体的限制。
基于上述实施例提供的神经网络生成的方法，这里还提供了一种图像处理的方法，如图4，该方法具体包括如下步骤：
S401：获取待处理证件图像；
S402：将待处理证件图像输入到利用神经网络生成的方法得到的目标神经网络中，确定待处理证件图像是否为合格图像；
S403：在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
在本公开实施例中，可以将选取出的目标神经网络部署于司机用户端等边缘设备，司机根据系统提示拍摄相应证件。边缘设备获取待处理证件图像并利用拍屏、检测、质量等网络可以预测证件是否存在拍屏作弊、不完整、反光、模糊及证件类型是否正确。若存在，则判断不合格，可以提醒司机重新拍摄，若不存在，则合格并结束采集。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与方法对应的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种神经网络生成的装置的示意图，装置包括：获取模块501、构建模块502、生成模块503；其中，
获取模块501，用于获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
构建模块502，用于基于各个网络层分别对应的硬件耗时值构建多个候选神经网络；
生成模块503，用于对多个候选神经网络分别进行性能检测，从多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，目标神经网络用于针对目标图像进行处理。
采用本公开提供的神经网络生成的装置，其首先可以获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值，硬件耗时值越大，其所对应网络参数值选取的网络层的性能越差，反之，硬件耗时值越小，其对应的性能越好，基于此，可以通过对构建的多个候选神经网络进行性能检测，继而可以选取出性能优良的目标神经网络，这样选取出的目标神经网络由于整体的硬件耗时更小，这使得即使是算力有限的边缘设备也可以支撑上述神经网络的运行，进而使得神经网络的应用范围更为广泛，适用性更强。
在一种可能的实施方式中，构建模块502，用于按照以下步骤基于各个网络层分别对应的硬件耗时值构建多个候选神经网络：
基于各个网络层分别对应的硬件耗时值，确定针对每个网络层预设的各组网络参数值分别被采样到的采样概率；
基于各个网络层预设的各组网络参数值分别被采样到的采样概率，从每个网络层预设的各组网络参数值中选取一组网络参数值；
按照各个网络层分别选取出的一组网络参数值将各个网络层进行组合，得到一个候选神经网络。
在一种可能的实施方式中，构建模块502，用于按照以下步骤基于各个网络层分别对应的硬件耗时值，确定针对每个网络层预设的各组网络参数值分别被采样到的采样概率：
针对每个网络层，确定该网络层在预设的每组网络参数值下对应的第一硬件耗时值、该网络层在预设的各组网络参数值下对应的硬件耗时方差值以及最小硬件耗时值；以及，
基于第一硬件耗时值、硬件耗时方差值以及最小硬件耗时值，确定针对该网络层预设的每组网络参数值被采样到的采样概率。
在一种可能的实施方式中，生成模块503，用于按照以下步骤从多个候选神经网络中选取出符合预设性能要求的目标神经网络：
获取用于进行网络精度检测的性能检测神经网络；
将多个候选神经网络中的每个候选神经网络分别作为第一候选神经网络，利用性能检测神经网络对第一候选神经网络进行精度检测，确定第一候选神经网络的网络精度；
基于第一候选神经网络的网络精度，确定第一候选神经网络是否为目标神经网络。
在一种可能的实施方式中，生成模块503，用于按照以下步骤基于第一候选神经网络的网络精度，确定第一候选神经网络是否为目标神经网络：
基于构建第一候选神经网络的各个网络层分别对应的硬件耗时值，确定第一候选神经网络对应的硬件耗时值；
基于第一候选神经网络对应的硬件耗时值以及第一候选神经网络的网络精度，确定第一候选神经网络是否为目标神经网络。
在一种可能的实施方式中，生成模块503，用于按照如下一种方式确定第一候选神经网络为目标神经网络：
在第一候选神经网络对应的硬件耗时值小于预设耗时值、且第一候选神经网络的网络精度大于预设精度的情况下，确定第一候选神经网络为目标神经网络；
在第一候选神经网络对应的硬件耗时值位于多个候选神经网络对应的硬件耗时表中的第一预设名次之前、且第一候选神经网络的网络精度位于多个候选神经网络对应的网络精度表中的第二预设名次之前的情况下，确定第一候选神经网络为目标神经网络；其中，第一预设名次按照硬件耗时由短到长的顺序排列得到，第二预设名次按照网络精度由高到底的顺序排列得到。
在一种可能的实施方式中，生成模块503，用于按照以下步骤利用性能检测神经网络对第一候选神经网络进行精度检测
在利用性能检测神经网络对第一候选神经网络进行精度检测之前，针对多个候选神经网络中的每个候选神经网络，基于构建候选神经网络的各个网络层分别选取出的一组网络参数值，对候选神经网络进行编码，得到候选神经网络对应的编码信息；基于多个候选神经网络分别对应的编码信息，对多个候选神经网络中的第一候选神经网络进行扩展，得到扩展后的第一候选神经网络；
利用性能检测神经网络对扩展后的第一候选神经网络进行精度检测。
在一种可能的实施方式中，生成模块503，用于按照如下至少一种方式对多个候选神经网络中的第一候选神经网络进行扩展：
对多个候选神经网络中的第一候选神经网络对应的编码信息进行突变处理，得到突变后的编码信息，并基于突变后的编码信息确定扩展后的第一神经网络；
基于多个候选神经网络中的第二候选神经网络对应的编码信息对多个候选神经网络中的第一候选神经网络对应的编码信息进行交叉处理，得到交叉后的编码信息，并基于交叉后的编码信息确定扩展后的第一神经网络。
在一种可能的实施方式中，生成模块503，用于按照以下步骤对多个候选神经网络分别进行性能检测，从多个候选神经网络中选取出符合预设性能要求的目标神经网络：
将多个候选神经网络作为初始化种群内的神经网络；
依次对初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群；
对扩展后种群包括的各个神经网络分别进行性能检测，从扩展后种群中选取出性能检测结果符合预设排名的候选神经网络，并基于选取出的候选神经网络确定更新后种群；
循环执行依次对初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群，并对扩展后种群包括的各个神经网络分别进行性能检测的操作，直至选取出符合预设性能要求的目标神经网络。
在一种可能的实施方式中，目标应用场景包括目标证件检测场景；上述装置还包括：
检测模块504，用于获取包括用户证件的目标图像；将目标图像分别输入到目标神经网络包括的类别特征提取层和位置特征提取层，得到用户证件的类别特征信息以及位置特征信息；基于用户证件的类别特征信息以及位置特征信息，确定用户证件在目标图像中的位置坐标信息。
在一种可能的实施方式中，检测模块504，用于按照以下步骤基于用户证件的类别特征信息以及位置特征信息，确定用户证件在目标图像中的位置坐标信息：
基于预先设置的证件位置信息对用户证件的类别特征信息进行空间过滤，得到表征用户证件所在区域的类别特征信息；
基于预先设置的证件类型信息对过滤后的类别特征信息进行通道过滤，得到表征用户证件所属证件类型的类别特征信息；
将得到的类别特征信息中最大的类别特征值作为用户证件的类别值；
基于用户证件的类别值对用户证件的位置特征信息进行解析，得到用户证件在目标图像中的位置坐标信息。
在一种可能的实施方式中，检测模块504，用于按照以下步骤基于用户证件的类别值对用户证件的位置特征信息进行解析，得到用户证件在目标图像中的位置坐标信息：
在用户证件的类别值大于预设阈值的情况下，将类别值对应的像素位置作为位置索引值；
从用户证件的位置特征信息中查找与位置索引值匹配的位置坐标，得到用户证件在目标图像中的位置坐标信息。
参照图6所示，为本公开实施例提供的一种图像处理的装置的示意图，装置包括：获取模块601、处理模块602；其中，
获取模块601，用于获取待处理证件图像；
处理模块602，用于将待处理证件图像输入到利用神经网络生成的方法得到的目标神经网络中，确定待处理证件图像是否为合格图像；
获取模块601，还用于在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备，如图7所示，为本公开实施例提供的电子设备结构示意图，包括：处理器701、存储器702、和总线703。存储器702存储有处理器701可执行的机器可读指令(比如，图5中的装置中获取模块501、构建模块502、生成模块503对应的执行指令等；再如，图6中的装置中获取模块601、处理模块602对应的执行指令等)，当电子设备运行时，处理器701与存储器702之间通过总线703通信，机器可读指令被处理器701执行时执行上述神经网络生成的方法的步骤或者执行上述图像处理的方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种神经网络生成的方法，其特征在于，所述方法包括：
获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个所述网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络；
对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，所述目标神经网络用于针对目标图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络，包括：
基于所述各个网络层分别对应的硬件耗时值，确定针对每个所述网络层预设的各组网络参数值分别被采样到的采样概率；
基于各个所述网络层预设的各组网络参数值分别被采样到的采样概率，从每个所述网络层预设的各组网络参数值中选取一组网络参数值；
按照各个所述网络层分别选取出的一组网络参数值将各个所述网络层进行组合，得到一个候选神经网络。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各个网络层分别对应的硬件耗时值，确定针对每个所述网络层预设的各组网络参数值分别被采样到的采样概率，包括：
针对每个所述网络层，确定该网络层在预设的每组网络参数值下对应的第一硬件耗时值、该网络层在预设的各组网络参数值下对应的硬件耗时方差值以及最小硬件耗时值；以及，
基于所述第一硬件耗时值、所述硬件耗时方差值以及所述最小硬件耗时值，确定针对该网络层预设的每组网络参数值被采样到的采样概率。
4.根据权利要求2或3所述的方法，其特征在于，所述从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，包括：
获取用于进行网络精度检测的性能检测神经网络；
将所述多个候选神经网络中的每个候选神经网络分别作为第一候选神经网络，利用所述性能检测神经网络对所述第一候选神经网络进行精度检测，确定所述第一候选神经网络的网络精度；
基于所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络，包括：
基于构建所述第一候选神经网络的各个网络层分别对应的硬件耗时值，确定所述第一候选神经网络对应的硬件耗时值；
基于所述第一候选神经网络对应的硬件耗时值以及所述第一候选神经网络的网络精度，确定所述第一候选神经网络是否为所述目标神经网络。
6.根据权利要求5所述的方法，其特征在于，按照如下一种方式确定所述第一候选神经网络为所述目标神经网络：
在所述第一候选神经网络对应的硬件耗时值小于预设耗时值、且所述第一候选神经网络的网络精度大于预设精度的情况下，确定所述第一候选神经网络为所述目标神经网络；
在所述第一候选神经网络对应的硬件耗时值位于所述多个候选神经网络对应的硬件耗时表中的第一预设名次之前、且所述第一候选神经网络的网络精度位于所述多个候选神经网络对应的网络精度表中的第二预设名次之前的情况下，确定所述第一候选神经网络为所述目标神经网络；其中，所述第一预设名次按照硬件耗时由短到长的顺序排列得到，第二预设名次按照网络精度由高到底的顺序排列得到。
7.根据权利要求4至6任一所述的方法，其特征在于，在利用所述性能检测神经网络对所述第一候选神经网络进行精度检测之前，所述方法还包括：
针对所述多个候选神经网络中的每个候选神经网络，基于构建所述候选神经网络的各个网络层分别选取出的一组网络参数值，对所述候选神经网络进行编码，得到所述候选神经网络对应的编码信息；
基于所述多个候选神经网络分别对应的编码信息，对所述多个候选神经网络中的第一候选神经网络进行扩展，得到扩展后的第一候选神经网络；
所述利用所述性能检测神经网络对所述第一候选神经网络进行精度检测，包括：
利用所述性能检测神经网络对扩展后的所述第一候选神经网络进行精度检测。
8.根据权利要求7所述的方法，其特征在于，按照如下至少一种方式对所述多个候选神经网络中的第一候选神经网络进行扩展：
对所述多个候选神经网络中的第一候选神经网络对应的编码信息进行突变处理，得到突变后的编码信息，并基于突变后的编码信息确定扩展后的第一神经网络；
基于所述多个候选神经网络中的第二候选神经网络对应的编码信息对所述多个候选神经网络中的第一候选神经网络对应的编码信息进行交叉处理，得到交叉后的编码信息，并基于交叉后的编码信息确定扩展后的第一神经网络。
9.根据权利要求1至8任一所述的方法，其特征在于，所述对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，包括：
将所述多个候选神经网络作为初始化种群内的神经网络；
依次对所述初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群；
对所述扩展后种群包括的各个神经网络分别进行性能检测，从扩展后种群中选取出性能检测结果符合预设排名的候选神经网络，并基于选取出的候选神经网络确定更新后种群；
循环执行依次对所述初始化种群内的神经网络进行编码和扩展处理，得到扩展后种群，并对所述扩展后种群包括的各个神经网络分别进行性能检测的操作，直至选取出符合预设性能要求的目标神经网络。
10.根据权利要求1至9任一所述的方法，其特征在于，所述目标应用场景包括目标证件检测场景；所述方法还包括：
获取包括用户证件的目标图像；
将所述目标图像分别输入到所述目标神经网络包括的类别特征提取层和位置特征提取层，得到所述用户证件的类别特征信息以及位置特征信息；
基于所述用户证件的类别特征信息以及所述位置特征信息，确定所述用户证件在所述目标图像中的位置坐标信息。
11.根据权利要求10所述的方法，其特征在于，所述基于所述用户证件的类别特征信息以及所述位置特征信息，确定所述用户证件在所述目标图像中的位置坐标信息，包括：
基于预先设置的证件位置信息对所述用户证件的类别特征信息进行空间过滤，得到表征所述用户证件所在区域的类别特征信息；
基于预先设置的证件类型信息对所述过滤后的类别特征信息进行通道过滤，得到表征所述用户证件所属证件类型的类别特征信息；
将得到的所述类别特征信息中最大的类别特征值作为所述用户证件的类别值；
基于所述用户证件的类别值对所述用户证件的位置特征信息进行解析，得到所述用户证件在所述目标图像中的位置坐标信息。
12.根据权利要求11所述的方法，其特征在于，所述基于所述用户证件的类别值对所述用户证件的位置特征信息进行解析，得到所述用户证件在所述目标图像中的位置坐标信息，包括：
在所述用户证件的类别值大于预设阈值的情况下，将所述类别值对应的像素位置作为位置索引值；
从所述用户证件的位置特征信息中查找与所述位置索引值匹配的位置坐标，得到所述用户证件在所述目标图像中的位置坐标信息。
13.一种图像处理的方法，其特征在于，所述方法包括：
获取待处理证件图像；
将所述待处理证件图像输入到利用权利要求1至12任一所述的神经网络生成的方法得到的目标神经网络中，确定所述待处理证件图像是否为合格图像；
在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
14.一种神经网络生成的装置，其特征在于，所述装置包括：
获取模块，用于获取在目标应用场景下，原始神经网络包括的各个网络层分别对应的硬件耗时值；每个所述网络层对应的硬件耗时值由该网络层在预设的各组网络参数值下进行硬件耗时检测得到；
构建模块，用于基于所述各个网络层分别对应的硬件耗时值构建多个候选神经网络；
生成模块，用于对所述多个候选神经网络分别进行性能检测，从所述多个候选神经网络中选取出符合预设性能要求的目标神经网络，其中，所述目标神经网络用于针对目标图像进行处理。
15.一种图像处理的装置，其特征在于，所述装置包括：
获取模块，用于获取待处理证件图像；
处理模块，用于将所述待处理证件图像输入到利用权利要求1至12任一所述的神经网络生成的方法得到的目标神经网络中，确定所述待处理证件图像是否为合格图像；
获取模块，还用于在判断出待处理证件图像为非合格图像的情况下，重新获取待处理证件图像。
16.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的神经网络生成的方法的步骤或者如权利要求13所述的图像处理的方法的步骤。
17.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的神经网络生成的方法的步骤或者如权利要求13所述的图像处理的方法的步骤。
CN202111535079.4A 2021-12-15 2021-12-15 神经网络生成、图像处理的方法及装置、设备及存储介质 Pending CN116266273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111535079.4A CN116266273A (zh) 2021-12-15 2021-12-15 神经网络生成、图像处理的方法及装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111535079.4A CN116266273A (zh) 2021-12-15 2021-12-15 神经网络生成、图像处理的方法及装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116266273A true CN116266273A (zh) 2023-06-20

Family

ID=86742926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111535079.4A Pending CN116266273A (zh) 2021-12-15 2021-12-15 神经网络生成、图像处理的方法及装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116266273A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521737A (zh) * 2024-01-04 2024-02-06 浙江大华技术股份有限公司 网络模型的转换方法、装置、终端及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521737A (zh) * 2024-01-04 2024-02-06 浙江大华技术股份有限公司 网络模型的转换方法、装置、终端及计算机可读存储介质
CN117521737B (zh) * 2024-01-04 2024-04-19 浙江大华技术股份有限公司 网络模型的转换方法、装置、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
US20230401833A1 (en) Method, computer device, and storage medium, for feature fusion model training and sample retrieval
CN112580643A (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN112214775A (zh) 对图数据的注入式攻击方法、装置、介质及电子设备
CN110209857A (zh) 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN114219824A (zh) 基于深度网络的可见光-红外目标跟踪方法及系统
CN112949842A (zh) 神经网络结构搜索方法、装置、计算机设备以及存储介质
CN116266273A (zh) 神经网络生成、图像处理的方法及装置、设备及存储介质
CN111242176A (zh) 计算机视觉任务的处理方法、装置及电子系统
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
CN114792430A (zh) 基于极化自注意力的行人重识别方法、系统及相关设备
CN114358278A (zh) 神经网络模型的训练方法及装置
WO2022021624A1 (zh) 模型确定方法及相关装置、终端、计算机可读存储介质、计算机程序产品
CN113780363A (zh) 一种对抗样本防御方法、系统、计算机及介质
CN110490876B (zh) 一种基于轻量级神经网络的图像分割方法
CN115618099A (zh) 神经网络架构搜索的方法、装置及电子设备
CN115239590A (zh) 样本图像的生成方法、装置、设备、介质及程序产品
CN112633369B (zh) 图像匹配方法、装置、电子设备、计算机可读存储介质
CN114494809A (zh) 特征提取模型优化方法、装置及电子设备
CN113743443A (zh) 一种图像证据分类和识别方法及装置
CN113053454A (zh) 分类方法及装置、电子设备和存储介质
CN113221922A (zh) 图像处理方法及相关装置
CN113157582A (zh) 测试脚本执行序列确定方法及装置
CN111310806B (zh) 分类网络及图像处理方法、装置、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination