CN110298438B - 神经网络模型的调整方法和调整装置 - Google Patents

神经网络模型的调整方法和调整装置 Download PDF

Info

Publication number
CN110298438B
CN110298438B CN201910603830.6A CN201910603830A CN110298438B CN 110298438 B CN110298438 B CN 110298438B CN 201910603830 A CN201910603830 A CN 201910603830A CN 110298438 B CN110298438 B CN 110298438B
Authority
CN
China
Prior art keywords
neuron
neural network
network model
localization
scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910603830.6A
Other languages
English (en)
Other versions
CN110298438A (zh
Inventor
刘小涛
张韵东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CN201910603830.6A priority Critical patent/CN110298438B/zh
Publication of CN110298438A publication Critical patent/CN110298438A/zh
Application granted granted Critical
Publication of CN110298438B publication Critical patent/CN110298438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种神经网络模型的调整方法和调整装置。神经网络模型的调整方法包括在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测，从而有效提高神经网络模型的预测精度。

Description

神经网络模型的调整方法和调整装置
技术领域
本发明涉及神经网络模型的技术领域，具体涉及一种神经网络模型的调整方法和调整装置。
背景技术
基于神经网络模型的训练和预测方法在很多应用中取得了极大的成功，比如目标检测识别领域等。由于在神经网络模型进行训练过程中具备大量冗余的事实，通常采用神经网络定点化来大幅降低资源使用量。
然而，目前的神经网络模型进行训练后形成的定点化方案一旦确定就无法改变，因而会导致一些情况下预测结果精度降低。
发明内容
有鉴于此，本发明实施例为解决上述问题提供了一种神经网络模型的调整方法和调整装置，有效提高神经网络模型的预测精度。
在本发明实施例的第一方面，本发明实施例提供了一种神经网络模型的调整方法，包括：在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。
在本发明一实施例中，上述根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，包括：确定至少一个神经元的第二输出数据中的最大值；根据最大值对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案。
在本发明一实施例中，上述在对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案之后，调整方法还包括：量化第一定点化方案量化使得第一定点化方案的量化位宽为8比特。
在本发明一实施例中，上述根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，包括：确定第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位；将第一最高比特位修改为第二最高比特位；根据第二最高比特位修改第一定点化方案中的最低比特位以得到第二定点化方案，第二定点化方案的量化位宽为8比特。
在本发明一实施例中，上述对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案，包括：对至少一个神经元的第一输出数据进行统计分析以得到至少一个神经元的第一输出数据的有效位的信息；根据至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案。
在本发明一实施例中，神经网络模型的调整方法还包括：在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化以得到每层中权重参数对应的第三定点化方案。
在本发明一实施例中，训练样本和待预测数据包括图片、视频或图表数据。
在本发明一实施例中，神经网络模型包括卷积神经网络模型、深度神经网络模型或循环神经网络模型。
在本发明实施例的第二方面，本发明实施例提供了一种神经网络模型的调整装置，包括：定点化模块，用于在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；调整模块，用于在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。
在本发明实施例的第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机可执行指令，可执行指令被处理器执行时实现如本发明实施例的第一方面中的任一项所述的神经网络模型的调整方法。
根据本发明实施例提供的技术方案，通过在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测,从而有效提高神经网络模型的预测精度。
附图说明
图1是本发明一实施例提供的一种神经网络模型的调整方法的流程示意图。
图2是本发明另一实施例提供的一种神经网络模型的调整方法的流程示意图。
图3是本发明又一实施例提供的一种神经网络模型的调整方法的流程示意图。
图4是本发明一实施例提供的一种神经网络模型的调整装置的结构示意图。
图5是本发明一实施例提供的一种神经网络模型的调整系统的框图。
具体实施方式
下面将结合本发明实施例中所需要使用的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显而易见地，下面描述的附图仅是本发明一部分实施例，而不是全部的实施例。
需要说明的是，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有相关实施例，都属于本发明保护的范围。
还需要说明的是，本发明实施例中的“第一”、“第二”、“第三”等仅仅是为了彼此之间相互区分，并不用于限定具有固定的顺序，也不用于限定具有固定的数量。
本发明实施例中提供了一种神经网络模型的调整方法和调整装置，以下分别进行详细说明。
图1是本发明一实施例提供的一种神经网络模型的调整方法。如图1所示，该调整方法可以由服务器执行，该调整方法包括如下步骤。
S110：在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案。
具体而言，在利用训练样本对神经网络模型进行训练过程中，神经网络模型的多个层中每层有一个或多个神经元，每个神经元对应一个输出数据，服务器对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化，从而得到每层的至少一个神经元对应的第一定点化方案。
第一定点化方案可以为32位定点数，也可以为8位定点数，还可以为其他位的定点数；第一定点化方案中可包括符号位，也可不包括符号位，本发明实施例对第一定点化方案的具体定点数的位数以及是否包括符号位不做具体限定。
训练样本可以为图片，也可以为视频，还可以为输入的数据等，本发明实施例对此不做具体限定。
第一输出数据可以为一个，也可以为两个甚至多个，第一输出数据的数量与至少一个神经元的数量对应，本发明实施例对第一数据的数量和至少一个神经元的数量不做具体限定。
S120：在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。
具体而言，采用S110中训练好的神经网络模型，通过该训练好的神经网络模型对待预测数据进行预测过程中，服务器根据神经网络模型的多个层中的每层的至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。在一些实施例中，服务器根据神经网络模型的多个层中的每层的至少一个神经元的第二输出数据中的最大值，将至少一个神经元对应的第一定点化方案中的最大值调整为第二输出数据中的最大值以得到第二定点化方案；在另一些实施例中，服务器根据神经网络模型的多个层中的每层的至少一个神经元的第二输出数据中的最大值，将至少一个神经元对应的第一定点化方案中的数据范围调整至包括第二输出数据中的最大值，本发明实施例对如何根据至少一个神经元的第二输出数据中的最大值对至少一个神经元对应的第一定点化方案进行调整的方式不做具体限定。
待预测数据可以与训练样本属于同一类型，如均为含有猫的图片，也可以与训练样本不属于同一类型，如待预测数据为含有狗的图片，而训练样本为含有猫的图片，本发明实施例对此不做具体限定。
根据本发明实施例提供的技术方案，通过在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。本发明实施例中由于在通过神经网络模型对待预测数据进行预测时实时调整了第一定点化方案，从而避免了由于第一定点化方案固定而导致的预测结果精度降低的问题，使得神经网络模型的预测精度得到有效地提高。
图2是本发明另一实施例提供的一种神经网络模型的调整方法。该调整方法可以由服务器执行。图2是图1实施例的变型例。具体地，图2实施例中的步骤S111-S112为图1实施例中步骤110的变型步骤，步骤S121-S122为图1实施例中步骤120的变型步骤。
S111：在利用训练样本对神经网络模型进行训练过程中，对至少一个神经元的第一输出数据进行统计分析以得到至少一个神经元的第一输出数据的有效位的信息。
具体而言，服务器统计分析至少一个神经元的第一输出数据得到第一输出数据的有效位的信息，其中至少一个神经元为神经网络模型的多个层中的每层中所含有的神经元。例如，一个第一输出数据为32位的浮点数，其中首位为符号位，则该第一输出数据的有效位为31位；再例如，一个第一输出数据位16位的浮点数，该16位的浮点数中不包括符号位，则该第一输出数据的有效位为16位。由于第一输出数据的数量可以为一个，也可以为多个，因而需要对所有的第一输出数据进行统计分析以得到每个第一输出数据的有效位的信息。
S112：根据至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化得到至少一个神经元对应的第一定点化方案。
具体而言，服务器根据神经网络模型的多个层中的第一层的至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化得到第一层的至少一个神经元对应的第一定点化方案，服务器根据神经网络模型的多个层中的第二层的至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化得到第二层的至少一个神经元对应的第一定点化方案，神经网络模型的多个层中的其他层的至少一个神经元对应的第一定点化方案获得的方式与第一层、第二层的至少一个神经元对应的第一定点化方案获得的方式一致，此处不再赘述。
S121：在通过神经网络模型对待预测数据进行预测过程中，确定至少一个神经元的第二输出数据中的最大值。
具体而言，在通过神经网络模型对待预测数据进行预测过程中，服务器可通过统计分析神经网络模型的多个层中的每层的至少一个神经元的第二输出数据确定每层的至少一个神经元的第二输出数据的最大值。
第二输出数据的数量可以为一个，也可以为多个，本发明实施例对此不做具体限定。
S122：根据最大值对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案。
具体而言，服务器分别根据每层的至少一个神经元的第二输出数据的最大值对每层的至少一个神经元对应的第一定点化方案进行调整，从而得到每层的至少一个神经元对应的第二定点化方案。例如，服务器根据第一层的至少一个神经元的第二输出数据的最大值对第一层的至少一个神经元对应的第一定点化方案进行调整，从而得到第一层的至少一个神经元对应的第二定点化方案，服务器根据第二层的至少一个神经元的第二输出数据的最大值对第二层的至少一个神经元对应的第一定点化方案进行调整，从而得到第二层的至少一个神经元对应的第二定点化方案。
根据最大值对至少一个神经元对应的第一定点化方案进行调整的方式可以为将至少一个神经元对应的第一定点化方案中的最大值调整为第二输出数据中的最大值以得到第二定点化方案，也可以为将至少一个神经元对应的第一定点化方案中的数据范围调整至包括第二输出数据中的最大值，本发明实施例对此不做具体地限定。
根据本发明实施例提供的技术方案，通过在利用训练样本对神经网络模型进行训练过程中，对至少一个神经元的第一输出数据进行统计分析以得到至少一个神经元的第一输出数据的有效位的信息，并根据至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化，从而得到至少一个神经元对应的第一定点化方案，可充分利用每个第一输出数据的有效位的信息，提高对第一输出数据进行定点化的速度。另外，通过在通过神经网络模型对待预测数据进行预测过程中，确定至少一个神经元的第二输出数据中的最大值，根据最大值对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，从而使得每层的至少一个神经元对应的第二定点化方案中对应包含每层的至少一个神经元的第二输出数据的最大值，避免了由于第一定点化方案固定而导致的预测结果精度降低的问题，使得神经网络模型的预测精度得到有效地提高。
在本发明一实施例中，该调整方法还可包括步骤S210。
S210:在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化以得到每层中权重参数对应的第三定点化方案。
本发明实施例中，通过在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化，从而得到每层中权重参数对应的第三定点化方案，使得通过神经网络模型对待预测数据进行预测过程时，可直接结合每层中权重参数对应的第三定点化方案得到最终的预测结果。
在本发明一实施例中，训练样本和待预测数据包括图片、视频或图表数据。
训练样本可以为图片，也可以为视频，还可以为图表数据、语音等，待预测数据的类型与训练样本的类型可以保持一致，也可以不保持一致，本发明实施例对训练样本和待预测数据的类型不做具体限定。
在本发明一实施例中，神经网络模型包括卷积神经网络模型、深度神经网络模型或循环神经网络模型。
神经网络模型可以为卷积神经网络模型，也可以为深度神经网络模型，还可以为其他多层神经网络模型，如循环神经网络模型等，本发明实施例对此不做具体限定。
图3是本发明又一实施例提供的一种神经网络模型的调整方法。图3是图1实施例的变型例。具体地，图3实施例中除包括图1实施例中的步骤S110外，该调整方法还可包括如下步骤S310，另外，图3实施例中的步骤S123-S125为图1实施例中步骤120的变型步骤。
S310：量化第一定点化方案使得第一定点化方案的量化位宽为8比特。
具体而言，服务器将第一定点化方案量化为8位定点数，从而使得第一定点化方案的量化位宽为8比特。
量化的方法可以为将第一定点化方案中的定点数先转化成浮点数，然后统计将浮点数映射到8位比特区间；量化的方法也可以为直接采用第一定点化所采用的浮点数进行量化，使得第一定点化方案中的定点数为8位定点数，本发明实施例对此不做具体限定。
S123：在通过神经网络模型对待预测数据进行预测过程中，确定第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位。
例如，以神经网络模型的第一层为例，训练过程中，如果第一层的第一定点化方案的定点化结果为最低比特位为1、最高比特位为8，则确定第一层的第一定点化方案中的第一最高比特位为8；预测过程中，第一层的最大值如果为258，则最大值对应的第二最高比特位为9。确定神经网络模型的其他层的第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位的方式与确定上述举例的神经网络模型的第一层的第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位的方式类似，对此不再赘述。
确定第一定点化方案中的第一最高比特位可以是在第一定点化方案形成后即可获取的，并在通过神经网络模型对待预测数据进行预测过程中进行确定的，也可以是在通过神经网络模型对待预测数据进行预测过程中直接根据第一定点化方案获取并确定的，本发明实施例对此不做具体限定。
S124：将第一最高比特位修改为第二最高比特位。
例如，仍以神经网络模型的第一层为例，上述确定的第一层的第一定点化方案中的第一最高比特位为8，最大值对应的第二最高比特位为9，则将第一最高比特位修改为9。
S125：根据第二最高比特位修改第一定点化方案中的最低比特位以得到第二定点化方案，第二定点化方案的量化位宽为8比特。
例如，仍以神经网络模型的第一层为例，由于第一最高比特位已根据第二最高比特位修改为9，则修改第一定点化方案中的最低比特位为2。
根据本发明实施例提供的技术方案，通过量化第一定点化方案使得第一定点化方案的量化位宽为8比特，从而有效提高神经网络模型中数据的传输速度，同时有效减少对内存及存储资源的占用。另外，通过确定第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位，将第一最高比特位修改为第二最高比特位，并根据第二最高比特位修改第一定点化方案中的最低比特位以得到第二定点化方案，第二定点化方案的量化位宽为8比特，从而实现根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整，避免由于第一定点化方案固定而导致的预测结果精度降低的问题，从而有效提高神经网络模型的预测精度。
在本发明一实施例中，该调整方法还可包括步骤S210。
S210：在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化以得到每层中权重参数对应的第三定点化方案。
在本发明一实施例中，训练样本和待预测数据包括图片、视频或图表数据。
在本发明一实施例中，神经网络模型包括卷积神经网络模型、深度神经网络模型或循环神经网络模型。
图4是本发明另一实施例提供的一种神经网络模型的调整装置。如图4所示，该调整装置400包括：第一定点化模块410，用于在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；第一调整模块420，用于在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。
在本发明一实施例中，第一调整模块420包括：第一确定模块421，用于确定至少一个神经元的第二输出数据的最大值；第二调整模块422，用于根据最大值对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案。
在本发明一实施例中，该调整装置400还包括：量化模块430，用于量化第一定点化方案使得第一定点化方案的量化位宽为8比特。
在本发明一实施例中，第一调整模块420包括：第二确定模块423，用于确定第一定点化方案中的第一最高比特位和最大值对应的第二最高比特位；修改模块424，用于将第一最高比特位修改为第二最高比特位，并根据第二最高比特位修改第一定点化方案中的最低比特位以得到第二定点化方案，第二定点化方案的量化位宽为8比特。
在本发明一实施例中，第一定点化模块410包括：统计分析模块411，用于对至少一个神经元的第一输出数据进行统计分析以得到至少一个神经元的第一输出数据的有效位的信息；第二定点化模块412，用于根据至少一个神经元的第一输出数据的有效位的信息，对第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案。
在本发明一实施例中，神经网络模型的调整方法还包括：第三定点化模块440，用于在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化以得到每层中权重参数对应的第三定点化方案。
在本发明一实施例中，训练样本和待预测数据包括图片、视频或图表数据。
在本发明一实施例中，神经网络模型包括卷积神经网络模型、深度神经网络模型或循环神经网络模型。
根据本发明实施例提供的技术方案，通过设置第一定点化模块用于在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；第一调整模块用于在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测，从而有效避免了由于第一定点化方案固定而导致的预测结果精度降低的问题，并进一步提高预测结果的精度。
图5所示为本发明实施例的一种神经网络模型的调整系统500的框图。
参照图5，调整系统500包括处理组件510，其进一步包括一个或多个处理器，以及由存储器520所代表的存储器资源，用于存储可由处理组件510的执行的指令，例如应用程序。存储器520中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件510被配置为执行指令，以执行上述神经网络模型的调整方法。
调整系统500还可以包括一个电源组件被配置为执行调整系统500的电源管理，一个有线或无线网络接口被配置为将调整系统500连接到网络，和一个输入输出(I/O)接口。调整系统500可以操作基于存储在存储器520的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述调整系统500的处理器执行时，使得上述调整系统500能够执行一种神经网络模型的调整方法，包括在利用训练样本对神经网络模型进行训练过程中，对神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到至少一个神经元对应的第一定点化方案；在通过神经网络模型对待预测数据进行预测过程中，根据至少一个神经元的第二输出数据中的最大值，对至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，第二定点化方案用于对待预测数据进行预测。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再做过多描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种神经网络模型的调整方法，其特征在于，应用于目标检测识别，所述方法包括：
在利用训练样本对神经网络模型进行训练过程中，对所述神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到所述至少一个神经元对应的第一定点化方案；
在通过所述神经网络模型对待预测数据进行预测过程中，根据所述至少一个神经元的第二输出数据中的最大值，对所述至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，所述第二定点化方案用于对所述待预测数据进行预测；
其中，所述训练样本和所述待预测数据包括图片、视频或图表数据；
所述根据所述至少一个神经元的第二输出数据中的最大值，对所述至少一个神经元对应的第一定点化方案进行调整的方式包括：将所述至少一个神经元对应的第一定点化方案中的数据范围调整至包括所述第二输出数据中的最大值；
在对所述神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到所述至少一个神经元对应的第一定点化方案之后，所述调整方法还包括：
量化所述第一定点化方案使得所述第一定点化方案的量化位宽为8比特；
所述根据所述至少一个神经元的第二输出数据中的最大值，对所述至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，包括：
确定所述第一定点化方案中的第一最高比特位和所述最大值对应的第二最高比特位；
将所述第一最高比特位修改为所述第二最高比特位；
根据所述第二最高比特位修改所述第一定点化方案中的最低比特位以得到所述第二定点化方案，所述第二定点化方案的量化位宽为8比特。
2.如权利要求1所述的调整方法，其特征在于，所述对所述神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到所述至少一个神经元对应的第一定点化方案，包括：
对所述至少一个神经元的所述第一输出数据进行统计分析以得到所述至少一个神经元的第一输出数据的有效位的信息；
根据所述至少一个神经元的第一输出数据的有效位的信息，对所述第一输出数据进行定点化以得到所述至少一个神经元对应的第一定点化方案。
3.如权利要求1所述的调整方法，其特征在于，所述调整方法还包括：
在利用所述训练样本对神经网络模型进行训练过程中，对所述神经网络模型的多个层中的每层的至少一个神经元的权重参数进行定点化以得到每层中所述权重参数对应的第三定点化方案。
4.如权利要求1-3中任一项所述的调整方法，其特征在于，所述神经网络模型包括卷积神经网络模型、深度神经网络模型或循环神经网络模型。
5.一种神经网络模型的调整装置，其特征在于，应用于目标检测识别，所述装置包括：
定点化模块，用于在利用训练样本对神经网络模型进行训练过程中，对所述神经网络模型的多个层中的每层的至少一个神经元的第一输出数据进行定点化以得到所述至少一个神经元对应的第一定点化方案；
调整模块，用于在通过所述神经网络模型对待预测数据进行预测过程中，根据所述至少一个神经元的第二输出数据中的最大值，对所述至少一个神经元对应的第一定点化方案进行调整以得到第二定点化方案，所述第二定点化方案用于对所述待预测数据进行预测；
其中，所述训练样本和所述待预测数据包括图片、视频或图表数据；
所述根据所述至少一个神经元的第二输出数据中的最大值，对所述至少一个神经元对应的第一定点化方案进行调整的方式包括：将所述至少一个神经元对应的第一定点化方案中的数据范围调整至包括所述第二输出数据中的最大值；
所述调整装置还包括量化模块，用于量化所述第一定点化方案使得所述第一定点化方案的量化位宽为8比特；
所述调整模块包括：第二确定模块，用于确定所述第一定点化方案中的第一最高比特位和所述最大值对应的第二最高比特位；修改模块，用于将所述第一最高比特位修改为所述第二最高比特位，并根据所述第二最高比特位修改所述第一定点化方案中的最低比特位以得到所述第二定点化方案，所述第二定点化方案的量化位宽为8比特。
6.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至4中的任一项所述的神经网络模型的调整方法。
CN201910603830.6A 2019-07-05 2019-07-05 神经网络模型的调整方法和调整装置 Active CN110298438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603830.6A CN110298438B (zh) 2019-07-05 2019-07-05 神经网络模型的调整方法和调整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603830.6A CN110298438B (zh) 2019-07-05 2019-07-05 神经网络模型的调整方法和调整装置

Publications (2)

Publication Number Publication Date
CN110298438A CN110298438A (zh) 2019-10-01
CN110298438B true CN110298438B (zh) 2024-04-26

Family

ID=68030359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603830.6A Active CN110298438B (zh) 2019-07-05 2019-07-05 神经网络模型的调整方法和调整装置

Country Status (1)

Country Link
CN (1) CN110298438B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368857A (zh) * 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、系统及模型处理方法、设备、终端
CN108009625A (zh) * 2016-11-01 2018-05-08 北京深鉴科技有限公司 人工神经网络定点化后的微调方法和装置
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN108701250A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 数据定点化方法和装置
CN109214515A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种深度神经网络推理方法及计算设备
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688849B (zh) * 2017-07-28 2021-04-13 赛灵思电子科技(北京)有限公司 一种动态策略定点化训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009625A (zh) * 2016-11-01 2018-05-08 北京深鉴科技有限公司 人工神经网络定点化后的微调方法和装置
CN109214515A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种深度神经网络推理方法及计算设备
CN107368857A (zh) * 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、系统及模型处理方法、设备、终端
CN108701250A (zh) * 2017-10-16 2018-10-23 深圳市大疆创新科技有限公司 数据定点化方法和装置
CN108053028A (zh) * 2017-12-21 2018-05-18 深圳云天励飞技术有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法

Also Published As

Publication number Publication date
CN110298438A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN111950723B (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
CN110175641B (zh) 图像识别方法、装置、设备和存储介质
CN110874625B (zh) 一种数据处理方法及装置
CN109344893B (zh) 一种基于移动终端的图像分类方法
WO2021135715A1 (zh) 一种图像压缩方法及装置
WO2020065874A1 (ja) ネットワーク量子化方法、推論方法及びネットワーク量子化装置
CN111898578A (zh) 人群密度的获取方法、装置、电子设备及计算机程序
WO2023207039A1 (zh) 数据处理方法、装置、设备以及存储介质
CN113011210B (zh) 视频处理方法和装置
CN112101543A (zh) 神经网络模型确定方法、装置、电子设备及可读存储介质
CN110298438B (zh) 神经网络模型的调整方法和调整装置
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN116992946A (zh) 模型压缩方法、装置、存储介质和程序产品
CN112399177A (zh) 一种视频编码方法、装置、计算机设备及存储介质
CN116257885A (zh) 基于联邦学习的隐私数据通信方法、系统和计算机设备
CN114841339A (zh) 网络模型量化方法、装置、电子设备和存储介质
CN113887709A (zh) 神经网络自适应量化方法、装置、设备、介质和产品
CN114339252A (zh) 一种数据压缩方法及装置
CN111614358B (zh) 基于分通道量化的特征提取方法、系统、设备及存储介质
CN114897062A (zh) 目标检测方法、装置、电子设备、介质及产品
CN114139678A (zh) 卷积神经网络量化方法、装置、电子设备和存储介质
CN113850374A (zh) 神经网络模型的量化方法、电子设备及介质
CN110738313B (zh) 用于评估量化操作的方法、装置、设备和介质
CN112906883A (zh) 用于深度神经网络的混合精度量化策略确定方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant