CN116630632B - 图像分割模型的量化方法、装置和设备及计算机存储介质 - Google Patents
图像分割模型的量化方法、装置和设备及计算机存储介质 Download PDFInfo
- Publication number
- CN116630632B CN116630632B CN202310916069.8A CN202310916069A CN116630632B CN 116630632 B CN116630632 B CN 116630632B CN 202310916069 A CN202310916069 A CN 202310916069A CN 116630632 B CN116630632 B CN 116630632B
- Authority
- CN
- China
- Prior art keywords
- model
- target
- operator
- quantization
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 161
- 238000013139 quantization Methods 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 253
- 238000004364 calculation method Methods 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 72
- 230000011218 segmentation Effects 0.000 claims description 79
- 238000012360 testing method Methods 0.000 claims description 47
- 238000012216 screening Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 20
- 238000004590 computer program Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 14
- 238000007667 floating Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 8
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 7
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域,提供一种图像分割模型的量化方法、装置和设备及计算机存储介质,该方法包括:获取待部署设备的算力评估结果以及待量化模型;其中,算力评估结果用于指示待部署设备的运算性能,待量化模型用于实现图像分割;基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子,目标算子在待部署设备上的数据处理时长达到设定阈值;基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,量化算子在待部署设备上的数据处理时长小于期望处理时长;基于至少一个量化算子,将待量化模型转换为相应的目标模型。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种图像分割模型的量化方法、装置和设备及计算机存储介质。
背景技术
随着互联网技术的不断发展,各种图像分割模型已然可以实现更为精细且准确的图像分割效果。然而,这种效果的实现通常依赖于高昂的硬件成本,如果直接将这些模型应用在低成本的硬件设备上,则难以实现预期的效果。
例如,在某些图像识别过程中,需要首先对图像进行分割处理,然后再针对分割后的图像进行特征提取,以此实现图像的识别。这一过程耗费的算力过多,如果想要正常实现上述过程,需要承载这一过程的硬件具有较高的运算能力,如此,就导致高精度的图像识别难以在低成本的硬件设备上完成,降低了其普及应用的效率。
尤其是应用于虚拟现实(Virtual Reality,VR)设备的虹膜识别这一技术,由于虹膜识别过程中的图像分割步骤采用的分割算法大都部署于嵌入式系统,使得虹膜分割的实现通常需要高昂的硬件成本和复杂的软件设计。正因如此,当其部署于低成本的硬件设备时,设备执行虹膜分割这一步骤的耗时很高,难以达到期望中的实时效果。这导致了虹膜识别技术在低成本硬件设备的部署难以实现,进而阻碍了对其大规模应用的需求。
因此,如何提高图像分割模型在低成本硬件设备上的部署效果,是一个亟待解决的问题。
发明内容
本申请提供一种图像分割的方法、装置和设备及计算机存储介质,用以实现提高图像分割模型在低成本硬件设备上的部署效果。
第一方面,本申请提供一种图像分割模型的量化方法,该方法包括:
获取待部署设备的算力评估结果以及待量化模型;其中,算力评估结果用于指示待部署设备的运算性能,待量化模型用于实现图像分割;
基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子,目标算子在待部署设备上的数据处理时长达到设定阈值;
基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,量化算子在待部署设备上的数据处理时长小于期望处理时长;
基于至少一个量化算子,将待量化模型转换为相应的目标模型。
第二方面,本申请提供一种图像分割模型的量化装置,该装置包括:
获取模块,用于获取待部署设备的算力评估结果以及待量化模型;其中,算力评估结果用于指示待部署设备的运算性能,待量化模型用于实现图像分割;
筛选模块,用于基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子,目标算子在待部署设备上的数据处理时长达到设定阈值;
量化模块,用于基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,量化算子在待部署设备上的数据处理时长小于期望处理时长;基于至少一个量化算子,将待量化模型转换为相应的目标模型。
在一种可能的实施方式中,量化模块用于基于至少一个量化算子,将待量化模型转换为相应的目标模型时,具体用于:
基于至少一个量化算子,以及待量化模型中除至少一个目标算子以外的其它算子,构建对应的中间模型;
基于算力评估结果以及目标模型对应的总期望处理时长,确定目标模型对应的目标精度;
基于目标精度,对中间模型的模型精度进行调整,获取对应的目标模型。
在一种可能的实施方式中,量化模块用于基于目标精度,对中间模型的模型精度进行调整,获取对应的目标模型时,具体用于:
基于目标精度,对中间模型的模型精度进行调整,获取对应的待校准模型;
获取样本集合,样本集合中的每个样本均包括样本分割图像以及对应的样本分割结果;
将待校准模型设置于与待部署设备的硬件参数相同的运行环境,获取待校准模型对样本分割图像进行图像分割处理后的测试分割结果,以及待校准模型完成图像分割处理的图像分割时长;
基于测试分割结果与样本分割结果之间的误差,以及图像分割时长与总期望处理时长之间的误差,对待校准模型进行模型参数调整,获取对应的目标模型。
在一种可能的实施方式中,获取模块用于获取待部署设备的算力评估结果时,具体用于:
基于多个随机数据,对待部署设备进行数据处理测试,并获取待部署设备进行数据处理测试所需的测试处理时长;
基于测试处理时长以及多个随机数据对应的数据量,获取待部署设备对应的算力评估结果。
在一种可能的实施方式中,筛选模块用于基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子时,具体用于:
基于算力评估结果,获取待量化模型中包含的各算子在待部署设备中进行数据处理时各自对应的数据处理时长;
基于数据处理时长以及设定阈值,从各算子中筛选出至少一个目标算子。
在一种可能的实施方式中,量化模块用于基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子时,具体用于:
基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,获取至少一个目标算子对应的量化参数;
基于量化参数以及至少一个目标算子对应的精度,对至少一个目标算子进行量化处理,获取对应的量化算子;其中,量化算子对应的精度与目标算子对应的精度之间的误差小于预设范围。
在一种可能的实施方式中,装置还包括处理模块,在获取目标模型之后,处理模块用于:
将目标模型设置于与待部署设备的硬件参数相同的运行环境;
基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果。
在一种可能的实施方式中,目标模型对应的模型精度为预设精度;
则处理模块用于基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果时,具体用于:
基于预设精度,对待分割虹膜图像对应的图像精度进行调整,获取对应的中间图像,其中,中间图像的图像精度与预设精度对应;
基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对中间图像进行图像分割处理,获取对应的中间分割结果;
基于待分割虹膜图像对应的图像精度,对中间分割结果进行精度调整,获取对应的虹膜图像分割结果;其中,虹膜图像分割结果对应的图像精度与待分割虹膜图像对应的图像精度相同。
第三方面,本申请提供了一种电子设备,其包括处理器和存储器,其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器实现上述任意一种图像分割模型的量化方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其包括程序代码,当程序代码在电子设备上运行时,程序代码用于使电子设备执行述任意一种图像分割模型的量化方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任意一种图像分割模型的量化方法的步骤。
本申请有益效果如下:
本申请实施例提供了一种图像分割模型的量化方法、装置和设备及存储介质,该方法包括:获取待部署设备的算力评估结果,根据该算力评估结果确定待量化模型在待部署设备上的运行情况,从而有针对性地对待量化模型中的各个算子进行量化处理,以此得到数据处理时长满足要求的量化算子,如此,以算子作为量化粒度,降低了量化模型时的运算次数,提高了相应的量化效率。并且,根据这些量化算子构建相应的目标模型,确保了目标模型在待部署设备上运行时,处理图像分割任务的时长能够有效地降低至总期望处理时长,提高了其部署在低成本硬件上的部署效果,能够有效地提高图像分割模型在低成本设备上的普及性。
在量化模型的过程中,可以基于预设精度的要求,对模型的精度进行调整,将模型的精度调整为与待部署设备的算力相匹配的程度,进一步地提高了目标模型在待部署设备上的部署效果。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1A为本申请实施例提供的一种图像分割示意图;
图1B为本申请实施例提供的一种可能的应用场景示意图;
图2为本申请实施例提供的一种图像分割模型的量化方法的流程图;
图3为本申请实施例提供的一种获取算力评估结果的方法的流程图;
图4为本申请实施例提供的一种算力评估结果获取的示意图;
图5为本申请实施例提供的一种目标算子筛选方法的示意图;
图6为本申请实施例提供的另一种目标算子筛选方法的示意图;
图7为本申请实施例提供的一种目标算子筛选方法的流程图;
图8为本申请实施例提供的一种调整模型精度的方法的流程图;
图9为本申请实施例提供的一种调整模型精度的方法的示意图;
图10A为本申请实施例提供的一种训练待校准模型的方法的流程图;
图10B为本申请实施例提供的一种训练待校准模型的示意图;
图11为本申请实施例提供的一种图像分割方法的流程图;
图12为本申请实施例提供的一种图像分割方法的示意图;
图13A为本申请实施例提供的一种图像分割方法的流程图;
图13B为本申请实施例提供的一种图像分割方法的示意图;
图14为本申请实施例提供的一种图像分割模型的量化方法流程图;
图15为本申请实施例提供的一种图像分割模型的量化方法的示意图;
图16为本申请实施例提供的一种图像分割模型的量化装置的结构示意图;
图17为本申请实施例中一种电子设备的一个硬件组成结构示意图;
图18为本申请实施例中另一种电子设备的一个硬件组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
可以理解的是,在本申请的下述具体实施方式中,涉及到样本图像等相关的数据,当本申请的各实施例运用到具体产品或技术中时,需要获得相关许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,在需要获得相关的数据时,可以通过招募相关志愿者并签署志愿者授权数据的相关协议,进而可以使用这些志愿者的数据进行实施;或者,通过在已授权允许的组织内部范围内进行实施,通过采用组织内部成员的数据实施下述的实施方式来向内部成员进行相关识别;或者,具体实施时所采用的相关数据均为模拟数据,例如可以是虚拟场景中产生的模拟数据。
为便于理解本申请实施例提供的技术方案,这里先对本申请实施例使用的一些关键名词进行解释:
图像分割: 一种典型的计算机视觉问题,其涉及将一些原始数据(例如,平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。如图1A所示,在对具有不同类别图像的原始图像a进行图像分割时,如果限定需要重点突出的类别为车辆类别,那么在经过图像分割模型的处理后,得到的图像分割结果中即可如分割结果b所示,在全景图像中重点突出两个车辆的轮廓。
算子(Operator,OP):为深度学习算法的一个个计算单元。在神经网络模型中,算子对应层中的计算逻辑,例如:卷积层(Convolution Layer)是一个算子;全连接层(Fully-connected Layer,FC layer)中的权值求和过程,是一个算子。
每秒钟浮点运算次数(GFLOPS):亦称每秒峰值速度,即每秒所运行的浮点运算次数。浮点指的是带有小数的数值,浮点运算即是小数的四则运算,常用来测量电脑运算速度或被用来估算电脑性能,尤其是在使用到大量浮点运算的科学计算领域中。
浮点运算次数(Floating Point Operations,FLOPs):可以用于测量模型/算法的复杂程度。
下面对本申请实施例的设计思想进行简要介绍:
随着互联网技术的发展,越来越多的网络模型可以实现精度更高的技术效果,例如,图像识别模型可以更加精准地从多个图像中识别到目标图像,图像分割模型可以更加准确地实现图像分割的效果。然而,这些技术效果的实现,目前还依托于高昂的硬件成本,如果直接将这些网络模型应用在低成本的硬件上,则难以实现预期的效果。
例如,在某些图像识别过程中,需要首先对图像进行分割处理,然后再针对分割后的图像进行特征提取,以此实现图像的识别。这一过程耗费的算力过多,如果想要正常实现上述过程,需要承载这一过程的硬件具有较高的运算能力,如此,就导致高精度的图像识别难以在低成本的硬件设备上完成,降低了其普及应用的效率。
尤其是应用于虚拟现实(Virtual Reality,VR)设备的虹膜识别这一技术,由于虹膜识别过程中的图像分割步骤采用的分割算法大都部署于嵌入式系统,使得虹膜分割的实现通常需要高昂的硬件成本和复杂的软件设计。正因如此,当其部署于低成本的硬件设备时,设备执行虹膜分割这一步骤的耗时很高,难以达到期望中的实时效果。这导致了虹膜识别技术在低成本硬件设备的部署难以实现,进而阻碍了对其大规模应用的需求。
有鉴于此,本申请实施例提供了一种图像分割模型的量化方法,用以提高图像分割模型在低成本硬件设备上的部署效果。
该方法通过首先对计划要部署图像分割模型的待部署设备进行算力评估,得到用于指示该待部署设备的运算性能的算力评估结果,并获取一个用于实现图像分割的待量化模型;如此,即可基于针对待部署设备的算力评估结果,从待量化模型所包含的各算子中,选出至少一个在待部署设备上的数据处理时长达到设定阈值的目标算子,并基于目标算子的数据处理时长与其对应的期望处理时长之间的差距,对目标算子进行量化处理,从而获取对应的量化算子;然后,再根据这些量化算子,将待量化模型转换为相应的目标模型。这样,针对待量化模型中的各个算子进行量化处理后,得到的目标模型在待部署设备上进行图像分割时的处理时长即可满足期望要求,有效地提高了其在低成本硬件设备上的部署效果。
进一步的,在针对各个算子进行量化处理后,可以基于这些量化算子以及待量化模型中的其它算子,构建对应的中间模型;并且,根据算力评估结果以及目标模型对应的总期望处理时长,确定目标模型应该对应的目标精度,如此,基于该目标精度,即可对中间模型对应的模型精度进行调整,使得其模型精度与目标精度相同,从而获取在待部署设备上完成图像分割任务的处理时长满足总期望处理时长的目标模型。
同时,在完成中间模型的精度转换后,还可以将该完成精度转换后的待校准模型设置于与待部署设备的硬件参数相同的运行环境中,并基于一些样本分割图像以及样本分割结果,对该待校准模型进行模型参数调整,从而使得调参后的目标模型可以兼顾图像分割的准确性及效率。
在本申请实施例中,获取待量化模型、量化算子以及调整模型参数的部分,涉及人工智能(Artificial Intelligence,AI)、计算机视觉技术(Computer Vision, CV)、以及机器学习(Machine Learning,ML)技术,是基于人工智能中的图像分割技术和机器学习而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中,预训练模型又称大模型、基础模型,经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。大模型技术为计算机视觉技术发展带来重要变革,swin-transformer,ViT,V-MOE,MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果,融合了以上技术。
下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的方案可以适用于大多数部署图像分割模型的场景中,例如适用于人脸识别过程中图像分割的场景,又例如,适用于VR设备中虹膜识别过程中的虹膜分割场景等。
参见图1B,为本申请实施例提供的一种可能的应用场景示意图,在该场景中,可以包括终端设备101以及服务器102。
终端设备101可以是手机、平板电脑(PAD)、个人计算机(Personal computer,PC)、车载终端等设备,也可以是照相机、摄像机、行车记录仪等设备,还可以是VR眼镜、智能手表等可穿戴设备。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102可以包括一个或多个处理器1021、存储器1022以及与终端交互的I/O接口1023等。此外,服务器102还可以配置数据库1024,数据库1024可以用于存储待分割图像、图像分割结果、样本集合、待量化模型的模型参数以及目标模型的模型参数等。其中,服务器102的存储器1022中还可以存储本申请实施例提供的图像模型的量化方法的程序指令,这些程序指令被处理器1021执行时能够用以实现本申请实施例提供的图像模型的量化方法的步骤,以获得目标模型以及图像分割结果等,在终端设备101上则可以对应地实现目标模型的部署或是展示目标模型效果等。
终端设备101和服务器102之间可以通过一个或者多个通信网络103进行直接或间接的通信连接。该通信网络103可以是有线网络,也可以是无线网络,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(Wireless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本申请实施例对此不做限制。
需要说明的是,本申请实施例中的图像模型的量化方法可以由计算机设备执行,该计算机设备可以是终端设备101或者是服务器102,即,该方法可以由终端设备101或者服务器102单独执行,也可以由终端设备101和服务器102共同执行。
例如,由服务器102单独执行本方法时,服务器102可以获取对应的待量化模型以及待部署设备的算力评估结果,从而基于待量化模型和算力评估结果,对待量化模型进行目标算子的筛选,以及目标算子的量化,进而得到目标模型。
又例如,由终端设备101单独执行本方法时,可能出现终端设备为待部署设备以及终端设备不是待部署设备两种情况,如此,在由终端设备执行该方法时,可以分为直接获取自身的算力评估结果,以及从其它终端设备获取其算力评估结果两种,而其他执行方法则同服务器执行类似。
又例如,本方法还可以由终端设备101与服务器102共同执行以完成。其中,终端设备可以向服务器提供样本集合或是待分割图像或是算力评估结果,而服务器则可以根据获取到的算力评估结果以及待量化模型,对待量化模型中的目标算子进行量化处理,进而获取对应的目标模型。
需要说明的是,图1B所示只是举例说明,实际上终端设备和服务器的数量和通信方式均不受限制,在本申请实施例中不做具体限定。
下面结合上述描述的应用场景,参考附图来描述本申请示例性实施方式提供的图像分割模型的量化方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
参见图2,为本申请实施例提供的一种图像分割模型的量化方法的流程图。为便于说明,后续均以服务器为该方法的执行主体进行方法介绍。该方法具体的操作步骤如下:
S201:获取待部署设备的算力评估结果以及待量化模型;其中,算力评估结果用于指示待部署设备的运算性能,待量化模型用于实现图像分割。
具体的,服务器在执行图像分割模型的量化方法时,首先需要获取的就是待量化的图像分割模型(以下简称为待量化模型),以及该待量化模型将要被部署设备的算力评估结果。其中,对于待量化模型的获取,可以采取以下几种不同的方式。
示例性的,服务器可以在执行量化方法之前,基于卷积神经网络,直接训练得到一个能够进行图像分割的图像分割模型,作为后续的待量化模型;其中,该图像分割模型训练过程中,模型收敛条件可以根据使用者的需求进行设定,本申请对此不做限定。在模型训练过程后,得到的图像分割模型其自身可以直接用于图像分割,且其图像分割的准确性及效率也可以达到十分优秀的结果。而这种效果达成的前提是,图像分割模型运行在成本较高的硬件设备上,如果期望该图像分割模型能够有效地运行在低成本硬件上时,则需要服务器对该图像分割模型执行如本申请实施例所提供的图像分割模型的量化方法。
又例如,服务器可以直接获取一些已经完成训练的图像分割模型,如果确定这些已经完成训练且能够直接及图像分割的模型在低成本硬件上的运行所耗费的时长同样较长,服务器可以对其执行如本申请实施例所提供的图像分割模型的量化方法。
在以上述不同给的方式获取图像分割模型后,如果要对其执行量化方法,则均简称这些模型为待量化模型。
由于不同的设备对应的硬件参数不同,因此,如果期望待量化模型在不同的待部署设备上均有良好的表现,那么服务器就需要针对不同的待部署设备的硬件参数,对待量化模型进行不同的量化处理,从而才能实现在不同的设备上均达到良好的技术效果。以下则以某一个待部署设备为例,介绍如何针对待部署设备,对待量化模型进行量化处理。
在完成待量化模型的获取后,服务器需要对待部署设备的运算能力进行评估。
可选的,在获取某一个待部署设备的算力评估结果时,可以对其执行如图3所示的处理方法。
参见图3,为本申请实施例提供的一种获取算力评估结果的方法的流程图,如图3所示,该方法具体执行步骤如下:
步骤S301:基于多个随机数据,对待部署设备进行数据处理测试,并获取待部署设备进行数据处理测试所需的测试处理时长。
步骤S302:基于测试处理时长以及多个随机数据对应的数据量,获取待部署设备对应的算力评估结果。
具体的,在服务器需要对待部署设备进行算力测试时,重点需要测试的就是该硬件设备的中央处理器(Central Processing Unit,CPU)算力,其具体测试的目标即为获取该待部署设备的每秒钟浮点运算次数。
基于此,服务器在进行算力评估结果的获取时,即可采用矩阵乘法的形式,完成对其的数据处理测试。其中,矩阵乘法是一种较为常见的数学运算,可以用于图像处理、信号处理、机器学习等领域。由于矩阵乘法的计算量随矩阵的扩大而又较大的提升,因此,可以使用矩阵乘法来测试CPU的浮点运算性能。
示例性的,如图4所示,在对某一待部署设备进行数据处理测试时,可以首先生成两个大小不同的随机矩阵。这两个随机矩阵的大小可以是预设的大小,也可以是随机生成的大小,本申请对此不做限制,服务器只需要记录下这两个随机矩阵分别对应的矩阵大小即可。
假设这两个随机矩阵为随机矩阵A与随机矩阵B,那么,在获取到这两个矩阵后,服务器即可基于待部署设备的硬件环境,针对随机矩阵A与随机矩阵B进行乘法运算,从而得到矩阵C。
需要说明的是,基于待部署设备的硬件环境进行矩阵运算可以采用两种方式。其中之一可以是,服务器直接指示待部署设备进行矩阵运算,从而获取对应的矩阵C,以及采集相关的计算数据。如此,服务器可以充分收集到待部署设备的相关运算性能,获取更加真实的算力评估结果。
又或者,服务器也可以在服务器内部,基于待部署设备的硬件参数,对待部署设备进行仿真,从而直接在服务器内部进行针对待部署设备相关的矩阵乘法计算,进而得到相关的计算数据。如此,针对待部署设备的数据处理测试无需受限于某一个具体的待部署设备的限制,服务器可以直接获取相对较为普适的算力评估结果,不会被某个待部署设备单独存在的缺陷而影响对这一类型设备的整体评估结果。
在服务器获取生成的矩阵C的同时,服务器还需要收集该矩阵乘法的计算时长,从而使得服务器可以根据随机矩阵A与随机矩阵B的大小,以及待部署设备完成矩阵计算的总的测试处理时长,计算该待部署设备的每秒钟浮点运算次数;然后服务器即可将该每秒钟浮点运算次数作为该待部署设备对应的算力评估结果。
可选的,为了避免因随机生成的矩阵可能具有的特殊性,在对待部署设备进行数据处理测试时,可以适当的增加对其测试的次数,并将多次测试的结果进行算术平均或是其他统计处理后,将得到的统计结果作为待部署设备对应的算力评估结果,如此,避免了偶然出现的结果造成的不良影响。
通过对待部署设备的运算能力进行测试,在得到该待部署设备的算力评估结果后,服务器即可基于该算力评估结果,对待量化模型的量化方向进行限定。
步骤S202:基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子,该目标算子在待部署设备上的数据处理时长达到设定阈值。
待量化模型中包含的各种运算单元即为步骤S202所述的算子,因此,对于一个模型而言,不同的算子完成其运算过程所需要耗费的计算量是不同的。
基于此,针对待部署设备可以提供的GFLOPS,不同的算子在同一个待部署设备上完成数据处理的时长的是不同的,而这些算子累计消耗的数据处理时长即为整个待量化模型在待部署设备上完成一次图像分割处理所需要耗费的处理时长。
因此,当需要某个待量化模型的总数据处理时长能够大于开发人员设置的总期望处理时长时,服务器可以针对待量化模型中包含的不同算子进行针对性的处理。
示例性的,如图5所示,服务器可以分别统计各个算子在待部署设备上完成数据处理时对应的数据处理时长,然后从若干数据处理时长中选取出耗费时长超过某一阈值的目标算子,针对这些目标算子进行量化处理。
又例如,如图6所示,服务器可以为待量化模型包含的各个算子分别设定期望处理时长,如此,当各算子中存在其在待部署设备上的数据处理时长超过其对应的设定阈值时,服务器即可从这若干算子中选择出这些数据处理时长超过期对应的期望处理时长的目标算子,并针对这些目标算子进行量化处理。
具体的,服务器可以通过执行如图7所示的筛选方法以实现目标算子的筛选。参见图7,为本申请实施例提供的一种目标算子筛选方法的流程图,如图7所示,该方法具体实施步骤如下:
步骤S701:基于算力评估结果,获取待量化模型中包含的各算子在待部署设备中进行数据处理时,各自对应的数据处理时长。
其中,服务器可以直接根据待部署设备的算力评估结果(即每秒钟浮点运算次数),以及待量化模型中包含的各算子完成计算所需的计算量,计算出各算子所需耗费的数据处理时长。或者,服务器也可以根据待部署设备的算力评估结果,在服务器中进行仿真运算,直接收集待量化模型包含的各算子对应的数据处理时长,本申请对此不做限制。
步骤S702:基于各数据处理时长以及设定阈值,从各算子中筛选出至少一个目标算子。
其中,设定阈值的配置,既可以是开发人员基于其预先期望的处理时长单独针对每个算子进行配置的,也可以是服务器基于开发人员期望的总期望处理时长,直接为待量化模型中的各算子分配的,本申请对此不做限制。
而在获取到各个算子对应的数据处理时长以及对应的设定阈值后,服务器即可从各个算子中筛选出,数据处理时长超出其对应的设定阈值的至少一个目标算子。
在完成目标算子的筛选后,服务器即可对这些目标算子执行以下操作:
步骤S203:基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,该量化算子在待部署设备上的数据处理时长小于期望处理时长。
需要说明的是,在步骤S203中提出的期望处理时长的数值可以与步骤S202中的设定阈值的数值相等,如此,在量化处理后得到的量化算子在后续的重筛查过程中,即可避免被重新确定为目标算子。或者,在期望处理时长对应的数值也可以小于设定阈值对应的数值,如此,量化处理后得到的量化算子完成数据处理的耗费的时长将更短,而整个模型完成图像分割过程的总时长也可以更短,这样更加提高了图像分割模型在低成本硬件设备上的部署效果。
可选的,在对各个目标算子进行量化处理时,服务器还可以采取如下方式实现对其的量化处理效果。
具体的,服务器可以基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,获取至少一个目标算子对应的量化参数。
其中,目标算子对应的量化参数中可以包括量化因子或者偏置值等参数,如此,针对目标算子进行的量化处理即可是针对目标算子中的部分参数进行调整,使得目标算子完成数据处理的时长小于期望处理时长。
又或者,针对目标算子的量化处理可以是采用结构不同但作用相同的算子对目标算子进行替换,使得替换后的算子完成目标算子所处理的运算的时长满足期望处理时长的需求。
然后,基于这些量化参数以及至少一个目标算子对应的精度,对至少一个目标算子进行量化处理,获取对应的量化精度;量化算子对应的精度与目标算子对应的精度之间的误差小于预设范围。
对目标算子进行量化处理时,可以选择采用不同的量化处理方法,如,线性量化方法、非线性量化方法或者对称量化方法等,本申请对此不做限制,只需在量化处理过程中,以量化算子的精度与目标算子的精度之间的误差小于预设范围即可。而预设范围的限定则可以通过开发人员直接确定,或者是根据服务器在训练过程中得到的参数进行配置。
步骤S204:基于至少一个量化算子,将带量化模型转换为相应的目标模型。
在完成上述量化算子的获取后,服务器即可根据获取到的量化算子,对待量化模型进行流处理,从而将待量化模型转换为相应的目标模型。
在本方案中,通过对待部署设备进行算力测试,从而获取对应的算力评估结果,并基于该算力评估结果,确定待量化模型在待部署设备上的运行情况,从而有针对性地,对待量化模型中的各个算子进行量化处理,以获得对应的目标模型,降低其在待部署设备上的运行时长,提高其在待部署设备上的部署效果,并降低目标模型的普及难度。
可选的,在基于量化算子将待量化模型转化为相应的目标模型时,服务器可以具体执行如下操作,以进一步降低目标模型在待部署设备进行图像分割时所需的处理时长。
参见图8,为本申请实施例提供的一种调整模型精度的方法的流程图,如图8所示,该方法具体实施步骤如下:
步骤S801:基于至少一个量化算子,以及待量化模型中除至少一个目标算子以外的其它算子,构建对应的中间模型。
在服务器完成对目标算子的量化处理后,服务器即可将这些获取到的量化算子,以及待量化模型中原来就包含的数据处理时长未超出对应的设定阈值的量子,共同构建为中间模型。
为了进一步地降低目标模型在待部署设备上处理图像分割过程的时间,服务器还可以降低模型对应的模型精度(如降低模型所处理数据的精度),以此来减少模型进行图像分割时的运算次数,从而降低模型的数据处理时长。
步骤S802:基于算力评估结果以及目标模型对应的总期望处理时长,确定目标模型对应的目标精度。
步骤S803:基于目标精度,对中间模型的模型精度进行调整,获取对应的目标模型。
具体的,如图9所示,服务器需要首先确定期望目标模型所达到的模型精度,而该确定过程,即可根据待部署设备对应的算力评估结果以及目标模型对应的总期望处理时长确定。
例如,确定待部署设备的运算性能是否十分不足,以至如果想要目标模型的总数据处理时长达到对应的总期望处理时长,则需要将原来可能的浮点数(floating point ,FP)32精度转换为整形数(INT)8的精度。又例如,确定了待部署设备的算力足以使得其在总期望处理时长内完成较高精度的数据处理时,此时服务器即可将原来的FP32精度的模型精度,转换为FP16精度,如此,在保留了一定的计算精度的情况下,也可以充分利用待部署设备的运算性能,降低性能空置的可能性。
可选的,在完成对中间模型的精度调整后,服务器还可以基于调整精度后的待校准模型,进行一次模型训练,以此兼顾该目标模型在待部署设备上进行图像分割时的准确性与耗时。
参见图10A,为本申请实施例提供的一种训练待校准模型的方法的流程图,如图10A所示,该方法具体实施步骤如下:
步骤S1001:获取样本集合,其中样本集合中的每个样本均包括样本分割图像以及对应的样本分割结果。
该样本集合中样本分割图像对应的样本分割结果可以由待量化模型进行图像分割处理后得到的图像分割结果。如此,在进行后续的训练时,使用该样本分割结果作为标签进行训练,可以最大程度地保证训练后的待校准模型得到的图像分割结果可以与最初的待量化模型之间的分割结果保持对应。
步骤S1002:将待校准模型设置于与待部署设备的硬件参数相同的运行环境,获取待校准模型对样本分割图像进行图像分割处理后的测试分割结果,以及待校准模型完成图像分割处理的图像分割时长。
在进行对待校准模型的训练之前,首先需要将该待校准模型设置于与待部署设备的硬件参数相同的运行环境中。而为了确保模型训练的收敛效率,服务器可以自行创建仿真环境,使得该环境与待部署设备的运行环境相同,然后再在该仿真环境中,对待校准模型进行训练,使得待校准模型对样本分割图像进行分割处理,得到相应的测试分割结果,并同时获取该待校准模型完成图像分割处理对应的图像分割时长。
步骤S1003:基于测试分割结果与样本分割结果之间的误差,以及图像分割时长与总期望处理时长之间的误差,对待校准模型进行模型参数调整,获取对应的目标模型。
如图10B所示,在一轮的训练过程中,服务器可以根据获取到的某一个样本分割图像对应的测试分割结果与样本分割结果之间的损失值,以及待校准模型在处理该样本分割图像时耗费的图像分割时长与该待校准模型对应的总期望处理时长之间的误差,对待校准模型进行模型参数调整,以此完成对该待校准模型的一轮训练。
如此,通过如上所述的多轮训练后,服务器即可得到模型整体能够同时兼顾图像分割准确度以及图像分割效率的目标模型。
以上介绍了目标模型的获取过程,而在服务器完成对目标模型的获取后,服务器即可利用该目标模型完成其在待部署设备上的部署以及图像处理。例如,服务器可以将目标模型部署于VR设备中,以专门用于虹膜识别时的虹膜分割过程,或者,服务器也可以将其部署在低成本的手机中,实现人脸识别时的人脸图像分割过程。
参见图11,为本申请实施例提供的一种图像分割方法的流程图,该方法具体实施步骤如下:
步骤S1101:将目标模型设置于与待部署设备的硬件参数相同的运行环境。
需要说明的是,在将目标模型进行部署时,其部署对象不仅仅只局限于待部署对象一个设备,而是可以部署在与该待部署对象硬件参数相同的其它设备中,也可以直接部署在虚拟机中,本申请对此不做限制。
步骤S1102:在服务器完成对目标模型的部署后,即可基于目标模型中的至少一个量化算子以及待量化模型中除了至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果。
如图12所示,在完成对目标模型的部署后,目标模型在对虹膜图像进行分割处理时,即可基于其自身包含的进行量化处理后的量化算子,以及无需进行量化处理的,除目标算子以外的其它算子,对待分割的虹膜图像进行图像分割处理,从而获取对应的虹膜图像分割结果。
如此,降低了在待部署设备上执行虹膜图像分割的处理时长,确保了虹膜识别在低成本设备上的实施效果,使得虹膜识别技术可以较为普及的在低成本硬件设备上进行应用推广。
为了进一步地降低虹膜图像分割的处理时长,还可以使得目标模型的精度为预设精度,此时,该预设精度可以是如上所述的INT8精度或者是FP16精度,如此,该精度的目标模型在进行图像分割时,所需处理时长即可进一步降低。
而为了匹配这样的模型精度,对于输入至该目标模型的图像,还可以提前对其进行适应性的精度调整,以此来确保输入模型的数据与模型的精度之间的匹配。
参见图13A,为本申请实施例提供的一种图像分割方法的流程图,如图13A所示,该方法具体实施步骤如下:
步骤S1301:基于预设精度,对待分割虹膜图像对应的图像精度进行调整,获取对应的中间图像,该中间图像的图像精度与预设精度对应。
预设精度即为目标模型对应的模型精度,因此,当预设精度为INT8时,服务器即需要将待分割虹膜图像的图像精度,从可能得FP32精度或者FP16精度,调整为对应的INT8精度,如此,才可以将其输入至目标模型中进行图像分割处理。
步骤S1302:基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对中间图像进行图像分割处理,获取对应的中间分割结果。
此时,预设精度的目标模型在对预设精度的待分割虹膜图像进行图像分割处理后,得到的中间分割结果的精度同样为预设精度。然而,该具有预设精度的中间分割结果,由于图像精度的不匹配,并不能直接作为原本的、具有高精度的待分割虹膜图像对应的图像分割结果,因此,服务器还需执行如下操作,才可以输出最后的虹膜图像分割结果。
步骤S1303:基于待分割虹膜图像对应的图像精度,对中间分割结果进行精度调整,获取对应的虹膜图像分割结果;其中,虹膜图像分割结果对应的图像精度与待分割虹膜图像对应的图像精度相同。
在通过目标模型完成对待分割图像的低精度分割处理后,服务器还可以对得到的低精度中间分割结果进行反量化处理,例如,可以将低精度的INT8精度的结果反量化为FP32精度或者FP16精度的结果。如此,可以提高虹膜图像分割结果的精度与可读性,并且可以匹配后续图像处理过程的精度要求,提高了本方案的可实施性。
如图13B所示,图像精度为FP32的待分割虹膜图像可以首先进行精度转换,得到图像精度为INT8的中间图像后,将该中间图像输入至目标模型,然后得到对应的精度为INT8的中间分割结果,最后将该INT8精度的中间分割结果,转换为精度为FP32精度的虹膜图像分割结果。
以上分别介绍了本申请实施例提供的针对图像模型进行量化的过程以及其一些可能的实施方式,为了更加明晰上述各种方案的以下通过将上述各方式进行一种可能的组合后得到的方案,对该量化过程进行介绍。
参见图14,为本申请实施例提供的一种图像分割模型的量化方法流程图,该方法具体实施步骤如下:
步骤S1401:获取待量化模型以及确定需要部署该待量化模型的待部署设备。
步骤S1402:基于多个随机数据对待部署设备进行数据处理测试,并获取待部署设备完成数据处理测试所需的测试处理时长。
步骤S1403:基于测试处理时长以及随机数据的数据量,确定待部署设备的算力评估结果。
步骤S1404:基于算力评估结果,筛选出待量化模型中包含的至少一个目标算子,其中,该目标算子在待部署设备上的数据处理时长达到设定阈值。
步骤S1405:基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,量化算子在待部署设备上的数据处理时长小于期望处理时长。
步骤S1406:基于至少一个量化算子,以及待量化模型中除至少一个目标算子以外的其它算子,构建对应的中间模型。
步骤S1407:基于算力评估结果以及目标模型对应的总期望处理时长,确定目标模型对应的目标精度。
步骤S1408:基于目标精度,对中间模型的模型精度进行调整,获取对应的待校准模型。
步骤S1409:获取样本集合,样本集合中的每个样本均包括样本分割图像以及对应的样本分割结果。
步骤S1410:将待校准模型设置于与待部署设备的硬件参数相同的运行环境,获取待校准模型对样本分割图像进行图像分割处理后的测试分割结果,以及待校准模型完成图像分割处理的图像分割时长。
步骤S1411:基于测试分割结果与样本分割结果之间的误差,以及图像分割时长与总期望处理时长之间的误差,对待校准模型进行模型参数调整,获取对应的目标模型。
如图15所示,完成了目标模型的获取,服务器也可以将该目标模型设置于待部署设备中,以完成相应的虹膜图像的图像分割过程。
基于同一发明构思,本申请实施例还提供了一种图像分割模型的量化装置,参见图16,为本申请实施例提供的一种图像分割模型的量化装置的结构示意图,该装置可以是上述终端设备或服务器或者是其中的芯片或集成电路等,该装置包括用于执行上述方法实施例中由终端设备或服务器执行的方法的模块/单元/技术手段。
示例性的,该装置1600包括:
获取模块1601,用于获取待部署设备的算力评估结果以及待量化模型;其中,算力评估结果用于指示待部署设备的运算性能,待量化模型用于实现图像分割;
筛选模块1602,用于基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子,目标算子在待部署设备上的数据处理时长达到设定阈值;
量化模块1603,用于基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子,量化算子在待部署设备上的数据处理时长小于期望处理时长;基于至少一个量化算子,将待量化模型转换为相应的目标模型。
在一种可能的实施方式中,量化模块1603用于基于至少一个量化算子,将待量化模型转换为相应的目标模型时,具体用于:
基于至少一个量化算子,以及待量化模型中除至少一个目标算子以外的其它算子,构建对应的中间模型;
基于算力评估结果以及目标模型对应的总期望处理时长,确定目标模型对应的目标精度;
基于目标精度,对中间模型的模型精度进行调整,获取对应的目标模型。
在一种可能的实施方式中,量化模块1603用于基于目标精度,对中间模型的模型精度进行调整,获取对应的目标模型时,具体用于:
基于目标精度,对中间模型的模型精度进行调整,获取对应的待校准模型;
获取样本集合,样本集合中的每个样本均包括样本分割图像以及对应的样本分割结果;
将待校准模型设置于与待部署设备的硬件参数相同的运行环境,获取待校准模型对样本分割图像进行图像分割处理后的测试分割结果,以及待校准模型完成图像分割处理的图像分割时长;
基于测试分割结果与样本分割结果之间的误差,以及图像分割时长与总期望处理时长之间的误差,对待校准模型进行模型参数调整,获取对应的目标模型。
在一种可能的实施方式中,获取模块1601用于获取待部署设备的算力评估结果时,具体用于:
基于多个随机数据,对待部署设备进行数据处理测试,并获取待部署设备进行数据处理测试所需的测试处理时长;
基于测试处理时长以及多个随机数据对应的数据量,获取待部署设备对应的算力评估结果。
在一种可能的实施方式中,筛选模块1602用于基于算力评估结果,在待量化模型包含的各算子中,选出至少一个目标算子时,具体用于:
基于算力评估结果,获取待量化模型中包含的各算子在待部署设备中进行数据处理时各自对应的数据处理时长;
基于数据处理时长以及设定阈值,从各算子中筛选出至少一个目标算子。
在一种可能的实施方式中,量化模块1603用于基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对至少一个目标算子进行量化处理,获取对应的量化算子时,具体用于:
基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,获取至少一个目标算子对应的量化参数;
基于量化参数以及至少一个目标算子对应的精度,对至少一个目标算子进行量化处理,获取对应的量化算子;其中,量化算子对应的精度与目标算子对应的精度之间的误差小于预设范围。
在一种可能的实施方式中,装置1600还包括处理模块1604,在获取目标模型之后,处理模块1604用于:
将目标模型设置于与待部署设备的硬件参数相同的运行环境;
基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果。
在一种可能的实施方式中,目标模型对应的模型精度为预设精度;
则处理模块1604用于基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果时,具体用于:
基于预设精度,对待分割虹膜图像对应的图像精度进行调整,获取对应的中间图像,其中,中间图像的图像精度与预设精度对应;
基于目标模型中的至少一个量化算子以及待量化模型中除至少一个目标算子以外的其它算子,对中间图像进行图像分割处理,获取对应的中间分割结果;
基于待分割虹膜图像对应的图像精度,对中间分割结果进行精度调整,获取对应的虹膜图像分割结果;其中,虹膜图像分割结果对应的图像精度与待分割虹膜图像对应的图像精度相同。
作为一种实施例,图16论述的装置可以用于执行图2所示的实施例中所述的方法,因此,对于该装置的各功能模块所能够实现的功能等可参考图2所示的实施例的描述,此处不再赘述。
基于同一发明构思,本申请实施例还提供一种电子设备。在一种可能的实施方式中,该电子设备可以是服务器,如图1B所示的服务器102。在该实施例中,电子设备1700的结构如图17所示,可以至少包括存储器1701、通讯模块1703,以及至少一个处理器1702。
存储器1701,用于存储处理器1702执行的计算机程序。存储器1701可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1701可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1701也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);或者存储器1701是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。存储器1701可以是上述存储器的组合。
处理器1702,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器1702,用于调用存储器1701中存储的计算机程序时实现上述图像分割模型的量化方法。
通讯模块1703用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器1701、通讯模块1703和处理器1702之间的具体连接介质。本申请实施例在图17中以存储器1701和处理器1702之间通过总线1704连接,总线1704在图17中以粗线描述,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1704可以分为地址总线、数据总线、控制总线等。为便于描述,图17中仅用一条粗线描述,但并不描述仅有一根总线或一种类型的总线。
存储器1701中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的图像分割模型的量化方法。处理器1702用于执行上述的图像分割模型的量化方法。
在另一种实施例中,电子设备也可以是其他电子设备,如图1B所示的终端设备101。在该实施例中,电子设备的结构可以如图18所示,包括:通信组件1810、存储器1820、显示单元1830、摄像头1840、传感器1850、音频电路1860、蓝牙模块1870、处理器1880等部件。
通信组件1810用于与服务器进行通信。在一些实施例中,可以包括电路无线保真(Wireless Fidelity,WiFi)模块,WiFi模块属于短距离无线传输技术,电子设备通过WiFi模块可以帮助对象收发信息。
存储器1820可用于存储软件程序及数据。处理器1880通过运行存储在存储器1820的软件程序或数据,从而执行终端设备101的各种功能以及数据处理。存储器1820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器1820存储有使得终端设备101能运行的操作系统。本申请中存储器1820可以存储操作系统及各种应用程序,还可以存储执行本申请实施例提供的图像分割模型的量化方法的计算机程序。
显示单元1830还可用于显示由对象输入的信息或提供给对象的信息以及终端设备101的各种菜单的图形用户界面(graphical user interface,GUI)。具体地,显示单元1830可以包括设置在终端设备101正面的显示屏1832。其中,显示屏1832可以采用液晶显示器、发光二极管等形式来配置。显示单元1830可以用于显示本申请实施例中的缺陷检测界面、模型训练界面等。
显示单元1830还可用于接收输入的数字或字符信息,产生与终端设备101的对象设置以及功能控制有关的信号输入,具体地,显示单元1830可以包括设置在终端设备101正面的触控屏1831,可收集对象在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。
其中,触控屏1831可以覆盖在显示屏1832之上,也可以将触控屏1831与显示屏1832集成而实现物理终端设备101的输入和输出功能,集成后可以简称触摸显示屏。本申请中显示单元1830可以显示应用程序以及对应的操作步骤。
摄像头1840可用于捕获静态图像,对象可以将摄像头1840拍摄的图像通过应用发布。摄像头1840可以是一个,也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1880转换成数字图像信号。
物理终端设备还可以包括至少一种传感器1850,比如加速度传感器1851、距离传感器1852、指纹传感器1853、温度传感器1854。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路1860、扬声器1861、传声器1862可提供对象与终端设备101之间的音频接口。音频电路1860可将接收到的音频数据转换后的电信号,传输到扬声器1861,由扬声器1861转换为声音信号输出。物理终端设备101还可配置音量按钮,用于调节声音信号的音量。另一方面,传声器1862将收集的声音信号转换为电信号,由音频电路1860接收后转换为音频数据,再将音频数据输出至通信组件1810以发送给比如另一物理终端设备101,或者将音频数据输出至存储器1820以便进一步处理。
蓝牙模块1870用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,物理终端设备可以通过蓝牙模块1870与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
处理器1880是物理终端设备的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器1820内的软件程序,以及调用存储在存储器1820内的数据,执行终端设备的各种功能和处理数据。在一些实施例中,处理器1880可包括一个或多个处理单元;处理器1880还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1880中。本申请中处理器1880可以运行操作系统、应用程序、用户界面显示及触控响应,以及本申请实施例的匹配目标车辆的方法。另外,处理器1880与显示单元1830耦接。
此外需要注意的是,在本申请的具体实施方式中,涉及到与图像分割模型等相关的对象数据,当本申请以上实施例运用到具体产品或技术中时,需要获得对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在一些可能的实施方式中,本申请提供的图像分割模型的量化方法的各个方面还可以实现为一种程序产品的形式,其包括计算机程序,当程序产品在电子设备上运行时,计算机程序用于使计电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像分割模型的量化方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体地例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机程序,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种图像分割模型的量化方法,其特征在于,包括:
获取待部署设备的算力评估结果以及待量化模型;其中,所述算力评估结果用于指示所述待部署设备的运算性能,所述待量化模型用于实现图像分割;
基于所述算力评估结果,在所述待量化模型包含的各算子中,选出至少一个目标算子,所述目标算子在所述待部署设备上的数据处理时长达到设定阈值;
基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对所述至少一个目标算子进行量化处理,获取对应的量化算子,所述量化算子在所述待部署设备上的数据处理时长小于所述期望处理时长;
基于获得的至少一个量化算子,将所述待量化模型转换为相应的目标模型;
其中,所述将所述待量化模型转换为相应的目标模型,包括:
基于所述待量化模型获得中间模型;
基于所述中间模型对样本的样本分割图像进行图像分割处理,获得对应的测试分割结果与样本处理时长,其中,所述样本包括样本分割图像以及对应的样本分割结果;
基于所述测试分割结果与所述样本分割结果之间的误差,以及样本处理时长与预设的总期望处理时长之间的误差,对所述中间模型进行调整,获得相应的目标模型。
2.如权利要求1所述的方法,其特征在于,所述基于获得的至少一个量化算子,将所述待量化模型转换为相应的目标模型,包括:
基于所述至少一个量化算子,以及所述待量化模型中除所述至少一个目标算子以外的其它算子,构建对应的所述中间模型;
基于所述算力评估结果以及所述目标模型对应的总期望处理时长,确定所述目标模型对应的目标精度;
基于所述目标精度,对所述中间模型的模型精度进行调整,获取对应的目标模型。
3.如权利要求2所述的方法,其特征在于,所述基于所述目标精度,对所述中间模型的模型精度进行调整,获取对应的目标模型,包括:
基于所述目标精度,对所述中间模型的模型精度进行调整,获取对应的待校准模型;
获取样本集合,所述样本集合中的每个样本均包括样本分割图像以及对应的样本分割结果;
将所述待校准模型设置于与所述待部署设备的硬件参数相同的运行环境,获取所述待校准模型对所述样本分割图像进行图像分割处理后的测试分割结果,以及所述待校准模型完成所述图像分割处理的图像分割时长;
基于所述测试分割结果与所述样本分割结果之间的误差,以及所述图像分割时长与所述总期望处理时长之间的误差,对所述待校准模型进行模型参数调整,获取对应的目标模型。
4.如权利要求1-3任一项所述的方法,其特征在于,所述获取待部署设备的算力评估结果,包括:
基于多个随机数据,对所述待部署设备进行数据处理测试,并获取所述待部署设备进行数据处理测试所需的测试处理时长;
基于所述测试处理时长以及所述多个随机数据对应的数据量,获取所述待部署设备对应的算力评估结果。
5.如权利要求4所述的方法,其特征在于,所述基于所述算力评估结果,在所述待量化模型包含的各算子中,选出至少一个目标算子,包括:
基于所述算力评估结果,获取所述待量化模型中包含的各算子在所述待部署设备中进行数据处理时各自对应的数据处理时长;
基于所述数据处理时长以及所述设定阈值,从所述各算子中筛选出所述至少一个目标算子。
6.如权利要求1所述的方法,其特征在于,所述基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对所述至少一个目标算子进行量化处理,获取对应的量化算子,包括:
基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,获取所述至少一个目标算子对应的量化参数;
基于所述量化参数以及所述至少一个目标算子对应的精度,对所述至少一个目标算子进行量化处理,获取对应的量化算子;其中,所述量化算子对应的精度与所述目标算子对应的精度之间的误差小于预设范围。
7.如权利要求1-3、6任一项所述的方法,其特征在于,在获取目标模型之后,所述方法还包括:
将所述目标模型设置于与所述待部署设备的硬件参数相同的运行环境;
基于所述目标模型中的至少一个量化算子以及待量化模型中除所述至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果。
8.如权利要求7所述的方法,其特征在于,所述目标模型对应的模型精度为预设精度;
则所述基于所述目标模型中的至少一个量化算子以及待量化模型中除所述至少一个目标算子以外的其它算子,对待分割虹膜图像进行图像分割处理,获取对应的虹膜图像分割结果,包括:
基于所述预设精度,对所述待分割虹膜图像对应的图像精度进行调整,获取对应的中间图像,其中,所述中间图像的图像精度与所述预设精度对应;
基于所述目标模型中的至少一个量化算子以及待量化模型中除所述至少一个目标算子以外的其它算子,对所述中间图像进行图像分割处理,获取对应的中间分割结果;
基于所述待分割虹膜图像对应的图像精度,对所述中间分割结果进行精度调整,获取对应的虹膜图像分割结果;其中,所述虹膜图像分割结果对应的图像精度与所述待分割虹膜图像对应的图像精度相同。
9.一种图像分割模型的量化装置,其特征在于,所述装置包括:
获取模块,用于获取待部署设备的算力评估结果以及待量化模型;其中,所述算力评估结果用于指示所述待部署设备的运算性能,所述待量化模型用于实现图像分割;
筛选模块,用于基于所述算力评估结果,在所述待量化模型包含的各算子中,选出至少一个目标算子,所述目标算子在所述待部署设备上的数据处理时长达到设定阈值;
量化模块,用于基于获得的至少一个目标算子各自的数据处理时长与相应的期望处理时长之间的差距,对所述至少一个目标算子进行量化处理,获取对应的量化算子,所述量化算子在所述待部署设备上的数据处理时长小于所述期望处理时长;基于获得的至少一个量化算子,将所述待量化模型转换为相应的目标模型;其中,所述将所述待量化模型转换为相应的目标模型,包括:基于所述待量化模型获得中间模型;基于所述中间模型对样本的样本分割图像进行图像分割处理,获得对应的测试分割结果与样本处理时长,其中,所述样本包括样本分割图像以及对应的样本分割结果;基于所述测试分割结果与所述样本分割结果之间的误差,以及样本处理时长与预设的总期望处理时长之间的误差,对所述中间模型进行调整,获得相应的目标模型。
10.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行权利要求1-8中任一项所述方法的步骤。
11.一种计算机可读存储介质,其特征在于,其包括程序代码,当所述程序代码在计算设备上运行时,所述程序代码用于使所述计算设备执行权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916069.8A CN116630632B (zh) | 2023-07-25 | 2023-07-25 | 图像分割模型的量化方法、装置和设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916069.8A CN116630632B (zh) | 2023-07-25 | 2023-07-25 | 图像分割模型的量化方法、装置和设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116630632A CN116630632A (zh) | 2023-08-22 |
CN116630632B true CN116630632B (zh) | 2023-11-03 |
Family
ID=87613833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310916069.8A Active CN116630632B (zh) | 2023-07-25 | 2023-07-25 | 图像分割模型的量化方法、装置和设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630632B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220457A (zh) * | 2021-05-24 | 2021-08-06 | 交叉信息核心技术研究院(西安)有限公司 | 模型部署方法、模型部署装置、终端设备及可读存储介质 |
CN113780551A (zh) * | 2021-09-03 | 2021-12-10 | 北京市商汤科技开发有限公司 | 模型量化方法、装置、设备、存储介质及计算机程序产品 |
CN114118384A (zh) * | 2021-12-09 | 2022-03-01 | 安谋科技(中国)有限公司 | 神经网络模型的量化方法、可读介质和电子设备 |
CN114330692A (zh) * | 2021-12-30 | 2022-04-12 | 科大讯飞股份有限公司 | 神经网络模型的部署方法、装置、设备及存储介质 |
KR20220109301A (ko) * | 2021-01-28 | 2022-08-04 | 삼성전자주식회사 | 딥 러닝 모델용 양자화 방법 및 양자화 장치 |
CN114970883A (zh) * | 2022-06-29 | 2022-08-30 | 北京百度网讯科技有限公司 | 模型量化方法、装置、电子设备和存储介质 |
CN115705482A (zh) * | 2021-07-20 | 2023-02-17 | 腾讯科技(深圳)有限公司 | 模型量化方法、装置、计算机设备及存储介质 |
-
2023
- 2023-07-25 CN CN202310916069.8A patent/CN116630632B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220109301A (ko) * | 2021-01-28 | 2022-08-04 | 삼성전자주식회사 | 딥 러닝 모델용 양자화 방법 및 양자화 장치 |
CN113220457A (zh) * | 2021-05-24 | 2021-08-06 | 交叉信息核心技术研究院(西安)有限公司 | 模型部署方法、模型部署装置、终端设备及可读存储介质 |
CN115705482A (zh) * | 2021-07-20 | 2023-02-17 | 腾讯科技(深圳)有限公司 | 模型量化方法、装置、计算机设备及存储介质 |
CN113780551A (zh) * | 2021-09-03 | 2021-12-10 | 北京市商汤科技开发有限公司 | 模型量化方法、装置、设备、存储介质及计算机程序产品 |
CN114118384A (zh) * | 2021-12-09 | 2022-03-01 | 安谋科技(中国)有限公司 | 神经网络模型的量化方法、可读介质和电子设备 |
CN114330692A (zh) * | 2021-12-30 | 2022-04-12 | 科大讯飞股份有限公司 | 神经网络模型的部署方法、装置、设备及存储介质 |
CN114970883A (zh) * | 2022-06-29 | 2022-08-30 | 北京百度网讯科技有限公司 | 模型量化方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116630632A (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520220B (zh) | 模型生成方法和装置 | |
CN108427939B (zh) | 模型生成方法和装置 | |
CN111476309B (zh) | 图像处理方法、模型训练方法、装置、设备及可读介质 | |
CN113095124B (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
US11443438B2 (en) | Network module and distribution method and apparatus, electronic device, and storage medium | |
CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
CN111476783A (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN115512005A (zh) | 一种数据处理方法及其装置 | |
CN116932919B (zh) | 信息推送方法、装置、电子设备和计算机可读介质 | |
CN113468344A (zh) | 实体关系抽取方法、装置、电子设备和计算机可读介质 | |
CN117058647B (zh) | 车道线处理方法、装置和设备及计算机存储介质 | |
CN117135032A (zh) | 一种异常识别方法、装置和设备及计算机存储介质 | |
CN114332993A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN116630632B (zh) | 图像分割模型的量化方法、装置和设备及计算机存储介质 | |
CN112037305A (zh) | 对图像中的树状组织进行重建的方法、设备及存储介质 | |
CN117408959A (zh) | 模型的训练方法、缺陷检测方法、装置、电子设备及介质 | |
CN116977195A (zh) | 复原模型的调整方法、装置、设备及存储介质 | |
CN115131291A (zh) | 对象计数模型的训练方法、装置、设备以及存储介质 | |
CN116188887A (zh) | 属性识别预训练模型生成方法、属性识别模型生成方法 | |
CN111784567B (zh) | 用于转换图像的方法、装置、电子设备和计算机可读介质 | |
CN114387465A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
CN113255819A (zh) | 用于识别信息的方法和装置 | |
CN113780148A (zh) | 交通标志图像识别模型训练方法和交通标志图像识别方法 | |
CN118447723B (zh) | 低空空域网格化无人机管理系统 | |
CN118278822B (zh) | 基于图像数据分析的工作数据采集方法、系统及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40092630 Country of ref document: HK |