CN116612358A - 一种数据处理的方法、相关装置、设备以及存储介质 - Google Patents

一种数据处理的方法、相关装置、设备以及存储介质 Download PDF

Info

Publication number
CN116612358A
CN116612358A CN202310894889.1A CN202310894889A CN116612358A CN 116612358 A CN116612358 A CN 116612358A CN 202310894889 A CN202310894889 A CN 202310894889A CN 116612358 A CN116612358 A CN 116612358A
Authority
CN
China
Prior art keywords
model
terminal
target
parameters
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310894889.1A
Other languages
English (en)
Other versions
CN116612358B (zh
Inventor
张镇鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310894889.1A priority Critical patent/CN116612358B/zh
Publication of CN116612358A publication Critical patent/CN116612358A/zh
Application granted granted Critical
Publication of CN116612358B publication Critical patent/CN116612358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/096Transfer learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/098Distributed learning, e.g. federated learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种数据处理的方法、相关装置、设备和存储介质,涉及人工智能技术。本申请方法包括:向服务器发送K个图像,服务器通过图像识别模型获取K个第一预测结果;根据K个图像和K个第一预测结果构建微调训练集;通过目标待训练模型获取K个第二预测结果;根据K个第二预测结果和微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型和模型调整参数;若满足模型微调条件,则向服务器发送模型调整参数,服务器根据模型调整参数集合,对图像识别模型的模型参数进行更新。本申请不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。

Description

一种数据处理的方法、相关装置、设备以及存储介质
技术领域
本申请涉及人工智能技术领域,尤其涉及一种数据处理的方法、相关装置、设备以及存储介质。
背景技术
近年来,人工智能(artificial intelligence,AI)技术不断发展,其在图像识别领域中的应用有利于广泛。AI可以通过复杂的算法和模型来识别图像中的生物对象(例如,人脸、虹膜、掌纹等)、物体和文字等,从而实现智能化的图像处理和分析。
在不同的环境下采集图像往往会面临复杂的环境因素,例如,不同环境的光线强弱、背景噪声等不同。这些环境因素可能会影响图像识别的准确度,因此,在相关技术中,可以在不同环境下采集大量图像进行模型训练,以增强模型的识别能力。
然而,发明人发现目前的方案中至少存在如下问题,一方面,模型训练时所使用的图像难以覆盖各种环境,因此,模型能够学习到的样本类型有限,导致模型学习效果不佳。另一方面,模型对大量图像进行训练时不仅需要较多算力,还会耗费较多的时间。针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理的方法、相关装置、设备以及存储介质,不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。
有鉴于此,本申请一方面提供一种数据处理的方法,包括:
通过图像采集装置拍摄得到K个图像,其中,K为大于或等于1的整数;
向服务器发送K个图像,以使服务器基于K个图像,通过图像识别模型获取K个第一预测结果;
根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
基于K个图像,通过目标待训练模型获取K个第二预测结果;
根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数;
若本地识别模型满足模型微调条件,则向服务器发送模型调整参数,以使服务器根据来源于至少一个终端的模型调整参数集合,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
本申请另一方面提供一种数据处理的方法,包括:
接收目标终端发送的K个图像,其中,K个图像为目标终端通过采集装置拍摄得到的,K为大于或等于1的整数;
基于K个图像,通过图像识别模型获取K个第一预测结果;
向目标终端发送K个第一预测结果,以使目标终端根据K个图像以及K个第一预测结果构建微调训练集,基于K个图像,通过目标待训练模型获取K个第二预测结果,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
若本地识别模型满足模型微调条件,则接收目标终端发送的模型调整参数;
在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
本申请另一方面提供一种数据处理装置,包括:
拍摄模块,用于通过图像采集装置拍摄得到K个图像,其中,K为大于或等于1的整数;
发送模块,用于向服务器发送K个图像,以使服务器基于K个图像,通过图像识别模型获取K个第一预测结果;
获取模块,用于根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
获取模块,还用于基于K个图像,通过目标待训练模型获取K个第二预测结果;
更新模块,用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数;
发送模块,还用于若本地识别模型满足模型微调条件,则向服务器发送模型调整参数,以使服务器根据来源于至少一个终端的模型调整参数集合,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,数据处理装置还包括接收模块;
发送模块,还用于向服务器发送模型训练请求,以使服务器根据模型训练请求,确定应用于目标终端的训练数据集;
接收模块,用于接收服务器发送的初始训练集,其中,初始训练集包括M组初始训练数据,每组初始训练数据包括图像以及图像的标注结果;
获取模块,还用于基于初始训练集所包括的M个图像,通过初始识别模型获取M个初始预测结果,其中,每个初始预测结果包括图像的预测类别以及类别分值;
更新模块,还用于根据M个初始预测结果以及初始训练集,对初始识别模型的模型参数进行更新,得到目标待训练模型。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,数据处理装置还包括处理模块;
获取模块,还用于通过图像采集装置拍摄得到K个图像之前,获取目标终端所处的现场环境信息,其中,现场环境信息包括光线强度以及背景噪声中的至少一项;
处理模块,用于若现场环境信息所包括的光线强度未在光线强度区间之内,则响应于针对图像采集装置的第一调节操作,对图像采集装置的第一应用参数进行调整,其中,第一应用参数包括快门速度、感光度参数以及曝光补偿参数中的至少一项;
处理模块,还用于若现场环境信息所包括的背景噪声大于或等于背景噪声阈值,则响应于针对图像采集装置的第二调节操作,对图像采集装置的第二应用参数进行调整,其中,第二应用参数包括锐度参数、感光度参数以及降噪参数中的至少一项。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,数据处理装置还包括确定模块;
发送模块,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收模块,还用于接收服务器发送的N个第三预测结果;
获取模块,还用于基于N个图像,通过本地识别模型获取N个第四预测结果;
处理模块,还用于根据N个第三预测结果,对N个第四预测结果进行验证,得到N个图像的识别准确率;
确定模块,还用于若识别准确率大于或等于准确率阈值,则确定本地识别模型满足模型微调条件。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
发送模块,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收模块,还用于接收服务器发送的N个第三预测结果;
获取模块,还用于基于N个图像,通过本地识别模型获取N个第四预测结果;
处理模块,还用于根据N个第三预测结果,对N个第四预测结果进行验证,得到针对N个图像的识别准确率;
发送模块,还用于若识别准确率大于或等于准确率阈值,则向T个终端发送模型调整参数,以使T个终端分别根据模型调整参数,对待训练模型的模型参数进行更新,得到T个识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
获取模块,还用于获取T个终端中的每个终端所对应的投票分值,其中,投票分值为根据识别模型的预测结果以及图像识别模型的预测结果确定的;
确定模块,还用于根据每个终端所对应的投票分值,确定综合识别分值;
确定模块,还用于若综合识别分值大于或等于识别分值阈值,则确定本地识别模型满足模型微调条件。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于对T个终端的投票分值进行求和,得到投票总分值;
根据投票总分值与T值之间的比值,得到综合识别分值。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于获取T个终端中的每个终端所对应的权重参数集合,其中,权重参数集合包括设备权重、环境权重以及偏好权重中的至少一项;
针对T个终端中的每个终端,采用终端的权重参数集合,对终端的投票分值进行加权,得到终端的投票加权分值;
根据T个终端中的每个终端所对应的投票加权分值,确定综合识别分值。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端处于相同的位置区域内,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
确定模块,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端设置有相同的绑定对象,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
确定模块,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端连接至相同的接入点,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
获取模块,还用于确定本地识别模型满足模型微调条件之后,获取待测试图像;
获取模块,还用于基于待测试图像,通过本地识别模型获取第五预测结果;
获取模块,还用于获取来源于T个终端的T个第六预测结果,其中,每个第六预测结果为终端基于待测试图像,通过识别模型获取到的;
处理模块,还用于若根据第五预测结果以及T个第六预测结果,确定已处于模型稳定状态,则执行相应业务。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
发送模块,还用于根据每个终端所对应的投票分值,确定综合识别分值之后,若本地识别模型未满足模型微调条件,则向T个终端中的终端发送模型微调请求,以使终端根据模型微调请求,对待训练模型的模型参数进行更新,得到识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
接收模块,还用于接收终端发送的模型调整参数;
更新模块,还用于采用终端发送的模型调整参数,对目标待训练模型的模型参数进行更新。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
拍摄模块,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,在本地识别模型满足模型微调条件的情况下,通过图像采集装置拍摄得到目标图像;
获取模块,还用于基于目标图像,通过本地识别模型获取目标预测结果,其中,目标预测结果包括目标预测类别以及目标类别分值;
确定模块,还用于若目标预测结果中的目标类别分值大于或等于类别分值阈值,则确定目标图像属于目标预测类别。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
发送模块,还用于基于目标图像,通过本地识别模型获取目标预测结果之后,若目标预测结果中的目标类别分值小于类别分值阈值,则向服务器发送目标图像,以使服务器基于目标图像,通过图像识别模型获取图像识别结果;
接收模块,还用于接收服务器发送的图像识别结果。
本申请另一方面提供一种数据处理装置,包括:
接收模块,用于接收目标终端发送的K个图像,其中,K个图像为目标终端通过采集装置拍摄得到的,K为大于或等于1的整数;
获取模块,用于基于K个图像,通过图像识别模型获取K个第一预测结果;
发送模块,用于向目标终端发送K个第一预测结果,以使目标终端根据K个图像以及K个第一预测结果构建微调训练集,基于K个图像,通过目标待训练模型获取K个第二预测结果,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
接收模块,还用于若本地识别模型满足模型微调条件,则接收目标终端发送的模型调整参数;
更新模块,用于在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
更新模块,具体用于获取来源于至少一个终端的模型调整参数集合;
根据每个终端所对应的综合识别分值,对模型调整参数集合进行加权处理,得到加权后的模型调整参数集合;
采用加权后的模型调整参数集合,对图像识别模型的模型参数进行更新。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
更新模块,具体用于在获得来源于至少一个终端的模型参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型参数集合包括模型调整参数,模型调整参数为模型参数;
或者,
在获得来源于至少一个终端的梯度集合的情况下,对图像识别模型的模型参数进行更新,其中,梯度集合包括模型调整参数,模型调整参数为梯度;
或者,
在获得来源于至少一个终端的优化算法参数集合的情况下,对图像识别模型的模型参数进行更新,其中,优化算法参数集合包括模型调整参数,模型调整参数为优化算法参数。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
发送模块,还用于在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新之后,向至少一个终端发送图像识别模型的模型调整参数,以使至少一个终端中的每个终端使用图像识别模型的模型调整参数,对识别模型的模型参数进行更新。
本申请另一方面提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各方面的方法。
本申请的另一方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方面的方法。
本申请的另一个方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方面的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种数据处理的方法,首先,目标终端通过图像采集装置拍摄得到K个图像,然后,向服务器发送K个图像。服务器基于K个图像,通过图像识别模型获取K个第一预测结果。于是,目标终端可根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集。并基于K个图像,通过目标待训练模型获取K个第二预测结果。接下来,目标终端根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数。如果本地识别模型满足模型微调条件,则目标终端向服务器发送模型调整参数,以使服务器根据来源于至少一个终端的模型调整参数集合,对图像识别模型的模型参数进行更新。通过上述方式,终端基于现场环境采集到的图像,可对本地的模型进行微调,并将微调后的目标参数上报给服务器。服务器综合各个终端上报的参数集合,对图像识别模型进行更新。由此,不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。
附图说明
图1为本申请实施例中数据处理方法的一个实施环境示意图;
图2为本申请实施例中图像识别方法的一个实施环境示意图;
图3为本申请实施例中数据处理方法的一个流程示意图;
图4为本申请实施例中基于同步投票机制进行投票的一个交互流程示意图;
图5为本申请实施例中基于同步投票机制进行投票的另一个交互流程示意图;
图6为本申请实施例中建立终端之间关联关系的一个示意图;
图7为本申请实施例中建立终端之间关联关系的另一个示意图;
图8为本申请实施例中建立终端之间关联关系的另一个示意图;
图9为本申请实施例中数据处理方法的一个整体流程示意图;
图10为本申请实施例中数据处理方法的一个流程示意图;
图11为本申请实施例中终端与服务器进行数据处理的一个框架示意图;
图12为本申请实施例中数据处理装置的一个示意图;
图13为本申请实施例中数据处理装置的另一个示意图;
图14为本申请实施例中计算机设备的一个结构示意图。
实施方式
本申请实施例提供了一种数据处理的方法、相关装置、设备以及存储介质,不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应”于以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
采集图像时往往会面临复杂的环境因素,这些环境因素可能会影响图像识别的准确度。因此,为了提升图像识别的准确度,可以使用大规模的训练数据以及大规模参数量的模型进行训练。大规模的训练数据能够让模型具有足够的教材用于学习,而大规模的参数量可以让模型学习能力更强,更容易学习到教材中的知识。然而,训练数据往往难以覆盖各类真实环境,且,大规模的训练数据和参数量会导致模型训练难度增加。
基于此,本申请实施例中,提供了一种数据处理的方法,实现了在现场根据实时采集到的图像进行模型微调,微调结果的同步以及后台模型的优化,从而提高了图像识别的效果和稳定性。针对本申请中的数据处理方法,在应用时包括如下场景中的至少一种。
一、生物识别场景;
生物识别技术就是通过计算机与光学、声学、生物传感器以及生物统计学原理等手段密切结合,利用人体固有的生理特性(例如,手掌、人脸、虹膜等)进行身份的鉴定。由于不同环境下采集到的图像效果具有较差差异,因此,生物识别模型的识别准确度仍然面临较多挑战。下面将以掌纹识别为例进行介绍。
考虑到现场环境的复杂性,在光线、背景噪声等方面都有差异。例如,在实验室中光线较暗,在户外环境中光线较亮。如果各个刷掌终端都采用相同模型参数的本地识别模型对采集到的图像进行识别,则可能导致识别结果差异较大。因此,在本申请中,刷掌终端采用本地微调策略对本地识别模型进行训练,即,在不同现场环境中的刷掌终端可分别采用对应的模型调优策略。由此,能够提高刷掌识别的效果和稳定性。与此同时,刷掌终端还需要将微调后的模型调整参数反馈至服务器端,服务器端维护了一个图像识别模型。基于此,服务器基于各个刷掌终端上报的模型调整参数,对图像识别模型进行调优,从而提升图像识别模型的识别能力。
服务器端的图像识别模型相较于刷掌终端的本地识别模型而言,具有更多的模型参数以及更复杂的模型结构,因此,图像识别模型具有更强的计算能力和更高的识别精度。如果某个刷掌终端使用本地识别模型无法识别出现场采集到的某个手掌图像,则该刷掌终端可以将该手掌图像发送至服务器,由服务器调用图像识别模型对该手掌图像进行识别,并向该刷掌终端反馈识别结果,以执行相应的业务。
二、自动驾驶场景;
在自动驾驶中,图像识别是非常重要的一个环节。图像识别是指利用计算机技术从图像中提取特征并进行分类、识别和判断的过程。在自动驾驶中,图像识别主要负责识别车辆周围的各种物体,例如,行人、道路标志以及交通信号灯等,以便辅助自动驾驶车辆做出相应的决策。
考虑到驾驶环境的复杂性,在不同的天气、行驶路段以及时间等方面都有差异。例如,阴雨天的光线较弱,而晴天的光线较强。例如,在高架桥上行驶时的光线较强,但是在隧道行驶时的光线较弱。又例如,中午的光线较强,而晚上的光线较弱。如果各个车载终端都采用相同模型参数的本地识别模型对采集到的图像进行识别,则可能导致识别结果差异较大。因此,在本申请中,车载终端采用本地微调策略对本地识别模型进行训练,即,在不同现场环境中的车载终端可分别采用对应的模型调优策略。由此,能够提高物体识别的效果和稳定性。与此同时,车载终端还需要将微调后的模型调整参数反馈至服务器端,服务器端维护了一个图像识别模型。基于此,服务器基于各个车载终端上报的模型调整参数,对图像识别模型进行调优,从而提升图像识别模型的识别能力。
如果某个车载终端使用本地识别模型无法识别出现场采集到的某个道路图像,则该车载终端可以将该道路图像发送至服务器,由服务器调用图像识别模型对该道路图像进行识别,并向该车载终端反馈识别结果,使得车辆及时作出相应的反馈。
三、安全防范场景;
安防系统是应用光纤、同轴电缆或微波在其闭合的环路内传输视频信号,并从摄像到图像显示和记录构成独立完整的系统。安防系统不但极大地延长了人眼的观察距离,而且扩大了人眼的机能,可以在恶劣的环境下代替人工进行长时间工作。
考虑到实际环境的复杂性,在不同的天气、布设位置以及时间等方面都有差异。如果各个安防系统都采用相同模型参数的本地识别模型对采集到的图像进行识别,则可能导致识别结果差异较大。因此,在本申请中,安防系统采用本地微调策略对本地识别模型进行训练,即,在不同现场环境中的安防系统可分别采用对应的模型调优策略。由此,能够提高物体识别的效果和稳定性。与此同时,安防系统还需要将微调后的模型调整参数反馈至服务器端,服务器端维护了一个图像识别模型。基于此,服务器基于各个车载终端上报的模型调整参数,对图像识别模型进行调优,从而提升图像识别模型的识别能力。
如果某个安防系统使用本地识别模型无法识别出现场采集到的某个图像,则该安防系统可以将该图像发送至服务器,由服务器调用图像识别模型对该图像进行识别,并向该安防系统反馈识别结果。如果存在安全隐患,则可以触发相应的告警信息。
需要说明的是,上述应用场景仅为示例,本实施例提供的数据处理方法还可以应用于其他场景中,此处不做限定。
可以理解的是,本申请中,可采用计算机视觉(computer vision,CV)技术对图像进行识别。其中,CV技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,CV研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。CV技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(optical characterrecognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请提供的数据处理方法可应用于图1所示的实施环境,该实施环境包括目标终端110和服务器120,且,目标终端110和服务器120之间可以通过通信网络130进行通信。其中,通信网络130使用标准通信技术和/或协议,通常为因特网,但也可以是任何网络,包括但不限于蓝牙、局域网(local area network,LAN)、城域网(metropolitan areanetwork,MAN)、广域网(wide area network,WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,可使用定制或专用数据通信技术取代或者补充上述数据通信技术。
本申请涉及的目标终端110包括但不限于手机、平板电脑、笔记本电脑、桌上型电脑、智能语音交互设备、智能家电、车载终端、飞行器等。其中,客户端部署于目标终端110上,客户端可以通过浏览器的形式运行于目标终端110上,也可以通过独立的应用程序(application,APP)的形式运行于目标终端110上等。
本申请涉及的服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content deliverynetwork,CDN)、以及大数据和人工智能(artificial intelligence,AI)平台等基础云计算服务的云服务器。
结合上述实施环境,在步骤A1中,目标终端110通过通信网络130向服务器120发送拍摄得到的K个图像。在步骤A2中,服务器120对K个图像进行识别,并通过通信网络130向目标终端110发送每个图像的第一预测结果。在步骤A3中,目标终端110根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集。在步骤A4中,目标终端110通过目标待训练模型获取K个第二预测结果。在步骤A5中,目标终端110根据K个第二预测结果以及微调训练集,对待训练识别模型进行训练,得到本地识别模型以及模型调整参数。在步骤A6中,目标终端110通过通信网络130向服务器120发送模型调整参数。在步骤A7中,服务器120结合至少一个终端上报的模型调整参数(即,模型调整参数集合),对图像识别模型的模型参数进行更新。
下面以目标终端110为刷掌终端为例,介绍图像识别方法的实施环境。请参阅图2,图2为本申请实施例中图像识别方法的一个实施环境示意图,如图所示,具体地,在步骤B1中,目标终端110通过本地识别模型对采集到的目标图像进行识别,得到目标预测结果。其中,目标图像可以是手掌图像。在步骤B2中,目标预测结果包括目标类别分值,如果目标类别分值大于或等于类别分值阈值,则确定目标图像属于目标预测类别。在步骤B3中,如果目标类别分值小于类别分值阈值,则目标终端110通过通信网络130向服务器120发送目标图像。在步骤B4中,服务器120通过图像识别模型对目标图像进行识别,得到图像识别结果。在步骤B5中,服务器120通过通信网络130向目标终端110发送图像识别结果,由此,目标终端110可根据图像识别结果执行相应业务。
结合上述介绍,下面将以目标终端的角度对本申请中数据处理的方法进行介绍,请参阅图3,本申请实施例中数据处理的方法可以由目标终端独立完成,也可以由目标终端与服务器配合完成,本申请方法包括:
210、通过图像采集装置拍摄得到K个图像,其中,K为大于或等于1的整数;
在一个或多个实施例中,目标终端调用图像采集装置(例如,摄像头、相机或扫描仪等)拍摄当前环境下的若干个图像,由此得到K个图像。
220、向服务器发送K个图像,以使服务器基于K个图像,通过图像识别模型获取K个第一预测结果;
在一个或多个实施例中,目标终端可以将K个图像依次发送至服务器,或者,直接将K个图像打包后一起发给服务器。基于此,服务器将K个图像中的每个图像分别输入至图像识别模型,通过图像识别模型输出每个图像的第一预测结果,由此,得到K个第一预测结果。其中,每个第一预测结果包括图像的预测类别以及类别分值。
可以理解的是,本申请涉及的模型属于深度学习模型,例如,可采用卷积神经网络(convolutional neural networks,CNN)。深度学习是一种机器学习技术,其目标是模拟人脑神经元的工作方式,以便计算机可以自主地学习和做出决策。深度学习模型通常由多个层组成,每个层都可以学习数据的不同级别的表示。
本申请中,部署于服务器端的图像识别模型属于“大模型”,即,相比于部署于终端的模型而言,具有更强的计算能力和更高的识别精度,它在大量数据上进行训练,学习到更广泛的图像特征,能对各种各样的对象进行精准识别。然而,由于其运算量大,通常部署在服务器端,而不适合在终端上运行。在实际应用中,终端本地的模型会通过与服务器端的“大模型”进行比较和反馈,以达到自我调整和优化的目的。
230、根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
在一个或多个实施例中,目标终端根据采集到的K个图像以及每个图像的第一预测结果,可以构建微调训练集。下面将以5个图像为例,介绍构建微调训练集的过程。
具体地,假设目标终端向服务器发送的K个图像分别为图像1、图像2、图像3、图像4和图像5。服务器调用图像识别模型之后,对这些图像依次进行识别。请参阅表1,表1为经过识别后得到各个图像的第一预测结果的一个示意,其中,假设第一预测结果中的预测类别为对象标识,每个对象标识唯一指示一个对象(例如,用户甲)。
表1
基于此,可构建K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果。例如,一组微调训练数据包括图像1、标注类别10003以及标注类别分值0.95。
240、基于K个图像,通过目标待训练模型获取K个第二预测结果;
在一个或多个实施例中,目标终端将采集到的K个图像依次输入至目标待训练模型,通过目标待训练模型输出每个图像的第二预测结果。其中,每个第二预测结果包括图像的预测类别以及类别分值。
250、根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数;
在一个或多个实施例中,微调训练集包括K个图像以及每个图像的第一预测结果,其中,第一预测结果作为图像的标注信息。K个图像中每个图像的第二预测结果作为图像的预测信息。基于此,利用每个图像的标注信息以及预测信息,可采用相应的损失函数(例如,多分类损失函数)对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数。其中,模型调整参数包含但不仅限于模型参数、梯度、优化算法参数以及微调训练集。
具体地,对目标待训练模型的模型参数进行更新可以理解为对目标待训练模型进行微调(finetune)。在机器学习中,微调是一种迁移学习的技术,通常在预先训练的模型(例如,在大型数据集上训练的模型)的基础上进行。基于新的、通常规模更小的数据集,微调调整模型的参数以优化对特定任务的性能。
260、若本地识别模型满足模型微调条件,则向服务器发送模型调整参数,以使服务器根据来源于至少一个终端的模型调整参数集合,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
在一个或多个实施例中,如果本地识别模型满足模型微调条件,则表示目标终端当前的微调方式值得被采纳,基于此,目标终端可以向服务器发送模型调整参数。服务器综合不同终端上传的模型调整参数,得到模型调整参数集合。基于此,服务器使用模型调整参数集合对图像识别模型的模型参数进行更新,即,对图像识别模型进行微调。
具体地,服务器基于分布式训练,可得到识别效果更好的图像识别模型。其中,分布式训练指将训练模型的工作负载拆分,共享给多个微型处理器(例如,多个终端)。图像识别模型的参数量大,且训练数据大,超过单个机器容纳能力,因此,需要分布式并行提速。并行机制包括数据并行(data parallel,DP)、模型并行(model parallel,MP)、流水线并行(pipeline parallel,PP)、混合并行(hybrid parallel,HP)。结构设计包括基于参数服务器(parameter server)、基于规约(reduce)、基于消息传递接口(message-passinginterface,MPI)等构造。
本申请实施例中,提供了一种数据处理的方法。通过上述方式,终端基于现场环境采集到的图像,可对本地的模型进行微调,并将微调后的目标参数上报给服务器。服务器综合各个终端上报的参数集合,对图像识别模型进行更新。由此,不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,还可以包括:
向服务器发送模型训练请求,以使服务器根据模型训练请求,确定应用于目标终端的训练数据集;
接收服务器发送的初始训练集,其中,初始训练集包括M组初始训练数据,每组初始训练数据包括图像以及图像的标注结果;
基于初始训练集所包括的M个图像,通过初始识别模型获取M个初始预测结果,其中,每个初始预测结果包括图像的预测类别以及类别分值;
根据M个初始预测结果以及初始训练集,对初始识别模型的模型参数进行更新,得到目标待训练模型。
在一个或多个实施例中,介绍了一种获取目标待训练模型的方式。由前述实施例可知,在场地中部署目标终端之后,目标终端可向服务器发送模型训练请求,由此,服务器向目标终端回传的训练数据集。需要说明的是,其他终端也可以类型方式生成待训练模型,此处不做赘述。
具体地,假设目标终端为某游乐场的刷掌终端,服务器基于目标终端发送的模型训练请求,可从大量数据集中获取训练数据集。其中,该训练数据集包括已在该游乐场注册过快速通行的用户的手掌图像以及图像的标注结果(例如,用户标识)。目标终端接收服务器发送的初始训练集,其中,初始训练集包括M组初始训练数据,每组初始训练数据包括图像以及图像的标注结果,即,初始训练集包括M个图像。
基于此,目标终端将M个图像依次输入至初始识别模型,通过初始识别模型输出每个图像所对应的初始预测结果,其中,每个初始预测结果包括图像的预测类别以及类别分值。利用每个图像的标注结果以及初始预测结果,可采用相应的损失函数(例如,多分类损失函数)对初始识别模型的模型参数进行更新,得到目标待训练模型。
需要说明的是,初始识别模型属于预训练模型(pre-training model,PTM),指具体大参量的深度神经网络(deep neural network,DNN),在海量未标记的数据上对其进行训练,利用大参量DNN的函数近似能力使PTM在数据上提取共性特征,经微调、参数高效微调(parameter-efficient fine-tuning,PERT)、prompt-tuning等技术,适用于下游任务。因此,PTM可以在小样本(few-shot)或零样本(zero-shot)场景下达到理想效果。
其次,本申请实施例中,提供了一种获取目标待训练模型的方式。通过上述方式,终端利用服务器下发的训练数据集,训练得到可以在本地使用的待训练模型。一方面,使得终端具有图像识别能力。另一方面,终端在进行模型微调时,能够更好适用于本地环境。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,通过图像采集装置拍摄得到K个图像之前,还可以包括:
获取目标终端所处的现场环境信息,其中,现场环境信息包括光线强度以及背景噪声中的至少一项;
若现场环境信息所包括的光线强度未在光线强度区间之内,则响应于针对图像采集装置的第一调节操作,对图像采集装置的第一应用参数进行调整,其中,第一应用参数包括快门速度、感光度参数以及曝光补偿参数中的至少一项;
若现场环境信息所包括的背景噪声大于或等于背景噪声阈值,则响应于针对图像采集装置的第二调节操作,对图像采集装置的第二应用参数进行调整,其中,第二应用参数包括锐度参数、感光度参数以及降噪参数中的至少一项。
在一个或多个实施例中,介绍了一种对图像采集装置进行调整的方式。由前述实施例可知,为了能够采集到质量更好的图像用于模型训练和模型推理,还支持基于现场环境信息进行图像采集装置的调整。下面将以目标终端为例进行说明,在实际应用中,其他终端也可以类型方式进行图像采集装置的调优,此处不做赘述。
具体地,可使用目标终端的摄像头或者光线感应器等,获取目标终端所处的现场环境信息。例如,可通过摄像头获取现场的光线强度和背景噪声,又例如,通过光线感应器获取现场的光照强度和色温等。
示例性地,如果光线强度未在光线强度区间之内(即,光线强度大于或等于光线强度最大值,或,光线强度小于或等于光线强度最小值),则需要对图像采集装置的第一应用参数进行调整。其中,第一应用参数包含但不仅限于快门速度、感光度参数以及曝光补偿参数。一种情况下,如果光线强度大于或等于光线强度最大值,则可以将快慢速度调快,也可以将感光度(ISO)参数调低,还可以减少曝光补偿(EV)参数。另一种情况下,如果光线强度小于或等于光线强度最小值,则可以将快慢速度调慢,也可以将ISO参数调高,还可以增加EV参数。
可以理解的是,光线强度最大值可设置为1000勒克斯,光线强度最小值可设置为10勒克斯。此处仅为示意,不应理解为对本申请的限定。
示例性地,如果背景噪声大于或等于背景噪声阈值,则需要对图像采集装置的第二应用参数进行调整。其中,第二应用参数包含但不仅限于锐度参数、ISO参数以及降噪参数。基于此,在背景噪声较大的情况下,可以降低锐度参数,也可以将ISO参数调低,还可以提升降噪参数(例如,空域降噪参数或者时域降噪参数)。
可以理解的是,背景噪声阈值可设置为50分贝,此处仅为示意,不应理解为对本申请的限定。
需要说明的是,本申请中涉及的“响应于”用于表示执行操作所依赖的条件或状态,当满足一定的条件或状态时,可执行的一个或多个操作。其中,这些操作可以是实时的,也可以具有一定的延迟。
其次,本申请实施例中,提供了一种对图像采集装置进行调整的方式。通过上述方式,基于现场环境信息对图像采集装置进行调整,能够提升采集到的图像的质量。在此基础上,对本地的模型进行自动微调,使得终端本地的模型能够更好地适应现场的光线条件,并且提升模型的识别能力。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,还可以包括:
向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收服务器发送的N个第三预测结果;
基于N个图像,通过本地识别模型获取N个第四预测结果;
根据N个第三预测结果,对N个第四预测结果进行验证,得到N个图像的识别准确率;
若识别准确率大于或等于准确率阈值,则确定本地识别模型满足模型微调条件。
在一个或多个实施例中,介绍了一种判定是否满足模型微调条件的方式。由前述实施例可知,目标终端在完成模型微调之后,还需要评估微调的效果。即,通过比较本地识别模型和服务器端的图像识别模型的识别结果。如果本地识别模型的识别结果与图像识别模型的结果一致或接近,那么可以认为微调是成功的。反之,则可能需要重新进行微调。下面将以目标终端为例进行说明,在实际应用中,其他终端也可以类型方式进行微调结果优劣的判断,此处不做赘述。
具体地,目标终端利用收集到的现场信息,对本地的目标待训练模型进行自动微调,可得到本地识别模型。其中,微调是指在目标待训练模型的基础上,根据新的任务或数据集对模型参数进行细微调整。在此过程中,微调的操作是根据现场环境信息来进行的。例如,如果现场的光线强弱发生变化,则可能需要调整模型对于光线变化的敏感度。又例如,如果现场的背景噪声增加,则可能需要增强模型对于噪声的抗干扰能力。微调的过程通常涉及到梯度下降或其他优化算法,以最小化在新环境条件下的识别错误。
目标终端向服务器发送通过图像采集装置拍摄得到的N个图像,其中,这N个图像可以是目标终端在训练得到本地识别模型之后采集的,也可以是从K个图像中随机挑选的部分图像。N个图像符合目标终端的现场光线条件。基于此,一方面,服务器将N个图像分别作为图像识别模型的输入,通过图像识别模型获得每个图像的第三预测结果。其中,每个第三预测结果包括图像的预测类别以及类别分值。另一方面,目标终端将N个图像分别作为本地识别模型的输入,通过本地识别模型获得每个图像的第四预测结果。其中,每个第四预测结果包括图像的预测类别以及类别分值。
目标终端在接收到N个第三预测结果之后,可以将N个第三预测结果作为标准结果,以对N个第四预测结果进行验证,得到针对N个图像的识别准确率。为了便于介绍,请参阅表2,表2为N个第三预测结果的一个示意。
表2
请参阅表3,表3为N个第四预测结果的一个示意。
表3
基于此,对N个第三预测结果以及N个第四预测结果进行比较,如果图像的第三预测结果和第四预测结果一致或者接近,则表示该图像的识别成功。假设第三预测结果与第四预测结果接近具体为“预测类别一致,且,类别分值之差的绝对值小于或等于0.2”。可见,图像1的第三预测结果和第四预测结果接近。图像2的第三预测结果和第四预测结果不同。图像3的第三预测结果和第四预测结果一致。图像4的第三预测结果和第四预测结果不同。图像5的第三预测结果和第四预测结果接近。因此,5个图像中有3个图像识别成功,即,识别准确率为0.6,在识别准确率大于或等于准确率阈值的情况下,认为目标终端的本地识别模型满足模型微调条件,也就是本次微调是成功的。
其次,本申请实施例中,提供了一种判定是否满足模型微调条件的方式。通过上述方式,基于现场的自动微调模块实现从获取现场环境信息,构建微调训练集,进行模型微调以及评估微调结果的闭环,以自动优化模型,使模型能够更好地适应现场的光线条件。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,还可以包括:
向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收服务器发送的N个第三预测结果;
基于N个图像,通过本地识别模型获取N个第四预测结果;
根据N个第三预测结果,对N个第四预测结果进行验证,得到针对N个图像的识别准确率;
若识别准确率大于或等于准确率阈值,则向T个终端发送模型调整参数,以使T个终端分别根据模型调整参数,对待训练模型的模型参数进行更新,得到T个识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
获取T个终端中的每个终端所对应的投票分值,其中,投票分值为根据识别模型的预测结果以及图像识别模型的预测结果确定的;
根据每个终端所对应的投票分值,确定综合识别分值;
若综合识别分值大于或等于识别分值阈值,则确定本地识别模型满足模型微调条件。
在一个或多个实施例中,介绍了另一种判定是否满足模型微调条件的方式。由前述实施例可知,目标终端在完成模型微调之后,还需要利用识别准确率评估微调的效果。识别准确率的计算方式可参阅前述实施例,此处不做赘述。
具体地,在识别准确率大于或等于准确率阈值的情况下,目标终端可以向具有关联关系的T个终端分别发送模型调整参数。由此,达到同步模型调整参数(即,微调结果)的目的,即,将目标终端的模型模型调整参数同步到其他同环境的终端。每个终端分别根据模型调整参数,对待训练模型进行微调,分别得到相应的识别模型。此外,各个终端基于同步投票机制,需要判断模型调整参数是否合适。如果模型调整参数合适,则终端可以投票赞成,反之,如果模型调整参数不合适,则终端可以投票反对。示例性地,投票赞成所对应的投票分值可设置为1,投票反对所对应的投票分值可设置为0。基于此,通过T个终端的投票分值可计算得到综合识别分值。利用综合识别分值判断本地识别模型是否满足模型微调条件。
在本申请中,同步投票机制用于在多个终端之间同步模型微调的结果。这种机制允许终端根据其模型调整参数的有效性进行投票,确定是否接受其他终端的微调方式。通过汇总投票分值,可以决定是否将微调方式反馈至服务器,以便融入图像识别模型的训练。
其次,本申请实施例中,提供了另一种判定是否满足模型微调条件的方式。通过上述方式,终端将模型优化后得到的模型调整参数同步给现场的其他终端,进一步提升了图像识别的准确度。同时,通过实现终端之间的微调结果的同步投票机制,得到终端能够自我学习并优化,提升了系统的智能化程度。基于终端之间的微调结果同步和投票机制,终端可根据现场环境信息进行实时优化,使得终端更好地适应环境变化,提升图像识别的效果。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据每个终端所对应的投票分值,确定综合识别分值,具体可以包括:
对T个终端的投票分值进行求和,得到投票总分值;
根据投票总分值与T值之间的比值,得到综合识别分值。
在一个或多个实施例中,介绍了一种基于投票分值确定综合识别分值的方式。由前述实施例可知,目标终端基于网络通信技术,将模型调整参数(即,微调结果)传输至T个终端。T个终端中的每个终端在接收到模型调整参数之后,需要分别根据模型调整参数对本地的待训练模型进行微调,并验证微调的效果。验证的方式包括比较微调前后的模型识别准确率,或者,对比微调后的识别模型与服务器端的图像识别模型的识别结果差异等。
基于此,终端根据微调效果进行投票,这个过程可采用多数投票法。由此,根据T个终端的投票结果,可以判断当前的模型调整参数是否值得被采纳。为了便于理解,请参阅图4,图4为本申请实施例中基于同步投票机制进行投票的一个交互流程示意图,如图所示,具体地:
在步骤C1中,目标终端将模型调整参数打包成一个信息包,并发送至终端B,其中,模型调整参数包括模型参数、梯度以及优化算法参数,其中,优化算法参数包含但不仅限于优化算法、学习率、迭代次数等。
在步骤C2中,目标终端将模型调整参数打包成一个信息包,并发送至终端C。
需要说明的是,步骤C1与步骤C2之间的执行顺序不进行限定。
在步骤C3中,终端B根据接收到的模型调整参数,对本地的待训练模型进行微调,得到识别模型。
在步骤C4中,终端C根据接收到的模型调整参数,对本地的待训练模型进行微调,得到识别模型。
需要说明的是,步骤C3与步骤C4之间的执行顺序不进行限定。
在步骤C5中,终端B基于微调后得到的识别模型进行性能测试。如果微调之后模型的性能提升了,则投票赞成。如果微调之后模型的性能降低了,则投票反对。例如,终端B将识别模型输出的预测结果与服务器基于图像识别模型输出的预测结果进行比对,由此,得到识别准确率,终端B根据识别准确率进行投票。
在步骤C6中,终端C基于微调后得到的识别模型进行性能测试。如果微调之后模型的性能提升了,则投票赞成。如果微调之后模型的性能降低了,则投票反对。例如,终端C将识别模型输出的预测结果与服务器基于图像识别模型输出的预测结果进行比对,由此,得到识别准确率,终端C根据识别准确率进行投票。
需要说明的是,步骤C5与步骤C6之间的执行顺序不进行限定。
在步骤C7中,如果终端B获得的识别准确率大于或等于准确率阈值,则终端B投票微调成功,由此,可得到投票分值为1分。反之,如果终端B获得的识别准确率小于准确率阈值,则终端B投票微调失败,由此,可得到投票分值为0分。
在步骤C8中,如果终端C获得的识别准确率大于或等于准确率阈值,则终端C投票微调成功,由此,可得到投票分值为1分。反之,如果终端C获得的识别准确率小于准确率阈值,则终端C投票微调失败,由此,可得到投票分值为0分。
需要说明的是,步骤C7与步骤C8之间的执行顺序不进行限定。
在步骤C9中,示例性地,一种方式为,终端B接收终端C发送的投票分值,并结合自己的投票分值计算得到综合识别分值。另一种方式为,终端B和终端C分别向目标终端发送自己的投票分值,由目标终端进行汇总计算,得到综合识别分值。然后,目标终端向终端B发送该综合识别分值。
在步骤C10中,示例性地,一种方式为,终端C接收终端B发送的投票分值,并结合自己的投票分值计算得到综合识别分值。另一种方式为,终端B和终端C分别向目标终端发送自己的投票分值,由目标终端进行汇总计算,得到综合识别分值。然后,目标终端向终端C发送该综合识别分值。
需要说明的是,步骤C9与步骤C10之间的执行顺序不进行限定。
在步骤C11中,如果综合识别分值大于或等于分值阈值(例如,0.5),则表示大部分终端投票赞成,因此,终端B可接受该微调方式。如果综合识别分值小于分值阈值,则表示大部分终端投票反对,因此,终端B不采纳本次微调方式。
在步骤C12中,如果综合识别分值大于或等于分值阈值(例如,0.5),则表示大部分终端投票赞成,因此,终端C可接受该微调方式。如果综合识别分值小于分值阈值,则表示大部分终端投票反对,因此,终端C不采纳本次微调方式。
下面将结合具体示例介绍多数投票法。假设终端B的投票分值为1,终端C的投票分值为0,那么投票总分值为1(即,1+0=1)。根据投票总分值与T值之间的比值,计算得到综合识别分值。在本实施例中,T为2,基于此,得到综合识别分值为0.5。
再次,本申请实施例中,提供了一种基于投票分值确定综合识别分值的方式。通过上述方式,具有关联关系的各个终端分别对微调结果(即,模型调整参数)进行投票,并对投票分值进行求平均,以此作为作为衡量是否接受微调方式的依据。从而为方案的实现提供了具体可行的方式。由此,提升方案的可行性和可操作性。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据每个终端所对应的投票分值,确定综合识别分值,具体可以包括:
获取T个终端中的每个终端所对应的权重参数集合,其中,权重参数集合包括设备权重、环境权重以及偏好权重中的至少一项;
针对T个终端中的每个终端,采用终端的权重参数集合,对终端的投票分值进行加权,得到终端的投票加权分值;
根据T个终端中的每个终端所对应的投票加权分值,确定综合识别分值。
在一个或多个实施例中,介绍了另一种基于投票分值确定综合识别分值的方式。由前述实施例可知,目标终端基于网络通信技术,将模型调整参数(即,微调结果)传输至T个终端。T个终端中的每个终端在接收到模型调整参数之后,需要分别根据模型调整参数对本地的待训练模型进行微调,并验证微调的效果。
基于此,终端根据微调效果进行投票,这个过程可采用权重投票法。由此,根据T个终端的投票结果,可以判断当前的模型调整参数是否值得被采纳。其中,权重投票法需要考虑到每个终端所对应的权重参数集合,权重参数集合包括设备权重、环境权重以及偏好权重中的至少一项。为了便于理解,请参阅图5,图5为本申请实施例中基于同步投票机制进行投票的另一个交互流程示意图,如图所示,具体地:
本实施例中的步骤D1至步骤D8与前述图4所示实施例中的步骤C1至步骤C8类似,具体此处不再赘述。
在步骤D9中,示例性地,一种方式为,终端B根据自己的投票分值以及权重参数集合,计算得到投票加权分值。另一种方式为,终端B向目标终端发送自己的投票分值以及权重参数集合,由目标终端根据终端B发送的投票分值以及权重参数集合,计算得到终端B的投票加权分值。
在步骤D10中,示例性地,一种方式为,终端C根据自己的投票分值以及权重参数集合,计算得到投票加权分值。另一种方式为,终端C向目标终端发送自己的投票分值以及权重参数集合,由目标终端根据终端C发送的投票分值以及权重参数集合,计算得到终端B的投票加权分值。
需要说明的是,步骤D9与步骤D10之间的执行顺序不进行限定。
在步骤D11中,示例性地,一种方式为,终端B接收终端C发送的投票加权分值,并结合自己的权重参数集合以及终端C的权重参数集合,计算得到综合识别分值。另一种方式为,终端B和终端C分别向目标终端发送自己的投票加权分值,由目标终端进行汇总计算,得到综合识别分值。然后,目标终端向终端B发送该综合识别分值。
在步骤D12中,示例性地,一种方式为,终端C接收终端B发送的投票加权分值,并结合自己的权重参数集合以及终端B的权重参数集合,计算得到综合识别分值。另一种方式为,终端B和终端C分别向目标终端发送自己的投票加权分值,由目标终端进行汇总计算,得到综合识别分值。然后,目标终端向终端C发送该综合识别分值。
需要说明的是,步骤D11与步骤D12之间的执行顺序不进行限定。
本实施例中的步骤D13至步骤D14与前述图4所示实施例中的步骤C11至步骤C12类似,具体此处不再赘述。
下面将结合具体示例介绍权重投票法。假设权重参数集合包括设备权重、环境权重以及偏好权重。其中,设备权重可根据终端的性能和历史预测准确度等因素来决定。例如,终端性能越好,则设备权重越高。环境权重可根据终端所在的现场环境来决定。例如,终端所在的现场环境光线过强或者过弱,则环境权重越高,而光线强度在光线强度区间内,则环境权重越低。偏好权重可根据终端对不同优化算法参数的偏好来决定。例如,终端采用的优化算法参数与目标终端的优化算法参数一致,则偏好权重较高。
可以理解的是,设备权重、环境权重以及偏好权重的调节方式可根据实际情况进行灵活调整,此处仅为一个示意,不应理解为对本申请的限定。
基于此,可采用如下方式计算针对终端B和终端C的综合识别分值:
其中,表示综合识别分值。/>表示终端B的设备权重。/>表示终端C的设备权重。/>表示终端B的投票分值,例如,1或0。/>表示终端C的投票分值。/>表示终端B的环境权重。/>表示终端C的环境权重。/>表示终端B的偏好权重。/>表示终端C的偏好权重。/>表示终端B的投票加权分值。/>表示终端C的投票加权分值。
再次,本申请实施例中,提供了另一种基于投票分值确定综合识别分值的方式。通过上述方式,具有关联关系的各个终端分别对微调结果(即,模型调整参数)进行投票,并引入各个终端的权重参数对投票分值进行计算,以此作为作为衡量是否接受微调方式的依据。不仅为方案的实现提供了具体可行的方式,而且考虑到不同终端在性能方面的差异,从而能够更全面对于微调结果进行投票。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,向T个终端发送模型调整参数之前,还可以包括:
若目标终端与至少一个终端处于相同的位置区域内,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
若目标终端与至少一个终端设置有相同的绑定对象,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
若目标终端与至少一个终端连接至相同的接入点,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端。
在一个或多个实施例中,介绍了三种建立终端之间关联关系的方式。由前述实施例可知,目标终端与T个终端具有关联关系,基于此,目标终端可以与T个终端分别进行通信。下面将结合示例,说明构建终端之间关联方式的三种方式。
方式一、基于地理位置;
具体地,将属于同一个位置区域内的终端作为互相具有关联关系的终端。可以理解的是,同一个位置区域具体可以是行政区域,例如,省级行政区、地级行政区、县级行政区或乡级行政区。也可以是自定义区域,例如,小区、学校或写字楼等。需要说明的是,终端具有定位功能,用户可以将位于相同地理区域的终端建立关联关系。
为了便于理解,请参阅图6,图6为本申请实施例中建立终端之间关联关系的一个示意图,如图所示,将小区作为一个位置区域,即,小区A中的终端A、终端B和终端C互相具有关联关系。小区B中的终端D、终端E和终端F互相具有关联关系。而小区A中的各个终端与小区B中的各个终端不具有关联关系。因此,假设目标终端为终端A,那么T个终端包括终端B和终端C。
方式二、基于绑定关系;
具体地,用户可以自定义终端之间的绑定关系。例如,每个终端可设置一个商户标识,基于此,可以将具有相同商户标识的终端进行绑定。
为了便于理解,请参阅图7,图7为本申请实施例中建立终端之间关联关系的另一个示意图,如图所示,以A商场为例,假设A商场在北京和深圳都有分店,那么北京A商场中的终端A、终端B和终端C,与深圳A商场的终端D、终端E和终端F互相具有关联关系。因此,假设目标终端为终端A,那么T个终端包括终端B、终端C、终端D、终端E和终端F。
方式三、基于网络连接;
具体地,将连接至同一个接入点的各个终端建立关联关系。其中,接入点可以是无线热点(例如,移动热点(wireless fidelity,WiFi)等),也可以是有线接入点。
为了便于理解,请参阅图8,图8为本申请实施例中建立终端之间关联关系的另一个示意图,如图所示,终端A、终端B和终端C连接至同一个接入点,因此,这三个终端相具有关联关系。假设目标终端为终端A,那么T个终端包括终端B以及终端C。
再次,本申请实施例中,提供了三种建立终端之间关联关系的方式。通过上述方式。可根据实际需求,建立多个终端之间的关联关系,使得这些终端能够作为一个集群进行相应的处理(例如,投票、状态监测等)。从而增加了方案实现的灵活性。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,确定本地识别模型满足模型微调条件之后,还可以包括:
获取待测试图像;
基于待测试图像,通过本地识别模型获取第五预测结果;
获取来源于T个终端的T个第六预测结果,其中,每个第六预测结果为终端基于待测试图像,通过识别模型获取到的;
若根据第五预测结果以及T个第六预测结果,确定已处于模型稳定状态,则执行相应业务。
在一个或多个实施例中,介绍了一种基于多个已关联终端进行模型状态监测的方式。由前述实施例可知,基于目标终端以及T终端,服务器还可以监测和评估各个终端的状态,以判断这些终端是否已经完成了模型的微调,并且微调后的模型是否已经稳定。
示例性地,监测和评估终端的状态主要包括模型的微调状态以及终端的操作状态等。即,终端需要能够向服务器定期发送状态报告,报告内容包括当前的微调状态(例如,正在微调或已完成微调等)、操作状态(例如,正常运行或故障)等。服务器根据这些报告可以了解终端的状态。
评估模型是否已经稳定通常可以通过比较模型对于同一个图像(即,待测试图像)的识别结果来实现。例如,目标终端将待测试图像作为本地识别模型的输入,通过本地识别模型获得第五预测结果。其他T终端分别将待测试图像作为识别模型的输入,通过识别模型获得第六预测结果。如果第五预测结果和T个第六预测结果都是相同的或者相近的,则认为已处于模型稳定状态。如果第五预测结果和T个第六预测结果差异较大,则可能需要继续进行微调。
可以理解的是,在实际应用中,可以由服务器对第五预测结果和T个第六预测结果进行比较。基于此,服务器根据终端的状态可以判断现场终端是否已经完成微调,并且根据第五预测结果和T个第六预测结果判断已处于模型稳定状态。如果满足这两个条件,则认为现场已经开始进行相应业务。反正,则可能需要继续进行模型微调或者对终端进行维修。
需要说明的是,如果第五预测结果和T个第六预测结果所包括的预测类别相同,且,类别分值之差的绝对值小于或等于某个阈值(例如,0.2),则认为预测结果相近。
为了便于理解,请参阅图9,图9为本申请实施例中数据处理方法的一个整体流程示意图,如图所示,具体地:
在步骤E1中,目标终端训练并部署目标待训练模型。
在步骤E2中,目标终端可通过摄像头或者光线感应器等,获取现场环境信息。
在步骤E3中,目标终端图像采集装置采集到的K个图像,于是,利用K个图像所构建的微调训练集,并在当前的现场环境信息下,对目标待训练模型进行微调,得到的本地识别模型。
在步骤E4中,将本地识别模型的预测结果与服务器端的图像识别模型的预测结果进行比较。
在步骤E5中,如果本地识别模型的预测结果与图像识别模型的预测结果相同或者相近,则目标终端将模型调整参数同步至同环境的T个终端。
在步骤E6中,同环境的T个终端分别利用模型调整参数,对本地的待训练模型进行微调,得到识别模型。
在步骤E7中,T个终端中的每个终端根据微调后的模型性能变化进行投票,并基于投票情况计算得到综合识别分值。根据综合识别分值的大小,判断T个终端是否接受本次微调,若是,则执行步骤E8。若否,则执行步骤E9。
在步骤E8中,如果T个终端接受本次微调,则目标终端向服务器上报模型调整参数。
在步骤E9中,如果T个终端不接受本次微调,则保持现有的模型不变。
在步骤E10中,服务器根据目标终端上报的模型调整参数再次进行模型训练。
在步骤E11中,服务器监测和评估各个终端的状态以及微调后的模型性能。
在步骤E12中,服务器判断当前是否处于模型稳定状态,若是,则执行步骤E13。若狗,则执行步骤E14。
在步骤E13中,如果已处于模型稳定状态,则终端与服务器可执行相应的日常业务。
在步骤E14中,如果未处于模型稳定状态,则终端与服务器继续对模型进行微调。
再次,本申请实施例中,提供了一种基于多个已关联终端进行模型状态监测的方式。通过上述方式,多个已关联终端还可以监测和评估现场各个设备的状态,以判断这些设备是否已经完成模型微调,并且判断微调后的模型是否已经稳定。基于此,可根据判断情况维护系统正常运行,同时,也便于后台实时了解现场终端的状态,以此帮助后台及时发现和处理异常问题。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据每个终端所对应的投票分值,确定综合识别分值之后,还可以包括:
若本地识别模型未满足模型微调条件,则向T个终端中的终端发送模型微调请求,以使终端根据模型微调请求,对待训练模型的模型参数进行更新,得到识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
接收终端发送的模型调整参数;
采用终端发送的模型调整参数,对目标待训练模型的模型参数进行更新。
在一个或多个实施例中,介绍了一种未满足模型微调条件的训练方式。由前述实施例可知,在本地识别模型未满足模型微调条件的情况下,目标终端还可以从T个终端中随机选择一个终端,并向该终端发送模型微调请求。
具体地,假设“终端A”接收到模型微调请求,于是,“终端A”可以对本地的待训练模型进行微调。然后,“终端A”将微调后得到的模型调整参数发送至同现场的其他终端,其中,包括目标终端。基于此,目标终端使用“终端A”发送的模型调整参数,重新对目标待训练模型的进行微调。或者,目标终端也使用“终端A”发送的模型调整参数,对本地识别模型继续进行微调。
其次,本申请实施例中,提供了一种未满足模型微调条件的训练方式。通过上述方式,如果本地识别模型未满足模型微调条件,则还可以在同现场的终端中选择另一个终端进行微调处理,并基于该终端微调后得到的模型调整参数,继续对同现场的其他终端进行微调。从而能够持续地对模型进行微调。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,还可以包括:
在本地识别模型满足模型微调条件的情况下,通过图像采集装置拍摄得到目标图像;
基于目标图像,通过本地识别模型获取目标预测结果,其中,目标预测结果包括目标预测类别以及目标类别分值;
若目标预测结果中的目标类别分值大于或等于类别分值阈值,则确定目标图像属于目标预测类别。
在一个或多个实施例中,介绍了一种在终端本地进行图像识别的方式。由前述实施例可知,在本地识别模型满足模型微调条件的情况下,目标终端可使用该本地识别模型进行图像识别。下面将以目标终端为例进行说明,在实际应用中,其他终端也可以类型方式进行图像识别,此处不做赘述。
具体地,目标终端通过图像采集装置拍摄得到若干个图像,并从中选择一张质量较高的图像作为目标图像。以识别掌纹图像为例,对于采集到的若干个图像进行图像质量评估、图像增强以及掌纹区域的精确定位。示例性地,可用图像处理技术(例如,边缘检测、阈值分割等)进行掌纹区域的提取和定位。同时,通过图像清晰度评估方法(例如,梯度方法、频域分析方法等)选择清晰度高,且掌纹特征明显的图像进行后续的识别处理。
在获得目标图像之后,会通过本地识别模型进行识别,以得到目标预测结果,其中,目标预测结果包括目标预测类别以及目标类别分值。目标预测类别为预测得到的类别,而目标类别分值表示预测为该类别的分值,目标类别分值越高,表示图像被预测为该目标预测类别的概率越大。基于此,如果目标类别分值大于或等于类别分值阈值(例如,0.90),则目标终端可确定目标图像属于目标预测类别,由此,可执行相应的业务(例如,支付业务、门禁业务等)。
示例性地,一种情况下,本地识别模型可输出目标图像所对应的类别概率分布。将类别概率分布中最大概率值所对应的类别作为目标图像的目标预测类别,并将该最大概率值作为目标类别分值。另一种情况下,本地识别模型可提取目标图像的特征向量,然后,将提取到的特征向量与数据库中已有的特征向量进行匹配,例如,采用k最邻近分类(k-nearest neighbors,KNN)算法进行特征匹配。由此,将相似度最高的特征向量所对应的类别作为目标图像的目标预测类别,并将最高相似度作为目标类别分值。其中,特征向量之间的相似度可采用余弦相似度。
其次,本申请实施例中,提供了一种在终端本地进行图像识别的方式。通过上述方式,终端可利用本地识别模型对采集到的图像进行识别。由此,一方面能够减轻服务器端的数据处理压力,另一方面还可以提升识别效率,并且不依赖于网络环境。
可选地,在上述图3对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,基于目标图像,通过本地识别模型获取目标预测结果之后,还可以包括:
若目标预测结果中的目标类别分值小于类别分值阈值,则向服务器发送目标图像,以使服务器基于目标图像,通过图像识别模型获取图像识别结果;
接收服务器发送的图像识别结果。
在一个或多个实施例中,介绍了一种在服务器端进行图像识别的方式。由前述实施例可知,终端利用本地识别模型对目标图像进行识别之后,如果得到的目标类别分值小于类别分值阈值(例如,0.90),则目标终端可向服务器发送该目标图像。
具体地,服务器接收到目标图像之后,可调用图像识别模型对该目标图像进行识别,由此,得到图像识别结果。于是,服务器向目标终端发送图像识别结果,其中,图像识别结果包括目标图像的预测类别以及类别分值。基于此,目标终端根据图像识别结果中的预测类别,可执行相应的业务(例如,支付业务、门禁业务等)。
示例性地,一种情况下,图像识别模型可输出目标图像所对应的类别概率分布。将类别概率分布中最大概率值所对应的类别作为目标图像的预测类别,并将该最大概率值作为预测类别的类别分值。另一种情况下,图像识别模型可提取目标图像的特征向量,然后,将提取到的特征向量与数据库中已有的特征向量进行匹配。由此,将相似度最高的特征向量所对应的类别作为目标图像的预测类别,并将最高相似度作为预测类别的类别分值。
再次,本申请实施例中,提供了一种在服务器端进行图像识别的方式。通过上述方式,如果终端本地无法预测出图像所属的类别,那么终端还可以请求服务器对该图像进行预测。由于服务器端的模型具有更好的识别能力,因此,能够提升图像识别的成功率和准确性。
结合上述介绍,下面将以服务器角度对本申请中数据处理的方法进行介绍,请参阅图10,本申请实施例中数据处理的方法可以由服务器独立完成,也可以由服务器与至少一个终端配合完成,本申请方法包括:
310、接收目标终端发送的K个图像,其中,K个图像为目标终端通过采集装置拍摄得到的,K为大于或等于1的整数;
在一个或多个实施例中,目标终端调用图像采集装置拍摄当前环境下的若干个图像,得到K个图像。服务器接收目标终端发送的K个图像,
320、基于K个图像,通过图像识别模型获取K个第一预测结果;
在一个或多个实施例中,服务器将K个图像中的每个图像分别输入至图像识别模型,通过图像识别模型输出每个图像的第一预测结果,由此,得到K个第一预测结果。
本实施例中的步骤320与前述图3所示实施例中的步骤220类似,具体此处不再赘述。
330、向目标终端发送K个第一预测结果,以使目标终端根据K个图像以及K个第一预测结果构建微调训练集,基于K个图像,通过目标待训练模型获取K个第二预测结果,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
在一个或多个实施例中,服务器向目标终端发送K个第一预测结果,基于此,目标终端可以利用K个图像以及K个第一预测结果进行模型训练。
本实施例中的步骤330与前述图3所示实施例中的步骤230至250类似,具体此处不再赘述。
340、若本地识别模型满足模型微调条件,则接收目标终端发送的模型调整参数;
在一个或多个实施例中,如果本地识别模型满足模型微调条件,那么目标终端向服务器发送模型调整参数。
350、在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
在一个或多个实施例中,服务器综合不同终端上传的模型调整参数,得到模型调整参数集合。基于此,服务器使用模型调整参数集合对图像识别模型的模型参数进行更新,即,对图像识别模型进行微调。
本实施例中的步骤340至350与前述图3所示实施例中的步骤260类似,具体此处不再赘述。
本申请实施例中,提供了一种数据处理的方法。通过上述方式,终端基于现场环境采集到的图像,可对本地的模型进行微调,并将微调后的目标参数上报给服务器。服务器综合各个终端上报的参数集合,对图像识别模型进行更新。由此,不仅使得图像识别模型能够适用各种特定的现场环境,从而提升模型识别的精度,而且节省了服务器的处理资源,提升模型学习的效率。
可选地,在上述图10对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,具体可以包括:
获取来源于至少一个终端的模型调整参数集合;
根据每个终端所对应的综合识别分值,对模型调整参数集合进行加权处理,得到加权后的模型调整参数集合;
采用加权后的模型调整参数集合,对图像识别模型的模型参数进行更新。
在一个或多个实施例中,介绍了一种基于微调投票结果设置影响权重的方式。由前述实施例可知,服务器接收来自不同现场的终端发送的模型调整参数,然后基于每个终端所对应的综合识别分值,判断是否接受其发送的模型调整参数。可以理解的是,综合识别分值的计算方式在前述实施例中已描述,此处不做赘述。如果服务器接受模型调整参数,则将模型调整参数融入至图像识别模型进行训练。
具体地,服务器开放一个接口,用于接收终端发送的模型调整参数以及投票分值(或,综合识别分值)。如果服务器接收到的是投票分值,则还进一步计算得到综合识别分值。在综合识别分值大于或等于分值阈值(例如,0.5)的情况下,表示大部分终端投票赞成,因此,服务器也接受该模型调整参数。在综合识别分值小于分值阈值的情况下,表示大部分终端投票反对,因此,服务器不采纳该模型调整参数。进一步地,如果服务器接受了模型调整参数,那么还可以根据综合识别分值,对模型调整参数进行加权。
示例性地,假设“终端A”上报了一组模型调整参数,且,根据与“终端A”具有关联关系的若干个终端的投票分值,计算得到综合识别分值为“0.8”。“终端B”上报了一组模型调整参数,且,根据与“终端B”具有关联关系的若干个终端的投票分值,计算得到综合识别分值为“0.3”。“终端C”上报了一组模型调整参数,且,根据与“终端C”具有关联关系的若干个终端的投票分值,计算得到综合识别分值为“0.9”。假设分值阈值为0.5,那么“终端B”上报的模型调整参数将不予以采纳。“终端A”上报的模型调整参数对于图像识别模型的微调影响度为“0.8”,使用“0.8”对该模型调整参数进行加权,得到加权后的模型调整参数。“终端C”上报的模型调整参数对于图像识别模型的微调影响度为“0.9”,使用“0.9”对该模型调整参数进行加权,得到加权后的模型调整参数。可见,“终端C”上报的模型调整参数对于图像识别模型的微调影响更大。
其次,本申请实施例中,提供了一种基于微调投票结果设置影响权重的方式。通过上述方式,由于每个终端对于现场环境感知可能有所不同,微调的结果也会有所差异。因此,服务器根据来源于不同环境的终端上报的综合识别分值和模型调整参数,对图像识别模型进行微调。从而使得服务器端的图像识别模型能够吸收不同的微调结果,从而改进并增强模型的识别能力。
可选地,在上述图10对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,具体可以包括:
在获得来源于至少一个终端的模型参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型参数集合包括模型调整参数,模型调整参数为模型参数;
或者,
在获得来源于至少一个终端的梯度集合的情况下,对图像识别模型的模型参数进行更新,其中,梯度集合包括模型调整参数,模型调整参数为梯度;
或者,
在获得来源于至少一个终端的优化算法参数集合的情况下,对图像识别模型的模型参数进行更新,其中,优化算法参数集合包括模型调整参数,模型调整参数为优化算法参数。
在一个或多个实施例中,介绍了三种基于模型调整参数集合训练图像识别模型的方式。由前述实施例可知,模型调整参数包含但不仅限于模型参数、梯度以及优化算法参数。基于此,服务器根据模型调整参数,可对图像识别模型进行微调。
一、基于模型参数;
具体地,模型调整参数集合可以是模型参数集合。即,来自不同环境的各个终端可以分别向服务器上报模型参数。示例性地,服务器可以采用模型融合策略,对这些模型参数进行融合,并使用融合后的模型参数实现对图像识别模型的微调。
需要说明的是,模型融合策略包含但不仅限于堆叠(stacking)策略、提升(boosting)策略以及引导聚集(bootstrap aggregating,Bagging)等。
二、基于梯度;
具体地,模型调整参数集合可以是梯度集合。即,来自不同环境的各个终端可以分别向服务器上报梯度。示例性地,服务器可以对这些梯度进行求平均,得到梯度平均值。基于此,服务器可使用梯度平均值,对图像识别模型进行微调。
三、基于优化算法参数;
具体地,模型调整参数集合可以是优化算法参数集合,其中,优化算法参数包含但不仅限于优化算法、学习率以及迭代次数等。来自不同环境的各个终端可以分别向服务器上报优化算法参数。示例性地,服务器可以对这些优化算法参数进行汇总,并使用出现频率最高的优化算法参数对图像识别模型进行微调。
可以理解的是,服务器还可根据终端上报的微调方式,选择其中一种进行训练。例如,微调方式是通过修改模型参数,则可以直接使用更新后的模型参数进行训练。又例如,如果微调的方式是通过改变优化算法参数,那么可以在训练大模型时使用优化算法参数。
其次,本申请实施例中,提供了一种基于模型调整参数集合训练图像识别模型的方式。通过上述方式,来自不同环境的各个终端可以分别向服务器上报模型调整参数,服务器根据模型调整参数的具体内容,对图像识别模型进行微调。由此,提升了模型训练方式的灵活性和多样性。
可选地,在上述图10对应的一个或多个实施例的基础上,本申请实施例提供的另一个可选实施例中,在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新之后,还可以包括:
向至少一个终端发送图像识别模型的模型调整参数,以使至少一个终端中的每个终端使用图像识别模型的模型调整参数,对识别模型的模型参数进行更新。
在一个或多个实施例中,介绍了一种基于图像识别模型对其他识别模型进行更新的方式。由前述实施例可知,服务器可以向不同环境中的终端发送图像识别模型的模型调整参数,使得这些终端可以使用该模型调整参数,对识别模型进行微调。可以理解的是,基于模型调整参数进行微调的方式可参阅前述实施例,此处不做赘述。
具体地,为了便于理解,请参阅图11,图11为本申请实施例中终端与服务器进行数据处理的一个框架示意图,如图所示,以目标终端为例,目标终端包括F1所指示的本地识别模块、F2所指示的基于现场环境信息的自动微调模块、F3所指示的多终端状态监测模块以及F4所指示的同现场多终端模型微调同步模块。服务器包括F5所指示的现场微调影响模块以及F6所指示的图像识别模型。
在模型微调过程中,本地识别模块可以将现场环境信息发送至基于现场环境信息的自动微调模块,由基于现场环境信息的自动微调模块根据现场环境信息以及微调训练集,对本地的目标待训练模型进行微调。
在状态监测过程中,本地识别模块还可以将目标终端的终端状态发送至多终端状态监测模块,多终端状态监测模块向本地识别模块反馈模型稳定状态。
在多终端同步微调结果的过程中,基于现场环境信息的自动微调模块向同现场多终端模型微调同步模块发送模型调整参数,使得其他终端可使用该模型调整参数对本地的待训练模型进行微调,并反馈相应的微调结果。
在服务器同步微调结果的过程中,同现场多终端模型微调同步模块将各个终端的投票结果反馈至服务器端的现场微调影响模块,现场微调影响模块根据投票结果,获得综合识别分值。如果服务器根据综合识别分值,确定接受目标终端上报的模型调整参数,则可以利用模型调整参数,对图像识别模型进行微调,再将图像识别模型微调后得到的模型调整参数下发至目标终端。
其次,本申请实施例中,提供了一种基于图像识别模型对其他识别模型进行更新的方式。通过上述方式,服务器端还可将微调后的模型调整参数下发给各个终端,使得终端基于模型调整参数,对本地的模型进行微调。从而达到模型持续学习和优化的效果,整体上提升图像识别的精度和效率。
下面对本申请中的数据处理装置进行详细描述,请参阅图12,图12为本申请实施例中数据处理装置的一个实施例示意图,数据处理装置40包括:
拍摄模块410,用于通过图像采集装置拍摄得到K个图像,其中,K为大于或等于1的整数;
发送模块420,用于向服务器发送K个图像,以使服务器基于K个图像,通过图像识别模型获取K个第一预测结果;
获取模块430,用于根据K个图像以及服务器发送的K个第一预测结果,构建微调训练集,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
获取模块430,还用于基于K个图像,通过目标待训练模型获取K个第二预测结果;
更新模块440,用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数;
发送模块420,还用于若本地识别模型满足模型微调条件,则向服务器发送模型调整参数,以使服务器根据来源于至少一个终端的模型调整参数集合,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,数据处理装置40还包括接收模块450;
发送模块420,还用于向服务器发送模型训练请求,以使服务器根据模型训练请求,确定应用于目标终端的训练数据集;
接收模块450,用于接收服务器发送的初始训练集,其中,初始训练集包括M组初始训练数据,每组初始训练数据包括图像以及图像的标注结果;
获取模块430,还用于基于初始训练集所包括的M个图像,通过初始识别模型获取M个初始预测结果,其中,每个初始预测结果包括图像的预测类别以及类别分值;
更新模块440,还用于根据M个初始预测结果以及初始训练集,对初始识别模型的模型参数进行更新,得到目标待训练模型。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,数据处理装置40还包括处理模块460;
获取模块430,还用于通过图像采集装置拍摄得到K个图像之前,获取目标终端所处的现场环境信息,其中,现场环境信息包括光线强度以及背景噪声中的至少一项;
处理模块460,用于若现场环境信息所包括的光线强度未在光线强度区间之内,则响应于针对图像采集装置的第一调节操作,对图像采集装置的第一应用参数进行调整,其中,第一应用参数包括快门速度、感光度参数以及曝光补偿参数中的至少一项;
处理模块460,还用于若现场环境信息所包括的背景噪声大于或等于背景噪声阈值,则响应于针对图像采集装置的第二调节操作,对图像采集装置的第二应用参数进行调整,其中,第二应用参数包括锐度参数、感光度参数以及降噪参数中的至少一项。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,数据处理装置40还包括确定模块470;
发送模块420,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收模块450,还用于接收服务器发送的N个第三预测结果;
获取模块430,还用于基于N个图像,通过本地识别模型获取N个第四预测结果;
处理模块460,还用于根据N个第三预测结果,对N个第四预测结果进行验证,得到N个图像的识别准确率;
确定模块470,还用于若识别准确率大于或等于准确率阈值,则确定本地识别模型满足模型微调条件。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
发送模块420,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,向服务器发送通过图像采集装置拍摄得到的N个图像,以使服务器基于N个图像,通过图像识别模型获取N个第三预测结果,其中,N为大于或等于1的整数;
接收模块450,还用于接收服务器发送的N个第三预测结果;
获取模块430,还用于基于N个图像,通过本地识别模型获取N个第四预测结果;
处理模块460,还用于根据N个第三预测结果,对N个第四预测结果进行验证,得到针对N个图像的识别准确率;
发送模块420,还用于若识别准确率大于或等于准确率阈值,则向T个终端发送模型调整参数,以使T个终端分别根据模型调整参数,对待训练模型的模型参数进行更新,得到T个识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
获取模块430,还用于获取T个终端中的每个终端所对应的投票分值,其中,投票分值为根据识别模型的预测结果以及图像识别模型的预测结果确定的;
确定模块470,还用于根据每个终端所对应的投票分值,确定综合识别分值;
确定模块470,还用于若综合识别分值大于或等于识别分值阈值,则确定本地识别模型满足模型微调条件。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
确定模块470,具体用于对T个终端的投票分值进行求和,得到投票总分值;
根据投票总分值与T值之间的比值,得到综合识别分值。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
确定模块470,具体用于获取T个终端中的每个终端所对应的权重参数集合,其中,权重参数集合包括设备权重、环境权重以及偏好权重中的至少一项;
针对T个终端中的每个终端,采用终端的权重参数集合,对终端的投票分值进行加权,得到终端的投票加权分值;
根据T个终端中的每个终端所对应的投票加权分值,确定综合识别分值。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
确定模块470,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端处于相同的位置区域内,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
确定模块470,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端设置有相同的绑定对象,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端;
或者,
确定模块470,还用于向T个终端发送模型调整参数之前,若目标终端与至少一个终端连接至相同的接入点,则确定至少一个终端与目标终端具有关联关系,并将至少一个终端作为T个终端。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
获取模块430,还用于确定本地识别模型满足模型微调条件之后,获取待测试图像;
获取模块430,还用于基于待测试图像,通过本地识别模型获取第五预测结果;
获取模块430,还用于获取来源于T个终端的T个第六预测结果,其中,每个第六预测结果为终端基于待测试图像,通过识别模型获取到的;
处理模块460,还用于若根据第五预测结果以及T个第六预测结果,确定已处于模型稳定状态,则执行相应业务。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
发送模块420,还用于根据每个终端所对应的投票分值,确定综合识别分值之后,若本地识别模型未满足模型微调条件,则向T个终端中的终端发送模型微调请求,以使终端根据模型微调请求,对待训练模型的模型参数进行更新,得到识别模型,其中,T个终端与目标终端具有关联关系,T为大于或等于1的整数;
接收模块450,还用于接收终端发送的模型调整参数;
更新模块440,还用于采用终端发送的模型调整参数,对目标待训练模型的模型参数进行更新。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
拍摄模块410,还用于根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数之后,在本地识别模型满足模型微调条件的情况下,通过图像采集装置拍摄得到目标图像;
获取模块430,还用于基于目标图像,通过本地识别模型获取目标预测结果,其中,目标预测结果包括目标预测类别以及目标类别分值;
确定模块470,还用于若目标预测结果中的目标类别分值大于或等于类别分值阈值,则确定目标图像属于目标预测类别。
可选地,在上述图12所对应的实施例的基础上,本申请实施例提供的数据处理装置40的另一实施例中,
发送模块420,还用于基于目标图像,通过本地识别模型获取目标预测结果之后,若目标预测结果中的目标类别分值小于类别分值阈值,则向服务器发送目标图像,以使服务器基于目标图像,通过图像识别模型获取图像识别结果;
接收模块450,还用于接收服务器发送的图像识别结果。
下面对本申请中的数据处理装置进行详细描述,请参阅图13,图13为本申请实施例中数据处理装置的一个实施例示意图,数据处理装置50包括:
接收模块510,用于接收目标终端发送的K个图像,其中,K个图像为目标终端通过采集装置拍摄得到的,K为大于或等于1的整数;
获取模块520,用于基于K个图像,通过图像识别模型获取K个第一预测结果;
发送模块530,用于向目标终端发送K个第一预测结果,以使目标终端根据K个图像以及K个第一预测结果构建微调训练集,基于K个图像,通过目标待训练模型获取K个第二预测结果,根据K个第二预测结果以及微调训练集,对目标待训练模型的模型参数进行更新,得到本地识别模型以及本地识别模型所对应的模型调整参数,其中,微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及图像的第一预测结果;
接收模块510,还用于若本地识别模型满足模型微调条件,则接收目标终端发送的模型调整参数;
更新模块540,用于在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型调整参数集合包括模型调整参数。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的数据处理装置50的另一实施例中,
更新模块540,具体用于获取来源于至少一个终端的模型调整参数集合;
根据每个终端所对应的综合识别分值,对模型调整参数集合进行加权处理,得到加权后的模型调整参数集合;
采用加权后的模型调整参数集合,对图像识别模型的模型参数进行更新。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的数据处理装置50的另一实施例中,
更新模块540,具体用于在获得来源于至少一个终端的模型参数集合的情况下,对图像识别模型的模型参数进行更新,其中,模型参数集合包括模型调整参数,模型调整参数为模型参数;
或者,
在获得来源于至少一个终端的梯度集合的情况下,对图像识别模型的模型参数进行更新,其中,梯度集合包括模型调整参数,模型调整参数为梯度;
或者,
在获得来源于至少一个终端的优化算法参数集合的情况下,对图像识别模型的模型参数进行更新,其中,优化算法参数集合包括模型调整参数,模型调整参数为优化算法参数。
可选地,在上述图13所对应的实施例的基础上,本申请实施例提供的数据处理装置50的另一实施例中,
发送模块530,还用于在获得来源于至少一个终端的模型调整参数集合的情况下,对图像识别模型的模型参数进行更新之后,向至少一个终端发送图像识别模型的模型调整参数,以使至少一个终端中的每个终端使用图像识别模型的模型调整参数,对识别模型的模型参数进行更新。
图14是本申请实施例计算机设备60的结构示意图。计算机设备60可包括输入设备610、输出设备620、处理器630以及存储器640。其中,本申请实施例中的输出设备620可以是显示设备。
存储器640可以包括只读存储器和随机存取存储器,并向处理器630提供指令和数据。存储器640的一部分还可以包括非易失性随机访问存储器(non-volatile randomaccess memory,NVRAM)。
存储器640存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
操作指令:包括操作指令,用于实现操作。
操作系统:包括系统程序,用于实现基础业务以及处理基于硬件的任务。
处理器630控制计算机设备60执行操作。其中,处理器630还可以称为中央处理单元(central processing unit,CPU)。
在具体的应用中,计算机设备60的各个组件通过总线系统650耦合在一起,其中,总线系统650除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。为了便于表述,在图中将各种总线都标为总线系统650。
本申请实施例提供的方法可应用于处理器630中,或由处理器630实现。处理器630可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器630中的硬件形式的集成逻辑电路或者软件形式的指令完成。处理器630可以是通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或是其他常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为由处理器中的硬件执行完成,或者由处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。存储介质位于存储器640,处理器630读取存储器640中的信息,结合其硬件完成上述方法的步骤。
上述实施例中由终端或服务器所执行的步骤可以基于该图14所示的计算机设备结构。
本申请实施例中还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现前述各个实施例描述方法的步骤。
本申请实施例中还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,实现前述各个实施例描述方法的步骤。
可以理解的是,在本申请的具体实施方式中,涉及到掌纹信息、虹膜信息、人脸信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是服务器或终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (20)

1.一种数据处理的方法,其特征在于,包括:
通过图像采集装置拍摄得到K个图像,其中,所述K为大于或等于1的整数;
向服务器发送所述K个图像,以使所述服务器基于所述K个图像,通过图像识别模型获取K个第一预测结果;
根据所述K个图像以及所述服务器发送的所述K个第一预测结果,构建微调训练集,其中,所述微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及所述图像的第一预测结果;
基于所述K个图像,通过目标待训练模型获取K个第二预测结果;
根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数;
若所述本地识别模型满足模型微调条件,则向所述服务器发送所述模型调整参数,以使所述服务器根据来源于至少一个终端的模型调整参数集合,对所述图像识别模型的模型参数进行更新,其中,所述模型调整参数集合包括所述模型调整参数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向所述服务器发送模型训练请求,以使所述服务器根据所述模型训练请求,确定应用于目标终端的训练数据集;
接收所述服务器发送的初始训练集,其中,所述初始训练集包括M组初始训练数据,每组初始训练数据包括图像以及所述图像的标注结果;
基于所述初始训练集所包括的M个图像,通过初始识别模型获取M个初始预测结果,其中,每个初始预测结果包括图像的预测类别以及类别分值;
根据所述M个初始预测结果以及所述初始训练集,对所述初始识别模型的模型参数进行更新,得到所述目标待训练模型。
3.根据权利要求1所述的方法,其特征在于,所述通过图像采集装置拍摄得到K个图像之前,所述方法还包括:
获取目标终端所处的现场环境信息,其中,所述现场环境信息包括光线强度以及背景噪声中的至少一项;
若所述现场环境信息所包括的光线强度未在光线强度区间之内,则响应于针对所述图像采集装置的第一调节操作,对所述图像采集装置的第一应用参数进行调整,其中,所述第一应用参数包括快门速度、感光度参数以及曝光补偿参数中的至少一项;
若所述现场环境信息所包括的背景噪声大于或等于背景噪声阈值,则响应于针对所述图像采集装置的第二调节操作,对所述图像采集装置的第二应用参数进行调整,其中,所述第二应用参数包括锐度参数、感光度参数以及降噪参数中的至少一项。
4.根据权利要求1所述的方法,其特征在于,所述根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数之后,所述方法还包括:
向所述服务器发送通过所述图像采集装置拍摄得到的N个图像,以使所述服务器基于所述N个图像,通过所述图像识别模型获取N个第三预测结果,其中,所述N为大于或等于1的整数;
接收所述服务器发送的所述N个第三预测结果;
基于所述N个图像,通过所述本地识别模型获取N个第四预测结果;
根据所述N个第三预测结果,对所述N个第四预测结果进行验证,得到所述N个图像的识别准确率;
若所述识别准确率大于或等于准确率阈值,则确定所述本地识别模型满足所述模型微调条件。
5.根据权利要求1所述的方法,其特征在于,所述根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数之后,所述方法还包括:
向所述服务器发送通过所述图像采集装置拍摄得到的N个图像,以使所述服务器基于所述N个图像,通过所述图像识别模型获取N个第三预测结果,其中,所述N为大于或等于1的整数;
接收所述服务器发送的所述N个第三预测结果;
基于所述N个图像,通过所述本地识别模型获取N个第四预测结果;
根据所述N个第三预测结果,对所述N个第四预测结果进行验证,得到针对所述N个图像的识别准确率;
若所述识别准确率大于或等于准确率阈值,则向T个终端发送所述模型调整参数,以使所述T个终端分别根据所述模型调整参数,对待训练模型的模型参数进行更新,得到T个识别模型,其中,所述T个终端与目标终端具有关联关系,所述T为大于或等于1的整数;
获取所述T个终端中的每个终端所对应的投票分值,其中,所述投票分值为根据识别模型的预测结果以及所述图像识别模型的预测结果确定的;
根据所述每个终端所对应的投票分值,确定综合识别分值;
若所述综合识别分值大于或等于识别分值阈值,则确定所述本地识别模型满足所述模型微调条件。
6.根据权利要求5所述的方法,其特征在于,所述根据所述每个终端所对应的投票分值,确定综合识别分值,包括:
对所述T个终端的投票分值进行求和,得到投票总分值;
根据所述投票总分值与T值之间的比值,得到所述综合识别分值。
7.根据权利要求5所述的方法,其特征在于,所述根据所述每个终端所对应的投票分值,确定综合识别分值,包括:
获取所述T个终端中的每个终端所对应的权重参数集合,其中,所述权重参数集合包括设备权重、环境权重以及偏好权重中的至少一项;
针对所述T个终端中的每个终端,采用终端的权重参数集合,对所述终端的投票分值进行加权,得到所述终端的投票加权分值;
根据所述T个终端中的每个终端所对应的投票加权分值,确定所述综合识别分值。
8.根据权利要求5所述的方法,其特征在于,所述向T个终端发送所述模型调整参数之前,所述方法还包括:
若所述目标终端与至少一个终端处于相同的位置区域内,则确定所述至少一个终端与所述目标终端具有关联关系,并将所述至少一个终端作为所述T个终端;
或者,
若所述目标终端与至少一个终端设置有相同的绑定对象,则确定所述至少一个终端与所述目标终端具有关联关系,并将所述至少一个终端作为所述T个终端;
或者,
若所述目标终端与至少一个终端连接至相同的接入点,则确定所述至少一个终端与所述目标终端具有关联关系,并将所述至少一个终端作为所述T个终端。
9.根据权利要求5所述的方法,其特征在于,所述确定所述本地识别模型满足所述模型微调条件之后,所述方法还包括:
获取待测试图像;
基于所述待测试图像,通过所述本地识别模型获取第五预测结果;
获取来源于所述T个终端的T个第六预测结果,其中,每个第六预测结果为终端基于所述待测试图像,通过识别模型获取到的;
若根据所述第五预测结果以及所述T个第六预测结果,确定已处于模型稳定状态,则执行相应业务。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述本地识别模型未满足所述模型微调条件,则向T个终端中的终端发送模型微调请求,以使所述终端根据所述模型微调请求,对待训练模型的模型参数进行更新,得到识别模型,其中,所述T个终端与目标终端具有关联关系,所述T为大于或等于1的整数;
接收所述终端发送的模型调整参数;
采用所述终端发送的模型调整参数,对所述目标待训练模型的模型参数进行更新。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数之后,所述方法还包括:
在所述本地识别模型满足所述模型微调条件的情况下,通过所述图像采集装置拍摄得到目标图像;
基于所述目标图像,通过所述本地识别模型获取目标预测结果,其中,所述目标预测结果包括目标预测类别以及目标类别分值;
若所述目标预测结果中的所述目标类别分值大于或等于类别分值阈值,则确定所述目标图像属于所述目标预测类别。
12.根据权利要求11所述的方法,其特征在于,所述基于所述目标图像,通过所述本地识别模型获取目标预测结果之后,所述方法还包括:
若所述目标预测结果中的所述目标类别分值小于所述类别分值阈值,则向所述服务器发送所述目标图像,以使所述服务器基于所述目标图像,通过所述图像识别模型获取图像识别结果;
接收所述服务器发送的所述图像识别结果。
13.一种数据处理的方法,其特征在于,包括:
接收目标终端发送的K个图像,其中,所述K个图像为所述目标终端通过采集装置拍摄得到的,所述K为大于或等于1的整数;
基于所述K个图像,通过图像识别模型获取K个第一预测结果;
向所述目标终端发送所述K个第一预测结果,以使所述目标终端根据所述K个图像以及所述K个第一预测结果构建微调训练集,基于所述K个图像,通过目标待训练模型获取K个第二预测结果,根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数,其中,所述微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及所述图像的第一预测结果;
若所述本地识别模型满足模型微调条件,则接收所述目标终端发送的所述模型调整参数;
在获得来源于至少一个终端的模型调整参数集合的情况下,对所述图像识别模型的模型参数进行更新,其中,所述模型调整参数集合包括所述模型调整参数。
14.根据权利要求13所述的方法,其特征在于,所述在获得来源于至少一个终端的模型调整参数集合的情况下,对所述图像识别模型的模型参数进行更新,包括:
获取来源于所述至少一个终端的模型调整参数集合;
根据每个终端所对应的综合识别分值,对所述模型调整参数集合进行加权处理,得到加权后的模型调整参数集合;
采用所述加权后的模型调整参数集合,对所述图像识别模型的模型参数进行更新。
15.根据权利要求13所述的方法,其特征在于,所述在获得来源于至少一个终端的模型调整参数集合的情况下,对所述图像识别模型的模型参数进行更新,包括:
在获得来源于至少一个终端的模型参数集合的情况下,对所述图像识别模型的模型参数进行更新,其中,所述模型参数集合包括所述模型调整参数,所述模型调整参数为模型参数;
或者,
在获得来源于至少一个终端的梯度集合的情况下,对所述图像识别模型的模型参数进行更新,其中,所述梯度集合包括所述模型调整参数,所述模型调整参数为梯度;
或者,
在获得来源于至少一个终端的优化算法参数集合的情况下,对所述图像识别模型的模型参数进行更新,其中,所述优化算法参数集合包括所述模型调整参数,所述模型调整参数为优化算法参数。
16.根据权利要求13至15中任一项所述的方法,其特征在于,所述在获得来源于至少一个终端的模型调整参数集合的情况下,对所述图像识别模型的模型参数进行更新之后,所述方法还包括:
向至少一个终端发送所述图像识别模型的模型调整参数,以使所述至少一个终端中的每个终端使用所述图像识别模型的模型调整参数,对识别模型的模型参数进行更新。
17.一种数据处理装置,其特征在于,包括:
拍摄模块,用于通过图像采集装置拍摄得到K个图像,其中,所述K为大于或等于1的整数;
发送模块,用于向服务器发送所述K个图像,以使所述服务器基于所述K个图像,通过图像识别模型获取K个第一预测结果;
获取模块,用于根据所述K个图像以及所述服务器发送的所述K个第一预测结果,构建微调训练集,其中,所述微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及所述图像的第一预测结果;
所述获取模块,还用于基于所述K个图像,通过目标待训练模型获取K个第二预测结果;
更新模块,用于根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数;
所述发送模块,还用于若所述本地识别模型满足模型微调条件,则向所述服务器发送所述模型调整参数,以使所述服务器根据来源于至少一个终端的模型调整参数集合,对所述图像识别模型的模型参数进行更新,其中,所述模型调整参数集合包括所述模型调整参数。
18.一种数据处理装置,其特征在于,包括:
接收模块,用于接收目标终端发送的K个图像,其中,所述K个图像为所述目标终端通过采集装置拍摄得到的,所述K为大于或等于1的整数;
获取模块,用于基于所述K个图像,通过图像识别模型获取K个第一预测结果;
发送模块,用于向所述目标终端发送所述K个第一预测结果,以使所述目标终端根据所述K个图像以及所述K个第一预测结果构建微调训练集,基于所述K个图像,通过目标待训练模型获取K个第二预测结果,根据所述K个第二预测结果以及所述微调训练集,对所述目标待训练模型的模型参数进行更新,得到本地识别模型以及所述本地识别模型所对应的模型调整参数,其中,所述微调训练集包括K组微调训练数据,每组微调训练数据包括图像以及所述图像的第一预测结果;
所述接收模块,还用于若所述本地识别模型满足模型微调条件,则接收所述目标终端发送的所述模型调整参数;
更新模块,用于在获得来源于至少一个终端的模型调整参数集合的情况下,对所述图像识别模型的模型参数进行更新,其中,所述模型调整参数集合包括所述模型调整参数。
19.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤,或,实现权利要求13至16中任一项所述的方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤,或,实现权利要求13至16中任一项所述的方法的步骤。
CN202310894889.1A 2023-07-20 2023-07-20 一种数据处理的方法、相关装置、设备以及存储介质 Active CN116612358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310894889.1A CN116612358B (zh) 2023-07-20 2023-07-20 一种数据处理的方法、相关装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310894889.1A CN116612358B (zh) 2023-07-20 2023-07-20 一种数据处理的方法、相关装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN116612358A true CN116612358A (zh) 2023-08-18
CN116612358B CN116612358B (zh) 2023-10-03

Family

ID=87685798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310894889.1A Active CN116612358B (zh) 2023-07-20 2023-07-20 一种数据处理的方法、相关装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116612358B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155939A1 (zh) * 2019-01-31 2020-08-06 广州视源电子科技股份有限公司 图像识别方法、装置、存储介质和处理器
CN114463586A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 图像识别模型的训练与图像识别方法、装置、设备和介质
CN114677578A (zh) * 2022-03-30 2022-06-28 腾讯科技(深圳)有限公司 确定训练样本数据的方法和装置
CN115620111A (zh) * 2022-08-18 2023-01-17 支付宝(杭州)信息技术有限公司 一种图像识别方法、装置、存储介质及电子设备
CN115761698A (zh) * 2022-11-25 2023-03-07 惠州市德赛西威汽车电子股份有限公司 一种目标检测方法、装置、设备及存储介质
CN116258923A (zh) * 2022-12-27 2023-06-13 深圳供电局有限公司 图像识别模型训练方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155939A1 (zh) * 2019-01-31 2020-08-06 广州视源电子科技股份有限公司 图像识别方法、装置、存储介质和处理器
CN114463586A (zh) * 2022-01-30 2022-05-10 中国农业银行股份有限公司 图像识别模型的训练与图像识别方法、装置、设备和介质
CN114677578A (zh) * 2022-03-30 2022-06-28 腾讯科技(深圳)有限公司 确定训练样本数据的方法和装置
CN115620111A (zh) * 2022-08-18 2023-01-17 支付宝(杭州)信息技术有限公司 一种图像识别方法、装置、存储介质及电子设备
CN115761698A (zh) * 2022-11-25 2023-03-07 惠州市德赛西威汽车电子股份有限公司 一种目标检测方法、装置、设备及存储介质
CN116258923A (zh) * 2022-12-27 2023-06-13 深圳供电局有限公司 图像识别模型训练方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN116612358B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN109101602A (zh) 图像检索模型训练方法、图像检索方法、设备及存储介质
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN110222592B (zh) 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
CN110414376B (zh) 更新人脸识别模型的方法、人脸识别相机及服务器
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
CN114529765B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN112784718A (zh) 一种基于边缘计算与深度学习的绝缘子状态识别方法
CN108596110A (zh) 图像识别方法及装置、电子设备、存储介质
CN114219971B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN113052150B (zh) 活体检测方法、装置、电子设备和计算机可读存储介质
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
CN113569657A (zh) 一种行人重识别方法、装置、设备及存储介质
US11754748B2 (en) Temperature prediction system
CN110443577A (zh) 一种基于人脸识别的校园考勤系统
CN116612358B (zh) 一种数据处理的方法、相关装置、设备以及存储介质
CN112308093A (zh) 基于图像识别的空气质量感知方法、模型训练方法及系统
CN114581734B (zh) 分类模型训练方法、装置、设备以及存储介质
KR102468206B1 (ko) 뉴럴 네트워크를 이용한 크리에이팅 보조 방법, 그 방법을 수행하는 서버 및 단말기
CN113255531B (zh) 活体检测模型的处理方法、装置、计算机设备和存储介质
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
CN113989870A (zh) 一种活体检测方法、门锁系统及电子设备
CN118433330B (zh) 一种利用大模型降低边端监控误报率的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40091084

Country of ref document: HK