CN116935093A - 模型优化方法、装置、设备、终端设备及可读存储介质 - Google Patents

模型优化方法、装置、设备、终端设备及可读存储介质 Download PDF

Info

Publication number
CN116935093A
CN116935093A CN202310573355.9A CN202310573355A CN116935093A CN 116935093 A CN116935093 A CN 116935093A CN 202310573355 A CN202310573355 A CN 202310573355A CN 116935093 A CN116935093 A CN 116935093A
Authority
CN
China
Prior art keywords
data
model
classification
service scene
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310573355.9A
Other languages
English (en)
Inventor
王梓岚
任智杰
冯俊兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202310573355.9A priority Critical patent/CN116935093A/zh
Publication of CN116935093A publication Critical patent/CN116935093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种模型优化方法、装置、设备、终端设备及可读存储介质，涉及人工智能技术领域。该方法包括：获取服务场景数据；根据二分类模型对所述服务场景数据进行分类，得到分类结果；根据所述分类结果，对第一模型进行优化，得到目标模型。本发明实施例的模型优化方法，通过二分类模型对所述服务场景数据进行分类，能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移，并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。

Description

模型优化方法、装置、设备、终端设备及可读存储介质
技术领域
本发明涉及人工智能技术领域，特别是指一种模型优化方法、装置、设备、终端设备及可读存储介质。
背景技术
随着社会的数字化转型，越来越多的应用中涉及到人工智能服务，在网络图像信息的违规识别领域，已经有多项机器视觉的人工智能能力落地部署，提高了审核准确度与审核效率。随之，人工智能的可信任性、稳定性等，是人工智能是否能广泛赋能的决定性因素。人工智能主要依靠对数据的学习掌握特征，继而实现判断与决策功能，当服务场景变化导致数据类型与原始的训练数据产生差别时，会导致人工智能能力性能下降，无法对新类型的图像做出准确判断，导致违规图像的社会面传播。
目前，在违规图像识别业务中，大部分已部署的人工智能应用缺乏数据漂移的检测能力，对于服务场景数据改变导致的模型性能下降的优化有一定的滞后性，具有数据漂移检测能力的系统没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向。
发明内容
本发明的目的是提供一种模型优化方法、装置、设备、终端设备及可读存储介质，用以解决现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。
为达到上述目的，本发明的实施例提供一种模型优化方法，包括：
获取服务场景数据；
根据二分类模型对所述服务场景数据进行分类，得到分类结果；
根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
进一步地，所述方法还包括：
获取原始训练数据以及对照数据；
对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型；
其中，所述原始训练数据为所述第一模型的训练数据，所述对照数据为随机选取的与所述第一模型不相关的数据。
进一步地，所述对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型，包括：
对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据；
对所述对照数据进行主成分分析，得到作为所述二分类训练的负样本的第二样本数据；
对所述第一样本数据和所述第二样本数据进行二分类训练，得到所述二分类模型。
进一步地，所述对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据，包括：
将所述原始训练数据分为M组数据；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述原始训练数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第一样本数据；
其中，M和N均为大于1的整数。
进一步地，所述对所述对照数据进行主成分分析，得到第二样本数据，包括：
将所述对照数据分为I组；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述对照数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第二样本数据；
其中，M和I均为大于1的整数。
进一步地，所述根据所述二分类模型对所述服务场景数据进行分类，得到分类结果，包括：
对所述服务场景数据进行主成分分析，得到第三样本数据；
将所述第三样本数据作为所述二分类模型的输入，得到所述分类结果；
其中，所述分类结果包括：所述服务场景数据为与所述原始训练数据相比未发生数据漂移的正类数据或者与所述原始训练数据相比发生了数据漂移的负类数据。
进一步地，所述对所述服务场景数据进行主成分分析，得到第三样本数据，包括：
通过主成分分析法将所述服务场景数据划分为N维，得到所述第三样本数据；
其中，N为大于1的整数。
进一步地，所述根据所述分类结果，对所述第一模型进行优化，得到目标模型，包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练，将训练后得到的所述目标模型确定为优化后的第一模型。
进一步地，所述方法还包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述第一样本数据、所述第二样本数据以及所述第三样本数据，对所述二分类模型进行训练，得到目标二分类模型确定为优化后的所述二分类模型。
为达到上述目的，本发明的实施例提供一种模型优化装置，包括：
获取模块，用于获取服务场景数据；
分类模块，用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
优化模块，用于根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
为达到上述目的，本发明的实施例提供一种模型优化设备，包括处理器和收发机，其中，
所述收发机用于获取服务场景数据；
所述处理器用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
为达到上述目的，本发明的实施例提供一种移动终端，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的模型优化方法。
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的模型优化方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例的模型优化方法，通过二分类模型对所述服务场景数据进行分类，能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移，并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。
附图说明
图1为本发明实施例的模型优化方法的步骤示意图；
图2为本发明实施例的判断第一模型是否需要优化的逻辑示意图；
图3为本发明实施例的模型优化方法的逻辑示意图；
图4为本发明实施例的模型优化装置的结构示意图；
图5为本发明实施例的模型优化设备的结构示意图；
图6为本发明实施例的终端设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
如图1所示，本发明实施例的一种模型优化方法，包括如下步骤：
步骤101，获取服务场景数据；
步骤102，根据二分类模型对所述服务场景数据进行分类，得到分类结果；
步骤103，根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
可选地，所述服务场景数据为图像数据；
所述第一模型和所述目标模型为图像识别模型。
本发明实施例的模型优化方法，通过二分类模型对所述服务场景数据进行分类，能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移，并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。
可选地，所述方法还包括：
获取原始训练数据以及对照数据；
对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型；
其中，所述原始训练数据为所述第一模型的训练数据，所述对照数据为随机选取的与所述第一模型不相关的数据。
可选地，所述原始训练数据和素手对照数据均为图像数据。
本发明一实施例中，所述第一模型为违规图像识别模型，随着时间窗口的移动或者应用场景的变化，所述第一模型的精确度也会发生变化。通过对服务场景数据的检测，在确定服务场景数据相对所述第一模型的原始训练数据发生了漂移的情况下，对所述第一模型进行训练更新，以提高图像识别的准确度。
可选地，所述对所述原始训练数据以及所述对照数据进行二分类训练，包括：
采用支持向量机(support vector machines,SVM)算法对所述原始训练数据以及所述对照数据进行二分类训练。
本发明实施例的模型优化方法，通过所述原始训练数据以及所述对照数据得到所述二分类模型，并通过二分类模型能够确定所述服务场景数据是否相对于所述原始训练数据发生了数据漂移。通过对所述服务场景数据的检测，能够及时对模型进行优化调整，降低模型性能下降的概率。
需要说明的是，数据漂移指服务场景中的数据与开发模型时使用的原始训练数据在特征上产生较大差别，从而导致模型性能下降的数据变化问题。
可选地，所述对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型，包括：
对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据；
对所述对照数据进行主成分分析，得到作为所述二分类训练的负样本的第二样本数据；
对所述第一样本数据和所述第二样本数据进行二分类训练，得到所述二分类模型。
本发明实施例的模型优化方法，通过主成分分析，能够确定所述原始训练数据以及所述对照数据的主成分，并根据所述第一样本数据(原始训练数据的主成分)以及所述第二样本数据(对照数据的主成分)确定所述二分类模型。
可选地，所述对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据，包括：
将所述原始训练数据分为M组数据；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述原始训练数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第一样本数据；
其中，M和N均为大于1的整数。
本发明实施例的模型优化方法，将所述原始训练数据中的前N为主成分数据作为二分类训练的正样本，将所述对照数据中的前N为主成分数据作为二分类训练的负样本，能够得到所述二分类模型，并通过所述二分类模型对所述服务环境数据进行检测，判断所述服务环境数据是否发生了数据漂移。
可选地，所述对所述对照数据进行主成分分析，得到第二样本数据，包括：
将所述对照数据分为I组；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述对照数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第二样本数据；
其中，M和I均为大于1的整数。
本发明实施例的模型优化方法，将所述原始训练数据中的前N为主成分数据作为二分类训练的正样本，将所述对照数据中的前N为主成分数据作为二分类训练的负样本，能够得到所述二分类模型，并通过所述二分类模型对所述服务环境数据进行检测，判断所述服务环境数据是否发生了数据漂移。
可选地，所述根据所述二分类模型对所述服务场景数据进行分类，得到分类结果，包括：
对所述服务场景数据进行主成分分析，得到第三样本数据；
将所述第三样本数据作为所述二分类模型的输入，得到所述分类结果；
其中，所述分类结果包括：所述服务场景数据为与所述原始训练数据相比未发生数据漂移的正类数据或者与所述原始训练数据相比发生了数据漂移的负类数据。
本发明实施例的模型优化方法，通过所述二分类模型对所述服务场景数据进行检测，能够判断所述服务场景数据是否发生了数据漂移，为所述第一模型是否需要进行优化提供了数据支持。
可选地，所述对所述服务场景数据进行主成分分析，得到第三样本数据，包括：
通过主成分分析法将所述服务场景数据划分为N维，得到所述第三样本数据；
其中，N为大于1的整数。
可选地，所述根据所述分类结果，对所述第一模型进行优化，得到目标模型，包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练，将训练后得到的所述目标模型确定为优化后的第一模型。
可选地，采用finetune的方式优化所述第一模型。
可选地，通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练之前，包括：
对所述服务场景数据进行标注，得到标注为正样本以及负样本的数据。
可选地，在所述分类结果为所述服务场景数据为负类数据的情况下，向所述第一模型的开发方以及提供所述服务环境数据的业务方发送更新优化请求；
在接收到所述开发方以及所述业务方发送的更新优化指示后，对所述第一模型进行优化。
本发明实施例中，加入人为判断条件，允许开发方与业务方共同决定是否更新模型版本，避免了由于数据输入出现问题，导致的错误方向更新。
本发明实施例的模型优化方法，通过二分类模型对所述服务场景数据进行检测，并在所述服务场景数据发生了数据漂移之后，通过所述二分类模型确定所述第一模型的优化方向，并对所述第一模型进行优化，以使所述第一模型的随着所述服务场景数据的漂移进行优化调整，从而保证所述第一模型能够适应不同的场景。
可选地，所述方法还包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述第一样本数据、所述第二样本数据以及所述第三样本数据，对所述二分类模型进行训练，得到目标二分类模型确定为优化后的所述二分类模型。
可选地，在所述分类结果为所述服务场景数据为负类数据的情况下，向所述二分类模型的开发方以及提供所述服务环境数据的业务方发送更新优化请求；
在接收到所述开发方以及所述业务方发送的更新优化指示后，对所述二分类模型进行优化。
本发明实施例中，加入人为判断条件，允许开发方与业务方共同决定是否更新模型版本，避免了由于数据输入出现问题，导致的错误方向更新。
如图2所示，本发明一实施例中，通过以下方法判断第一模型是否需要优化：
将所述原始训练数据划分为M组，并通过PCA主成分分析法将M组中的每一组的多维数据根据与所述原始训练数据的相关性进行排序，选取每一组数据中的前N维数据，作为第一样本数据；
将将所述对照数据划分为I组，并通过PCA主成分分析法将I组中的每一组的多维数据根据与所述对照数据的相关性进行排序，选取每一组数据中的前N维数据，作为第二样本数据；
对所述第一样本数据作为正样本，所述第二样本数据作为负样本进行二分类训练，的带SVM二分类模型；
通过主成分分析法将所述服务场景数据划分为N维，得到一组N维的服务场景数据主成分；
将所述N维的服务场景数据主成分作为所述二分类模型的输入，判断所述服务场景数据是否发生了数据漂移；
在确定了所述服务场景数据发生了数据漂移的情况下，向开发方和业务方发送模型优化请求；
在开发方和业务方均同意进行模型优化时，进行模型优化。
如图3所示，本发明一实施例的模型优化方法如下：
在确定开发方和业务方均同意模型优化后，将所述原始训练数据和服务场景数据共同作为输入数据对所述第一模型进行训练，并根据训练后得到的目标模型对第一模型进行更新；和/或，
通过主成分分析法获取所述服务场景数据的主成分，并与原始训练数据的主成分和对照数据的主成分对二分类模型进行训练，根据训练后得到的目标二分类模型对二分类模型进行更新。
如图4所示，本发明的实施例提供一种模型优化装置400，包括：
获取模块401，用于获取服务场景数据；
分类模块402，用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
优化模块403，用于根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
本发明实施例的模型优化装置，通过二分类模型对所述服务场景数据进行分类，能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移，并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。
可选地，所述模型优化装置还包括：
第二获取模块，用于获取原始训练数据以及对照数据；
第一训练模块，用于对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型；
其中，所述原始训练数据为所述第一模型的训练数据，所述对照数据为随机选取的与所述第一模型不相关的数据。
可选地，所述训练模块还用于：
对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据；
对所述对照数据进行主成分分析，得到作为所述二分类训练的负样本的第二样本数据；
对所述第一样本数据和所述第二样本数据进行二分类训练，得到所述二分类模型。
可选地，所述分类模块还用于：
对所述服务场景数据进行主成分分析，得到第三样本数据；
将所述第三样本数据作为所述二分类模型的输入，得到所述分类结果；
其中，所述分类结果包括：所述服务场景数据为与所述原始训练数据相比未发生数据漂移的正类数据或者与所述原始训练数据相比发生了数据漂移的负类数据。
可选地，所述优化模块还用于：
若所述分类结果为所述服务场景数据为负类数据，则通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练，将训练后得到的所述目标模型确定为优化后的第一模型。
可选地，所述模型优化装置还包括：
第二训练模块，用于若所述分类结果为所述服务场景数据为负类数据，则通过所述第一样本数据、所述第二样本数据以及所述第三样本数据，对所述二分类模型进行训练，得到目标二分类模型确定为优化后的所述二分类模型。
如图5所示，本发明实施例的一种模型优化设备500，包括处理器510和收发机520，其中，
所述收发机用于获取服务场景数据；
所述处理器用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
本发明实施例的模型优化设备，通过二分类模型对所述服务场景数据进行分类，能够根据得到的分类结果判断所述服务场景数据相对于所述第一模型的原始训练数据是否发生了数据漂移，并在所述服务场景数据发生数据漂移的情况下对所述第一模型进行优化。解决了现有技术中没有针对数据进行检查，当模型的性能下降时，对于问题的根因定位效率较低，无法及时确认模型的优化方向的问题。
本发明另一实施例的一种终端设备，如图6所示，包括收发器610、处理器600、存储器620及存储在所述存储器620上并可在所述处理器600上运行的程序或指令；所述处理器600执行所述程序或指令时实现上述应用于模型优化方法。
所述收发器610，用于在处理器600的控制下接收和发送数据。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口630还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的模型优化方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
进一步需要说明的是，此说明书中所描述的终端包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种模型优化方法，其特征在于，包括：
获取服务场景数据；
根据二分类模型对所述服务场景数据进行分类，得到分类结果；
根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
2.根据权利要求1所述的模型优化方法，其特征在于，所述方法还包括：
获取原始训练数据以及对照数据；
对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型；
其中，所述原始训练数据为所述第一模型的训练数据，所述对照数据为随机选取的与所述第一模型不相关的数据。
3.根据权利要求2所述的模型优化方法，其特征在于，所述对所述原始训练数据以及所述对照数据进行二分类训练，得到所述二分类模型，包括：
对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据；
对所述对照数据进行主成分分析，得到作为所述二分类训练的负样本的第二样本数据；
对所述第一样本数据和所述第二样本数据进行二分类训练，得到所述二分类模型。
4.根据权利要求3所述的模型优化方法，其特征在于，所述对所述原始训练数据进行主成分分析，得到作为所述二分类训练的正样本的第一样本数据，包括：
将所述原始训练数据分为M组数据；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述原始训练数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第一样本数据；
其中，M和N均为大于1的整数。
5.根据权利要求3所述的模型优化方法，其特征在于，所述对所述对照数据进行主成分分析，得到第二样本数据，包括：
将所述对照数据分为I组；
通过主成分分析法将每组数据均划分为多维数据；
根据每组数据中的每维数据与所述对照数据的相关度，对所述每组数据中的多维数据进行排序；
将所述每一组数据中排序后的前N维数据确定为所述第二样本数据；
其中，M和I均为大于1的整数。
6.根据权利要求3所述的模型优化方法，其特征在于，所述根据所述二分类模型对所述服务场景数据进行分类，得到分类结果，包括：
对所述服务场景数据进行主成分分析，得到第三样本数据；
将所述第三样本数据作为所述二分类模型的输入，得到所述分类结果；
其中，所述分类结果包括：所述服务场景数据为与所述原始训练数据相比未发生数据漂移的正类数据或者与所述原始训练数据相比发生了数据漂移的负类数据。
7.根据权利要求6所述的模型优化方法，其特征在于，所述对所述服务场景数据进行主成分分析，得到第三样本数据，包括：
通过主成分分析法将所述服务场景数据划分为N维，得到所述第三样本数据；
其中，N为大于1的整数。
8.根据权利要求6所述的模型优化方法，其特征在于，所述根据所述分类结果，对所述第一模型进行优化，得到目标模型，包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述原始训练数据和所述服务场景数据对所述第一模型进行训练，将训练后得到的所述目标模型确定为优化后的第一模型。
9.根据权利要求6所述的模型优化方法，其特征在于，所述方法还包括：
若所述分类结果为所述服务场景数据为负类数据，则通过所述第一样本数据、所述第二样本数据以及所述第三样本数据，对所述二分类模型进行训练，得到目标二分类模型确定为优化后的所述二分类模型。
10.一种模型优化装置，其特征在于，包括：
获取模块，用于获取服务场景数据；
分类模块，用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
优化模块，用于根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
11.一种模型优化设备，其特征在于，包括：收发机和处理器；
所述收发机用于获取服务场景数据；
所述处理器用于根据二分类模型对所述服务场景数据进行分类，得到分类结果；
根据所述分类结果，对第一模型进行优化，得到目标模型；
其中，所述第一模型为将所述服务场景数据作为输入进行图像处理的模型。
12.一种终端设备，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1-9任一项所述的模型优化方法。
13.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-9任一项所述的模型优化方法中的步骤。
CN202310573355.9A 2023-05-19 2023-05-19 模型优化方法、装置、设备、终端设备及可读存储介质 Pending CN116935093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310573355.9A CN116935093A (zh) 2023-05-19 2023-05-19 模型优化方法、装置、设备、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310573355.9A CN116935093A (zh) 2023-05-19 2023-05-19 模型优化方法、装置、设备、终端设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN116935093A true CN116935093A (zh) 2023-10-24

Family

ID=88388498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310573355.9A Pending CN116935093A (zh) 2023-05-19 2023-05-19 模型优化方法、装置、设备、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116935093A (zh)

Similar Documents

Publication Publication Date Title
CN108830329B (zh) 图片处理方法和装置
CN110956255A (zh) 难样本挖掘方法、装置、电子设备及计算机可读存储介质
CN112651467B (zh) 卷积神经网络的训练方法和系统以及预测方法和系统
US20210089823A1 (en) Information processing device, information processing method, and non-transitory computer-readable storage medium
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
WO2020250236A1 (en) Understanding deep learning models
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
CN112418289A (zh) 一种不完全标注数据的多标签分类处理方法及装置
CN110135428B (zh) 图像分割处理方法和装置
CN114443483A (zh) 人工智能系统的测试方法、装置、电子设备及介质
CN116935093A (zh) 模型优化方法、装置、设备、终端设备及可读存储介质
CN112764839B (zh) 一种用于管理服务平台的大数据配置方法及系统
CN111666985B (zh) 一种基于dropout的深度学习对抗样本图像分类防御方法
CN112001211B (zh) 对象检测方法、装置、设备及计算机可读存储介质
CN112948251A (zh) 软件自动测试方法及装置
CN112559589A (zh) 一种远程测绘数据处理方法及系统
CN113760407A (zh) 信息处理方法、装置、设备及存储介质
EP4091105A1 (en) Model pool for multimodal distributed learning
CN111144454A (zh) 一种基于图像标记特定特征的延迟多标记学习方法
CN114329006B (zh) 图像检索方法、装置、设备、计算机可读存储介质
WO2022222143A1 (zh) 人工智能系统的安全性检测方法、装置及终端设备
CN114707990B (zh) 一种用户行为模式的识别方法和装置
CN116091807A (zh) 一种图像分类方法及装置
Choi et al. DIB-X: Formulating Explainability Principles for a Self-Explainable Model Through Information Theoretic Learning
CN117196057A (zh) 一种模型训练方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination