CN111275080A - 基于人工智能的图像分类模型训练方法、分类方法及装置 - Google Patents

基于人工智能的图像分类模型训练方法、分类方法及装置 Download PDF

Info

Publication number
CN111275080A
CN111275080A CN202010036150.3A CN202010036150A CN111275080A CN 111275080 A CN111275080 A CN 111275080A CN 202010036150 A CN202010036150 A CN 202010036150A CN 111275080 A CN111275080 A CN 111275080A
Authority
CN
China
Prior art keywords
image
augmented
label
classification model
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010036150.3A
Other languages
English (en)
Other versions
CN111275080B (zh
Inventor
郑瀚
尚鸿
孙钟前
付星辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010036150.3A priority Critical patent/CN111275080B/zh
Publication of CN111275080A publication Critical patent/CN111275080A/zh
Application granted granted Critical
Publication of CN111275080B publication Critical patent/CN111275080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种基于人工智能的图像分类模型训练方法、分类方法、装置、电子设备及存储介质；方法包括：获取包括原始图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始图像中位于所述标注区域的图像的分类结果；对所述原始图像进行增广处理得到增广图像；当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，并根据所述增广图像和所述增广标注标签，构建增广样本；根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；其中，更新后的所述图像分类模型用于确定待处理图像的分类结果。通过本发明，能够提升图像增广以及进行图像分类的准确性。

Description

基于人工智能的图像分类模型训练方法、分类方法及装置
技术领域
本发明涉及人工智能技术，尤其涉及一种基于人工智能的图像分类模型训练方法、分类方法、装置、电子设备及存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。机器学习(ML，Machine Learning)是人工智能的核心，主要研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
图像分类是机器学习的一个重要应用方向，例如预测图像是否包括人脸。在进行图像分类时，通常是通过模型对图像进行相应处理，为了提升模型的泛化能力，在相关技术提供的方案中，通常会通过裁剪等方式对作为样本的原始图像进行处理，得到新的图像，并将原始图像的标签赋予新的图像。但是，经过裁剪后，新的图像的分类结果可能会发生变化，导致新的图像与对应的标签不匹配，图像增广的准确性低，进行图像分类的准确性同样较低。
发明内容
本发明实施例提供一种基于人工智能的图像分类模型训练方法、分类方法、装置、电子设备及存储介质，能够提升图像增广及图像分类的准确性。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于人工智能的图像分类模型训练方法，包括：
获取包括原始图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始图像中位于所述标注区域的图像的分类结果；
对所述原始图像进行增广处理得到增广图像；
当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，并
根据所述增广图像和所述增广标注标签，构建增广样本；
根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理图像的分类结果。
本发明实施例提供一种基于图像分类模型的分类方法，包括：
获取待处理图像；
通过图像分类模型将所述待处理图像映射至特征空间，得到图像特征；
通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
将数值最大的置信度对应的初始预测标签，确定为预测标签；
根据所述预测标签确定所述待处理图像的分类结果。
本发明实施例提供一种基于人工智能的图像分类模型训练方法，包括：
获取包括原始医学图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始医学图像中位于所述标注区域的图像的病变分类结果；
对所述原始医学图像进行增广处理得到增广医学图像；
当所述增广医学图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广医学图像的增广标注标签，并
根据所述增广医学图像和所述增广标注标签，构建增广样本；
根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理的医学图像的病变分类结果。
本发明实施例提供一种基于图像分类模型的分类方法，包括：
获取待处理的医学图像；
通过图像分类模型将所述待处理的医学图像映射至特征空间，得到图像特征；
通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
将数值最大的置信度对应的初始预测标签，确定为预测标签；
根据所述预测标签，确定所述待处理的医学图像的病变分类结果。
本发明实施例提供一种基于人工智能的图像分类模型训练装置，包括：
样本获取模块，用于获取包括原始图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始图像中位于所述标注区域的图像的分类结果；
图像增广模块，用于对所述原始图像进行增广处理得到增广图像；
样本增广模块，用于当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，并
根据所述增广图像和所述增广标注标签，构建增广样本；
模型更新模块，用于根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理图像的分类结果。
本发明实施例提供一种基于图像分类模型的分类装置，包括：
图像获取模块，用于获取待处理图像；
第一映射模块，用于通过图像分类模型将所述待处理图像映射至特征空间，得到图像特征；
第一分类模块，用于通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
第一标签确定模块，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；
第一结果确定模块，用于根据所述预测标签确定所述待处理图像的分类结果。
本发明实施例提供一种基于人工智能的图像分类模型训练装置，包括：
医学样本获取模块，用于获取包括原始医学图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始医学图像中位于所述标注区域的图像的病变分类结果；
医学图像增广模块，用于对所述原始医学图像进行增广处理得到增广医学图像；
医学样本增广模块，用于当所述增广医学图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广医学图像的增广标注标签，并
根据所述增广医学图像和所述增广标注标签，构建增广样本；
医学模型更新模块，用于根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理的医学图像的病变分类结果。
本发明实施例提供一种基于图像分类模型的分类装置，包括：
医学图像获取模块，用于获取待处理的医学图像；
第二映射模块，用于通过图像分类模型将所述待处理的医学图像映射至特征空间，得到图像特征；
第二分类模块，用于通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
第二标签确定模块，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；
第二结果确定模块，用于根据所述预测标签，确定所述待处理的医学图像的病变分类结果。
本发明实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的基于人工智能的图像分类模型训练方法，或基于图像分类模型的分类方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的基于人工智能的图像分类模型训练方法，或基于图像分类模型的分类方法。
本发明实施例具有以下有益效果：
本发明实施例通过对原始图像进行增广处理，并当得到的增广图像符合标注区域对应的增广条件时，根据原始图像对应的标注标签，确定增广图像的增广标注标签，实现了准确地图像增广，从而当设备在各种场景中使用根据原始样本和增广样本训练的模型进行分类时，能够实现图像分类的准确性和效率的显著提升。
附图说明
图1是本发明实施例提供的基于人工智能的图像分类模型训练系统的一个可选的架构示意图；
图2是本发明实施例提供的结合区块链网络的基于人工智能的图像分类模型训练系统的一个可选的架构示意图；
图3A是本发明实施例提供的电子设备的一个可选的架构示意图；
图3B是本发明实施例提供的电子设备的一个可选的架构示意图；
图3C是本发明实施例提供的电子设备的一个可选的架构示意图；
图3D是本发明实施例提供的电子设备的一个可选的架构示意图；
图4是本发明实施例提供的基于人工智能的图像分类模型训练装置的一个可选的架构示意图；
图5A是本发明实施例提供的基于人工智能的图像分类模型训练方法的一个可选的流程示意图；
图5B是本发明实施例提供的基于人工智能的图像分类模型训练方法的一个可选的流程示意图；
图6是本发明实施例提供的基于图像分类模型的分类方法的一个可选的流程示意图；
图7是本发明实施例提供的基于人工智能的图像分类模型训练方法的一个可选的流程示意图；
图8是本发明实施例提供的基于图像分类模型的分类方法的一个可选的流程示意图；
图9是本发明实施例提供的裁剪处理的一个可选的示意图；
图10是本发明实施例提供的裁出处理的一个可选的示意图；
图11是本发明实施例提供的效果对比的一个可选的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)图像增广(Image Augmentation)：对原始图像进行改动，生成与原始图像相似但又不同的图像，从而扩大训练所用的样本集的规模。
2)标签：以数值形式表示分类结果，例如数值为0的标签表示图像(或图像的某区域)中不包括人脸，数值为1的标签表示图像(或图像的某区域)中包括人脸。
3)标注区域：指预先在图像中标注的感兴趣区域(ROI，Region Of Interest)，通常来说，标注区域与图像的分类结果相关。
4)遮挡区域：也称掩膜，用于遮挡图像的一部分。
5)损失值：表示模型的预测值与真实值之间的不一致(差异)程度，由损失函数得到，本发明实施例对损失函数的类型不做限定。
6)医学图像：指与人体相关的图像，可以是人体内部组织的图像，如通过胃镜及肠镜等手段得到的内镜图像，也可以是人体外部图像，如人体的皮肤图像。
7)区块链(Blockchain)：由区块(Block)形成的加密的、链式的交易的存储结构。
8)区块链网络(Blockchain Network)：通过共识的方式将新区块纳入区块链的一系列的节点的集合。
本发明实施例提供一种基于人工智能的图像分类模型训练方法、分类方法、装置、电子设备及存储介质，能够提升图像增广的准确性，同时提升进行图像分类的准确性。
下面说明本发明实施例提供的电子设备的示例性应用，本发明实施例提供的电子设备可以是服务器，例如部署在云端的服务器，根据用户提交的待处理图像，向用户提供远程的图像分类功能，即确定待处理图像的分类结果；也可以是终端设备，例如人脸识别设备，通过图像分类得到的分类结果，判断图像中是否包括人脸，又例如针对一种或多种疾病(例如胃部疾病及肠道疾病等)的智能医疗设备，能够对胃部、肠道或其他病灶部位的医学图像进行图像分类，得到病变分类结果，以向医生或研究机构等提供临床研究所用的数据；甚至可以是手持终端等设备。
电子设备通过运行本发明实施例提供的模型训练和图像分类的方案，可以提升对于图像的泛化能力和图像分类的准确率，提高自身性能，适用于图像分类的多个应用场景。例如，在人脸识别的场景中，通过图像分类模型提升电子设备进行人脸识别的精度，降低误判率；在基于卫星地图的目标识别场景中，电子设备可更准确地识别出卫星地图中的汽车、建筑及飞机等目标；电子设备也可应用至临床研究中，通过预测和量化身体部位的病变分类结果，为临床研究提供准确有效的数据支持，例如使研究方基于大量数据，确定某种疾病在特定人群中的病变概率。
参见图1，图1是本发明实施例提供的基于人工智能的图像分类模型训练系统100的一个可选的架构示意图，为实现支撑一个基于人工智能的图像分类模型训练应用，终端设备400(示例性示出了终端设备400-1和终端设备400-2)通过网络300连接服务器200，服务器200连接数据库500，其中，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，终端设备400可在本地执行本发明实施例提供的基于人工智能的图像分类模型训练方法，并根据更新后的图像分类模型，对获取到的待处理图像进行分类，得到分类结果。例如，在人脸识别场景中，终端设备400通过分类结果确定待处理图像中是否包括人脸，并执行与分类结果对应的操作，例如在待处理图像包括人脸时，终端设备400执行解锁进入桌面的操作；在基于卫星地图的目标识别场景中，终端设备400可统计多个卫星地图的分类结果，并根据分类结果进行后续分析，例如对多个地区对应的卫星地图进行图像分类，得到飞机的地区分布情况，还可进一步确定飞机在对应地区中的具体坐标；在图像分类模型针对医学图像时，终端设备400可根据更新后的图像分类模型，确定待处理的医学图像对应的医学分类结果，并将待处理的医学图像和医学分类结果共同发送至医生或研究机构处，以提供与病变相关的有效研究数据。值得说明的是，对于训练图像分类模型所需的原始样本，终端设备400可从本地获取，也可通过网络300向服务器200发送请求，从而从数据库500中获取。
除此之外，服务器200也可以执行本发明实施例提供的基于人工智能的图像分类模型训练方法，具体从终端设备400和/或数据库500中获取原始样本，从而进行对图像分类模型的训练。然后，服务器200可以接收终端设备400发送的待处理图像，根据更新后的图像分类模型，确定待处理图像对应的分类结果，并将分类结果发送至终端设备400。
终端设备400可以在图形界面410(示例性示出了图形界面410-1和图形界面410-2)中显示模型训练和图像分类过程中的各种结果，例如得到的增广图像及分类结果等，在图1中仅以包括人脸的分类结果为例。
本发明实施例也可结合区块链技术实现，区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
参见图2，图2是本发明实施例提供的基于人工智能的图像分类模型训练系统110的一个可选的架构示意图，包括区块链网络600(示例性地示出了节点610-1至节点610-3)、认证中心700、业务系统800(示例性地示出了归属于业务系统800的电子设备810，电子设备810可以是图1中的服务器200或终端设备400)，下面分别进行说明。
区块链网络600的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务系统的电子设备例如终端设备和服务器，都可以在不需要授权的情况下接入区块链网络600；以联盟链为例，业务系统在获得授权后其下辖的电子设备(例如终端设备/服务器)可以接入区块链网络600，此时，成为区块链网络600中的一类特殊的节点即客户端节点。
需要指出地，客户端节点可以只提供支持业务系统发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络600的原生节点的功能，例如下文的排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务系统的具体业务需求)地实现。从而，可以将业务系统的数据和业务处理逻辑最大程度迁移到区块链网络600中，通过区块链网络600实现数据和业务处理过程的可信和可追溯。
区块链网络600接收来自业务系统(例如图2中示出的业务系统800)的客户端节点(例如，图2中示出的归属于业务系统800的电子设备810)提交的交易，执行交易以更新账本或者查询账本。
下面以业务系统接入区块链网络以实现图像分类模型的上链为例，说明区块链网络的示例性应用。
业务系统800的电子设备810接入区块链网络600，成为区块链网络600的客户端节点。电子设备810完成对图像分类模型的更新后，通过非对称加密算法生成密钥对，并根据密钥对中的公钥对更新后的图像分类模型进行加密。然后，电子设备810生成提交自身的身份标识和加密后的图像分类模型的交易，在交易中指定了实现提交操作需要调用的智能合约以及向智能合约传递的参数，交易还携带了业务系统800签署的数字签名(例如，使用业务系统800的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络600。其中，数字证书可由业务系统800向认证中心700进行登记注册得到。
区块链网络600中的节点610在接收到交易时，对交易携带的数字签名进行验证，数字签名验证成功后，根据交易中携带的业务系统800的身份标识，确认业务系统800是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点610自己的数字签名，并继续在区块链网络600中广播。
区块链网络600中具有排序功能的节点610接收到验证成功的交易后，将交易填充到新的区块中，并广播到区块链网络中600提供共识服务的节点。
区块链网络600中的提供共识服务的节点610对新区块进行共识过程以达成一致，提供账本功能的节点将新区块追加到区块链的尾部，并执行新区块中的交易：对于提交身份标识和加密后的图像分类模型的交易，将身份标识和加密后的图像分类模型以键值对的形式存储至状态数据库。
下面以业务系统接入区块链网络以实现图像分类模型的查询为例，说明区块链网络的示例性应用。
电子设备810在需要进行图像分类时，根据用户的指令或预设逻辑，生成查询图像分类模型的交易，同时在交易中指定了实现查询操作需要调用的智能合约以及向智能合约传递的参数，交易还携带了业务系统800的身份标识及签署的数字签名。然后，电子设备810将交易广播到区块链网络600，区块链网络的节点610经验证、区块填充及共识一致后，提供账本功能的节点610将形成的新区块追加到区块链的尾部，并执行新区块中的交易：对于查询图像分类模型的交易，根据交易携带的身份标识，从状态数据库中查询与该身份标识对应的加密后的图像分类模型，并将其发送至电子设备810。电子设备810可通过密钥对中的私钥，对加密后的图像分类模型进行解密处理，得到用于图像分类的图像分类模型。值得说明的是，状态数据库中存储的数据通常与区块链存储的数据相同，在响应查询交易时，优先根据状态数据库中的数据进行响应，从而提升响应效率。
下面继续说明本发明实施例提供的电子设备的示例性应用。电子设备可以实施为智能医疗设备，笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端设备，也可以实施为服务器。
参见图3A，图3A是本发明实施例提供的电子设备900(例如，可以是图1所示的服务器200或终端设备400)的架构示意图，图3A所示的电子设备900包括：至少一个处理器910、存储器950、至少一个网络接口920和用户接口930。电子设备900中的各个组件通过总线系统940耦合在一起。可理解，总线系统940用于实现这些组件之间的连接通信。总线系统940除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3A中将各种总线都标为总线系统940。
处理器910可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口930包括使得能够呈现媒体内容的一个或多个输出装置931，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口930还包括一个或多个输入装置932，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器950可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器950可选地包括在物理位置上远离处理器910的一个或多个存储设备。
存储器950包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本发明实施例描述的存储器950旨在包括任意适合类型的存储器。
在一些实施例中，存储器950能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统951，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块952，用于经由一个或多个(有线或无线)网络接口920到达其他计算设备，示例性的网络接口920包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块953，用于经由一个或多个与用户接口930相关联的输出装置931(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块954，用于对一个或多个来自一个或多个输入装置932之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的基于人工智能的图像分类模型训练装置可以采用软件方式实现，图3A示出了存储在存储器950中的基于人工智能的图像分类模型训练装置9551，其可以是程序和插件等形式的软件，包括以下软件模块：样本获取模块95511、图像增广模块95512、样本增广模块95513及模型更新模块95514，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在一些实施例中，本发明实施例提供的基于图像分类模型的分类装置也可以采用软件方式实现，参见图3B，图3B除了示出的基于图像分类模型的分类装置9552外，其余部分可均与图3A相同，此处不再赘述。对于存储在存储器950中的基于图像分类模型的分类装置9552，其可以是程序和插件等形式的软件，包括以下软件模块：图像获取模块95521、第一映射模块95522、第一分类模块95523、第一标签确定模块95524及第一结果确定模块95525，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在一些实施例中，针对图像是医学图像的情况，本发明实施例提供的基于人工智能的图像分类模型训练装置可以采用软件方式实现，参见图3C，图3C除了示出的基于人工智能的图像分类模型训练装置9553外，其余部分可均与图3A相同，此处不再赘述。对于存储在存储器950中的基于人工智能的图像分类模型训练装置9553，其可以是程序和插件等形式的软件，包括以下软件模块：医学样本获取模块95531、医学图像增广模块95532、医学样本增广模块95533及医学模型更新模块95534，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在一些实施例中，针对图像是医学图像的情况，本发明实施例提供的基于图像分类模型的分类装置也可以采用软件方式实现，参见图3D，图3D除了示出的基于图像分类模型的分类装置9554外，其余部分可均与图3A相同，此处不再赘述。对于存储在存储器950中的基于图像分类模型的分类装置9554，其可以是程序和插件等形式的软件，包括以下软件模块：医学图像获取模块95541、第二映射模块95542、第二分类模块95543、第二标签确定模块95544及第二结果确定模块95545，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的基于人工智能的图像分类模型训练装置及基于图像分类模型的分类装置可以采用硬件方式实现，作为示例，本发明实施例提供的基于人工智能的图像分类模型训练装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于人工智能的图像分类模型训练方法；本发明实施例提供的基于图像分类模型的分类装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于图像分类模型的分类方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(F PGA，Field-Programmable Gate Array)或其他电子元件。
本发明实施例提供的基于人工智能的图像分类模型训练方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端设备400-1和终端设备400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于人工智能的图像分类模型训练装置，而实现基于人工智能的图像分类模型训练方法的过程。
参见图4和图5A，图4是本发明实施例提供的基于人工智能的图像分类模型训练装置9551的架构示意图，示出了通过一系列模块更新图像分类模型的流程，图5A是本发明实施例提供的基于人工智能的图像分类模型训练方法的流程示意图，将结合图4对图5A示出的步骤进行说明。
在步骤101中，获取包括原始图像、标注区域及标注标签的原始样本；其中，标注标签用于表示原始图像中位于标注区域的图像的分类结果。
作为示例，参见图4，在样本获取模块95511中，获取原始样本，原始样本包括原始图像、已人为标注的标注区域及标注标签，本发明实施例对原始样本的获取来源不做限定，例如可以是数据库或本地日志等。根据应用场景的不同，获取的原始样本的类型也可不同，例如在基于卫星地图的目标识别场景中，待识别的目标为飞机，则对于包括飞机的原始图像(即卫星地图)，标注区域为原始图像中飞机所在的区域，标注标签的数值为1，表示位于标注区域的图像的分类结果为包括飞机；对于未包括飞机的原始图像，标注区域可以是原始图像中除飞机外的某个对象(例如农田或树木等)所在的区域，标注标签的数值为0，表示位于标注区域的图像的分类结果为未包括飞机。
又例如，在人脸识别的二分类场景中，对于包括人脸的原始图像，标注区域为原始图像中人脸所在的区域，标注标签的数值为1，表示位于标注区域的图像的分类结果为包括人脸；对于未包括人脸的原始图像，标注区域可以是原始图像中除人脸外的某个对象(例如猫或狗等)所在的区域，标注标签的数值为0，表示位于标注区域的图像的分类结果为未包括人脸。为了便于理解，后文以人脸识别的二分类场景进行举例说明，当然，本发明实施例也可应用于多分类的场景。此外，本发明实施例对标注区域的形状不做限定，其可以是不规则的形状，也可以是矩形，后文以标注区域为矩形的情况进行举例说明。
在步骤102中，对原始图像进行增广处理得到增广图像。
作为示例，参见图4，在图像增广模块95512中，可通过裁剪(crop)处理和裁出(cutout)处理中的至少一种处理方式，对原始图像进行增广处理得到增广图像，具体内容在后文进行阐述。值得说明的是，除了裁剪处理和裁出处理之外，还可应用其他方式得到增广图像，如mixup算法，又如随机图像裁剪和拼接(RICAP，Random Image Cropping AndPatching)，本发明实施例对此不做限定。
在一些实施例中，可以通过这样的方式来实现上述的对原始图像进行增广处理得到增广图像：确定相邻的两个标注区域之间的分割位置；根据分割位置对原始图像进行分割处理，得到至少两个分割后的原始图像；其中，不同分割后的原始图像对应不同的标注区域；对各分割后的原始图像进行增广处理，得到增广图像；其中，原始样本包括至少两个标注区域、以及与各标注区域对应的标注标签。
对于获取到的原始样本包括至少两个标注区域以及对应的标注标签的情况，在本发明实施例中，针对每个标注区域分别进行增广。具体地，确定原始图像中相邻的两个标注区域之间的分割位置，其中，分割位置相当于分割线的位置，分割线可以是相邻的两个标注区域之间的未标注区域的中心线，其中，分割线可以为水平方向(原始图像的长对应的方向)，也可以为竖直方向(原始图像的宽对应的方向)，本发明实施例对此不做限定。举例来说，原始图像的长度和宽度均为100像素，原始图像的标注区域A的左上角坐标为(20像素，80像素)，标注区域A的右下角坐标为(40像素，20像素)；标注区域B的左上角坐标为(60像素，80像素)，标注区域B的右下角坐标为(80像素，20像素)。则可确定出，标注区域A与标注区域B之间的未标注区域的左上角坐标为(40像素，80像素)，右下角坐标(60像素，20像素)，以分割线取竖直方向举例，则分割线是横坐标为50像素，纵坐标从0到100像素的竖直线，分割位置即为分割线所在的位置。
根据得到的至少一个分割位置，对原始图像进行分割处理，得到至少两个分割后的原始图像，其中，不同分割后的原始图像对应不同的标注区域。然后，对每个分割后的原始图像分别进行增广处理，得到增广图像。通过上述方式，使得待增广的原始图像仅包括一个标注区域，提升了增广的准确性和有序性。
在步骤103中，当增广图像符合标注区域对应的增广条件时，根据标注标签确定增广图像的增广标注标签，并根据增广图像和增广标注标签，构建增广样本。
作为示例，参见图4，在样本增广模块95513中，当增广图像不符合标注区域对应的增广条件时，重新对原始图像进行增广处理得到新的增广图像，直到增广图像符合增广条件为止；当增广图像符合增广条件时，根据原始样本中的标注标签，确定增广图像的增广标注标签。在确定增广标注标签后，根据增广图像和增广标注标签，构建增广样本，增广样本可以和原始样本共同作为图像分类模型的输入数据。
在一些实施例，步骤103之后，还包括：将原始样本及增广样本添加至样本集中；遍历样本集，并将遍历到的增广图像确定为待筛选图像；确定待筛选图像与对比图像之间的相似度；其中，对比图像为原始图像及待筛选图像之外的增广图像中的至少一个；当相似度超过相似度阈值时，从样本集中删除包括待筛选图像的增广样本。
在得到增广样本后，可将原始样本和增广样本添加至样本集，并对样本集中的增广样本进行筛选。具体地，遍历样本集中的增广图像，并将遍历到的增广图像确定为待筛选图像。计算待筛选图像与对比图像之间的相似度，当存在超过相似度阈值的相似度时，证明待筛选图像与对比图像之间的耦合度较高，为了提升图像分类模型的训练效果，从样本集中删除包括待筛选图像的增广样本。完成样本筛选后，即可将样本集中的样本作为图像分类模型的训练样本。
其中，对比图像可以是下列三种图像中的任意一种：1)原始图像；2)样本集中除待筛选图像之外的所有增广图像；3)样本集中除待筛选图像之外的所有图像(包括原始图像和增广图像)。根据第1)种对比图像进行样本筛选时，能够减少确定相似度的次数，提升样本筛选的效率；根据第2)种和第3)种对比图像进行样本筛选时，能够最大程度地降低样本集中图像之间的耦合度，根据实际应用场景的不同，可确定适于实际应用场景的对比图像类型。
另外，本发明实施例对确定两个图像之间的相似度的方式不做限定，例如，可对样本集中的各图像均进行尺寸归一化处理，并对尺寸归一化处理后的图像进行灰度处理，得到灰度图像。然后，将灰度图像中像素的像素值与像素阈值进行比较处理，并根据比较处理的结果确定像素对应的像素特征，例如当像素的像素值大于像素阈值时，将像素对应的像素特征设置为1；当像素的像素值小于或等于像素阈值时，将像素对应的像素特征设置为0。在确定出待筛选图像和对比图像后，将待筛选图像的像素特征与对比图像的像素特征进行按位匹配处理，即比对位置相同的每个像素对应的像素特征，将匹配成功(数值相同)的像素特征的数量，确定为待筛选图像与对比图像之间的相似度。通过上述方式对样本集进行样本筛选，提升了不同训练样本之间的差异程度，即提升了训练样本的有效性。
在步骤104中，根据原始样本和增广样本，更新图像分类模型的权重参数；其中，更新后的图像分类模型用于确定待处理图像的分类结果。
将原始样本和增广样本作为图像分类模型的训练样本，更新图像分类模型的权重参数，直到符合停止条件为止，停止条件可为设定的迭代次数，也可为设定的准确率阈值等。本发明实施例对图像分类模型的类型不做限定，例如可以是随机森林(RF，RandomForest)模型、支持向量机(SVM，Support Vect or Machine)及神经网络(NN，NeuralNetwork)模型等。更新后的图像分类模型可用于对待处理图像进行分类，得到分类结果，具体内容在后文进行阐述。
在一些实施例中，可以通过这样的方式来实现上述的根据原始样本和增广样本，更新图像分类模型的权重参数：通过图像分类模型对训练样本中的图像进行预测处理，得到待对比的预测标签；其中，训练样本为原始样本或增广样本；根据待对比的预测标签与训练样本中的标注标签之间的差异，确定损失值；根据损失值在图像分类模型中进行反向传播，并在反向传播的过程中，沿梯度下降方向更新图像分类模型的权重参数。
为了便于说明图像分类模型的训练过程，以一个训练样本进行举例，该训练样本可以是原始样本或增广样本。作为示例，参见图4，在模型更新模块95514中，通过图像分类模型对训练样本中的图像进行预测处理，得到待对比的预测标签，然后，通过图像分类模型的损失函数，对待对比的预测标签及训练样本中的标注标签进行处理，得到损失值，该损失值表示待对比的预测标签与标注标签之间的差异。根据损失值在图像分类模型中进行反向传播，在反向传播至图像分类模型的各个层的过程中，根据损失值计算梯度，并沿梯度下降方向更新图像分类模型的权重参数。本发明实施例对损失函数的类型不做限定，例如可为交叉熵损失函数。
在进行梯度下降时，可应用小批量梯度下降的机制。具体地，将原始样本以及增广得到的增广样本添加至样本批(batch)中，对样本批内所有样本对应的损失值进行平均处理，得到平均损失值，并根据平均损失值在图像分类模型中进行反向传播。通过小批量梯度下降的方式，能够在保证模型训练效果的基础上，加快模型收敛，缩短训练时长。
在一些实施例中，步骤104之后，还包括：生成包括公钥和私钥的密钥对，并根据公钥对更新后的图像分类模型进行加密；将身份标识及加密后的图像分类模型发送至区块链网络，以使区块链网络的节点将加密后的图像分类模型存储至区块链，并建立身份标识与加密后的图像分类模型之间的索引关系。
在完成对图像分类模型的更新后，可通过非对称加密算法生成包括公钥和私钥的密钥对，并根据密钥对中的公钥对更新后的图像分类模型进行加密，然后，将身份标识及加密后的图像分类模型以交易形式发送至区块链网络。区块链网络的节点经验证、区块填充及共识一致后，将包括身份标识及加密后的图像分类模型的新区块，追加至区块链的尾部，完成上链，上链的同时，也建立了身份标识与加密后的图像分类模型之间的索引关系。其中，非对称加密算法如RSA算法。
在需要获取图像分类模型时，向区块链网络发送包括身份标识的模型请求，以获取区块链存储的、与身份标识对应的加密后的图像分类模型。由于获取到的模型处于加密状态，故在进行图像分类前，根据密钥对中的私钥对加密后的图像分类模型进行解密处理。值得说明的是，在存在状态数据库时，区块链网络的节点可将加密后的图像分类模型同时存储至状态数据库，并优先根据状态数据库中的数据响应模型请求，以加快反馈效率。由于区块链具有不可篡改的特性，故通过上述的上链方式，有效提升了图像分类模型的数据准确性，同时，由于对图像分类模型进行了加密及建立了索引关系，故提升了区块链上的图像分类模型的安全性。
通过发明实施例对于图5A的上述示例性实施可知，本发明实施例在增广图像符合标注区域对应的增广条件时，根据标注标签确定增广图像的增广标注标签，并根据增广图像和增广标注标签，构建增广样本，提升了得到的增广样本的准确性，也提升了根据更新后的图像分类模型进行图像分类的准确性。
在一些实施例中，参见图5B，图5B是本发明实施例提供的基于人工智能的图像分类模型训练方法的一个可选的流程示意图，图5A示出的步骤102可以通过步骤201及步骤202中的至少一个步骤实现，将结合各步骤进行说明。
在步骤201中，根据原始图像的尺寸和裁剪比例，确定裁剪尺寸，并根据裁剪尺寸对原始图像进行裁剪处理，得到增广图像。
作为示例，参见图4，在图像增广模块95512中，可通过裁剪处理的方式得到增广图像。具体地，设定裁剪比例，将原始图像的尺寸和裁剪比例进行乘积处理，得到裁剪尺寸，并根据裁剪尺寸对原始图像进行裁剪处理，即，将原始图像中符合裁剪尺寸的任意区域，确定为裁剪出的增广图像。
为了提升裁剪的灵活性，增加图像增广的尺度，也可设定最小裁剪比例，将原始图像的尺寸与最小裁剪比例进行乘积处理，得到最小裁剪尺寸，并将最小裁剪尺寸与原始图像的尺寸之间的范围，确定为裁剪尺寸的取值范围。在每次裁剪时，在该取值范围内随机选取一个裁剪尺寸，并将原始图像中符合该裁剪尺寸的任意区域，确定为裁剪出的增广图像。
在步骤202中，根据设定的遮挡面积对原始图像进行裁出处理，得到裁出的遮挡区域，并将包括遮挡区域的原始图像，确定为增广图像。
作为示例，参见图4，在图像增广模块95512中，也可通过裁出处理的方式得到增广图像，裁出处理的核心是通过一个遮挡区域掩盖住图像的一部分。具体地，设定遮挡面积，根据遮挡面积对原始图像进行裁出处理，得到符合遮挡面积的遮挡区域。为了提升裁出的灵活性，增加图像增广的尺度，也可设定遮挡面积的取值范围，在每次裁出时，在该取值范围内随机选取一个遮挡面积，并根据遮挡面积对原始图像进行裁出处理，得到符合遮挡面积的裁出的遮挡区域。
然后，将包括遮挡区域(被遮挡区域掩盖)的原始图像，确定为增广图像。在对原始图像进行增广处理时，可仅应用步骤201的方式，可仅应用步骤202的方式，也可同时应用步骤201和步骤202的方式得到两个增广图像。
在一些实施例中，可以通过这样的方式来实现上述的根据设定的遮挡面积对原始图像进行裁出处理，得到裁出的遮挡区域：执行以下任意一种处理：将原始图像中符合遮挡面积的任意区域，确定为裁出的遮挡区域；将原始图像中符合遮挡面积、且中心位于标注区域内的区域，确定为裁出的遮挡区域。
本发明实施例提供了裁出处理的两种方式，第一种方式是，将原始图像中符合遮挡面积的任意区域，确定为裁出的遮挡区域；第二种方式是，将原始图像中符合遮挡面积、且中心位于标注区域内的区域，确定为裁出的遮挡区域，该种方式可保证遮挡区域掩盖部分的标注区域。根据实际应用场景的不同，可选取以上两种方式的任意一种，进行裁出处理，提升裁出处理的灵活性。
在图5B中，图5A示出的步骤103可以通过步骤203至步骤208实现，将结合各步骤进行说明。
在步骤203中，确定第一标注面积与第二标注面积之间的面积比例，其中，第一标注面积是增广图像包括的标注区域的面积，所述第二标注面积是原始图像中的标注区域的面积。
这里，根据面积之间的比例确定增广图像是否符合标注区域对应的增广条件。具体地，将增广图像包括的标注区域的面积确定为第一标注面积，将原始图像中的标注区域的面积确定为第二标注面积，并计算第一标注面积与第二标注面积之间的面积比例，即面积比例为第一标注面积/第二标注面积。
在步骤204中，当增广图像是经过裁剪处理得到、且面积比例大于第一比例阈值时，将标注标签确定为增广图像的增广标注标签。
针对增广图像是经过裁剪处理得到的情况，设定第一比例阈值，当面积比例大于第一比例阈值时，将标注标签确定为增广图像的增广标注标签；当面积比例小于或等于第一比例阈值时，确定增广图像不符合增广条件，重新对原始图像进行增广处理得到新的增广图像。
在步骤205中，当增广图像是经过裁出处理得到、且面积比例大于第二比例阈值时，将标注标签确定为增广图像的增广标注标签。
针对增广图像是经过裁出处理得到的情况，设定第二比例阈值，当面积比例大于第二比例阈值时，将标注标签确定为增广图像的增广标注标签，其中，第一比例阈值和第二比例阈值可以相同，也可以不同。
在步骤206中，当增广图像是经过裁出处理得到、且面积比例小于或等于第二比例阈值时，将标注区域确定为裁出的遮挡区域，并根据遮挡区域更新增广图像。
当增广图像是经过裁出处理得到、且面积比例小于或等于第二比例阈值时，将原始图像中的标注区域确定为裁出的遮挡区域，并将包括该遮挡区域(被该遮挡区域掩盖)的原始图像，确定为新的增广图像。
在步骤207中，将与标注标签表示的分类结果相反的标签，确定为增广图像的增广标注标签。
对于经步骤206更新的增广图像，将与标注标签表示的分类结果相反的标签，确定为该增广图像的增广标注标签。分类结果之间的相反关系可预先设定，例如设定包括人脸的分类结果(对应的标签为1)与未包括人脸的分类结果(对应的标签为0)之间为相反关系，则在原始样本内的标注标签为1的情况下，将经步骤206得到的增广图像的增广标注标签设置为0。又例如，在基于卫星地图的目标识别场景中，设定包括飞机的分类结果与未包括飞机的分类结果之间为相反关系。又例如，在临床研究的场景中，设定良性病变的分类结果与正常的分类结果之间为相反关系，同时设定癌变的分类结果与正常的分类结果之间为相反关系。
在步骤208中，根据增广图像和增广标注标签，构建增广样本。
这里，对增广样本的数量不做限定，可为一个，也可为至少两个，可根据实际应用场景进行设定，
通过发明实施例对于图5B的上述示例性实施可知，本发明实施例通过裁剪处理和/或裁出处理得到增广图像，并根据面积比例确定是否为增广图像设置增广标注标签，在尽可能扩大图像增广尺度的同时，提升了得到的增广标注标签以及增广样本的准确性。
本发明实施例提供的基于图像分类模型的分类方法可以由上述的服务器执行，也可以由终端设备(例如，可以是图1所示的终端设备400-1和终端设备400-2)执行，或者由服务器和终端设备共同执行。
下面将结合上文记载的电子设备的示例性应用和结构，说明电子设备中通过嵌入的基于图像分类模型的分类装置，而实现基于图像分类模型的分类方法的过程。
参见图6，图6是本发明实施例提供的基于图像分类模型的分类方法的一个可选的流程示意图，将结合图6示出的步骤进行说明。
在步骤301中，获取待处理图像。
这里，获取需要进行图像分类的待处理图像，根据实际应用场景的不同，待处理图像的类型也可以不同，例如待处理图像可以是移动终端摄像头拍摄的图像，可以是卫星地图，也可以是如内镜图像的医学图像。
在步骤302中，通过图像分类模型将待处理图像映射至特征空间，得到图像特征。
将待处理图像作为图像分类模型的输入数据，在图像分类模型的处理过程中，首先将待处理图像映射至特征空间，得到图像特征，图像特征通常为向量形式，便于后续处理。值得说明的是，图像分类模型可从数据库中获取，在预先将图像分类模型上链的情况下，也可从区块链网络中获取。
在步骤303中，通过图像分类模型，对图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度。
这里，可对图像特征进行优化处理，以将更有效的信息作为图像特征，优化处理如卷积处理或整合处理等，根据图像分类模型的类型确定优化处理的方式。然后，对优化处理后的图像特征进行分类处理，得到至少一个初始预测标签及与每个初始预测标签对应的置信度，置信度表示初始预测标签的可信程度。
在步骤304中，将数值最大的置信度对应的初始预测标签，确定为预测标签。
将数值最大的置信度对应的初始预测标签，确定为图像分类模型的预测标签。举例来说，对图像特征进行分类处理，得到的一个初始预测标签为0，对应的置信度为0.3，另一个初始预测标签为1，对应的置信度为0.7，故将数值为1的初始预测标签，确定为预测标签。
在步骤305中，根据预测标签确定待处理图像的分类结果。
这里，将预测标签表示的分类结果，确定为待处理图像的分类结果。步骤301至步骤305可应用至不同的应用场景，例如在用于门禁的人脸识别场景中，每隔固定间隔(如2秒)采集一次门禁前方的图像作为待处理图像，当通过图像分类模型确定出待处理图像的分类结果为未包括人脸时，不执行操作；当通过图像分类模型确定出待处理图像的分类结果为包括人脸时，执行开门操作。又例如可应用于用户图库中，将用户图库的每一张图像依次作为待处理图像，并将分类结果为包括人脸的图像(例如自拍图像及合照图像等)归为一类，将分类结果为未包括人脸的图像(例如风景图及建筑图等)归为另一类，实现用户图库的图像整理。
又例如，还可应用至基于卫星地图的目标识别场景中，以待识别的目标为飞机举例，通过步骤301至步骤305，对多个地区的卫星地图(待处理图像)进行处理，将包括飞机的分类结果对应的卫星地图确定为目标地图，然后，进一步确定目标地图对应的地区，得到飞机的地区分布结果，在省去人工识别的繁琐工作的同时，提升识别精度。
通过发明实施例对于图6的上述示例性实施可知，本发明实施例通过图像分类模型得到待处理图像的分类结果，提升了图像分类的准确性，适用于多种图像分类的应用场景。
特别地，本发明实施例提供的基于人工智能的图像分类模型训练方法可以应用至临床研究的场景，针对医学图像进行模型训练及图像分类，这里的医学图像可以是胃部或肠道等部位的内镜图像，可以是通过摄像头拍摄的人体外部图像，也可以是通过特定波长的电磁波(如X光)得到的人体透视图像，本发明实施例对此不做限定。
电子设备可通过嵌入基于人工智能的图像分类模型训练装置，从而实现基于人工智能的图像分类模型训练方法。本发明实施例提供的电子设备可以是服务器，例如部署在云端的服务器，根据用户(如医生或研究机构等)提交的待处理的医学图像，向用户提供远程的图像分类功能，即向用户发送与待处理的医学图像对应的病变分类结果；也可以是终端设备，例如针对一种或多种疾病(例如胃部疾病及肠道疾病等)的智能医疗设备，能够对实时拍摄或存储的待处理的医学图像进行图像分类，得到病变分类结果。用户从电子设备获取到准确率较高的病变分类结果后，可结合待处理的医学图像和病变分类结果进行相关的临床研究，例如确定某种疾病在特定人群中的病变概率，或根据待处理的医学图像对应的环境因素，确定不同的环境因素对病变的影响等。
参见图7，图7是本发明实施例提供的基于人工智能的图像分类模型训练方法的一个可选的流程示意图，结合图1，以电子设备部署在云端的情况，示出了通过一系列步骤实现针对医学图像的图像分类模型的训练的过程，将结合图7示出的步骤进行说明。
在步骤401中，终端设备将包括原始医学图像、标注区域及标注标签的原始样本发送至服务器；其中，标注标签用于表示原始医学图像中位于标注区域的图像的病变分类结果。
在训练针对医学图像的图像分类模型时，终端设备首先将包括原始医学图像、标注区域及标注标签的原始样本发送至服务器，其中，标注区域通常是原始医学图像中容易病变的区域，标注标签可以是终端设备的用户对于原始医学图像中位于标注区域的图像做出的病变分类结果，终端设备的用户可以是医生或研究机构等。举例来说，在二分类场景下，病变分类结果可以包括正常和癌变；在三分类场景下，病变分类结果可以包括正常、良性病变和癌变。
在步骤402中，服务器对原始医学图像进行增广处理得到增广医学图像。
服务器对获取到的原始样本中的原始医学图像进行增广处理，同样地，增广处理的方式包括裁剪处理和裁出处理中的至少一种。对原始医学图像进行增广处理后，得到增广医学图像，增广医学图像的数量为一个或至少两个。
在步骤403中，当增广医学图像符合标注区域对应的增广条件时，服务器根据标注标签确定增广医学图像的增广标注标签，并根据增广医学图像和增广标注标签，构建增广样本。
与步骤203至步骤208类似地，对于符合标注区域对应的增广条件的增广医学图像时，服务器根据标注标签确定增广医学图像的增广标注标签，其中，服务器可能是将标注标签确定为增广医学图像的增广标注标签，也可能是将与标注标签表示的病变分类结果相反的标签，确定为增广医学图像的增广标注标签，根据增广处理的方式及面积比例的数值而定。然后，服务器根据增广医学图像和增广标注标签，构建增广样本。
在步骤404中，服务器根据原始样本和增广样本，更新图像分类模型的权重参数；其中，更新后的图像分类模型用于确定待处理的医学图像的病变分类结果。
服务器将原始样本和增广样本作为图像分类模型的训练样本，从而更新图像分类模型的权重参数，直到符合停止条件为止，停止条件可为设定的迭代次数，也可为设定的准确率阈值等。在完成对图像分类模型的更新后，可将图像分类模型存储至与服务器连接的数据库或区块链网络中，以在需要进行图像分类时，从数据库或区块链网络中获取图像分类模型。
通过发明实施例对于图7的上述示例性实施可知，本发明实施例在增广医学图像符合标注区域对应的增广条件时，根据标注标签确定增广医学图像的增广标注标签，并根据增广医学图像和增广标注标签，构建增广样本，提升了得到的增广样本的准确性，也提升了训练出的图像分类模型的分类精度。
参见图8，图8是本发明实施例提供的基于图像分类模型的分类方法的一个可选的流程示意图，结合图1，同样以电子设备部署在云端的情况，示出了通过一系列步骤实现医学图像的图像分类的过程，将结合图8示出的步骤进行说明。
在步骤501中，终端设备将待处理的医学图像发送至服务器。
这里，终端设备将实时采集或存储的待处理的医学图像，发送至服务器。值得说明的是，待处理的医学图像和步骤401中的原始医学图像是同一类型的医学图像，例如待处理的医学图像和原始医学图像均为人体的胃部内镜图像。
在步骤502中，服务器通过图像分类模型将待处理的医学图像映射至特征空间，得到图像特征。
这里，服务器从数据库或区块链网络中获取图像分类模型，并通过图像分类模型将待处理的医学图像映射至特征空间，得到向量形式的图像特征，便于后续处理。
在步骤503中，服务器通过图像分类模型，对图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度。
这里，服务器可以通过图像分类模型对图像特征进行优化处理，优化处理的方式根据图像分类模型的类型而定，例如可以是卷积处理或整合处理等，然后，对优化处理后的图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度。
在步骤504中，服务器将数值最大的置信度对应的初始预测标签，确定为预测标签。
由于置信度表示对应的初始预测标签的可信程度，故服务器将数值最大的置信度对应的初始预测标签，确定为图像分类模型的预测标签。
在步骤505中，服务器根据预测标签，确定待处理的医学图像的病变分类结果，并将病变分类结果发送至终端设备。
这里，服务器将预测标签表示的病变分类结果，确定为待处理的医学图像的病变分类结果，并将病变分类结果发送至终端设备。终端设备的用户可根据待处理的医学图像及对应的病变分类结果，进行临床研究，例如终端设备向服务器发送的待处理的医学图像属于特定人群，则终端设备的用户可根据服务器返回的病变分类结果，确定某种疾病在特定人群中的病变概率，又例如，终端设备向服务器发送的待处理的医学图像对应环境因素，则终端设备的用户可根据服务器返回的病变分类结果，确定不同的环境因素对病变的影响等。
通过发明实施例对于图8的上述示例性实施可知，本发明实施例通过图像分类模型得到待处理的医学图像的病变分类结果，省去人工分类的繁琐操作，提升了图像分类的准确性，该病变分类结果可为临床研究提供有效的数据支持。
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用，该应用场景中针对医学图像进行模型训练及图像分类。
本发明实施例提供了如图9所示的裁剪处理的示意图，在图9中，首先获取包括原始医学图像91、标注区域911及标注标签的原始样本，其中，原始医学图像91为内镜图像，标注标签用于表示原始医学图像91中位于标注区域911的图像的病变分类结果。为了便于理解，以病变分类结果包括正常、良性病变及癌变的情况进行举例说明，标注区域911对应的标注标签用于表示癌变。在进行图像增广时，可利用监督裁剪的方式得到增广图像。具体地，首先设定最小裁剪比例cmin，cmin的数值范围是0到1之间，将原始医学图像91的尺寸以H×W表示，则可得到长度方向的裁剪尺寸范围为[H×cmin,H]，宽度方向的裁剪尺寸范围为[W×cmin,W]，即，设定裁剪处理得到的增广图像的尺寸为h×w，则h∈[H×cmin,H]，w∈[W×cmin,W]。将经裁剪得到的增广图像包括的标注区域911的面积，确定为第一标注面积，将原始医学图像91中的标注区域911的面积，确定为第二标注面积，并确定第一标注面积与第二标注面积之间的面积比例。当增广图像对应的面积比例大于设定的第一比例阈值δ时，将原始样本中的标注标签确定为增广图像的增广标注标签，并输出增广图像(增广样本)，例如输出图9所示的增广图像92；当增广图像对应的面积比例小于或等于δ时，重复裁剪过程，直至得到对应的面积比例大于δ的增广图像为止，例如图9中所示的增广图像93对应的面积比例小于δ，则不输出增广图像93，而是重复裁剪过程，生成新的增广图像。
本发明实施例提供了如图10所示的裁出处理的示意图，在图10中，首先获取包括原始医学图像101、标注区域1011及标注标签的原始样本，其中，原始医学图像101为内镜图像，该标注标签用于表示原始医学图像101中位于标注区域1011的图像的病变分类结果，即癌变。在进行图像增广时，可利用监督裁出的方式得到增广图像。具体地，设定遮挡面积范围[mmin,mmax]，并根据下列两种方式的任意一种进行裁出：第一种方式是，随机选取遮挡面积范围中的一个遮挡面积，将原始医学图像101中符合该遮挡面积的任意区域，确定为裁出的遮挡区域；第二种方式是，随机选取遮挡面积范围中的一个遮挡面积，将原始医学图像101中符合该遮挡面积、且中心位于标注区域1011内的区域，确定为裁出的遮挡区域。然后，将被遮挡区域掩盖的原始医学图像101，确定为增广图像。
将原始医学图像101中的标注区域1011的面积，确定为第二标注面积，将经裁出得到的增广图像中标注区域1011被遮挡区域掩盖的面积，确定为第三标注面积，并确定遮挡比例为第三标注面积/第二标注面积。当增广图像对应的遮挡比例小于设定的第三比例阈值λ时，将原始样本中的标注标签确定为增广图像的增广标注标签，并输出增广图像(增广样本)，例如输出图10所示的增广图像102；当增广图像对应的遮挡比例大于或等于λ时，将原始医学图像101中的标注区域1011作为遮挡区域，从而更新增广图像，并将与标注标签表示的分类结果相反的标签，确定为更新后的增广图像的增广标注标签，例如图10中所示的增广图像103对应的遮挡比例大于或等于λ，则根据标注区域1011更新(转换)增广图像103，得到增广图像104，同时将表示正常的标签，确定为增广图像104的增广标注标签，并输出增广图像104。值得说明的是，第三比例阈值λ与上文的第二比例阈值之和为1，遮挡比例与上文裁剪处理中的面积比例之和同样为1。在实际应用场景中，可以应用监督裁剪和监督裁出的至少一种方式，得到增广图像，例如对原始医学图像先进行监督裁剪得到一个增广图像，再进行监督裁出，得到另一个增广图像。通过监督裁剪和监督裁出的方式，能够在丰富样本多样性的同时，保证标签的合理性，能够提供更多有效、准确的标注数据。
本发明实施例提供了如图11所示的效果对比的示意图，其中，图11坐标图中的虚线代表通过传统方法进行图像增广及模型训练时，得到模型的评估指标变化情况，实线代表通过本发明实施例提供的方案进行图像增广及模型训练时，得到模型的评估指标变化情况。坐标图的纵坐标为评估指标的具体数值，横坐标为数据量，例如，在数据量为10％时，表示取全量数据的10％进行图像增广及模型训练。图11针对三种不同的分类结果，即正常、良性病变和癌变，得到三种评估指标，另外，还对三种评估指标进行宏平均处理，得到宏平均评估指标，图11所示的评估指标均为F1-score，即准确率和召回率的调和平均数。从图11可见，通过本发明实施例，能够提升图像增广的准确性，即提升标注质量，能够提供大量准确、有效的标注数据，也有利于提升后续进行图像分类的精度。
下面继续说明本发明实施例提供的基于人工智能的图像分类模型训练装置9551实施为软件模块的示例性结构，在一些实施例中，如图3A所示，存储在存储器950的基于人工智能的图像分类模型训练装置9551中的软件模块可以包括：样本获取模块95511，用于获取包括原始图像、标注区域及标注标签的原始样本；其中，标注标签用于表示原始图像中位于标注区域的图像的分类结果；图像增广模块95512，用于对原始图像进行增广处理得到增广图像；样本增广模块95513，用于当增广图像符合标注区域对应的增广条件时，根据标注标签确定增广图像的增广标注标签，并根据增广图像和增广标注标签，构建增广样本；模型更新模块95514，用于根据原始样本和增广样本，更新图像分类模型的权重参数；其中，更新后的图像分类模型用于确定待处理图像的分类结果。
在一些实施例中，图像增广模块95512，还用于：执行以下至少一种处理：根据原始图像的尺寸和裁剪比例，确定裁剪尺寸，并根据裁剪尺寸对原始图像进行裁剪处理，得到增广图像；根据设定的遮挡面积对原始图像进行裁出处理，得到裁出的遮挡区域，并将包括遮挡区域的原始图像，确定为增广图像。
在一些实施例中，样本增广模块95513，还用于：确定第一标注面积与第二标注面积之间的面积比例，其中，第一标注面积是增广图像包括的标注区域的面积，第二标注面积是原始图像中的标注区域的面积；当增广图像是经过裁剪处理得到、且面积比例大于第一比例阈值时，将标注标签确定为增广图像的增广标注标签；当增广图像是经过裁出处理得到、且面积比例大于第二比例阈值时，将标注标签确定为增广图像的增广标注标签。
在一些实施例中，样本增广模块95513，还用于：当增广图像是经过裁出处理得到、且面积比例小于或等于第二比例阈值时，将标注区域确定为裁出的遮挡区域，并根据遮挡区域更新增广图像；将与标注标签表示的分类结果相反的标签，确定为增广图像的增广标注标签。
在一些实施例中，图像增广模块95512，还用于：执行以下任意一种处理：将原始图像中符合遮挡面积的任意区域，确定为裁出的遮挡区域；将原始图像中符合遮挡面积、且中心位于标注区域内的区域，确定为裁出的遮挡区域。
在一些实施例中，模型更新模块95514，还用于：通过图像分类模型对训练样本中的图像进行预测处理，得到待对比的预测标签；其中，训练样本为原始样本或增广样本；根据待对比的预测标签与训练样本中的标注标签之间的差异，确定损失值；根据损失值在图像分类模型中进行反向传播，并在反向传播的过程中，沿梯度下降方向更新图像分类模型的权重参数。
在一些实施例中，基于人工智能的图像分类模型训练装置9551还包括：生成模块，用于生成包括公钥和私钥的密钥对，并根据公钥对更新后的图像分类模型进行加密；上链模块，用于将身份标识及加密后的图像分类模型发送至区块链网络，以使区块链网络的节点将加密后的图像分类模型存储至区块链，并建立身份标识与加密后的图像分类模型之间的索引关系。
下面继续说明本发明实施例提供的基于图像分类模型的分类装置9552实施为软件模块的示例性结构，在一些实施例中，如图3B所示，存储在存储器950的基于图像分类模型的分类装置9552中的软件模块可以包括：图像获取模块95521，用于获取待处理图像；第一映射模块95522，用于通过图像分类模型将待处理图像映射至特征空间，得到图像特征；第一分类模块95523，用于通过图像分类模型，对图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；第一标签确定模块95524，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；第一结果确定模块95525，用于根据预测标签确定待处理图像的分类结果。
下面继续说明本发明实施例提供的基于人工智能的图像分类模型训练装置9553实施为软件模块的示例性结构，在一些实施例中，如图3C所示，存储在存储器950的基于人工智能的图像分类模型训练装置9553中的软件模块可以包括：医学样本获取模块95531，用于获取包括原始医学图像、标注区域及标注标签的原始样本；其中，标注标签用于表示原始医学图像中位于标注区域的图像的病变分类结果；医学图像增广模块95532，用于对原始医学图像进行增广处理得到增广医学图像；医学样本增广模块95533，用于当增广医学图像符合标注区域对应的增广条件时，根据标注标签确定增广医学图像的增广标注标签，并根据增广医学图像和增广标注标签，构建增广样本；医学模型更新模块95534，用于根据原始样本和增广样本，更新图像分类模型的权重参数；其中，更新后的图像分类模型用于确定待处理的医学图像的病变分类结果。
下面继续说明本发明实施例提供的基于图像分类模型的分类装置9554实施为软件模块的示例性结构，在一些实施例中，如图3D所示，存储在存储器950的基于图像分类模型的分类装置9554中的软件模块可以包括：医学图像获取模块95541，用于获取待处理的医学图像；第二映射模块95542，用于通过图像分类模型将待处理的医学图像映射至特征空间，得到图像特征；第二分类模块95543，用于通过图像分类模型，对图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；第二标签确定模块95544，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；第二结果确定模块95545，用于根据预测标签，确定待处理的医学图像的病变分类结果。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图5A、图5B或图7示出的基于人工智能的图像分类模型训练方法，或者，如图6或图8示出的基于图像分类模型的分类方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上，通过本发明实施例，能够在尽可能扩大图像增广尺寸的同时，保证图像增广的准确性，提升标注的质量，在根据原始样本及增广样本训练图像分类模型后，能够提升图像分类的精度，得到更为准确的分类结果，适用于多种图像分类的应用场景。
以上，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种基于人工智能的图像分类模型训练方法，其特征在于，包括：
获取包括原始图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始图像中位于所述标注区域的图像的分类结果；
对所述原始图像进行增广处理得到增广图像；
当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，并
根据所述增广图像和所述增广标注标签，构建增广样本；
根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理图像的分类结果。
2.根据权利要求1所述的图像分类模型训练方法，其特征在于，所述对所述原始图像进行增广处理得到增广图像，包括：
执行以下至少一种处理：
根据所述原始图像的尺寸和裁剪比例，确定裁剪尺寸，并
根据所述裁剪尺寸对所述原始图像进行裁剪处理，得到增广图像；
根据设定的遮挡面积对所述原始图像进行裁出处理，得到裁出的遮挡区域，并
将包括所述遮挡区域的所述原始图像，确定为增广图像。
3.根据权利要求2所述的图像分类模型训练方法，其特征在于，所述当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，包括：
确定第一标注面积与第二标注面积之间的面积比例，其中，所述第一标注面积是所述增广图像包括的所述标注区域的面积，所述第二标注面积是所述原始图像中的所述标注区域的面积；
当所述增广图像是经过裁剪处理得到、且所述面积比例大于第一比例阈值时，将所述标注标签确定为所述增广图像的增广标注标签；
当所述增广图像是经过裁出处理得到、且所述面积比例大于第二比例阈值时，将所述标注标签确定为所述增广图像的增广标注标签。
4.根据权利要求3所述的图像分类模型训练方法，其特征在于，还包括：
当所述增广图像是经过裁出处理得到、且所述面积比例小于或等于所述第二比例阈值时，将所述标注区域确定为裁出的遮挡区域，并根据所述遮挡区域更新所述增广图像；
将与所述标注标签表示的分类结果相反的标签，确定为所述增广图像的增广标注标签。
5.根据权利要求2所述的图像分类模型训练方法，其特征在于，所述根据设定的遮挡面积对所述原始图像进行裁出处理，得到裁出的遮挡区域，包括：
执行以下任意一种处理：
将所述原始图像中符合所述遮挡面积的任意区域，确定为裁出的遮挡区域；
将所述原始图像中符合所述遮挡面积、且中心位于所述标注区域内的区域，确定为裁出的遮挡区域。
6.根据权利要求1至5任一项所述的图像分类模型训练方法，其特征在于，所述根据所述原始样本和所述增广样本，更新图像分类模型的权重参数，包括：
通过所述图像分类模型对训练样本中的图像进行预测处理，得到待对比的预测标签；其中，所述训练样本为所述原始样本或所述增广样本；
根据所述待对比的预测标签与所述训练样本中的标注标签之间的差异，确定损失值；
根据所述损失值在所述图像分类模型中进行反向传播，并在反向传播的过程中，沿梯度下降方向更新所述图像分类模型的权重参数。
7.根据权利要求1至5任一项所述的图像分类模型训练方法，其特征在于，所述根据所述原始样本和所述增广样本，更新图像分类模型的权重参数之后，还包括：
生成包括公钥和私钥的密钥对，并根据所述公钥对更新后的所述图像分类模型进行加密；
将身份标识及加密后的所述图像分类模型发送至区块链网络，以使
所述区块链网络的节点将加密后的所述图像分类模型存储至区块链，并建立所述身份标识与加密后的所述图像分类模型之间的索引关系。
8.一种基于权利要求1至7任一项所述的图像分类模型的分类方法，其特征在于，包括：
获取待处理图像；
通过图像分类模型将所述待处理图像映射至特征空间，得到图像特征；
通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
将数值最大的置信度对应的初始预测标签，确定为预测标签；
根据所述预测标签确定所述待处理图像的分类结果。
9.一种基于人工智能的图像分类模型训练方法，其特征在于，包括：
获取包括原始医学图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始医学图像中位于所述标注区域的图像的病变分类结果；
对所述原始医学图像进行增广处理得到增广医学图像；
当所述增广医学图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广医学图像的增广标注标签，并
根据所述增广医学图像和所述增广标注标签，构建增广样本；
根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理的医学图像的病变分类结果。
10.一种基于权利要求9所述的图像分类模型的分类方法，其特征在于，包括：
获取待处理的医学图像；
通过图像分类模型将所述待处理的医学图像映射至特征空间，得到图像特征；
通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
将数值最大的置信度对应的初始预测标签，确定为预测标签；
根据所述预测标签，确定所述待处理的医学图像的病变分类结果。
11.一种基于人工智能的图像分类模型训练装置，其特征在于，包括：
样本获取模块，用于获取包括原始图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始图像中位于所述标注区域的图像的分类结果；
图像增广模块，用于对所述原始图像进行增广处理得到增广图像；
样本增广模块，用于当所述增广图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广图像的增广标注标签，并
根据所述增广图像和所述增广标注标签，构建增广样本；
模型更新模块，用于根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理图像的分类结果。
12.一种基于图像分类模型的分类装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
第一映射模块，用于通过图像分类模型将所述待处理图像映射至特征空间，得到图像特征；
第一分类模块，用于通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
第一标签确定模块，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；
第一结果确定模块，用于根据所述预测标签确定所述待处理图像的分类结果。
13.一种基于人工智能的图像分类模型训练装置，其特征在于，包括：
医学样本获取模块，用于获取包括原始医学图像、标注区域及标注标签的原始样本；其中，所述标注标签用于表示所述原始医学图像中位于所述标注区域的图像的病变分类结果；
医学图像增广模块，用于对所述原始医学图像进行增广处理得到增广医学图像；
医学样本增广模块，用于当所述增广医学图像符合所述标注区域对应的增广条件时，根据所述标注标签确定所述增广医学图像的增广标注标签，并
根据所述增广医学图像和所述增广标注标签，构建增广样本；
医学模型更新模块，用于根据所述原始样本和所述增广样本，更新图像分类模型的权重参数；
其中，更新后的所述图像分类模型用于确定待处理的医学图像的病变分类结果。
14.一种基于图像分类模型的分类装置，其特征在于，包括：
医学图像获取模块，用于获取待处理的医学图像；
第二映射模块，用于通过图像分类模型将所述待处理的医学图像映射至特征空间，得到图像特征；
第二分类模块，用于通过所述图像分类模型，对所述图像特征进行分类处理，得到至少一个初始预测标签及对应的置信度；
第二标签确定模块，用于将数值最大的置信度对应的初始预测标签，确定为预测标签；
第二结果确定模块，用于根据所述预测标签，确定所述待处理的医学图像的病变分类结果。
15.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至7任一项所述的基于人工智能的图像分类模型训练方法，或权利要求8所述的基于图像分类模型的分类方法，或权利要求9所述的基于人工智能的图像分类模型训练方法，或权利要求10所述的基于图像分类模型的分类方法。
CN202010036150.3A 2020-01-14 2020-01-14 基于人工智能的图像分类模型训练方法、分类方法及装置 Active CN111275080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036150.3A CN111275080B (zh) 2020-01-14 2020-01-14 基于人工智能的图像分类模型训练方法、分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010036150.3A CN111275080B (zh) 2020-01-14 2020-01-14 基于人工智能的图像分类模型训练方法、分类方法及装置

Publications (2)

Publication Number Publication Date
CN111275080A true CN111275080A (zh) 2020-06-12
CN111275080B CN111275080B (zh) 2021-01-08

Family

ID=70998951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036150.3A Active CN111275080B (zh) 2020-01-14 2020-01-14 基于人工智能的图像分类模型训练方法、分类方法及装置

Country Status (1)

Country Link
CN (1) CN111275080B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768405A (zh) * 2020-08-05 2020-10-13 赛维森(广州)医疗科技服务有限公司 处理标注图像的方法、装置、设备和存储介质
CN112084861A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 模型训练方法、装置、电子设备和存储介质
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112633392A (zh) * 2020-12-29 2021-04-09 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像目标检测模型训练数据增广方法
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN113052327A (zh) * 2021-03-30 2021-06-29 北京骑胜科技有限公司 数据处理方法、装置、可读存储介质和电子设备
CN113240071A (zh) * 2021-05-13 2021-08-10 平安科技（深圳）有限公司 图神经网络处理方法、装置、计算机设备及存储介质
CN113705550A (zh) * 2021-10-29 2021-11-26 北京世纪好未来教育科技有限公司 一种训练方法、视线检测方法、装置和电子设备
CN114511443A (zh) * 2020-10-29 2022-05-17 北京中祥英科技有限公司 图像处理、图像识别网络训练和图像识别的方法及装置
JP2022103136A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN114972093A (zh) * 2022-05-26 2022-08-30 平安科技（深圳）有限公司 图像增强方法、装置、设备及存储介质
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
WO2023284670A1 (zh) * 2021-07-12 2023-01-19 深圳思谋信息科技有限公司 图形码提取模型构建方法、识别方法、装置、设备和介质
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN107742130A (zh) * 2017-10-25 2018-02-27 西南交通大学 基于深度学习的高铁接触网支持装置紧固件故障诊断方法
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN108564026A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统
US10127438B1 (en) * 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
US20190087694A1 (en) * 2017-09-21 2019-03-21 International Business Machines Corporation Data augmentation for image classification tasks
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110245689A (zh) * 2019-05-23 2019-09-17 杭州有容智控科技有限公司 基于机器视觉的盾构刀具识别与定位检测方法
CN110263794A (zh) * 2019-06-26 2019-09-20 国网山东省电力公司建设公司 基于数据增强的安全带图像目标识别方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
US10127438B1 (en) * 2017-08-07 2018-11-13 Standard Cognition, Corp Predicting inventory events using semantic diffing
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
US20190087694A1 (en) * 2017-09-21 2019-03-21 International Business Machines Corporation Data augmentation for image classification tasks
CN107742130A (zh) * 2017-10-25 2018-02-27 西南交通大学 基于深度学习的高铁接触网支持装置紧固件故障诊断方法
CN108564026A (zh) * 2018-04-10 2018-09-21 复旦大学附属肿瘤医院 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统
CN109389587A (zh) * 2018-09-26 2019-02-26 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技（深圳）有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN110334722A (zh) * 2019-03-29 2019-10-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和存储介质
CN110009623A (zh) * 2019-04-10 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别模型训练及图像识别方法、装置及系统
CN110245689A (zh) * 2019-05-23 2019-09-17 杭州有容智控科技有限公司 基于机器视觉的盾构刀具识别与定位检测方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
CN110263794A (zh) * 2019-06-26 2019-09-20 国网山东省电力公司建设公司 基于数据增强的安全带图像目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARIO MILICEVIC 等: "Data Augmentation and Transfer Learning for Limited Dataset Ship Classification", 《WSEAS TRANSACTIONS ON SYSTEMS AND CONTROL》 *
刘庆飞 等: "基于深度可分离卷积的实时农业图像逐像素分类研究", 《中国农业科学》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
CN111768405B (zh) * 2020-08-05 2024-02-13 赛维森(广州)医疗科技服务有限公司 处理标注图像的方法、装置、设备和存储介质
CN111768405A (zh) * 2020-08-05 2020-10-13 赛维森(广州)医疗科技服务有限公司 处理标注图像的方法、装置、设备和存储介质
CN112084861A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 模型训练方法、装置、电子设备和存储介质
CN114511443A (zh) * 2020-10-29 2022-05-17 北京中祥英科技有限公司 图像处理、图像识别网络训练和图像识别的方法及装置
CN112801857A (zh) * 2020-11-30 2021-05-14 泰康保险集团股份有限公司 一种图像的数据处理方法及装置
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
JP2022103136A (ja) * 2020-12-25 2022-07-07 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
JP7392707B2 (ja) 2020-12-25 2023-12-06 日本電気株式会社 画像処理の方法、デバイス及びコンピュータ可読記憶媒体
CN112633392A (zh) * 2020-12-29 2021-04-09 博微太赫兹信息科技有限公司 一种太赫兹人体安检图像目标检测模型训练数据增广方法
CN113052327A (zh) * 2021-03-30 2021-06-29 北京骑胜科技有限公司 数据处理方法、装置、可读存储介质和电子设备
CN113052327B (zh) * 2021-03-30 2024-04-19 北京骑胜科技有限公司 数据处理方法、装置、可读存储介质和电子设备
CN113240071B (zh) * 2021-05-13 2023-07-28 平安科技（深圳）有限公司 图神经网络处理方法、装置、计算机设备及存储介质
CN113240071A (zh) * 2021-05-13 2021-08-10 平安科技（深圳）有限公司 图神经网络处理方法、装置、计算机设备及存储介质
WO2023284670A1 (zh) * 2021-07-12 2023-01-19 深圳思谋信息科技有限公司 图形码提取模型构建方法、识别方法、装置、设备和介质
CN113705550A (zh) * 2021-10-29 2021-11-26 北京世纪好未来教育科技有限公司 一种训练方法、视线检测方法、装置和电子设备
CN114972093A (zh) * 2022-05-26 2022-08-30 平安科技（深圳）有限公司 图像增强方法、装置、设备及存储介质
CN116012626A (zh) * 2023-03-21 2023-04-25 腾讯科技（深圳）有限公司 建筑立面图像的素材匹配方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111275080B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111275080B (zh) 基于人工智能的图像分类模型训练方法、分类方法及装置
Kumar et al. Blockchain-federated-learning and deep learning models for covid-19 detection using ct imaging
Mirsky et al. {CT-GAN}: Malicious tampering of 3d medical imagery using deep learning
JP7037565B2 (ja) サンプルトラッキングチェーンを介したサンプルトラッキングシステムおよび方法
US10691674B2 (en) Distributed system for animal identification and management
CN108021819B (zh) 使用深度学习网络的匿名和安全分类
CN110276366A (zh) 使用弱监督模型来检测对象
CN108494778A (zh) 身份认证方法和装置
CN112950569B (zh) 黑色素瘤图像识别方法、装置、计算机设备及存储介质
Dobay et al. Potential use of deep learning techniques for postmortem imaging
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
CN116188392A (zh) 图像处理方法、计算机可读存储介质以及计算机终端
Araújo et al. Machine learning concepts applied to oral pathology and oral medicine: a convolutional neural networks' approach
CN113674856B (zh) 基于人工智能的医学数据处理方法、装置、设备及介质
Yang et al. Colorectal cancer diagnostic algorithm based on sub-patch weight color histogram in combination of improved least squares support vector machine for pathological image
Srivastava et al. Automated emergency paramedical response system
CN114283110A (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
US11967076B2 (en) Method and device for processing pathological slide image
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
Majji et al. Smart iot in breast cancer detection using optimal deep learning
US20230216658A1 (en) Systems, methods, and devices for generating digital and cryptographic assets by mapping bodies for n-dimensional monitoring using mobile image devices
CN112927152B (zh) Ct图像去噪处理方法、装置、计算机设备及介质
Vijayakumari et al. Cadaver identification with dental radiographs using isoperimetric and nodal graph approach
US10390798B2 (en) Computer-aided tracking and motion analysis with ultrasound for measuring joint kinematics
CN111598144B (zh) 图像识别模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023674

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant