CN114467146A - 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置 - Google Patents

用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置 Download PDF

Info

Publication number
CN114467146A
CN114467146A CN202080067704.4A CN202080067704A CN114467146A CN 114467146 A CN114467146 A CN 114467146A CN 202080067704 A CN202080067704 A CN 202080067704A CN 114467146 A CN114467146 A CN 114467146A
Authority
CN
China
Prior art keywords
model
data
training
trained
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067704.4A
Other languages
English (en)
Inventor
兪同根
白昇煜
金民哲
朴钟赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runyi Co ltd
Original Assignee
Runyi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200124142A external-priority patent/KR102542037B1/ko
Application filed by Runyi Co ltd filed Critical Runyi Co ltd
Publication of CN114467146A publication Critical patent/CN114467146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/923—Computer assisted medical diagnostics by comparison of patient data to other data
    • Y10S128/924—Computer assisted medical diagnostics by comparison of patient data to other data using artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于对部署机构中的人工智能模型进行专业化的训练方法，以及一种用于对人工智能模型进行训练的装置。用于由至少一个处理器操作的训练装置的操作方法包括以下步骤：从由特定机构所拥有的数据中提取要用于专业化训练的数据集；通过使用预训练人工智能模型来从数据集中选择需要标注的标注目标；以及通过使用针对标注目标标注有标签的数据来对预训练的AI模型进行有监督训练。

Description

用于对部署机构中的人工智能模型进行专业化的训练方法以 及用于对人工智能模型进行训练的装置
技术领域
本公开涉及人工智能技术。
背景技术
以深度学习为代表的机器学习技术在分析诸如图像、语音和文本的各种类型的数据时提供超过现有方法的性能的结果。此外，机器学习技术由于其固有的技术可扩展性和灵活性而被应用到各种领域，并且各种类型的神经网络被公开。
通过这种方式，基于机器学习的人工智能(AI)技术正在医学领域得到积极采用。以前，计算机辅助检测(CAD)设备执行基于规则的病变检测或检测在医学图像中设定的候选区域中的病变。但是，最近的基于AI的医学图像读取技术可以使用AI算法分析整个医学图像，并直观地提供异常病变。
医务人员可以从实施有基于AI的医学图像读取技术的诊断辅助设备接收关于医学图像中包括的异常病变的信息，然后根据该信息进行诊断。
同时，尽管在诸如成像装备、成像方法、严重性程度和种族的域中存在差异，但医疗机构仍在使用相同的AI模型。在这种情况下，在每个机构企图使用AI模型进行分析的数据与AI模型的训练数据之间就会出现差异。结果，导致在医疗现场AI模型的性能低于预期的问题。通过使用各个机构的数据进行微调，可以针对各个机构的数据来优化预训练的AI模型。但是，AI模型会丢失学习到的先验知识，这会影响泛化性能。结果，不能保证AI模型的稳定运行。
发明内容
【技术问题】
本公开提供了一种用于对部署机构中的人工智能模型进行专业化的训练方法以及用于执行该训练方法的装置。
本公开提供了一种用于收集部署机构的数据以对预训练的AI模型进行训练的方法。具体地，提供了一种用于在部署机构的数据当中选择用于对AI模型进行训练的数据并选择需要标注的数据的方法。
本公开提供了一种用于使用部署机构的数据对AI模型进行训练同时维持AI模型的先验知识的方法。
【技术方案】
根据实施例，提供了一种用于操作由至少一个处理器操作的训练装置的方法。该方法包括：从由特定机构保留的数据中提取要用于专业化训练的数据集；通过使用预训练的人工智能(AI)模型从数据集中选择需要标注的标注目标；以及通过使用针对标注目标标注有标签的数据来执行预训练的AI模型的有监督训练。
选择标注目标可以包括：通过使用预训练的AI模型针对数据集中的至少一些数据的预测结果来选择预训练的AI模型所不确定的数据作为标注目标。
选择标注目标可以包括：基于通过使用预训练的AI模型的预测结果而测量的不确定性分数来选择标注目标。
不确定性分数可以通过使用在预训练的AI模型中预测的每种病变的分数的置信度值、在预训练的AI模型中预测的每种病变的热图的熵以及在预训练的AI模型中预测的病变共现中的至少一种来测量。
选择标注目标可以包括：选择代表数据集在预训练的AI模型的特征空间中的分布的数据作为标注数据。
该方法可以进一步包括：将从放射科医师报告中提取的信息标注在标注目标上，或者通过向标注者提供预训练的AI模型针对标注目标的预测结果来支持标注任务。
提取要用于专业化训练的数据集可以包括：基于特定机构的数据保留量和数据特性来确定要用于专业化训练的数据的量。
执行预训练的AI模型的有监督训练可以包括：将用于维持预训练的AI模型的先验知识的信息提供给处于有监督训练中的AI模型。
执行预训练的AI模型的有监督训练可以包括：计算在处于有监督训练中的AI模型与教师模型之间的蒸馏损失，并将蒸馏损失提供给处于有监督训练中的AI模型。这里，教师模型与预训练的AI模型是相同的模型。
蒸馏损失可以是使处于有监督训练中的AI模型遵循教师模型的中间特征和/或最终输出的损失。
根据另一实施例，提供了一种用于操作由至少一个处理器操作的训练装置的方法。该方法包括：收集用于预训练的第一数据集；输出已经使用第一数据集执行了至少一项任务的预训练的第一AI模型；以及输出已经使用从特定机构收集的第二数据集执行了专业化训练、同时维持在预训练中所获取的先验知识的第二AI模型。
第一AI模型可以使用被预处理以便不能区分输入数据的域的数据进行训练，或者可以执行对抗学习以便不能从所提取的中间特征中检测出输入数据的域。
输出第二AI模型可以包括：计算在处于专业化训练中的AI模型与教师模型之间的蒸馏损失，并且通过将蒸馏损失提供给处于专业化训练中的AI模型而使第二AI模型维持先验知识。这里，教师模型与预训练后的第一AI模型是相同的模型。
输出第二AI模型可以包括：通过使用第二数据集当中的标注有标签的标注数据中的至少一些来执行第一AI模型的有监督训练，并将用于维持第一AI模型的先验知识的信息提供给处于有监督训练中的AI模型。用于维持第一AI模型的先验知识的信息可以是在处于有监督训练中的AI模型与教师模型之间的蒸馏损失。教师模型可以与第一AI模型是相同的模型。
该方法可以进一步包括：从由特定机构保留的数据中提取要用于专业化训练的第二数据集；通过使用第一AI模型来从第二数据集中选择需要标注的标注目标；以及获得针对标注目标标注有标签的数据。
选择标注目标可以包括：通过使用第一AI模型针对第二数据集中的至少一些数据的预测结果来选择第一AI模型所不确定的数据作为标注目标。
选择标注目标可以包括：选择代表第二数据集在第一AI模型的特征空间中的分布的数据作为标注目标。
根据又一实施例，提供了一种训练装置。该训练装置包括用于存储指令的存储器和用于执行指令的处理器。处理器可以从医疗机构的数据储存库中提取特定量的医疗机构数据，并通过使用医疗机构数据来执行预训练的AI模型的专业化训练，同时维持预训练的AI模型的先验知识。
处理器可以通过使用预训练的AI模型针对医疗机构数据的预测结果来从医疗机构数据中提取预训练的AI模型所不确定的数据，将不确定的数据选择为需要标注的标注目标，并且使用针对标注目标标注有标签的数据来执行预训练的AI模型的有监督训练。处理器可以通过将用于维持先验知识的信息提供给处于有监督训练中的AI模型来使先验知识被维持。
处理器可以选择代表医疗机构数据的分布的特定数量的代表性数据，并从代表性数据中选择预训练的AI模型的预测是不确定的数据。不确定的数据可以通过使用在预训练的AI模型中预测的每种病变的分数的置信度值、在预训练的AI模型中预测的每种病变的热图的熵以及在预训练的AI模型中预测的病变共现中的至少一种来选择。
【有益效果】
根据实施例，由于各种机构可以使用针对每个机构的域特性被专业化的AI模型，因此无需担心由于诸如成像装备、成像方法、严重性程度和种族的域差异而导致的AI模型性能的下降。
根据实施例，AI模型可以学习每个机构的固有数据，同时维持用于稳定运行的先验知识。因此，根据实施例，针对每个机构被专业化的AI模型可以提供反映每个机构的固有特征的分析结果，同时提供泛化性能。
根据实施例，由于在由每个机构所保留的数据当中的代表由每个机构所保留的数据的同时不确定的数据可以被选择作为标注目标，因此可以只需对所选择的数据进行标注，而不必对所有数据进行标注。所以，根据实施例，可以增加训练的便利性，可以减少训练时间，并且可以节约训练成本。
根据实施例，向机构提供AI模型的提供商可以通过根据与每个机构的合同条款改变收集的数据的量或需要标注的数据的量来对AI模型进行差异化。
附图说明
图1是根据实施例的训练装置的配置图。
图2是图示根据实施例的专业化训练方法的图。
图3和图4是图示根据另一实施例的专业化训练方法的图。
图5是图示根据又一实施例的专业化训练方法的图。
图6是示意性地图示根据实施例的专业化训练的图。
图7是示出根据实施例的预训练方法的流程图。
图8是示出根据实施例的收集用于专业化训练的数据的方法的流程图。
图9是示出根据实施例的专业化训练方法的流程图。
图10是根据实施例的计算设备的配置图。
具体实施方式
在以下详细描述中，仅通过说明的方式示出和描述本发明的某些实施例。如本领域技术人员将意识到的，可以以各种不同的方式修改所描述的实施例，而所有修改不脱离本发明的精神或范围。相应地，附图和描述在本质上应被认为是说明性的而不是限制性的。在整个说明书中，相同的附图标记表示相同的元件。
在整个说明书中，当部件被称为“包括”某个元件时，这意味着它可以进一步包括其他元件而不是排除其他元件，除非另有明确指示。
在本描述中，“传输或提供”可以包括直接传输或提供，也可以包括通过其他设备或通过旁路的方式间接传输或提供。
在本描述中，在本说明书中以单数形式描述的表述可以解释为单数或复数，除非使用诸如“一个”或“单个”的明确表述。
在本描述中参考附图描述的流程图中，操作顺序可以改变，若干操作可以合并，某些操作可以细分，并且特定操作可以不执行。
在本描述中，诸如“…单元”、“…器”和“…模块”等术语是指处理至少一个功能或操作的可使用硬件、软件或其组合来实现的单元。
在本描述中，装置被配置和连接为使得至少一个处理器可以通过执行指令来执行本公开的操作。计算机程序包括被描述为供处理器执行本公开的操作的指令，并且可以被存储在非暂时性计算机可读存储介质中。计算机程序可以经由网络下载或作为产品出售。
本公开的人工智能模型(AI模型)是学习至少一项任务的机器学习模型，并且可以被实现为由处理器执行的计算机程序。AI模型所学习的任务可以是指需通过机器学习来解决的任务，或者是需通过机器学习来执行的任务。例如，当假设执行根据医学图像的识别、分类和预测时，识别、分类和预测中的每一个可以对应于单独的任务。
本公开的AI模型可以被配置有适配输入数据、任务类型和学习方法等的基于神经网络的各种机器学习模型。例如，当AI模型接收医学图像作为输入时，可以使用卷积神经网络(CNN)模型。
本公开的AI模型可以接收各种类型的数据。在本描述中，可以将使用医学图像作为训练数据和分析数据的AI模型作为示例来描述，并且接收医学图像并执行至少一项任务的AI模型可以被配置为具有各种结构。
本公开可以被应用于采用各种模式拍摄的各种区域的医学图像。例如，医学图像的模式可以是诸如X射线、核磁共振成像(MRI)、超声、电子计算机断层扫描(CT)、钼靶X线照相术(MMG)以及数字乳腺断层合成技术(DBT)的各种模式。
在本描述中，术语数据可以与术语数据集互换使用。
在本描述中，“部署机构”意指对AI模型或包括AI模型的设备(例如诊断辅助设备)进行部署的主体，或意指AI模型或包括AI模型的设备被部署的场所(设施)。例如，部署机构可以包括医院、体检中心、公司、学校和公共机构等。“部署机构”可以简称为“机构”，或者可以简称为“目标机构”、“医疗机构”、“目标医院”和“使用场所”等。
在本描述中，部署机构数据是由部署机构所保留的数据，并且可以是例如由装备在部署机构中的成像设备所拍摄的医学图像或部署机构从外部接收到针对其的请求的医学图像。部署机构数据可以是例如存储在医院的影像归档和通信系统(PACS)中的医学图像。
在本描述中，“专业化”是指使预训练的AI模型即使针对部署机构数据(例如，医学图像)也能输出良好性能的过程或操作，并且可以包括针对部署机构优化预训练的AI模型的操作、针对部署机构对预训练的AI模型进行微调的操作以及针对部署机构定制预训练的AI模型的操作等。这里，“良好性能”可以意指其中从AI模型输出的针对部署机构数据的结果显示出类似于或优于“参考性能”的性能的情况。“参考性能”可以被设定为各种，并且可以是例如使用验证数据评估的预训练的AI模型的性能指标。
在本描述中，用于针对部署机构对预训练的AI模型进行专业化的训练可以被称为“专业化训练”，并且也可以被称为“附加训练”。
在本描述中，预训练的AI模型可以是已经完成学习使得其可以被部署机构使用而没有进行附加专业化训练的AI模型。
在本描述中，用于对AI模型进行预训练的数据可以被称为预训练数据，并且另外可以被称为基础数据、源数据和开发AI模型的公司的内部数据等。
在本描述中，部署机构数据可以被称为目标医院数据和目标数据等。
通常，AI模型使用训练数据来学习任务，并在使用验证数据评估的结果达到预定性能时完成学习。虽然训练数据和验证数据可能是在各种条件和环境下所获得的数据，但它们很难反映所有条件和所有环境。因此，在将在医院中实际采集的数据输入到AI模型时，即使是完成训练的AI模型也会输出达不到验证性能的结果。
该问题可能是由域中的差异导致的，域是其中收集/生成数据的环境或条件。域差异可能由例如成像装备、成像方法、严重性程度和种族等的多样性而导致。
例如，当对预训练数据进行成像的装备与在部署机构处对数据进行成像的装备不同时，图像的纹理可能不同。当预训练数据的成像方法与部署机构所使用的成像方法不同时，包括在图像中的信息可能不同，并且性能可能由于图像的差异而下降。例如，可以使用诸如前后位(AP)成像或后前位(PA)成像的不同成像方法，并且成像可以被执行为使得手被看到或不被看到。
预训练数据的严重性程度分布可能与机构数据的严重性程度分布不同。例如，虽然预训练数据是从具有严重性程度相对高的大量患者的医院收集的，但部署机构可能是具有严重程度相对低的大量患者的医院。
预训练数据的种族分布可能与机构数据的种族分布不同。例如，虽然预训练数据是在由亚洲人所使用的医院中收集的，但部署机构可能是由不同种族分布的患者所使用的医院。
因此，当每个部署机构在使用已完成训练的AI模型来分析数据时，应解决由于这种域差异而使AI模型示出低于预期的性能的问题。这里，当通过简单地使用机构数据对预训练的AI模型进行微调时，AI模型会变得遗忘通过预训练所获得的先验知识，从而影响泛化性能。结果，不能保证AI模型的稳定运行。
因此，在下文中，将详细描述利用部署机构的数据对AI模型进行训练同时维持AI模型的先验知识的方法。并且，在下文中，将详细描述用于从部署机构数据选择用于对AI模型进行训练的数据并选择需要标注的数据的方法。
图1是根据实施例的训练装置的配置图。
参照图1，训练装置100可以包括基础训练装置110、用于专业化训练的数据管理器(简称为“数据管理器”)130以及使用部署机构数据对预训练的AI模型200执行专业化训练的专业化训练装置150。为了描述方便，部署机构可以被称为目标医院，并且部署机构数据可以被称为目标医院数据。
基础训练装置110与其中存储预训练数据的数据库120连接，并输出通过使用数据库120的预训练数据学习了至少一项任务的AI模型200。AI模型200可以被称为基础AI模型、预训练的AI模型和通用AI模型等。
数据管理器130可以从部署机构的数据储存库10中选择用于专业化训练的目标医院数据，并且将其中的至少一些被标注的目标医院数据存储在数据库140中。
专业化训练装置150与其中存储了目标医院数据的数据库140连接，使用数据库140的目标医院数据来执行预训练的AI模型200的专业化训练，然后输出针对部署机构的AI模型300。专业化训练装置150可以使用数据库120的预训练数据来进行专业化训练。在专业化训练装置150中完成了专业化训练的AI模型300可以被提供给对应的部署机构。被专门训练后的AI模型(专业化的AI模型)300可以安装在例如对应机构的数据分析装置20(例如，图像读取装置)上。
数据管理器130或专业化训练装置150可以位于集中位置(诸如位于云服务器中)，可以与多个部署机构连接，可以执行由多个部署机构所请求的专业化训练，然后可以将AI模型提供给对应的机构。可替代地，数据管理器130或专业化训练装置150可以被设置在每个机构中，从而单独地执行专业化训练。
尽管出于解释的目的，将基础训练装置110、数据管理器130和专业化训练装置150单独命名，但它们可以是由至少一个处理器操作的计算设备。这里，基础训练装置110、数据管理器130和专业化训练装置150可以在一个计算设备上实现，或者使用分立的计算设备以分布式方式实现。当使用分立的计算设备以分布式方式实现时，基础训练装置110、数据管理器130和专业化训练装置150可以经由通信接口彼此通信。
另一方面，基础训练装置110、数据管理器130和专业化训练装置150可以使用对AI模型进行训练所需的机器学习模型来实现。在本描述中，AI模型200和AI模型300可以被称为要通过机器学习来构建的目标模型。
基础训练装置110输出已使用预训练数据学习了至少一项任务的AI模型200。这里，预训练数据可以由通过各种机构获得的数据和/或从各种装备获得的数据组成。此外，预训练数据可以包括使用各种成像方法获得的数据。如上所述，在收集尽可能多的数据作为预训练数据时，可能存在不可避免的域差异。因此，有必要通过域泛化操作来减小输入数据中的域差异。
基础训练装置110可以对训练数据进行预处理以便减小输入数据中的域差异，然后使用预处理后训练数据对AI模型200进行训练。
例如，在不同域中获取的图像在纹理等方面存在差异。基础训练装置110可以去除出现在域中的独有图像特征，使得AI模型200不能区分输入图像是从哪个机构或使用哪个装备获得的。基础训练装置110可以通过图像翻译来执行去除从不同域获得的图像的域特征的预处理。例如，基础训练装置110可以使用生成式对抗网络(GAN)作为图像翻译模型，并且可以使用鉴别器和对抗损失来执行图像翻译，使得鉴别器不能检测出图像的域。
除了图像级别的域泛化之外，基础训练装置110可以在从AI模型200的中间层中提取的中间特征处执行域泛化。基础训练装置110可以通过对抗训练将AI模型训练为使得鉴别器不能从输入图像的中间特征辨别出域。
数据管理器130从部署机构的数据储存库10提取用于执行预训练的AI模型200的专业化训练的特定量的目标医院数据。数据管理器130可以将所导入的目标医院数据中的至少一些确定为用于专业化训练的训练数据，并将训练数据提供给专业化训练装置150。此时，数据管理器130可以将训练数据中的至少一些确定为标注目标，并向专业化训练装置150提供其中的至少一些被标注的训练数据。训练数据可以包括异常数据和正常数据。
数据管理器130可以从目标医院数据中确定用于评估专业化的AI模型300的验证数据，并将验证数据提供给专业化训练装置150。验证数据可以被收集以便不与训练数据重叠。例如，对于验证数据，可以针对C个病变中的每一个收集N例异常数据，并且可以收集N*C例正常数据。
部署机构的数据储存库10可以是例如存储在目标医院的影像归档和通信系统(PACS)中的医学图像。数据管理器130可以被允许访问部署机构的数据储存库并直接提取数据。或者，数据管理器130可以从与部署机构的储存库连接的中间设备获取必需的信息。
数据管理器130可以在部署机构的数据储存库中确定要用于专业化训练的数据的量。数据管理器130可以考虑部署机构的数据保留量和数据特性来确定要用于训练的数据的量。数据特性可以包括严重性程度数据率、年龄分布、性别分布和种族分布等。例如，当部署机构是大学医院或体检中心时，异常数据占整个数据的比例可能不同。因此，由每个部署机构导入的数据的量可能会根据每个机构的数据特性而变化。
数据管理器130可以确定训练所需的被标注数据的量。由于执行标注需要时间和成本，因此可以根据来自部署机构的请求或与其签订的合同来确定标注数据的量。为了降低成本，可以在不对目标医院数据进行标注的情况下执行专业化训练。可替代地，考虑到专业化的AI模型300的性能，可以使用目标医院数据当中的其中的至少一些被标注的数据来执行专业化训练。在这种情况下，可以根据机构的支付意愿来确定标注数据的量。
可以使用图像级标签或像素级标签来执行标注。例如，其上标注有是否存在恶性病变的图像级标签或其中将病变指示为轮廓的像素级标签是可能的。标注的类型和级别可以取决于部署机构可提供的标签级别或者标注成本而不同地确定。
标注方法可以有多种。标签可以由人手动地标注在数据上，或者从由专业从事图像读取的医生(放射科医师等)撰写的报告中提取的标签可以被自动地标注在对应的图像上。
数据管理器130可以在目标医院数据当中选择需要标注的数据(简称为“标注目标”)。此时，数据管理器130可以选择预训练的AI模型200所不确定的数据作为标注目标，或者选择代表目标医院数据的分布的数据作为标注目标。或者，数据管理器130可以选择预训练的AI模型200所不确定(不清楚)的、同时代表目标医院数据的分布的数据作为标注目标。如果有存在放射科医师报告的数据，则数据管理器130可以从这样的数据中选择标注目标。
数据管理器130选择标注目标的方法可以是根据示例的方法或者是下面描述的示例的组合。
例如，数据管理器130可以通过测量所提取的目标医院数据的不确定性和/或多样性来选择标注目标。数据管理器130可以在代表目标医院数据的预定数量的代表性数据当中选择预训练的AI模型的预测是不确定的数据。
数据管理器130可以测量目标医院数据中的至少一些数据的不确定性，然后选择标注目标。数据管理器130使用预训练的AI模型200的预测值来定义不确定性分数，并且可以选择具有等于或大于基准数据的不确定性分数的数据或具有最大不确定性分数的前k个数据作为标注目标。
例如，不确定性分数可以定义如下。
根据实施例，不确定性可以通过使用在预训练的AI模型200中针对每种病变所预测的分数的置信度值来测量。在预训练的AI模型200中针对数据所预测的每种病变的不确定性分数可以被定义为等式1中所示，并且数据的不确定性分数可以被设定为病变的不确定性分数的最大值或平均值。这里，病变分数是在0和1之间的概率值，并且不确定性分数被定义为使得不确定性随着病变分数达到中间值(不管是正向还是负向)而增加。
(等式1)
病变的不确定性分数＝1-|病变分数-0.5|
根据另一实施例，不确定性可以通过使用在预训练的AI模型200中预测的每种病变的热图的熵来测量。每种病变的不确定性分数可以被定义为通过将每种病变的二维热图视为一个一维向量而测量的熵。数据的不确定性分数可以被设定为病变的不确定性分数的最大值或平均值。这里，当置于向量中的值彼此是相似的时，熵具有较高的值，这意味着预训练的AI模型200不能清楚地检测病变。结果，熵越高，不确定性分数就越高。
根据又一个实施例，不确定性可以根据病变共现来测量。当在预训练的AI模型200中预测的病变分数变得相似时，AI模型更难以从数据预测病变。结果，不确定性分数变高。数据管理器130可以通过收集C个病变的分数来制作长度为C的向量，然后通过测量向量的熵来获取数据的不确定性分数。如上所述，置于向量中的值变得越相似，不确定性分数就变得越高。
可替代地，数据管理器130可以通过使在C个病变的分数当中的两个最高病变分数之间的差来测量不确定性分数，如等式2中所示。也就是说，两个最高病变分数之间的差越小，AI模型200在区分病变方面肯定就越困难。结果，不确定性分数变高。
(等式2)
数据的不确定性分数＝1-|最大病变分数-第二大病变分数|
将使用示例描述用于基于病变共现来计算不确定性分数的方法。参照表1，假设AI模型200输出数据1和数据2的分数(概率)，它们属于5个病变或类别。将针对数据1和数据2预测的结果进行比较，构成数据2的向量的五个值(0.8、0.7、0.2、0.4、0.3)的差异比数据1的差异更相近。因此，测量的数据2的不确定性分数可能会高于数据1的不确定性分数。同时，在数据2中所示出的两个最大病变分数(a＝0.8，b＝0.7)的差异为0.1，而在数据1中所示出的两个最大病变分数(a＝0.8，b＝0.2)的差异为0.6。结果，测量的数据2的不确定性分数可能会高于数据1的不确定性分数。相应地，数据管理器130可以选择数据2作为标注目标，然后对数据2执行标注或请求对其进行标注。
[表1]
病变或类别 a b c d e
针对数据1预测的分数 0.8 0.2 0.1 0.2 0.2
针对数据2预测的分数 0.8 0.7 0.2 0.4 0.3
数据管理器130可以选择代表目标医院数据在预训练的AI模型200的特征空间中的分布的数据作为标注目标。数据管理器130可以测量多样性，选择k个代表性数据，并将所选择的数据确定为标注目标。用于选择k个代表性数据的方法可以有多种。例如，可以在目标医院数据当中随机抽取k个数据。可以在对目标医院数据执行k-均值聚类后选择最靠近每个聚类质心的k个数据。可以通过使用k-中心贪心算法选择能够使用德尔塔(δ)半径覆盖目标医院数据的整个分布的k个数据。可替代地，可以通过使用鲁棒的k-中心算法来选择可使用德尔塔(δ)半径覆盖目标医院数据的整个分布的k个数据。
如果有存在放射科医师报告的数据，则数据管理器130可以从这样的数据当中选择标注目标。在这种情况下，数据管理器130可以考虑用于专业化训练的病变以及正/负比例来选择标注目标。为了从报告中提取包括是否存在病变的信息，数据管理器130可以使用单独的语言处理模型。例如，自然语言处理(NLP)模型和深度语言模型等可以被用作语言处理模型。
数据管理器130可以通过使用预训练的AI模型200针对存在放射科医师报告的数据的预测值来选择标注目标。可以选择报告的信息与AI模型针对其的预测不匹配的数据作为标注目标。
对由数据管理器130所选择的标注目标的标注可以以各种方式执行。
例如，数据管理器130可以将标注目标提供给标注设备，并且可以从标注设备接收标注有标签的数据。标注者可以在标注设备中将标签写在数据上，或者标注设备可以自动或半自动地将标签写在数据上。
当存在放射科医师报告时，数据管理器130可以使用从放射科医师报告中提取的信息来标注对应的数据。
为了标注者，数据管理器130可以提供AI模型200针对标注目标的预测结果，并且操作为使标注任务被半自动地执行。每种病变的分数、轮廓和数据的异常分数等可以作为AI模型200的预测结果提供给标注者，并且标注者可以参考预测结果来执行准确快速的标注。
同时，当为了降低成本在不对目标医院数据进行标注的情况下执行专业化训练时，数据管理器130可以提供所有导入的目标医院数据作为训练数据。可替代地，数据管理器130可以通过使用诸如每种病变的分数、每种病变的不确定性分数和异常分数的指标来从所导入的目标医院数据当中选择一些数据作为训练数据。诸如每种病变的分数、每种病变的不确定性分数和异常分数等的指标可以从预训练的AI模型提取。例如，可以选择针对每种病变具有高预测分数的前N％个作为训练数据。可替代地，可以针对每个分数范围选择特定比例的训练数据。例如，在通过划分[0，1]而获得的多个范围中的每一个中，预定比例的数据可以被选择为训练数据。
专业化训练装置150通过使用从数据管理器130接收的训练数据来对预训练的AI模型200进行训练，并生成针对部署机构的AI模型300。此时，目标医院数据或被标注的数据的量可能不足以进行训练。另外，在预训练的AI模型使用不充足的新数据执行附加学习的过程中，可能会导致预训练的AI模型变得遗忘之前学习的先验知识的灾难性遗忘的麻烦。相应地，专业化训练装置150使用使AI模型200能够记住先验知识的训练方法。在下文中，将详细描述该方法。记住先验知识的训练方法可以被称为不遗忘先验知识的学习。
专业化训练装置150可以考虑训练数据的量、被标注的数据的量和训练数据的特性等来确定专业化训练方法。
用于专业化训练的训练数据可以包括其中的至少一些被标注的数据。当训练数据包括标注后数据时，可以使用有监督训练。当训练数据不包括标注后数据时，可以使用半监督学习或无监督域自适应。
专业化训练装置150可以定义防止预训练的AI模型200的先验知识被改变的损失，并且使用所定义的损失来执行专业化训练。例如，有监督损失可以被用于被标注的目标医院数据。对于未标注的目标医院数据，可以使用无监督损失。此外，可以使用使得用于对AI模型200进行预训练的一些数据的预测维持不变的损失。专业化训练装置150可以使用针对专业化训练所定义的损失中的至少一些利用目标医院数据来执行AI模型的训练。
图2是图示根据实施例的专业化训练方法的图。
参照图2，专业化训练装置150生成针对目标医院数据被专业化同时记住通过预训练所获取的先验知识的AI模型300。为此，专业化训练装置150可以利用学生模型在模仿教师模型时进行学习的知识蒸馏。
部署机构可以是目标医院，并且部署机构数据的数据可以是目标医院数据。
对于基于知识蒸馏的训练，教师模型400是预训练的AI模型200，并被冻结为用于基于知识蒸馏的学习的预训练的AI模型200。学习之前的学生模型420是预训练的AI模型200。预训练的AI模型200可以在执行专业化训练之后变成专业化的AI模型300，而不会遗忘其中保留的先验知识。通常，知识蒸馏被用于通过模仿大型教师模型来生成小型学生模型。相反，本公开中的初始学生模型420在训练之前可以是与教师模型400相同的AI模型200。并且然后初始学生模型420可以通过利用目标医院数据进行的专业化训练而最终转变为专业化的AI模型300。也就是说，本公开的学生模型420接收来自教师模型400的帮助，以便在使用目标医院数据执行专业化训练的同时，维持学生模型420原本具有的先验知识。在本描述中，解释了学生模型420的初始模型是预训练的AI模型200。即便学生模型420的初始模型不一定是预训练的AI模型200，能够学习从教师模型400传送的先验知识的模型都是可用的。
专业化训练装置150将预训练的AI模型200布置为教师模型400，并将预训练的AI模型200布置为学生模型420，然后利用用于学生模型420的目标医院数据进行先验知识维持训练和专业化训练。通过在执行学生模型420的专业化训练的同时进行先验知识维持训练，学生模型420可以被训练为不会因专业化训练而遗忘先验知识。专业化训练装置150可以执行在先验知识维持训练期间所计算的损失(蒸馏损失)和在专业化训练期间所计算的损失(有监督损失)的加权求和，然后可以通过将加权求和后的损失的反向传播应用到学生模型420来训练学生模型420。蒸馏损失和有监督损失的权重可以以各种方式确定。
对于先验知识维持训练，可以使用用于对AI模型200进行预训练的预训练数据或者使用目标医院数据。用于先验知识维持训练的数据可以根据专业化训练装置150可访问的数据范围来确定。此时，用于先验知识维持训练的数据可能没有标签。用于先验知识维持训练的数据可以通过使用诸如每种病变的分数、每种病变的不确定性分数和异常分数等的指标来从预训练数据或目标医院数据中选择。例如，可以选择针对每种病变具有高分数的前N％个数据作为训练数据。可替代地，可以针对每个分数范围来选择特定比例的训练数据，并且例如，在通过划分[0，1]而获得的多个范围中的每一个中，预定比例的数据可以被选择为训练数据。
先验知识维持训练可以执行如下。
专业化训练装置150将相同的数据输入到教师模型400和学生模型420。专业化训练装置150计算使从教师模型400和学生模型420可获得的中间特征和/或输出彼此相近的蒸馏损失，然后向学生模型420提供所计算的蒸馏损失。结果，学生模型可以被训练为输出与教师模型400相近的值。通过上述过程，学生模型420可以记住先验知识。在两个中间特征的格拉姆矩阵之间的L1/L2损失、余弦相似度或L1/L2损失可以被用作使用中间特征的蒸馏损失。两个模型的预测值之间的交叉熵可以被用作使用最终输出的蒸馏损失。
对于专业化训练，可以使用标注有标签的目标医院数据。同时，对于专业化训练，可以一起使用用于对AI模型200进行预训练的预训练数据。
专业化训练装置150可以使用标注后数据执行学生模型420的有监督训练。专业化训练装置150可以计算是在学生模型420针对输入数据预测的值与输入数据的标签之间的差的有监督损失，并且通过将所计算的有监督损失提供给学生模型420来执行学生模型420的有监督训练。交叉熵和二元交叉熵等可以被用作有监督损失。
专业化训练装置150可以通过使用从目标医院数据中提取的验证数据来验证已经完成先验知识维持训练和专业化训练的学生模型420。验证数据可以与用于训练的数据不同。
当性能验证满意时，专业化训练装置150可以终止学生模型420的训练并将学生模型420提供给部署机构。
如果性能验证不满意，则专业化训练装置150可以对学生模型420的训练进行迭代，直到性能验证满意为止。为此，专业化训练装置150可以请求数据管理器130在目标医院数据当中重新选择标注目标，并使用重新选择的数据对训练进行迭代。
图3和图4是图示根据另一实施例的专业化训练方法的图。
将参照图3和图4描述专业化训练装置150使用未标注的目标医院数据来训练是训练目标的AI模型500a和500b的方法。
首先，参照图3，专业化训练装置150可以执行训练，通过该训练，目标医院数据通过无监督域自适应来适应具有不同域的预训练数据。这里，假设预训练数据是针对任务标注有标签的数据，并且目标医院数据是未标注标签的数据。AI模型500a的初始模型可以是预训练的AI模型200。可替代地，即便不是预训练的AI模型200，AI模型500a的初始模型可以是能够学习预训练数据和目标医院数据的模型。
AI模型500a可以在可能没有标签的情况下学习任意任务(自由任务)，同时使用有标签的预训练数据来学习任务。进一步地，AI模型500a通过使用未标注标签的目标医院数据来学习可能没有标签的任意任务。AI模型500a可以在学习任务损失/有监督损失的同时，学习自由任务损失/无监督损失。
可能没有标签的学习是例如域分类学习、域对抗学习和自监督学习等。域分类学习是用于识别输入数据从哪个机构获取的学习。域对抗学习是用于生成使得不能识别输入数据从哪个机构获取的特征。自监督学习是通过使用由模型所保留的数据来自己制作标签的学习，如旋转预测。
专业化训练装置150可以通过使用从目标医院数据中提取的验证数据来验证AI模型500a。验证数据可以是与用于训练的数据不同的数据。当性能验证满意时，AI模型500a的训练可以终止然后可以提供给部署机构。
参照图4，专业化训练装置150可以通过使用在预训练的AI模型200中从目标医院数据预测的结果来获取目标医院数据的伪标签。这里，假设预训练数据是针对任务标注有标签的数据，并且目标医院数据是未标注标签的数据。
专业化训练装置150可以通过使用标注有伪标签的目标医院数据和标注有标签的预训练数据来对AI模型500b进行训练。AI模型500b的初始模型可以是预训练的AI模型200。可替代地，即便不是预训练的AI模型200，AI模型500b的初始模型可以是能够学习预训练数据和目标医院数据的模型。
专业化训练装置150可以通过使用从目标医院数据中提取的验证数据来验证AI模型500b。验证数据可以是与用于训练的数据不同的数据。当性能验证满意时，AI模型500b的训练可以终止并且可以提供给部署机构。
图5是图示根据又一实施例的专业化训练方法的图。
参照图5，为了使用未标注的目标医院数据进行训练，专业化训练装置150可以训练风格切换预测器600。
风格切换预测器600可以接收目标医院数据和预训练数据，并且可以执行用于找到风格切换函数(f)620的学习，风格切换函数(f)620减小目标医院数据的风格分布和预训练数据的风格分布之间的差异。在这种情况下，风格切换函数(f)可以是不对图像的信息的量进行转换的可逆函数。
数据的风格分布可以以各种方式来定义。例如，当图像的亮度被定义为风格时，专业化训练装置150可以找到亮度转换函数，亮度转换函数经由风格切换预测器600调整用于预训练的图像的亮度平均值和从部署机构接收的图像的亮度平均值。可替代地，风格可以被定义为包括在数据中的特征的平均值和方差。风格可以被定义为可表示图像风格的各种标量或向量。
专业化训练装置150可以使用风格切换函数(f)来转换新的目标医院数据，并通过将风格转换后的数据输入到预训练的AI模型200中来验证风格切换函数(f)。
然后，部署机构生成的新的目标医院数据通过风格切换函数(f)进行转换，并且转换后的数据被输入到预训练的AI模型200中。
图6是示意性图示根据实施例的专业化训练的图。
参照图6，基础AI模型200由预训练数据进行预训练(①)。AI模型200可以接收预处理后的预训练数据以便减小输入数据中的域差异。在预训练数据中，可以通过图像翻译来去除从不同域获取的图像的域特征。可替代地，AI模型200可以执行用于去除中间特征的域特征的学习。通过对抗学习，可以执行用于减小预训练数据中的域差异的域泛化。
从部署机构的数据储存库10提取异常训练数据、正常训练数据和验证数据(②、③、④)。训练装置100可以考虑数据储存库10的数据保留量以及数据特征来确定要用于专业化训练的数据的量。
从异常训练数据中选择需要标注的标注目标(⑤)。可以选择预训练的AI模型200所不确定的数据或代表目标医院数据的分布的数据作为标注目标。可替代地，可以选择预训练AI 200所不确定的、同时代表目标医院数据的分布的数据作为标注目标。标注目标可以基于目标医院数据的不确定性和/或多样性来选择。不确定性可以通过使用在预训练的AI模型200中预测的每种病变的分数的置信度值来测量，通过使用在预训练的AI模型200中预测的每种病变的热图的熵来测量，或者通过考虑病变共现来测量。针对代表目标医院数据的分布的多样性，可以随机抽取标注目标，或者可以选择k个代表性数据作为标注目标。标注目标可以在存在放射科医师报告的数据当中选择。
提供在标注目标上标注的标签(⑥)。训练装置100可以向标注设备提供标注目标，并且可以从标注设备接收标注有标签的数据。标注者可以在标注设备中标记数据，或者标注设备可以自动/半自动地标记数据。训练装置100可以将从放射科医师报告中提取的信息标注为标注目标的标签。为了标注者，训练装置100可以提供AI模型200针对标注目标的预测结果，并且操作为使得标注任务被半自动地执行。
AI模型300使用训练数据执行专业化训练(⑦)。AI模型300使用目标医院数据执行专业化训练，同时记住先验知识。为此，如上面参照图2所述，AI模型300可以在学习由基础AI模型200提供的蒸馏损失时，执行使得基础AI模型200所保留的先验知识不被遗忘的训练(先验知识维持训练)。AI模型300可以使用基础AI模型200作为初始模型来执行专业化训练。
使用验证数据来验证专业化的AI模型300(⑧)。
当性能验证达不到基准时，可以从部署机构的数据储存库10中重新选择异常训练数据或标注目标(⑨)。使用重新选择的训练数据或重新选择的标注目标，AI模型300再次执行专业化学习。
当性能验证满意时，AI模型300的训练终止，并且AI模型300被提供给部署机构(⑩)。
图7是示出根据实施例的预训练方法的流程图。
参照图7，训练装置100收集用于对AI模型进行预训练的数据集(S110)。在这种情况下，数据集可以包括由各种机构获得的数据、从各种装备获得的数据和通过各种成像方法获得的数据等。结果，可能存在域差异。
训练装置100在减小输入数据中的域差异的同时使用数据集对AI模型进行训练(S120)。作为用于上述处理的域泛化方法，可以使用通过对输入数据进行预处理来去除输入数据的域特征的方法以及从自AI模型提取的特征中去除域特征的方法。
训练装置100可以执行用于去除输入数据的域特征的预处理，然后使用预处理后的输入数据对AI模型进行训练。例如，训练装置100可以通过图像翻译来执行去除从不同域获得的图像的域特征的预处理。使用鉴别器和对抗损失，训练装置100可以将用于对输入数据进行转换的图像翻译模型训练为使得鉴别器不能区分图像的域。
可替代地，使用鉴别器，训练装置100可以将AI模型训练为使得不能从在AI模型的中间所提取的中间特征中辨别出域。
图8是示出根据实施例的收集用于专业化训练的数据的方法的流程图。
参照图8，训练装置100从由部署机构(例如，目标医院)所保留的全部数据中提取要用于专业化训练的数据集(S210)。用于专业化训练的数据集可以包括异常训练数据、正常训练数据和验证数据，并且可以根据病变的数量和所收集的每种病变的数量来确定。在这种情况下，训练装置100可以考虑部署机构的数据保留量和数据特性来确定用于训练的数据的量。用于专业化训练的数据的量可在各个机构中不同。数据特性可以包括异常数据的比例(重症的数据比例)、年龄分布、性别分布和种族分布等。
训练装置100从所提取的数据集中选择预训练的AI模型所不确定的、同时代表目标医院数据的分布的数据作为标注目标(S220)。训练装置100可以选择预训练的AI模型所不确定的数据或代表目标医院数据的分布的数据。训练装置100可以使用目标医院数据的不确定性和/或多样性来选择标注目标。不确定性可以通过使用在预训练的AI模型200中预测的每种病变的分数的置信度值来测量，通过使用在预训练的AI模型200中预测的每种病变的热图的熵来测量，或者考虑病变共现来测量。针对代表目标医院数据的分布的多样性，可以随机抽取标注目标，或者可以选择k个代表性数据作为标注目标。标注目标可以从存在放射科医师报告的数据中选择。标注数据的量可以根据专业化的AI模型的性能而不同地确定，也可以根据部署机构的要求而被确定为特定量。同时，如上面参照图3至图5使用示例所述的，AI模型可以在不对目标医院数据进行单独标注的情况下进行训练。
训练装置100对所选择的标注目标执行标注或通过提供AI模型针对标注目标的预测结果来支持标注者的标注任务(S230)。训练装置100可以将从放射科医师报告中提取的信息标注为标注目标的标签。为了标注者，训练装置100可以提供AI模型200针对标注目标的预测结果，并且操作为使得标注任务被半自动地执行。训练装置100可以将标注目标提供给标注者并且接收标注目标的标签。
训练装置100提供包括标注后数据的数据集作为AI模型的训练数据(S240)。
训练装置100根据使用训练数据训练后的AI模型的验证结果来确定是否需要用于对AI模型进行重新训练的数据(S250)。
当完成了专业化的AI模型的训练时，训练装置100终止从部署机构收集数据(S260)。
当需要用于重新训练的数据时，训练装置100选择未标注数据作为新的标注目标(S270)。训练装置100可以在由部署机构所保留的全部数据当中选择尚未被提取的新数据。
如上所述，训练装置100对标注目标的重新选择或目标医院数据的重新提取进行迭代，直到训练完成，并且提供包括标注后数据的新数据集作为用于对AI模型进行专业化训练的数据。
图9是示出根据实施例的专业化训练方法的流程图。
参照图9，训练装置100将AI模型训练为使得在使用从部署机构收集的数据对AI模型进行训练的同时AI模型不会遗忘通过预训练所获得的先验知识。为此，使用使处于专业化训练中的AI模型(学生模型)遵循预训练的AI模型(教师模型)的中间特征和/或最终输出的蒸馏损失。结果，AI模型可以在不遗忘先验知识的情况下学习新数据。
训练装置100使用从部署机构收集的数据集当中的被标注的数据来执行AI模型的有监督训练(S310)。对于专业化训练，可以使用标注有标签的目标医院数据，也可以使用标注有标签的先验知识数据。训练装置100可以通过将AI模型针对输入数据的输出与标签进行比较来计算有监督损失，并且可以将有监督损失反向传播到AI模型。训练装置100向处于有监督训练中的AI模型提供使AI模型遵循从教师模型针对输入数据所输出的中间特征和/或最终输出的蒸馏损失，从而执行先验知识维持训练(S320)。教师模型可以是使用预训练数据预训练的AI模型。处于有监督训练中的AI模型的初始模型可以是预训练的AI模型。对于先验知识维持训练，可以使用目标医院数据或先验知识，也可以使用没有标签的数据。同时，训练装置100可以通过使用诸如每种病变的分数、每种病变的不确定性分数和异常分数的指标从预训练数据或目标医院数据当中选择要用于先验知识维持训练的数据。
训练装置100将训练后的AI模型提供给部署机构(S330)。也就是说，当专业化的AI模型关于目标医院数据输出良好的性能时，其可以被提供给部署机构使用。
训练装置100可以通过根据权重来计算有监督损失和蒸馏损失的加权和并将加权求和后的损失反向传播到处于训练中的AI模型，同时进行先验知识维持训练和专业化训练。
同时，训练装置100可以通过使用从部署机构收集的验证数据来验证训练后的AI模型。必要时可以执行使用验证数据的验证。根据验证结果，训练装置100重新选择用于重新训练的目标医院数据，并使用重新选择的数据来执行AI模型的重新训练。
如上所述，AI模型在使用标注的目标医院数据学习任务的同时保留了使用预训练数据学习的先验知识而不会遗忘它们。因此，根据本公开，AI模型可以稳定地运行，而不会在使用目标医院数据将本地化传递到部署机构的域的同时导致损失通过目标医院数据预学习的先验知识的灾难性遗忘。
另一方面，AI模型可以使用被标注的目标医院数据来执行专业化训练，并且可以使用参照图3至图5所述的未标注的目标医院数据来执行专业化训练。
图10是根据实施例的计算设备的配置图。
参照图10，训练装置100或基础训练装置110、数据管理器130和构成训练装置100的专业化训练装置150使用由至少一个处理器操作的计算设备700来实现。
计算设备700包括一个或多个处理器710、用于加载由处理器710执行的计算机程序的存储器730、用于存储计算机程序和各种数据的储存设备750、通信接口770和连接它们的总线790。此外，计算设备700可以进一步包括各种部件。处理器710是控制计算设备700的操作的设备，并且可以是对包括在计算机程序中的指令进行处理的各种类型的处理器。例如，处理器710可以被配置为包括中央处理单元(CPU)、微处理器单元(MPU)、微控制器单元(MCU)、图形处理单元(GPU)和本公开领域内的公知的任何类型的处理器中的至少一种。
存储器730存储各种数据、命令和/或信息。存储器730可以通过从储存设备750加载相应的程序来使被描述为执行本公开的操作的指令被处理器710处理。存储器730可以是例如只读存储器(ROM)和随机存取存储器(RAM)等。
储存设备750可以非临时地存储计算机程序和各种数据。储存设备750可以包括硬盘、可移动磁盘、诸如只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存的非易失性存储器、或者本公开领域内的公知的任何类型的计算机可读介质。
通信接口770可以是支持有线/无线通信的有线/无线通信模块。
总线790在计算设备700的各部件之间提供通信功能。
计算机程序包括由处理器710执行的指令，并且存储在非暂时性计算机可读存储介质上。指令使处理器能够执行本公开的操作。计算机程序可以经由网络下载或作为产品出售。
根据实施例的计算机程序可以包括收集用于对AI模型进行预训练的数据集并根据预定的域泛化方法使用所收集的数据集对AI模型进行训练的指令。计算机程序可以包括进行预处理以去除输入数据的域特征并使用预处理后的输入数据对AI模型进行训练的指令。计算机程序可以包括进行预处理以通过图像翻译来去除从不同域获取的图像的域特征并使用鉴别器和对抗损失将用于对输入数据进行转换的图像翻译模型训练为使得鉴别器不能区分图像的域的指令。计算机程序可以包括将AI模型训练为使得通过鉴别器不能从自AI模型的中间所提取的中间特征中辨别出域的指令。
根据另一实施例的计算机程序可以包括从由部署机构所保留的所有数据中提取用于专业化训练的数据集的指令、从所提取的数据集中选择预训练的AI模型所不确定的、同时代表目标医院数据的分布的数据作为标注目标的指令、对标注目标执行标注或支持标注任务的指令、以及提供包括标注后数据的数据集作为AI模型的训练数据的指令。进一步地，计算机程序可以包括在根据用训练数据训练的AI模型的验证结果需要用于对AI模型进行重新训练的数据的情况下从由部署机构所保留的全部数据中选择未被提取的新数据或者通过将未标注的数据选择为新的标注目标来生成新的数据集的指令。
根据另一实施例的计算机程序可以包括通过使用从部署机构所收集的数据集当中的被标注的数据来执行AI模型的有监督训练的指令。计算机程序可以包括向处于有监督训练中的AI模型提供使AI模型遵循从教师模型针对输入数据输出的中间特征和/或最终输出的蒸馏损失以执行先验知识维持训练的指令。计算机程序可以包括通过使用诸如每种病变的预测分数、每种病变的不确定性分数以及异常分数的指标来从目标医院数据中选择要用于先验知识维持训练的数据的指令。计算机程序可以包括通过使用从部署机构所收集的验证数据来验证训练后AI模型的指令、在性能验证达不到标准的情况下重新选择用于进行重新训练的目标医院数据并使用重新选择的数据对AI模型执行重新训练的指令、以及在性能验证满意的情况下使训练装置100终止训练并将训练后的AI模型提供给部署机构的指令。
根据实施例，由于各种机构可以使用针对每个机构的域特征被专业化的AI模型，因此无需担心AI模型性能由于诸如成像装备、成像方法、严重性程度和种族的域中的差异而下降。
根据实施例，AI模型可以学习每个机构的固有数据，同时维持用于稳定运行的先验知识。因此，根据实施例，针对每个机构被专业化的AI模型可以提供反映每个机构的固有特征的分析结果，同时提供泛化性能。
根据实施例，由于可以选择在由每个机构所保留的数据当中的不确定的、同时代表由每个机构所保留的数据的数据作为标注目标，因此可以只需要对所选择的数据进行标注，而不必对所有数据进行标注。因此，根据实施例，可以增加训练的便利性，可以减少训练时间，并且可以节约训练成本。
根据实施例，向机构提供AI模型的提供商可以通过根据与每个机构的合同条款来改变收集的数据的量或需要标注的数据的量来对AI模型进行差异化。
上述本公开的实施例不是仅使用装置和方法来实现，而是可以使用用于执行与本公开实施例的配置相对应的功能的程序或记录该程序的记录介质来实现。
虽然已经结合目前被认为是可行实施例的实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例。相反，本公开旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同布置。

Claims (20)

1.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：
从由特定机构保留的数据中提取要用于专业化训练的数据集；
通过使用预训练的人工智能AI模型从所述数据集中选择需要标注的标注目标；以及
通过使用针对所述标注目标标注有标签的数据来执行所述预训练的AI模型的有监督训练。
2.根据权利要求1所述的方法，其中，选择所述标注目标包括：通过使用所述预训练的AI模型针对所述数据集中的至少一些数据的预测结果来选择所述预训练的AI模型所不确定的数据作为所述标注目标。
3.根据权利要求2所述的方法，其中，选择所述标注目标包括：基于通过使用所述预训练的AI模型的所述预测结果而测量的不确定性分数来选择所述标注目标。
4.根据权利要求3所述的方法，其中，所述不确定性分数通过使用在所述预训练的AI模型中预测的每种病变的分数的置信度值、在所述预训练的AI模型中预测的每种病变的热图的熵以及在所述预训练的AI模型中预测的病变共现中的至少一种来测量。
5.根据权利要求1所述的方法，其中，选择所述标注目标包括：选择代表所述数据集在所述预训练的AI模型的特征空间中的分布的数据作为所述标注数据。
6.根据权利要求1所述的方法，进一步包括：将从放射科医师报告中提取的信息标注在所述标注目标上，或者通过向标注者提供所述预训练的AI模型针对所述标注目标的预测结果来支持标注任务。
7.根据权利要求1所述的方法，其中，提取要用于专业化训练的所述数据集包括：基于所述特定机构的数据保留量和数据特性来确定要用于专业化训练的数据的量。
8.根据权利要求1所述的方法，其中，执行所述预训练的AI模型的有监督训练包括：将用于维持所述预训练的AI模型的先验知识的信息提供给处于有监督训练中的AI模型。
9.根据权利要求8所述的方法，其中，执行所述预训练的AI模型的有监督训练包括：计算在处于有监督训练中的AI模型与教师模型之间的蒸馏损失，并将所述蒸馏损失提供给处于有监督训练中的AI模型，并且
其中，所述教师模型与所述预训练的AI模型是相同的模型。
10.根据权利要求9所述的方法，其中，所述蒸馏损失是使处于有监督训练中的AI模型遵循所述教师模型的中间特征和/或最终输出的损失。
11.一种用于操作由至少一个处理器操作的训练装置的方法，所述方法包括：
收集用于预训练的第一数据集；
输出已经使用所述第一数据集执行了至少一项任务的预训练的第一AI模型；以及
输出已经使用从特定机构收集的第二数据集执行了专业化训练、同时维持在预训练中所获取的先验知识的第二AI模型。
12.根据权利要求11所述的方法，其中，所述第一AI模型使用被预处理以便不能区分输入数据的域的数据进行训练，或者执行对抗学习以便不能从所提取的中间特征中检测到所述输入数据的所述域。
13.根据权利要求11所述的方法，其中，输出所述第二AI模型包括：计算在处于专业化训练中的AI模型与教师模型之间的蒸馏损失，并且通过将所述蒸馏损失提供给处于专业化训练中的AI模型而使所述第二AI模型维持所述先验知识，并且
其中，所述教师模型与预训练后的所述第一AI模型是相同的模型。
14.根据权利要求11所述的方法，其中，输出所述第二AI模型包括：通过使用所述第二数据集当中的标注有标签的标注数据中的至少一些来执行所述第一AI模型的有监督训练，并将用于维持所述第一AI模型的先验知识的信息提供给处于有监督训练中的AI模型，并且
其中，用于维持所述第一AI模型的先验知识的所述信息是在处于有监督训练中的AI模型与教师模型之间的蒸馏损失，并且所述教师模型与所述第一AI模型是相同的模型。
15.根据权利要求11所述的方法，进一步包括：
从由所述特定机构保留的数据中提取要用于专业化训练的所述第二数据集；
通过使用所述第一AI模型从所述第二数据集中选择需要标注的标注目标；以及
获得针对所述标注目标标注有标签的数据。
16.根据权利要求15所述的方法，其中，选择所述标注目标包括：通过使用所述第一AI模型针对所述第二数据集中的至少一些数据的预测结果来选择所述第一AI模型所不确定的数据作为所述标注目标。
17.根据权利要求15所述的方法，其中，选择所述标注目标包括：选择代表所述第二数据集在所述第一AI模型的特征空间中的分布的数据作为所述标注目标。
18.一种训练装置，包括：
存储器，被配置为存储指令；和
处理器，被配置为执行所述指令，
其中，所述处理器从医疗机构的数据储存库中提取特定量的医疗机构数据，并通过使用所述医疗机构数据来执行预训练的AI模型的专业化训练，同时维持所述预训练的AI模型的先验知识。
19.根据权利要求18所述的方法，其中，所述处理器通过使用所述预训练的AI模型针对所述医疗机构数据的预测结果来从所述医疗机构数据中提取所述预训练的AI模型所不确定的数据，将所述不确定的数据选择为需要标注的标注目标，并且使用针对所述标注目标标注有标签的数据来执行所述预训练的AI模型的有监督训练，并且
其中，所述处理器通过将用于维持所述先验知识的信息提供给处于有监督训练中的AI模型来使所述先验知识被维持。
20.根据权利要求18所述的方法，其中，所述处理器选择代表所述医疗机构数据的分布的特定数量的代表性数据，并从所述代表性数据中选择所述预训练的AI模型的预测是不确定的数据，并且
其中，所述不确定的数据通过使用在所述预训练的AI模型中预测的每种病变的分数的置信度值、在所述预训练的AI模型中预测的每种病变的热图的熵以及在所述预训练的AI模型中预测的病变共现中的至少一种来选择。
CN202080067704.4A 2019-09-26 2020-09-25 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置 Pending CN114467146A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0118545 2019-09-26
KR20190118545 2019-09-26
KR10-2020-0124142 2020-09-24
KR1020200124142A KR102542037B1 (ko) 2019-09-26 2020-09-24 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
PCT/KR2020/013027 WO2021060899A1 (ko) 2019-09-26 2020-09-25 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치

Publications (1)

Publication Number Publication Date
CN114467146A true CN114467146A (zh) 2022-05-10

Family

ID=75165922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067704.4A Pending CN114467146A (zh) 2019-09-26 2020-09-25 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置

Country Status (6)

Country Link
US (1) US20220199258A1 (zh)
EP (1) EP4036931A4 (zh)
JP (2) JP7406758B2 (zh)
KR (1) KR20230085125A (zh)
CN (1) CN114467146A (zh)
WO (1) WO2021060899A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
KR20210042696A (ko) * 2019-10-10 2021-04-20 삼성전자주식회사 모델 학습 방법 및 장치
US11568284B2 (en) 2020-06-26 2023-01-31 Intuit Inc. System and method for determining a structured representation of a form document utilizing multiple machine learning models
CN114444558A (zh) * 2020-11-05 2022-05-06 佳能株式会社 用于对象识别的神经网络的训练方法及训练装置
US11977842B2 (en) 2021-04-30 2024-05-07 Intuit Inc. Methods and systems for generating mobile enabled extraction models
CA3160714A1 (en) * 2021-04-30 2022-10-30 Intuit Inc. Methods and systems for generating mobile enabled extraction models
CN113673254B (zh) * 2021-08-23 2022-06-07 东北林业大学 基于相似度保持的知识蒸馏的立场检测方法
CN116963100A (zh) * 2022-04-15 2023-10-27 维沃移动通信有限公司 模型微调的方法、装置及设备
JP2023181643A (ja) * 2022-06-13 2023-12-25 日立Astemo株式会社 機械学習システム及び機械学習方法
CN114861836B (zh) * 2022-07-05 2022-10-28 浙江大华技术股份有限公司 一种基于人工智能平台的模型部署方法及相关设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295305B (zh) 2007-04-25 2012-10-31 富士通株式会社 图像检索装置
WO2016084336A1 (ja) 2014-11-27 2016-06-02 日本電気株式会社 追学習装置、追学習方法、および、記憶媒体
KR102492318B1 (ko) * 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
JP6509717B2 (ja) 2015-12-09 2019-05-08 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
US20180314943A1 (en) * 2017-04-27 2018-11-01 Jianming Liang Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier
US10769500B2 (en) 2017-08-31 2020-09-08 Mitsubishi Electric Research Laboratories, Inc. Localization-aware active learning for object detection
KR20190062283A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치
WO2019150813A1 (ja) 2018-01-30 2019-08-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
US10794609B2 (en) 2018-02-05 2020-10-06 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for personalized heating, ventilation, and air conditioning
KR20190106861A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법

Also Published As

Publication number Publication date
JP7406758B2 (ja) 2023-12-28
KR20230085125A (ko) 2023-06-13
JP2022550094A (ja) 2022-11-30
EP4036931A1 (en) 2022-08-03
WO2021060899A1 (ko) 2021-04-01
US20220199258A1 (en) 2022-06-23
JP2024019441A (ja) 2024-02-09
EP4036931A4 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
CN114467146A (zh) 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置
US11669792B2 (en) Medical scan triaging system and methods for use therewith
US10825167B2 (en) Rapid assessment and outcome analysis for medical patients
CN108784655B (zh) 针对医疗患者的快速评估和后果分析
US20220156934A1 (en) Ai-based heat map generating system and methods for use therewith
JP7330372B2 (ja) 画像および専門知識から皮膚症状を収集し特定するシステム
EP4102455A1 (en) Multi-modal medical image processing
KR102542037B1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
EP2812828B1 (en) Interactive optimization of scan databases for statistical testing
US20240161035A1 (en) Multi-model medical scan analysis system and methods for use therewith
CN118116603A (zh) 用于对医学图像数据集进行分类的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination