CN116977275A - 一种病变检测方法、装置、系统、设备及存储介质 - Google Patents

一种病变检测方法、装置、系统、设备及存储介质 Download PDF

Info

Publication number
CN116977275A
CN116977275A CN202310699684.8A CN202310699684A CN116977275A CN 116977275 A CN116977275 A CN 116977275A CN 202310699684 A CN202310699684 A CN 202310699684A CN 116977275 A CN116977275 A CN 116977275A
Authority
CN
China
Prior art keywords
detection
detected
image
lesion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310699684.8A
Other languages
English (en)
Inventor
伍健荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310699684.8A priority Critical patent/CN116977275A/zh
Publication of CN116977275A publication Critical patent/CN116977275A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种病变检测方法、装置、系统、设备及存储介质；方法包括：获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；对所述多张待检测图像的检测特征进行特征融合，得到融合特征；基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。通过本申请，能够实现病变检测与活检区域检测等辅助诊断功能。

Description

一种病变检测方法、装置、系统、设备及存储介质
技术领域
本申请涉及医疗技术领域，尤其涉及一种病变检测方法、装置、系统、设备及存储介质。
背景技术
深度学习技术是一种利用深层神经网络系统进行机器学习的技术。近年来，深度学习技术在医疗领域中的应用越来越广泛，利用深度学习对医疗影像图片进行分类可以辅助医生确定治疗方案。
目前，阴道镜的宫颈癌前病变自动诊断通常利用深度学习技术对图片进行直接的分类，包括正常和病变，然后输出病变概率来辅助医生进行进一步的治疗诊断，但是，相关技术中的自动诊断技术尚处于对正常和病变的诊断阶段，仅停留在预测患病可能性的水平。
发明内容
本申请实施例提供一种方法、装置及计算机可读存储介质，能够实现病变检测与活检区域检测等辅助诊断功能。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种病变检测方法，所述方法包括：
获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；
对所述多张待检测图像的检测特征进行特征融合，得到融合特征；
基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；
响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
本申请实施例提供一种病变检测装置，包括：
获取模块，用于获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
特征提取模块，用于对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；
特征融合模块，用于对所述多张待检测图像的检测特征进行特征融合，得到融合特征；
预测模块，用于基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；
检测模块，用于响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
本申请实施例提供一种病变检测系统，所述系统包括至少一个采集设备、至少一个存储装置、病变检测装置和第一客户端；其中，
所述采集设备，用于采集待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
所述病变检测装置，用于实现前述病变检测方法的步骤；
所述存储装置，用于存储所述采集设备采集的所述待检测图像和所述病变检测装置获得的病变识别结果或活检区域检测结果；一个所述存储装置与所述至少一个采集设备通信连接，或者，至少两个存储装置中的每一个存储装置与所述存储装置对应的采集设备通信连接；
所述第一客户端，用于展示所述病变识别结果或活检区域检测结果。
本申请实施例提供一种电子设备，所述电子设备包括：
存储器，用于存储计算机可执行指令或者计算机程序；
处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现前述病变检测方法。
本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，所述计算机可执行指令或者计算机程序被处理器执行时实现前述病变检测方法。
本申请实施例提供一种计算机程序产品，包括计算机可执行指令或计算机程序，所述计算机可执行指令或计算机程序被处理器执行时实现前述病变检测方法。
本申请实施例具有以下有益效果：本申请实施例可应用于病变诊断和活检区域检测，通过对多张待检测图像进行特征提取和特征融合，基于融合特征实现正常和病变两种类别的预测，保证了病变诊断结果的准确性和有效性；如确定病变诊断结果为存在病变，进一步对待检测图像中的染色图像进行活检区域检测，确定需进行活检的位置预测结果，能够实现病变检测与活检区域检测等辅助诊断功能，相较于相关技术中仅提供患病概率的诊断方案，本申请能够帮助医生专家对病情进行快速诊断，并提供进行活检的区域参考。
附图说明
图1是本申请实施例提供的病变检测系统100的架构示意图；
图2是本申请实施例提供的服务器200的结构示意图；
图3A是本申请实施例提供的病变检测方法的一种流程示意图；
图3B是本申请实施例提供的病变检测方法的另一种流程示意图；
图3C是本申请实施例提供的病变识别模型的处理流程示意图；
图4A是本申请实施例提供的活检区域检测模型的训练方法的流程示意图；
图4B是本申请实施例提供的活检区域检测模型的训练过程示意图；
图4C是本申请实施例提供的基于所述训练样本集对初始检测模型进行训练的一种实现流程示意图；
图5是本申请实施例提供的病变检测系统500的组成结构示意图；
图6是本申请实施例提供的病变检测系统应用于宫颈癌前病变诊断中的示例性系统框架图；
图7A是本申请实施例提供的图像采集端的工作示意图；
图7B是本申请实施例提供的图像采集端的工作界面示意图；
图7C是本申请实施例提供的医生工作站的一种工作界面示意图；
图7D是本申请实施例提供的医生工作站的另一种工作界面示意图；
图7E是本申请实施例提供的管理平台的工作界面示意图；
图8A是本申请实施例提供的病变检测系统中各组成模块的一种部署示意图；
图8B是本申请实施例提供的病变检测系统中各组成模块的的另一种部署示意图；
图8C是本申请实施例提供的病变检测系统中各组成模块的的再一种部署示意图；
图8D是本申请实施例提供的病变检测系统中各组成模块的的又一种部署示意图；
图9是本申请实施例的病变检测方法应用于病变检测系统中引擎服务的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)阴道镜图像：阴道镜(colposcope)是一种妇科临床诊断仪器，是妇科内窥镜之一，适用于各种宫颈疾病及生殖器病变的诊断，也是男女性疾病早期诊断的重要方式。
2)活检区域：是指在医疗活动中，进行活体组织检查的区域。活体组织检查，简称活检，意为从病人身上切取病变组织做病理检查，用以协助临床医生确定疾病，比如，宫颈活检就是子宫颈的活体组织检查，即从宫颈上取一小块或几块组织作为病理检查以确定诊断，等等，活检是现代医疗活动中较为常规的一种检查方式，通过活检，可以为后续的诊断提供基础。
3)病变：是指病理变化，由疾病引起的细胞或组织的变化，例如人体组织或器官在形态和功能上发生的病理变化，如炎症感染、溃疡、肿瘤等。宫颈癌筛查时通常会通过阴道镜宫颈图像来诊断是否出现宫颈癌前病变。
4)深度学习技术：一种利用深层神经网络系统进行机器学习的技术。
5)图片类别：图片内容所属的类别，例如正常、癌变病变。
6)检测模型：机器学习技术对标注样本数据(图片与图片中目标位置对应关系)进行学习后获得的数学模型，学习训练的过程中获得该数学模型的参数，检测时加载该数学模型的参数并计算输入样本中目标的检测位置。
7)分类模型：机器学习技术对标注样本数据(图片与类别对应关系)进行学习后获得的数学模型，学习训练的过程中获得该数学模型的参数，识别预测时加载该数学模型的参数并计算输入样本属于各个类别的概率。
相关技术中，基于阴道镜的宫颈癌前病变自动诊断尚处于较早阶段，通常利用深度学习技术对图片进行直接的分类(正常和病变)，然后输出病变概率来辅助医生进行进一步的治疗诊断，仅停留在预测患病可能性和对接单个阴道镜设备的水平。
本申请实施例提供一种病变检测方法、装置、系统、设备及存储介质，能够实现病变检测与活检区域检测等辅助诊断功能，可应用于阴道镜的高敏感度和高特异度的宫颈癌前病变诊断和活检点(或活检区域)检测，帮助医生专家对病情进行快速诊断，并提供进行活检的区域参考。
下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，ContentDelivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。下面，将说明电子设备实施为服务器时示例性应用。
参见图1，图1是本申请实施例提供的病变检测系统100的架构示意图，为实现支撑一个病变检测应用，本申请实施例中，病变检测系统100至少包括服务器200、网络300和采集设备(示例性示出了采集设备400-1和采集设备400-2)，其中，服务器200可以是独立服务器或服务器集群等，服务器200可以构成本申请实施例的电子设备。
至少一个采集设备通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。各采集设备采集待检测对象的多张待检测图像，所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像。服务器200获取待检测对象的多张待检测图像，对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征，以及对所述多张待检测图像的检测特征进行特征融合得到融合特征，基于所述融合特征对所述待检测对象进行病变识别得到病变识别结果，进一步响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器等，但并不局限于此。采集设备和服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图2，图2是本申请实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器240和至少一个网络接口220。电子设备中的各个组件通过总线系统230耦合在一起。可理解，总线系统230用于实现这些组件之间的连接通信。总线系统230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统230。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器240旨在包括任意适合类型的存储器。在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
网络通信模块241，用于经由一个或多个(有线或无线)网络接口220到达其他电子设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。
在一些实施例中，本申请实施例提供的病变检测装置可以采用软件方式实现，图2示出了存储在存储器240中的病变检测装置242，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2421、特征提取模块2422、特征融合模块2423、预测模块2424和检测模块2425，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的病变检测方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
在一些实施例中，服务器可以通过运行各种计算机可执行指令或计算机程序来实现本申请实施例提供的病变检测方法。举例来说，计算机可执行指令可以是微程序级的命令、机器指令或软件指令。总而言之，上述的计算机可执行指令可以是任意形式的指令，上述计算机程序可以是任意形式的应用程序、模块或插件。
下面，说明本申请实施例提供的病变检测方法，如前所述，实现本申请实施例的病变检测方法的电子设备可以是服务器。因此下文中不再重复说明各个步骤的执行主体。
需要说明的是，下文中的病变检测的示例中，是以检测目标为宫颈癌为例说明的，本领域技术人员根据对下文的理解，可以将本申请实施例提供的病变检测方法应用于包括其他类型检测目标的病变检测的处理。
参见图3A，图3A是本申请实施例提供的病变检测方法的一种流程示意图，将结合图3A示出的步骤进行说明。
在步骤101中，获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像。
本实施例中，所述待检测对象例如可以是待检测的生命体(有生命形态的独立个体、能对外界刺激作出相应反应)或生命体组织(生命体组成部分)，对应的，所述待检测图像可以是需进行检测的生命体组织图像，例如人体的肠胃、心脏、喉咙或阴道等的图像，或者狗的肠胃、口腔或者皮肤等的图像。所述待检测对象的多张待检测图像可以是同一病人同一次病理检查过程所获得的多张图像，例如同一病人在某一次宫颈检查的不同时间点的多张宫颈图像。
作为步骤101的示例，获取待检测对象的多张待检测图像；所述多张待检测图像中包括阴道镜宫颈图像和对应的醋染图像。
在一些实施例中，所述获取待检测对象的多张待检测图像，可以包括：接收采集设备发送的所述多张待检测图像，或者，从存储装置中获取所述多张待检测图像。其中，采集设备可以包括医疗检测设备、医疗监护设备等等，例如阴道镜或内窥镜等，或者，采集设备也可以是对接医疗检测设备、医疗监护设备等的图像采集装置，可用于对所述医疗检测设备、医疗监护设备等采集的图像进行图像预处理获得所述待检测图像；存储装置可预先接收采集设备采集的多张待检测图像并存储。
作为步骤101的示例，可基于采集设备采集待检测对象的图像数据，对所述图像数据进行图像预处理，基于预处理后的图像数据确定所述待检测图像。其中，图像预处理例如可以是图像尺寸缩放、颜色通道顺序调整、像素调整、图像归一化、图像数据排列调整等，图像尺寸缩放例如将图像数据的尺寸缩放至预设大小，具体可在保持宽高比的同时将宽或高缩放至预设大小，并利用透明像素进行补齐等；颜色通道顺序调整例如将图像数据的颜色通道顺序调整为预设顺序，具体可将图像三通道改为R、G、B的通道顺序等；像素调整例如按照预设策略对图像中的像素进行处理，具体可将图像中每一像素均减去全图像素均值等；图像归一化例如对图像数据的每个通道值除以预设系数(例如255)等；图像数据排列调整例如将图像数据排列设置为预设模式，具体可将图像数据排列设置为通道优先等。
在一些实施例中，对于待检测对象为人体阴道或阴道组织的情况下，所述目标介质可以是醋酸，所述待检测对象经过目标介质染色后的染色图像可以包括多张不同时序的醋染图像，例如可以在对待检测对象加醋酸后，采集设备分别在多个预设时间时刻采集待检测对象的醋染图像，如60秒、90秒、120秒和150秒等时刻的醋染图像。
在步骤102中，对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征。
作为步骤102的示例，可通过特征提取网络分别对每张待检测图像进行特征提取，得到每一待检测图像的检测特征。其中，所述特征提取网络例如可以是卷积网络。
在一些实施例中，参见图3B，在图3A中所述步骤101之后，还可以执行步骤102A，相应地，图3A示出的步骤102中的“对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征”可以通过步骤102B实现，下面具体说明。
在步骤102A中，对所述多张待检测图像进行质控检测，得到每一待检测图像的质控检测结果。
作为步骤102A的示例，可通过质控分类模型对所述多张待检测图像进行质控检测。在一些示例中，可基于所述质控分类模型依次对每张待检测图像进行分类处理，得到每一待检测图像的质控检测结果，例如，所述质控分类模型的输入为单张图像，依次将所述多张待检测图像输入所述质控分类模型进行分类处理，获得每张待检测图像的质控检测结果；或者，可基于所述质控分类模型对所述多张待检测图像进行并行处理，得到每一待检测图像的质控检测结果，例如，所述质控分类模型的输入为多张图像，可将所述多张待检测图像同时输入所述质控分类模型，输出每一待检测图像的质控检测结果。其中，所述质控分类模型可用于图像进行分类处理获得质控分类结果，所述质控分类结果例如可以是图像合格、图像不合格等，图像不合格例如可以包括图像或图像中目标对象上有遮挡物、图像或图像中目标对象模糊等，所述质控分类模型可基于初始分类模型和标注有质控分类结果的多张样本图像进行训练获得。
示例性的，可在每一待检测图像的质控分类结果均为图像合格的情况下，确定所述多张待检测图像的质控检测结果均为检测通过，在任一待检测图像的质控分类结果为图像不合格的情况下，确定所述多张待检测图像的质控检测结果为检测不通过。
在一些实施例中，质控分类模型可以选择残差网络(ResNet，Residual Network)50，或者还可以是ResNet18、ResNet34、ResNet101或者ResNet152等，此处不做限定。
需要说明的是，所述质控分类模型可由其他设备进行训练后提供给服务器200(或电子设备)，或者，也可以由服务器200自行进行训练，即在所述步骤102A之前，所述方法还可以包括：获取多个标注有质控分类结果的样本图像，基于所述样本图像对第一预设分类模型进行训练，获得所述质控分类模型。示例性的，所述样本图像可以是待检测对象的原始图像或经目标介质染色后的图像，所述质控分类结果可包括图像合格、图像不合格等，具体可将样本图像输入至第一预设分类模型进行分类，得到预测的质控分类结果，将预测的质控分类结果和标注的质控分类结果进行收敛，使得预测的质控分类结果与标注的质控分类结果之间的误差最小化，即可完成一次训练，以此类推进行多次训练，直至所有样本图像训练完毕，得到质控分类模型。
通过步骤102A，本实施例对待检测图像进行质控，避免了不合格图像对病变识别的干扰，提升了疾病诊断的准确性和有效性。
在步骤102B中，响应于所述多张待检测图像的质控检测结果均为检测通过，对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征。
作为步骤102B的示例，响应于所述多张待检测图像的质控检测结果均为检测通过，可通过特征提取网络分别对每张待检测图像进行特征提取，得到每一待检测图像的检测特征。其中，所述特征提取网络例如可以是卷积网络。
在一些实施例中，可通过所述特征提取网络并行地对所有待检测图像进行特征提取，得到每一待检测图像的检测特征，例如，可以同时将多张不同的待检测图像输入所述特征提取网络进行特征提取；或者，可通过所述特征提取网络依次对每张待检测图像进行特征提取，得到每一待检测图像的检测特征，例如，依次将每张待检测图像输入所述特征提取网络进行特征提取。
在一些实施例中，可通过病变识别模型对所述多张待检测图像进行特征提取，得到每一待检测图像的检测特征。所述病变识别模型可基于初始分类网络和标注有病变识别结果的多张样本图像进行训练获得，示例性的，参见图3C，图3C是本申请实施例提供的病变识别模型的处理流程示意图，病变识别模型可包括主干(Backbone)网络，基于所述主干网络完成多张待检测图像的特征提取，所述主干网络可以是卷积网络(CNN，ConvolutionalNeural Network)结构，例如可选择ResNet50中多个卷积层。下面以病变识别模型采用ResNet50网络结构为例进行介绍，可以理解的是，所述主干网络还可以选择ResNet18、ResNet34、ResNet101、ResNet152或其部分网络结构等，此处不做限定。
表1为ResNet50中各个网络层相关参数的一个示例，请参阅表1，所述病变识别模型的主干网络可包括ResNet50中的卷积层conv1、conv2_x、conv3_x、conv4_x和conv5_x，可不包括平均池化层(average pool)、全连接层和归一化指数(softmax)层等。
表1
需要说明的是，所述病变识别模型可由其他设备进行训练后提供给服务器200(或电子设备)，或者，也可以由服务器200自行进行训练，即在所述步骤102或所述步骤102B之前，所述方法还可以包括：获取多组标注有病变识别结果的样本图像集，每组样本图像集均包括检测对象的原始样本图像和多张经目标介质染色后的样本图像；基于所述样本图像集对第二预设分类模型进行训练，获得所述病变识别模型。示例性的，针对宫颈癌前病变检测，所述病变识别结果可包括正常、病变等，每一所述样本图像集可以是阴道镜检查时获得的阴道镜图像和对应的多张醋染图像，具体可将样本图像集输入至第二预设分类模型进行分类，得到预测的病变识别结果，将预测的病变识别结果和标注的病变识别结果进行收敛，使得预测的病变识别结果与标注的病变识别结果之间的误差最小化，即可完成一次训练，以此类推进行多次训练，直至所有样本图像集训练完毕，得到病变识别模型。可以理解，在对所述病变识别模型进行训练的过程中，每次输入的样本图像均需包括检测对象的原始图像和经目标介质染色后的图像，例如图3C中输入病变识别模型的主干网络的图像可包括生理盐水图像和多张醋染图像(醋染图像1、醋染图像N等)，其中，染色图像的数量与次顺可以按照数据增强要求进行适应性调整，以提高模型分类能力和CNN的特征提取能力。
继续参见图3A，接续上文的步骤102进行说明，或者继续参见图3B，接续上文的步骤102B进行说明。
在步骤103中，对所述多张待检测图像的检测特征进行特征融合，得到融合特征。
作为步骤103的示例，可对所有待检测图像的检测特征进行特征相加，基于相加后的检测特征确定所述融合特征，例如将多张待检测图像的检测特征逐像素相加获得融合特征；或者，可对所有待检测图像的检测特征进行特征拼接，基于拼接后的检测特征确定所述融合特征，例如将不同待检测图像的检测特征沿通道维度进行拼接获得融合特征；或者，可对所有待检测图像的检测特征进行特征相乘，基于相乘后的检测特征确定所述融合特征，例如将多张待检测图像的检测特征逐像素相乘获得融合特征；或者，可对多张待检测图像中不同尺度的检测特征进行加权，基于加权后的检测特征确定所述融合特征；或者，可将多张待检测图像中的第一类检测特征进行反卷积处理，对反卷积处理结果进行上采样，得到与所述多张待检测图像中的第二类检测特征分辨率相同的采样特征，基于所述采样特征与所述第二类检测特征确定融合特征，其中，所述第一类检测特征例如是特征提取获得的高层次特征，第二类检测特征例如是特征提取获得的低层次特征。
在一些实施例中，可基于病变识别模型的特征融合层对所述多张待检测图像的检测特征进行特征融合，得到融合特征。参照图3C，前述病变识别模型还可以包括特征融合(concatenate)层，用于将多个待检测图像的CNN特征进行特征融合。
在步骤104中，基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果。
在一些实施例中，前述病变识别模型还可以包括全连接(FC，Full Connect)层，用于输出病变识别结果，例如正常或病变等，针对宫颈癌前病变检测例如可以是正常(或不存在病变)、宫颈癌前病变(或建议活检)等。
作为步骤104的示例，可基于所述融合特征分别确定对应于第一分类类别的第一预测概率和对应于第二分类类别的第二预测概率，基于所述第一预测概率和所述第二预测概率确定病变识别结果为第一分类类别或第二分类类别，其中，所述第一分类类别例如可以是表征待检测对象不存在病变的类别，所述第二分类类别例如可以是表征待检测对象存在病变的类别。例如在第一预测概率小于第一预设概率或第二预测概率大于第二预设概率的情况下，确定病变识别结果为第二分类类别，即待检测对象存在病变。
在步骤105中，响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
在一些实施例中，所述步骤105中“对所述染色图像进行活检区域检测”，可以包括：在所述多张待检测图像中包括的多张染色图像确定目标染色图像，对所述目标染色图像进行活检区域检测。可以理解，同一病人在同一次检查中获得的多张待检测图像中可以包括多张染色图像，在确定所述多张待检测图像的病变识别结果为待检测对象存在病变的情况下，可选择其中一张或多张目标染色图像进行活检区域检测。
在一些实施例中，所述步骤105中“对所述染色图像进行活检区域检测”，可以包括：通过活检区域检测模型对所述染色图像进行活检区域检测。所述活检区域检测模型可采用单阶检测器(YOLO，you only look once)，例如YOLO v3。需要说明的是，所述活检区域检测模型也可以采用基于区域的全卷积网络(R-FCN，Region-based Fully ConvolutionalNetwork)、快速基于区域的全卷积网络(Faster R-CNN，Faster Region-based FullyConvolutional Network)、特征金字塔网络(FPN，Feature Pyramid Network)或者单步多框目标检测器(SSD，Single Shot multibox Detector)等，此处不做限定。
在一些实施例中，所述活检区域检测模型包括多个特征检测网络；所述通过活检区域检测模型对所述染色图像进行活检区域检测，可以包括：通过所述多个特征检测网络分别对所述染色图像进行特征提取，得到多个特征图，每一特征图与其他特征图之间具有不同尺度；对所述多个特征图分别进行目标区域识别，根据识别结果确定各目标区域的检测类别和位置信息；根据所述检测类别和位置信息确定活检区域检测结果。本实施例中基于多个特征图具有的不同尺度，能够实现对不同尺度的检测目标的快速识别，检测精度高，适用于活检区域的快速预测。
作为一种示例，所述多个特征图可以包括第一尺度特征图、第二尺度特征图和第三尺度特征图，其中，第一尺度特征图例如可以是输入图像的1/8尺度，第二尺度特征图例如可以是输入图像的1/16尺度，第三尺度特征图例如可以是输入图像的1/32尺度。分别对第一尺度特征图、第二尺度特征图和第三尺度特征图进行目标区域识别，可通过不同感受野实现对不同大小的目标区域的识别。
在一些实施例中，所述方法还可以包括：向存储设备或采集设备发送质控检测结果、病变识别结果和活检区域检测结果中的至少一种。其中，采集设备可以包括医疗检测设备、医疗监护设备等等，例如阴道镜或内窥镜等，或者，采集设备也可以是对接医疗检测设备、医疗监护设备等的图像采集装置，可用于对所述医疗检测设备、医疗监护设备等采集的图像进行图像预处理获得所述待检测图像；存储装置可预先接收采集设备采集的多张待检测图像并存储。
示例性的，响应于所述多张待检测图像的质控检测结果为检测未通过，向所述采集设备或所述存储设备发送所述质控检测结果；响应于所述病变识别结果为所述待检测对象不存在病变，向所述采集设备或所述存储设备发送所述病变识别结果；响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果，向所述采集设备或所述存储设备发送所述活检区域检测结果。
参见图4A，图4A是本申请实施例提供的活检区域检测模型的训练方法的流程示意图，将结合图4A示出的步骤进行说明。所述活检区域检测模型可通过以下方式进行训练：
在步骤201中，获取训练样本集，所述训练样本集包括多张样本染色图像以及各样本染色图像对应的活检区域标注信息。
在步骤202中，基于所述训练样本集对初始检测模型进行训练，直至所述初始检测模型的损失函数收敛，将收敛后的初始检测模型确定为所述活检区域检测模型；所述损失函数的值至少用于表征所述初始检测模型对所述样本染色图像的预测结果与所述样本染色图像的活检区域标注信息之间的差异程度。
在一些实施例中，所述损失函数的值还可用于表征所述预测结果中各活检区域之间的分散程度。
作为步骤201的示例，所述活检区域标注信息可由标注审核人员根据专业医生的指导进行标注，活检区域的标注规则可根据实际应用需求确定，例如可用矩形框进行活检区域标注，并给出矩形框的图像坐标和区域大小等。
参见图4B，图4B是本申请实施例提供的活检区域检测模型的训练过程示意图，所述样本染色图像为经过目标介质染色后的染色图像，例如经过醋酸染色后的醋染图像，图4B中活检区域标注信息由圆圈示出。
需要说明的是，本申请实施例中所述活检区域检测模型的训练过程的执行主体并不限定为前述实施例中的服务器200或电子设备，在一些实施例中，所述活检区域检测模型可通过步骤201至步骤202训练完成后，用于所述服务器或所述电子设备中。
在一些实施例中，参见图4C，图4A示出的步骤202中的“基于所述训练样本集对初始检测模型进行训练”可以通过以下步骤2021至步骤2023实现，下面具体说明。
在步骤2021中，通过初始检测模型对所述样本染色图像进行目标检测，获得预测结果。
在一些实施例中，所述初始检测模型的网络结构例如可以是YOLO v3网络结构。
在步骤2022中，根据所述预测结果、所述样本染色图像的活检区域标注信息和所述损失函数确定损失。
在一些实施例中，步骤2022可以通过以下方法实现：确定所述预测结果与所述活检区域标注信息之间的差异度；根据所述差异度确定第一损失值；根据所述预测结果中各活检区域之间的分散程度确定第二损失值；确定所述第一损失值与所述第二损失值之间的加权和；基于所述加权和确定所述损失。可以理解，本实施例中所述损失函数的值包括用于表征所述预测结果与所述活检区域标注信息之间差异程度的第一损失值，以及用于表征所述预测结果中各活检区域之间的分散程度的第二损失值。
在一实施例中，所述基于所述加权和确定所述损失，可以包括：确定所述第一损失值与第一权重的第一乘积，以及所述第二损失值与第二权重的第二乘积，基于所述第一乘积与所述第二乘积之和确定所述损失。示例性的，所述第一权重例如可以是1，所述第二权重可用于控制所述分散程度对所述损失的影响程度。
作为一种示例，所述差异度可以包括检测框中心坐标之间的误差、检测框宽和高的误差、分类误差和置信度误差。示例性的，所述第一损失值可以通过以下公式(1)获得：
Lossdet＝Lossxy+Losswh+Losscls+Lossconf(1)；
其中，Lossdet表示第一损失值，Lossxy表示预测结果中检测框中心坐标与活检区域标注信息中检测框中心坐标之间的误差，Losswh表示预测结果中检测框宽高与活检区域标注信息中检测框宽高之间的误差，Losscls表示预测结果中分类结果与活检区域标注信息中分类结果之间的误差，Lossconf表示预测结果中置信度与活检区域标注信息中置信度之间的误差。
在一些实施例中，所述根据所述预测结果中各活检区域之间的分散程度确定第二损失值，可以包括：确定所述预测结果中任意两个活检区域的中心位置之间的距离总和，以及确定所述预测结果中活检区域的组合数量与样本染色图像的对角线长度的乘积；所述组合数量为所述预测结果中所有活检区域进行两两组合的总数；根据所述距离总和与所述乘积的比值确定所述第二损失值。
作为一种示例，所述第二损失值为1减去所述距离总和与所述乘积的比值，可以理解，所述预测结果中各活检区域之间的松散度越高，第二损失值越小。即所述第二损失值可以通过以下公式(2)获得：
其中，Lossdis表示第二损失值，i、j分别表示所述预测结果中第i个活检区域和第j个活检区域，m表示所述预测结果中活检区域的总数，xi、yi表示所述预测结果中第i个活检区域的中心坐标，xj、yj表示所述预测结果中第j个活检区域的中心坐标，表示所述预测结果中所有活检区域进行两两组合的总数，D表示样本染色图像到的对角线长度。
在一实施例中，所述基于所述加权和确定所述损失，可以包括：根据第二损失值与预设控制参数的乘积，基于所述乘积与第一损失值之和确定所述损失。示例性的，所述损失可以是Loss＝Lossdet+γ·ossdis，其中，Lossdet为第一损失值，Lossdis为第二损失值，Loss为损失，γ为预设控制参数，用于控制分散度对模型训练的影响程度，可为常数。
通过步骤2022，在所述活检区域检测模型的训练过程中引入分散度损失，提高了活检区域检测模型的预测精度。
在步骤2023中，基于所述损失调整所述初始检测模型的模型参数。
本申请实施例的病变检测方法可应用于阴道镜的高敏感度和高特异度的宫颈癌前病变诊断和活检点或活检区域检测，利用深度学习技术，对阴道镜图像进行正常和癌前病变两类别的预测，如所属类别为病变，进一步预测活检区域，可面向单个医院和多个医院集体(如私人诊所集团、医联体、医疗集团)，帮助医生专家快速诊断阴道镜图像，并提供进行活检的区域参考，同时，规范了阴道镜检查流程，实现可量化的质量控制。
参见图5，图5是本申请实施例的病变检测系统500的组成结构示意图，将结合图5示出的组成结构进行说明。病变检测系统500包括至少一个采集设备510、至少一个存储装置520、病变检测装置530和第一客户端540；其中，
所述采集设备510，用于采集待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
所述病变检测装置530，用于实现前述实施例所述病变检测方法的步骤；
所述存储装置520，用于存储所述采集设备510采集的所述待检测图像和所述病变检测装置530获得的病变识别结果或活检区域检测结果；一个所述存储装置与所述至少一个采集设备通信连接，或者，至少两个存储装置中的每一个存储装置与所述存储装置对应的采集设备通信连接；
所述第一客户端540，用于展示所述病变识别结果或活检区域检测结果。
在一些实施例中，所述采集设备510可对接医疗设备，从医疗设备中获取待检测图像，并将所述待检测图像发送至存储装置520和病变检测装置530；或者，所述采集设备510也可以是具备数据传输功能的医疗设备。所述医疗设备例如可以是医疗检测设备、医疗监护设备等等。
在一些实施例中，所述采集设备510还可将采集的图像数据进行图像预处理，基于图像预处理后的图像数据生成所述待检测图像。
在一些实施例中，所述第一客户端540可基于网站服务的形式实现。
在一些实施例中，部署在不同医疗机构的至少一个采集设备510均通过网络连接同一个存储装置520，所述存储装置520与所述病变检测装置530各自基于不同硬件设备实现。本实施例中部署在不同医疗机构的所有采集设备510均采用同一存储装置520存储采集的待检测图像以及所述待检测图像对应的病变识别结果或活检区域检测结果，并通过同一病变检测装置530进行病变检测。
在一些实施例中，部署在不同医疗机构的至少一个采集设备510均通过网络连接同一个存储装置520，所述存储装置520与所述病变检测装置530均基于同一硬件设备实现。本实施例中部署在不同医疗机构的所有采集设备510均采用同一存储装置520存储采集的待检测图像以及所述待检测图像对应的病变识别结果或活检区域检测结果，并通过同一病变检测装置530进行病变检测。
在一些实施例中，部署在不同医疗机构的至少一个采集设备510各自分别通过各自对应的存储装置存储待检测图像以及所述待检测图像对应的病变识别结果或活检区域检测结果，且所述至少一个采集设备510均通过网络连接同一个病变检测装置530，基于同一病变检测装置530进行病变检测。
在一些实施例中，部署在不同医疗机构的至少一个采集设备510中部分采集设备通过各自对应的存储装置存储待检测图像以及所述待检测图像对应的病变识别结果或活检区域检测结果，其余采集设备通过同一存储装置存储待检测图像以及所述待检测图像对应的病变识别结果或活检区域检测结果，所有采集设备均基于同一病变检测装置530进行病变检测。
需要说明的是，本申请实施例的病变检测系统中各个组成结构之间相互解耦，并不限于上述实施例提供的部署方案，本发明对此不作限定。
本申请实施例提供的病变检测系统功能齐全且基于深度学习技术，能有效帮助到医生提高诊断准确率，各功能模块之间采用解耦设计，既实现临床功能又可提供管理能力，通过灵活的部署方案，能适用更多的使用场景。
在一些实施例中，所述病变检测装置530，还用于对所述多张待检测图像进行质控检测，得到每一待检测图像的质控检测结果；所述存储装置520，还用于存储所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种；所述第一客户端540，还用于展示所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种。
在一些实施例中，所述采集装置510，还用于从所述存储装置520获得所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种。
在一些实施例中，所述系统500还包括第二客户端，用于对所述至少一个采集设备510进行设备接入管理，以及对所述第一客户端540进行用户权限管理。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本示例针对基于阴道镜图像的宫颈癌前病变检测，提出一种病变检测系统，参见图6，图6是本申请实施例提供的病变检测系统应用于宫颈癌前病变诊断中的示例性系统框架图，本示例的病变检测系统在产品侧包括图像采集端(即前述实施例中的采集设备)、医生工作站(即第一客户端)、管理平台(即第二客户端)、存储服务(即存储装置)和引擎服务(即病变检测装置)等五个组成模块。其中，所述存储服务与所述引擎服务既可分别基于不同硬件设备实现，例如各自采用独立服务器，如图6中左部分所示的存储服务器和图形处理器(GPU，Graphics Processing Unit)服务器，或者，也可基于同一硬件设备实现，例如共用同一服务器，如图6中右部分所示的服务器。
本示例中，参照图6，引擎服务可用于接收图像采集端或存储服务的阴道镜图像数据并进行人工智能(AI，Artificial Intelligence)辅助诊断推理，并发送推理结果到图像采集端或存储服务。存储服务可用于接收并存储图像采集端采集的阴道镜图像数据，以及接收并存储引擎服务推理得到的辅助诊断结果，所述辅助诊断结果例如可以是质控检测结果、病变识别结果和活检区域检测结果中的至少一种。
参见图7A，图像采集端可对接阴道镜设备，从阴道镜设备中获取阴道镜图像数据，并将图像数据(即待检测图像)传送给存储服务和引擎服务，同时，参见图7B，图像采集端还可显示阴道镜设备的实时采集数据和引擎服务获得的辅助诊断结果，如图7B中“×”所示出的预测得到的活检区域。需要说明的是，如果阴道镜设备能按照采集要求直接将待检测图像发送给存储服务和引擎服务，接收引擎服务的辅助诊断结果并显示，图像采集端可以被省去。
参见图7C和图7D，医生工作站可用于医生浏览存储服务内，经过图像采集端采集的阴道镜图像数据和引擎服务基于阴道镜图像数据获得的辅助诊断结果，例如图7C中“阴道镜图像AI结果”一列所示出的“图像不合格”、“建议活检”等，图7D中“人工采图”、“AI采图”等功能界面所示出的图像。
参见图7E，管理平台可用于对医生工作站的用户进行权限管理，以及对图像采集端的接入进行权限管理。
本示例中，一个存储服务可与至少一个图像采集端通信连接，或者，至少两个存储服务中的每一个存储服务可与所述存储服务对应的图像采集端通信连接。参见图8A至图8D，以图像采集端对接阴道镜设备为例，对本示例的病变检测系统中各组成模块的部署方案进行说明。其中，图像采集端、医生工作站、管理平台、引擎服务和存储服务可参照前述示例中的描述，这里不再赘述；N1、Nm分别表示医疗机构1、医疗机构M对应的图像采集端数量，医疗机构例如是图8A至图8D中所示的医院或阴道镜检查室。
图8A至图8D中还示出了阴道镜设备采集阴道镜图像的一种控制采集流程，即图像采集端对接阴道镜设备，以及通过脚踏控制图像采集端开启阴道镜设备采集待检测图像，并通过阴道镜设备显示器进行图像或诊断结果显示，可以理解，图8A至图8D中示出的仅为示例性控制采集流程，并不用于限定本发明。
参见图8A，引擎服务和存储服务可分别采用独立服务器实现，并对所有医疗机构进行集中设计。即所有图像采集端可共用相同的存储服务和相同的引擎服务，且存储服务与引擎服务各自具有独立服务器，所有图像采集端的图像均可存储于相同存储服务器，并利用相同引擎服务器进行推理。
参见图8B，引擎服务和存储服务可采用同一服务器实现，并对所有医疗机构进行集中设计。即所有图像采集端可共用相同的存储服务和相同的引擎服务，且存储服务与引擎服务共用同一服务器，所有图像采集端的图像可存储于相同存储服务器，并利用相同引擎服务器进行推理。
参见图8C，引擎服务采用集中设计，存储服务采用本地化设计。即所有图像采集端可共用相同的引擎服务，不同医疗机构单独使用本地化的存储服务，引擎服务具有独立服务器，不同医院的存储服务各自有独立的服务器，不同医疗机构的图像采集端的图像存储于各自医疗机构对应的存储服务器，所有医疗机构均利用相同的引擎服务进行推理。
参见图8D，引擎服务采用集中设计，存储服务采用本地化设计和集中设计结合的方式。即所有图像采集端可共用相同的引擎服务，有本地化存储服务的医疗机构使用本地存储服务，没有本地化存储服务的医疗机构使用集中存储服务，引擎服务具有独立服务器，各个本地化存储服务各自有独立的服务器，集中存储服务具有独立服务器，有本地化存储服务的医疗机构中图像数据存储于各自医疗机构的存储服务器，没有本地存储服务的医疗机构中图像数据存储于集中存储服务器，所有图像数据均利用相同的引擎服务进行推理。
参见图9，图9是本申请实施例的病变检测方法应用于病变检测系统中引擎服务的流程示意图，引擎服务可包括三个模型，即图9中的图像质控模型(即前述质控分类模型)、宫颈癌前病变识别模型(即前述病变识别模型)、活检点检测模型(即前述活检区域检测模型)，以阴道镜图像为例，引擎服务接收到阴道镜图像后，会进行以下处理：阴道镜图像经过图像质控模型，逐个图像进行质控，如果有图像不合格，直接返回图像不合格的辅助诊断结果；如果所有图像合格，图像会经过宫颈癌前病变识别模型，如果预测为正常则直接返回正常的辅助诊断结果；如果预测为病变，图像会经过活检点检测模型，进行活检点位置的预测，最终返回病变及活检点位置的辅助诊断结果。
其中，图像质控模型例如可以是一个基于图像的分类模型，用于图像进行图形合格与不合格的分类预测，图像不合格的典型情况例如宫颈图像内有遮挡物、图像模糊等。所述图像质控模型可采用ResNet50网络结构训练获得。
宫颈癌前病变识别模型例如可以是一个基于图像的宫颈癌前病变分类模型，采用输入为同一次检查的多张时序图像，例如包括一张原图和醋染60s、90s、120s和150s的四张醋染图像。宫颈癌前病变识别模型可由三部分组成：一个主干卷积网络，如采用ResNet50网络结构，该主干卷积网络用于进行特征提取，可不包括ResNet50网络结构中的平均池化层、全连接层和归一化指数层；一个特征融合层，例如特征融合层，用于将多个图像的卷积层提取特征进行特征融合；一个FC层，用于输出是否病变。
示例性的，所述宫颈癌前病变识别模型的训练过程中，每次输入的样本图像均需要包括原图和醋染图像，而醋染图像的数量与顺次可以按照数据增强要求进行调整，以提高模型分类能力和CNN的特征提取能力。
活检点检测模型例如可以是一个基于图像的目标检测模型，用于对醋染图像进行活检点检测，可基于初始检测模型进行训练获得，所述初始检测模型例如可以采用YOLO v3网络结构。其中，由于活检区域需要相对的分散，在对初始检测模型进行训练的过程中，可将区域分散度引入损失函数，损失函数可为Loss＝Lossdet+γ·ossdis，其中，Lossdet表示初始检测模型原有的损失函数，如YOLO v3网络的损失函数例如为公式(3)：
Lossdet＝Lossxy+Losswh+Losscls+Lossconf(3)
其中，Lossxy、Losswh、Losscls、Lossconf分别表示检测框中心坐标误差、检测框宽高误差、分类误差和置信度误差。γ表示松散度控制参数，可为常数。Lossdis表示预测得到的活检区域的松散度，例如活检区域之间松散度越高，Lossdis越低，则Lossdis可为1减去任意两活检区域中点间距离总和与两点所有组合总数与图像对角线长度积的商，如公式(4)：
其中，i、j分别表示所述预测结果中第i个活检区域和第j个活检区域，m表示所述预测结果中活检区域的总数，xi、yi表示所述预测结果中第i个活检区域的中心坐标，xj、yj表示所述预测结果中第j个活检区域的中心坐标，表示所述预测结果中所有活检区域进行两两组合的总数，D表示样本染色图像到的对角线长度。
本示例中的病变检测系统功能齐全且基于深度学习技术，能有效帮助医生提高诊断准确率，同时各功能模块采用解耦设计，既实现临床功能又可提供管理能力，部署方案灵活，能适用更多的使用场景。
下面继续说明本申请实施例提供的病变检测装置的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器240的病变检测装置242中的软件模块可以包括：
获取模块2421，用于获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
特征提取模块2422，用于对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；
特征融合模块2423，用于对所述多张待检测图像的检测特征进行特征融合，得到融合特征；
预测模块2424，用于基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；
检测模块2425，用于响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
在一些实施例中，所述装置242还包括质控模块，用于对所述多张待检测图像进行质控检测，得到每一待检测图像的质控检测结果；所述特征提取模块，还用于响应于所述多张待检测图像的质控检测结果均为检测通过，对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征。
在一些实施例中，所述检测模块2425，还用于通过活检区域检测模型对所述染色图像进行活检区域检测；所述装置242还包括训练模块，用于获取训练样本集，所述训练样本集包括多张样本染色图像以及各样本染色图像对应的活检区域标注信息；基于所述训练样本集对初始检测模型进行训练，直至所述初始检测模型的损失函数收敛，将收敛后的初始检测模型确定为所述活检区域检测模型；所述损失函数的值至少用于表征所述初始检测模型对所述样本染色图像的预测结果与所述样本染色图像的活检区域标注信息之间的差异程度。
在一些实施例中，所述训练模块，还用于通过初始检测模型对所述样本染色图像进行目标检测，获得预测结果；根据所述预测结果、所述样本染色图像的活检区域标注信息和所述损失函数确定损失；以及，基于所述损失调整所述初始检测模型的模型参数。
在一些实施例中，所述训练模块，还用于确定所述预测结果与所述活检区域标注信息之间的差异度；根据所述差异度确定第一损失值；根据所述预测结果中各活检区域之间的分散程度确定第二损失值；确定所述第一损失值与所述第二损失值之间的加权和；基于所述加权和确定所述损失。
在一些实施例中，所述训练模块，还用于确定所述预测结果中任意两个活检区域的中心位置之间的距离总和，以及确定所述预测结果中活检区域的组合数量与样本染色图像的对角线长度的乘积；所述组合数量为所述预测结果中所有活检区域进行两两组合的总数；以及，根据所述距离总和与所述乘积的比值确定所述第二损失值。
在一些实施例中，所述活检区域检测模型包括多个特征检测网络；所述检测模块2425，还用于通过所述多个特征检测网络分别对所述染色图像进行特征提取，得到多个特征图，每一特征图与其他特征图之间具有不同尺度；对所述多个特征图分别进行目标区域识别，根据识别结果确定各目标区域的检测类别和位置信息；根据所述检测类别和位置信息确定活检区域检测结果。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机可执行指令或计算机程序，该计算机可执行指令或计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令或计算机程序，处理器执行该计算机可执行指令或计算机程序，使得该电子设备执行本申请实施例上述的病变检测方法。
本申请实施例提供一种计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的病变检测方法，例如，如图3A或图3B示出的病变检测方法。
在一些实施例中，计算机可读存储介质可以是RAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机可执行指令或计算机程序可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机可执行指令或计算机程序可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机可执行指令或计算机程序可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
综上所述，通过本申请实施例的病变检测系统，系统功能齐全且基于深度学习技术，能有效帮助到医生提高准确率，同时各功能模块采用解耦设计，既实现临床功能又可提供管理能力，部署方案灵活，适用性高。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种病变检测方法，其特征在于，所述方法包括：
获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；
对所述多张待检测图像的检测特征进行特征融合，得到融合特征；
基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；
响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多张待检测图像进行质控检测，得到每一待检测图像的质控检测结果；
所述对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征，包括：
响应于所述多张待检测图像的质控检测结果均为检测通过，对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征。
3.根据权利要求1所述的方法，其特征在于，所述对所述染色图像进行活检区域检测，包括：
通过活检区域检测模型对所述染色图像进行活检区域检测；
所述活检区域检测模型通过以下方式进行训练：
获取训练样本集，所述训练样本集包括多张样本染色图像以及各样本染色图像对应的活检区域标注信息；
基于所述训练样本集对初始检测模型进行训练，直至所述初始检测模型的损失函数收敛，将收敛后的初始检测模型确定为所述活检区域检测模型；所述损失函数的值至少用于表征所述初始检测模型对所述样本染色图像的预测结果与所述样本染色图像的活检区域标注信息之间的差异程度。
4.根据权利要求3所述的方法，其特征在于，所述基于所述训练样本集对初始检测模型进行训练，包括：
通过初始检测模型对所述样本染色图像进行目标检测，获得预测结果；
根据所述预测结果、所述样本染色图像的活检区域标注信息和所述损失函数确定损失；
基于所述损失调整所述初始检测模型的模型参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述预测结果、所述样本染色图像的活检区域标注信息和所述损失函数确定损失，包括：
确定所述预测结果与所述活检区域标注信息之间的差异度；
根据所述差异度确定第一损失值；
根据所述预测结果中各活检区域之间的分散程度确定第二损失值；
确定所述第一损失值与所述第二损失值之间的加权和；
基于所述加权和确定所述损失。
6.根据权利要求5所述的方法，其特征在于，所述根据所述预测结果中各活检区域之间的分散程度确定第二损失值，包括：
确定所述预测结果中任意两个活检区域的中心位置之间的距离总和，以及确定所述预测结果中活检区域的组合数量与样本染色图像的对角线长度的乘积；所述组合数量为所述预测结果中所有活检区域进行两两组合的总数；
根据所述距离总和与所述乘积的比值确定所述第二损失值。
7.根据权利要求3至6任一项所述的方法，其特征在于，所述活检区域检测模型包括多个特征检测网络；所述通过活检区域检测模型对所述染色图像进行活检区域检测，包括：
通过所述多个特征检测网络分别对所述染色图像进行特征提取，得到多个特征图，每一特征图与其他特征图之间具有不同尺度；
对所述多个特征图分别进行目标区域识别，根据识别结果确定各目标区域的检测类别和位置信息；
根据所述检测类别和位置信息确定活检区域检测结果。
8.一种病变检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
特征提取模块，用于对所述多张待检测图像分别进行特征提取，得到每一待检测图像的检测特征；
特征融合模块，用于对所述多张待检测图像的检测特征进行特征融合，得到融合特征；
预测模块，用于基于所述融合特征对所述待检测对象进行病变识别，得到病变识别结果；
检测模块，用于响应于所述病变识别结果为所述待检测对象存在病变，对所述染色图像进行活检区域检测，得到活检区域检测结果；其中，所述活检区域检测结果包括至少一个活检区域。
9.一种病变检测系统，其特征在于，所述系统包括至少一个采集设备、至少一个存储装置、病变检测装置和第一客户端；其中，
所述采集设备，用于采集待检测对象的多张待检测图像；所述多张待检测图像中包括所述待检测对象的原始图像和所述待检测对象经过目标介质染色后的染色图像；
所述病变检测装置，用于实现权利要求1至7任一项所述方法的步骤；
所述存储装置，用于存储所述采集设备采集的所述待检测图像和所述病变检测装置获得的病变识别结果或活检区域检测结果；一个所述存储装置与所述至少一个采集设备通信连接，或者，至少两个存储装置中的每一个存储装置与所述存储装置对应的采集设备通信连接；
所述第一客户端，用于展示所述病变识别结果或活检区域检测结果。
10.根据权利要求9所述的系统，其特征在于，所述病变检测装置，还用于对所述多张待检测图像进行质控检测，得到每一待检测图像的质控检测结果；
所述存储装置，还用于存储所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种；
所述第一客户端，还用于展示所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种。
11.根据权利要求10所述的系统，其特征在于，所述采集装置，还用于从所述存储装置获得所述质控检测结果、所述病变识别结果和所述活检区域检测结果中的至少一种。
12.根据权利要求9至11任一项所述的系统，其特征在于，所述系统还包括第二客户端，用于对所述至少一个采集设备进行设备接入管理，以及对所述第一客户端进行用户权限管理。
13.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储计算机可执行指令或者计算机程序；
处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现权利要求1至7任一项所述的方法。
14.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
15.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
CN202310699684.8A 2023-06-13 2023-06-13 一种病变检测方法、装置、系统、设备及存储介质 Pending CN116977275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310699684.8A CN116977275A (zh) 2023-06-13 2023-06-13 一种病变检测方法、装置、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310699684.8A CN116977275A (zh) 2023-06-13 2023-06-13 一种病变检测方法、装置、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116977275A true CN116977275A (zh) 2023-10-31

Family

ID=88483945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310699684.8A Pending CN116977275A (zh) 2023-06-13 2023-06-13 一种病变检测方法、装置、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116977275A (zh)

Similar Documents

Publication Publication Date Title
CN110009623A (zh) 一种图像识别模型训练及图像识别方法、装置及系统
US20230342918A1 (en) Image-driven brain atlas construction method, apparatus, device and storage medium
CN110853111B (zh) 医学影像处理系统、模型训练方法及训练装置
JP2016531709A (ja) 疾患を診断するための画像解析技術
CN113011485A (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
CN106388843A (zh) 医学影像设备及其扫描方法
US20100260394A1 (en) Image analysis of brain image data
JP7256765B2 (ja) 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
Velliangiri et al. Investigation of deep learning schemes in medical application
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
Yagi et al. Abdominal organ area segmentation using u-net for cancer radiotherapy support
WO2020263002A1 (ko) 혈관 세그멘테이션 방법
CN112545479B (zh) 在mpMRI上分割前列腺和精囊分带解剖的系统及方法
CN110827275A (zh) 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法
CN116977275A (zh) 一种病变检测方法、装置、系统、设备及存储介质
CN116109856A (zh) 一种多模态乳腺能谱图像分类方法
Li et al. Computer aided detection of bleeding in capsule endoscopy images
CN114757894A (zh) 一种骨肿瘤病灶分析系统
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
CN109480842B (zh) 用于诊断功能性消化不良的系统及设备
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
CN115132357B (zh) 基于医学影像图预测目标疾病指标状态的装置
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统
CN115953406B (zh) 用于医学图像配准的匹配方法、装置、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication