CN113811918A - 使用深度学习在组织病理学图像中进行卵巢毒性评估 - Google Patents

使用深度学习在组织病理学图像中进行卵巢毒性评估 Download PDF

Info

Publication number
CN113811918A
CN113811918A CN202080033737.7A CN202080033737A CN113811918A CN 113811918 A CN113811918 A CN 113811918A CN 202080033737 A CN202080033737 A CN 202080033737A CN 113811918 A CN113811918 A CN 113811918A
Authority
CN
China
Prior art keywords
images
ovaries
compound
count
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080033737.7A
Other languages
English (en)
Inventor
胡芳耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN113811918A publication Critical patent/CN113811918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4318—Evaluation of the lower reproductive system
    • A61B5/4325—Evaluation of the lower reproductive system of the uterine cavities, e.g. uterus, fallopian tubes, ovaries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开涉及可以识别卵巢中的黄体的深度学习神经网络，以及可以对在卵巢中识别的黄体计数并且基于黄体(CL)的计数推断化合物的卵巢毒性的基于规则的技术。具体地，本公开的各方面涉及从用一定量的化合物处理的卵巢获得组织切片的图像集合；使用神经网络模型，基于针对在该图像集合内的被识别为CL的对象周围的边界框预测的坐标，生成具有该边界框的该图像集合；对该图像集合内的边界框计数，以获得卵巢的CL计数；以及基于CL计数确定所述量的化合物的卵巢毒性。

Description

使用深度学习在组织病理学图像中进行卵巢毒性评估
相关申请的交叉引用
本申请要求2019年4月15日提交的名称为“OVARIAN TOXICITY ASSESSMENT INHISTOPATHOLOGICAL IMAGES USING DEEP LEARNING(使用深度学习在组织病理学图像中进行卵巢毒性评估)”的美国临时申请号62/834,237的优先权和权益，其全部内容以引用方式并入本文以用于所有目的。
技术领域
本公开涉及卵巢毒性评估，并且特别地涉及可以识别卵巢中的黄体的深度学习神经网络，以及可以对在卵巢中识别的黄体计数并且基于黄体的计数推断化合物的卵巢毒性的基于规则的技术。
背景技术
临床前研究中的卵巢病理学鉴定在新治疗剂的一般安全性评估中很重要，因为卵母细胞不具有再生能力，并且卵巢中的任何异常均可能与雌性生殖能力损伤直接相关。鉴定卵巢病理学和提供关于卵巢病理学的具体信息通常包括对卵巢中卵泡的定性和定量评价。卵巢是一种复杂的结构，其形态随着发情周期而变化，使得对卵巢功能损伤的检测需要完全了解正常卵巢形态和整个发情周期中卵巢形态的变化。特别地，卵泡的生长及其退化，以及对下丘脑-垂体-性腺控制系统的了解对于评估卵巢中的任何异常必不可少。
卵巢内的原始生殖细胞在胎儿发育期间增殖。在出生时，卵巢含有数千个原始卵泡，其中含有初级卵母细胞。这些初级卵母细胞不发生进一步的有丝分裂，而是保持停滞在第一次减数分裂前期，直到性成熟。在性成熟时，垂体腺产生两种激素，即卵泡刺激素(FSH)和黄体生成素(LH)，它们促使这些原始卵泡发育。在每个发情周期中，许多原始卵泡被激活以开始成熟。然而，并不是所有的卵泡都完全成熟，其余的卵泡有助于卵巢的内分泌功能。当被激活时，第一次减数分裂完成，初级卵泡成熟为次级卵泡。然后开始第二次分裂，并且形成格拉夫卵泡。格拉夫卵泡含有次级卵母细胞。除非卵受精，否则不完成第二次分裂。
原始卵泡发育成熟为格拉夫卵泡导致雌激素水平增加，因为雌激素由卵泡细胞分泌。这种雌激素水平的增加反馈至垂体，并且抑制FSH的进一步释放(负反馈)。卵泡还释放称为抑制素的第二种激素，其还抑制FHS的进一步产生。随着雌激素水平升高，这触发了中期黄体生成素峰，这导致格拉夫卵泡破裂(排卵)。黄体生成素还引起破裂的格拉夫卵泡黄体化，从而形成称为黄体(CL)的暂时性内分泌器官。由于其存在着色的叶黄素细胞，所以看起来是黄色的。黄体分泌孕酮和雌激素。孕酮水平反馈至垂体并且抑制黄体生成素的进一步释放。如果不发生受精，则黄体退化成称为白体的小的白色纤维状瘢痕。所导致的孕酮(和在一定程度上雌激素)水平的下降促成了月经。雌激素水平下降反馈至垂体，FSH相应增加，重新开始发情周期。接受使用连续卵巢切片的定性和定量卵泡分析来评估生育力和毒理效应，但该方法极其耗时费力。
发明内容
在各种实施方案中，提供了一种方法，其包括：从用一定量的化合物处理的一个或多个卵巢获得组织切片的图像集合；将所述图像集合输入到神经网络模型中，所述神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器；使用所述神经网络模型来预测针对所述图像集合内的被识别为CL的一个或多个对象周围的边界框的坐标；使用所述神经网络模型，基于针对所述边界框预测的所述坐标，输出在被识别为所述CL的所述一个或多个对象周围具有所述边界框的所述图像集合；对从深度学习神经网络输出的所述图像集合内的所述边界框进行计数，以获得所述卵巢的CL计数；以及基于所述卵巢的所述CL计数确定所述量的所述化合物的卵巢毒性。
在一些实施方案中，组织切片用苏木精和伊红(H&E)来染色。
在一些实施方案中，该方法还包括：从所述一个或多个卵巢获得所述组织切片；将所述组织切片镶嵌在多个载玻片上；用苏木精和伊红(H&E)染色剂处理所述多个载玻片；以及用成像装置对所述多个载玻片中的每个载玻片成像，以生成所述组织切片的图像集合。
在一些实施方案中，所述一个或多个卵巢是多个卵巢，并且所述图像集合包括来自所述多个卵巢中的每个卵巢的组织切片的至少一个图像。
在一些实施方案中，所述一个或多个卵巢来自一个或多个受试者。
在一些实施方案中，所述神经网络模型基于选自由以下项组成的组的模型架构来构造：单发多盒检测器(SSD)架构、你只需看一次(YOLO)架构和RetinaNet架构。
在一些实施方案中，所述神经网络模型包括使用训练数据集合训练的多个参数，所述训练数据集合包括：来自卵巢的组织切片的H&E染色载玻片的多个训练图像集合，来自所述多个训练图像集合的每个训练图像集合来自多个不同的受试者之一，其中所述多个不同的受试者：(i)已经用相同或不同的化合物处理过、(ii)未用相同或不同的化合物处理过，或者(iii)前述两项的组合，以及多个边界框集合，每个边界框与在来自所述多个训练图像集合的所述图像之一中识别的CL相关联，其中所述损失函数将所述参数和所述多个训练图像集合与所述多个边界框集合相关联，并且所述聚焦损失降低在训练期间针对所述多个训练图像集合内的非CL形态或背景预测的边界框的权重，并且将训练聚焦在针对所述CL预测的边界框上。
在一些实施方案中，所述多个训练图像集合中的至少一个训练图像集合在用于训练之前根据所述至少一个训练图像集合内的所述图像的多个颜色通道中的每个颜色通道的图像均值的差异进行调整，所述图像均值的差异相对于所述多个训练图像集合中的另一个训练图像集合来计算。
在一些实施方案中，所述图像的多个颜色通道中的每个颜色通道的所述图像均值被计算为所述至少一个训练图像集合内的所述图像上的所述颜色通道的平均值。
在一些实施方案中，所述方法还包括使用所述神经网络模型将所述图像集合内的所述一个或多个对象识别为所述CL，其中所述识别包括为被识别为所述CL的所述一个或多个对象中的每个对象生成概率得分，并且所述计数包括仅对所述图像集合内的被识别为所述CL并且具有大于预定概率得分阈值的概率得分的所述一个或多个对象周围的所述边界框进行计数。
在一些实施方案中，确定所述卵巢毒性包括将所述卵巢的所述CL计数与预定毒性阈值进行比较，当所述CL计数高于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢无毒性，并且当所述CL计数低于或等于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢有毒性。
在一些实施方案中，所述组织切片的所述图像集合从用所述量的所述化合物处理的受试者的卵巢获得，并且所述方法还包括：从用所述量的所述化合物处理的所述受试者的另一个卵巢获得另一个组织切片的图像集合；使用所述神经网络模型，基于针对在所述另一个图像集合内的被识别为所述CL的对象中的每个对象周围的边界框预测的坐标，生成具有所述边界框的所述另一个图像集合；对从深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个卵巢的另一个CL计数；以及求所述卵巢的所述CL计数和所述另一个卵巢的所述另一个CL计数的平均值，以获得平均CL计数，其中所述量的所述化合物的所述卵巢毒性基于所述平均CL来确定。
在一些实施方案中，所述方法还包括：从未用或用不同量的所述化合物处理的一个或多个其他卵巢获得另一个组织切片的图像集合；使用所述神经网络模型，基于针对在所述另一个图像集合内的被识别为所述CL的对象中的每个对象周围的边界框预测的坐标，生成具有所述边界框的所述另一个图像集合；以及对从深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述卵巢的另一个CL计数，其中所述量或所述不同量的所述化合物的所述卵巢毒性基于所述一个或多个卵巢的所述CL计数与所述一个或多个其他卵巢的所述另一个CL计数之间的趋势来确定。
在一些实施方案中，所述方法还包括：从用一定量的不同化合物处理的一个或多个其他卵巢获得另一个组织切片的图像集合；使用所述神经网络模型，基于针对在所述另一个图像集合内的被识别为所述CL的对象中的每个对象周围的边界框预测的坐标，生成具有所述边界框的所述另一个图像集合；对从深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个受试者的所述卵巢的另一个CL计数，以及基于所述一个或多个其他卵巢的所述CL计数确定所述量的所述不同化合物的卵巢毒性。
在一些实施方案中，所述方法还包括提供在被识别为所述CL的所述对象中的每个对象周围具有所述边界框的所述图像集合、所述一个或多个卵巢的所述CL计数、所述量的所述化合物的所述卵巢毒性，或它们的任何组合。
在一些实施方案中，所述方法还包括基于所述量的所述化合物的所述卵巢毒性，施用利用所述化合物进行的处理。
在一些实施方案中，所述方法还包括基于所述量的所述化合物的所述卵巢毒性，制造或已制造所述化合物。
在一些实施方案中，提供了一种系统，其包括一个或多个数据处理器和非暂态计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。
在一些实施方案中，提供了一种计算机程序产品，其有形地体现在非暂态机器可读存储介质中，并且包括被配置为促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部的指令。
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施方案中，所述系统包括非暂态计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部。本公开的一些实施方案包括有形地体现在非暂态机器可读存储介质中的计算机程序产品，其包括被配置为促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部的指令。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施方案和可选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
附图说明
结合附图描述本公开：
图1示出了根据各种实施方案的用于卵巢毒性评估的示例计算环境；
图2示出了根据各种实施方案的代表RetinaNet架构的示例性示意图；
图3示出了根据各种实施方案的用于评估卵巢毒性的方法；
图4示出了展示根据各种实施方案的用于检测卵巢毒性的示例方法和示例模型的流程图；
图5A、图5B、图5C和图5D展示了根据各种实施方案，受过训练的示例模型可以准确地检测CL；
图6A、图6B、图6C和图6D展示了根据各种实施方案的示例模型的性能，其中来自受过训练的模型的CL计数中的误差类似于病理学家之间的变化，并且来自受过训练的模型的CL计数与病理学家的结果高度相关；
图7A、图7B和图7C展示了根据各种实施方案的示例结果，其表明CL计数受卵巢组织面积和水平的影响；并且
图8A、图8B和图8C展示了根据各种实施方案的示例结果，其表明具有卵巢毒性的组织表现出显著更低的、相对于组织面积归一化的CL计数。
在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记后面加上破折号和区分相似部件的第二标记来区分。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同的第一附图标记的任何一个相似部件，而不考虑第二附图标记。
具体实施方式
I.概述
本公开描述了用于评估卵巢毒性的技术。更具体地讲，本公开的各种实施方案提供了可以识别卵巢中的CL的深度学习神经网络，以及可以对在卵巢中识别的CL计数并且基于CL的计数推断化合物的卵巢毒性的基于规则的技术。
动物毒性(例如，鼠类研究)研究中的卵巢病理学鉴定在新治疗剂的一般安全性评估中很重要。在一些患者群体中，需要根据患者风险/益处仔细考虑药物相关卵巢毒性的耐受性，并且关于卵巢病理学的具体信息可以告知生殖毒性的临床管理，诸如对卵保存和其他生育节制程序的潜在需要。
目前在一般毒性和生育力研究中用于评价卵巢的金标准是病理学家对苏木精和伊红(H&E)染色切片的组织病理学检查。病理学家通常将评估CL是存在还是不存在、卵泡的阶段和数量，并且将卵巢中的病理学变化与生殖道其他器官中的组织学变化联系起来。考虑到大鼠大约4至6天的短发情周期，啮齿动物卵巢存在相当大的动态结构和生理异质性。这可能使得难以使用标准的单切片评估来清楚地鉴定供试品相关效应(例如，来自治疗性候选化合物的效应)。
在一项根据重复剂量和生育力研究比较单个H&E切片的卵巢组织病理学评价的充分性的跨行业协作研究中，病理学家将CL数量的显著增加和显著减少均识别为卵巢毒性的证据。(Sanbuissho,A.、Yoshida,M.、Hisada,S.、Sagami,F.、Kudo,S.、Kumazawa,T.、Ube,M.、Komatsu,S.、Ohno,Y.，2009.“Collaborative work on evaluation of ovariantoxicity by repeated-dose and fertility studies in female rats.(通过重复给药和雌性大鼠生育力研究协同工作评价卵巢毒性。)”J Toxicol Sci(《毒理学科学期刊》)34，增刊1，SP1-22)。然而，已报道了来自单个组织切片的CL的计数受到采样误差的影响。(Meredith,S.、Dudenhoeffer,G.、Jackson,K.，1999.“Single-section counting errorwhen distinguishing between primordial and early primary follicles insections of rat ovary of different thickness.(在不同厚度的大鼠卵巢切片中区分原始卵泡和早期初级卵泡时的单切片计数误差。)”J Reprod Fertil(《繁殖与生育期刊》)117(2)，339-343)。此外，Bucci等人还证明了来自1％样品策略的卵泡计数具有较大的误差项。(Bolon,B.、Bucci,T.J.、Warbritton,A.R.、Chen,J.J.、Mattison,D.R.、Heindel,J.J.，1997.“Differential follicle counts as a screen for chemically induced ovariantoxicity in mice:results from continuous breeding bioassays.(差异卵泡计数用于筛选小鼠中化学诱导的卵巢毒性：来自连续繁殖生物测定的结果。)”Fundam Appl Toxicol(《基础与应用毒理学》)39(1),1-10)。此外，考虑到单个研究中包括的大量动物混合了需要在每个组织切片上评估的许多卵巢结构，这些切片的组织病理学评估不但耗时，还有出错的可能性。尽管根据研究使用单个H&E切片对CL进行定量可以检测卵巢毒性，但有限的研究并未调查卵巢切片位置和组织面积对CL计数的影响，也未调查其由于对切片位置和切片数量进行组织学检查而对潜在供试品(例如，治疗性候选化合物)判读的影响。考虑到所有这些，为了对卵巢进行全面的形态学表征，应当进行体视学方法或改进的体视学方法来量化CL或卵泡，但是这种类型的分析需要耗时的检查和病理学家对连续切片的人工注释。
为了解决这些限制和问题，本文描述的用于评估卵巢毒性的技术包括使用深度学习神经网络和基于规则的技术，所述深度学习神经网络可以识别卵巢中的黄体，所述基于规则的技术可以对在卵巢中识别的CL计数并且基于CL的计数推断化合物的卵巢毒性。本公开的一个说明性实施方案涉及一种方法，其包括：从用一定量的化合物处理的一个或多个卵巢获得组织切片的图像集合；将所述图像集合输入到神经网络模型中，所述神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器；使用所述神经网络模型识别所述图像集合的每个图像内的对象；使用所述神经网络模型，基于对所述对象的识别，预测所述对象中的被识别为CL的一个或多个对象周围的边界框的坐标；使用所述神经网络模型，基于针对所述边界框预测的所述坐标，输出在被识别为所述CL的所述一个或多个对象中的每个对象周围具有所述边界框的所述图像集合；对从深度学习神经网络输出的所述图像集合内的所述边界框进行计数，以获得所述卵巢的CL计数；以及基于所述卵巢的所述CL计数确定所述量的所述化合物的卵巢毒性。
有利地，这些方法提供了一种深度神经网络架构，其可以准确地识别卵巢中的CL并且可再现地检测卵巢毒性，这潜在地减少了病理学家的工作量，包括减少对卵巢的连续切片进行检查和人工注释的时间和费用。此外，这些方法可以提供苏木精和伊红染色(H&E染色剂)切片的自动化数字图像分析，以量化卵巢(例如哺乳动物卵巢)中的CL，其准确度类似于病理学家用显微镜评估的金标准。通过利经H&E染色的切片，可以避免对特殊染色的需要(例如，用孕酮/催乳素来突出显示CL)，这种特殊染色将增加治疗性候选化合物的常规筛选中的成本和时间延迟。
II.定义
如本文所用，当动作“基于”某物时，这意味着该动作至少部分地基于某物的至少一部分。
如本文所用，术语“基本上”、“大约”和“约”被定义为在很大程度上但不必完全是所规定的(并且包括完全是所规定的)，如本领域普通技术人员所理解的。在任何公开的实施方案中，术语“基本上”、“大约”或“约”可以用对于所指定的“在[某个百分比]内”替代，其中百分比包括0.1％、1％、5％和10％。
如本文所用，“受试者”涵盖一种或多种细胞、组织或生物体。受试者可以是人类或非人类的，无论是体内的、离体的还是体外的，也无论是雄性的还是雌性的。受试者可以是哺乳动物，诸如人、小鼠或大鼠。
如本文所用，“化合物”是化学键合在一起的两种或更多种不同的元素。化合物可以是治疗性候选化合物，诸如抗体或药理学药物。
III.用于评估卵巢毒性的技术
在各种实施方案中，卵巢毒性的评估分为两部分。该评估的第一部分包括使用深度学习神经网络来识别卵巢中的CL。该深度学习神经网络用经修改的损失函数(即，聚焦损失)来构造以降低简单示例的权重，并且因此将训练聚焦在硬否定上并且克服用于训练该深度学习神经网络的训练数据的不平衡性质。此外，可以使用扩充数据集合来训练该深度学习神经网络，使得受过训练的深度学习神经网络能够在卵巢形态内在卵巢切片的典型用例图像中所看到的扩展的颜色和/或颜色饱和度水平范围内识别CL。该受过训练的深度学习神经网络将卵巢切片的图像作为输入，并且输出在卵巢切片内的推断CL的每个示例周围具有边界框的图像。在一些情况下，每个边界框均具有CL存在于该边界框中的相关联的概率得分。该评估的第二部分包括使用基于规则的技术，基于边界框对卵巢的CL进行计数并且基于CL的计数推断化合物的卵巢毒性。然后，输出具有边界框和CL示例的概率得分、CL计数和/或化合物的卵巢毒性的图像，以供最终用户存储和使用。
III.A.示例计算环境
图1展示了根据各种实施方案的用于使用深度学习神经网络进行卵巢毒性评估的示例计算环境100(即，数据处理系统)。如图1所示，由该示例中的计算环境100执行的卵巢毒性评估包括几个阶段：模型训练阶段105、CL识别阶段110、CL计数阶段115和卵巢毒性评估阶段120。模型训练阶段105构建并且训练将由其他阶段使用的一个或多个模型125a-125n(“n”表示任何自然数)(其在本文中可以单独地称为模型125或统称为模型125)。模型125可以是机器学习(“ML”)模型，诸如卷积神经网络(“CNN”)，例如起始神经网络、剩余神经网络(“Resnet”)、RetinaNet、单发多盒检测器(“SSD”)网络、你只需看一次(“YOLO”)网络，或递归神经网络(“RNN”)，例如长短期记忆(“LSTM”)模型或门控递归单元(“GRU”)模型，或者它们的任何组合。模型125还可以是在根据图像的对象检测中训练的任何其他合适的ML模型，诸如三维CNN(“3DCNN”)、动态时间规整(“DTW”)技术、隐马尔可夫模型(“HMM”)等，或者一种或多种此类技术的组合，例如CNN-HMM或MCNN(多尺度卷积神经网络)。计算环境100可以采用相同类型的模型或不同类型的模型来识别卵巢中的CL。在某些情况下，模型125用聚焦损失作为损失函数来构造，其补偿每个图像内的卵巢的非CL形态与卵巢中的CL之间的不平衡性质，如本文进一步详细描述的。
为了在该示例中训练模型125，生成了样品130，方式为：获取数字图像、将图像分割成用于训练的图像子集130a(例如，90％)和用于验证的图像子集130b(例如，10％)、预处理图像子集130a和图像子集130b、扩充图像子集130a，以及用标记135注释图像子集130a。图像是卵巢组织切片的图像，并且可以从数据存储结构诸如数据库、图像系统(例如，光学显微镜相机)等获得(例如，卵巢组织切片的5X放大率扫描可以从由光学显微镜相机获得的20X扫描中提取)。图像可以是来自一个或多个受试者的右卵巢和/或左卵巢内的不同水平的卵巢组织切片的图像。在一些情况下，图像是用组织学染色剂(诸如胭脂红、硝酸银、吉姆萨、三色染色剂、革兰氏染色剂、苏木精和H&E染色剂)染色的卵巢组织切片的图像。在某些情况下，组织学染色剂是H&E染色剂。在某些情况下，根据协议或约束条件获取用于训练的图像子集130a内的图像，使得基本上所有或所有图像都是未用化合物处理过的受试者的卵巢的图像，并且具有正常的CL计数(例如，1至1.5个计数/组织面积mm2)。然而，根据不同的协议或约束条件来获取用于验证的图像子集130b内的图像，使得其中一些图像是未用化合物处理过的受试者的卵巢的图像，并且具有正常的CL计数(例如，1.0至1.5个计数/组织面积mm2)，其中一些图像是已用化合物处理过的受试者的卵巢的图像，并且由于CL计数下降而异常(例如，0.5至1.0个计数/组织面积mm2)，并且/或者其中一些图像是已用化合物处理过的受试者的卵巢的图像，并且由于CL计数极低而异常(例如，0.0至0.5个计数/组织面积mm2)。
该分割可以随机地进行(例如，90％/10％或70％/30％)，或者该分割可以根据更复杂的验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)来进行，以最小化采样偏差和过拟合。预处理可以包括裁剪图像，使得每个图像仅包含单个卵巢切片。在一些情况下，预处理可以还包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度，如本文进一步详细描述的)上。在某些情况下，利用预定像素的最小边(宽度或高度)(例如，2500像素)或预定像素的最大边(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。
扩充可以用于通过在数据集中创建图像的修改版本来人工地扩展图像子集130a的大小。可以通过在数据集中创建属于与原始图像相同类别的图像变换版本来执行图像数据扩充。变换包括来自图像操纵领域的一系列操作，诸如移位、翻转、缩放等。在一些情况下，这些操作包括随机擦除、移位、加亮、旋转、高斯模糊和/或弹性变换，以确保模型125能够在可从图像子集130a获得的那些环境之外的环境下执行。除此之外或替代性地，扩充可以用于人工地扩展模型125在部署之后可以用作输入的图像的颜色谱和/或颜色饱和度水平，如本文进一步详细描述的。可以执行颜色谱和/或颜色饱和度水平的扩充，方式为：获得图像子集130a的一组图像(例如，从第一毒理学研究获取的图像)中的图像之间的颜色和/或颜色饱和度(例如，红色通道)的图像均值与图像子集130a的一个或多个其他组的图像(例如，从其他毒理学研究获取的图像)的颜色和/或颜色饱和度(例如，红色通道)的图像均值的差异，将所述差异乘以随机因子(例如，从-20至-40的范围)以获得扩展的颜色谱和/或颜色饱和度水平，以及将扩展的颜色谱和/或颜色饱和度水平添加到图像子集130a的不同组的图像，以用于附加的数据扩充。这种附加的数据扩充可以改进模型125用于从各种来源或研究作出推断而输入的图像的性能。
注释可以由一个或多个人(注释者，诸如病理学家)手动执行，所述人确认在图像子集130a的每个图像中存在一个或多个CL示例，并且将标记135提供给所述一个或多个CL示例，例如，使用注释软件在由人确认包括一个或多个CL示例的区域周围绘制边界框(地面实况)。在某些情况下，边界框可以仅针对成为CL的概率大于50％的示例绘制。对于由多个注释者注释的图像，使用来自所有注释者的边界框。当相同的CL被多个注释者识别时，将各个注释组合到单个边界框中。用较大的边界框替换较小的边界框。每个图像的总CL计数可以通过计数每个卵巢切片中的边界框的数量来计算，并且可以使用标记135将信息注释到图像。
模型125的训练过程包括为模型125选择超参数并且执行将来自图像子集130a的图像输入到模型125中的迭代操作，以找到使模型125的损失或误差函数最小化的一组模型参数(例如，权重和/或偏差)。超参数是可以被调整或优化以控制模型125的行为的设置。大多数模型明确地定义控制模型的不同方面(诸如存储器或执行成本)的超参数。然而，可以定义附加的超参数来使模型适应具体场景。例如，超参数可以包括模型的隐藏单元的数量、模型的学习速率或模型的卷积核宽度。训练的每次迭代可以涉及为模型125找到模型参数集合(配置有定义的超参数集合)，使得使用该模型参数集合的损失或误差函数的值小于在先前迭代中使用不同的模型参数集合的损失或误差函数的值。损失或误差函数可以被构造为测量使用模型125推断的输出(在该示例中，为一个或多个CL示例周围的边界框)与使用标记135注释到图像的地面实况边界框之间的差异。
一旦识别出模型参数集合，就对模型125进行训练，并且可以使用图像子集130a(测试或验证数据集合)来验证该模型。该验证过程包括使用验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)将来自图像子集130b的图像输入到模型125中以调整超参数并且最终找到超参数的最优集合的迭代操作。一旦获得超参数的最佳集合，就将来自图像子集130b的图像的保留测试集合输入到模型125中以获得输出(在该示例中，为一个或多个CL示例周围的边界框)，并且使用相关技术(诸如Bland-Altman方法和Spearman秩相关系数)以及计算性能度量(诸如误差、准确度、精确度、召回率、接收器操作特性曲线(ROC)等)，相对于地面实况边界框来评价输出。
应当理解，其他训练/验证机制也是可以预期的，并且可以在计算环境100内实现。例如，可以对模型进行训练并且可以在来自图像子集130a的图像上调整超参数，并且来自图像子集130b的图像可以仅用于测试和评价模型的性能。此外，尽管本文描述的训练机制聚焦于训练新模型125。但是这些训练机制也可以用于微调根据其他数据集训练的现有模型125。例如，在一些情况下，模型125可能已经使用其他生物结构(非卵巢切片)的图像或者来自其他受试者或研究(例如，人类试验或鼠类实验)的卵巢切片的图像进行了预训练。在这些情况下，模型125可以用于转移学习，并且使用样品130进行重新训练/验证，如本文所讨论的。
模型训练阶段105输出受过训练的模型，包括一个或多个受过训练的CL对象检测模型140。所述一个或多个CL对象检测模型140可以在CL识别阶段110中使用，以获得在推断的CL的每个示例周围的边界框，其中边界框具有CL存在于该边界框中的相关联的概率得分。CL识别阶段110可以包括用于获得图像数据145的过程(例如，指令，所述指令当在一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部)。在一些情况下，所述获得包括从数据存储结构(诸如数据库、图像系统等)获取卵巢组织切片的图像。图像可以是来自一个或多个受试者的右卵巢和/或左卵巢内的不同水平的卵巢组织切片的图像。在一些情况下，图像是用组织学染色剂(诸如胭脂红、硝酸银、吉姆萨、三色染色剂、革兰氏染色剂、苏木精和H&E染色剂)染色的卵巢组织切片的图像。图像数据145内的图像可以是未用或用相同或不同的化合物处理的相同或不同的受试者的卵巢的图像。
CL识别阶段110可以还包括用于预处理图像数据145的可选过程。在一些情况下，预处理包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度，如本文进一步详细描述的)上。在某些情况下，利用预定像素的最小边(宽度或高度)(例如，2500像素)或预定像素的最大边(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。CL识别阶段110还包括用于将图像数据145(进行或不进行预处理)输入到CL对象检测模型140中并且执行CL对象检测模型140的过程。CL对象检测模型140基于模型参数推断每个图像内的一个或多个CL示例，并且输出在推断CL的每个示例周围具有边界框的图像150。在某些情况下，每个边界框均具有CL存在于该边界框中的相关联的概率得分。
CL计数阶段115包括用于从CL识别阶段110获得或接收输出图像150的过程(例如，指令，所述指令当在一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部)。CL计数阶段115还包括用于执行基于规则的技术以对输出图像150中推断出的一个或多个CL示例进行计数的过程。在一些情况下，基于规则的技术可以对与来自受试者的卵巢相关联的每个图像中的边界框进行计数，以获得卵巢的CL的总计数155。在其他情况下，基于规则的技术可以对与来自受试者的第一卵巢(例如，左卵巢)相关联的每个图像中的边界框进行计数，以获得第一卵巢的CL的总计数155，并且对与来自受试者的第二卵巢(例如，右卵巢)相关联的每个图像中的边界框进行计数，以获得第二卵巢的CL的总计数155。在某些情况下，基于规则的技术可以求第一卵巢的总CL计数和第二卵巢的总CL计数的平均值(或应用另一种类似的统计方法)，以获得受试者的平均CL计数155。具有小于预定阈值(例如，0.5或0.75)的概率得分的边界框可以不通过基于规则的技术来计数。在其他情况下，基于规则的技术可以对与样品相关联的每个图像中的边界框使用任何其他计数方法，其任选地考虑相关联的概率得分，以获得样品的总CL计数。
CL卵巢毒性评估阶段120包括用于从CL计数阶段115获得或接收总计数或平均计数155的过程(例如，指令，所述指令当在一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部)。CL卵巢毒性评估阶段120还包括用于执行基于规则的技术以基于总计数或平均计数155推断化合物的卵巢毒性160(哺乳动物卵巢毒性)的过程。可以使用相同的CL对象检测模型140来确定不同量和不同化合物的卵巢毒性。首先，令人惊讶地发现了CL的个体计数如何良好和准确地追踪化合物的卵巢毒性(如本文关于实施例讨论的数据所支持的)。按惯例，对化合物或环境的卵巢毒性评估基于对许多因素(包括卵泡形态和计数与CL存在/不存在的组合)的定性和定量分析。其次，令人惊讶地发现了CL的个体计数如何良好和准确地追踪各种各样不同化合物的卵巢毒性评估(如本文关于多种化合物的实施例讨论的数据所支持的)。
在一些情况下，基于规则的技术可以基于预定毒性阈值(例如，低于1.5个计数/组织面积mm2的总CL计数或平均CL计数指示化合物对卵巢具有毒性)从总计数或平均计数155推断卵巢毒性160作为二元结果(例如，是，化合物是有毒的；或否，化合物是无毒的)。在其他情况下，基于规则的技术可以从与化合物的两个或更多个剂量水平(例如，基线或没有化合物引入受试者，以及引入受试者的化合物的剂量水平)相关联的总计数或平均计数155的趋势推断卵巢毒性160作为二元结果(例如，是，化合物是有毒的；或否，化合物是无毒的)。在其他情况下，基于规则的技术可以使用与样品相关联的毒性评估的任何其他推断方法(例如，非二元方法)，其任选地考虑化合物的两个或更多个剂量水平，以确定化合物的卵巢毒性160。
虽然未明确示出，但是应当理解，计算环境100可以还包括与开发者相关联的开发者装置。从开发者装置到计算环境100的部件的通信可以指示将用于深度学习神经网络的输入图像的类型、将使用的深度学习神经网络的数量和类型、每个深度学习神经网络的超参数(例如，学习速率和隐藏层的数量)、格式化数据请求的方式、将使用的训练数据(例如，以及获得对训练数据的访问的方式)和将使用的验证技术，以及/或者将配置基于规则的技术的方式。
III.B.用于模型训练的示例性数据扩充
在一些实施方案中，深度学习神经网络是关于来自下述受试者的卵巢的卵巢切片的图像训练的：所述受试者未用化合物处理过并且已用组织学染色剂(诸如胭脂红、硝酸银、吉姆萨、三色染色剂、革兰氏染色剂、苏木精和H&E染色剂)染色。组织学染色剂是用于显现样品内的天然形态的着色剂，并且不是用于选择性地识别样品内的特定结构的染色剂(诸如免疫组织化学染色剂)。这允许相比通过更昂贵和更复杂的染色过程(诸如免疫组织化学染色)获得的图像，关于通过廉价和相当简单的染色过程(诸如H&E染色)获得的图像训练和使用深度学习神经网络。
然而，用组织学染色剂染色的样品具有颜色变化的趋势(例如，H&E染色剂可能导致样品的相同结构沿深紫色至浅粉色之间的颜色谱染色)。这种颜色变化可能是由于染色剂或染色过程的变化，例如，染色过程的时间选择的变化，例如，将染色剂长时间留在载玻片上相比短时间留在载玻片上可能导致更深或更浅的颜色，并且用于制造染色剂的成分的变化(例如，用于复溶颜料或染料的水中的不同化学品)可能导致沿着颜色谱的不同颜色。为了解决颜色和/或饱和度水平的这种变化，扩充了训练数据的图像，使得将深度学习神经网络训练为在扩展的颜色和/或颜色饱和度水平范围内识别卵巢形态内的CL。此外，传统技术(诸如来自其他数据集合的图像的RGB颜色的颜色映射)将不足以解决该变化问题，因为此类变化通常引入重映射颜色的噪声(在色调、饱和度或值方面)，这将影响模型性能。相反，为了解决这些限制和问题，提供了一种扩充技术来捕获训练数据的不同子集之间的颜色和/或颜色饱和度的差异、用所捕获的差异来扩充训练数据的一个或多个子集以获得训练数据的扩充子集，以及使用训练数据的原始子集和训练数据的扩充子集来训练深度学习神经网络，以扩展深度学习神经网络在部署之后可以用作输入的颜色空间和颜色饱和度水平。
更具体地讲，扩充可以通过以下方式来执行：获得来自训练数据的一组图像(例如，从第一毒理学研究获取的图像)的图像之间的颜色和/或颜色饱和度(例如，红色通道)的图像均值与来自训练数据的一个或多个其他组的图像(例如，从其他毒理学研究获取的图像)的颜色和/或颜色饱和度(例如，红色通道)的图像均值的差异。然后将所计算的差异乘以随机因子(例如，从-20至-40、0至-40、-10至-60等的随机值范围)，以获得扩展的颜色谱和/或颜色饱和度水平。添加扩展的颜色谱和/或颜色饱和度(扩充图像＝原始图像+差异*随机因子)，以生成训练数据的一个或多个组的图像用于数据扩充。
例如，假定假设研究A有2个图像(图像-1和图像-2)用作训练数据，并且假设研究B有2个图像(图像-3和图像-4)用作训练数据。在研究A中，将图像-1-红色(图像-1-R)通道(每个图像上的总数)和图像-2-R通道平均为单个数字meanAR，并且类似地对绿色通道和蓝色通道进行处理，以生成数字meanAG和meanAB。在研究B中，将图像-1-R通道和图像-2-R通道平均为单个数字meanBR，并且类似地对绿色通道和蓝色通道进行处理，以生成meanBG和meanBB。
然后可以如下计算图像均值的差异(对于每种颜色)：
红色的差异dR＝meanAR-meanBR
绿色的差异dG＝meanAG-meanBG
蓝色的差异dB＝meanAR-meanBB
将红色、绿色和蓝色的差异(dR、dB和dG)乘以随机因子(例如，从-20至-40、0至-40、-10至-60等的随机值范围)，以获得扩展的颜色谱和/或颜色饱和度水平(exR、exB和exG)。将扩展的颜色谱和/或颜色饱和度水平(exR、exB和exG)添加到研究A的2个图像和/或研究B的2个图像的RGB通道，以获得扩充图像集合。然后，使用来自研究A和研究B中每一者的2个原始图像和所述扩充图像来训练模型。这种数据扩充可以改进模型用于从各种来源或研究作出推断而输入的图像(往往在颜色和/或颜色饱和度方面具有变化的图像)的性能。
III.C.示例性深度学习神经网络
在各种实施方案中，提供了可以识别卵巢中的CL的深度学习神经网络(包括预测描述边界框的所有四个坐标值的对象检测任务)。对于对象检测任务，可以使用两种不同的方法：(i)在网格上进行固定数量的预测(一阶段)，(ii)或者利用建议网络来查找对象，然后使用第二网络来微调建议并且输出最终预测(两阶段)。选择一阶段检测(即，直接地)用于本发明实施方案的深度学习网络，因为它更容易关于较小的可用训练数据集合进行训练，并且它是简单得多且快得多的模型架构。在一些情况下，该深度学习神经网络是CNN，例如起始神经网络、Resnet、RetinaNet，或它们的任何组合。
深度学习神经网络是关于来自处于发情周期的各个阶段并且未用化合物(例如，治疗性候选化合物)处理过的受试者卵巢的卵巢切片的图像训练的。这确保有足够大的图像池用于训练，对于每个切片，该图像池将平均具有约10至30个CL的CL计数/卵巢和约1至1.5个CL计数/组织面积mm2。然而，与少量CL(如果有的话)相比，图像将具有大量的非CL卵巢形态和背景，因此用于边界框的大候选位置集合由容易分类的背景示例支配。这产生了一阶段检测器的类不平衡问题，因为在训练期间，由于我们的“在网格上进行预测”方法的性质，模型经常以其中不包含对象的大量边界框结束，而没有将候选对象位置的数量缩小到较小数量的区域性建议中间步骤。按惯例，经由自举或在线硬示例挖掘来解决该类不平衡问题。但是这些技术在这种情况下将不能有效地工作，因为：(i)所使用的训练样品都包含CL(正类)，因此没有CL的图像序列不能用于自举目的，并且(ii)在线硬示例挖掘完全丢弃简单示例，这些示例将是训练数据集合的主要部分，从而引起另一个类不平衡问题。
为了克服类不平衡问题并且利用有限的训练数据集合实现对CL的准确识别和量化，利用经修改的损失函数(即，聚焦损失)来构造深度学习神经网络。聚焦损失通过对交叉熵损失进行重塑来补偿图像的不平衡性质，使得其降低分配给良好分类示例的损失的权重，并且将训练聚焦在硬否定上。例如，二元分类的交叉熵损失表示为：
Figure BDA0003338675610000231
其中y∈{±1}是地面实况类，并且p∈[0，1]是模型的估计概率。为了方便标记，定义了pt，并且将CE重写：
Figure BDA0003338675610000232
CE(p，y)＝CE(pt)＝-log(pt)
该交叉熵损失函数CE通过将调制因子(1-pt)γ添加到交叉熵损失CE来进行重塑，其中γ是前缀正scala值或聚焦参数。
FL(pt)＝-(1-pt)γlog(pt)
因此，当示例被错误分类并且pt较小时，调制因子(1-pt)γ接近1并且损失不受影响。随着pt→1，调制因子(1-pt)γ变为0，并且良好分类示例的损失被降低权重。聚焦参数γ平滑地调节简单示例被降低权重的速率。当γ＝0时，FL相当于CE。当γ增加时，调制因子(1-pt)γ的影响同样增加。聚焦损失本质上是避免梯度被简单示例(例如，所有非CL卵巢形态和背景)的损失累积所超过的手段。相反，聚焦损失将训练聚焦在稀疏的硬示例集合(例如，罕见的CL示例)上，并且防止大量的简单否定(例如，非CL卵巢形态和背景)在训练期间将检测器淹没。
在各种实施方案中，聚焦损失在RetinaNet中作为分类损失函数实现。如图2所示，RetinaNet 200可以包括：(i)骨干网络205，其包括以完全卷积方式建立在ResNet 215之上的特征金字塔网络210，其允许骨干网络205拍摄任意大小的图像并且在特征金字塔网络210中的多个层级输出大小成比例的特征图，(ii)第一子网络220，其负责使用骨干的输出来预测对象在每个锚框和对象类的每个空间位置处存在的概率，以及(iii)第二子网络225，其负责使用骨干的输出从每个地面实况对象的锚框回归边界框的偏移。ResNet 215提供自底向上路径，其计算不同标度下的特征图，而不考虑输入图像大小或骨干。ResNet 215的一些连续层可以输出相同标度的特征图，但是一般来讲，较深层的特征图具有较小的标度/分辨率。该自底向上路径通过选择输出相同标度的特征图的每组连续层的最后一个特征图来实现。
这些选择的特征图被用作特征金字塔网络210的基础，其提供自顶向下路径和侧向连接。该自顶向下路径从较高金字塔层级向上采样空间上较粗糙的特征图，并且侧向连接以相同的空间大小合并自顶向下层和自底向上层。更具体地讲，使用最近邻向上采样，来自自底向上路径的最后一个特征图被扩展到与倒数第二个特征图相同的标度。然后，通过逐元素相加合并这两个特征图，以形成新的特征图。重复该过程，直到来自自底向上路径的每个特征图均具有与侧向连接有联系的相应的新特征图。较高层级特征图包含覆盖图像的较大区域的网格单元，因此更适合于检测较大的对象；相比之下，来自较低层级特征图的网格单元更适合于检测较小的对象。这些特征图可以独立地用于对边界框进行预测，因此有助于形成标度不变并且可以在速度和准确度两方面提供更好性能的模型。
第一子网络220是附属于特征金字塔网络210的每个层级的完全卷积网络(FCN)，并且预测对象在每个锚框(A)和对象类(K)的每个空间位置处存在的概率。第一子网络220可以包括多个(例如，四个)卷积层，其具有多个滤波器(例如，256个)，接着是整流线性单元(RELU)激活。随后，可以应用具有K×AK×A滤波器的另一个卷积层，接着是S形激活。第一子网络220在所有级别上具有共享参数。输出特征图的形状可以是(W,H,KA)，其中W和H与输入特征图的宽度和高度成比例，K和A是对象类和锚框的数目。每个锚框负责检测其所覆盖的区域中来自K个类的对象的存在。因此，每个锚框对应于指示类概率的K个数，并且因为每个网格有A个边界框，所以第一子网络220的输出特征图具有KA个通道。
第二子网络225是回归子网，其附属于特征金字塔网络210的每个特征图并且与第一子网络220并行。第二子网络225的设计与第一子网络220的设计相同，只不过最后一个卷积层具有4A个滤波器。因此，输出特征图的形状将是(W,H,4A)，其中W和H与输入特征图的宽度和高度成比例，A是锚框的数目。第一子网络220和第二子网络225均具有宽度为W且高度为H的输出特征图，其中W×H个切片中的每个切片对应于输入图像中的区域。除了第一子网络220检测对象的存在/类之外，每个锚框还负责检测对象的大小/形状。这是通过第二子网络225完成的，该第二子网络针对每个锚框输出4个数字，这些数字预测锚框与地面实况框之间的相对偏移(在中心坐标、宽度和高度方面)。因此，该回归子网的输出特征图具有4A个通道。因此，这些子网产生多个值(来自第一子网络220的K，来自第二子网络225的4A个信道)，总数表示为：
Figure BDA0003338675610000261
其中l表示金字塔的层级，并且W和H是锚框子网的输出特征图的宽度和高度。使用这些数字来细化锚框，模型有可能输出边界框的4个坐标的预测值。
为了计算用于训练RetinaNet 200的损失，在边界框的4个坐标的预测值与地面实况的边界框的坐标之间进行比较。RetinaNet的损失是包含两项的多任务损失：一项用于定位(表示为Lloc)，另一项用于分类(表示为Lcls)。该多任务损失可以表示为：
L＝λLloc+Lcls
其中λ是控制两个任务损失Lloc与Lcls之间的平衡的超参数。基于边界框的4个坐标的预测值与地面实况的边界框的坐标之间进行的比较来计算定位损失(Lloc)和分类损失(Lcls)。定位损失(Lloc)是回归损失。如本文所讨论的，对于具有匹配的每个锚框，第二子网225预测四个数字。前两个数字指定锚框中心和地面实况中心之间的偏移，而后两个数字指定锚框的宽度/高度与地面实况的宽度/高度之间的偏移。相应地，对于这些预测值中的每一个，存在被计算为锚框与地面实况之间的偏移的回归目标。可以基于该回归目标来定义回归损失。分类损失(Lcls)是聚焦损失，如本文详细讨论的。聚焦损失减少了来自简单示例的损失贡献，并且增加了校正被错误分类示例的重要性。
RetinaNet 200生成四个坐标值的预测值，这些坐标值描述卵巢中的推断CL示例周围的边界框。对于卵巢切片的每个输入图像，存在来自特征金字塔网络210的所有层级的多个锚框，表示为：
Figure BDA0003338675610000271
对于每个锚框，第一子网络220预测指示图像中存在CL的概率分布的K个数字，而第二子网络225预测指示每个锚框与相应边界框之间的偏移的四个数字。出于性能考虑，可以设置RetinaNet 200的超参数，使得该模型基于预定数量的锚框和预定阈值概率得分从特征金字塔网络210的每个层级选择至多预定数量的具有CL存在于边界框中的最高概率得分的锚框(例如，100个)，或者从特征金字塔网络210的每个层级选择超过CL存在于锚框中的预定阈值概率得分(例如，0.75)的锚框(例如，100个)，或前述两项的组合。只有这些锚框将被包括在由RetinaNet 200执行的剩余阶段中。在这一阶段，图像中的CL可以用多个锚框来预测。为了去除冗余，可以将非极大值抑制(NMS)应用于CL预测，其迭代地选择具有最高概率得分的锚框，并且去除具有大于设定值(诸如0.5)的交并比的任何重叠锚框。在最后的阶段中，对于用于CL识别的每个剩余锚框，第二子网络225给出偏移预测值，这些偏移预测值可以用于细化锚框，以获得针对所识别CL的每个示例的最终边界框预测值。
IV.卵巢毒性评估技术
图3示出了根据各种实施方案的用于卵巢毒性评估的方法300。
方法300开始于框305，在这里，从一个或多个受试者的一个或多个卵巢(例如，鼠类受试者的左卵巢和右卵巢)获得组织切片。在一些情况下，受试者已用一定量的化合物(例如，一定剂量的治疗剂)处理过。在其他情况下，受试者未用一定量的化合物处理过(例如，基线)。c在框310处，将组织切片镶嵌到载玻片上。载玻片是与显微镜一起使用的基片。在框315处，用组织学染色剂(诸如H&E染色剂)处理载玻片。在某些情况下，多个载玻片不用除H&E染色剂之外的任何其他染色剂处理。在框320处，用成像装置(例如，镶嵌到显微镜的相机)对每个载玻片成像，以生成组织切片的图像。所述图像可以是包括来自多个卵巢的每个卵巢的组织切片的至少一个图像的图像集合。可以使用诸如元数据标签等标识符在图像数据中维持图像与卵巢之间的关联。
在可选的框325处，对组织切片的图像进行预处理。预处理可以包括裁剪图像，使得每个图像仅包含单个卵巢切片。在一些情况下，预处理可以还包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度，如本文进一步详细描述的)上。在某些情况下，利用预定像素的最小边(宽度或高度)(例如，2500像素)或预定像素的最大边(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。
在框330处，将图像输入到神经网络模型中，该神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器。该输入可以包括迭代地输入来自一个卵巢的组织切片的图像集合中的每个图像，然后迭代地输入来自另一个卵巢的组织切片的另一个图像集合中的每个图像，并且重复该过程，直到图像内的所有图像集合都已被神经网络模型处理。
该神经网络模型可以基于对象检测模型架构(诸如SSD架构、YOLO架构或RetinaNet架构)来构造。在一些情况下，该神经网络模型包括使用训练数据集合训练的多个参数，该训练数据集合包括：(i)来自卵巢的组织切片的染色载玻片(诸如H&E染色载玻片)的多个训练图像集合，来自所述多个训练图像集合的每个训练图像集合来自多个不同的受试者之一，以及(ii)多个边界框集合，每个边界框与在来自所述多个训练图像集合的所述图像之一中识别的CL相关联。该神经网络模型的损失函数将所述参数和所述多个训练图像集合与所述多个边界框集合相关联，并且所述聚焦损失降低在训练期间针对所述多个训练图像集合内的非CL形态或背景预测的边界框的权重，并且将训练聚焦在针对所述CL预测的边界框上。在某些情况下，所述多个训练图像集合中的至少一个训练图像集合在用于训练之前根据所述至少一个训练图像集合中的所述图像的多个颜色通道中的每个颜色通道的图像均值的差异进行调整，所述图像均值的差异相对于所述多个训练图像集合中的另一个训练图像集合来计算。图像的多个颜色通道中的每个颜色通道的图像均值被计算为至少一个训练图像集合内的图像上的颜色通道的平均值。
在框335处，使用神经网络模型将图像内的一个或多个对象识别为CL(例如，该识别可以作为CL对象与背景对象的分类方案的一部分，或者作为CL对象与其他卵巢结构和/或细胞类型和背景对象的多类分类方案来执行)。在一些情况下，基于经由神经网络模型内的特征金字塔网络生成的特征图来对CL进行识别或分类。在某些情况下，该识别或分类包括为被识别或分类为CL的一个或多个对象中的每个对象生成概率得分。在框340处，基于来自框335的对象的识别或分类，预测被识别为CL的对象中的一个或多个对象周围的边界框的坐标。在框345处，基于针对所述边界框预测的坐标，输出在被识别为CL的对象中的一个或多个对象周围具有边界框的图像。
在框350处，对从深度学习神经网络输出的图像内的边界框进行计数，以获得一个或多个受试者的一个或多个卵巢的CL计数。CL计数可以基于每个受试者的计数来生成，其中对与给定受试者(该受试者的一个或多个卵巢)相关联的图像内的所有边界框进行计数以获得CL计数。替代性地，CL计数可以基于每个卵巢的计数来生成，其中对与给定卵巢相关联的图像内的所有边界框进行计数以获得CL计数。然后，可以求针对与同一个受试者相关联的每个卵巢生成的CL计数的平均值，以获得该受试者的平均CL计数。在某些情况下，该计数包括仅对图像内的被分类为CL并且具有大于预定概率得分阈值的概率得分的对象周围的边界框进行计数。在其他情况下，
在框355处，基于卵巢或受试者的CL计数或者受试者的平均CL计数确定所述量的所述化合物(例如，所述剂量的治疗剂)的卵巢毒性。可以使用相同的神经网络模型确定不同量和不同化合物的卵巢毒性。在一些情况下(例如，当从暴露于单一量的化合物的受试者获得图像时)，确定卵巢毒性包括将卵巢或受试者的CL计数或者受试者的平均CL计数与预定毒性阈值进行比较。当卵巢或受试者的CL计数或者受试者的平均CL计数高于预定毒性阈值时，确定所述量的所述化合物对卵巢无毒性。当卵巢或受试者的CL计数或者受试者的平均CL计数低于或等于预定毒性阈值时，确定所述量的所述化合物对卵巢有毒性。在其他情况下(例如，当从暴露于多个量的化合物的多个受试者获得图像(来自已用多个量的化合物处理过的受试者的图像，以及来自没有用任何量的化合物处理过的受试者的基线图像)时)，确定卵巢毒性包括将卵巢或受试者的第一CL计数或者受试者的平均CL计数与另一个卵巢或受试者的第二CL计数、第三CL计数、第四CL计数等或者另一个受试者的平均CL计数进行比较，并且基于该比较确定第一CL计数、第二CL计数、第三CL计数、第四CL计数等之间的趋势，以及基于该趋势确定卵巢毒性。例如，如果该趋势显示CL计数随着化合物量的增加而下降，则可以确定该化合物对卵巢有毒性。然而，如果该趋势显示CL计数随着化合物量的增加而保持稳定，则可以确定该化合物对卵巢无毒性。基于该趋势的这种确定可以进一步考虑预定毒性阈值，以更好地理解和推断化合物对卵巢有毒性或无毒性的量。
在框360处，提供在被识别为CL的对象中的每个对象周围具有边界框的图像集合、卵巢的CL计数、所述量的所述化合物的卵巢毒性或它们的任何组合。例如，可以将所述图像集合、卵巢的CL计数、所述量的所述化合物的卵巢毒性或它们的任何组合在本地呈现或传送到另一个装置。可以将所述图像集合、卵巢的CL计数、所述量的所述化合物的卵巢毒性或它们的任何组合连同受试者的标识符一起输出。在一些情况下，将所述图像集合、卵巢的CL计数、所述量的所述化合物的卵巢毒性或它们的任何组合输出到最终用户或存储装置。在可选的框365处，基于所述量的所述化合物的卵巢毒性，制造或已制造所述化合物。在可选的框370处，基于所述量的所述化合物的卵巢毒性，施用利用所述化合物进行的处理。
V.实施例
通过参考以下实施例可以更好地理解在各种实施方案中实现的系统和方法。
V.A.实施例1.–来自五项重复剂量毒性研究的卵巢切片
在本回顾性研究中纳入了来自为支持已完成的化合物开发项目而进行的五项重复剂量毒性研究的卵巢切片。雌性斯普拉格-道利(Sprague-Dawley)大鼠用于所有五项研究。
V.A.1研究设计和训练概述
图4总结了该实施例的研究设计。用来自研究1的所有切片(90％的切片用于训练集合，10％的切片用于验证集合)训练对象检测深度学习神经网络(在本文所讨论的一个示例实施方案中为RetinaNet)以识别CL。用病理学家A和病理学家B在训练集合上的注释来训练模型。研究1中的切片子集(研究1子集)也由病理学家A和病理学家B注释，并且作为验证集合的一部分。在该子集内，病理学家A和病理学家B对彼此的注释不知情，并且计算了变化。接下来，在研究2的切片子集中，病理学家A和病理学家C对CL计数，并且将其用作金标准测试集合。将受过训练的模型应用于该相同的测试集合，以评价与金标准相比该模型在CL计数方面的准确度。在研究1中，将测试集合中来自该模型的CL计数的准确度与病理学家之间的变化进行比较。在验证的最后步骤中，将该模型应用于有和没有卵巢病理学发现的研究，以调查深度学习方法是否产生与病理学家相似的观察结果。在研究3、研究4和研究5中比较处理组与对照组之间的模型CL计数。在研究3中还调查了组织面积与CL计数之间的关系。表1总结了这五项毒性研究以及病理学家是否针对每项研究观察到卵巢病理学变化。
表1展示了研究设计的汇总。研究1由两名病理学家注释，并且用于训练和验证模型。研究2用于评价模型与病理学家之间的一致性。从该模型获得研究3、研究4、研究5的CL计数。*50只大鼠在给药26周后经历15周的恢复期。**100只动物中仅有79只具有来自病理学家的人工CL计数。
Figure BDA0003338675610000321
Figure BDA0003338675610000331
V.A.2组织学切片和数字化
在这些研究中，在尸体剖检时对大鼠进行肉眼检查，并且固定处理成切片以用于显微镜检查。尽管预期单个H&E切片对于我们的分析将是足够的，但调查了卵巢的阶梯切片是否会潜在地改变个体研究结果的一般结论(与对照相比CL数量的变化)，因此前瞻性地分析了相隔150μm的六个5μm厚的切片。切片分别标记为L1(如第一阶梯切片所定义的)、L2、L3、L4、L5和L6(最后一个阶梯切片，可能在块中具有最少量的组织)。基于CL的大小选择单独的150μm阶梯切片，以检测大多数单个CL，同时限制在多个切片中捕获相同CL的可能性。基于来自分析阶梯切片的发现，这些研究针对研究2、研究4和研究5使用来自每个卵巢的单个5μm厚的H&E切片进行。使用全载玻片明场扫描仪将所有H&E切片数字化。用Nanozoomer扫描仪扫描来自研究1、研究2和研究3的切片，并且用Aperio扫描仪以20X放大率扫描来自研究4和研究5的切片。
V.A.3由病理学家进行人工注释
研究1中的所有H&E切片均由病理学家A和病理学家B手动注释CL。使用AperioImageScope在组织切片中存在的所有CL周围绘制边界框，用于识别目的。通过计数每个卵巢切片中的边界框的数量，来计算总CL计数。为了评价病理学家之间的变化，由两个病理学家随机选择并且注释224个来自所有水平的卵巢H&E切片。这224个切片被定义为如前所述的研究1子集。将剩余的卵巢切片分成两半并且由病理学家A或病理学家B注释。对于研究2，病理学家A和病理学家C仅报告了来自测试集合(155个卵巢切片)的总CL计数。在研究2中未报告剩余卵巢切片的总CL计数。病理学家没有对研究3、研究4和研究5进行CL的手动注释。
V.A.4图像处理、模型训练和推断
从所有研究的20X扫描中提取5X放大率的图像。将图像转换成灰度后，使用Otsu方法识别卵巢组织。接下来，裁剪图像，使得每个图像仅包含单个卵巢。通过在应用Otsu阈值之后对正像素的数目求和，来计算卵巢的面积。
在一个示例实施方案中，使用包括作为骨干的深度残留神经网络(50层版本)的RetinaNet来进行CL检测。将来自ImageNet的预先受过训练的深度残留神经网络用于转移学习。将来自研究1的经裁剪卵巢图像和注释用于训练RetinaNet。对于由病理学家A和病理学家B两者注释的研究1子集，使用来自这两个病理学家的边界框。当相同的CL被这两个病理学家识别时，将各个注释组合到单个边界框中。用较大的边界框替换较小的边界框。
将研究1中的切片随机分为训练集合(90％)和验证集合(10％)。利用2500像素的最小边(宽度或高度)或3000像素的最大边(宽度或高度)来调整经裁剪图像的大小，并且保持原始纵横比。将随机擦除、移位、加亮、旋转、高斯模糊和弹性变换用于数据扩充，以确保该模型能够在仅可从训练数据获得的那些环境之外的环境下执行。具体地，在不同场景下捕获各种研究，使得在没有更多模型的情况下，该模型可能对以类似于研究1但不一定是其他研究(例如，研究4和研究5)的方式捕获的图像有所表现。
此外，传统的扩充技术(诸如其他研究图像的RGB颜色的颜色映射)将是不够的。因为此类变化通常引入重映射颜色的噪声(在色调、饱和度或值方面)，这将影响模型性能。为了解决该问题，将研究1的图像之间的图像均值与其他研究的图像的图像均值的差异乘以随机因子(从-20至-40的范围)，并且添加到原始训练图像中，以进行附加的数据扩充。这种附加的数据扩充改进了模型用于从各种研究作出推断而插入的图像的性能。
使用批尺寸1，以3000的步长进行30个时期的模型训练。将平滑L1损失(σ＝3)用于回归损失，并且将聚焦损失(α＝0.4并且γ＝2)用于分类损失。使用Adam优化器(学习速率＝1×10-5)进行优化。
在研究2、研究3、研究4和研究5中将受过训练的模型应用于经裁剪卵巢图像。在推断期间，首先使用与上述相同的方法来调整经裁剪卵巢图像的大小，然后将其馈送到受过训练的模型。在将受过训练的模型应用于经裁剪卵巢图像之后，生成具有CL概率得分的边界框。忽略概率得分小于0.5的边界框。对每个卵巢计数经模型识别的CL的总数。还计算了左卵巢和右卵巢的平均CL计数。
V.A.5统计分析
为了评价前一节中所讨论的示例模型在总CL计数方面的准确度，在具有不同实验方案的研究中测试了受过训练的模型，并且针对测试集合中来自病理学家A和病理学家C的共同评价进行了验证。使用Bland-Altman方法和Spearman秩相关系数来评估研究1子集中病理学家A与病理学家B之间对每个卵巢的总CL计数的一致性，以及测试集合中来自病理学家(A和C)的共同评价与受过训练的模型之间的一致性。
预期组织面积与CL计数线性相关。为了评价组织面积与CL计数之间与切片水平相关的关系，在研究3中从所有水平以及在每个水平处计算组织面积与CL计数之间的Spearman秩相关系数。因为具有较小面积的组织可能具有较少的CL，所以将CL计数除以卵巢组织面积以进行归一化。在研究3中，在来自所有水平的归一化CL计数中以及在来自所有处理组和对照组的归一化CL计数中进行Kruskal-Wallis检验。接下来，计算每只大鼠的从所有水平相对于组织面积归一化的平均CL计数。分别使用Wilcoxon秩和检验比较研究3、研究4和研究5中处理组(低剂量、中剂量和高剂量)和对照组之间的相对于组织面积归一化的平均CL计数。使用Python进行图像分析和统计分析。使用Keras/Tensorflow训练模型。使用单个图形处理单元(英伟达公司(Nvidia)，P6000)进行训练和推断。
V.A.6每个毒性研究的详细研究方案
研究1：研究1中总共包括80只大鼠。将大鼠分成对照组、低剂量组、中剂量组和高剂量组，每组20只大鼠，并且经由口服管饲法，分别以媒介物(0.5％(w/v)羟丙基甲基纤维素和0.2％(w/v)聚山梨醇酯80的反渗透水溶液，pH 3.0)中的0、15、50和100(mg/kg/天)剂量水平，每天两次施用化合物A，持续26周。
研究2：研究2中总共包括100只雌性大鼠。将大鼠分成2个终末组和2个恢复组(n＝25只大鼠/组)。2个终末组通过口服管饲法，分别用0和100(mg/kg/天)媒介物和媒介物(0.5％(w/v)羟丙基甲基纤维素和0.2％(w/v)聚山梨醇酯80的反渗透水溶液)中的化合物B每天处理两次。施用最后一剂后5天，使经处理的终末组与未处理的大鼠交配。在同居期结束之后，在假定妊娠的第13天，对经处理和未处理的雌性大鼠实施安乐死，以进行病理学检查。将相同的给药方案应用于2个恢复组，并且在施用最后一剂后恢复15周之后，使恢复组中的经处理的大鼠与未处理的雄性大鼠交配。在同居期之后，在假定妊娠的第13天对雌性大鼠实施安乐死。
研究3：研究3中包括75只大鼠。将大鼠分成对照组、低剂量组、中剂量组、中-高剂量组和高剂量组(n＝15只大鼠/组)。化合物A经由口服管饲法，分别以0、10、15、150和500(mg/kg/天)的剂量水平每天施用两次，持续13周。
研究4：将40只大鼠分成4组(n＝10只大鼠/组；对照组、低剂量组、中剂量组和高剂量组)。动物接受口服剂量的媒介物(10％聚乙二醇400(PEG)/100mM N-甲基葡萄糖胺(NMG)，pH 8.5)或媒介物中的化合物C，剂量水平为50、100或200mg化合物C/kg体重(mg/kg)，每天一次，持续13周。
研究5：将40只大鼠分成4组(n＝10只大鼠/组；对照组、低剂量组、中剂量组和高剂量组)。动物接受口服剂量的媒介物(0.5％(w/v)甲基纤维素(20至30厘泊)和0.2％(w/v)聚山梨醇酯80的注射用水溶液，pH 6.7±0.3)或媒介物中的化合物D，剂量水平为10、30或100mg化合物D/kg体重(mg/kg)，每天一次，持续4周。
V.A.6分析的总体组织面积影响存在的CL数量
开发和测试该方法中的初始步骤是训练所述模型以准确地识别组织中的CL。图5A、图5B、图5C和图5D示出了来自研究2、研究3、研究4和研究5的包含多个CL或不包含CL的代表性图像。当CL存在于卵巢组织中时，CL被准确地识别，反之亦然。边界框上方的数字表示CL存在于该框中的概率得分。(标尺：1mm)。病理学家在代表性图像中证实了CL的存在。在包含CL的概率大于50％的区域中绘制边界框。接下来，为了量化受过训练的模型在CL计数方面的准确度，将受过训练的模型应用于研究2，并且将结果与研究1子集中的病理学家之间的变化进行比较。图6A示出了评估研究1中来自224个卵巢组织的CL计数的病理学家之间的变化(在病理学家A与病理学家B之间)的Bland-Altman图。图6B是评估在研究3中针对155个卵巢组织的CL计数方面，病理学家(由病理学家A和病理学家C两者审核)与受过训练的模型之间的一致性的Bland-Altman图。研究2在训练过程中对模型是不知情的。对于研究1子集，病理学家A与病理学家B之间的CL计数的均值绝对差异为0.64±0.088(均值和标准偏差)，并且对于测试集合，病理学家与受过训练的模型之间的CL计数的均值绝对差异为0.57±0.096。图6C和图6D分别示出了研究1子集中来自病理学家A和病理学家B的CL计数的散点图，以及测试集合中来自病理学家和受过训练的模型的CL计数的散点图。红色虚线指示95％的一致性限值。红色实线指示病理学家A相比病理学家B或者病理学家(A和C)相比模型的CL计数的均值差异。点尺寸表示相同CL计数以对数标度表示的数量。黑色虚线指示CL计数完全一致。为了可视化目的，将所述CL计数分别除以研究1子集的来自病理学家A和病理学家B的最大CL计数和测试集合的来自病理学家和模型的最大CL计数。病理学家A与病理学家B之间的CL计数强相关(R＝0.99，p<<0.01)，并且病理学家与受过训练的RetinaNet之间的CL计数也强相关(R＝0.97，p<<0.01)。
V.A.7分析的总体组织面积影响存在的CL数量
为了解决关于卵巢的附加切片是否会影响所计数的CL的数量和对研究发现的总体判读(与标准的单载玻片相比)的问题，使用相隔150μm的六个阶梯切片进行评价。图7A示出了研究3中来自所有水平的卵巢组织面积相比CL计数的散点图。当使用所有水平的所有CL计数时，观察到CL计数与卵巢组织面积之间的强相关性(R＝0.73，p<<0.01)，表明在所评价的组织面积较小的情况下，存在较少数量的CL。在每个水平处，CL计数与卵巢组织面积也显著相关(对于L1、L2、L3、L4、L5和L6，R分别等于0.57、0.52、0.64、0.73、0.75、0.73，并且所有p<<0.01)。由于CL计数在每个水平处与组织面积显著相关，所以通过组织面积将CL计数归一化可以减轻组织面积的影响。CL计数和组织面积的均值和标准偏差以及每个水平处的归一化CL计数总结在表2中。
表2展示了研究3中的每个水平处的CL计数和组织面积的汇总。计算CL计数、组织面积和归一化CL计数的均值和标准偏差。当切片水平从水平1变为6时，CL计数和组织面积减少大约50％，而归一化CL计数保持相对相同。(N＝75个卵巢切片)
Figure BDA0003338675610000391
当水平增加时，CL计数和组织面积都减小。当水平增加时，归一化CL计数相对稳定。图7B示出了在不同切片水平处相对于组织面积归一化的CL计数。根据Kruskal-Wallis检验没有观察到在所有水平中相对于组织面积归一化的CL计数的显著差异。为了调查研究3中每个水平和每个剂量组中的CL计数和组织面积的关系，将所有剂量组的CL计数和组织面积的均值和标准偏差以及在每个水平处的归一化CL计数总结在表3中。
表3总结了研究3中的每个剂量组在每个水平处的CL终点。计算CL计数终点的均值和标准偏差。CL计数和组织面积都随着水平的增加而减小，但是归一化的CL计数对于每个剂量组保持相对相同。此外，在相同的切片水平内，对于所有剂量组，当卵巢中不存在毒性时，CL计数和组织面积相对相同。由于保持相同的切片水平可能有挑战性，所以推荐归一化。(N＝15个卵巢切片/水平/剂量组)
Figure BDA0003338675610000401
当水平增加时，每个剂量组的CL计数和组织面积都减小。虽然所有剂量组中的CL计数和组织面积在每个水平内均处于相似的范围内，但是归一化仍可以减少组织面积对CL计数的影响，因此被推荐使用。根据图7C，相对于组织面积归一化的CL计数显示，对于所有剂量组，相对于组织面积归一化的CL计数没有显著差异。与原始CL计数相比，相对于组织面积归一化的CL计数在不同的水平和剂量组之间相对稳定。
V.A.8当相对于组织面积归一化时，模型生成的CL计数与病理学家的研究判读一致
为了对照病理学家对图像和研究结论的总体判读来检验该方法，除了具有卵巢毒性发现的研究3之外，还使用了来自其中病理学家观察到CL计数的剂量依赖性变化的两项研究的切片。图8A、图8B和图8C示出了对于研究3、研究4和研究5，相对于对照组和处理组中大鼠的组织面积归一化的CL计数均值。在研究3中针对用化合物A处理的大鼠没有鉴定出卵巢毒性，参见图8A。在研究4中鉴定了用化合物C处理的大鼠的卵巢毒性，参见图8B，在研究5中鉴定了用化合物D处理的大鼠的卵巢毒性，参见图8C。在研究4和研究5中，对照大鼠相比处理大鼠表现出显著的相对于组织面积归一化的CL计数，而在对照大鼠和处理大鼠中相对于组织面积归一化的CL计数是相似的。此外，100mg/kg/天的剂量组中的大鼠相比10mg/kg/天的剂量组，示出显著的相对于组织面积归一化的CL计数。P值由Wilcoxon秩和检验计算(*：p<0.05，**：p<0.01)。在研究4和研究5中，对照组中的相对于组织面积归一化的CL计数在两项研究中都显著高于每个处理组(当将对照组与任何处理组比较时，p<<0.01)，而在研究3中没有观察到归一化CL计数的显著差异(p＝0.27)。有趣的是，在图8C中，当与研究5中的高剂量组相比时，低剂量组中相对于组织面积归一化的CL计数显著较低(p<0.05)。
VI.附加考虑
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施方案中，所述系统包括非暂态计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部。本公开的一些实施方案包括有形地体现在非暂态机器可读存储介质中的计算机程序产品，其包括被配置为促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部以及/或者一种或多种过程的一部分或全部的指令。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施方案和可选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
随后的描述仅提供优选的示例性实施方案，并且不旨在限制本公开的范围、适用性或配置。相反，随后对优选的示例性实施方案的描述将为本领域技术人员提供用于实现各种实施方案的使能描述。应当理解，在不脱离所附权利要求书中所阐述的实质和范围的情况下，可以对要素的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施方案的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践这些实施方案。例如，电路、系统、网络、过程和其他部件可以展示为框图形式中的部件，以免不必要的细节使实施方案晦涩难懂。在其他情况下，为了避免使实施方案晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。

Claims (47)

1.一种方法，其包括：
从用一定量的化合物处理的一个或多个卵巢获得组织切片的图像集合；
将所述图像集合输入到神经网络模型中，所述神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器；
使用所述神经网络模型来预测针对所述图像集合内的被识别为黄体(CL)的一个或多个对象周围的边界框的坐标；
使用所述神经网络模型，基于针对所述边界框预测的所述坐标，输出在被识别为所述CL的所述一个或多个对象周围具有所述边界框的所述图像集合；
对从深度学习神经网络输出的所述图像集合内的所述边界框进行计数，以获得所述卵巢的CL计数；以及
基于所述卵巢的所述CL计数确定所述量的所述化合物的卵巢毒性。
2.根据权利要求1所述的方法，其中所述组织切片用苏木精和伊红(H&E)来染色。
3.根据权利要求1或2所述的方法，其还包括：
从所述一个或多个卵巢获得所述组织切片；
将所述组织切片镶嵌在多个载玻片上；
用苏木精和伊红(H&E)染色剂处理所述多个载玻片；以及
用成像装置对所述多个载玻片中的每个载玻片成像，以生成所述组织切片的图像集合。
4.根据权利要求1、2或3所述的方法，其中所述一个或多个卵巢是多个卵巢，并且所述图像集合包括来自所述多个卵巢中的每个卵巢的组织切片的至少一个图像。
5.根据权利要求1、2、3或4所述的方法，其中所述一个或多个卵巢来自一个或多个受试者。
6.根据权利要求1、2、3、4或5所述的方法，其中所述神经网络模型基于选自由以下项组成的组的模型架构来构造：单发多盒检测器(SSD)架构、你只需看一次(YOLO)架构和RetinaNet架构。
7.根据权利要求1至6中任一项所述的方法，其中所述神经网络模型包括使用训练数据集合训练的多个参数，所述训练数据集合包括：
来自卵巢的组织切片的经H&E染色的载玻片的多个训练图像集合，来自所述多个训练图像集合的每个训练图像集合来自多个不同的受试者之一，其中所述多个不同的受试者：(i)已经用相同或不同的化合物处理过、(ii)未用相同或不同的化合物处理过，或者(iii)前述两项的组合，以及
多个边界框集合，每个边界框与在来自所述多个训练图像集合的所述图像之一中识别的CL相关联，
其中所述损失函数将所述参数和所述多个训练图像集合与所述多个边界框集合相关联，并且所述聚焦损失降低在训练期间针对所述多个训练图像集合内的非CL形态或背景预测的边界框的权重，并且将训练聚焦在针对所述CL预测的边界框上。
8.根据权利要求7所述的方法，其中所述多个训练图像集合中的至少一个训练图像集合在用于训练之前根据所述至少一个训练图像集合内的所述图像的多个颜色通道中的每个颜色通道的图像均值的差异进行调整，所述图像均值的差异相对于所述多个训练图像集合中的另一个训练图像集合来计算。
9.根据权利要求8所述的方法，其中所述图像的多个颜色通道中的每个颜色通道的所述图像均值被计算为所述至少一个训练图像集合内的所述图像上的所述颜色通道的平均值。
10.根据权利要求1至9中任一项所述的方法，其还包括使用所述神经网络模型将所述图像集合内的所述一个或多个对象识别为所述CL，其中所述识别包括为被识别为所述CL的所述一个或多个对象中的每个对象生成概率得分，并且所述计数包括仅对所述图像集合内的被识别为所述CL并且具有大于预定概率得分阈值的概率得分的所述一个或多个对象周围的所述边界框进行计数。
11.根据权利要求1至10中任一项所述的方法，其中确定所述卵巢毒性包括将所述卵巢的所述CL计数与预定毒性阈值进行比较，当所述CL计数高于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢无毒性，并且当所述CL计数低于或等于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢有毒性。
12.根据权利要求1至11中任一项所述的方法，其中所述组织切片的所述图像集合从用所述量的所述化合物处理的受试者的卵巢获得，并且所述方法还包括：
从用所述量的所述化合物处理的所述受试者的另一个卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个卵巢的另一个CL计数；以及
求所述卵巢的所述CL计数和所述另一个卵巢的所述另一个CL计数的平均值，以获得平均CL计数，
其中所述量的所述化合物的所述卵巢毒性基于所述平均CL来确定。
13.根据权利要求1至12中任一项所述的方法，其还包括：
从未用或用不同量的所述化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；以及
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述卵巢的另一个CL计数，
其中所述量或所述不同量的所述化合物的所述卵巢毒性基于所述一个或多个卵巢的所述CL计数与所述一个或多个其他卵巢的所述另一个CL计数之间的趋势来确定。
14.根据权利要求1至12中任一项所述的方法，其还包括：
从用一定量的不同化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个受试者的所述卵巢的另一个CL计数，以及
基于所述一个或多个其他卵巢的所述CL计数确定所述量的所述不同化合物的卵巢毒性。
15.根据权利要求1至14中任一项所述的方法，其还包括提供在所述对象中的被识别为所述CL的每个对象周围具有所述边界框的所述图像集合、所述一个或多个卵巢的所述CL计数、所述量的所述化合物的所述卵巢毒性、或它们的任何组合。
16.根据权利要求15所述的方法，其还包括基于所述量的所述化合物的所述卵巢毒性，施用利用所述化合物进行的处理。
17.根据权利要求15所述的方法，其还包括基于所述量的所述化合物的所述卵巢毒性，制造或已制造所述化合物。
18.一种有形地体现在非暂态机器可读存储介质中的计算机程序产品，其包括被配置为促使一个或多个数据处理器执行动作的指令，所述动作包括：
从用一定量的化合物处理的一个或多个卵巢获得组织切片的图像集合；
将所述图像集合输入到神经网络模型中，所述神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器；
使用所述神经网络模型来预测针对所述图像集合内的被识别为黄体(CL)的一个或多个对象周围的边界框的坐标；
使用所述神经网络模型，基于针对所述边界框预测的所述坐标，输出在被识别为所述CL的所述一个或多个对象周围具有所述边界框的所述图像集合；
对从深度学习神经网络输出的所述图像集合内的所述边界框进行计数，以获得所述卵巢的CL计数；以及
基于所述卵巢的所述CL计数确定所述量的所述化合物的卵巢毒性。
19.根据权利要求18所述的计算机程序产品，其中所述组织切片用苏木精和伊红(H&E)来染色。
20.根据权利要求18或19所述的计算机程序产品，其中所述动作还包括：
从所述一个或多个卵巢获得所述组织切片；
将所述组织切片镶嵌在多个载玻片上；
用苏木精和伊红(H&E)染色剂处理所述多个载玻片；以及
用成像装置对所述多个载玻片中的每个载玻片成像，以生成所述组织切片的图像集合。
21.根据权利要求18、19或20所述的计算机程序产品，其中所述一个或多个卵巢是多个卵巢，并且所述图像集合包括来自所述多个卵巢中的每个卵巢的组织切片的至少一个图像。
22.根据权利要求18、19、20或21所述的计算机程序产品，其中所述一个或多个卵巢来自一个或多个受试者。
23.根据权利要求18、19、20、21或22所述的计算机程序产品，其中所述神经网络模型基于选自由以下项组成的组的模型架构来构造：单发多盒检测器(SSD)架构、你只需看一次(YOLO)架构和RetinaNet架构。
24.根据权利要求18至23中任一项所述的计算机程序产品，其中所述神经网络模型包括使用训练数据集合训练的多个参数，所述训练数据集合包括：
来自卵巢的组织切片的经H&E染色的载玻片的多个训练图像集合，来自所述多个训练图像集合的每个训练图像集合来自多个不同的受试者之一，其中所述多个不同的受试者：(i)已经用相同或不同的化合物处理过、(ii)未用相同或不同的化合物处理过，或者(iii)前述两项的组合，以及
多个边界框集合，每个边界框与在来自所述多个训练图像集合的所述图像之一中识别的CL相关联，
其中所述损失函数将所述参数和所述多个训练图像集合与所述多个边界框集合相关联，并且所述聚焦损失降低在训练期间针对所述多个训练图像集合内的非CL形态或背景预测的边界框的权重，并且将训练聚焦在针对所述CL预测的边界框上。
25.根据权利要求24所述的计算机程序产品，其中所述多个训练图像集合中的至少一个训练图像集合在用于训练之前根据所述至少一个训练图像集合内的所述图像的多个颜色通道中的每个颜色通道的图像均值的差异进行调整，所述图像均值的差异相对于所述多个训练图像集合中的另一个训练图像集合来计算。
26.根据权利要求25所述的计算机程序产品，其中所述图像的多个颜色通道中的每个颜色通道的所述图像均值被计算为所述至少一个训练图像集合内的所述图像上的所述颜色通道的平均值。
27.根据权利要求18至26中任一项所述的计算机程序产品，其中所述动作还包括通过所述神经网络模型将所述图像集合内的所述一个或多个对象识别为所述CL，并且其中所述识别包括为被识别为所述CL的所述一个或多个对象中的每个对象生成概率得分，并且所述计数包括仅对所述图像集合内的被识别为所述CL并且具有大于预定概率得分阈值的概率得分的所述一个或多个对象周围的所述边界框进行计数。
28.根据权利要求18至27中任一项所述的计算机程序产品，其中确定所述卵巢毒性包括将所述卵巢的所述CL计数与预定毒性阈值进行比较，当所述CL计数高于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢无毒性，并且当所述CL计数低于或等于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢有毒性。
29.根据权利要求18至28中任一项所述的计算机程序产品，其中所述组织切片的所述图像集合从用所述量的所述化合物处理的受试者的卵巢获得，并且所述动作还包括：
从用所述量的所述化合物处理的所述受试者的另一个卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个卵巢的另一个CL计数；以及
求所述卵巢的所述CL计数和所述另一个卵巢的所述另一个CL计数的平均值，以获得平均CL计数，
其中所述量的所述化合物的所述卵巢毒性基于所述平均CL来确定。
30.根据权利要求18至28中任一项所述的计算机程序产品，其中所述动作还包括：
从未用或用不同量的所述化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；以及
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述卵巢的另一个CL计数，
其中所述量或所述不同量的所述化合物的所述卵巢毒性基于所述一个或多个卵巢的所述CL计数与所述一个或多个其他卵巢的所述另一个CL计数之间的趋势来确定。
31.根据权利要求18至28中任一项所述的计算机程序产品，所述动作还包括：
从用一定量的不同化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个受试者的所述卵巢的另一个CL计数，以及
基于所述一个或多个其他卵巢的所述CL计数确定所述量的所述不同化合物的卵巢毒性。
32.根据权利要求18至31中任一项所述的计算机程序产品，其中所述动作还包括提供在所述对象中的被识别为所述CL的每个对象周围具有所述边界框的所述图像集合、所述一个或多个卵巢的所述CL计数、所述量的所述化合物的所述卵巢毒性、或它们的任何组合。
33.一种系统，其包括：
一个或多个数据处理器；以及
非暂态计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上执行时，促使所述一个或多个数据处理器执行动作，所述动作包括：
从用一定量的化合物处理的一个或多个卵巢获得组织切片的图像集合；
将所述图像集合输入到神经网络模型中，所述神经网络模型被构造为使用聚焦损失作为损失函数的至少一部分的单级检测器；
使用所述神经网络模型，来预测针对所述图像集合内的基于对象的分类而被识别为黄体(CL)的一个或多个对象周围的边界框的坐标；
使用所述神经网络模型，基于针对所述边界框预测的所述坐标，输出在被识别为所述CL的所述一个或多个对象周围具有所述边界框的所述图像集合；
对从深度学习神经网络输出的所述图像集合内的所述边界框进行计数，以获得所述卵巢的CL计数；以及
基于所述卵巢的所述CL计数确定所述量的所述化合物的卵巢毒性。
34.根据权利要求33所述的系统，其中所述组织切片用苏木精和伊红(H&E)来染色。
35.根据权利要求33或34所述的系统，其中所述动作还包括：
从所述一个或多个卵巢获得所述组织切片；
将所述组织切片镶嵌在多个载玻片上；
用苏木精和伊红(H&E)染色剂处理所述多个载玻片；以及
用成像装置对所述多个载玻片中的每个载玻片成像，以生成所述组织切片的图像集合。
36.根据权利要求33、34或35所述的系统，其中所述一个或多个卵巢是多个卵巢，并且所述图像集合包括来自所述多个卵巢中的每个卵巢的组织切片的至少一个图像。
37.根据权利要求33、34、35或36所述的系统，其中所述一个或多个卵巢来自一个或多个受试者。
38.根据权利要求33、34、35、36或37所述的系统，其中所述神经网络模型基于选自由以下项组成的组的模型架构来构造：单发多盒检测器(SSD)架构、你只需看一次(YOLO)架构和RetinaNet架构。
39.根据权利要求33至38中任一项所述的系统，其中所述神经网络模型包括使用训练数据集合训练的多个参数，所述训练数据集合包括：
来自卵巢的组织切片的经H&E染色的载玻片的多个训练图像集合，来自所述多个训练图像集合的每个训练图像集合来自多个不同的受试者之一，其中所述多个不同的受试者：(i)已经用相同或不同的化合物处理过、(ii)未用相同或不同的化合物处理过，或者(iii)前述两项的组合，以及
多个边界框集合，每个边界框与在来自所述多个训练图像集合的所述图像之一中识别的CL相关联，
其中所述损失函数将所述参数和所述多个训练图像集合与所述多个边界框集合相关联，并且所述聚焦损失降低在训练期间针对所述多个训练图像集合内的非CL形态或背景预测的边界框的权重，并且将训练聚焦在针对所述CL预测的边界框上。
40.根据权利要求39所述的系统，其中所述多个训练图像集合中的至少一个训练图像集合在用于训练之前根据所述至少一个训练图像集合内的所述图像的多个颜色通道中的每个颜色通道的图像均值的差异进行调整，所述图像均值的差异相对于所述多个训练图像集合中的另一个训练图像集合来计算。
41.根据权利要求40所述的系统，其中所述图像的多个颜色通道中的每个颜色通道的所述图像均值被计算为所述至少一个训练图像集合内的所述图像上的所述颜色通道的平均值。
42.根据权利要求33至41中任一项所述的系统，其中所述动作还包括通过所述神经网络模型将所述图像集合内的所述一个或多个对象识别为所述CL，并且其中所述识别包括为被识别为所述CL的所述一个或多个对象中的每个对象生成概率得分，并且所述计数包括仅对所述图像集合内的被识别为所述CL并且具有大于预定概率得分阈值的概率得分的所述一个或多个对象周围的所述边界框进行计数。
43.根据权利要求33至42中任一项所述的系统，其中确定所述卵巢毒性包括将所述卵巢的所述CL计数与预定毒性阈值进行比较，当所述CL计数高于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢无毒性，并且当所述CL计数低于或等于所述预定毒性阈值时，确定所述量的所述化合物对所述卵巢有毒性。
44.根据权利要求33至43中任一项所述的系统，其中所述组织切片的所述图像集合从用所述量的所述化合物处理的受试者的卵巢获得，并且所述动作还包括：
从用所述量的所述化合物处理的所述受试者的另一个卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个卵巢的另一个CL计数；以及
求所述卵巢的所述CL计数和所述另一个卵巢的所述另一个CL计数的平均值，以获得平均CL计数，
其中所述量的所述化合物的所述卵巢毒性基于所述平均CL来确定。
45.根据权利要求33至43中任一项所述的系统，其中所述动作还包括：
从未用或用不同量的所述化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；以及
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述卵巢的另一个CL计数，
其中所述量或所述不同量的所述化合物的所述卵巢毒性基于所述一个或多个卵巢的所述CL计数与所述卵巢的所述另一个CL计数之间的趋势来确定。
46.根据权利要求33至43中任一项所述的系统，所述动作还包括：
从用一定量的不同化合物处理的一个或多个其他卵巢获得组织切片的另一个图像集合；
使用所述神经网络模型，基于针对边界框预测的坐标，生成在所述另一个图像集合内的对象中的被识别为所述CL的一个或多个对象周围具有所述边界框的所述另一个图像集合；
对从所述深度学习神经网络输出的所述另一个图像集合内的所述边界框进行计数，以获得所述另一个受试者的所述卵巢的另一个CL计数，以及
基于所述一个或多个其他卵巢的所述CL计数确定所述量的所述不同化合物的卵巢毒性。
47.根据权利要求33至46中任一项所述的系统，其中所述动作还包括提供在所述对象中的被识别为所述CL的每个对象周围具有所述边界框的所述图像集合、所述一个或多个卵巢的所述CL计数、所述量的所述化合物的所述卵巢毒性、或它们的任何组合。
CN202080033737.7A 2019-04-15 2020-04-14 使用深度学习在组织病理学图像中进行卵巢毒性评估 Pending CN113811918A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962834237P 2019-04-15 2019-04-15
US62/834,237 2019-04-15
PCT/US2020/028100 WO2020214580A1 (en) 2019-04-15 2020-04-14 Ovarian toxicity assessment in histopathological images using deep learning

Publications (1)

Publication Number Publication Date
CN113811918A true CN113811918A (zh) 2021-12-17

Family

ID=71094788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080033737.7A Pending CN113811918A (zh) 2019-04-15 2020-04-14 使用深度学习在组织病理学图像中进行卵巢毒性评估

Country Status (5)

Country Link
US (1) US12067716B2 (zh)
EP (1) EP3956860A1 (zh)
JP (1) JP7553467B2 (zh)
CN (1) CN113811918A (zh)
WO (1) WO2020214580A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457024A (zh) * 2022-10-10 2022-12-09 水木未来(杭州)科技有限公司 冷冻电镜图像处理方法、装置、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326867B2 (ja) * 2019-05-21 2023-08-16 富士通株式会社 情報処理装置、情報処理プログラム及び情報処理方法
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
CN112686276B (zh) * 2021-01-26 2024-09-13 重庆大学 一种基于改进RetinaNet网络的火焰检测方法
WO2023017677A1 (ja) * 2021-08-13 2023-02-16 キヤノン株式会社 学習装置、物体検出装置、学習方法、物体検出方法
US11657280B1 (en) * 2022-11-01 2023-05-23 Plusai, Inc. Reinforcement learning techniques for network-based transfer learning
US20240161364A1 (en) * 2022-11-08 2024-05-16 Adobe Inc. Generating image mattes without trimap segmenetations via a multi-branch neural network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025517B1 (fr) * 2014-09-10 2016-12-23 Repropharm Ligands potentialisants de la bioactivite des gonadotrophines
CA3059436A1 (en) * 2017-04-12 2018-10-18 Kindex Therapeutics, Llc Use of isohumulones and derivatives thereof to treat polycystic ovary syndrome
US11010641B2 (en) * 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457024A (zh) * 2022-10-10 2022-12-09 水木未来(杭州)科技有限公司 冷冻电镜图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220036548A1 (en) 2022-02-03
JP7553467B2 (ja) 2024-09-18
JP2022529259A (ja) 2022-06-20
EP3956860A1 (en) 2022-02-23
US12067716B2 (en) 2024-08-20
WO2020214580A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN113811918A (zh) 使用深度学习在组织病理学图像中进行卵巢毒性评估
US10783641B2 (en) Systems and methods for adaptive histopathology image unmixing
Liu et al. Detecting cancer metastases on gigapixel pathology images
Liu et al. An end-to-end deep learning histochemical scoring system for breast cancer TMA
US20200388028A1 (en) Machine learning for digital pathology
US20220237789A1 (en) Weakly supervised multi-task learning for cell detection and segmentation
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
Sankarapandian et al. A pathology deep learning system capable of triage of melanoma specimens utilizing dermatopathologist consensus as ground truth
US20240265541A1 (en) Biological context for analyzing whole slide images
Isaksson et al. Semantic segmentation of microscopic images of H&E stained prostatic tissue using CNN
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
Tran et al. Thyroid carcinoma detection on whole histologic slides using hyperspectral imaging and deep learning
JP2024530388A (ja) 多重免疫蛍光イメージングを使用する組織学的染色のデジタル合成
Tosta et al. A stain color normalization with robust dictionary learning for breast cancer histological images processing
Paeng et al. A unified framework for tumor proliferation score prediction in breast histopathology
Shaikh et al. Artifact identification in digital histopathology images using few-shot learning
Bórquez et al. Uncertainty estimation in the classification of histopathological images with HER2 overexpression using Monte Carlo Dropout
Benny et al. Semantic segmentation in immunohistochemistry breast cancer image using deep learning
Guerrero et al. Improvements in lymphocytes detection using deep learning with a preprocessing stage
CN117425912A (zh) 将组织化学染色图像转换成合成免疫组织化学(ihc)图像
Mao et al. Single generative networks for stain normalization and quality enhancement of histological images in digital pathology
Jitaree et al. Classifying breast cancer regions in microscopic image using texture analysis and neural network
Baldeon-Calisto et al. Deepsit: Deeply supervised framework for image translation on breast cancer analysis
JP7505116B2 (ja) デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正
Ko et al. A whole slide Ki-67 proliferation analysis system for breast carcinoma

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination