CN114503153A - 利用神经网络及非局部块进行分割的疾病诊断系统及方法 - Google Patents

利用神经网络及非局部块进行分割的疾病诊断系统及方法 Download PDF

Info

Publication number
CN114503153A
CN114503153A CN202080051105.3A CN202080051105A CN114503153A CN 114503153 A CN114503153 A CN 114503153A CN 202080051105 A CN202080051105 A CN 202080051105A CN 114503153 A CN114503153 A CN 114503153A
Authority
CN
China
Prior art keywords
patch
neural network
disease
result
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051105.3A
Other languages
English (en)
Inventor
金善禹
曹浚宁
李尚勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN114503153A publication Critical patent/CN114503153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

公开了一种如下的疾病诊断系统及其方法：通过神经网络进行学习并利用经过学习的神经网络及非局部块，可在生物组织的图像中分割存在疾病的区域。根据本发明的一方面，提供一种疾病诊断系统，其在包括处理器及用于存储神经网络的存储装置的系统中实现，利用作为生物图像的载玻片和上述神经网络，上述疾病诊断系统包括补丁级别分割神经网络，上述补丁级别分割神经网络对于将上述载玻片分割成规定大小的每个规定补丁，接收上述补丁作为输入层来特定上述补丁中存在疾病的区域，上述补丁级别分割神经网络包括：补丁级别分类神经网络，用于接收上述补丁作为输入层，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果；以及补丁级别分割架构，用于接收上述补丁级别分类神经网络中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图，特定上述补丁中存在疾病的区域，上述补丁级别分割架构包括：非局部相关关系计算子架构，包括与上述2个以上的特征提取层分别对应的非局部相关关系计算节点，上述非局部相关关系计算节点分别进行对从与其对应的特征提取层输入的特征图的非局部相关关系计算过程，上述非局部相关关系计算过程为进行卷积的过程、进行非局部块的过程，或者并行卷积及非局部块的过程；以及分割子架构，基于上述非局部相关关系计算子架构中生成的结果来特定上述补丁中存在疾病的区域。

Description

利用神经网络及非局部块进行分割的疾病诊断系统及方法
技术领域
本发明涉及一种利用神经网络的疾病诊断系统及其方法。更加详细地，涉及一种如下的疾病诊断系统及其方法：通过神经网络进行学习并利用经过学习的神经网络及非局部块，可在生物组织的图像中分割存在疾病的区域。
背景技术
在病理学或病理科中进行的主要业务之一是通过读取患者的生物图像来进行诊断以判断特定疾病的状态或症状。这种诊断是一种长期依赖于熟练的医务人员的经验和知识的方法。
近年来，由于机器学习的发展，正在积极尝试通过计算机系统自动进行诸如图像识别或分类之类的业务。尤其，正在尝试利用作为一种机器学习的神经网络(例如，利用卷积神经网络(Convolution neural network，CNN)的深度学习方式)自动进行由熟练的医疗人员进行的诊断。
尤其，通过利用神经网络(例如，CNN)的深度学习进行诊断，这并不是简单地将以往熟练的医务人员的经验和知识自动化，而是通过自学习而找到特征元素，并导出所需答案，从这方面而言，反而在某些情况下，可在图像中找出熟练的医务人员未知的疾病因素特征。
通常，当利用生物图像来通过神经网络诊断疾病时，利用生物图像的碎片，即补丁(pathch，或者也称为瓦片(tile))。即，对该瓦片熟练的医务人员对特定疾病的状态(例如，是否表达癌症)进行注解(annotaion)，并利用这种注解的多个瓦片作为训练数据来学习。在此情况下，作为上述神经网络，可以利用卷积神经网络。
但是，在这种方式的情况下，经过学习的神经网络仅通过相应瓦片的图像特征来判断相应瓦片的疾病的状态，实际上，在针对特定疾病判断特定生物组织的状态时，某些情况下不仅需要考虑上述特定生物组织本身，还需要一并考虑上述特定生物组织的周围组织的现况(例如，形状、是否存在特定模式等)。但是现有方式存在不适合这种情况的问题。
并且，在根据补丁单位的诊断结果判断每个补丁是否表达疾病的情况下，特定补丁可以输出疾病已表达的诊断结果，但在更广泛的范围内，可能存在判断为疾病未表达的可能性。因此，可能需要基于每个补丁的诊断结果单独判断疾病是否在包括相应补丁的整个载玻片中表达。
并且，在根据补丁单位的诊断结果判断每个补丁是否表达疾病(即，对每个补丁进行分类)，并将补丁单位诊断结果直接可视化的情况下，可能存在甚至可视化实际上不是组织(tissues)的部分的问题。因此，为了能够明确地掌握被诊断为疾病的组织部分，可能需要能够从补丁中区分疾病区域的分割。
另一方面，在利用生物图像并通过神经网络诊断疾病时，由于通过二维图像诊断三维前列腺，因而可能会产生切线(tangential)问题。例如，当病理学家在不同的载玻片发现形状相似的腺体(gland)时，会通过查看周围的腺体来区分诊断结果(例如，灵性/阴性、格里森评分3分、4分等)。即，病理学家通常会查看周围后做出诊断，但大多数现有的深度学习网络无法反应这些。
现有技术文献
专利文献：韩国公开专利10-2016-0034814“伴随神经网络的客户端装置及包括其的系统”。
发明内容
技术问题
本发明所要实现的技术问题是提供一种如下的利用神经网络的诊断系统及其方法：不仅能够通过特定补丁区分疾病是否发生，而且能够从相应补丁中区分疾病发生的区域。尤其是提供一种如下的诊断系统及其方法：通过在能够判断补丁中是否存在疾病的分类神经网络架构中增加用于分割的子架构，从而可以有效地进行用于区分疾病发生区域的分割。
并且，提供一种如下的利用神经网络的诊断系统及其方法：为了判断特定补丁的疾病状态(例如，用于表示疾病的表达与否或疾病状态的指标等)，在学习中除了利用上述特定瓦片之外，还利用周围瓦片，从而可以进一步提高准确度。
并且，提供一种如下的诊断系统及其方法：并非仅利用每个补丁的诊断结果本身，而是可通过在包括相应补丁在内的广泛的生物组织中应用上述每个补丁的诊断结果来有效且准确地诊断是否表达疾病。
解决问题的手段
根据本发明的一方面，提供一种疾病诊断系统，其在包括处理器及用于存储神经网络的存储装置的系统中实现，利用作为生物图像的载玻片和上述神经网络，上述疾病诊断系统包括补丁级别分割神经网络，上述补丁级别分割神经网络对于将上述载玻片分割成规定大小的每个规定补丁，接收上述补丁作为输入层来特定上述补丁中存在疾病的区域，上述补丁级别分割神经网络包括：补丁级别分类神经网络，用于接收上述补丁作为输入层，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果；以及补丁级别分割架构，用于接收上述补丁级别分类神经网络中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图，特定上述补丁中存在疾病的区域，上述补丁级别分割架构包括：非局部相关关系计算子架构，包括与上述2个以上的特征提取层分别对应的非局部相关关系计算节点，上述非局部相关关系计算节点分别进行对从与其对应的特征提取层输入的特征图的非局部相关关系计算过程，上述非局部相关关系计算过程为进行卷积(Convolution)的过程、进行非局部块(Non-local Block)的过程，或者并行卷积及非局部块的过程；以及分割子架构，基于上述非局部相关关系计算子架构中生成的结果来特定上述补丁中存在疾病的区域。
在一实施例中，对于上述非局部相关关系计算子架构中生成的结果，上述分割子架构可通过卷积及级联(concatenation)来生成与上述补丁中存在疾病的区域对应的掩码。
在一实施例中，上述补丁级别分类神经网络中包括的特征图提取层可包括低级特征提取层、中级特征提取层及高级特征提取层，上述非局部相关关系计算子架构可包括：低级非局部相关关系计算节点，通过对上述低级特征提取层输入的特征图进行卷积过程来生成第一卷积结果物；中级非局部相关关系计算节点，通过对上述中级特征提取层输入的特征图并行非局部块过程及卷积过程来生成第一非局部结果物及第二卷积结果物；以及高级非局部相关关系计算节点，通过对上述高级特征提取层输入的特征图进行非局部块过程来生成第二非局部结果物。
在一实施例中，上述分割子架构可通过对将第一非局部结果物、第二卷积结果物及上述第二非局部结果物放大而得到的结果物进行级联来生成第一中间结果物，上述分割子架构可通过将对上述第一中间结果物进行卷积及放大而得到的第二中间结果物与上述第一卷积结果物级联来生成第三中间结果物，上述分割子架构可通过对上述第三中间结果物进行卷积来生成与上述补丁中存在疾病的区域对应的掩码。
在一实施例中，上述疾病诊断系统还可包括载玻片诊断引擎，上述载玻片诊断引擎对上述载玻片中包括的多个补丁中每个补丁的补丁级别分类结果被分类为疾病的补丁进行标记，并基于标记的结果输出载玻片级别诊断结果，即上述载玻片中是否存在疾病。
在一实施例中，本发明的特征在于，上述疾病可以是前列腺癌。
根据本发明的再一方面，提供一种疾病诊断方法，其在包括处理器及用于存储神经网络的存储装置的系统中实现，利用作为生物图像的载玻片和上述神经网络，其包括如下的步骤，即，上述疾病诊断系统对于将上述载玻片分割成规定大小的每个规定补丁，并通过上述神经网络的输入层接收上述补丁来特定上述补丁中存在疾病的区域，上述补丁级别分割神经网络包括：补丁级别分类神经网络，用于接收上述补丁作为输入层，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果；以及补丁级别分割架构，用于接收上述补丁级别分类神经网络中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图，特定上述补丁中存在疾病的区域，上述补丁级别分割架构包括：非局部相关关系计算子架构，包括与上述2个以上的特征提取层分别对应的非局部相关关系计算节点，上述非局部相关关系计算节点分别进行对从与其对应的特征提取层输入的特征图的非局部相关关系计算过程，上述非局部相关关系计算过程为进行卷积(Convolution)的过程、进行非局部块(Non-local Block)的过程，或者并行卷积及非局部块的过程；以及分割子架构，基于上述非局部相关关系计算子架构中生成的结果来特定上述补丁中存在疾病的区域。
在一实施例中，上述疾病诊断方法还可包括如下在步骤，即，上述疾病诊断系统对上述载玻片中包括的多个补丁中每个补丁的补丁级别分类结果被分类为疾病的补丁进行标记，并基于标记的结果输出载玻片级别诊断结果，即上述载玻片中是否存在疾病。
根据本发明的另一方面，提供一种计算机程序，设置于数据处理装置并记录在用于进行疾病诊断方法的介质中。
发明的效果
根据本发明的技术思想，可以提供如下的利用神经网络的疾病诊断系统及方法：除了能够判断每个补丁是否发生疾病的补丁级别分类之外，还可以进行甚至能够从相应补丁中区分疾病发生区域的补丁级别分割。并且，可以提供客通过反映病理学观点(Pathologic view)来实现更细致的诊断的深度学习网络。
并且，根据本发明的技术思想，提供一种能够在对特定补丁进行诊断的同时，一并考虑包括上述特定补丁并进一步包括周围补丁的宏补丁来判断上述特定补丁的疾病状态的神经网络，具有可以提供更高诊断准确度的效果。
并且，根据本发明的技术思想，为了解决仅通过每个补丁的诊断结果本身判断包括相应补丁的载玻片中表达疾病时的问题，利用聚类及聚类的多个特征(features)重新判断包括相应补丁的载玻片中是否表达疾病，从而具有可以进行有效且高准确度的诊断的效果。
附图说明
为了更加充分理解在本发明的详细说明中引用的附图而提供各个附图的简单说明。
图1为示出本发明技术思想的利用神经网络及非局部块进行分割的疾病诊断系统的简要系统配置的图。
图2为用于说明本发明实施例的利用神经网络的疾病诊断系统的硬件配置的图。
图3为用于说明本发明实施例的利用神经网络的疾病诊断系统的逻辑配置的图。
图4为用于说明本发明一实施例的补丁级别分割神经网络的整体结构的图。
图5为用于说明本发明实施例的补丁级别分类神经网络的配置的图。
图6为用于说明本发明另一实施例的补丁级别分类神经网络的示例性配置的图。
图7为用于说明上述补丁级别分割架构的整体结构的图。
图8a为示出本发明一实施例的补丁级别分割神经网络的具体例的图，图8b为示出图8a的深度神经网络的一例的图。
图9为用于说明本发明实施例的两张脸的疾病诊断方法的概念的图。
图10为示出本发明一实施例的根据补丁级别诊断结果的标记结果的图。
具体实施方式
本发明可进行多种变换，并可具有多种实施例，将特定实施例例示在附图并在详细的说明中对其进行详细说明。但是，应理解的是这并非将本发明限定在特定实施形态，而是包括本发明的思想及技术范围内的所有变换、等同技术方案或代替技术方案。在说明本发明的过程中，在判断为对于相关的公知技术的说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。
第一、第二等的术语可用于说明多种结构要素，上述结构要素并不局限于上述术语。上述术语可用于区分两种结构要素。
在本申请中所使用的术语仅用于说明特定实施例，而并非用于限定本发明。除非文脉上明确表示，单数的表达包括复数的表达。
在本说明书中，“包括”或“具有”等的术语用于指定在说明书上记载的特征、数字、步骤、动作、结构要素、部件或这些组合的存在，而并非预先排除一个或一个以上的其他特征、数字、步骤、动作、结构要素、部件或这些组合的存在或附可能性。
并且，在本说明书中，当一个结构要素向其他结构要素“传输”数据时，上述结构要素可以向上述其他结构要素直接传输数据，也可以通过至少一个又一结构要素向上述其他结构要素传输数据。相反，当一个结构要素向其他结构要素“直接传输”数据时，在上述结构要素中并不通过又一结构要素向上述其他结构要素传输上述数据。
以下，参照附图，以本发明的实施例为中心，详细说明本发明。在各个附图中揭示的相同的附图标记表示相同的部件。
图1为示出本发明技术思想的利用神经网络及非局部块进行分割的疾病诊断系统(以下，称为“诊断系统100”)简要系统配置的图。
参照图1，根据本发明技术思想的诊断系统100可通过设置于规定服务器10来实现本发明的技术思想。上述服务器10是指用于实现本发明的技术思想的具有运算能力的数据处理装置，本发明技术领域的普通技术人员可以容易地推断出除了通常可以通过网络连接的数据处理装置之外，任何能够进行特定服务的设备，例如个人计算机或便携式终端等都可以被定义为服务器。
如图2所示，上述服务器10可以包括处理器11及存储装置12。上述处理器11可以指能够驱动用于实现本发明的技术思想的程序12-1的运算装置，上述处理器11可以利用上述程序12-1和由本发明的技术思想定义的神经网络(Neural Network)12-2进行诊断。上述神经网络12-2可以包括进行如下所述的补丁级别诊断的补丁级别分割神经网络。并且，上述补丁级别分割神经网络也可以进行用于特定补丁中存在疾病的区域的补丁级别分割。
根据实例，上述神经网络12-2还可包括进行载玻片级别诊断的神经网络。根据实施例，上述进行载玻片级别诊断的配置除了神经网络之外，还可通过各种机器学习技术来实现。根据本发明的技术思想，作为进行载玻片级别诊断的上述诊断引擎，虽然利用了已知的XGBoost，但可以实现根据各种方式的机器学习技术的诊断引擎，当然，这种诊断引擎可以存储于上述存储装置12中。
如图2所示，上述服务器10可以包括处理器11及存储装置12。上述处理器11可以指能够驱动用于实现本发明的技术思想的程序12-1的运算装置，上述处理器11可以利用上述程序12-1和由本发明的技术思想定义的神经网络(Nerual Network)12-2进行诊断。
上述神经网络12-2可以包括进行如下所述的补丁级别诊断的神经网络。进行补丁级别诊断的神经网络可以判断作为分割载玻片得到的一部分的补丁中是否存在疾病。并且，进行补丁级别诊断的神经网络可以对相应补丁中疾病的发生区域进行特定分割，以下，将这种神经网络称为补丁级别分割神经网络。
根据实例，上述神经网络12-2还可包括进行载玻片级别诊断的神经网络。根据实施例，上述进行载玻片级别诊断的配置除了神经网络之外，还可通过各种机器学习技术实现。根据本发明的技术思想，作为进行载玻片级别诊断的上述诊断引擎，虽然利用了已知的XGBoost，但可以实现根据各种方式的机器学习技术的诊断引擎，当然，这种诊断引擎可以存储于上述存储装置12中。
上述存储装置12可以指能够存储上述程序12-1、神经网络12-2和/或进行载玻片级别诊断的诊断引擎的数据存储单元，根据实例，也可以实现为多个存储单元。并且，上述存储装置12可以指除了上述服务器10中包括的主记忆装置之外，还包括上述处理器11中可以包括的临时存储装置或存储器等。
尽管在图1或图2中示出上述诊断系统100实现为任一物理装置，但本发明技术领域的普通技术人员可以容易地推断出可根据需要，通过有机结合多个物理装置来实现根据本发明技术思想的诊断系统100。
在本说明书中，上述诊断系统100进行诊断可以指通过接收表达生物组织的生物图像，即整个载玻片或作为上述载玻片的一部分的补丁，输出在本说明书中定义的输出数据的一系列流程。
根据一例，上述诊断系统100可以进行两阶段(two phase)诊断。第一阶段可以是进行补丁级别诊断的过程，在此过程中，上述诊断系统100可以接收载玻片的每个补丁的输入，输出相应补丁中是否表达疾病，和/或特定相应补丁中发生疾病的区域。当然，可以学习并实现用于此的神经网络。
在第二阶段中，可以通过第一阶段的诊断结果输出载玻片中是否表达疾病。这种过程可以利用神经网络或规定机器学习技术。
即，即使根据每个补丁的诊断结果判断一些补丁已表达疾病，也可能存在未被判断为与包括相应补丁的整个载玻片对应的生物组织中已表达疾病的可能性。例如，判断为已表达疾病的多个补丁散布在载玻片中，或者其数量少，或者密集度等其他判断为已表达疾病的多个补丁的物理特性(例如，位置、大小、密集度等)在实际对应的载玻片中判断是否表达疾病方面可具有重要的意义。因此，在第二阶段中，通过基于每个补丁的诊断结果和基于这种诊断结果判断的多个补丁(即，诊断为已表达疾病的多个补丁)的特性，判断载玻片中是否表达疾病，从而可以有效且高度准确地进行诊断。
另一方面，根据本发明的技术思想，进行补丁级别诊断的神经网络可以进一步考虑相应补丁的周围补丁来进行诊断，而不是仅利用相应补丁进行诊断。在本申请人提交的韩国专利申请(申请号10-2016-0168176，利用神经网络的疾病诊断系统及其方法，以下，称为“在先申请”)中详细公开了这种技术思想。由此，与考虑非常局部的区域，即，单独考虑与补丁对应的区域来进行诊断的情况相比，当一同考虑其周围区域时，可以提高诊断的准确性。尤其，根据本发明的技术思想，除了特定补丁的周围补丁之外，还考虑整个载玻片中多个补丁的位置、密集度、聚类的大小等物理特性，具有可以更加准确地判断载玻片中是否存在疾病的效果。在先申请以引用方式并入本发明，并且其内容可视为记载于本说明书中。
当然，根据本发明的另一实施例，也可以利用单向神经网络(one-way)神经网络，而不是利用如同在先申请的微网络和宏网络，即双向神经网络(two-way)方式的神经网络。例如，本发明实施例的神经网络可以如图6所示。
在任何情况下，上述神经网络只要是被定义为接收补丁并输出补丁中是否表达疾病的神经网络即可。在此情况下，上述神经网络的特征可以是除了原始输入值(例如，RGB三通道)，还可以接收灰色通道作为输入值来学习以进行诊断。
另一方面，进行补丁级别诊断的神经网络输出的状态信息可以是表示在与上述补丁对应的组织中是否表达特定疾病(例如，特定类型的癌)的概率的信息。当出现特定参考值(阈值)以上的概率时，上述神经网络可将上述补丁判断为表达疾病(例如，前列腺癌)的补丁。
当然，如在先申请中所公开，上述神经网络也可以是除了是否表达特定疾病之外，还表示特定疾病的进展程度的信息(或与上述进展程度对应的概率)。例如，当本发明的技术思想用于诊断前列腺癌时，上述神经网络输出的状态信息中可以包括作为表示前列腺癌的进展程度的指标的格里森模式(Gleason Pattern)或格里森评分(Gleason Score)。例如，格里森评分的值为2至5，数字越大表示前列腺癌的表达程度越严重。因此，上述状态信息也可以指与作为诊断对象的补丁对应的生物组织对应于格里森评分的特定值(例如，3、4或5)的概率。
上述状态信息可以存在多个。例如，第一状态信息可以表示格里森评分为3的概率，第二状态信息可以表示格里森评分为4的概率，第三状态信息可以表示格里森评分为5的概率，与这些第一状态信息、第二状态信息、第三状态信息对应的状态通道均可以定义在上述输出层中。根据实例，也可以定义表示格里森评分具有规定范围(例如，3至5、4至5等)的概率的状态信息。即，一个状态信息也可以对应于表达疾病的进展状态的多个指标。
在此情况下，当格里森评分为3以上的状态信息为规定阈值以上时，上述神经网络可以判断上述补丁为疾病补丁，即表达疾病的补丁。
另一方面，上述神经网络所利用的阈值能够以各种方式设置。根据实施例，可以利用多个上述阈值。当然，特定补丁可根据阈值被判断为表达疾病的补丁，即疾病补丁，也可以被判断为正常补丁。
根据本发明的技术思想，上述神经网络所利用的阈值可以有多个，在此情况下，根据多个阈值中的每个阈值诊断的疾病补丁可能不同。因此，根据每个阈值，疾病补丁配置在载玻片上的特性也可能不同。因此，当利用某些阈值时，载玻片中的诊断结果的准确度也可能不同。
因此，如下所述，本发明的技术思想能够被实现为使得载玻片诊断引擎多重性地考虑根据多个阈值中的每个阈值诊断的多个疾病补丁在载玻片中的物理特性，进行载玻片的诊断。这种技术思想将进行后述。
当上述诊断系统100通过包括在规定服务器10中来实现时，上述诊断系统100也可以与可连接上述服务器10的至少一个客户端(例如，20、20-1)进行通信。在此情况下，上述客户端(例如，20、20-1)可以向上述诊断系统100传输生物图像，上述诊断系统100可以对被传输的生物图像进行根据本发明技术思想的诊断。另外，也可以向上述客户端(例如，20、20-1)传输诊断结果。
上述诊断系统100可以利用根据本发明技术思想的神经网络进行补丁级别诊断。当然，为了进行这种诊断，也可以先进行上述神经网络的学习过程。
并且，如上所述，载玻片级别诊断也可以利用规定神经网络。
因此，上述诊断系统100也可以是通过从外部接收用于根据本发明的技术思想学习的神经网络及上述神经网络进行诊断的程序来进行诊断的系统，也可以是甚至进行上述神经网络的学习的系统。并且，上述诊断系统100可以不是通用的数据处理装置，而是可以被实现为用于实现本发明的技术思想的专用装置，在此情况下，还可以具有用于扫描生物图像的单元等。
如在先申请中所公开，上述神经网络可以具有如下特征：为了对特定补丁进行诊断，并非仅考虑上述特定补丁本身的图像，而是还考虑与上述特定补丁相邻的至少一个补丁的图像来进行对上述特定补丁的诊断。通过这种技术思想，实际上具有如下效果：为了诊断与特定补丁对应的生物组织，在不仅要考虑上述生物组织，还要考虑上述生物组织的周围组织状态的疾病诊断中，可将准确度提高到非常显着的水平。并且，在将生物图像分割为多个补丁时，可以对根据补丁的分割方式或分割的区域在生物组织中的位置可能发生的诊断结果的影响具有很强的效果。
当然，如上所述，上述神经网络也可以不具有在先申请中公开的特征，在任何情况下，上述神经网络都可以是学习为对每个补丁进行诊断的神经网络。
在此情况下，与现有技术不同，上述神经网络还可以接收附加通道作为补丁中包括的每个像素的输入值。上述附加通道可以是每个像素的灰色值。因此，上述神经网络在接收每个补丁的输入的同时，还可以接收上述补丁中包括的多个像素的原始值(例如，RGB)三通道以及灰色通道作为附加通道。
在此情况下，当生物图像的颜色可以被与疾病相关的图像特性无关的因素(例如，诊断机构的特性、染色试剂等)改变时，可以具有很强的效果。当然，当用颜色反映并显示仅利用灰色通道而不是简单地利用原来的原始值时可能发生的与疾病相关的图像特性时，可能存在这种重要的信息无法反映到学习上的问题，这种问题可以解决。
用于实现这种技术思想的上述诊断系统100在逻辑上可以具有如图3所示的配置。
图3为本发明实施例的利用神经网络的疾病诊断系统的逻辑结构的图。
参照图3，上述诊断系统100包括控制模块110及存储有上述神经网络和/或载玻片诊断引擎的诊断模块120。并且，上述诊断系统100还可包括预处理模块130。根据本发明的实施例，上述结构要素中的一些结构要素不一定对应于对本发明的实现必不可少的结构要素，并且，根据实施例，上述诊断系统100当然可以包括比这些更多的结构要素。例如，上述诊断系统100还可包括用于与上述客户端(例如，20、20-1)通信的通信模块(未图示)。
上述诊断系统100可以指包括实现本发明的技术思想所必需的硬件资源(resource)和/或软件的逻辑配置，并且不一定是指单个物理结构要素或单个装置。即，上述诊断系统100可以指为实现本发明的技术思想而设置的硬件和/或软件的逻辑组合，如有必要，可以通过设置在相互隔开的装置中并进行每个功能来实现为用于实现本发明的技术思想的多个逻辑配置的集合。并且，上述诊断系统100也可以指用于实现本发明的技术思想的每个功能或按作用单独实现的多个配置的集合。例如，上述控制模块110、上述诊断模块120和/或上述预处理模块130可分别位于不同的物理装置，也可以位于相同的物理装置。并且，根据实例，上述控制模块110、分别构成上述诊断模块120和/或上述预处理模块130的软件和/或硬件的组合也位于不同的物理装置，位于不同的物理装置的多个配置可通过有机结合来实现每个上述模块。
并且，在本说明书中，模块可以指用于进行本发明技术思想的硬件以及用于驱动上述硬件的软件的功能和结构组合。例如，本发明技术领域的普通技术人员可以容易地推断出上述模块可以指规定代码和用于进行上述规定代码的硬件资源(resource)的逻辑单元，并不一定指物理连接的代码或一种硬件。
上述控制模块110可以控制包括在上述诊断系统100中以实现本发明的技术思想的其他配置(例如，上述诊断模块120和/或上述预处理模块130等)。
并且，上述控制模块110可以利用存储于上述诊断模块120的神经网络和/或载玻片诊断引擎来进行根据本发明技术思想的诊断。
上述控制模块110可以从上述诊断模块120中存储的补丁级别神经网络，即经过学习的神经网络接收输入数据，即每个补丁的输入。另外，可通过进行由神经网络定义的多个运算来输出数据，即，输出与对应于补丁的疾病表达概率对应的特征值。并且，根据实施例，可以特定补丁中表达疾病的区域。并且，根据实施例，为了如下所述的载玻片级别诊断，也可以根据上述特征值是否为规定阈值来输出相应补丁是否表达疾病。
上述诊断模块120可以包括：补丁诊断引擎，用于进行补丁级别诊断；以及载玻片诊断引擎，用于进行载玻片级别诊断。
如上所述，上述补丁级别诊断引擎可通过基于根据本发明技术思想的深度学习的神经网络来实现。上述载玻片诊断引擎可以利用基于深度学习的神经网络，也可以利用并非神经网络的规定机器学习(例如，XGBoost)引擎。
上述神经网络可以指表达用于定义神经网络的一系列设计项的信息集合。在本说明书中，上述神经网络可以是卷积神经网络。
如众所周知，上述卷积神经网络可以包括输入层、多个隐藏层及输出层。多个隐藏层可以分别包括卷积层及池化层(或子采样层)。
卷积神经网络可以由用于定义这些每个层的函数、滤波器、步幅(stride)、权重因子等来定义。并且，输出层可以定义为完全连接(fully connected)的前馈层(FeedForwardlayer)。
构成卷积神经网络的每一层的设计项是众所周知的。例如，对于将包括在多个层中的层数、用于定义上述多个层的卷积函数、池化函数、激活函数中的每一个，可以利用已知函数，为了实现本发明的技术思想，也可以利用单独定义的函数。
如上所述，进行补丁级别诊断的神经网络可以是不仅判断补丁中是否存在疾病，而且进行分割以特定相应补丁中疾病的发生区域的补丁级别分割神经网络。
本发明一实施例的补丁级别分割神经网络可以基于进行分类以判断补丁中是否存在疾病的神经网络(后述的“补丁级别分类神经网络”)，实现为其中结合用于分割的单独架构的形式。图4中示出这种补丁级别分割神经网络的结构。
图4为用于说明本发明一实施例的补丁级别分割神经网络的整体结构的图。
如图4所示，本发明一实施例的补丁级别分割神经网络400可以包括补丁级别分类神经网络200及补丁级别分割架构500。
上述补丁级别分类神经网络200通过输入层接收作为分割载玻片得到的一部分的补丁，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果(例如，如图4所示的分数)。这被称为分类，在分类过程中，上述补丁级别分类神经网络200可以生成对输入(即，补丁)的特征作为内部中包括的一些隐藏层中的中间产物。尤其，当接收到图像等二维以上的矩阵作为输入时，生成的特征是二维矩阵的形式，因此还使用术语“特征图”。另一方面，以下将在上述补丁级别分类神经网络200中包括的隐藏层中的生成特征图的层称为特征图提取层。
另一方面，上述补丁级别分割架构500可以接收上述补丁级别分类神经网络200中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图(例如，图4所示的f1、f2、f3)，特定上述补丁中存在疾病的区域来输出。
图4示出补丁级别分类神经网络200在进行分类的过程中生成3个特征图(低级特征图f1、中级特征图f2、高级特征图f3)的例子，但根据实施例，当然可以生成比这些更多或更少的特征图。
另一方面，根据本发明的实施例，进行补丁级别分类的补丁级别分类神经网络200可以利用已知的densenet，在此情况下，如在先申请中所公开，可以被设计成不仅考虑作为诊断对象的特定补丁，还能够考虑周围补丁。除此之外，可以应用各种神经网络，在任何情况下，上述补丁级别分类神经网络200可以被定义为接收特定补丁作为输入，输出与该特定补丁的疾病表达概率对应的特征值。
图5为用于说明本发明实施例的补丁级别分类神经网络200的配置的图。
参照图5，根据本发明技术思想的补丁级别分类神经网络200包括微神经网络及宏神经网络。
首先，参照图5a，如在先申请所公开，微神经网络包括多个层210及输出层230。多个层210包括输入层211及多个隐藏层212。
宏神经网络包括多个层220及上述输出层230。上述多个层220包括输入层221及多个隐藏层222。
上述微神经网络被定义为接收特定补丁30，输出特定补丁的诊断结果，即输出层230中定义的多个输出数据。
并且，上述宏神经网络被定义为接收包括上述特定补丁30且与上述特定补丁30相邻的至少一个补丁的宏补丁40，输出上述特定补丁的诊断结果。
即，为了输出特定补丁30的诊断结果，根据本发明技术思想的补丁级别分类神经网络200可以不仅考虑特定补丁30的图像特性，还考虑与上述特定补丁30相邻的多个补丁的图像特性来输出诊断结果。
尽管在图5中示出利用围绕上述宏补丁40的3×3补丁的一例，但各种实施例当然也是可能的。
上述输出层230可以接收第一紧前层212-1和第二紧前层222-1各自的输出数据，输出上述输出层230中定义的输出数据，上述第一紧前层212-1为上述微神经网络中包括的上述输出层230的紧前层，上述第二紧前层222-1为宏神经网络中包括的上述输出层230的紧前层，上述第一紧前层212-1、上述第二紧前层222-1及上述输出层230可以完全连接(fully connected)。
作为定义上述输出层230的前馈(Feedforward)函数，可以利用将通过输入层接收的输入数据作为结果通过补丁级别分类神经网络200将输出数据输出到输出层230的各种函数中的一种。
最终，为了对特定补丁30进行诊断，上述补丁级别分类神经网络200以如下方式学习：通过一并考虑上述特定补丁30的图像特性和包括上述特定补丁30的宏补丁40的图像特性，从而输出与多个训练数据的注解值对应的输出层230的输出数据。
即，为了学习上述补丁级别分类神经网络200，利用多个训练数据，多个训练数据可以包括一对特定补丁30及宏补丁40。另外，宏补丁40也可以利用上述特定补丁30的注解信息进行学习。
在此情况下，上述补丁级别分类神经网络200能够以如下方式学习：通过考虑上述特定补丁30和上述宏补丁40的图像特性来输出与上述特定补丁30的注解信息对应的输出数据。
另外，当经过学习的神经网络200接收到作为诊断对象的对象补丁及与上述对象补丁对应的宏补丁分别作为微神经网络及宏神经网络的输入层的输入数据时，可以输出上述对象补丁的诊断结果，即输出层230的输出数据。
如图5a所示，上述输出层230可以输出作为诊断对象的特定补丁30的诊断结果，即输出数据。诊断结果可以至少包括与上述特定补丁30的疾病状态有关的信息。与疾病状态有关的信息可以简单地表示与特定疾病是否在特定补丁30中表达(或概率值)有关的信息。然而，根据疾病的类型，与疾病状态有关的信息可以包括更具体地表示疾病的进展程度的信息。
如在先申请中所公开，上述输出层也可以被设计为不仅简单地输出是否表达疾病，还输出各种附加信息。例如，也可以包括表示疾病进展程度的信息和/或表示与上述状态通道值相关的相关因素的表达程度的相关因素信息。由于在先申请中已经对此详细公开，因此将省略其详细描述。
当利用图5a所示的神经网络200时，虽然图5a中未示出，但当然可以存在用于接收上述输出层230的输出数据，输出与最终输入的补丁的疾病表达概率对应的特征值的层。
或者如图5b所示，上述补丁级别分类神经网络200也可以被设计为如图5a所示的具有用于输出与输入的补丁的疾病表达概率对应的特征值的层240，以此代替用于输出多个状态通道及相关因素通道的层。
根据本发明的另一实施例，补丁级别分类神经网络200也可以被设计为具有单个路径，而不是如图5a所示的具有2个路径(微网络及宏网络的每个路径)的方式。这种一例可以如图6所示。
图6为用于说明本发明另一实施例的补丁级别分类神经网络200的示例性配置的图。
参照图6，如上所述，补丁级别分类神经网络200可以被定义为以补丁单位接收输入，并判断输入的补丁是否存在疾病。在此情况下，如图所示，上述神经网络可以接收4通道(例如，RGB及Gray通道)数据。
如图6所示，输入的数据可以被定义为经过卷积层、最大池化的多个层来输出输出数据，即，输入的补丁是否为疾病补丁。这种神经网络可以是利用已知密集网络(densenet)模型的神经网络。另外，在此情况下可以看出，与原来的密集网络模型相比，根据本发明技术思想的上述神经网络中增加了1×1卷积，由此具有可以确认内部特征图的效果。并且，虽然利用Signoid函数作为激活函数，但也可以利用各种激活函数。
本发明技术领域的普通技术人员可以容易地推断出能够以其他各种方式定义用于进行补丁级别诊断的神经网络。
另一方面，图7为用于说明上述补丁级别分割架构500的整体结构的图。
参照图7，上述补丁级别分割架构500可以包括非局部相关关系计算子架构510、分割子架构520。
如上所述，在上述补丁级别分类神经网络200中进行的分类过程中，可由每个特征提取层生成多个特征图(f1、f2、f3)，每个特征图可以被输出到上述非局部相关关系计算子架构510中包括的非局部相关关系计算节点511-1至511-3。
每个非局部相关关系计算节点511-1至511-3分别对应于上述补丁级别分类神经网络200中包括的2个以上的特征提取层，可以对从与其对应的特征提取层输入的特征图(f1至f3)进行非局部相关关系计算过程。
每个非局部相关关系计算节点进行的非局部相关关系计算过程可以是进行卷积(Convolution)的过程、进行非局部块(Non-local Block)的过程或者并行卷积及非局部块的过程。
因此，每个非局部相关关系计算节点511-1至511-3可以通过进行1次以上的卷积过程或非局部块过程，或者并行上述过程来生成一个或2个以上的结果物。
根据实施例，由上述非局部相关关系计算节点511-1至511-3中的至少一部分进行的卷积可以是空洞卷积(Dilated convolution；也称为Atrous convolution)。与传统卷积不同，空洞卷积是一种以预定间隔(rate)进行卷积的方法，而不是从相邻的多个像素中提取特征。例如，上述非局部相关关系计算节点中的一个(例如，511-2)可通过进行1×1空洞卷积、空洞率(rate)为6的3×3空洞卷积、空洞率为12的3×3空洞卷积、空洞率为18的3×3空洞卷积来生成4个卷积结果物(特征)。
另一方面，由上述非局部相关关系计算节点511-1至511-3中的至少一部分进行的非局部块可以指用于计算特征图的非局部相关关系的运算，对此的详细描述公开在Kaiming He等的论文《Non-local Neural Networks》(https://arxiv.org/pdf/1711.07971.pdf)中。
另一方面，根据实施例，每个非局部相关关系计算节点511-1至511-3中的至少一部分可以对进行非局部相关关系计算过程之后的结果物进行放大(例如，上采样)或缩小(例如，下采样)。
另一方面，上述分割子架构520可以基于上述非局部相关关系计算子架构510中生成的卷积结果来特定上述补丁中存在疾病的区域。
上述分割子架构520可以对上述非局部相关关系计算子架构510中生成的卷积结果进行规定运算。上述分割子架构520进行的运算可以被定义为级联(concatenation)和/或卷积的组合。根据实施例，级联和卷积能够以各种方式组合。
图8a为示出本发明一实施例的补丁级别分割神经网络400的具体例的图，图8b为示出图8a的深度神经网络(即，补丁级别分类神经网络200)的一例的图。
首先参照图8b，上述补丁级别分割神经网络中包括的补丁级别分类神经网络200可以进行分类。为了进行分类，上述补丁级别分类神经网络200可通过输入层接收补丁，并通过第一特征提取层L1中的卷积及池化运算来生成1/4大小的低级特征图(low feature；f1)。接着，可以经过第一密集卷积块及第一转换运算(denseblock1，transition1)及第二密集卷积块及第二转换运算(denseblock2，transition2)后在第二特征提取层L2中生成1/16大小的中级特征图(middle feature；f2)。接着，可以依次经过第三密集卷积块及第三转换运算(denseblock1，transition1)、第四密集卷积块(denseblock4、1×1卷积后在第三特征提取层L3生成1/16大小的高级特征图(end feature；f3)。然后，可通过平均池化来输出与是否存在疾病有关的分数。
另一方面，如图8a所示，上述补丁级别分割架构500中可以利用在上述补丁级别分类神经网络200中生成的每个特征来进行分割。
更加详细地，非局部相关关系计算子架构510中包括的每个非局部相关关系计算节点511-1至511-3可以对从与其对应的特征提取层输入的特征图进行预定方式的相关关系计算过程。
每个节点进行的相关关系计算过程可以是进行卷积的过程、进行非局部块的过程，或者并行卷积及非局部块的过程中的一种。
在图8b的例中，低级非局部相关关系计算节点511-1可以对从与其对应的第一特征提取层L1输入的低级特征图f1进行1×1卷积来生成第一卷积结果物。
中级非局部相关关系计算节点511-2可以对从与其对应的第二特征提取层L2输入的中级特征图f2并行非局部块过程及卷积过程来生成第一非局部结果物及第二卷积结果物。
高级非局部相关关系计算节点511-3可以对从与其对应的第三特征提取层L3输入的高级特征图f3进行非局部块过程来生成第二非局部结果物。
另一方面，上述分割子架构520可通过接收由上述非局部相关关系计算子架构510生成的结果来进行预定运算。在图9a的例中，上述分割子架构520可以对由上述中级非局部相关关系计算节点511-2生成的第一非局部结果物1及第二卷积结果物与由上述高级非局部相关关系计算节点511-3生成的第二非局部结果物放大而得到的结果物3进行级联来生成第一中间结果物4，对上述第一中间结果物4进行卷积及放大而得到的第二中间结果物5与上述第一卷积结果物进行级联来生成第三中间结果物6，并对上述第三中间结果物6进行卷积来生成与上述补丁中存在疾病的区域对应的掩码7。
通过利用具有这种本发明技术特征的神经网络，可以显著解决切线问题，并且可以大大提高分割的准确度。经验上众所周知，为了提高神经网络的分割准确度，需要很好地从输入数据中提取特征，并在训练前设置好神经网络的初始加权值并进行训练。但是如上所述，根据本发明的技术思想，分割是由基于补丁级别分类神经网络将具有特定结构的分割架构相结合的方式的神经网络进行的，在补丁级别分类过程中提取的多个特征很好地反映输入数据的特征。因此具有可通过在分割过程中原样利用其来提高分割准确度的效果。
另一方面，图8a及图8b所示的神经网络只是实现本发明技术思想的一例，可以存在各种结构的补丁级别分类神经网络及补丁级别分割架构。
另一方面，重新参照图3，上述诊断模块120可以包括载玻片诊断引擎，上述载玻片诊断引擎也可以由上述控制模块110学习并实现。
上述载玻片诊断引擎可根据上述神经网络的输出结果标记疾病补丁。标记可以指载玻片中区分多个疾病补丁。根据一例，上述载玻片诊断引擎可通过将多个疾病补丁以能够与其他补丁区分的方式显示来生成热图。另外，可以基于生成的热图来将多个疾病补丁聚类成多个。根据一实施例，上述载玻片诊断引擎可将多个疾病补丁聚类成至少2个。另外，其中最大的2个聚类可以用于诊断载玻片。但是，当然也可以将2个以上的聚类用于诊断载玻片。
上述载玻片诊断引擎可以对每个聚类进行规定特征值的计算。另外，以如下方式学习：将计算的特征值作为输入数据来输出与输入的输入数据对应的载玻片是否表达疾病。
并且，可以考虑所有阈值来学习上述载玻片诊断引擎。由此，可以输出对阈值的设置具有很强效果的载玻片诊断结果。对此将进行后述。
上述预处理模块130在利用神经网络进行诊断之前可以进行对必要生物图像的预处理。例如，上述生物图像的预处理可以包括将上述生物图像以预定大小补丁化为多个补丁的过程，如上所述，也可以计算每个补丁的多个像素的灰色值。并且，本发明技术领域的普通技术人员可以容易地推断出，可根据需要能够以适合上述神经网络的方式进行适当的图像处理。
图9为用于说明本发明实施例的两张脸的疾病诊断方法的概念的图。
如图9所示，可将与生物组织对应的生物图像，即，从载玻片采样的多个补丁用于神经网络200的学习。可以对上述多个补丁进行采样，使得标注为癌症的补丁和标注为正常的补丁具有规定比例。
另外，如上所述，通过接收进一步包括灰色通道的每个补丁的输入数据来学习上述神经网络200，结果，学习上述神经网络200，使得输出每个多个补丁是否存在癌症(或概率值)。
在此情况下，如图9的下部所示，当输入载玻片时，以如上所述的方式学习的上述神经网络200可以对每个载玻片中包括的每个补丁进行补丁级别诊断。
另外，上述载玻片诊断引擎可根据补丁级别诊断结果标记疾病补丁。例如，如图9所示，可以生成热图。
并且，图10为示出本发明一实施例的根据补丁级别诊断结果的标记结果的图，图10a示出由熟练的技术人员标注的生物组织的图像，图10b示出通过学习的上述神经网络200生成的热图。从图10可以看出，可以进行非常准确的诊断。
另一方面，上述载玻片诊断引擎可以根据生成的热图生成聚类。上述载玻片诊断引擎可以利用规定的聚类算法对多个疾病补丁进行聚类。根据本发明的实施例，虽然上述载玻片诊断引擎通过已知的密度聚类(DBSCAN)算法进行聚类，但当然也可以利用各种聚类技术。
上述载玻片诊断引擎可以对作为聚类结果生成的每个聚类提取聚类特征。
上述聚类特征可以是能够表示与疾病的表达相关的特征的特征值。
根据一例，上述聚类特征可以包括聚类中包括的疾病补丁的数量、每个补丁的疾病概率值的平均值、每个补丁的疾病概率值最大值以及每个补丁的疾病概率值的最小值。可以确认到，当包括这些聚类特征时，载玻片诊断引擎的诊断结果相对变高。
并且，根据实施例，上述聚类特征还可以包括每个聚类的长轴(major axis)、短轴(minor axis)、面积(area)及密度(density)。这些与聚类的物理特征密切相关，在将这种聚类特征一同利用时，诊断性能可能会进一步提高。
另一方面，根据每个补丁是否被判断为疾病补丁，上述聚类的位置、大小及如上所述的聚类特征可能发生变化。另外，这取决于补丁级别诊断过程中利用的阈值。
根据本发明的技术思想，可以同时利用多个阈值来诊断载玻片级别诊断。
根据一例，在本发明的实施例中利用了5个阈值，但可以实施各种实施例。
另外，根据每个阈值，特定补丁被诊断为疾病补丁的结果可发生变化，由此，聚类结果也当然可发生变化。
本发明实施例的上述载玻片诊断引擎通过以规定方式对例如N(例如，5)个阈值以及基于上述N个阈值中的每一个表达疾病的补丁进行聚类来形成M(例如，2)个聚类。
另外，对形成的每个聚类计算出P(例如，上述8个聚类特征)个聚类特征。另外，在此情况下，可以为一个载玻片提取M×N×P(例如，80)个聚类特征。
另外，以使这种特征值作为输入值输入，输出上述载玻片是否存在疾病作为输出数据的方式使载玻片诊断引擎学习。
并且，本说明书中主要描述了将本发明的技术思想应用于前列腺癌的一例，本发明技术领域的普通技术人员可以容易地推断出，在将本发明的技术思想应用于需要考虑到特定组织以及对应组织的周围组织的状态来诊断上述特定组织的其他疾病时，可以进行准确的诊断。
另一方面，根据实例，上述诊断系统100可以包括处理器及用于存储通过上述处理器进行的程序的存储器。上述处理器可包括单核CPU或多核CPU。存储器可包括高速随机存取存储器，也可包括一个以上的磁盘存储装置、闪存装置或如其他非易失性固态存储装置的非易失性存储器。可通过控制器控制访问处理器及基于其他结构要素的存储器。
另一方面，本发明实施例的诊断方法可体现为计算机可读程序指令形态，从而可存储在计算机可读记录介质，本发明实施例的控制程序及对象程序也可存储在计算机可读记录介质。计算机可读记录介质包括存储能够通过计算机系统读取的数据的所有种类的记录装置。
记录在记录介质的程序指令是为了本发明而特别设计并构成的，也可以为软件领域的普通技术人员公知使用的。
作为计算机可读记录介质的例，包括如硬盘、软盘及磁带磁性介质(magneticmedia)、如CD-ROM、DVD的光记录介质(optical media)、如光软盘(floptical disk)的磁光介质(magneto-optical media)及如只读存储器(ROM)、随机存取存储器(RAM)、闪存等的以存储程序指令并进行的方式特别构成的硬件装置。并且，计算机可读记录介质可分散在通过网络连接的计算机系统，通过分散方式存储计算机可读代码并进行。
作为程序指令的例，包括可通过编译器形成的机械代码和通过使用解释器以电子方式处理信息的装置，例如，可通过计算机进行的高级语言代码。
上述硬件装置为了进行本发明的工作而作为一个以上的软件模块进行工作，反之亦然。
上述本发明的说明仅为例示，本发明所属技术领域的普通技术人员可以在不改变本发明的技术思想或必要特征的情况下可以将本发明轻松实施成其他具体形态。因此，以上记述的实施例在所有方面均是例示性实施例，而并非用于限定本发明。例如，以单一型说明的各个结构要素可以分散实施，同样，分散说明的结构要素也能够以结合的形态实施。
本发明的范围通过后述的发明要求保护范围体现，而并非通过上述详细说明，从发明要求保护范围的含义、范围及其等同概念导出的所有变更或变形的形态均属于本发明的范围内。
产业上的可利用性
本发明可以利用于利用神经网络及非局部块进行分割的疾病诊断系统及方法。

Claims (12)

1.一种疾病诊断系统，其在包括处理器及用于存储神经网络的存储装置的系统中实现，利用作为生物图像的载玻片和上述神经网络，其特征在于，上述系统，
包括补丁级别分割神经网络，上述补丁级别分割神经网络对于将上述载玻片分割成规定大小的每个规定补丁，接收上述补丁作为输入层来特定上述补丁中存在疾病的区域，
上述补丁级别分割神经网络包括：
补丁级别分类神经网络，用于接收上述补丁作为输入层，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果；以及
补丁级别分割架构，用于接收上述补丁级别分类神经网络中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图，特定上述补丁中存在疾病的区域，
上述补丁级别分割架构包括：
非局部相关关系计算子架构，包括与上述2个以上的特征提取层分别对应的非局部相关关系计算节点，上述非局部相关关系计算节点分别进行对从与其对应的特征提取层输入的特征图的非局部相关关系计算过程，上述非局部相关关系计算过程为进行卷积的过程、进行非局部块的过程，或者并行卷积及非局部块的过程；以及
分割子架构，基于上述非局部相关关系计算子架构中生成的结果来特定上述补丁中存在疾病的区域。
2.根据权利要求1所述的疾病诊断系统，其特征在于，对于上述非局部相关关系计算子架构中生成的结果，上述分割子架构通过卷积及级联来生成与上述补丁中存在疾病的区域对应的掩码。
3.根据权利要求1所述的疾病诊断系统，其特征在于，
上述补丁级别分类神经网络中包括的特征图提取层包括低级特征提取层、中级特征提取层及高级特征提取层，
上述非局部相关关系计算子架构包括：
低级非局部相关关系计算节点，通过对上述低级特征提取层输入的特征图进行卷积过程来生成第一卷积结果物；
中级非局部相关关系计算节点，通过对上述中级特征提取层输入的特征图并行非局部块过程及卷积过程来生成第一非局部结果物及第二卷积结果物；以及
高级非局部相关关系计算节点，通过对上述高级特征提取层输入的特征图进行非局部块过程来生成第二非局部结果物。
4.根据权利要求3所述的疾病诊断系统，其特征在于，
上述分割子架构通过对将第一非局部结果物、第二卷积结果物及上述第二非局部结果物放大而得到的结果物进行级联来生成第一中间结果物，
上述分割子架构通过将对上述第一中间结果物进行卷积及放大而得到的第二中间结果物与上述第一卷积结果物级联来生成第三中间结果物，
上述分割子架构通过对上述第三中间结果物进行卷积来生成与上述补丁中存在疾病的区域对应的掩码。
5.根据权利要求1所述的疾病诊断系统，其特征在于，上述疾病诊断系统还包括载玻片诊断引擎，上述载玻片诊断引擎对上述载玻片中包括的多个补丁中每个补丁的补丁级别分类结果被分类为疾病的补丁进行标记，并基于标记的结果输出载玻片级别诊断结果，即上述载玻片中是否存在疾病。
6.根据权利要求1所述的疾病诊断系统，其特征在于，上述载玻片为生物组织图像。
7.一种疾病诊断方法，其在包括处理器及用于存储神经网络的存储装置的系统中实现，利用作为生物图像的载玻片和上述神经网络，其特征在于，
包括如下的步骤，即，上述疾病诊断系统对于将上述载玻片分割成规定大小的每个规定补丁，并通过上述神经网络的输入层接收上述补丁来特定上述补丁中存在疾病的区域，
上述补丁级别分割神经网络包括：
补丁级别分类神经网络，用于接收上述补丁作为输入层，输出与上述补丁中是否存在上述疾病有关的补丁级别分类结果；以及
补丁级别分割架构，用于接收上述补丁级别分类神经网络中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图，特定上述补丁中存在疾病的区域，
上述补丁级别分割架构包括：
非局部相关关系计算子架构，包括与上述2个以上的特征提取层分别对应的非局部相关关系计算节点，上述非局部相关关系计算节点分别进行对从与其对应的特征提取层输入的特征图的非局部相关关系计算过程，上述非局部相关关系计算过程为进行卷积的过程、进行非局部块的过程，或者并行卷积及非局部块的过程；以及
分割子架构，基于上述非局部相关关系计算子架构中生成的结果来特定上述补丁中存在疾病的区域。
8.根据权利要求7所述的疾病诊断方法，其特征在于，对于上述非局部相关关系计算子架构中生成的结果，上述分割子架构通过卷积及级联来生成与上述补丁中存在疾病的区域对应的掩码。
9.根据权利要求7所述的疾病诊断方法，其特征在于，
上述补丁级别分类神经网络中包括的特征图提取层包括低级特征提取层、中级特征提取层及高级特征提取层，
上述非局部相关关系计算子架构包括：
低级非局部相关关系计算节点，通过对上述低级特征提取层输入的特征图进行卷积过程来生成第一卷积结果物；
中级非局部相关关系计算节点，通过对上述中级特征提取层输入的特征图并行非局部块过程及卷积过程来生成第一非局部结果物及第二卷积结果物；以及
高级非局部相关关系计算节点，通过对上述高级特征提取层输入的特征图进行非局部块过程来生成第二非局部结果物。
10.根据权利要求9所述的疾病诊断方法，其特征在于，
上述分割子架构通过对将第一非局部结果物、第二卷积结果物及上述第二非局部结果物放大而得到的结果物进行级联来生成第一中间结果物，
上述分割子架构通过将对上述第一中间结果物进行卷积及放大而得到的第二中间结果物与上述第一卷积结果物级联来生成第三中间结果物，
上述分割子架构通过对上述第三中间结果物进行卷积来生成与上述补丁中存在疾病的区域对应的掩码。
11.根据权利要求7所述的疾病诊断方法，其特征在于，上述疾病诊断方法还包括如下的步骤，即，上述疾病诊断系统对上述载玻片中包括的多个补丁中每个补丁的补丁级别分类结果被分类为疾病的补丁进行标记，并基于标记的结果输出载玻片级别诊断结果，即上述载玻片中是否存在疾病。
12.一种计算机程序，其特征在于，设置于数据处理装置并记录在用于进行根据权利要求7至10中任一项所述的疾病诊断方法的介质中。
CN202080051105.3A 2019-07-13 2020-07-10 利用神经网络及非局部块进行分割的疾病诊断系统及方法 Pending CN114503153A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0084814 2019-07-13
KR1020190084814A KR102329546B1 (ko) 2019-07-13 2019-07-13 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
PCT/KR2020/009096 WO2021010671A2 (ko) 2019-07-13 2020-07-10 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법

Publications (1)

Publication Number Publication Date
CN114503153A true CN114503153A (zh) 2022-05-13

Family

ID=74210469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051105.3A Pending CN114503153A (zh) 2019-07-13 2020-07-10 利用神经网络及非局部块进行分割的疾病诊断系统及方法

Country Status (6)

Country Link
US (1) US20220301712A1 (zh)
EP (1) EP3989237A4 (zh)
JP (1) JP7299658B2 (zh)
KR (1) KR102329546B1 (zh)
CN (1) CN114503153A (zh)
WO (1) WO2021010671A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592762B1 (ko) * 2021-01-27 2023-10-24 대구대학교 산학협력단 합성곱 신경망 기반의 덴스넷을 통한 부정맥 분류 방법
US11868443B1 (en) * 2021-05-12 2024-01-09 Amazon Technologies, Inc. System for training neural network using ordered classes
US11948358B2 (en) * 2021-11-16 2024-04-02 Adobe Inc. Self-supervised hierarchical event representation learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
CN109685809A (zh) * 2018-12-18 2019-04-26 清华大学 一种基于神经网络的肝包虫病灶分割方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47609E1 (en) * 2007-12-28 2019-09-17 Exini Diagnostics Ab System for detecting bone cancer metastases
US20120010528A1 (en) * 2010-04-26 2012-01-12 Aureon Biosciences, Inc. Systems and methods for predicting disease progression in patients treated with radiotherapy
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10049770B2 (en) * 2015-12-30 2018-08-14 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US11195274B2 (en) * 2017-08-03 2021-12-07 Nucleai Ltd Systems and methods for analysis of tissue images
KR102190257B1 (ko) * 2017-12-20 2020-12-16 주식회사 마이크로트 안압의 조절을 위한 안질환용 임플란트 장치
EP3514756A1 (en) * 2018-01-18 2019-07-24 Koninklijke Philips N.V. Medical analysis method for predicting metastases in a test tissue sample
KR102273373B1 (ko) * 2018-05-08 2021-07-06 주식회사 딥바이오 특정 데이터 군집의 종단지점 탐색 방법 및 이를 위한 데이터 처리시스템
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR102151723B1 (ko) * 2018-08-07 2020-09-03 주식회사 딥바이오 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
US10789462B2 (en) * 2019-01-15 2020-09-29 International Business Machines Corporation Weakly and fully labeled mammogram classification and localization with a dual branch deep neural network
CN109919961A (zh) * 2019-02-22 2019-06-21 北京深睿博联科技有限责任公司 一种用于颅内cta图像中动脉瘤区域的处理方法及装置
US11893732B2 (en) * 2019-05-29 2024-02-06 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment
KR102403397B1 (ko) * 2019-05-31 2022-05-31 페이지.에이아이, 인크. 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
KR20220133868A (ko) * 2019-12-13 2022-10-05 그레일, 엘엘씨 패치 컨볼루션 신경망을 사용한 암 분류
US11482335B2 (en) * 2019-12-18 2022-10-25 Pathomiq Inc. Systems and methods for predicting patient outcome to cancer therapy
EP4103736A4 (en) * 2020-02-11 2023-12-06 Dhristi Inc. SYSTEMS AND METHODS FOR IDENTIFYING AND QUANTIFYING PREDICTIVE MOLECULAR BIOMARKERS FROM MORPHOLOGY CHANGES IN HISTOPATHOLOGICAL TISSUE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN109685809A (zh) * 2018-12-18 2019-04-26 清华大学 一种基于神经网络的肝包虫病灶分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGZHEN WANG等: "Gated Convolutional Neural Network for Semantic Segmentation in High-Resolution Images", REMOTE SENSING, 5 May 2017 (2017-05-05), pages 3 - 4 *
XIAOLONG WANG 等: "Non-local Neural Networks", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2018 (2018-12-31), pages 1 - 4 *

Also Published As

Publication number Publication date
WO2021010671A3 (ko) 2021-04-08
WO2021010671A9 (ko) 2021-05-27
JP7299658B2 (ja) 2023-06-28
US20220301712A1 (en) 2022-09-22
JP2022540152A (ja) 2022-09-14
WO2021010671A2 (ko) 2021-01-21
KR20210008283A (ko) 2021-01-21
EP3989237A2 (en) 2022-04-27
KR102329546B1 (ko) 2021-11-23
EP3989237A4 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
CN110366759B (zh) 用神经网络诊断疾病的系统及其方法
US11328430B2 (en) Methods, systems, and media for segmenting images
JP7216447B2 (ja) セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法
JP7146300B2 (ja) ツーフェーズ疾病診断システム及び該方法
CN114503153A (zh) 利用神经网络及非局部块进行分割的疾病诊断系统及方法
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
EP1903479B1 (en) Method and system for data classification using a self-organizing map
US20210304405A1 (en) System and method for disease diagnosis using neural network
CN113056793A (zh) 基于监督学习的一致性诊断方法及其系统
JP7152810B2 (ja) 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法
CN116917999A (zh) 利用神经网络的膀胱病变诊断方法及其系统
CN112567466A (zh) 诊断结果生成系统及其方法
KR102162895B1 (ko) 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법
CN116114027A (zh) 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
EP4170678A1 (en) Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same
US20230334662A1 (en) Methods and apparatus for analyzing pathology patterns of whole-slide images based on graph deep learning
CN113128587A (zh) 基于位置学习图卷积神经网络的图分类方法及系统
KR20240103956A (ko) 퓨-샷 학습 방법 및 이를 이용한 영상 처리 시스템
CN117015832A (zh) 利用基于神经网络的疾病的诊断结果的预后预测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination