CN117015832A - 利用基于神经网络的疾病的诊断结果的预后预测方法及其系统 - Google Patents

Abstract

本发明公开利用基于神经网络的疾病的诊断结果的预后预测方法及其系统。上述预后预测方法包括如下步骤：上述系统接收生物图像；针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果；以及上述系统在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息，在针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果的步骤中，针对上述生物图像被分割成规定尺寸的每个规定补丁，基于是否表达疾病的判断结果来生成上述表达区域诊断结果，或者基于针对每个上述补丁，分割补丁中表达疾病的区域的结果来生成上述表达区域诊断结果。

Description

利用基于神经网络的疾病的诊断结果的预后预测方法及其 系统

技术领域

本发明涉及利用基于神经网络的疾病的诊断结果的预后预测方法及其系统。更详细地，涉及如下方法及其系统，利用可通过神经网络分割疾病的表达区域的疾病诊断系统的诊断结果来导出用于对应疾病的预后预测的预测因素并可利用其来执行预后预测。

背景技术

在病理学或病理科中执行的主要业务之一为执行如下诊断，通过读取患者的生物图像来判断特定疾病的状态或症状。这种诊断为依赖于长期熟练医务人员的经验和知识的方法。

最近，随着机器学习的发达，正在积极尝试通过计算机系统自动执行识别或分类图像等业务。尤其，正在尝试利用作为机器学习的一种的神经网络(例如，利用卷积神经网络(Convolution neural network，CNN)的深度学习方法)来自动执行熟练的医疗人员所执行的诊断。

尤其，通过利用神经网络(例如，卷积神经网络)的深度学习的诊断并非简单将现有熟练医疗人员的经验和知识自动化，而是在通过自身学习找出特征要素并导出所需答案方面，反而存在从图像中找出熟练医疗人员无法得知的疾病因素的特征的情况。

通常，基于利用生物图像的神经网络的疾病诊断利用生物图像的碎片，即，补丁(pathch，或称为瓦片(tile))。即，对相应瓦片熟练的医疗人员注解(annotaion)特定疾病的状态(例如，是否显现癌症)，将这种注解的多个瓦片用作训练数据来学习神经网络。

在此情况下，上述神经网络可利用卷积神经网络。

另一方面，为了疾病的预后预测，在作为诊断对象的整个组织中，与疾病的表达部位占据多大区域有关的信息，即，表达比例可以被用作重要因素。可通过这种表达比例预测疾病的进展状况并选择适当的治疗方法、是否手术、选择药物等，因此，用于预后预测的表达比例为极为重要的信息。

但是，以往，病理专家用肉眼来通过显微镜观察包含组织样本的载玻片并用规定工具(例如，记号笔等)来将自己判断的发病区域标记在载玻片上，基于标记信息来仅导出简单表达比例。

图1中示出这种现有的表达比例的判断方式。

图1为用于说明通过现有的病理专家判断疾病的表达比例的方式的图。

参照图1，如图1的上部所示，以往，至少一个生物组织通过规定的方式被染色后配置在载玻片。

因此，如图1的下部所示，病理专家通过显微镜用肉眼一一确认配置在这种载玻片的组织并在每个组织中标记表达疾病的区域。在此情况下，需要用肉眼确认并标记疾病的表达区域，因此，实质上无法标记成极小区域单位(例如，在前列腺炎的情况下为腺体单位)，如图1的下部所示，标记疾病的表达区域的一侧方向末端点和另一侧方向末端点的方式等仅标记可以判断大致的表达比例的最少程度的信息。

在图1的下部示出病理专家用红色笔记工具在载玻片上直接标记的一例。并且，在图1中例示性说明了疾病为前列腺癌的情况，但发明的范围并不局限于此，本发明所属技术领域的普通技术人员可以轻松推论本发明的技术思想可适用于多种疾病。

因此，在图1的下部的情况下，与由病理专家判断第一个组织可以得知的表达比例有关的信息可以如下，对应组织的总长度为8.5mm，基于所标记的信息来判断的表达区域的长度为7mm，在所表达的区域混有格里森评分3及格里森评分4。

并且，与由病理专家判断第二个组织可以得知的表达比例有关的信息可以如下，对应组织的总长度为8mm，基于所标记的信息来判断的表达区域的长度为6.5mm，在所表达的区域混有格里森评分3及格里森评分4。

并且，与由病理专家判断第三个组织可以得知的表达比例有关的信息可以如下，对应组织的总长度为9.6mm，基于所标记的信息来判断的表达区域的长度为1.5mm，在所表达的区域仅有格里森评分3。

如上所述，在基于病理专家的判断来获取与用于预后预测的表达比例有关的信息的情况下，不可避免地受到标记疾病的表达区域的方式、笔记工具的粗细、病理专家判断时的身体状况的影响，从而不准确性高的可能性极高。

并且，如图1所示，通常，在一般病理专家的情况下，仅标记疾病的表达区域的边界(例如，两个末端点)，并假设在对应边界内的所有区域表达疾病来预测表达比例。但是，实际上，在对应边界内也混有表达疾病的区域和未表达疾病的区域，从而存在很难判断准确的表达比例的问题。

并且，如图1所示，即使表达出疾病，在区分疾病的进展状态(例如，前列腺癌的格里森评分)的情况下，每个疾病的进展状态的表达比例可以为重要信息(例如，在整个组织中的格里森评分3的表达比例、格里森评分4的表达)，但实质上很难获取这种信息。

因此，确切地需要使用利用神经网络的诊断结果来准确地获取用于预后预测的信息，并利用此来执行疾病的预后预测的方法及其系统。

现有技术文献

专利文献

专利文献1：韩国公开专利10-2019-0084814“利用神经网络及非局部块来执行分割的疾病诊断系统及方法”

发明内容

技术问题

本发明所要解决的技术问题在于，提供如下技术思想，可使用利用神经网络的诊断结果来准确地获取用于预后预测的信息，利用其来执行疾病的预后预测。

尤其，本发明的目的在于，提供如下技术思想，并非按补丁单位判断疾病是否表达，而是可利用在补丁内执行用于区分疾病表达区域的分割的诊断结果来获取更加准确的预后预测信息。

技术方案

根据本发明的一实施方式，通过包括处理器及存储神经网络的存储装置的系统实现的预后预测方法包括如下步骤：上述系统接收生物图像；针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果；以及上述系统在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息，在针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果的步骤中，针对上述生物图像被分割成规定尺寸的每个规定补丁，基于是否表达疾病的判断结果来生成上述表达区域诊断结果，或者基于针对每个上述补丁，分割补丁中表达疾病的区域的结果来生成上述表达区域诊断结果。

本发明的特征在于，针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果的步骤可包括如下步骤：在表达上述疾病的情况下，当所表达的疾病状态被区分为多个等级时，上述系统按每个上述等级生成表达区域诊断结果，在上述系统在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息的步骤中，上述系统基于上述表达区域诊断结果来按每个等级判断与在上述生物图像上的表达区域的尺寸相对应的第二信息。

上述预后预测信息可包含与表达比例有关的信息，上述表达比例与相对于上述整体组织的尺寸的上述表达区域的尺寸相对应。

另一实施方式的用于预后预测的系统包括：处理器；存储器，存储通过上述处理器驱动的程序及神经网络，上述处理器驱动上述程序，接收生物图像，针对生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果，在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息，针对上述生物图像被分割成规定尺寸的每个规定补丁，基于是否表达疾病的判断结果来生成上述表达区域诊断结果，或者基于针对每个上述补丁，分割补丁中表达疾病的区域的结果来生成上述表达区域诊断结果。

本发明的特征在于，上述处理器可驱动上述程序，在表达上述疾病的情况下，当所表达的疾病状态被区分为多个等级时，上述系统按每个上述等级生成表达区域诊断结果，基于上述表达区域诊断结果来按每个等级判断与在上述生物图像上的表达区域的尺寸相对应的第二信息。

上述方法可通过设置于数据处理装置的程序来实现。

发明的效果

根据本发明的技术思想，本发明具有如下效果，可使用利用神经网络的诊断结果来相对准确地获取预后预测信息，利用其来执行疾病的预后预测，由此，可进行基于准确且客观的信息的预后预测。

并且，本发明具有如下效果，并非按补丁单位判断疾病是否表达，而是可利用在补丁内执行用于区分疾病表达区域的分割的诊断结果来获取更加准确的预后预测信息。

附图说明

为了更加充分地理解在本发明的详细说明中引用的附图而提供各附图的简单说明。

图1为用于说明现有的病理专家判断疾病的表达比例的方式的图。

图2为示出用于实现本发明技术思想的利用基于神经网络的疾病的诊断结果的预后预测方法的简要系统结构的图。

图3为用于说明本发明实施例的系统的硬件配置的图。

图4为用于说明本发明实施例的系统的逻辑配置的图。

图5为用于示出将本发明一实施例的系统分为诊断系统和预后预测系统的一例的图。

图6为示出用于说明本发明一实施例的利用基于神经网络的疾病的诊断结果的预后预测方法的生物图像的表达区域诊断结果的图。

图7为用于说明本发明一实施例的补丁级别分割神经网络的整体结构的图。

具体实施方式

本发明可具有多种变换，并可具有多种实施例，在附图中例示特定实施例并在详细的说明中进行详细说明。但是，这并非将本发明限定在特定的实施形态，而是应理解为包括本发明的思想及技术范围内的所有变换、等同技术方案或替代技术方案。在说明本发明的过程中，在判断为对相关的公知技术的具体说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。

第一、第二等术语可用于说明多种结构要素，上述结构要素并不限定于上述术语。上述术语仅用于区分两种结构要素。

在本申请中所使用的术语仅用于说明特定实施例，而并非用于限定本发明。除非上下文中明确表示，否则单数的表现包括复数的表现。

在本说明书中，“包括”或“具有”等术语用于指定说明书中记载的特征、数字、步骤、动作、结构要素、部件或这些组合的存在，而并非预先排除一个或一个以上的其他特征、数字、步骤、动作、结构要素、部件或这些组合的存在或附加可能性。

并且，在本说明书中，当一个结构要素向其他结构要素“传输”数据时，上述结构要素可以直接向其他结构要素传输数据，也可以通过至少一个其他结构要素来向上述其他结构要素传输数据。相反，当一个结构要素向其他结构要素“直接传输”数据时，从上述结构要素并不通过其他结构要素来向上述其他结构要素传输数据。

以下，参照附图，以本发明的实施例为中心详细说明本发明。在各个附图中提出的相同的附图标记表示相同的部件。

图2为示出用于实现本发明技术思想的利用基于神经网络的疾病的诊断结果的预后预测方法的简要系统结构的图。图3为用于说明本发明实施例的系统的硬件配置的图。图4为用于说明本发明实施例的系统的逻辑配置的图。图5为用于示出将本发明一实施例的系统分为诊断系统和预后预测系统的一例的图。

参照图2至图5，为了实现本发明技术思想而可具备用于利用基于神经网络的疾病的诊断结果的预后预测的系统100。

本发明的技术思想的系统100可设置在规定服务器10来实现本发明的技术思想。上述服务器10意味着具有用于实现本发明的技术思想的运算能力的数据处理装置，本发明所属技术领域的普通技术人员可以轻松推论客户端通常可通过网络访问的数据处理装置和个人计算机、便携式终端等可以执行特定服务的任何装置也可被定义为服务器。

如图3所示，上述服务器10可包括处理器11及存储装置12(存储器)。上述处理器11可意味着能够驱动用于实现本发明技术思想的程序12-1的运算装置，上述处理器11可利用上述程序12-1和通过本发明技术思想定义的神经网络12-2(Neural Network)来执行诊断。

上述神经网络12-2可在生物图像判断表达规定疾病的区域。根据一例，可训练上述神经网络12-2来使其判断生物图像被分割成规定尺寸的补丁是否表达疾病。如下所述，这种神经网络12-2可被定义为执行补丁级别诊断的补丁级别分类神经网络。

根据实施例，上述神经网络12-2可包括补丁级别分类神经网络和在每个补丁中仅区分表达疾病的区域来特定的神经网络，即，补丁级别分割神经网络。上述补丁级别分割神经网络也可以执行在补丁中特定存在疾病的区域的补丁级别分割。

根据实例，上述神经网络12-2还可包括执行载玻片级别诊断的神经网络。根据实施例，执行上述载玻片级别诊断的结构可通过神经网络和多种机器学习工法来实现。根据本发明的技术思想，执行上述载玻片级别诊断的诊断引擎利用了已知的XGBoost，也可实现基于多种方式的机器学习工法的诊断引擎，这种诊断引擎可存储在上述存储装置12。

如图3所示，上述服务器10可包括处理器11及存储装置12。上述处理器11可意味着能够驱动用于实现本发明技术思想的程序12-1的运算装置，上述处理器11可利用上述程序12-1和通过本发明技术上思想定义的神经网络12-2来执行诊断。

如下所述，上述神经网络12-2可包括执行补丁级别诊断的神经网络。执行补丁级别诊断的神经网络可以判断在作为分割载玻片的一部分补丁是否存在疾病。并且，执行补丁级别诊断的神经网络也可以执行特定对应补丁中的疾病的发病区域的分割，以下，也将这种神经网络称为补丁级别分割神经网络。

上述存储装置12可意味着可存储上述程序12-1、神经网络12-2和/或执行载玻片级别诊断的诊断引擎的数据存储单元，根据实例，也可实现为多个存储单元。并且，上述存储装置12也可意味着具有包括在上述服务器10的主记忆装置以及包括在上述处理器11的暂时存储装置或存储器等。

在图2或图3中示出上述系统100实现为一个物理装置，本发明所属技术领域的普通技术人员可以轻松推论根据需要，多个物理装置可有机结合来实现本发明的技术思想的系统100。

在本说明书中，上述系统100执行诊断可意味着接收表现生物组织的生物图像，即，载玻片的整体或作为上述载玻片的一部分的补丁来输出在本说明书中定义的输出数据的一系列处理。

根据一例，上述系统100可执行两阶段(two phase)诊断。第一个阶段可以为执行补丁级别诊断的过程，在这种过程中，上述系统100对每个载玻片的补丁进行接收并输出每个补丁是否表达疾病，和/或可以特定在对应补丁中表达疾病的区域。为此，可训练神经网络并实现。

第二个阶段可通过第一个阶段的诊断结果来输出载玻片是否表达疾病。这种过程可利用神经网络或规定的机器学习工法。

即，根据每个补丁的诊断结果，即使判断成一部分补丁表达疾病，也具有并未判断为在与包括对应补丁的载玻片整体相对应的生物组织中表达疾病的可能性。例如，当判断为表达疾病的多个补丁在载玻片内分散或者其数量少时，判断为表达密集度等其他疾病的多个补丁的物理特性(例如，位置、尺寸、密集度等)在实际对应载玻片中对判断是否表达疾病具有重要的意义。因此，第二个阶段可基于每个补丁的诊断结合和基于这种诊断结果来判断的每个补丁(即，诊断成表达疾病的多个补丁)的特性来判断在载玻片中是否表达疾病，由此可以执行有效且准确度高的诊断。

另一方面，本发明还可包括上述系统100按每个补丁执行分割的补丁级别分割神经网络。其根据补丁单位的诊断结果来对每个补丁判断(即，每个补丁分类)是否表达疾病，当判断为以补丁单位表达疾病时，存在即使在补丁内存在未表达疾病的区域，也将整个补丁判断为表达疾病的问题。因此，以能够明确掌握被诊断为疾病的组织部分的方式需要可在一个补丁内区分疾病区域的分割，为此，可实现上述补丁级别分割神经网络。

这种用于分割的技术思想的一例公开了韩国公开专利10-2019-0084814“利用神经网络及非局部块进行分割的疾病诊断系统及方法”(以下，“在先申请”)，现有申请可以作为参考包含在本发明中。

在任何情况下，上述神经网络12-2可按每个补丁判断是否表达疾病，根据实施例，在每个补丁内仅特定疾病的表达区域。

即，上述神经网络12-2也可以仅通过补丁判断疾病的表达区域，也可以在补丁内仅特定疾病的表达区域。

并且，上述神经网络12-2可以判断是否表达特定疾病及表示特定疾病的进展程度的状态信息(或者与上述进展程度对应的概率)。

例如，当本发明的技术思想用于前列腺癌的诊断时，作为表示前列腺癌的进展程度的指标的格里森模式(Gleason Pattern)或格里森评分(Gleason Score)可包含上述神经网络输出的状态信息。例如，格里森评分值为2至5，数字越大，表达前列腺癌的程度越严重。因此，上述状态信息也可意味着与作为诊断对象的补丁对应的生物组织与格里森评分的特定值(例如，3、4或5)对应的概率。

即，上述神经网络12-2可判断每个补丁是否表达疾病以及在表达疾病的情况下，对应补丁被分类成多个等级(例如，格里森评分3、格里森评分4或格里森评分5)中的哪个等级。

当上述系统100包含在规定服务器10来实现时，上述系统100也可以与能够访问上述服务器10的至少一个客户端(例如，20、20-1)执行通信。在这种情况下，上述客户端(例如，20、20-1)可向上述系统100传输生物图像，上述系统100可针对所传输的生物图像执行本发明的技术思想的诊断。而且，也可以向上述客户端(例如，20、20-1)传输诊断结果。并且，上述系统100也可基于上述生物图像的诊断结果来生成预后预测信息并输出。

为此，如图5所示，上述系统100可包括诊断系统、预后预测系统。

如上所述，上述诊断系统接收生物图像来执行诊断。尤其，执行诊断可意味着输出在生物图像中特定表达疾病的区域的信息，即，表达区域诊断结果。表达区域诊断结果只要是可以在生物图像上特定表达疾病的区域的信息即可。例如，在生物图像上区分表示表达疾病的区域和其他区域的图像信息自身也可以为表达区域诊断结果，与包含在表达疾病的区域的多个像素有关的信息(坐标)也可以为表达区域诊断结果。或者，表达疾病的补丁的识别信息也可以为表达区域诊断结果。可存在用于实现表达区域诊断结果的多种实施例。

上述预后预测系统可生成用于预后预测的信息。为此，上述预后预测系统可从上述诊断系统接收表达区域诊断结果。

因此，上述预后预测系统可在上述生物图像上判断与整个组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息。而且可生成基于判断结果的预后预测信息。如上所述，上述预后预测信息可包括与表达比例有关的信息，但并不局限于此，可从上述表达区域诊断结果导出并对预后预测具有意义的任何信息也可包含在上述预后预测信息。

上述第一信息可表示与组织的尺寸有关的信息，上述第一信息可通过长度、面积、像素等多种方式定义。

为了判断上述第一信息，上述预后预测系统可通过规定方式区分组织染色的颜色和背景来运算与组织的尺寸相对应的上述第一信息。

上述第二信息可以为表示在上述组织中表达实际疾病的区域的尺寸的信息。

并且，当表达疾病时，根据疾病的状态，在对表达成多个等级中的一个的疾病进行分类的情况下，通过上述预后预测系统运算表示每个等级的表达区域的尺寸的第二信息。例如，在前列腺癌的情况下，也可以分别单独判断与格里森评分3相对应的第二信息、与格里森评分4相对应的第二信息及与格里森评分5相对应的第二信息。

另一方面，如上所述，上述诊断系统仅简单按补丁执行疾病的诊断，在这种情况下，针对表达疾病的补丁，可以处理成整个补丁表达疾病(或对应等级的疾病)。

在这种情况下，如图1所示，与现有的病理专家判断第二信息相比，可以更卓越地准确运算预后预测信息。

根据实例，上述诊断系统可针对每个补丁，分割补丁中表达疾病的区域。在这种情况下，在一个补丁内仅可区分并特定表达疾病的区域，由此，第二信息变得更加精密，当基于此结果来判断第二信息时，可以实现具有更高准确度的预后预测信息的运算。

如上所述图5所示的诊断系统和预后预测系统的区分仅区分了逻辑功能，而并非通过物理区分结构来实现本发明的技术思想的系统100。即，上述图3及图4中公开的结构均可实现上述诊断系统及上述预后预测系统。

参照图6，说明这种技术思想。

图6为示出用于说明本发明一实施例的利用基于神经网络的疾病的诊断结果的预后预测方法的生物图像的表达区域诊断结果的图。

图6示出图1所示的组织被本发明的技术思想的诊断系统诊断，从而表达区域诊断结果呈现在生物图像上的一例。

图6中，用黄色表示的区域为在疾病状态中被判断为规定的第一等级(例如，格里森评分3)的区域，用朱黄色表示的区域为在疾病状态中被判断为第二等级(例如，格里森评分4)的区域。

比较图6和图1，如图6所示，与病理专家标记表达疾病的区域的边界，并将边界内的组织处理成均表达疾病不同，根据本发明的技术思想，在上述边界内，实际表达疾病的区域和未表达疾病的区域也被区分判断为像素级别或接近像素级别的详细区域。

因此，以往，与推定粗略的表达比例相比，根据本发明的技术思想，可以获取与相对较为准确的疾病的表达区域尺寸有关的信息。

并且，如图6所示，可以计算表达疾病的区域以及疾病的状态，即，每个等级的准确区域。因此，上述系统100可设定与相对于整体组织的疾病的表达区域有关的比例以及相对于疾病的表达区域的第一等级(例如，格里森评分3)的表达比例、相对于疾病的表达区域的第二等级的表达区域的比例(例如，格里森评分4)、相对于第一等级的表达区域的第二等级的表达区域的比例等用于预后预测的多种指标。

如上所述，可使用多种预后预测信息意味着更加细密地区分当前的患者状态并可进行基于此的治疗或处方。

另一方面，如上所述，上述神经网络12-2按照补丁级别诊断疾病，在生物图像上判断疾病的表达区域。当然，为了执行这种诊断，也可以优先执行训练上述神经网络的处理器。并且，如上所述，载玻片级别诊断也可以利用规定的神经网络。

因此，上述系统100也可以为根据本发明的技术思想从外部接收学习的神经网络及利用上述神经网络来执行诊断的程序来执行诊断的系统，也可以为执行上述神经网络的学习的系统。并且，上述系统100并非为常用的数据处理装置，而是也可实现为用于实现本发明的技术思想的专用装置，在这种情况下，还可具有用于扫描生物图像的单元等。

逻辑上，用于实现这种技术思想的上述系统可具有与图4相同的结构。

参照图4，上述系统包括存储控制模块110及上述神经网络和/或载玻片诊断引擎的神经网络模块120。并且，上述系统100还可包括预处理模块130。根据本发明的实施，上述结构要素中的一部分结构要素并非为本发明的实现所需要的必要的结构要素，并且，根据实施例，上述系统100还可包括比此更多的结构要素。例如，上述系统100还可包括用于与上述客户端(例如，20、20-1)进行通信的通信模块(未图示)。

上述系统100可意味着具有为了实现本发明的技术思想而需要的硬件资源(resource)和/或软件的逻辑配置，并非意味着一个物理结构要素或者一个装置。即，上述系统100可意味着为了实现本发明的技术思想而具有的硬件和/或软件的逻辑结合，根据需要，也可实现为执行设置于相互隔开的装置的各个功能，由此，用于实现本发明的技术思想的逻辑配置的集合。并且，上述系统100也可意味着按用于实现本发明的技术思想的每个功能或作用单独实现的配置的结合。例如，上述控制模块110、上述神经网络模块120和/或上述预处理模块130可分别位于不同的物理装置，也可以位于相同的物理装置。并且，根据实例，分别构成上述控制模块110、上述神经网络模块120和/或上述预处理模块130的软件和/或硬件的结合也位于不同的物理装置，位于不同物理装置的结构相互有机结合来实现每个上述模块。

并且，在本说明书中，模块可意味着用于执行本发明的技术思想的硬件及用于驱动上述硬件的软件的功能性、结构性结合。例如，上述模块可意味着规定的代码、用于执行上述规定代码的硬件源(resource)的逻辑单元，但并非意味着物理连接的代码，本发明所属技术领域的普通技术人员可以轻松推论并非意味着一种硬件。

上述控制模块110为了实现本发明的技术思想而可以控制包括在上述系统100的其他配置(例如，上述神经网络模块120和/或上述预处理模块130等)。

并且，上述控制模块110可接收生物图像，针对所接收的生物图像，利用所存储的神经网络模块120和/或载玻片诊断引擎来执行本发明技术思想的诊断。并且，可输出表达区域诊断结果。而且，上述控制模块110可生成预后预测信息。

上述控制模块110可接收存储于上述神经网络模块120的补丁级别神经网络，即，向进行学习的神经网络的输入数据，即，每个补丁的输入。而且，可执行通过神经网络定义的运算来输出输出数据，即，与补丁的疾病表达概率相对应的特征值。并且，根据实施例，在补丁中可以特定表达疾病的区域。并且，根据实施例，为了如下所述的载玻片级别诊断，也可根据上述补丁值是否为规定阈值来输出对应补丁是否表达疾病。

上述神经网络模块120可包括执行补丁级别诊断的补丁诊断引擎及执行载玻片级别诊断的载玻片诊断引擎。

如上所述，上述补丁级别诊断引擎可通过基于本发明技术思想的深度学习的神经网络实现。上述载玻片诊断引擎也可利用基于深度学习的神经网络，也可以使用规定机器学习(例如，XGBoost)引擎，而并非利用神经网络。

上述神经网络可意味着表现定义神经网络的一系列设计项的信息集合。在本说明书中，上述神经网络可以为卷积神经网络。

如上所述，上述卷积神经网络可包括输入层、多个隐藏层及输出层。多个隐藏层可分别包括卷积层及池化层(或子采样层)。并且，也能够以包括批归一化(batchnormalization，BN)层等的标准化层的方式设计卷积神经网络。

卷积神经网络可通过用于定义这种层的函数、过滤器、步幅(stride)、权重因素等确定。并且，输出层可被定义为全连接(fully connected)的前馈层(FeedForward layer)。

已知构成卷积神经网络的每个层的设计项。例如，针对包括在多个层的层的数量、用于定义上述多个层的卷积函数、池化函数、激活函数，也可以利用已知的函数，为了实现本发明的技术思想而可以利用单独定义的函数。

作为卷积函数的一例，具有离散卷积和等。作为池化函数的一例，可利用最大池化(max pooling)、平均池化(average pooling)等。作为激活函数的一例，S型(sigmoid)、正切双曲(tanh)、修正线性单元(ReLU，rectified linear unit)、Swish、指数线性单元(ELU，exponential linear unit)等。

如上所述，执行补丁级别诊断的神经网络可以为判断补丁是否存在疾病以及用于在对应补丁中特定表达疾病的分割的补丁级别分割神经网络。

本发明一实施例的补丁级别分割神经网络可实现为以执行用于判断在补丁是否存在疾病的分类的神经网络(后述的“补丁级别分类神经网络”)为基础，在此结合用于分割的单独架构的形态。图7中示出上述补丁级别分割神经网络的结构。图7所示的补丁级别分割神经网络已在在先申请中详细公开，因此，简单进行说明如下。

如图7所示，本发明一实施例的补丁级别分割神经网络400可包括补丁级别分类神经网络200及补丁级别分割架构500。

上述补丁级别分类神经网络200将作为分割载玻片的一部分的补丁作为输入层接收来输出与在上述补丁是否存在上述疾病有关的补丁级别分类结果(例如，图7所示的分数)。将其称为分类，在分类过程中，上述补丁级别分类神经网络200在包括在内部的一部分隐藏层中生成对输入(即，补丁)的特征作为中间产物。尤其，当接收图像等二维以上的矩阵时，所生成的特征为二维矩阵的形态，因此，也使用特征图等术语。另一方面，以下，在上述补丁级别分类神经网络200中所包括的隐藏层中，将生成特征图的层称为特征图提取层。

另一方面，上述补丁级别分割架构500可以接收上述补丁级别分类神经网络200中包括的隐藏层中的2个以上特征图提取层中分别生成的特征图(例如，在先申请的图4所示的f1、f2、f3)，特定上述补丁中存在疾病的区域来输出。

图7中，在补丁级别分类神经网络200执行分类的过程中示出生成3个特征图(低级特征图f1、中级特征图f2、高级特征图f3)的例，根据实施例，也可以生成比次更多或更少的特征图。

另一方面，根据本发明的实施例，执行补丁级别分类的补丁级别分类神经网络200可利用已知的densenet，但并不局限于此。此外，可以使用多种神经网络，在任何情况下，上述补丁级别分类神经网络200接收特定补丁并输出与对应特定补丁的疾病表达概率相对应的特征值。

如上所述，在由上述补丁级别分类神经网络200执行的分类过程中，上述补丁级别分割架构500通过各个特征提取层生成特征图f1、f2、f3，基于此，在补丁中可以特定存在疾病的区域。并且，为此，如在先申请所示，可以利用非局部相关关系。

如上所述，当通过神经网络模块120特定表达疾病的区域时，即，当生成表达区域诊断结果时，上述控制模块110可生成预后预测信息。

如上所述，上述控制模块110可在作为诊断对象的上述生物图像上判断与整体组织的尺寸相对应的第一信息。例如，可基于像素的数量和/或补丁的数量来判断上述第一信息。

并且，基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息。例如，可基于判断为表达疾病的像素和/或补丁的数量来判断上述第二信息。

因此，上述控制模块110可基于上述第一信息及上述第二信息生成预后预测信息。

并且，当上述神经网络模块120判断像按素单位和/或每个补丁判断是否表达疾病并将上述疾病区分为多个等级时，上述控制模块110可按每个等级来判断与在上述生物图像上的表达区域的尺寸相对应的第二信息。而且，在这种情况下，上述预后预测信息可包含与相对于整体组织的尺寸的每个等级的疾病表达区域的尺寸相对应的表达比例。

上述预处理模块130可利用神经网络来在执行诊断之前执行需要的生物图像的预处理。例如，上述生物图像的预处理可包括将上述生物图像补丁化成预设尺寸的多个补丁的过程，如上所述，也可以算出每个补丁的多个像素的灰度值。并且，根据需要，本发明所属技术领域的普通技术人员可以轻松推论也通过适合上述神经网络的方式执行适当的图像处理。

另一方面，根据实例，上述系统100可包括处理器及存储通过上述处理器执行的程序的存储器。上述处理器可包括单核CPU或多核CPU。存储器可包括高速随机存储存取存储器，也可以包括至少一个磁盘存储装置、闪存装置或其他非易失性固态存储装置等非易失性存储器。基于处理器及其他结构要素的向存储器的访问可受到存储器控制器控制。

另一方面，本发明实施例的方法体现为计算机可读程序指令形态并存储在计算机可读记录介质，本发明实施例的控制程序及对象程序也可以存储在计算机可读记录介质。计算机可读记录介质包括存储可通过计算机系统读取的数据的所有种类的记录装置。

记录在记录介质的程序指令可以为了本发明而特别设计构成或者可以是软件领域的普通技术人员公知使用的程序指令

作为计算机可读记录介质的例，硬盘、软盘、磁带等磁性介质(magnetic media)、CD-ROM、DVD等光记录介质(optical media)、光磁软盘(floptical disk)等磁光介质(magneto-optical media)及只读存储器(ROM)、随机存取存储器(RAM)、闪存等以存储并执行程序指令的方式特别构成的硬件装置。并且，计算机可读记录介质可分散在网络连接的计算机系统，以分散方式存储并执行计算机可读代码。

作为程序指令的例，包括通过编译器形成的机械代码和使用注解器等来处理电子信息的装置，例如，可通过计算机运行的高级语言代码。

上述硬件装置为了执行本发明的工作而作为一个以上的软件模块进行工作，反之亦然。

上述本发明的说明仅为例示，本发明所属技术领域的普通技术人员可以在不改变本发明的技术思想或必要特征的情况下可以将本发明轻松实施成其他具体形态。因此，以上记述的实施例在所有方面均为例示性实施例，而并非用于限定本发明。例如，以单一型说明的各个结构要素可以分散实施，同样，分散说明的结构要素也能够以结合的形态实施。

本发明的范围通过后述的发明要求保护范围体现，而并非通过上述详细说明，从发明要求保护范围的含义、范围及其等同概念导出的所有变更或变形的形态均包括在本发明的范围内。

产业上的可利用性

本发明可用于利用基于神经网络的疾病的诊断结果的预后预测方法及其系统。

Claims (6)

1.一种利用基于神经网络的疾病的诊断结果的预后预测方法，通过包括处理器及存储神经网络的存储装置的系统实现，其特征在于，

包括如下步骤：

上述系统接收生物图像；

针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果；以及

上述系统在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息，

在针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果的步骤中，针对上述生物图像被分割成规定尺寸的每个规定补丁，基于是否表达疾病的判断结果来生成上述表达区域诊断结果，或者基于针对每个上述补丁，分割补丁中表达疾病的区域的结果来生成上述表达区域诊断结果。

2.根据权利要求1所述的利用基于神经网络的疾病的诊断结果的预后预测方法，其特征在于，

针对上述系统接收的生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果的步骤包括如下步骤：在表达上述疾病的情况下，当所表达的疾病状态被区分为多个等级时，上述系统按每个上述等级生成表达区域诊断结果，

在上述系统在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息的步骤中，上述系统基于上述表达区域诊断结果来按每个等级判断与在上述生物图像上的表达区域的尺寸相对应的第二信息。

3.根据权利要求1所述的利用基于神经网络的疾病的诊断结果的预后预测方法，其特征在于，上述预后预测信息包含与表达比例有关的信息，上述表达比例与相对于上述整体组织的尺寸的上述表达区域的尺寸相对应。

4.一种计算机程序，其特征在于，记录于设置在数据处理装置的介质，用于执行权利要求1至3中任一项所述的方法。

5.一种利用基于神经网络的疾病的诊断结果的预后预测系统，包括处理器及存储神经网络的存储装置，其特征在于，包括：

处理器；

存储器，存储通过上述处理器驱动的程序及神经网络，

上述处理器驱动上述程序，接收生物图像，针对生物图像生成在上述生物图像中判断表达疾病的表达区域的表达区域诊断结果，在上述生物图像上判断与整体组织的尺寸相对应的第一信息及基于上述诊断结果来在上述生物图像上判断与表达区域的尺寸相对应的第二信息并生成基于判断结果的预后预测信息，

针对上述生物图像被分割成规定尺寸的每个规定补丁，基于是否表达疾病的判断结果来生成上述表达区域诊断结果，或者基于针对每个上述补丁，分割补丁中表达疾病的区域的结果来生成上述表达区域诊断结果。

6.根据权利要求5所述的利用基于神经网络的疾病的诊断结果的预后预测系统，其特征在于，

上述处理器驱动上述程序，在表达上述疾病的情况下，当所表达的疾病状态被区分为多个等级时，上述系统按每个上述等级生成表达区域诊断结果，

基于上述表达区域诊断结果来按每个等级判断与在上述生物图像上的表达区域的尺寸相对应的第二信息。