CN111091539B - 网络模型训练、医学图像处理方法、装置、介质及设备 - Google Patents
网络模型训练、医学图像处理方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN111091539B CN111091539B CN201911251666.3A CN201911251666A CN111091539B CN 111091539 B CN111091539 B CN 111091539B CN 201911251666 A CN201911251666 A CN 201911251666A CN 111091539 B CN111091539 B CN 111091539B
- Authority
- CN
- China
- Prior art keywords
- image
- user
- medical image
- network model
- film reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000002372 labelling Methods 0.000 claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 21
- 230000003902 lesion Effects 0.000 abstract description 21
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 7
- 210000001508 eye Anatomy 0.000 description 20
- 208000024891 symptom Diseases 0.000 description 14
- 210000005252 bulbus oculi Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
本申请涉及一种网络模型训练方法及装置、医学图像处理方法及装置、存储介质及计算机设备，在训练用于自动阅片的网络模型时，样本医学图像包含不同层级的图像结构，阅片数据包括各层级的图像结构对应的用户标注结果，使得训练好的网络模型可以在自动阅片的过程中，根据不同层级的图像结构特征检测出多种病况并进行标注，从而可以提高标注效率，且检测范围更全面；另外，阅片数据还包括各层级的图像结构对应的关注度信息，关注度信息表征用户对该图像结构的病变重视程度，关注度越高，医生对病变的重视程度越高，表明病变危急程度也越高，从而可以更好地模拟医生进行人工标注的处理过程，提高标注结果的准确性，以便于支持后期准确确诊。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种网络模型训练方法及装置、一种医学图像处理方法及装置、存储介质及计算机设备。
背景技术
随着医学成像技术的飞速发展，产生了各种医学扫描图像，如PET(PositronEmission Computed Tomography，正电子发射型计算机断层显像)图像、CT(ComputedTomography，电子计算机断层扫描)图像、MRI(Magnetic Resonance Imaging，磁共振成像)图像等。医学图像是医生诊断的重要参考依据，因此，医学图像的有效标注具有重要意义。
现有技术中，在自动进行医学图像标注的过程时，所采用的模型通常是单病种模型，即只能检测标注单种病况，从而降低标注效率，另外，在根据现有的标注结果进行患者的疾病诊断时，由于病况检测不全也会加重漏诊的风险。
发明内容
基于此，有必要针对现有技术存在的问题，提供一种标注效率更高、检测更全面以支持后期准确确诊的网络模型训练方法及装置、医学图像处理方法及装置、存储介质及计算机设备。
一种网络模型训练方法，包括：
获取样本医学图像，所述样本医学图像包含不同层级的图像结构；
获取所述样本医学图像对应的阅片数据，根据所述阅片数据，获取用户在对所述样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，所述关注度信息用于表征用户对图像结构的病变重视程度；
根据所述样本医学图像、各所述图像结构对应的关注度信息以及所述用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
一种医学图像处理方法，包括：
获取待处理的医学图像；
通过训练好的网络模型对所述医学图像进行图像阅片处理，得到所述医学图像的阅片结果；所述训练好的网络模型为根据上述的网络模型训练方法训练得到的网络模型。
一种网络模型训练装置，包括：
第一获取模块，用于获取样本医学图像，所述样本医学图像包含不同层级的图像结构；
第二获取模块，用于获取所述样本医学图像对应的阅片数据，根据所述阅片数据，获取用户在对所述样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，所述关注度信息用于表征用户对图像结构的病变重视程度；
网络模型训练模块，用于根据所述样本医学图像、各所述图像结构对应的关注度信息以及所述用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
一种医学图像处理装置，包括：
医学图像获取模块，用于获取待处理的医学图像；
图像阅片处理模块，用于通过训练好的网络模型对所述医学图像进行图像阅片处理，得到所述医学图像的阅片结果；所述训练好的网络模型为根据上述的网络模型训练方法训练得到的网络模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述网络模型训练方法及装置、医学图像处理方法及装置、存储介质及计算机设备，在训练用于自动阅片的网络模型时，样本医学图像包含不同层级的图像结构，阅片数据包括各层级的图像结构对应的用户标注结果，使得训练好的网络模型可以在自动阅片的过程中，根据不同层级的图像结构特征检测出多种病况并进行标注，从而可以提高标注效率，且检测范围更全面；另外，阅片数据还包括各层级的图像结构对应的关注度信息，关注度信息表征用户对该图像结构的病变重视程度，关注度越高，医生对病变的重视程度越高，表明病变危急程度也越高，从而可以更好地模拟医生进行人工标注的处理过程，提高标注结果的准确性，以便于支持后期准确确诊。
附图说明
图1为一个实施例中网络模型训练方法的流程示意图；
图2为一个实施例中图像结构的示例图；
图3为一个实施例中关注度信息的获取过程的流程示意图；
图4为一个实施例中获取用户在不同显示模式的样本医学图像上的关注点运动轨迹的流程示意图；
图5为一个实施例中用户进行阅片的示意图；
图6为一个实施例中获取用户关注度运动轨迹的实例图；
图7为根据图6中的关注点得到的关注点运动轨迹的示意图；
图8为一个实施例中医学图像处理方法的流程示意图；
图9为一个实施例中网络模型训练装置的结构示意图；
图10为一个实施例中医学图像处理装置的结构示意图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供一种网络模型训练方法，通过该方法训练得到的网络模型具体可以是用于自动阅片的网络模型。以该方法应用于可以进行网络模型训练的处理器为例进行解释说明，该方法主要包括以下步骤：
步骤S110，获取样本医学图像。
其中，样本医学图像包含不同层级的图像结构，不同层级具体是指图像结构的范围等级不同。以某一目标对象的医学图像为例，最高层级的图像结构为该目标对象的整体结构，例如人体整体；随后的下一层级可以是按照身体部位划分的图像结构，例如头部、上身部、下身部、脚部等；再随后的下一层级可以是按照具体的器官组织划分的图像结构，例如，对于上身部，下一层级的图像结构包括心脏、肺部等；再随后的下一层级可以是按照器官组织的内部结构划分的图像结构，例如，对于肺部，下一层级的图像结构包括左上叶、左下叶、右上叶、右中叶、右下叶等。低层级的图像结构在对应的高层级图像结构的范围内，单个高层级的图像结构可以是同时包含多个低层级的图像结构。
步骤S130，获取样本医学图像对应的阅片数据，根据阅片数据，获取用户在对样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，关注度信息用于表征用户对图像结构的病变重视程度。
处理器在获取样本医学图像之后，进一步获取对应的阅片数据。该阅片数据具体为阅片用户(例如医生等)在对样本医学图像进行阅片时得到的数据，阅片数据通常和医学图像共同存储影像报告中，因此本步骤可以和步骤S110同时进行。本步骤与现有技术的不同之处在于，处理器在获取阅片数据之后，除了根据阅片数据获取用户在阅片过程中的用户标注数据之外，还包括获取用户对不同图像结构(关键点或者感兴趣区域)的关注度信息。其中，用户标注数据可以是阅片用户对于关键点或者感兴趣区域的标注数据。而关注度信息则是表征阅片用户在对关键点或者感兴趣区域进行标注的过程中，对于关键点或者感兴趣区域的关注程度。
对于阅片用户来说，若某一图像结构为正常状态，则会快速略过该图像结构，此时阅片用户对该图像结构的关注程度会比较低。若某一图像结构为异常状态，但是病变程度比较轻，则阅片用户需要稍微花费一些精力来进行观察和标注，此时阅片用户对该图像结构的关注程度为一般。若某一图像结构为异常状态，且病变程度比较严重，则阅片用户需要花费大量精力来进行观察和标注，此时阅片用户对该图像结构的关注程度较高。因此，对于不同病变程度的图像结构，阅片用户的关注程度不同，阅片用户进行观察标注所花费的精力也不同，也就是说，关注度信息可以用于表征用户对图像结构的病变重视程度。
步骤S150，根据样本医学图像、各图像结构对应的关注度信息以及用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
处理器在获取样本医学图像以及对应的阅片数据之后，将获取图像以及数据作为训练数据，对初始网络模型进行训练，从而得到训练好的、可以用于自动阅片的网络模型。现有技术中仅使用用户标注数据进行模型训练而得的网络模型虽然能够进行关键点检测和影像分割，但是缺少阅片用户在阅片过程中对于影像的理解。而本申请通过在训练数据中加入阅片用户对各图像结构的关注度信息，使得训练得到的网络模型可以基于医生的理解来进行阅片。
例如，如图2所示，为图像结构的示例图，对于某一影像征象a，当征象a出现在器官A中时属于正常现象，而当征象a出现在器官B中时则属于异常现象，通过传统方法得到的训练模型虽然能将征象a识别出来，但是并不能判断当前出现征象a以后是属于正常现象还是异常现象。
而在本申请的方法中，在获取的训练数据中，除了征象a的标注数据，还包括对于征象a的关注度信息，根据病变程度可以得出，阅片用户对器官A中的征象a关注程度较低，而对器官B中的征象a关注程度较高，从而，在通过包含该关注度信息的训练数据对网络模型进行训练后，使得训练之后的网络模型也可以“学习”到阅片用户对不同器官中的征象a的“理解”，从而可以在将征象a识别出来的基础上，进一步判断出当前出现征象a以后是属于正常现象还是异常现象，从而使得网络模型的阅片结果更加全面准确。
另外，在对医学图像进行处理的过程中，对于部分异常现象，仅仅依靠单种征象并不能判断确定，因此，本实施例采用多层级的图像结构对网络模型进行训练，使得训练得到的网络模型可以根据多种征象来判断异常现象，从而进一步提高网络模型的阅片结果的准确性。
本实施例提供一种网络模型训练方法，在训练用于自动阅片的网络模型时，样本医学图像包含不同层级的图像结构，阅片数据包括各层级的图像结构对应的用户标注结果，使得训练好的网络模型可以在自动阅片的过程中，根据不同层级的图像结构特征检测出多种病况并进行标注，从而可以提高标注效率，且检测范围更全面准确；另外，阅片数据还包括各层级的图像结构对应的关注度信息，关注度信息表征用户对该图像结构的病变重视程度，关注度越高，医生对病变的重视程度越高，表明病变危急程度也越高，从而可以更好地模拟医生进行人工标注的处理过程，提高标注结果的准确性，以便于支持后期准确确诊。
在一个实施例中，关注度信息包括用户基于各图像结构进行标注时，用户进行阅片的过程中对样本医学图像上的图像结构的关注顺序、关注位置、关注范围以及关注时长。其中，关注顺序为阅片用户在进行阅片过程中，对不同的图像结构进行关注的时间顺序，关注顺序可以用于表示用户的阅片过程。关注位置为阅片用户所观察的图像结构在样本医学图像上的位置。关注位置为阅片用户在对图像结构进行标注时，所结合的其他图像结构在样本医学图像上的位置范围。关注时长为用户在对图像结构进行观察或者标注所花费的时间。
本实施例中，在训练网络模型时，通过结合阅片用户在样本医学图像上的关注顺序、关注位置、关注范围以及关注时长，可以使得网络模型学习到阅片用户进行人工阅片的处理流程，提高网络模型对于影像的“理解”，使得网络模型的阅片结果更加准确。
在一个实施例中，对网络模型训练数据中的关注度的获取过程进行解释说明，如图3所示，关注度信息的获取过程包括以下步骤：
步骤S131，获取用户在不同显示模式的样本医学图像上的关注点运动轨迹；
步骤S133，基于关注点运动轨迹得到用户的阅片流程信息，阅片流程信息依次包括第一层级图像结构的阅片处理以及第二层级图像结构的阅片处理，其中，第一层级高于第二层级；
步骤S135，根据阅片流程信息确定用户对不同层级的图像结构的关注度。
具体地，用户在阅片的过程中，会对医学图像的显示模式进行调整，例如对医学图像进行缩放、旋转等处理，以便于更清楚方便地进行观察，因此，首先基于用户在不同显示模式下的图像上的所关注的对象得到用户的关注点运动轨迹；然后，按照第一层级图像结构至第二层级图像结构的顺序确定用户的阅片流程，即先观察高层级的图像结构，再观察低层级的图像结构，例如，具体可以是先对图像进行全局观察，再进行局部观察；最后，根据阅片流程信息，结合时序信息，确定用户对不同层级的图像结构的关注度。
本实施例通过按照从整体到局部的顺序获取用户的阅片流程信息，可以使得根据训练得到的网络模型可以层次化地进行图像结构的标注，提高网络模型阅片结果的准确性。
在一个实施例中，通过视觉追踪获取用户的关注点运动轨迹。如图4所示，获取用户在不同显示模式的样本医学图像上的关注点运动轨迹包括以下步骤：
步骤S131a，在用户观察样本医学图像时，获取用户的眼部图像，并提取眼部图像中的眼部特征信息；
步骤S131b，根据眼部特征信息确定用户的视线方向向量；
步骤S131c，基于视线方向向量以及当前显示模式下的样本医学图像，确定用户在样本医学图像上的关注点；
步骤S131d，根据在用户观察过程中确定的所有关注点得到关注点运动轨迹。
在用户通过计算机设备进行阅片时，可以通过配置于用户前方的眼球追踪装置来对用户进行眼球追踪，眼球追踪装置可以通过有线或者无线的方式与计算机设备进行连接，从而将获取的眼球追踪信息发送至计算机设备以实现信息交互。
具体地，用户的眼部图像为包含用户眼球的图像，眼部特征信息可以包括瞳孔中心位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等，本实施例中以图像中瞳孔中心位置为例进行说明。在提取出瞳孔中心位置后，可以确定用户的视线方向向量，从而，再结合当前显示模式下的样本医学图像，即可确定用户在样本医学图像上的关注点，结合不同时序信息的关注点，可以得到用户的关注点运动轨迹。
例如，如图5所示，为用户进行阅片的示意图。阅片用户在通过计算机设备的显示器进行阅片，眼球追踪装置可以在用户阅片过程中进行眼球追踪，并将追踪信息发送至计算机设备，计算机设备通过信息处理得到用户的关注点运动轨迹。
如图6所示，为本实施例中获取用户关注度运动轨迹的实例图，以肺部图像为例，在T1时刻，用户的眼球位于眼睛中部，对应的，用户的关注点在当前显示的医学图像的中心位置；在T2时刻，用户的眼球位于眼睛左上部，对应的，用户的关注点在当前显示的医学图像的左上位置；在T3时刻，用户的眼球位于眼睛左下部，对应的，用户的关注点在当前显示的医学图像的左下位置；在T4时刻，用户的眼球位于眼睛右下部，对应的，用户的关注点在当前显示的医学图像的右下位置；在T5时刻，用户的眼球位于眼睛右上部，对应的，用户的关注点在当前显示的医学图像的右上位置。
如图7所示，为根据图6中的关注点得到的关注点运动轨迹，在得到不同时刻的关注点之后，根据各关注点对应的时序信息，即可得到对应的关注点运动轨迹，从而便于后续根据关注点运动轨迹确定用户对不同图像结构的关注点。
在一个实施例中，如图8所示，提供一种医学图像处理方法，以该方法应用于可以进行医学图像处理的处理器为例进行解释说明，该方法主要包括以下步骤：
步骤S210，获取待处理的医学图像。
其中，处理器可以通过对医学扫描设备采集到的扫描数据进行图像重建和校正，从而得到待处理的医学图像。当然，医学图像也可以预先重建和校正好，存储在存储器中，当需要对其进行处理时，处理器直接从存储器中读取医学图像。当然，处理器也可以从外部设备中获取医学图像。比如，将待处理的医学图像存储在云端，当需要进行处理操作时，处理器从云端获取该待处理的医学图像。此外，外部设备也可以是外部的存储介质等，本实施例对获取医学图像的获取方式不做限定。
另外，待处理的医学图像具体可以是各种单模态图像，如PET(Positron EmissionComputed Tomography，正电子发射型计算机断层显像)图像、CT(Computed Tomography，电子计算机断层扫描)图像、MRI(Magnetic Resonance Imaging，磁共振成像)图像等；也可以是多模态图像，例如PET-CT图像、PET-MR图像等，在此不作限定。可以理解，医学图像并不仅仅是指代单独一张图像，医学图像也可以是指代一个图像集，例如，由同一被检查对象对应的、不同成像扫描参数(不同扫描序列、不同模态、不同拍摄体位等)的多张医学图像组成的图像集等。
步骤S230，通过训练好的网络模型对医学图像进行图像阅片处理，得到医学图像的阅片结果；训练好的网络模型为根据本申请的网络模型训练方法训练得到的网络模型。
处理器在得到医学图像之后，使用通过本申请的网络模型训练方法训练得到的网络模型进行自动阅片处理，从而得到对应的阅片结果。关于本实施例中网络模型的具体限定可以参见上文中网络模型训练方法的限定，在此不再赘述。
本实施例提供一种医学图像处理方法，在使用通过本申请的网络模型训练方法训练得到的网络模型进行自动阅片处理时，可以根据不同层级的图像结构特征检测出多种病况并进行标注，从而可以提高标注效率，且检测范围更全面准确；另外，也可以更好地模拟医生进行人工标注的处理过程，提高标注结果的准确性，以便于支持后期准确确诊。
在一个实施例中，医学图像包含不同层级的图像结构。通过训练好的网络模型对医学图像进行图像阅片处理，得到医学图像的阅片结果包括：按照由第一层级图像结构向第二层级图像结构的顺序，通过网络模型对医学图像进行图像阅片处理，得到各不同层级的图像结构对应的阅片结果，其中，第一层级高于第二层级。其中，阅片结果表示网络模型对医学图像进行自动阅片之后得到的结果，由于改网络模型是通过用户的阅片数据训练得到，因此，通过模型得到的阅片结果可以认为是和阅片用户根据该医学图像所能得到的阅片结果一致或接近。阅片结果具体可以是医学图像中是否出现图像结构异常以及病变等，也还可以包括具体异常类型或者病变类型的标注数据。另外，网络模型在进行自动阅片时，可以首先从第一层级图像结构向第二层级图像结构进行标注，其中，第一层级高于第二层级，例如，可以首先从整体结构进行分析，然后再依次向下一层级进行分析，从而得到最终结果。
在合理条件下应当理解，虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供一种网络模型训练装置，该装置包括以下模块：
第一获取模块110，用于获取样本医学图像，样本医学图像包含不同层级的图像结构；
第二获取模块130，用于获取样本医学图像对应的阅片数据，根据阅片数据，获取用户在对样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，关注度信息用于表征用户对图像结构的病变重视程度；
网络模型训练模块150，用于根据样本医学图像、各图像结构对应的关注度信息以及用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
关于网络模型训练装置的具体限定可以参见上文中对于网络模型训练方法的限定，在此不再赘述。上述网络模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图10所示，提供一种医学图像处理装置，该装置包括以下模块：
医学图像获取模块210，用于获取待处理的医学图像；
图像阅片处理模块230，用于通过训练好的网络模型对医学图像进行图像阅片处理，得到医学图像的阅片结果；训练好的网络模型为根据本申请的网络模型训练方法训练得到的网络模型。
关于医学图像处理装置的具体限定可以参见上文中对于医学图像处理方法的限定，在此不再赘述。上述医学图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取样本医学图像，样本医学图像包含不同层级的图像结构；获取样本医学图像对应的阅片数据，根据阅片数据，获取用户在对样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，关注度信息用于表征用户对图像结构的病变重视程度；根据样本医学图像、各图像结构对应的关注度信息以及用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取用户在不同显示模式的样本医学图像上的关注点运动轨迹；基于关注点运动轨迹得到用户的阅片流程信息，阅片流程信息依次包括第一层级图像结构的阅片处理以及第二层级图像结构的阅片处理，其中，第一层级高于第二层级；根据阅片流程信息确定用户对不同层级的图像结构的关注度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在用户观察样本医学图像时，获取用户的眼部图像，并提取眼部图像中的眼部特征信息；根据眼部特征信息确定用户的视线方向向量；基于视线方向向量以及当前显示模式下的样本医学图像，确定用户在样本医学图像上的关注点；根据在用户观察过程中确定的所有关注点得到关注点运动轨迹。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待处理的医学图像；通过训练好的网络模型对医学图像进行图像阅片处理，得到医学图像的阅片结果；训练好的网络模型为根据本申请的网络模型训练方法训练得到的网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：按照由第一层级图像结构向第二层级图像结构的顺序，通过网络模型对医学图像进行图像阅片处理，得到各不同层级的图像结构对应的阅片结果，其中，第一层级高于第二层级。
图11为一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端(或服务器)。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现网络模型训练方法以及医学图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行网络模型训练方法以及医学图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取样本医学图像，样本医学图像包含不同层级的图像结构；获取样本医学图像对应的阅片数据，根据阅片数据，获取用户在对样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据，关注度信息用于表征用户对图像结构的病变重视程度；根据样本医学图像、各图像结构对应的关注度信息以及用户标注结果对初始网络模型进行训练，得到训练好的网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取用户在不同显示模式的样本医学图像上的关注点运动轨迹；基于关注点运动轨迹得到用户的阅片流程信息，阅片流程信息依次包括第一层级图像结构的阅片处理以及第二层级图像结构的阅片处理，其中，第一层级高于第二层级；根据阅片流程信息确定用户对不同层级的图像结构的关注度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在用户观察样本医学图像时，获取用户的眼部图像，并提取眼部图像中的眼部特征信息；根据眼部特征信息确定用户的视线方向向量；基于视线方向向量以及当前显示模式下的样本医学图像，确定用户在样本医学图像上的关注点；根据在用户观察过程中确定的所有关注点得到关注点运动轨迹。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待处理的医学图像；通过训练好的网络模型对医学图像进行图像阅片处理，得到医学图像的阅片结果；训练好的网络模型为根据本申请的网络模型训练方法训练得到的网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照由第一层级图像结构向第二层级图像结构的顺序，通过网络模型对医学图像进行图像阅片处理，得到各不同层级的图像结构对应的阅片结果，其中，第一层级高于第二层级。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络模型训练方法，其特征在于，包括：
获取样本医学图像，所述样本医学图像包含不同层级的图像结构；所述不同层级的图像结构在目标对象对应的范围等级不同；单个高层级图像结构包含多个低层级图像结构；
获取所述样本医学图像对应的阅片数据，根据所述阅片数据，获取用户在对所述样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据；所述关注度信息为根据所述用户的阅片流程信息确定的所述用户对不同层级的图像结构的关注度；所述关注度表征所述用户在对关键点或者感兴趣区域进行标注的过程中，对于所述关键点或者所述感兴趣区域的关注程度；所述用户标注数据为所述用户对于所述关键点或者所述感兴趣区域的标注数据；
根据所述样本医学图像、各所述图像结构对应的关注度信息以及所述用户标注数据对初始网络模型进行训练，得到训练好的网络模型；所述训练好的模型在自动阅片的过程中，根据不同层级的图像结构特征检测并标注出多种病况。
2.根据权利要求1所述的方法，其特征在于，所述关注度信息包括所述用户进行阅片的过程中对所述样本医学图像上的图像结构的关注顺序、关注位置、关注范围以及关注时长。
3.根据权利要求1所述的方法，其特征在于，所述关注度信息的获取过程包括：
获取所述用户在不同显示模式的样本医学图像上的关注点运动轨迹；
基于所述关注点运动轨迹得到所述用户的阅片流程信息，所述阅片流程信息依次包括第一层级图像结构的阅片处理以及第二层级图像结构的阅片处理，其中，第一层级高于第二层级；
根据所述阅片流程信息确定所述用户对不同层级的图像结构的关注度。
4.根据权利要求3所述的方法，其特征在于，所述获取所述用户在不同显示模式的样本医学图像上的关注点运动轨迹包括：
在用户观察所述样本医学图像时，获取所述用户的眼部图像，并提取所述眼部图像中的眼部特征信息；
根据所述眼部特征信息确定所述用户的视线方向向量；
基于所述视线方向向量以及当前显示模式下的样本医学图像，确定用户在所述样本医学图像上的关注点；
根据在用户观察过程中确定的所有关注点得到所述关注点运动轨迹。
5.一种医学图像处理方法，其特征在于，包括：
获取待处理的医学图像；
通过训练好的网络模型对所述医学图像进行图像阅片处理，得到所述医学图像的阅片结果；所述训练好的网络模型为根据权利要求1-4中任一项所述的网络模型训练方法训练得到的网络模型；所述训练好的模型在自动阅片的过程中，根据不同层级的图像结构特征检测并标注出多种病况。
6.根据权利要求5所述的方法，其特征在于，所述医学图像包含不同层级的图像结构；
所述通过训练好的网络模型对所述医学图像进行图像阅片处理，得到所述医学图像的阅片结果，包括：
按照由第一层级图像结构向第二层级图像结构的顺序，通过所述网络模型对所述医学图像进行图像阅片处理，得到各所述不同层级的图像结构对应的阅片结果，其中，第一层级高于第二层级。
7.一种网络模型训练装置，其特征在于，包括：
第一获取模块，用于获取样本医学图像，所述样本医学图像包含不同层级的图像结构；所述不同层级的图像结构在目标对象对应的范围等级不同；单个高层级图像结构包含多个低层级图像结构；
第二获取模块，用于获取所述样本医学图像对应的阅片数据，根据所述阅片数据，获取用户在对所述样本医学图像进行阅片的过程中，对不同图像结构对应的关注度信息以及用户标注数据；所述关注度信息为根据所述用户的阅片流程信息确定的所述用户对不同层级的图像结构的关注度；所述关注度表征所述用户在对关键点或者感兴趣区域进行标注的过程中，对于所述关键点或者所述感兴趣区域的关注程度；所述用户标注数据为所述用户对于所述关键点或者所述感兴趣区域的标注数据；
网络模型训练模块，用于根据所述样本医学图像、各所述图像结构对应的关注度信息以及所述用户标注数据对初始网络模型进行训练，得到训练好的网络模型；所述训练好的模型在自动阅片的过程中，根据不同层级的图像结构特征检测并标注出多种病况。
8.一种医学图像处理装置，其特征在于，包括：
医学图像获取模块，用于获取待处理的医学图像；
图像阅片处理模块，用于通过训练好的网络模型对所述医学图像进行图像阅片处理，得到所述医学图像的阅片结果；所述训练好的网络模型为根据权利要求1-4中任一项所述的网络模型训练方法训练得到的网络模型；所述训练好的模型在自动阅片的过程中，根据不同层级的图像结构特征检测并标注出多种病况。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251666.3A CN111091539B (zh) | 2019-12-09 | 2019-12-09 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251666.3A CN111091539B (zh) | 2019-12-09 | 2019-12-09 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091539A CN111091539A (zh) | 2020-05-01 |
| CN111091539B true CN111091539B (zh) | 2024-03-26 |
Family
ID=70395403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911251666.3A Active CN111091539B (zh) | 2019-12-09 | 2019-12-09 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091539B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112420168B (zh) * | 2020-11-12 | 2023-06-23 | 武汉联影医疗科技有限公司 | 数据写入数据库的方法、装置、设备和存储介质 |
| CN112926677B (zh) * | 2021-03-24 | 2024-02-02 | 中国医学科学院医学信息研究所 | 医学图像数据的信息标注方法、装置及系统 |
| CN113903433B (zh) * | 2021-10-14 | 2022-11-15 | 数坤(北京)网络科技股份有限公司 | 一种图像处理方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109326085A (zh) * | 2018-11-08 | 2019-02-12 | 上海掌门科技有限公司 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
| WO2019034328A1 (en) * | 2017-08-15 | 2019-02-21 | Siemens Healthcare Gmbh | IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS |
| CN109872803A (zh) * | 2019-01-28 | 2019-06-11 | 透彻影像(北京)科技有限公司 | 一种人工智能病理标注系统 |
| CN109887583A (zh) * | 2019-03-11 | 2019-06-14 | 数坤（北京）网络科技有限公司 | 基于医生行为的数据获取方法/系统、医学图像处理系统 |
| CN110232410A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 多层级的器官组织病理图像分析方法及分析装置 |
| CN110245657A (zh) * | 2019-05-17 | 2019-09-17 | 清华大学 | 病理图像相似性检测方法及检测装置 |
| EP3539054A1 (en) * | 2018-06-11 | 2019-09-18 | FotoNation Limited | Neural network image processing apparatus |
| CN110490239A (zh) * | 2019-08-06 | 2019-11-22 | 腾讯医疗健康(深圳)有限公司 | 图像质控网络的训练方法、质量分类方法、装置及设备 |
-
2019
- 2019-12-09 CN CN201911251666.3A patent/CN111091539B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019034328A1 (en) * | 2017-08-15 | 2019-02-21 | Siemens Healthcare Gmbh | IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS |
| EP3539054A1 (en) * | 2018-06-11 | 2019-09-18 | FotoNation Limited | Neural network image processing apparatus |
| CN109326085A (zh) * | 2018-11-08 | 2019-02-12 | 上海掌门科技有限公司 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
| CN109872803A (zh) * | 2019-01-28 | 2019-06-11 | 透彻影像(北京)科技有限公司 | 一种人工智能病理标注系统 |
| CN109887583A (zh) * | 2019-03-11 | 2019-06-14 | 数坤（北京）网络科技有限公司 | 基于医生行为的数据获取方法/系统、医学图像处理系统 |
| CN110245657A (zh) * | 2019-05-17 | 2019-09-17 | 清华大学 | 病理图像相似性检测方法及检测装置 |
| CN110232410A (zh) * | 2019-05-30 | 2019-09-13 | 清华大学 | 多层级的器官组织病理图像分析方法及分析装置 |
| CN110490239A (zh) * | 2019-08-06 | 2019-11-22 | 腾讯医疗健康(深圳)有限公司 | 图像质控网络的训练方法、质量分类方法、装置及设备 |
Non-Patent Citations (5)
| Title |
|---|
| A Visual Attention Model Based on Human Visual Cognition;Na Li等;《Advances in Brain Inspired Cognitive Systems》;20181006;2018-10-06 * |
| Multi-level region-based Convolutional Neural Network for image emotion classification;Tianrong Rao等;《Neurocomputing》;20190314;第333 卷;第429-439页 * |
| 基于卷积神经网络的像素级标注算法研究与实现;孙铁柱;《信息科技辑》;20190915(第09期);第I138-899页 * |
| 基于深度学习的结构化图像标注研究;姚义等;《电脑知识与技术》;20191130;第15卷(第33期);第187-189页 * |
| 柯尔挺.基于视觉感知信息的乳腺钼靶肿块辅助诊断研究.《医药卫生科技辑》.2013,(第S2期),第6、16、28、31页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091539A (zh) | 2020-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610313B2 (en) | Systems and methods for generating normative imaging data for medical image processing using deep learning | |
| CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
| CN111091539B (zh) | 网络模型训练、医学图像处理方法、装置、介质及设备 | |
| CN109920518B (zh) | 医学影像分析方法、装置、计算机设备和存储介质 | |
| CN109800805A (zh) | 基于人工智能的图像处理系统以及计算机设备 | |
| CN111080573B (zh) | 肋骨图像检测方法、计算机设备和存储介质 | |
| CN110766730A (zh) | 图像配准及随访评估方法、存储介质及计算机设备 | |
| CN105303550B (zh) | 图像处理装置及图像处理方法 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| CN111128348B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| US10726548B2 (en) | Confidence determination in a medical imaging video clip measurement based upon video clip image quality | |
| CN110992439A (zh) | 纤维束追踪方法、计算机设备和存储介质 | |
| CN114202516A (zh) | 一种异物检测方法、装置、电子设备及存储介质 | |
| CN115249279A (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
| CN110738639B (zh) | 医学图像检测结果的展示方法、装置、设备及存储介质 | |
| CN110910409A (zh) | 一种灰度图像处理方法、装置和计算机可读存储介质 | |
| JP7431317B2 (ja) | 文書作成支援装置、方法およびプログラム | |
| CN115700740A (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
| JP5192751B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和系统 | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| CN114037830A (zh) | 增强图像生成模型的训练方法、图像处理方法及装置 | |
| US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
| CN113256625A (zh) | 一种电子设备和识别装置 | |
| JP2019107453A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |