CN110197474B - 图像处理方法和装置及神经网络模型的训练方法 - Google Patents

图像处理方法和装置及神经网络模型的训练方法 Download PDF

Info

Publication number
CN110197474B
CN110197474B CN201810261926.4A CN201810261926A CN110197474B CN 110197474 B CN110197474 B CN 110197474B CN 201810261926 A CN201810261926 A CN 201810261926A CN 110197474 B CN110197474 B CN 110197474B
Authority
CN
China
Prior art keywords
tumor
target
bump
image
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810261926.4A
Other languages
English (en)
Other versions
CN110197474A (zh
Inventor
肖芬
常佳
周旋
颜克洲
江铖
田宽
朱建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810261926.4A priority Critical patent/CN110197474B/zh
Priority to PCT/CN2019/079456 priority patent/WO2019184851A1/zh
Priority to JP2020543382A priority patent/JP7076681B2/ja
Publication of CN110197474A publication Critical patent/CN110197474A/zh
Priority to US16/905,079 priority patent/US11501431B2/en
Application granted granted Critical
Publication of CN110197474B publication Critical patent/CN110197474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法和装置及神经网络模型的训练方法。其中，该方法包括：获取钼靶图像；从钼靶图像中提取出多个候选区域；通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。本发明解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题。

Description

图像处理方法和装置及神经网络模型的训练方法
技术领域
本发明涉及计算机领域，具体而言，涉及一种图像处理方法和装置及神经网络模型的训练方法。
背景技术
目前，利用钼靶图像定位疑似恶性肿块可以为医生提供较好的肿块良恶性判定依据，但是，相关技术通常采用人工方式从钼靶图像中筛选出疑似恶性肿块，采用人工筛选方式定位疑似恶性肿块要求医生有非常丰富的经验，而且，采用人工筛选方式定位疑似恶性肿块严重影响了疑似恶性肿块的筛选效率和定位准确度。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法和装置及神经网络模型的训练方法，以至少解决相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取钼靶图像；从所述钼靶图像中提取出多个候选区域；通过深度学习训练得到的神经网络模型将所述多个候选区域中的目标区域在所述钼靶图像中进行标记，其中，所述目标区域所包括的肿块为目标肿块的概率大于第一阈值，所述目标肿块为恶性肿块的概率大于第二阈值，所述神经网络模型用于指示所述候选区域与所述候选区域所包括的肿块为所述目标肿块的概率之间的映射关系。
根据本发明实施例的另一方面，还提供了一种神经网络模型的训练方法，包括：获取样本肿块区域，并确定所述样本肿块区域所包括的肿块为目标肿块的概率，其中，所述目标肿块为恶性肿块的概率大于目标阈值；利用所述样本肿块区域与所述样本肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型，其中，在进行深度学习训练时，训练输入参数包括所述样本肿块区域，训练输出参数包括所述样本肿块区域所包括的肿块为所述目标肿块的概率。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行本发明实施例中任意一种图像处理方法和神经网络模型的训练方法。
根据本发明实施例的另一方面，还提供了一种图像处理装置，其中，所述装置用于执行本发明实施例中的任意一种图像处理方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行本发明实施例中任意一种神经网络模型的训练方法。
在本发明实施例中，通过获取钼靶图像，从钼靶图像中提取出多个候选区域，通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系，达到了无需人工参与自动化标记钼靶图像中的目标肿块区域的目的，进而解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，从而实现了提高疑似恶性肿块的筛选效率和定位准确度的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的图像处理方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的图像处理方法的流程图；
图3是根据本发明优选实施例的标记钼靶图像的示意图；
图4是根据本发明优选实施例的乳房钼靶图像中疑似恶性肿块定位流程的示意图；
图5是根据本发明实施例的一种可选的神经网络模型的训练方法的流程图；
图6是根据本发明实施例的一种可选的图像处理装置的示意图；
图7是根据本发明实施例的另一种可选的图像处理装置的示意图；
图8是根据本发明实施例的另一种可选的图像处理装置的示意图；
图9是根据本发明实施例的另一种可选的图像处理装置的示意图；
图10是根据本发明实施例的另一种可选的图像处理装置的示意图；以及
图11是根据本发明实施例的一种电子装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
钼靶图像，对人体部位组织进行拍照所得到的图像。对人体部位组织进行拍照时可以利用软X射线，拍照后可以通过胶片进行感光，经过显影、定影等程序。例如，对乳腺组织进行拍照后得到的钼靶图像为乳房钼靶图像。
根据本发明实施例的一个方面，提供了一种图像处理方法。
可选地，在本实施例中，上述图像处理方法可以应用于如图1所示的由服务器102和终端104所构成的硬件环境中。如图1所示，服务器102通过网络与终端104进行连接，上述网络包括但不限于：广域网、城域网或局域网，终端104可以是钼靶摄影装置，其中，本发明对钼靶摄影装置的类型不做具体限定。
可选地，本发明实施例的图像处理方法可以由终端104来执行。可选地，终端104执行本发明实施例的图像处理方法也可以是由安装在其上的客户端来执行。终端104执行本发明实施例的图像处理方法的具体过程可以为：终端104获取钼靶图像；终端104从钼靶图像中提取出多个候选区域；终端104通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。可选地，终端104还可以输出已经标记目标区域的钼靶图像。
可选地，本发明实施例的图像处理方法还可以由服务器102和终端104共同执行。服务器102和终端104共同执行发明实施例的图像处理方法的具体过程可以为：终端104获取钼靶图像；终端104将钼靶图像发送给服务器102；服务器102从钼靶图像中提取出多个候选区域；服务器102通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系；服务器102将已经标记目标区域的钼靶图像发送给终端104；终端104输出已经标记目标区域的钼靶图像。
本发明实施例以终端执行图像处理方法为例对图像处理方法进行具体说明。
图2是根据本发明实施例的一种可选的图像处理方法的流程图，如图2所示，该方法可以包括以下步骤：
步骤S202，获取钼靶图像；
步骤S204，从钼靶图像中提取出多个候选区域；
步骤S206，通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。
通过上述步骤S202至步骤S206，通过获取钼靶图像，从钼靶图像中提取出多个候选区域，通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系，达到了无需人工参与自动化标记钼靶图像中的疑似恶性肿块区域的目的，进而解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，从而实现了提高疑似恶性肿块的筛选效率和定位准确度的技术效果。
在步骤S202提供的技术方案中，钼靶图像可以为对人体部位组织进行拍照所得到的图像，本发明对钼靶图像的类型不做具体限定，例如钼靶图像可以为乳房钼靶图像，即对乳腺组织进行拍照所得到的图像。
终端获取钼靶图像，在一种可选的示例中，终端可以为钼靶摄像装置，其中，本发明对钼靶摄像装置的类型或者型号不做具体限定。本发明实施例可以利用钼靶摄像装置进行拍照以实现终端直接获取到钼靶图像。
在另一种可选的示例中，终端可以为类似于手机、平板电脑等设备，终端可以与钼靶摄像装置通信连接，其中，通信连接可以为有线连接，也可以为无线连接。本发明实施例可以利用钼靶摄像装置进行拍照得到钼靶图像，然后再利用通信连接将钼靶图像发送给终端，以实现终端获取到钼靶图像。
需要说明的是，本发明还可以采用其他方式实现终端获取到钼靶图像，此处不再一一举例说明。
在步骤S204提供的技术方案中，终端所获取到的钼靶图像中可以不存在肿块区域，也可以存在肿块区域。当钼靶图像中存在肿块区域时，肿块区域的个数可以是一个，也可以是多个。其中，钼靶图像中的肿块区域所包括的肿块可以是疑似恶性肿块，也可以是非疑似恶性肿块，通过本发明可以实现将钼靶图像中的包括疑似恶性肿块的肿块区域标记出来，以达到疑似恶性肿块的检查和定位的目的。
可选地，在终端获取到钼靶图像之后，可以对钼靶图像进行预处理，以实现降噪以及定位目标图像的目的，其中，目标图像可以为钼靶图像中包含有人体部位的图像，例如乳房钼靶图像中的目标图像为包括乳房的图像。对钼靶图像进行预处理的过程可以具体包括：终端去除钼靶图像中的噪声，得到去噪后的钼靶图像；终端从去噪后的钼靶图像中提取出目标图像，其中，目标图像为包括人体部位的图像；
本发明对去除钼靶图像中的噪声所采用的技术手段以及从去噪后的钼靶图像中提取出目标图像所采用的技术手段不做具体限定。例如，在一种可选的示例中，可以利用归一化方法通过线性拉伸将钼靶图像中像素值的灰度范围拉伸到0-255，以提高后续对钼靶图像进行处理的鲁棒性。可以利用形态学开操作和二值化从钼靶图像中提取出目标图像，例如从乳房钼靶图像中提取出乳房区域，还可以去除钼靶图像中的标签等背景。形态学开操作可以去除钼靶图像中细碎组织和噪声，钼靶图像的分割过程可以使用大津分割方法进行二分类，以实现有效提取包括人体部位的图像区域，例如乳房组织区域。还可以将钼靶图像转变为直方图，并对其进行直方图均衡，以提高后续对钼靶图像直方图进行处理的鲁棒性。还可以使用双边滤波去除人体部位组织(例如乳房组织)中可能存在的噪声，并在一定程度上提高区域同质性，其中，双边滤波不会破坏分割边缘。
需要说明的是，通过对钼靶图像进行预处理可以去除钼靶图像中的噪声，以实现提高对钼靶图像进行分析处理的准确度，进而达到提高疑似恶性肿块的筛选准确度的效果。还需要说明的是，除了上述所列举的技术手段之外，本发明还可以对钼靶图像进行其他去噪处理，以实现去除钼靶图像中的噪声以及从去噪后的钼靶图像中提取出目标图像，此处不再一一举例说明。
终端在获取到钼靶图像之后，可以利用图像分割技术从钼靶图像中提取出多个候选区域，以便于从多个候选区域中确定出包括疑似恶性肿块的目标区域。
可选地，在对钼靶图像进行预处理得到目标图像后，终端可以从对该目标图像进行分割，以实现从目标图像中提取出多个候选区域的目的。
可选地，终端从钼靶图像中提取出多个候选区域可以包括以下过程：确定图像分割阈值；按照图像分割阈值对钼靶图像进行分割，得到多个候选区域。
在一种可选的示例中，可以对钼靶图像使用二维小波变换(例如级数为3)降低维度，对于低细节图像，在归一化后统计钼靶图像的直方图，并依据该直方图进行图像分割。可选地，对于直方图的分割可以采用基因遗传算法。图像分割阈值可以通过基因遗传算法确定，具体确定过程可以描述为：基因使用二进制编码形式，长度等于灰度级(0-255)个数，也即二进制编码长度为256位。当某一位的值为0时代表该灰度级为图像分割阈值。遗传算法价值函数以最大类间方差和最小类内方差为标准，使用一般的基因遗传算法流程，在种群初始化之后重复迭代选择、交叉、变异三个过程直到收敛(例如初始种群数量为30，迭代次数为40，选择率为10％，交叉率为80％，变异率为10％)，基因遗传算法可以确定一个最优的二进制编码，根据该二进制编码可以确定图像分割阈值。例如该二进制编码在第5位和第7位的值为0，则图像分割阈值分别为32和128，按照该图像分割阈值可以将钼靶图像的像素值的灰度分为三个灰度级，分别为灰度值低于32、灰度值在32与128之间，灰度值高于128。根据确定的图像分割阈值对钼靶图像进行分割操作，可以得到多个候选区域。
可选地，按照图像分割阈值对钼靶图像进行分割，得到多个候选区域可以包括：按照灰度级将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域进行排序，其中，灰度级与图像分割阈值相关；将多个图像区域中灰度级高于第四阈值的图像区域确定为候选区域。其中，第四阈值可以根据实际需求设定或调整，此处不做具体限定。
可选地，在多个图像区域中灰度级高于第四阈值的图像区域的个数高于第五阈值的情况下，按照图像分割阈值对钼靶图像进行分割，得到多个候选区域可以包括：按照图像区域的面积将多个图像区域中灰度级高于第四阈值的图像区域进行排序；将多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域确定为候选区域，其中，多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域的个数等于第五阈值。其中，第五阈值和第六阈值可以根据实际需求设定或调整，此处不做具体限定。
例如，利用基因遗传算法确定的图像分割阈值分别为32和128，按照该图像分割阈值可以将钼靶图像的像素值的灰度分为三个灰度级，灰度级由高到低分别为灰度值高于128、灰度值在32与128之间，灰度值低于32。其中，按照确定的图像分割阈值对钼靶图像进行分割操作，可以得到灰度值高于128的图像区域有5块，灰度值在32与128之间的图像区域有10块，灰度值低于32的图像区域有50块。按照灰度级由高到低的顺序将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域进行排序后，依次为：5块灰度值高于128的图像区域，10块灰度值在32与128之间的图像区域，50块灰度值低于32的图像区域。假设第四阈值为2，则可以将5块灰度值高于128的图像区域以及5块灰度值高于128的图像区域，总共15块图像区域确定为候选区域。
在实际应用场景中，为了提高疑似恶性肿块的定位和筛选的准确度，需要预先设定候选区域的个数。在一种可选的示例中，假设预先确定的候选区域的个数为10，也即第五阈值为10，则灰度级高于第四阈值2的图像区域的个数(5块灰度值高于128的图像区域以及5块灰度值高于128的图像区域，总共15块图像区域)大于10，则需要从这15块中获取其中10块。那么需要按照图像区域的面积由大到小的顺序将这15块图像区域进行排序，然后取面积排在前10的图像区域作为候选区域。
需要说明的是，经过上述图像分割技术对钼靶图像进行分割后可以准确获取到多个候选区域，进而实现提高疑似恶性肿块定位和筛选的准确度的效果。
可选地，按照图像分割阈值对钼靶图像进行分割，得到多个候选区域还可以包括：将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体组织连接的连接线断开，得到多个候选区域。
需要说明的是，断开每个图像区域内的用于指示人体组织连接的连接线所采用的技术手段可以包括但并不限于形态学开操作。还需要说明的是，由于钼靶图像是对人体部位组织进行拍照所得到的图像，钼靶图像中可以包括有用于指示人体组织连接的连接线，这些连接线会影响对钼靶图像进行图像分割的准确度，为此可以将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体组织连接的连接线断开，以实现提高所得到的多个候选区域的准确度，进而达到提高疑似恶性肿块定位和筛选的准确度的效果。
在步骤S206提供的技术方案中，终端在从钼靶图像中提取出多个候选区域之后，可以从多个候选区域中确定出目标区域，并在钼靶图像中将目标区域进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，此处需要说明的是，目标肿块为恶性肿块的概括大于第二阈值，也就是说，本发明实施例中的目标肿块实际为疑似恶性肿块。其中，第一阈值和第二阈值可以根据实际需求设定或调整，此处不做具体限定。还需要说明的是，在钼靶图像中将目标区域进行标记所采用的标记形式本发明不做具体限定，例如可以将目标区域加上框线等。
可选地，终端可以通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，可以包括：利用神经网络模型获取多个候选区域中每个候选区域所包括的肿块为目标肿块的概率，其中，该神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系；将概率大于第一阈值的候选区域确定为目标区域，并将目标区域在钼靶图像中进行标记。
需要说明的是，利用深度学习训练得到的神经网络模型可以用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系，也就是说，将候选区域输入至利用神经网络模型中即可以获取到该候选区域所包括的肿块为目标肿块的概率。本发明实施例利用深度学习训练得到的神经网络模型获取候选区域所包括的肿块为目标肿块的概率，无需人工参与便可以快速准确地从钼靶图像中筛选并定位到包括有目标肿块的目标区域，极大地提高了疑似恶性肿块的筛选和定位的效率。
可选地，在终端获取钼靶图像之前，可以首先进行深度学习训练以得到训练好的神经网络模型，进而利用训练好的神经网络模型快速准确地获取每个候选区域所包括的肿块为目标肿块的概率，以便于进一步准确从钼靶图像中筛选定位出包括有目标肿块的目标区域。具体训练过程可以包括：利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到训练好的神经网络模型，其中，在进行深度学习训练时，训练输入参数可以包括样本肿块区域，训练输出参数可以包括样本肿块区域所包括的肿块为目标肿块的概率。
需要说明的是，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练后，可以得到训练好的神经网络模型。在进行深度学习训练时，样本肿块区域的数量越大，则神经网络模型的准确度越高，进而使得利用训练好的神经网络模型所确定的目标区域的准确度也越高。
可选地，样本肿块区域可以包括第一肿块区域和第二肿块区域，其中，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块，其中，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型可以包括：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系对进行深度学习训练，得到训练好的神经网络模型。
在一种可选的示例中，可以使用国内医院数据，聘请专家标注数据(数量多于2200)，疑似恶性肿块作为正样本，剩余的明显良性肿块和背景区域作为负样本，通过数据增强之后(由于是钼靶图像，主要进行翻转和裁剪的数据增强，无须进行颜色空间的数据增强，另外输入疑似恶性肿块样本必须包含整个肿块区域并有少量背景区域环绕)，作为本发明训练数据输入至InceptionV3模型进行训练，模型的输出类别数重新设置为2。其中模型的权重初始化首先使用ImageNet数据集，接着使用公开数据集DDSM，最后使用本发明训练数据进行迁移学习得到最后的模型权重，例如下降算法使用RMSprop，批处理大小为64，初始学习率为0.01，最大迭代次数为100000。模型训练完成后，对于任意输入的候选区域，可以通过训练完成的神经网络模型计算得到其是否是疑似恶性肿块的概率，通常来说，概率大于0.5被认为是疑似恶性肿块。
需要说明的是，在利用样本肿块区域进行深度学习训练时，样本肿块区域中可以包括：包括有目标肿块的第一肿块区域、包括有非目标肿块的第二肿块区域、不包括肿块的图像区域，且各类样本数量相当，以实现提高利用深度学习训练得到的神经网络模型的精准度的目的。
通过上述深度学习训练过程所得到的神经网络模型可以准确地确定每个候选区域所包括的肿块为目标肿块的概率。假设第一阈值为0.5，则利用深度学习训练得到的神经网络模型确定出包括的肿块为目标肿块的概率大于0.5的候选区域即可以确定为目标区域，并将其在钼靶图像中进行标记。此处需要说明的是，利用上述方法所确定的目标区域的个数可以为一个，也可以为多个，或者钼靶图像中不存在目标区域。本发明实施例通过利用深度学习训练得到的神经网络模型从多个候选区域中确定出包括有目标肿块的目标区域，可以达到无需人工参数便可以快速准确地筛选和定位疑似恶性肿块的目的，解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，从而实现了提高疑似恶性肿块的筛选效率和准确度的技术效果。
可选地，对于确定为包括有目标肿块的目标区域，可以使用非极大值抑制方法去除其中重叠的区域，也即在存在多个概率大于第一阈值的候选区域的情况下，将概率大于第一阈值的候选区域确定为目标区域包括：按照概率的大小将多个概率大于第一阈值的候选区域进行排序；分别计算第一候选区域与第二候选区域之间的重叠面积，其中，第一候选区域为多个概率大于第一阈值的候选区域中概率最大的候选区域，第二候选区域为多个概率大于第一阈值的候选区域中除第一候选区域之外的候选区域；从多个概率大于第一阈值的候选区域中删除与第一候选区域的重叠面积大于第三阈值的第二候选区域，得到剩余的候选区域；将剩余的候选区域确定为目标区域。其中，第三阈值可以根据实际需求设定或调整，此处不做具体限定。
例如，假设从钼靶图像中提取出10个候选区域，利用深度学习训练得到的神经网络模型分别获取到10个候选区域所包括的肿块为目标肿块的概率依次为：0.9，0.2，0.4，0.6，0.7，0.3，0.0，0.2，0.8，0.1，第一阈值为0.5，10个候选区域中概率大于0.5的候选区域分别为概率为0.9，0.6，0.7以及0.8对应的候选区域。其中，这四个候选区域中，概率为0.6的候选区域与概率为0.9的候选区域之间的重叠面积为2，概率为0.7的候选区域与概率为0.9的候选区域之间的重叠面积为5，概率为0.8的候选区域与概率为0.9的候选区域之间的重叠面积为10，假设第三阈值为6，则将概率为0.8的候选区域从这四个候选区域中删除，则剩余的候选区域即可以确定为目标区域。
需要说明的是，本发明实施例通过使用非极大值抑制方法去除目标区域中重叠的区域，能够实现降低误报率，进而达到提高疑似恶性肿块定位的准确度的效果。
可选地，终端在从多个候选区域中确定出目标区域，并在钼靶图像中将目标区域进行标记后，可以输出该标记有目标区域的钼靶图像，以便于医生清楚直观地确定目标肿块的具体位置以及目标肿块的大小。
本发明实施例的图像处理方法可以应用于医疗诊断领域，例如乳腺癌的早期筛查。需要说明的是，利用本发明实施例的图像处理方法进行乳腺癌的筛查无需人工参与，仅需要利用深度学习训练得到的神经网络模型便可以快速准确地定位疑似恶性肿块。
首先，本发明实施例可以利用大量的训练样本进行深度学习训练以得到训练好的神经网络模型，以便于利用训练好的神经网络模型进行疑似恶性肿块的准确定位。其中，进行深度学习训练的样本可以包括：疑似恶性肿块作为正样本，剩余的明显良性肿块以及背景区域等作为负样本。
然后，利用训练好的神经网络模型进行疑似恶性肿块的定位，具体过程可以描述为：通过对乳腺组织进行拍照后得到乳房钼靶图像；然后将乳房钼靶图像进行图像预处理，以去除图像中的噪声以及无用标签背景，将处理对象集中到乳房区域；然后通过图像分割技术提取出候选的肿块区域；然后再利用上述已经经过深度学习训练得到的神经网络模型逐一判断候选的肿块区域所包括的肿块是否为疑似恶性肿块；如果判断出乳房钼靶图像中存在包括疑似恶性肿块的区域，则在乳房钼靶图像中将其进行标记，以便于快速准确地定位疑似恶性肿块。
在实际应用场景中，经过深度学习训练得到的神经网络模型可以设置在云平台上，当需要进行疑似恶性肿块的判断时，可以利用终端获取钼靶图像，然后将该钼靶图像上传至云平台，云平台可以利用训练好的神经网络模型对该钼靶图像中的疑似恶性肿块进行筛查和定位，如果云平台判断出钼靶图像中存在疑似恶性肿块，会在该钼靶图像中将疑似恶性肿块区域进行标记，然后将带有疑似恶性肿块标记的钼靶图像输出至终端。
利用本发明实施例的图像处理方法可以实现疑似恶性肿块的快速筛查和准确定位，而且无需人工参与，极大地提高了疑似恶性肿块的筛查效率以及定位准确度。
下面将对本发明应用于乳腺癌检测所采取的乳房钼靶图像疑似恶性肿块定位技术具体技术进行详细说明：
乳房钼靶图像疑似恶性肿块定位技术立足于最新的计算机视觉技术和人工智能技术，融合并改进了非监督分割和监督分类方法，在提高疑似恶性肿块召回率的同时降低了误报率。该技术可以更好的服务于乳腺癌检测相关应用。
该技术可以作为软件接口方式提供服务，如图3所示，输入为钼靶图像，其中，该钼靶图像中包括有三个肿块区域(此处仅为示例，对钼靶图像中肿块区域的数量并不构成具体限定)，经过该技术处理计算后，可以输出带有疑似恶性肿块标记的钼靶图像，其中，该钼靶图像中的三个肿块区域中的一个区域被确定为疑似恶性肿块区域，如图3中所示的加有虚线框的区域。
需要说明的是，该技术不依赖于特定的硬件环境。
该技术主要依赖基因遗传算法对钼靶图像进行分割，分割得到的候选区域主要依赖于深度学习训练得到的神经网络模型筛选疑似恶性肿块，其中深度学习需使用大量疑似恶性肿块和非疑似恶性肿块样本进行训练。
该技术对于输入的钼靶图像的处理流程如图4所示，主要分为预处理、分割和分类三个过程，预处理过程主要目的是去除钼靶图像中的噪声和无用的标签背景，将处理对象集中到乳房区域；分割过程主要目的是提取候选区域；分类过程可以对候选区域进行分析，判断是否为疑似恶性肿块。下面将分别对上述三个过程进行详细介绍：
(1)预处理过程，可以包括以下处理操作：
归一化：通过线性拉伸将钼靶图像灰度范围拉伸到0-255，提高后续处理的鲁棒性。
乳房区域分割：使用形态学开操作和二值化提取乳房区域，去除标签等背景，形态学开操作可以去除细碎组织和噪声，分割过程可以使用大津分割方法进行二分类，可以有效提取乳房区域。
直方图均衡：后续分割算法基于钼靶图像直方图进行，因此需要通过直方图均衡提高后续处理鲁棒性。
双边滤波：使用双边滤波去除乳房组织中可能存在的噪声，并在一定程度上提高区域同质性，另外双边滤波不会破坏分割边缘。
(2)分割过程，可以包括以下处理操作：
基因遗传分割：对钼靶图像使用二维小波变换(级数为3)降低维度，对于低细节图像，在归一化后统计其图像直方图，并依据此直方图进行图像分割。对于直方图的分割采用基因遗传算法，基因使用二进制编码形式，长度等于灰度级个数，当位值为0时代表该灰度级为分割阈值。遗传算法价值函数以最大类间方差和最小类内方差为标准，使用一般的基因遗传算法流程，在种群初始化之后重复迭代选择、交叉、变异三个过程直到收敛(初始种群数量为30，迭代次数为40，选择率为10％，交叉率为80％，变异率为10％)，最后输出分割阈值，根据此分割阈值对原钼靶图像进行分割操作。
形态学开操作：对分割图像使用形态学开操作，断开胸腺连接等，方便后续区域提取。
区域块提取：对于分割结果，首先提取灰度级较高(例如灰度级排在前5)的区域作为候选区域。如果根据灰度级排序确定的区域数量未满足预先设定的数量，则可以继续根据每个区域的面积选择面积较大的区域作为候选区域。
(3)分类过程，可以包括以下处理操作：
神经网络模型训练与分类：使用国内医院数据，聘请专家标注数据，疑似恶性肿块作为正样本，剩余的明显良性肿块和背景区域作为负样本，通过数据增强之后(由于是钼靶图片，主要进行翻转和裁剪的数据增强，无须进行颜色空间的数据增强，另外输入疑似恶性肿块样本必须包含整个肿块区域并有少量背景区域环绕)，作为本发明训练数据输入InceptionV3模型进行训练，模型的输出类别数重新设置为2。其中模型的权重初始化首先使用ImageNet数据集，接着使用公开数据集DDSM，最后使用本发明训练数据进行迁移学习得到最后的模型权重(下降算法使用RMSprop，批处理大小为64，初始学习率为0.01，最大迭代次数为100000)。模型训练完成后，对于任意输入的候选区域，可以通过网络计算得到其是否是疑似恶性肿块的概率，通常来说，概率大于0.5被认为是疑似恶性肿块。
非极大值抑制：对于判断为疑似恶性肿块的区域，使用非极大值抑制方法去除重叠的区域，其中重叠度阈值设为50％(此处仅为示例，并不做具体限定)，主要目的是降低误报率，与此同时可以提高疑似恶性肿块定位的准确性。
需要说明的是，该技术中的分割方法也可以使用全卷积神经网络模型替代；分类中使用的GoogleNet也可以使用ResNet等其他网络模型替代。
本发明在使用分割方法的基础上，对于分割得到的区域在进行简单的形态学滤波处理后主要依赖于深度学习训练得到的分类器进行疑似恶性肿块分类，不仅可以提高结果的精度，更实现了整体流程的全自动化。
需要说明的是，本发明首次在肿块检测领域使用基于传统视觉方法和深度学习的融合方法，算法流程有较大的新颖性。而且使用深度学习方式可以避免人工筛选，克服了传统方法对不规则复杂特征难以设计的问题，且降低了算法对分割后处理的敏感性。本发明有较强的适用性，不依赖硬件环境，可以处理各种乳房类型的钼靶图片。
根据本发明实施例的另一个方面，还提供了一种神经网络模型的训练方法。
需要说明的是，利用本发明实施例的神经网络模型的训练方法进行深度学习训练可以得到一训练好的神经网络模型，该训练好的神经网络模型可以应用于本发明上述实施例的图像处理方法中，以便于利用该训练好的神经网络模型快速准确地确定每个候选区域所包括的肿块为目标肿块(也即疑似恶性肿块)的概率，进而实现快速准确地定位钼靶图像中的疑似恶性肿块区域的目的。
图5是根据本发明实施例的一种可选的神经网络模型的训练方法的流程图，如图5所示，该神经网络模型的训练方法可以包括：
步骤S502，获取样本肿块区域，并确定样本肿块区域所包括的肿块为目标肿块的概率，其中，目标肿块为恶性肿块的概率大于目标阈值；
步骤S504，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行深度学习训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
通过上述步骤S502至步骤S504，可以实现通过深度学习训练得到神经网络模型，该训练好的神经网络模型可以用于指示任意一肿块区域与该肿块区域所包括的肿块为目标肿块的概率之间的映射关系，其中，目标肿块为恶性肿块的概率大于目标阈值，目标阈值可以根据实际需求设定或调整，此处不做具体限定，也就是说，目标肿块实际可以为疑似恶性肿块，则训练好的神经网络模块可以用于指示任意一肿块区域与该肿块区域所包括的肿块为疑似恶性肿块的概率之间的映射关系。
可选地，样本肿块区域可以包括第一肿块区域和第二肿块区域，其中，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块。通过让训练样本包括各种类型的肿块区域，可以达到提高神经网络模型的训练准确度的效果。而且在进行深度学习训练时，样本肿块区域的数量越大，则神经网络模型的准确度越高。
可选地，在获取样本肿块区域之后，确定样本肿块区域所包括的肿块为目标肿块的概率可以包括：从数据库中确定样本肿块区域所包括的肿块为目标肿块的概率，其中，数据库中可以预先存储有样本肿块区域所包括的肿块为目标肿块的概率。例如，该数据库可以为存储有大量医疗数据的医院数据库等。
可选地，确定样本肿块区域所包括的肿块为目标肿块的概率还可以包括：根据输入参数确定样本肿块区域所包括的肿块为目标肿块的概率，其中，输入参数用于指示样本肿块区域所包括的肿块为目标肿块的概率。例如，该输入参数可以为医生专家根据医疗数据以及经验所确定的样本肿块区域所包括的肿块为目标肿块的概率。
需要说明的是，本发明实施例还可以通过其他方式确定样本肿块区域所包括的肿块为目标肿块的概率，此处不再一一举例说明。
在获取到样本肿块区域，并确定出样本肿块区域所包括的肿块为目标肿块的概率之后，本发明实施例可以利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系对未进行任何训练的神经网络进行深度学习训练，训练时可以训练输入参数可以包括样本肿块区域，训练输出参数可以包括样本肿块区域所包括的肿块为目标肿块的概率。
可选地，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型可以可以包括：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系对进行深度学习训练，得到训练好的神经网络模型。
在一种可选的示例中，可以使用国内医院数据，聘请专家标注数据(数量多于2200)，疑似恶性肿块作为正样本，剩余的明显良性肿块和背景区域作为负样本，通过数据增强之后(由于是钼靶图像，主要进行翻转和裁剪的数据增强，无须进行颜色空间的数据增强，另外输入疑似恶性肿块样本必须包含整个肿块区域并有少量背景区域环绕)，作为本发明训练数据输入至InceptionV3模型进行训练，模型的输出类别数重新设置为2。其中模型的权重初始化首先使用ImageNet数据集，接着使用公开数据集DDSM，最后使用本发明训练数据进行迁移学习得到最后的模型权重，例如下降算法使用RMSprop，批处理大小为64，初始学习率为0.01，最大迭代次数为100000。模型训练完成后，对于任意输入的候选区域，可以通过训练完成的神经网络模型计算得到候选区域所包括的肿块为目标肿块的概率，通常来说，概率大于0.5被认为是疑似恶性肿块。
需要说明的是，在利用样本肿块区域进行深度学习训练时，样本肿块区域中可以包括：包括有目标肿块的第一肿块区域、包括有非目标肿块的第二肿块区域、不包括肿块的图像区域，且各类样本数量相当，以实现提高利用深度学习训练得到的神经网络模型的精准度的目的。
根据本发明实施例的另一个方面，还提供了一种神经网络模型的训练设备。需要说明的是，该训练设备可以用于执行本发明上述实施例中的神经网络模型的训练方法。该训练设备通过执行本发明上述实施例中的神经网络模型的训练方法，可以得到训练好的神经网络模型，该训练好的神经网络模型可以应用于本发明上述实施例的图像处理方法中，以便于利用该训练好的神经网络模型快速准确地确定每个候选区域所包括的肿块为目标肿块(也即疑似恶性肿块)的概率，进而实现快速准确地定位钼靶图像中的疑似恶性肿块区域的目的。
通过该训练设备执行本发明上述实施例中的训练方法进行深度学习训练，得到的神经网络模型，利用训练好的神经网络模型可以准确地确定每个候选区域所包括的肿块为目标肿块的概率。假设概率阈值为0.5，则利用深度学习训练得到的神经网络模型确定出包括的肿块为目标肿块的概率大于0.5的候选区域即可以确定为目标区域，并将其在钼靶图像中进行标记。
本发明实施例通过利用深度学习训练得到的神经网络模型从多个候选区域中确定出包括有目标肿块的目标区域，可以达到无需人工参数便可以快速准确地筛选和定位疑似恶性肿块的目的，解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，从而实现了提高疑似恶性肿块的筛选效率和准确度的技术效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像处理方法的图像处理装置。该实施例中的图像处理装置可以设置在执行本发明实施例的图像处理方法的终端中。
图6是根据本发明实施例的一种可选的图像处理装置的示意图，如图6所示，该装置可以包括：
获取单元22，用于获取钼靶图像；第一提取单元24，用于从钼靶图像中提取出多个候选区域；标记单元26，用于通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。
需要说明的是，该实施例中的获取单元22可以用于执行本申请实施例中的步骤S202，该实施例中的第一提取单元24可以用于执行本申请实施例中的步骤S204，该实施例中的标记单元26可以用于执行本申请实施例中的步骤S206。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
可选地，如图7所示，标记单元26可以包括：获取模块262，用于利用神经网络模型获取多个候选区域中每个候选区域所包括的肿块为目标肿块的概率；第一确定模块264，用于将概率大于第一阈值的候选区域确定为目标区域，并将目标区域在钼靶图像中进行标记。
可选地，如图7所示，该图像处理装置还可以包括：训练单元21，用于在获取钼靶图像之前，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行深度学习训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
可选地，样本肿块区域可以包括第一肿块区域和第二肿块区域，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块，其中，如图7所示，训练单元21可以包括：训练模块212，用于利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型。
可选地，如图8所示，在存在多个概率大于第一阈值的候选区域的情况下，第一确定模块264可以包括：第一排序模块2642，用于按照概率的大小将多个概率大于第一阈值的候选区域进行排序；计算模块2644，用于分别计算第一候选区域与第二候选区域之间的重叠面积，其中，第一候选区域为多个概率大于第一阈值的候选区域中概率最大的候选区域，第二候选区域为多个概率大于第一阈值的候选区域中除第一候选区域之外的候选区域；删除模块2646，用于从多个概率大于第一阈值的候选区域中删除与第一候选区域的重叠面积大于第三阈值的第二候选区域，得到剩余的候选区域；第一确定子模块2648，用于将剩余的候选区域确定为目标区域。
可选地，如图9所示，第一提取单元24可以包括：第二确定模块242，用于确定图像分割阈值；分割模块244，用于按照图像分割阈值对钼靶图像进行分割，得到多个候选区域。
可选地，如图9所示，分割模块244可以包括：第二排序模块2442，用于按照灰度级将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域进行排序，其中，灰度级与图像分割阈值相关；第二确定子模块2444，用于将多个图像区域中灰度级高于第四阈值的图像区域确定为候选区域。
可选地，如图9所示，在多个图像区域中灰度级高于第四阈值的图像区域的个数高于第五阈值的情况下，分割模块可以包括：第三排序模块2446，用于按照图像区域的面积将多个图像区域中灰度级高于第四阈值的图像区域进行排序；第三确定子模块2448，用于将多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域确定为候选区域，其中，多个图像中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域的个数等于第五阈值。
可选地，如图9所示，分割模块244可以包括：断开模块2441，用于将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体部位组织连接的连接线断开，得到多个候选区域。
可选地，如图10所示，该图像处理装置还可以包括：去除单元202，用于在获取钼靶图像之后，去除钼靶图像中的噪声，得到去噪后的钼靶图像；第二提取单元204，用于从去噪后的钼靶图像中提取出目标图像，其中，目标图像为包括人体部位的图像；第一提取单元24可以包括：提取模块240，用于从目标图像中提取出多个候选区域。
可选地，该图像处理装置中的钼靶图像可以为乳房钼靶图像。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，可以解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，进而达到提高疑似恶性肿块的筛选效率和定位准确度的技术效果。
根据本发明实施例的又一个方面，还提供了一种用于实施上述图像处理方法以及神经网络模型的训练方法的电子装置。
图11是根据本发明实施例的一种电子装置的结构框图，如图11所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器201、存储器203，其中，存储器203中可以存储有计算机程序，处理器201可以被设置为运行所述计算机程序以执行本发明实施例的图像处理方法以及神经网络模型的训练方法。
其中，存储器203可用于存储计算机程序以及模块，如本发明实施例中的图像处理方法和装置以及神经网络模型的训练方法和设备对应的程序指令/模块，处理器201通过运行存储在存储器203内的计算机程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法以及神经网络模型的训练方法。存储器203可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可选地，如图11所示，该电子装置还可以包括：传输装置205以及输入输出设备207。其中，传输装置205用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置205包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置205为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，电子装置还可以包括比图11中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图11所示不同的配置。
可选地，在本实施例中，上述存储器203可以用于存储计算机程序。
可选地，在本实施例中，上述处理器可以被设置为运行计算机程序，以执行以下步骤：获取钼靶图像；从钼靶图像中提取出多个候选区域；通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。
处理器201还用于执行下述步骤：利用神经网络模型获取多个候选区域中每个候选区域所包括的肿块为目标肿块的概率；将概率大于第一阈值的候选区域确定为目标区域，并将目标区域在钼靶图像中进行标记。
处理器201还用于执行下述步骤：在获取钼靶图像之前，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行深度学习训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
处理器201还用于执行下述步骤：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，样本肿块区域包括第一肿块区域和第二肿块区域，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块。
处理器201还用于执行下述步骤：在存在多个概率大于第一阈值的候选区域的情况下，按照概率的大小将多个概率大于第一阈值的候选区域进行排序；分别计算第一候选区域与第二候选区域之间的重叠面积，其中，第一候选区域为多个概率大于第一阈值的候选区域中概率最大的候选区域，第二候选区域为多个概率大于第一阈值的候选区域中除第一候选区域之外的候选区域；从多个概率大于第一阈值的候选区域中删除与第一候选区域的重叠面积大于第三阈值的第二候选区域，得到剩余的候选区域；将剩余的候选区域确定为目标区域。
处理器201还用于执行下述步骤：确定图像分割阈值；按照图像分割阈值对钼靶图像进行分割，得到多个候选区域。
处理器201还用于执行下述步骤：按照灰度级将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域进行排序，其中，灰度级与图像分割阈值相关；将多个图像区域中灰度级高于第四阈值的图像区域确定为候选区域。
处理器201还用于执行下述步骤：在多个图像区域中灰度级高于第四阈值的图像区域的个数高于第五阈值的情况下，按照图像区域的面积将多个图像区域中灰度级高于第四阈值的图像区域进行排序；将多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域确定为候选区域，其中，多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域的个数等于第五阈值。
处理器201还用于执行下述步骤：将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体部位组织连接的连接线断开，得到多个候选区域。
处理器201还用于执行下述步骤：在获取钼靶图像之后，去除钼靶图像中的噪声，得到去噪后的钼靶图像；从去噪后的钼靶图像中提取出目标图像，其中，目标图像为包括人体部位的图像；从目标图像中提取出多个候选区域。
处理器201还用于执行下述步骤：获取样本肿块区域，并确定样本肿块区域所包括的肿块为目标肿块的概率，其中，目标肿块为恶性肿块的概率大于目标阈值；利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行深度学习训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
处理器201还用于执行下述步骤：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，样本肿块区域包括第一肿块区域和第二肿块区域，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块。
处理器201还用于执行下述步骤：从数据库中确定样本肿块区域所包括的肿块为目标肿块的概率，其中，数据库中预先存储有样本肿块区域所包括的肿块为目标肿块的概率；或者根据输入参数确定样本肿块区域所包括的肿块为目标肿块的概率，其中，输入参数用于指示样本肿块区域所包括的肿块为目标肿块的概率。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
采用本发明实施例，提供了一种图像处理的方案。通过获取钼靶图像，从钼靶图像中提取出多个候选区域，通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系，达到了无需人工参与自动化标记钼靶图像中的疑似恶性肿块区域的目的，进而解决了相关技术采用人工筛选方式定位钼靶图像中疑似恶性肿块，导致疑似恶性肿块的筛选效率和定位准确度较低的技术问题，从而实现了提高疑似恶性肿块的筛选效率和定位准确度的技术效果。
根据本发明实施例的又一个方面，还提供了一种存储介质。该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述实施例中图像处理方法以及神经网络模型的训练方法的步骤。
可选地，在本实施例中，存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的计算机程序：
S1，获取钼靶图像；
S2，从钼靶图像中提取出多个候选区域；
S3，通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在钼靶图像中进行标记，其中，目标区域所包括的肿块为目标肿块的概率大于第一阈值，目标肿块为恶性肿块的概率大于第二阈值，神经网络模型用于指示候选区域与候选区域所包括的肿块为目标肿块的概率之间的映射关系。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：利用神经网络模型获取多个候选区域中每个候选区域所包括的肿块为目标肿块的概率；将概率大于第一阈值的候选区域确定为目标区域，并将目标区域在钼靶图像中进行标记。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在获取钼靶图像之前，利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行分类训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到深度学习训练得到的神经网络模型，其中，样本肿块区域包括第一肿块区域和第二肿块区域，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在存在多个概率大于第一阈值的候选区域的情况下，按照概率的大小将多个概率大于第一阈值的候选区域进行排序；分别计算第一候选区域与第二候选区域之间的重叠面积，其中，第一候选区域为多个概率大于第一阈值的候选区域中概率最大的候选区域，第二候选区域为多个概率大于第一阈值的候选区域中除第一候选区域之外的候选区域；从多个概率大于第一阈值的候选区域中删除与第一候选区域的重叠面积大于第三阈值的第二候选区域，得到剩余的候选区域；将剩余的候选区域确定为目标区域。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：确定图像分割阈值；按照图像分割阈值对钼靶图像进行分割，得到多个候选区域。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：按照灰度级将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域进行排序，其中，灰度级与图像分割阈值相关；将多个图像区域中灰度级高于第四阈值的图像区域确定为候选区域。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在多个图像区域中灰度级高于第四阈值的图像区域的个数高于第五阈值的情况下，按照图像区域的面积将多个图像区域中灰度级高于第四阈值的图像区域进行排序；将多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域确定为候选区域，其中，多个图像区域中灰度级高于第四阈值的图像区域中面积高于第六阈值的图像区域的个数等于第五阈值。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：将由钼靶图像按照图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体部位组织连接的连接线断开，得到多个候选区域。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在获取钼靶图像之后，去除钼靶图像中的噪声，得到去噪后的钼靶图像；从去噪后的钼靶图像中提取出目标图像，其中，目标图像为包括人体部位的图像；从目标图像中提取出多个候选区域。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：获取样本肿块区域，并确定样本肿块区域所包括的肿块为目标肿块的概率，其中，目标肿块为恶性肿块的概率大于目标阈值；利用样本肿块区域与样本肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，在进行深度学习训练时，训练输入参数包括样本肿块区域，训练输出参数包括样本肿块区域所包括的肿块为目标肿块的概率。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：利用第一肿块区域与第一肿块区域所包括的肿块为目标肿块的概率之间的映射关系以及第二肿块区域与第二肿块区域所包括的肿块为目标肿块的概率之间的映射关系进行深度学习训练，得到神经网络模型，其中，样本肿块区域包括第一肿块区域和第二肿块区域，第一肿块区域所包括的肿块为目标肿块，第二肿块区域所包括的肿块为非目标肿块或者第二肿块区域不包括肿块。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：从数据库中确定样本肿块区域所包括的肿块为目标肿块的概率，其中，数据库中预先存储有样本肿块区域所包括的肿块为目标肿块的概率；或者根据输入参数确定样本肿块区域所包括的肿块为目标肿块的概率，其中，输入参数用于指示样本肿块区域所包括的肿块为目标肿块的概率。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取钼靶图像；
确定图像分割阈值，按照灰度级将由所述钼靶图像按照所述图像分割阈值进行分割得到的多个图像区域进行排序，其中，所述灰度级与所述图像分割阈值相关；
在所述多个图像区域中灰度级高于第四阈值的图像区域的个数高于第五阈值的情况下，按照图像区域的面积将所述多个图像区域中灰度级高于第四阈值的图像区域进行排序；
将所述多个图像区域中灰度级高于所述第四阈值的图像区域中面积高于第六阈值的图像区域确定为候选区域，其中，所述多个图像区域中灰度级高于所述第四阈值的图像区域中面积高于所述第六阈值的图像区域的个数等于所述第五阈值；
通过深度学习训练得到的神经网络模型将多个候选区域中的目标区域在所述钼靶图像中进行标记，包括：利用所述神经网络模型获取所述多个候选区域中每个候选区域所包括的肿块为目标肿块的概率；根据所述多个候选区域各自对应的概率排序结果确定第一候选区域和第二候选区域，其中，所述多个候选区域为概率大于第一阈值的候选区域，所述第一候选区域为所述概率大于所述第一阈值的候选区域中概率最大的候选区域，所述第二候选区域为所述多个概率大于所述第一阈值的候选区域中除所述第一候选区域之外的候选区域；从所述多个概率大于所述第一阈值的候选区域中删除与所述第一候选区域的重叠面积大于第三阈值的第二候选区域，得到剩余候选区域；将所述剩余候选区域确定为所述目标区域；
其中，所述目标肿块为恶性肿块的概率大于第二阈值，所述神经网络模型用于指示所述候选区域与所述候选区域所包括的肿块为所述目标肿块的概率之间的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述通过深度学习训练得到的神经网络模型将所述多个候选区域中的目标区域在所述钼靶图像中进行标记包括：
将概率大于所述第一阈值的候选区域确定为所述目标区域，并将所述目标区域在所述钼靶图像中进行标记。
3.根据权利要求1所述的方法，其特征在于，在所述获取钼靶图像之前，所述方法还包括：
利用样本肿块区域与所述样本肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型，其中，在进行深度学习训练时，训练输入参数包括所述样本肿块区域，训练输出参数包括所述样本肿块区域所包括的肿块为所述目标肿块的概率。
4.根据权利要求3所述的方法，其特征在于，所述样本肿块区域包括第一肿块区域和第二肿块区域，所述第一肿块区域所包括的肿块为所述目标肿块，所述第二肿块区域所包括的肿块为非目标肿块或者所述第二肿块区域不包括肿块，其中，所述利用样本肿块区域与所述样本肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型包括：
利用所述第一肿块区域与所述第一肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系以及所述第二肿块区域与所述第二肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型。
5.根据权利要求1所述的方法，其特征在于，按照所述图像分割阈值对所述钼靶图像进行分割，得到所述多个候选区域包括：
将由所述钼靶图像按照所述图像分割阈值进行分割得到的多个图像区域中的每个图像区域内的用于指示人体部位组织连接的连接线断开，得到所述多个候选区域。
6.一种神经网络模型的训练方法，其特征在于，包括：
获取样本肿块区域，并确定所述样本肿块区域所包括的肿块为目标肿块的概率，其中，所述目标肿块为恶性肿块的概率大于目标阈值；
利用所述样本肿块区域与所述样本肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型，其中，在进行深度学习训练时，训练输入参数包括所述样本肿块区域，训练输出参数包括所述样本肿块区域所包括的肿块为所述目标肿块的概率；
在获取所述样本肿块区域之前，还包括：获取样本钼靶图像；确定图像分割阈值，按照灰度级将由所述样本钼靶图像按照所述图像分割阈值进行分割得到的多个样本图像区域进行排序，在所述多个样本图像区域中灰度级高于第四阈值的样本图像区域的个数高于第五阈值的情况下，按照样本图像区域的面积将所述多个样本图像区域中灰度级高于第四阈值的样本图像区域进行排序，将所述多个样本图像区域中灰度级高于所述第四阈值的样本图像区域中面积高于第六阈值的样本图像区域确定为候选区域，根据多个候选区域确定所述样本肿块区域，其中，所述灰度级与所述图像分割阈值相关，所述多个样本图像区域中灰度级高于所述第四阈值的样本图像区域中面积高于所述第六阈值的样本图像区域的个数等于所述第五阈值。
7.根据权利要求6所述的方法，其特征在于，所述样本肿块区域包括第一肿块区域和第二肿块区域，所述第一肿块区域所包括的肿块为所述目标肿块，所述第二肿块区域所包括的肿块为非目标肿块或者所述第二肿块区域不包括肿块，其中，所述利用样本肿块区域与所述样本肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型包括：
利用所述第一肿块区域与所述第一肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系以及所述第二肿块区域与所述第二肿块区域所包括的肿块为所述目标肿块的概率之间的映射关系进行深度学习训练，得到所述神经网络模型。
8.根据权利要求6所述的方法，其特征在于，所述确定所述样本肿块区域所包括的肿块为目标肿块的概率包括：
从数据库中确定所述样本肿块区域所包括的肿块为所述目标肿块的概率，其中，所述数据库中预先存储有所述样本肿块区域所包括的肿块为所述目标肿块的概率；或者
根据输入参数确定所述样本肿块区域所包括的肿块为所述目标肿块的概率，其中，所述输入参数用于指示所述样本肿块区域所包括的肿块为所述目标肿块的概率。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
10.一种图像处理装置，其特征在于，所述装置用于执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项所述的方法。
CN201810261926.4A 2018-03-27 2018-03-27 图像处理方法和装置及神经网络模型的训练方法 Active CN110197474B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810261926.4A CN110197474B (zh) 2018-03-27 2018-03-27 图像处理方法和装置及神经网络模型的训练方法
PCT/CN2019/079456 WO2019184851A1 (zh) 2018-03-27 2019-03-25 图像处理方法和装置及神经网络模型的训练方法
JP2020543382A JP7076681B2 (ja) 2018-03-27 2019-03-25 画像処理方法及び装置、並びにニューラルネットワークモデルのトレーニング方法
US16/905,079 US11501431B2 (en) 2018-03-27 2020-06-18 Image processing method and apparatus and neural network model training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810261926.4A CN110197474B (zh) 2018-03-27 2018-03-27 图像处理方法和装置及神经网络模型的训练方法

Publications (2)

Publication Number Publication Date
CN110197474A CN110197474A (zh) 2019-09-03
CN110197474B true CN110197474B (zh) 2023-08-25

Family

ID=67751091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810261926.4A Active CN110197474B (zh) 2018-03-27 2018-03-27 图像处理方法和装置及神经网络模型的训练方法

Country Status (4)

Country Link
US (1) US11501431B2 (zh)
JP (1) JP7076681B2 (zh)
CN (1) CN110197474B (zh)
WO (1) WO2019184851A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
US11069033B2 (en) * 2018-09-10 2021-07-20 University Of Florida Research Foundation, Inc. Neural network evolution using expedited genetic algorithm for medical image denoising
CN113450305B (zh) * 2020-03-26 2023-01-24 太原理工大学 医疗图像的处理方法、系统、设备及可读存储介质
CN111292839B (zh) * 2020-05-13 2020-10-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111724391B (zh) * 2020-05-19 2023-04-07 浙江工业大学 一种基于动态阈值的淋巴癌图像精细分割方法
CN112150411B (zh) * 2020-08-28 2023-12-15 刘军 一种信息处理的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832103A (en) * 1993-11-29 1998-11-03 Arch Development Corporation Automated method and system for improved computerized detection and classification of massess in mammograms
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
WO2016058336A1 (zh) * 2014-10-16 2016-04-21 中兴通讯股份有限公司 一种图像的处理方法和装置
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107798679A (zh) * 2017-12-11 2018-03-13 福建师范大学 乳腺钼靶图像乳房区域分割与钙化点检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009215A1 (en) * 2000-01-18 2002-01-24 Arch Development Corporation Automated method and system for the segmentation of lung regions in computed tomography scans
CN1213592C (zh) * 2001-07-31 2005-08-03 佳能株式会社 采用自适应二值化的图象处理方法和设备
JP2005065855A (ja) * 2003-08-21 2005-03-17 Fuji Photo Film Co Ltd 乳腺領域閾値決定方法および装置並びにプログラム
US20060195266A1 (en) * 2005-02-25 2006-08-31 Yeatman Timothy J Methods for predicting cancer outcome and gene signatures for use therein
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
US7840046B2 (en) * 2006-06-27 2010-11-23 Siemens Medical Solutions Usa, Inc. System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US20130231258A1 (en) * 2011-12-09 2013-09-05 Veracyte, Inc. Methods and Compositions for Classification of Samples
GB2478593B (en) * 2010-03-12 2017-05-31 Inst For Medical Informatics Optimising the initialization and convergence of active contours for segmentation of cell nuclei in histological sections
JP5927180B2 (ja) * 2010-04-30 2016-06-01 ヴィユーコンプ インクVucomp, Inc. 画像の異形を識別するための画像データの処理方法、システムおよびプログラム
EP2852324A4 (en) * 2012-05-21 2016-02-24 Univ Colorado Regents THREE-DIMENSIONAL IMAGING AND THERAPY OF PROSTATE CANCER
US9708667B2 (en) * 2014-05-13 2017-07-18 Rosetta Genomics, Ltd. MiRNA expression signature in the classification of thyroid tumors
WO2017092615A1 (zh) * 2015-11-30 2017-06-08 上海联影医疗科技有限公司 一种计算机辅助诊断系统及方法
CN105574859B (zh) * 2015-12-14 2018-08-21 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
US20170249739A1 (en) * 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
US9739783B1 (en) * 2016-03-15 2017-08-22 Anixa Diagnostics Corporation Convolutional neural networks for cancer diagnosis
CN107103187B (zh) * 2017-04-10 2020-12-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107464250B (zh) * 2017-07-03 2020-12-04 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
CN107616796B (zh) * 2017-08-31 2020-09-11 北京医拍智能科技有限公司 基于深度神经网络的肺结节良恶性检测方法及装置
WO2019071161A1 (en) * 2017-10-06 2019-04-11 Youhealth Biotech, Limited METHYLATION MARKERS FOR THE DIAGNOSIS OF CANCER

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832103A (en) * 1993-11-29 1998-11-03 Arch Development Corporation Automated method and system for improved computerized detection and classification of massess in mammograms
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
WO2016058336A1 (zh) * 2014-10-16 2016-04-21 中兴通讯股份有限公司 一种图像的处理方法和装置
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107798679A (zh) * 2017-12-11 2018-03-13 福建师范大学 乳腺钼靶图像乳房区域分割与钙化点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种检测红外小目标的图像阈值分割算法;张书真;《激光与红外》;第43卷(第10期);第1171-1174页 *

Also Published As

Publication number Publication date
CN110197474A (zh) 2019-09-03
JP2021514228A (ja) 2021-06-10
US11501431B2 (en) 2022-11-15
WO2019184851A1 (zh) 2019-10-03
US20200320701A1 (en) 2020-10-08
JP7076681B2 (ja) 2022-05-30

Similar Documents

Publication Publication Date Title
CN110197474B (zh) 图像处理方法和装置及神经网络模型的训练方法
CN109670532B (zh) 生物体器官组织图像的异常识别方法、装置及系统
US10810735B2 (en) Method and apparatus for analyzing medical image
CN110807495B (zh) 多标签分类方法、装置、电子设备及存储介质
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
Raj et al. Fundus image quality assessment: survey, challenges, and future scope
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
US20170330320A1 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN112581438B (zh) 切片图像识别方法、装置和存储介质及电子设备
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN111695616A (zh) 基于多模态数据的病灶分类方法及相关产品
US20240112329A1 (en) Distinguishing a Disease State from a Non-Disease State in an Image
CN111882559B (zh) Ecg信号的获取方法及装置、存储介质、电子装置
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
CN112233102A (zh) 图像样本集中噪声的识别方法、装置、设备及存储介质
CN116797554A (zh) 图像处理方法以及装置
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
CN109872307B (zh) 一种检测生物组织图像中肿块的方法、相应设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant