CN114820483A - 图像检测方法、装置及计算机设备 - Google Patents
图像检测方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114820483A CN114820483A CN202210389475.9A CN202210389475A CN114820483A CN 114820483 A CN114820483 A CN 114820483A CN 202210389475 A CN202210389475 A CN 202210389475A CN 114820483 A CN114820483 A CN 114820483A
- Authority
- CN
- China
- Prior art keywords
- image
- medical image
- segmented
- attention map
- initial medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。该方法包括:在获取初始医学图像后,对初始医学图像进行分割,获得多个分割图像块,这样把较大的医学图像分割成多个较小的分割图像块,便于后续有针对性的对每一个分割图像块进行处理;然后将多个分割图像块输入至第一模型,获得每一个分割图像块的病灶定位概率以及病理分类结果,基于获得的病灶定位概率以及病理分类结果输出初始医学图像的注意力图。由于初始医学图像的注意力图能够使初始医学图像中的影像征象更加便于识别,以便更加有针对性的对医学图像进行检测,所以能够提高对医学图像进行检测获得的检测结果的准确性。
Description
技术领域
本申请涉及医学图像数据处理技术领域,特别是涉及一种图像检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
钼靶、磁共振成像(Magnetic Resonance Imaging,MRI)是较常用的影像检查手段。目前,通常通过计算机辅助检查系统根据医学图像的影像征象(比如,肿块和钙化的性质、形态、乳头是否凹陷等)对医学图像的图像类型进行检测,然而,使用计算机辅助检查系统对医学图像进行检测,存在检测结果准确性较差的问题。
发明内容
本申请提供了一种图像检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,对医学图像进行处理后,使得医学图像中的影像征象更加的便于识别,便于对医学图像进行有针对性的检测,使得对医学图像的检测更加的准确。
第一方面,本申请提供了一种图像检测方法,该方法包括:
获取初始医学图像的多个分割图像块;
根据各所述分割图像块和第一模型,得到所述初始医学图像的注意力图,其中,所述注意力图包括第一注意力图和/或第二注意力图,所述第一注意力图用于表征各所述分割图像块的病灶定位概率,所述第二注意力图用于表征各所述分割图像块的病理分类概率;
基于所述注意力图,得到所述初始医学图像的检测结果。
第二方面,本申请还提供了一种图像检测装置,该装置包括:
第一模块,用于获取初始医学图像的多个分割图像块;
第二模块,用于根据各所述分割图像块和第一模型,得到所述初始医学图像的注意力图,其中,所述注意力图包括第一注意力图和/或第二注意力图,所述第一注意力图用于表征各所述分割图像块的病灶定位概率,所述第二注意力图用于表征各所述分割图像块的病理分类概率;
第三模块,用于基于所述注意力图,得到所述初始医学图像的检测结果。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一项的方法的步骤:
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一项的方法的步骤。
本申请提供了一种图像检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。该方法包括:在获取初始医学图像后,对初始医学图像进行分割,获得多个分割图像块,这样把较大的医学图像分割成多个较小的分割图像块,便于后续有针对性的对每一个分割图像块进行处理;然后将多个分割图像块输入至第一模型,获得每一个分割图像块的病灶定位概率以及病理分类结果,基于获得的病灶定位概率以及病理分类结果输出初始医学图像的注意力图。由于初始医学图像的注意力图能够使初始医学图像中的影像征象更加便于识别,以便更加有针对性的对医学图像进行检测,所以能够提高对医学图像进行检测获得的检测结果的准确性。
附图说明
图1为一个实施例中的图像检测方法的应用环境图;
图2为一个实施例中图像检测方法的流程示意图;
图3为另一个实施例中图像检测方法的流程示意图;
图4为另一个实施例中图像检测方法的流程示意图;
图5为另一个实施例中图像检测方法的流程示意图;
图6为另一个实施例中图像检测方法的流程示意图;
图7为另一个实施例中图像检测方法的流程示意图;
图8为一个实施例中图像检测装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请提供的图像检测方法,可以应用于如图1所示的应用环境中。其中,医学图像采集设备102可以是在采集到初始医学图像后,通过网络将采集到的初始医学图像传输至终端104或者服务器106中,由终端104或者服务器106执行对初始医学图像进行分割处理,然后将处理后的分割图像块输入第一模型中,通过第一模型对各分割图像块进行病灶定位概率以及病理分类概率的分析,获得各个分割图像块的病灶定位概率以及病理分类概率,进一步的得到初始医学图像对应的第一注意力图和第二注意力图,并基于第一注意力图和第二注意力图得到初始医学图像的检测结果的操作。其中,注意力图能够在医学图像上对病灶进行定位,同时,还可以获得用于临床诊断的病理分类结果,以为后续辅助诊断疾病提供更可靠的依据,从而达到提高疾病诊断准确性的效果。其中,医学图像采集设备102可以但不限于是各种CT扫描设备、B超设备、MR设备等。终端104可以但不限于是个人计算机、笔记本电脑、平板电脑等。服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像检测方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S202,获取初始医学图像的多个分割图像块。
其中,初始医学图像可以是通过医学图像采集设备采集的。当医学图像采集设备采集到初始医学图像后,可以是发送给对应的终端设备,由终端设备对初始医学图像进行后续的处理;当医学图像采集设备采集到初始医学图像后,还可以是先发送给对应的终端设备,再由终端设备通过网络传输给服务器,由服务器对初始医学图像进行后续的处理,本申请对此不加以限定。其中,医学图像采集设备例如可以是计算机断层扫描设备、超声诊断设备、MRI诊断设备、X射线诊断设备、CT扫描设备、磁共振扫描设备、B超设备等。
初始医学图像可以是由同一台医学图像采集设备采集到的多张医学图像;还可以是由多台医学图像采集设备采集到的多张医学图像;初始医学图像可以是针对人体脑部的医学图像,可以是针对人体胸腔的医学图像,可以是针对人体乳房的医学图像,还可以是针对人体腹腔的医学图像等。初始医学图像还可以是属于一个检查者,还可以是属于多个检查者。其中,若初始医学图像属于多个检查者时,可以是在终端设备接收到初始医学图像后按照不同检查者进行分类,以针对不同检查者开展针对性的分析。
目前,医学图像采集设备采集的初始医学图像一般为大尺寸图像,图像中的信息量较大,若直接通过初始医学图像进行医学分析,不仅会增加服务器处理数据的压力,还会因为图像的信息量大使得不能进行针对性的分析导致分析结果不准确的情况出现。针对这一问题,本申请在服务器获得初始医学图像后会对初始医学图像进行分割处理,将大尺寸的初始医学图像分割成多个分割图像块,该分割可以是根据初始医学图像的像素按照预定的像素梯度进行划分、可以是根据初始医学图像的RGB数据按照预定的RGB范围进行划分、还可以是按照初始医学图像的深度信息按照预定的深度范围进行划分等;还可以是通过检测框在初始医学图像中进行图像标定,获得多个图像检测框,对此本申请不加以限定。
示例性的,可以是将体素大小为512*512*512的初始医学图像分割成体素大小为64*64*64的图像块,随机选取125个体素大小为64*64*64的分割图像块,可以是将体素大小为512*512*512的初始医学图像分割成体素大小为32*32*32的图像块,随机选取125个体素大小为32*32*32的分割图像块,可以是将体素大小为512*512*512的初始医学图像分割成体素大小为16*16*16的图像块,随机选取125个体素大小为16*16*16的分割图像块;还可以是将体素大小为512*512*512的初始医学图像分割成体素大小为64*64*64的图像块以及分割成体素大小为32*32*32的图像块,随机选取125个体素大小为64*64*64的图像块以及125个体素大小为32*32*32的图像块。需要说明的是,可以根据不同的需求,选择不同数量或不同大小的对应体素大小的图像块进行后续检测操作,本申请对此不加以限定。
在这里需要说明的是,图像分割后每一个图像块的像素值越小则越有利于后续的分析;但是,像素值越小分割后得到的分割图像块的数量就越多,这样会加重服务器的分析压力,导致图像分析效率的降低。所以,用户可以是根据分析需求以及初始医学图像的实际情况,设置不同的分割策略,以对不同的初始医学图像进行不同的处理,以此来提高服务器的分析效率,同时又可以保证分析的质量。例如,该初始医学图像经专业的诊断人员初步识别确定存在异常的概率不足10%,则可以是对该初始医学图像进行分割处理时,设置较大的像素梯度进行分割,这样分割得到的图像块的数量较少,便于服务器快速的对分割图像块进行处理。
步骤S204,根据各分割图像块和第一模型,得到初始医学图像的注意力图,其中,注意力图包括第一注意力图和/或第二注意力图,第一注意力图用于表征各分割图像块的病灶定位概率,第二注意力图用于表征各分割图像块的病理分类结果。
其中,第一模型可以是通过包含有病灶的图像块以及无病灶的图像块对初始神经网络模型进行无监督的训练获得;还可以是通过包含有病灶的图像块以及无病灶的图像块对初始神经网络模型进行有监督的训练获得;还可以是通过单一算法、集成算法、有病灶的图像块、无病灶的图像块对初始神经网络模型进行训练获得,本申请对此不加以限定。病灶定位概率用于表征分割图像块有无病灶的概率。病理分类结果用于表征分割图像块的图像类型分类结果,例如为该分割图像块为正常图像类型或者异常图像类型;进一步的还可以表征异常图像的具体分类结果,例如为第一分类结果,第二分类结果,第三分类结果等。以初始医学图像为乳腺钼靶图像为例,第一分类结果表征该分割图像块为乳腺乳头凹陷(比如,无、轻度乳头凹陷、完全乳头凹陷等等)类型的图像,第二分类结果表征该分割图像块为乳腺腺体密度(比如,无腺体、高密度腺体、等密度腺体、低密度腺体、含脂肪密度腺体等等)类型的图像,第三分类结果表征该分割图像块为乳腺BI-RADS(比如,BI-RADS 0级、BI-RADS1级、BI-RADS2级等等)类型的图像等。
那么,基于上述对初始医学图像进行分割处理,获得多个分割图像块后,下面,就需要对多个分割图像块进行一一的分析。分析的方法可以是将多个分割图像块输入至第一模型中,由第一模型分别对多个分割图像块进行分析。在这里需要说明的是,第一模型可以是通过同像素的分割图像块获得病灶定位概率以及病理分类概率,也可以是根据不同像素的分割图像块分别获得病灶定位概率以及病理分类结果,本申请对此不加以限定。
当分割图像块输入第一模型后,第一模型可以利用将分割图像块与有病灶的图像块和/或无病灶的图像块进行比对的方式,来获得病灶定位概率。还可以是利用将分割图像块与有疾病的图像块进行比对的方式,来获得病理分类结果等。例如,将512*512像素值的300张分割图像块输入至第一模型中,通过第一模型将各分割图像块与有病灶的图像块和/或无病灶的图像块进行比对,获得比对结果,并基于比对结果确定各分割图像块的病灶定位概率。继续将128*128像素值的300张分割图像块输入至第一模型中,通过第一模型将各分割图像块与各存在病症的图像进行比对,获得比对结果,并基于比对结果确定各分割图像块的病理分类结果。服务器中的第一模型可以基于每一分割图像块的分析结果,输出对应的注意力图。第一注意力图表征每一个分割图像块的病灶定位概率,第二注意力图表征每一个分割图像块的病理分类结果。以提高对初始医学图像的定位准确性以及分类准确性。
步骤S206,基于注意力图,得到初始医学图像的检测结果。
其中,基于上述将多个分割图像块输入至第一模型,第一模型输出的注意力图,由于注意力图能够反映病灶所在的区域,以及图像的分类结果。进一步的基于注意力图可以是通过检测模型进行进一步的检测,获得的检测结果相比于仅通过初始医学图像进行检测获得的检测结果更加的准确。检测结果可以是针对初始医学图像的图像类型确定结果,例如检测结果为初始医学图像的图像类型为第一类型、初始医学图像的图像类型为第二类型、初始医学图像的图像类型为第三类型、初始医学图像的图像类型为第四类型等,第一类型表征初始医学图像为乳腺乳头凹陷类型的图像,第二类型表征初始医学图像为乳腺腺体密度类型的图像等。该检测结果可以是根据注意力图以及对应的检测模型获得的;还可以是根据注意力图、初始医学图像以及对应的检测模型获得的。检测结果可以是以具体的分类结果表示,可以是以概率表示,本申请对此不加以限定。示例性的,将第一注意力图和第二注意力图输入检测模型,检测模型输出的检测结果为初始医学图像为第一类型的图像。
本申请提供了一种图像检测方法,该方法包括:在获取初始医学图像后,对初始医学图像进行分割,获得多个分割图像块,这样把较大的医学图像分割成多个较小的分割图像块,便于后续有针对性的对每一个分割图像块进行处理;然后将多个分割图像块输入至第一模型,获得每一个分割图像块的病灶定位概率以及病理分类结果,基于获得的病灶定位概率以及病理分类结果输出初始医学图像的注意力图。由于初始医学图像的注意力图能够使初始医学图像中的影像征象更加便于识别,以便更加有针对性的对医学图像进行检测,所以能够提高对医学图像进行检测获得的检测结果的准确性。
在一个实施例中,如图3所示,本实施例是根据各所述分割图像块和第一模型,得到初始医学图像的注意力图的一种可选的方法实施例,该方法包括如下步骤:
步骤S302,将各分割图像块输入第一模型,得到各分割图像块对应的输出结果,其中,输出结果包括病灶定位概率和/或病理分类结果。
其中,基于上述服务器对初始医学图像进行分割获得多个分割图像块后,第一模型可以利用将分割图像块与有病灶的图像块和/或无病灶的图像块进行比对的方式,来获得病灶定位概率。还可以是利用将分割图像块与存在异常的图像块进行比对的方式,来获得病理分类结果等。示例性的,第一模型对第一分割图像块分析后,输出第一分割图像块的病灶定位概率为10%,输出第二分割图像块的病灶定位概率为10%,输出第三分割图像块的病灶定位概率为30%,输出第四分割图像块的病灶定位概率为20%;输出第五分割图像块的病灶定位概率为60%等,进一步的可以说明,第一分割图像块中存在病灶的概率为10%,第二分割图像块中存在病灶的概率为10%;第三分割图像块中存在病灶的概率为30%;第四分割图像块中存在病灶的概率为20%;第五分割图像块中存在病灶的概率为60%。
步骤S304,基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图。
其中,分割图像块的图像参数例如可以是图像的RGB值、图像的饱和度、图像的灰度值等。
基于上述第一模型确定的病灶分割概率和\或病灶性质分类概率后,可以是基于各分割图像块的病灶定位概率和病理分类结果确定各分割图像块对应的目标图像参数,然后根据各分割图像块对应的目标图像参数,对各分割图像块的初始图像参数进行修改,最终根据修改后的各分割图像块获得初始医学图像的注意力图。第一模型可以是在确定了各分割图像块的目标图像参数后,在各分割图像块中显示对应的目标图像参数,最终根据显示目标图像参数后的各分割图像块获得初始医学图像的注意力图;还可以是根据各分割图像块的目标图像参数值的平均值对初始医学图像的初始图像参数进行修改,将修改后的初始医学图像作为注意力图等,本申请对此不加以限定。在这里需要说明的是,服务器中可以是存储有病灶定位概率与图像参数的多种信息对应表,和\或病理分类结果与图像参数的多种信息对应表。当各分割图像块输入第一模型得到各所述分割图像块对应的病灶定位概率和/或病理分类结果后,服务器可以是从对应的存储器地址中获取对应的信息表,以确定各分割图像块的目标图像参数,这样能够快速的确定各分割图像块的目标图像参数,提高对初始医学图像的处理效率。
本申请提供了一种图像检测方法,该图像检测方法通过将各分割图像块输入至第一模型,并基于各分割图像块的病灶定位概率、病理分类结果对各分割图像块的图像参数进行修改,或者对初始医学图像的图像参数进行修改,经过处理后获得的图像更有利于后续进行图像检测,提高对图像检测的准确性。
在一个实施例中,如图4所示,本实施例是基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图的一种可选的方法实施例,该方法实施例包括如下步骤:
步骤S402,根据各分割图像块对应的病灶定位概率确定各分割图像块的第一图像参数调整策略。
其中,基于上述将各分割图像块输入至第一模型,由第一模型输出各分割图像块对应的病灶分割概率,服务器可以是继续从对应的存储器地址中获取与病灶定位概率与图像参数的信息对应表,确定各分割图像块的目标图像参数。示例性的,针对第一分割图像块,第一模型输出的病灶定位概率为70%,服务器根据病灶定位概率与RGB值的信息对应表确定第一分割图像块的目标RGB值为(176 23 31);针对第二分割图像块,第一模型输出的病灶定位概率为10%,服务器根据乳腺增生的概率与RGB之对应信息表确定第二分割图像块的目标RGB值为(255 192 203);针对第三分割图像块,第一模型输出的病灶分割概率为病灶定位概率为30%,服务器根据病灶定位概率与RGB值的信息对应表确定第三分割图像块的目标RGB值为(176 224 230)等,在此不进行一一列举。
步骤S404,基于各分割图像块的第一图像参数调整策略对各分割图像块的图像参数进行修改。
其中,基于上述步骤确定各分割图像块的目标图像参数后,根据各分割图像块的初始图像参数和目标图像参数确定各分割图像块的第一图像参数修改策略,第一图像参数修改策略也即将分割图像块的初始图像参数修改为目标图像参数。将分割图像块的图像参数修改后,相当于对初始医学图像进行了信息标注,使得后续对图像进行检测更具方向性,能够提高对图像检测的效率,同时,能够提高图像检测的准确性。
步骤S406,基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第一注意力图。
其中,因为第一模型是针对各分割图像块的病灶定位概率以及病理分类结果,本申请的图像检测是对初始医学图像进行检测,获得的检测结果也是初始医学图像的检测结果,零散的分割图像块的病灶定位概率以及病理分类结果只有对应的体现在初始医学图像上才能得到关于初始医学图像的检测结果。所以需要将上述修改了图像参数的各分割图像块进行整合,整合需要基于初始医学图像对修改后的各分割图像块进行映射,也即将修改后的各分割图像块按照初始医学图像的原始排列方式进行排列,获得与初始医学图像对应的第一注意力图,第一注意力图与初始医学图像的区别在于图像参数不同。
本申请提供了一种图像检测方法,该方法通过各分割图像块的病灶分割概率对各分割图像块的图像参数进行修改,并基于初始医学图像对修改后的各分割图像块进行映射,获得第一注意力图,第一注意力图会显示初始医学图像中的病灶位置,便于后续更加具有方向性的对初始医学图像进行检测,进一步的获得更加准确的检测结果。
在一个实施例中,如图5所示,本实施例是基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图的另一种可选的方法实施例,该方法实施例包括如下步骤:
步骤S502,根据各分割图像块对应的病理分类结果确定各分割图像块的第二图像参数修改策略;
步骤S504,基于各分割图像块的第二图像参数修改策略对各分割图像块的图像参数进行修改;
步骤S506,基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第二注意力图。
其中,获得第二注意力图的方法与获得第一注意力图的方法相同,两者的区别在于第二注意力图是基于各分割图像块对应的病理分类结果确定的,病理分类结果具有与病灶定位概率不同的图像参数,所以获得的第二注意力图与第一注意力图不同,第二注意力图能够反映各分割图像块的病理分类结果,结合第一注意力图能够为后续对初始医学图像的检测提供更具方向性以及更加可靠的数据支持,提高对初始医学图像的检测效率以及准确性。具体确定第二注意力图的方法参考上述第一注意力图的确定方法,在此不做赘述。
本申请提供了一种图像检测方法,该方法通过各分割图像块的病理分类结果对各分割图像块的图像参数进行修改,并基于初始医学图像对修改后的各分割图像块进行映射,获得第二注意力图,第二注意力图能够表征各分割图像块所属病理的分类结果,为后续进行初始医学图像的检测提供更加可靠的数据支持,以更快的获得初始医学图像的检测结果;同时能够提高检测结果的准确性。
在一个实施例中,本实施例基于注意力图,得到初始医学图像的检测结果的一种可选的方法实施例,该方法实施例包括如下步骤:
基于注意力图、初始医学图像和第二模型,得到初始医学图像的检测结果。
可选地,将第一注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
可选地,将第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
可选地,将第一注意力图、第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
其中,初始医学图像可以是感兴趣组织的医学图像,感兴趣组织例如可以是乳房、肝脏、脾脏、胃、心脏、肾脏、大肠、小肠、大臂、小臂、大腿、小腿、手、脚、生殖器官、脖颈、头等。
第二模型可以用于对初始医学图像进行图像类型的分类,以对初始医学图像进行更加精确的分类。第二模型可以是通过包含有病灶的医学图像、无病灶的医学图像、与有病灶的医学图像对应的注意力图样本以及无病灶的医学图像对应的注意力图对初始神经网络模型进行无监督的训练获得;还可以是通过包含有病灶的医学图像、无病灶的医学图像、与有病灶的医学图像对应的注意力图样本以及无病灶的医学图像对应的注意力图对初始神经网络模型进行有监督的训练获得;还可以是通过单一算法、集成算法、包含有病灶的医学图像、无病灶的医学图像、与有病灶的医学图像对应的注意力图样本以及无病灶的医学图像对应的注意力图对初始神经网络模型进行训练获得,注意力图可以是包括有病灶的医学图像对应的第一注意力图、无病灶的医学图像对应的第一注意力图;还可以是包括有病灶的医学图像对应的第一注意力图和第二注意力图以及无病灶的医学图像对应的第一注意力图和第二注意力图等。
基于上述步骤获得的第一注意力图、第二注意力图,可以是将注意力图和初始医学图像输入至第二模型中,获得初始医学图像的检测结果。其中,可以是将第一注意力图和初始医学图像输入至第二模型中,获得初始医学图像的检测结果;可以是将第二注意力图和初始医学图像输入至第二模型中,获得初始医学图像的检测结果;还可以是将第一注意力图、第二注意力图以及初始医学图像输入至第二模型中,获得初始医学图像的检测结果。本申请对此不加以限定。
本申请提供一种图像检测方法,该方法通过将注意力图、初始医学图像和输入至第二模型中,由于注意力图能够对病灶进行定位且能够对图像进行病理分类,所以第二模型结合初始医学图像以及对应的注意力图能够快速的获得初始医学图像的检测结果,提高检测的效率以及检测结果的准确性。
在一个实施例中,如图6所示,本实施例是训练第一模型的一种可选的方法实施例,该方法实施例包括如下步骤:
步骤S602,获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
步骤S604,基于各分割图像块样本训练预设的第一预测模型,得到第一模型。
其中,第一感兴趣组织可以是与目标感兴趣组织相同的组织,而第一感兴趣组织的医学图像样本与目标感兴趣组织的医学图像属于不同的对象。例如目标感兴趣组织为乳房,那么第一感兴趣组织也是乳房,只是目标感兴趣组织的初始医学图像是来自A对象的乳腺钼靶图像,而第一感兴趣组织的医学图像样本是来自B1对象、C1对象、D1对象、E1对象、F1对象、G1对象、H1对象、I1对象等多个不同对象的乳腺钼靶图像。医学图像样本可以是包括有病灶的图像样本以及无病灶的图像样本,例如可以是包括患有乳腺炎的乳腺钼靶图像、患有乳腺纤维瘤的乳腺钼靶图像、患有乳腺增生的乳腺钼靶图像等。然后,将医学图像样本进行分割处理,获得分割图像样本,对分割图像样本进行病灶定位概率的标注,确定与各病灶定位概率对应的第一图像参数,和/或进行病理分类结果的标注,确定与各病理分类结果对应的第二图像参数。最后,将各分割图像块样本、各分割图像块样本对应的病灶定位概率、各分割图像块样本对应的病理分类结果、第一图像参数以及第二图像参数输入至第一预测模型中进行模型训练,获得第一模型。第一预测模型例如可以是卷积神经网络模型、递归神经网络模型、深信度神经网络模型、生成对抗网络模型等。
在一个实施例中,如图7所示,本实施例是训练第二模型的一种可选的方法实施例,该方法实施例包括如下步骤:
步骤S702,获取多个第二感兴趣组织的医学图像样本和医学图像样本对应的注意力图样本,其中,医学图像样本包括无病灶的图像样本和有病灶的图像样本;
步骤S704,基于各医学图像样本和各注意力图样本训练预设的第二预测模型,得到第二模型。
其中,第二感兴趣组织可以是与目标感兴趣组织相同的组织,而第二感兴趣组织的医学图像样本与目标感兴趣组织的医学图像属于不同的对象。第二感兴趣组织的医学图像样本可以是来自于B1对象、C1对象、D1对象、E1对象、F1对象、G1对象、H1对象、I1对象等多个不同对象的乳腺钼靶图像,还可以是来自于B2对象、C2对象、D2对象、E2对象、F2对象、G2对象、H2对象、I2对象等多个不同对象的乳腺钼靶图像。医学图像样本可以是包括有病灶的图像样本以及无病灶的图像样本,例如可以是包括患有乳腺炎的乳腺钼靶图像、患有乳腺纤维瘤的乳腺钼靶图像、患有乳腺增生的乳腺钼靶图像等。然后,根据上述对初始医学图像进行处理获得注意力图的方法对第二感兴趣组织的医学图像样本进行处理获得对应的多个注意力图,然后将各医学图像样本、各医学图像样本对应的注意力图样本以及对应的检测结果(第一类型、第二类型、第三类型等)输入至第二预测模型,得到第二模型。第二预测模型例如可以是卷积神经网络模型、递归神经网络模型、深信度神经网络模型、生成对抗网络模型等。
下面,将本申请提供的图像检测方法应用于乳腺癌筛查方面,对本申请的图像检测方法进行以下完整的说明:
获取B1对象、C1对象、D1对象、E1对象、F1对象、G1对象、H1对象、I1对象等多个不同对象的乳腺钼靶图像。其中,多个对象的乳腺钼靶图像中包括图像类型为乳腺癌症的钼靶图像100张,以及图像类型为正常乳腺的钼靶图像100张;
将100张图像类型为乳腺癌症的钼靶图像以及100张图像类型为正常乳腺的钼靶图像进行分割处理,分别获得400张图像类型为乳腺癌症图像类型的钼靶图像块以及400张图像类型为正常乳腺图像类型的钼靶图像块,并对图像类型为乳腺癌症图像类型的每一张钼靶图像块进行病灶定位概率标注和病理分类结果标注以及对图像类型为正常乳腺图像类型的钼靶图像块进行病灶定位概率标注和病理分类结果标注。然后将400张图像类型为乳腺癌症图像类型的钼靶图像块以及对应的病灶定位概率和病理分类结果、400张图像类型为正常乳腺图像类型的钼靶图像块以及对应的病灶定位概率(乳腺良性病变的概率、恶性病变的概率等)和病理分类结果(BI-RADS分类结果、乳腺钙化性质的分类结果、病变性质分类结果等,BI-RADS分类结果比如为BI-RADS 0级、1级;乳腺钙化性质的分类结果比如为弥漫性钙化,区域分布性钙化,散在钙化;病变性质分类结果比如为无、肿块、钙化、肿块伴钙化、不对称致密、结构扭曲等等)、病灶定位概率与图像参数的信息对应关系、病理分类结果与图像参数的信息对应关系输入至第一卷积神经网络模型中进行训练,获得第一模型;
将400张图像类型为乳腺癌症图像类型的钼靶图像块以及400张图像类型为正常乳腺图像类型的钼靶图像块输入至上述第一模型,获得对应的注意力图;
将100张图像类型为乳腺癌症的钼靶图像以及100张图像类型为正常乳腺的钼靶图像以及对应的注意力图输入至第二卷积神经网络模型中进行训练,获得第二模型;
获取A对象的目标乳腺钼靶图像,然后将A对象的目标乳腺钼靶图像输入至第一模型中,获得目标乳腺钼靶图像对应的第一注意力图和/或第二注意力图;
将第一注意力图、第二注意力图和目标乳腺钼靶图像输入至第二模型中,得到目标乳腺钼靶图像的检测结果;其中,目标乳腺钼靶图像的检测结果为目标乳腺钼靶图像为第一类型的图像,第一类型表征目标乳腺钼靶图像的图像类型为乳腺癌症图像类型。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像检测方法的图像检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像检测装置实施例中的具体限定可以参见上文中对于图像检测方法的限定,在此不再赘述。
在一个实施例中,如图8所示,提供了一种图像检测装置,包括:第一模块802、第二模块804以及第三模块806,其中:
第一模块802,用于获取初始医学图像的多个分割图像块;
第二模块804,用于根据各分割图像块和第一模型,得到初始医学图像的注意力图,其中,注意力图包括第一注意力图和/或第二注意力图,第一注意力图用于表征各分割图像块的病灶定位概率,第二注意力图用于表征各分割图像块的病理分类结果;
第三模块806,用于基于注意力图,得到初始医学图像的检测结果。
在一个实施例中,第二模块804,具体用于将各分割图像块输入第一模型,得到各分割图像块对应的输出结果,其中,输出结果包括病灶定位概率和/或病理分类结果;
基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图。
在一个实施例中,第二模块804,具体还用于根据各分割图像块对应的病灶定位概率确定各分割图像块的第一图像参数修改策略;
基于各分割图像块的第一图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第一注意力图。
在一个实施例中,第二模块804,具体还用于根据各分割图像块对应的病理分类结果确定各分割图像块的第二图像参数修改策略;
基于各分割图像块的第二图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第二注意力图。
在一个实施例中,第三模块806,具体用于基于注意力图、初始医学图像和第二模型,得到初始医学图像的检测结果。
在一个实施例中,第三模块806,具体还用于将第一注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果,
或者,
将第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果;
或者,
将第一注意力图、第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
在一个实施例中,上述图像检测装置还包括训练模块(图中未示出),
训练模块,用于获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
基于各分割图像块样本训练预设的第一预测模型,得到第一模型。
在一个实施例中,训练模块,还用于获取多个第二感兴趣组织的医学图像样本和医学图像样本对应的注意力图样本,其中,医学图像样本包括无病灶的图像样本和有病灶的图像样本;
基于各医学图像样本和各注意力图样本训练预设的第二预测模型,得到第二模型。
上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检测方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取初始医学图像的多个分割图像块;
根据各分割图像块和第一模型,得到初始医学图像的注意力图,其中,注意力图包括第一注意力图和/或第二注意力图,第一注意力图用于表征各分割图像块的病灶定位概率,第二注意力图用于表征各分割图像块的病理分类结果;
基于注意力图,得到初始医学图像的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将各分割图像块输入第一模型,得到各分割图像块对应的输出结果,其中,输出结果包括病灶定位概率和/或病理分类结果;
基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各分割图像块对应的病灶定位概率确定各分割图像块的第一图像参数修改策略;
基于各分割图像块的第一图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第一注意力图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各分割图像块对应的病理分类结果确定各分割图像块的第二图像参数修改策略;
基于各分割图像块的第二图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第二注意力图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:基于注意力图、初始医学图像和第二模型,得到初始医学图像的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将第一注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果,
或者,
将第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果;
或者,
将第一注意力图、第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
基于各分割图像块样本训练预设的第一预测模型,得到第一模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取多个第二感兴趣组织的医学图像样本和医学图像样本对应的注意力图样本,其中,医学图像样本包括无病灶的图像样本和有病灶的图像样本;
基于各医学图像样本和各注意力图样本训练预设的第二预测模型,得到第二模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取初始医学图像的多个分割图像块;
根据各分割图像块和第一模型,得到初始医学图像的注意力图,其中,注意力图包括第一注意力图和/或第二注意力图,第一注意力图用于表征各分割图像块的病灶定位概率,第二注意力图用于表征各分割图像块的病理分类结果;
基于注意力图,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各分割图像块输入第一模型,得到各分割图像块对应的输出结果,其中,输出结果包括病灶定位概率和/或病理分类结果;
基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各分割图像块对应的的病灶定位概率确定各分割图像块的第一图像参数修改策略;
基于各分割图像块的第一图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第一注意力图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各分割图像块对应的病理分类结果确定各分割图像块的第二图像参数修改策略;
基于各分割图像块的第二图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第二注意力图。
在一个实施例中,处理器执行计算机程序被处理器执行时还实现以下步骤:
基于注意力图、初始医学图像和第二模型,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果,
或者,
将第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果;
或者,
将第一注意力图、第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
基于各分割图像块样本训练预设的第一预测模型,得到第一模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个第二感兴趣组织的医学图像样本和医学图像样本对应的注意力图样本,其中,医学图像样本包括无病灶的图像样本和有病灶的图像样本;
基于各医学图像样本和各注意力图样本训练预设的第二预测模型,得到第二模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取初始医学图像的多个分割图像块;
根据各分割图像块和第一模型,得到初始医学图像的注意力图,其中,注意力图包括第一注意力图和/或第二注意力图,第一注意力图用于表征各分割图像块的病灶定位概率,第二注意力图用于表征各分割图像块的病理分类结果;
基于注意力图,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将各分割图像块输入第一模型,得到各分割图像块对应的输出结果,其中,输出结果包括病灶定位概率和/或病理分类结果;
基于输出结果和各分割图像块的图像参数,得到初始医学图像的注意力图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各分割图像块对应的的病灶定位概率确定各分割图像块的第一图像参数修改策略;
基于各分割图像块的第一图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第一注意力图。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各分割图像块对应的病理分类结果确定各分割图像块的第二图像参数修改策略;
基于各分割图像块的第二图像参数修改策略对各分割图像块的图像参数进行修改;
基于初始医学图像对修改后的各分割图像块进行映射,并根据映射结果得到第二注意力图。
在一个实施例中,处理器执行计算机程序被处理器执行时还实现以下步骤:
基于注意力图、初始医学图像和第二模型,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将第一注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果,
或者,
将第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果;
或者,
将第一注意力图、第二注意力图和初始医学图像输入第二模型,得到初始医学图像的检测结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
基于各分割图像块样本训练预设的第一预测模型,得到第一模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取多个第二感兴趣组织的医学图像样本和医学图像样本对应的注意力图样本,其中,医学图像样本包括无病灶的图像样本和有病灶的图像样本;
基于各医学图像样本和各注意力图样本训练预设的第二预测模型,得到第二模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像检测方法,其特征在于,所述方法包括:
获取初始医学图像的多个分割图像块;
根据各所述分割图像块和第一模型,得到所述初始医学图像的注意力图,其中,所述注意力图包括第一注意力图和/或第二注意力图,所述第一注意力图用于表征各所述分割图像块的病灶定位概率,所述第二注意力图用于表征各所述分割图像块的病理分类结果;
基于所述注意力图,得到所述初始医学图像的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述根据各所述分割图像块和第一模型,得到所述初始医学图像的注意力图,包括:
将各所述分割图像块输入第一模型,得到各所述分割图像块对应的输出结果,其中,所述输出结果包括所述病灶定位概率和/或所述病理分类结果;
基于所述输出结果和各所述分割图像块的图像参数,得到所述初始医学图像的注意力图。
3.根据权利要求2所述的方法,其特征在于,所述基于所述输出结果和各所述分割图像块的图像参数,得到所述初始医学图像的注意力图,包括:
根据各所述分割图像块对应的病灶定位概率确定各所述分割图像块的第一图像参数调整策略;
基于各所述分割图像块的第一图像参数调整策略对各所述分割图像块的图像参数进行修改;
基于所述初始医学图像对修改后的各所述分割图像块进行映射,并根据映射结果得到所述第一注意力图。
4.根据权利要求2所述的方法,其特征在于,所述基于所述输出结果和各所述分割图像块的图像参数,得到所述初始医学图像的注意力图,包括:
根据各所述分割图像块对应的病理分类结果确定各所述分割图像块的第二图像参数调整策略;
基于各所述分割图像块的第二图像参数调整策略对各所述分割图像块的图像参数进行修改;
基于所述初始医学图像对修改后的各所述分割图像块进行映射,并根据映射结果得到所述第二注意力图。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述基于所述注意力图,得到所述初始医学图像的检测结果,包括:
基于所述注意力图、所述初始医学图像和第二模型,得到所述初始医学图像的检测结果。
6.根据权利要求5所述的方法,其特征在于,所述基于所述注意力图、所述初始医学图像和第二模型,得到所述初始医学图像的检测结果,包括:
将所述第一注意力图和所述初始医学图像输入所述第二模型,得到所述初始医学图像的检测结果;
或者,
将所述第二注意力图和所述初始医学图像输入所述第二模型,得到所述初始医学图像的检测结果;
或者,
将所述第一注意力图、所述第二注意力图和所述初始医学图像输入所述第二模型,得到所述初始医学图像的检测结果。
7.根据权利要求1或2任一项所述的方法,其特征在于,所述方法还包括:
获取多个第一感兴趣组织的医学图像样本的分割图像块样本,其中,所述分割图像块样本包括无病灶的分割图像块样本和有病灶的分割图像块样本;
基于各所述分割图像块样本训练预设的第一预测模型,得到所述第一模型。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取多个第二感兴趣组织的医学图像样本和所述医学图像样本对应的注意力图样本,其中,所述医学图像样本包括无病灶的图像样本和有病灶的图像样本;
基于各所述医学图像样本和各所述注意力图样本训练预设的第二预测模型,得到所述第二模型。
9.一种图像检测装置,其特征在于,所述装置包括:
第一模块,用于获取初始医学图像的多个分割图像块;
第二模块,用于根据各所述分割图像块和第一模型,得到所述初始医学图像的注意力图,其中,所述注意力图包括第一注意力图和/或第二注意力图,所述第一注意力图用于表征各所述分割图像块的病灶定位概率,所述第二注意力图用于表征各所述分割图像块的病理分类结果;
第三模块,用于基于所述注意力图,得到所述初始医学图像的检测结果。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389475.9A CN114820483A (zh) | 2022-04-14 | 2022-04-14 | 图像检测方法、装置及计算机设备 |
PCT/CN2023/088226 WO2023198166A1 (zh) | 2022-04-14 | 2023-04-13 | 图像检测方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210389475.9A CN114820483A (zh) | 2022-04-14 | 2022-04-14 | 图像检测方法、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114820483A true CN114820483A (zh) | 2022-07-29 |
Family
ID=82536561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210389475.9A Pending CN114820483A (zh) | 2022-04-14 | 2022-04-14 | 图像检测方法、装置及计算机设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114820483A (zh) |
WO (1) | WO2023198166A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023198166A1 (zh) * | 2022-04-14 | 2023-10-19 | 北京联影智能影像技术研究院 | 图像检测方法、系统、装置及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447966A (zh) * | 2018-10-26 | 2019-03-08 | 科大讯飞股份有限公司 | 医学图像的病灶定位识别方法、装置、设备及存储介质 |
JP7208499B2 (ja) * | 2019-02-13 | 2023-01-19 | 日本電信電話株式会社 | 検出装置、検出方法およびプログラム |
CN110706793A (zh) * | 2019-09-25 | 2020-01-17 | 天津大学 | 一种基于注意力机制的甲状腺结节半监督分割方法 |
CN110807788B (zh) * | 2019-10-21 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
CN113012166A (zh) * | 2021-03-19 | 2021-06-22 | 北京安德医智科技有限公司 | 颅内动脉瘤分割方法及装置、电子设备和存储介质 |
CN114820483A (zh) * | 2022-04-14 | 2022-07-29 | 北京联影智能影像技术研究院 | 图像检测方法、装置及计算机设备 |
-
2022
- 2022-04-14 CN CN202210389475.9A patent/CN114820483A/zh active Pending
-
2023
- 2023-04-13 WO PCT/CN2023/088226 patent/WO2023198166A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023198166A1 (zh) * | 2022-04-14 | 2023-10-19 | 北京联影智能影像技术研究院 | 图像检测方法、系统、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023198166A1 (zh) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766730B (zh) | 图像配准及随访评估方法、存储介质及计算机设备 | |
US9058545B2 (en) | Automatic registration of image pairs of medical image data sets | |
US9165360B1 (en) | Methods, systems, and devices for automated analysis of medical scans | |
US10997475B2 (en) | COPD classification with machine-trained abnormality detection | |
US9280815B2 (en) | Comparison workflow automation by registration | |
CN111340825B (zh) | 一种纵膈淋巴结分割模型的生成方法及系统 | |
CN111640100A (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
CN111666966B (zh) | 医学成像中基于人工智能的材料分解 | |
CN109712163B (zh) | 冠脉提取方法、装置、图像处理工作站和可读存储介质 | |
WO2019223123A1 (zh) | 病变部位识别方法及装置、计算机装置及可读存储介质 | |
US11568538B2 (en) | Medical image-based tumor detection and diagnostic device | |
CN110706207A (zh) | 图像量化方法、装置、计算机设备和存储介质 | |
CN110348477B (zh) | 医疗图像处理方法、存储介质及计算机设备 | |
JP7170000B2 (ja) | 学習システム、方法及びプログラム | |
CN111681205B (zh) | 图像分析方法、计算机设备和存储介质 | |
CN110751187A (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
CN111311626A (zh) | 基于ct图像的颅骨骨折自动检测方法及电子介质 | |
CN110533120B (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
CN114820483A (zh) | 图像检测方法、装置及计算机设备 | |
Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
JP2022179433A (ja) | 画像処理装置及び画像処理方法 | |
US10299864B1 (en) | Co-localization of multiple internal organs based on images obtained during surgery | |
Lee et al. | Learning radiologist’s step-by-step skill for cervical spinal injury examination: Line drawing, prevertebral soft tissue thickness measurement, and swelling detection | |
US20230099284A1 (en) | System and method for prognosis management based on medical information of patient | |
US20240112345A1 (en) | Medical image diagnosis system, medical image diagnosis method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |