CN113160199B - 影像识别方法、装置、计算机设备和存储介质 - Google Patents

影像识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113160199B
CN113160199B CN202110475211.0A CN202110475211A CN113160199B CN 113160199 B CN113160199 B CN 113160199B CN 202110475211 A CN202110475211 A CN 202110475211A CN 113160199 B CN113160199 B CN 113160199B
Authority
CN
China
Prior art keywords
region
feature extraction
medical image
target medical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110475211.0A
Other languages
English (en)
Other versions
CN113160199A (zh
Inventor
魏巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Healthcare Co Ltd
Original Assignee
Wuhan United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Healthcare Co Ltd filed Critical Wuhan United Imaging Healthcare Co Ltd
Priority to CN202110475211.0A priority Critical patent/CN113160199B/zh
Publication of CN113160199A publication Critical patent/CN113160199A/zh
Application granted granted Critical
Publication of CN113160199B publication Critical patent/CN113160199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种影像识别方法、装置、计算机设备和存储介质,适用于计算机技术领域。所述方法包括:将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。采用本方法能够使得识别出的感兴趣区域更加准确,提高了目标神经网络模型输出的准确性。

Description

影像识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种影像识别方法、装置、计算机设备和存储介质。
背景技术
随着科学技术的飞速发展,医学影像技术发挥着越来越重要的作用。医学影像是指为了医疗或者医学研究,对生物体或者生物体某部位,以非侵入方式取得内部组织影像的技术与处理过程。在临床应用方面,医学影像又称为医学成像,医学成像技术又分为电子计算机断层扫描(Computed Tomography,CT)成像技术、磁共振(Magnetic ResonanceImaging,MRI)成像技术和正电子发射型计算机断层(Positron Emission ComputedTomography,PET)成像技术。
传统方法中,通常利用神经网络模型对医学影像进行识别,从而输出医学影像对应的输出信息。
上述方法,由于神经网络模型的不完善,从而使得经过神经网络模型处理后,输出的结果不准确。
发明内容
基于此,有必要针对上述技术问题,提供一种影像识别方法、装置、计算机设备和存储介质,能够提高神经网络模型输出结果的准确性。
第一方面,提供了一种影像识别方法,方法包括:将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。
在其中一个实施例中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,包括:在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
在其中一个实施例中,根据各第一IoU值从至少一个影像区域中确定正向区域,包括:将各第一IoU值与第一IoU阈值进行对比;将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
在其中一个实施例中,将各第一IoU值与第一IoU阈值进行对比之前,该方法还包括:确定本次特征提取处理在至少两次特征提取处理中的排序;根据排序确定第一IoU阈值。
在其中一个实施例中,根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,包括:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
在其中一个实施例中,通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域,包括:通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
在其中一个实施例中,根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,包括:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为该类型的错误率;根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
第二方面,提供了一种影像识别装置,装置包括:
输入模型,用于将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;
特征提取模型,用于通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;
识别模型,用于根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,获取感兴趣区域。
在其中一个实施例中,上述特征提取模块,具体用于:在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
在其中一个实施例中,上述特征提取模块,具体用于:将各第一IoU值与第一IoU阈值进行对比;将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
在其中一个实施例中,上述特征提取模块,具体用于:确定本次特征提取处理在至少两次特征提取处理中的排序;根据排序确定第一IoU阈值。
在其中一个实施例中,上述识别模型,具体用于:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
在其中一个实施例中,上述识别模型,具体用于:通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
在其中一个实施例中,上述识别模型,包括:
输出单元,用于通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为类型的错误率;
确定单元,用于根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
第三方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上述第一方面任一所述的方法。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面任一的所述方法。
上述影像识别方法、装置、计算机设备和存储介质,将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。上述方法中,将目标医学影像输入至目标神经网络模型中,并通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,而不是像传统方法中,只进行一次特征提取就确定正向区域为感兴趣区域,传统方法中只进行一次特征提取就确定正向区域为感兴趣区域,最终确定的感兴趣区域的准确率较低。而本申请中,通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,且两次特征提取对应的概率阈值不同,其中第一次特征提取对应的第一概率阈值可以相对较小,使得经过筛选得到的正向区域的数量较多,避免了感兴趣区域被筛选掉的情况发生。第二次特征提取对应的第二概率阈值可以相对较大,可以保证提取到的正向区域更加接近真实的框。根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,使得识别出的感兴趣区域更加准确,提高了目标神经网络模型输出的准确性。
附图说明
图1为一个实施例中影像识别方法的流程示意图;
图2为一个实施例中影像识别方法中目标神经网络工作流程示意图;
图3为另一个实施例中影像识别方法的流程示意图;
图4为另一个实施例中影像识别方法的流程示意图;
图5为另一个实施例中影像识别方法的流程示意图;
图6为另一个实施例中影像识别方法的流程示意图;
图7为一个实施例中影像识别装置的结构框图;
图8为一个实施例中影像识别装置的结构框图;
图9为一个实施例中计算机设备为服务器时的内部结构图;
图10为一个实施例中计算机设备为终端时的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
随着科学技术的飞速发展,医学影像技术发挥着越来越重要的作用。医学影像是指为了医疗或者医学研究,对生物体或者生物体某部位,以非侵入方式取得内部组织影像的技术与处理过程。
传统方法中,通过由医生对医学影像进行人工识别和研究,从而,得出对医学影像的研究结果。然而,随着计算机技术的飞速发展,神经网络模型在医学邻域的应用越来越广。因此,出现了利用神经网络模型对医学影像进行识别的情况。
然而,由于用于识别医学影像的神经网络模型的不完善,从而使得经过神经网络模型处理后,输出的结果不准确。
本申请针对上述技术问题提出了一种影像识别方法,该方法主要包括以下内容:将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。本申请提供的影像识别方法,将目标医学影像输入至目标神经网络模型中,并通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,而不是像传统方法中,只进行一次特征提取就确定正向区域为感兴趣区域,传统方法中只进行一次特征提取就确定正向区域为感兴趣区域,最终确定的感兴趣区域的准确率较低。而本申请中,通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,且两次特征提取对应的概率阈值不同,其中第一次特征提取对应的第一概率阈值可以相对较小,使得经过筛选得到的正向区域的数量较多,避免了感兴趣区域被筛选掉的情况发生。第二次特征提取对应的第二概率阈值可以相对较大,可以保证提取到的正向区域更加接近真实的框(ground truth)。根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,使得识别出的感兴趣区域更加准确,提高了目标神经网络模型输出的准确性。
需要说明的是,本申请实施例提供的影像识别的方法,其执行主体可以是影像识别的装置,该影像识别的装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部,其中,该计算机设备可以是服务器或者终端,其中,本申请实施例中的服务器可以为一台服务器,也可以为由多台服务器组成的服务器集群,本申请实施例中的终端可以是智能手机、个人电脑、平板电脑以及智能机器人等其他智能硬件设备。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。
在本申请一个实施例中,如图1所示,提供了一种影像识别方法,以该方法应用于计算机设备为例进行说明,包括以下步骤:
步骤101,计算机设备将目标医学影像输入至目标神经网络模型中。
其中,目标医学影像包括至少一个影像区域,至少一个影像区域中包括感兴趣区域。
目标医学影像可以是磁共振(MR)图像、计算机断层扫描(CT)图像、正电子发射型计算机断层扫描(PET)图像、数字化摄影(DR)图像、超声(US)图像以及以上两种模态的融合图像等,本申请实施对目标医学影像不做具体限定。
另外,这里的目标医学影像可以是一维图像、二维图像、三维图像等,目标医学影像中的感兴趣区域可以是待检测对象任意部位的病灶,感兴趣区域的数量可以是一个或多个。
可选的,计算机设备可以接收医疗设备发送的目标医学影像,并将接收到的目标医学影像输入至目标神经网络模型中。
可选的,计算机设备也可以接收医疗设备发送的图像数据,根据接收到的医疗设备发送的图像数据进行重建,生成目标医学影像,并将目标医学影像输入至目标神经网络模型中。
其中,目标神经网络模型可以是径向基函数(RBF)网络、前馈神经网络(FFNN)、卷积神经网络(Convolutional neural networks,CNN)、反卷积神经网络(Deconvolutionalnetworks,DN)、深度卷积逆向图网络(Deep convolutional inverse graphics networks,DCIGN),生成式对抗网络(Generative adversarial networks,GAN)、循环神经网络(Recurrent neural networks,RNN)、长短时记忆网络(Long/short term memory,LSTM)、深度残差网络(Deep residual networks,DRN)以及极限学习机(Extreme learningmachines,ELM)中的任一一种。本申请实施例主要是对卷积神经网络中的Mask R-CNN模型的网络结构进行了一些改进,得到了一种新的神经网络模型,记为目标神经网络模型。
需要说明的是,目标医学影像中包括的影像区域可以是一个,也可以是多个。
当目标医学影像中包括一个影像区域的情况下,该影像区域中包括感应区域。计算机设备可以将该影像区域输入至目标神经网络模型中,对该影像区域进行特征提取。
当目标医学影像中包括多个影像区域的情况下,多个影像区域中至少有一个影像区域中包括感兴趣区域。
可选的,多个影像区域获取过程可以是:将目标医学影像输入至预设神经网络模型中,预设神经网络模型对目标医学影像进行特征提取,获取目标医学影像中感兴趣区域,根据感兴趣区域的位置信息,将目标医学影像分割为多个影像区域。
可选的,预设神经网络模型可以是目标神经网络模型,也可以不是目标神经网络模型,本申请对预设神经网络模型不做具体限定。
步骤102,计算机设备通过目标神经网络模型对目标医学影像进行至少两次特征提取处理。
其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值。
其中,预设概率阈值可以为70%,也可以为80%,还可以为90%,本申请实施例对预设概率阈值不做具体限定。当预设概率阈值为80%时,正向区域为感兴趣区域的概率大于80%,也就是说正向区域为感兴趣区域的概率可能是86%,也可能是83%,本申请实施例对正向区域为感兴趣区域的概率不做具体限定。
具体地,计算机设备可以将目标医学影像输入至目标神经网络模型中的特征提取网络,特征提取网络对目标医学影像进行特征提取,并根据提取后的特征将目标医学影像分割成预设数量大小相同的区域,可选的,这些预设数量大小相同的区域也可以成为预设数量大小相同的锚点。其中,特征提取网络可以根据计算机设备硬件条件的不同选择50层核心网络或者101层核心网络,本申请实施例对特征提取网络的层数不做具体限定。
可选的,目标神经网络模型中的特征提取网络可以由特征金字塔网络(FeatureParymid Network,FPN)以及核心网络(backbone)组成。其中,FPN网络和核心网络分别对目标医学影像进行不同层次的特征提取,并根据FPN网络和核心网络对目标医学影像进行特征提取后,分别输出目标医学影像对应的特征信息,并根据输出的特征信息将目标医学影像分割成预设数量大小相同的区域。
示例性的,计算机设备将目标医学影像输入至目标神经网络模型,目标神经网络中的FPN网络和核心网络分别对目标医学影像进行不同层次的特征提取,分别输出目标医学影像对应的特征信息,并根据输出的特征信息将目标医学影像分割成64个大小相同的区域。
在将目标医学图像分割为预设数量大小相同的区域之后,计算机设备可以利用目标神经网络模型中的区域生成网络(Region Proposal Network,RPN)分别计算每个区域对应的分类值和回归值,其中,分类值代表各个区域对应的为某一类型的概率,回归值代表各个区域相对于目标医学影像中心点的位置偏移量。
可选的,计算机设备可以利用目标神经网络模型对各个区域对应的分类值进行排序,然后利用非极大值抑制(Non-Maximum Suppression,NMS)从各个区域中筛选出分类值大于分类值阈值的区域,作为候选区域。
其中,非极大值抑制(Non-Maximum Suppression,NMS),顾名思义就是抑制不是极大值的元素,可以理解为局部最大搜索。这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小。
示例性的,计算机设备利用目标神经网络模型中RPN分别计算各个区域对应的分类值和回归值,并对各个区域对应的分类值进行排序,例如,其中一个区域对应的分类值可能是对应第一类型的概率为60%,另一个区域对应的分类值可能是对应第二类型的概率为70%。可选的,为了最终得到的正向区域的准确性,计算机设备可以先不确定各个区域对应的类型,只对各个区域对应的分类概率进行排序,计算机设备可以利用NMS方法从各个区域中筛选出分类值大于分类值阈值的区域,作为候选区域。其中,目标神经网络对目标医学影像处理的进行处理的过程可以如图2所示。
可选的,计算机设备可以利用目标神经网络模型中的自定义层(DetectionTarget Layer,DTL)对筛选出的候选区域进行至少两次特征提取处理,从而从候选区域中筛选出与真实的框最接近的正向区域。
可选的,计算机设备可以利用目标神经网络模型中的自定义层(DetectionTarget Layer,DTL)对筛选出的候选区域特征提取,计算各个候选区域对应的概率阈值。可选的,计算机设备可以将概率阈值大于第一概率阈值的候选区域确定为第一正向区域。根据各个候选区域对应的概率阈值,从多个候选区域中筛选出概率阈值大于第一概率阈值的第一正向区域。其中,第一次特征提取之后,筛选出的第一正向区域的数量较大,从而可以保证感兴趣在筛选出的第一正向区域之中,避免了感兴趣区域被筛选掉的情况发生。然后,计算机设备可以利用自定义层对候选区域再次进行特征提取,根据筛选出的第一正向区域的数量设定第二概率阈值,从筛选出的第一正向区域中再次筛选概率阈值大于第二概率阈值的第二正向区域,经过至少两次特征提取之后,最终得到正向区域。从而使得最后得到的正向区域的数量变小,可以保证提取到的正向区域更加接近真实的框。
示例性的,假设计算机设备利用NMS从各个区域中筛选出的候选区域的数量为40,计算机设备可以利用自定义层对筛选出的候选区域先进行一次特征提取,计算各个候选区域对应的概率阈值。然后,根据候选区域的数量设定第一概率阈值为0.2,计算机设备可以从多个候选区域中筛选出概率阈值大于0.2的第一正向区域。保证筛选出的第一正向区域中包括感兴区域。假设经过第一次筛选之后得到的第一正向区域的数量为10,由于第一正向区域的数量还是很大,因此,计算机设备还可将40个候选区域再次输入至自定义层,再次对40个候选区域进行特征提取,本次设定的第二概率阈值可以为0.5,从而使得计算机设备可以从40个候选区域中筛选出5个第二正向区域,经过至少两次特征提取之后,最终得到正向区域。从而,保证最终提取到的正向区域更加接近真实的框。
可选的,计算机设备可以利用目标神经网络模型中的自定义层(DetectionTarget Layer,DTL)对筛选出的候选区域特征提取,计算各个候选区域对应的概率阈值。可选的,计算机设备可以将概率阈值大于第一概率阈值的候选区域确定为第一正向区域。根据各个候选区域对应的概率阈值从中筛选出概率阈值大于第一概率阈值的第一正向区域。其中,第一次特征提取之后,筛选出的第一正向区域的数量较大,从而可以保证感兴趣区域在筛选出的第一正向区域之中,避免了感兴趣区域被筛选掉的情况发生。然后,计算机设备可以将筛选出的第一正向区域输入至自定义层,对第一正向区域再次进行特征提取,根据第一次特征提取后筛选出的第一正向区域的数量设定第二概率阈值,从筛选出的第一正向区域中再次筛选概率阈值大于第二概率阈值的第二正向区域,经过至少两次特征提取之后,最终得到正向区域。从而使得最后得到的正向区域的数量变小,可以保证提取到的正向区域更加接近真实的框。
示例性的,假设计算机设备利用NMS从各个区域中筛选出的候选区域的数量为40,计算机设备可以利用自定义层对筛选出的候选区域先进行一次特征提取,计算各个候选区域对应的概率阈值。然后,根据候选区域的数量设定第一概率阈值为0.2,计算机设备可以从候选区域中筛选出概率阈值大于0.2的第一正向区域。保证筛选出的第一正向区域中包括感兴区域。假设经过第一次筛选之后得到的第一正向区域的数量为10,由于第一正向区域的数量还是很大,因此,计算机设备还可再次将10个第一正向区域输入至自定义层,对10个第一正向区域进行特征提取,本次特征提取设定的第二概率阈值可以为0.5,从而使得计算机设备可以从10个第一正向区域中筛选出3个第二正向区域,经过至少两次特征提取之后,最终得到正向区域。保证提取到的正向区域更加接近真实的框。
步骤103,计算机设备根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。
具体地,计算机设备在从各个区域中筛选出候选区域之后,可以对候选区域进行至少两次特征提取,从而从候选区域中筛选出正向区域。
在从候选区域中筛选出正向区域之后,计算机设备可以利用目标神经网络计算各个正向区域的回归值和分类值。计算机设备可以根据目标神经网络输出的正向区域的回归值确定感兴趣区域在目标医学影像中的位置,即从目标医学影像中识别出感兴趣区域。计算机设备可以根据目标神经网络输出的正向区域的分类值确定感兴趣区域的类型。
上述影像识别方法中,将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。上述方法中,将目标医学影像输入至目标神经网络模型中,并通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,而不是像传统方法中,只进行一次特征提取就确定正向区域为感兴趣区域,传统方法中只进行一次特征提取就确定正向区域为感兴趣区域,最终确定的感兴趣区域的准确率较低。而本申请中,通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,且两次特征提取对应的概率阈值不同,其中第一次特征提取对应的第一概率阈值可以相对较小,使得经过筛选得到的正向区域的数量较多,避免了感兴趣区域被筛选掉的情况发生。第二次特征提取对应的第二概率阈值可以相对较大,可以保证提取到的正向区域更加接近真实的框。根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,使得识别出的感兴趣区域更加准确,提高了目标神经网络模型输出的准确性。
在本申请一种可选的实现方式中,上述实施例中的“在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域”,可以通过以下方式实现:
计算机设备在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
具体地,计算机设备在利用目标神经网络模型中的特征提取网络对目标医学影像进行特征提取,并将目标医学影像分割成预设数量大小相同的区域之后,根据各个区域对应的分类值从多个区域中选择出候选区域。计算机设备可以利用目标神经网络模型中的Detection Target Layer分别计算各候选区域对应的特征信息与预设的感兴趣特征信息之间的第一IoU值。其中,预设的感兴趣特征信息也可以是真实的框的(ground truth)的特征信息。其中,IoU表示(交并比,Intersection over Union)是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准,只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IoU来进行测量。
可选的,计算机设备可以根据计算得到的各个候选区域的特征信息与预设的感兴趣特征信息之间的第一IoU值,从多个候选区域中确定正向区域。
本申请实施例中,计算机设备在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,能够保证得到的正向区域与感兴趣区域更加接近,从而保证最终在目标医学影像中识别出的感兴趣区域的准确性。
在本申请一种可选的实现方式中,如图3所示,上述实施例中的“根据各第一IoU值从至少一个影像区域中确定正向区域”,可以包括以下步骤:
步骤301,计算机设备确定本次特征提取处理在至少两次特征提取处理中的排序。
由于每次对特征提取处理输入的特征信息不同,因此,特征处理之后输出的特征信息也不相同,因此,为了使得特征处理后,输出的特征信息对应的区域更加接近感兴趣区域。因此,每次特征处理后对应的第一IoU阈值不同。
示例性的,以进行两次特征提取为例进行说明。其中,第一次特征提取处理后对应的第一IoU阈值与第二次特征提取处理后对应的第一IoU阈值不同。可选的,为了使得最终提取出的感兴趣区域的准确性,计算机设备可以将第一次特征提取之后对应的第一IoU阈值设定的比第二次特征提取之后对应的第一IoU阈值小。
具体地,计算机设备可以根据已经进行过特征提取的次数,确定本次特征提取处理在至少两次特征提取处理中的排序。
示例性的,计算机设备已经进行了一次特征提取,则计算机设备确定本次特征提取在至少两次特征提取处理中排列第二。
步骤302,计算机设备根据排序确定第一IoU阈值。
具体地,计算机设备在确定了本次特征提取处理在至少两次特征提取处理中的排序之后,可以根据预设的正负样本的比例确定第一IoU阈值。其中,正样本表征需要留下的正向区域,负样本表征不需要留下的负向区域。其中,预设的正负样本的比例可以是1:3,也可以是1:5,还可以是1:2,本申请实施例对预设的正负样本的比例不做具体限定。
示例性的,计算机设备确定本次特征提取在至少两次特征提取处理中排列第二,计算机设备根据预设的正负样本的比例,可以确定第一IoU阈值为0.5。
步骤303,计算机设备将各第一IoU值与第一IoU阈值进行对比。
具体地,计算机设备在分别计算完各个候选区域与真实的框之间的第一IoU值之后,可以将各第一IoU值与第一IoU阈值进行对比。
步骤304,计算机设备将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
具体地,计算机设备在各第一IoU值与第一IoU阈值进行对比之后,将大于第一IoU阈值的第一IoU值对应的特征信息筛选出来,并将该特征信息对应的候选区域作为正向区域。将小于或者等于第一IoU阈值的第一IoU值对应的特征信息筛选出来,并将该特征信息对应的候选区域作为负向区域。
在本申请实施例中,计算机设备确定本次特征提取处理在至少两次特征提取处理中的排序,并根据排序确定第一IoU阈值。计算机设备将各第一IoU值与第一IoU阈值进行对比,并将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。从而可以保证筛选出的正向区域更加接近感兴趣区域,保证目标神经网络模型对感兴趣区域的识别更加准确。
在本申请一种可选的实现方式中,上述步骤103中的“根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理”,可以包括以下内容:
计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
具体地,计算机设备通过目标神经网络模型,基于至少两次特征提取处理得到的正向区域之后,可以计算各正向区域的位置信息,并根据各正向区域的位置信息确定各正向区域在目标医学影像中的位置,还可以根据各正向区域对应的分类概率,确定感兴趣区域对应的类别。
在本申请实施例中,计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域,保证了感兴趣区域识别的准确性。
在本申请一个可选的实现方式中,如图4所示,上述实施例中“计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域”,可以包括以下内容:
步骤401,计算机设备通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量。
具体地,计算机设备可以利用目标神经网络模型计算经过至少两次特征提取处理之后得到的正向区域中每个区域的回归值,根据正向区域中每个区域对应的回归值确定正向区域中每个区域相对于目标医学影像中心点的位置偏移量。
步骤402,计算机设备根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
具体地,计算机设备可以根据正向区域中每个区域相对于目标医学影像中心点的位置偏移量,对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行映射,从而在目标医学影像中确定感兴趣区域的位置。
可选的,计算机设备在目标医学影像中确定感兴趣区域的位置之后,可以对感兴趣区域进行矩形框标注处理,从而使得用户可以更加快速地在目标医学影像中看到感兴趣区域。
在本申请实施例中,计算机设备通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量。计算机设备根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。可以实现在目标医学影像中确定感兴趣区域的位置,从而可以使得用户可以更加快速地在目标医学影像中看到感兴趣区域。
在本申请一种可选的实现方式中,如图5所示,上述内容中的“计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域”,可以包括以下步骤:
步骤501,计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值。
其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为类型的错误率。
其中,目标神经网络模型中包括的损失函数可以为RPN网络对应的两个损失函数、分类模型对应的两个损失函数以及mask分支的损失函数中的至少一种。本申请实施例对损失函数不做具体限定。
具体地,计算机设备可以利用目标神经网络模型中的头网(Network Heads)对基于至少两次特征提取处理之后得到的正向区域进行分类操作,从而计算出正向区域对应的类型。
计算机设备还可以利用目标神经网络模型中的损失函数,计算基于至少两次特征提取处理之后得到的正向区域的损失值。
步骤502,计算机设备根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
具体地,计算机设备可以根据计算得到的正向区域的分类值和损失值,可以确定目标医学影像中的感兴趣区域对应的类型。
示例性的,当计算机设备计算出的正向区域对应的分类值为1-98%时,说明感兴趣区域对应的类型为第一类型,且感兴趣区域的类型为第一类型的概率为98%。计算机设备可以根据计算得到的正向区域对应的损失值确定感兴趣区域对应的类型为第一类型的出错率。最终,计算机设备确定了目标医学影像中的感兴趣区域以及感兴趣对应的类型。可选的,计算机设备还可以输出感兴趣区域对应的损失值,以供用户参考。
在本申请实施例中,计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,并根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。从而可以准确地确定感兴趣区域对应的类型,并且保证了目标神经网络模型输出结果的准确性。
为了更好的说明本申请的提供的影像识别方法,本申请提供一种影像识别方法的整体流程方面进行解释说明的实施例,如图6所示,该方法包括:
步骤601,计算机设备将目标医学影像输入至目标神经网络模型中。
步骤602,在每次特征提取处理之后,计算机设备分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值。
步骤603,计算机设备确定本次特征提取处理在至少两次特征提取处理中的排序。
步骤604,计算机设备根据排序确定第一IoU阈值。
步骤605,计算机设备将各第一IoU值与第一IoU阈值进行对比。
步骤606,计算机设备将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
步骤607,计算机设备将确定的正向区域作为下一次特征提取处理的输入,再次进行特征提取,并从中确定正向区域。
步骤608,计算机设备通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量。
步骤609,计算机设备根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
步骤610,计算机设备通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值。
步骤611,计算机设备根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
应该理解的是,虽然图1以及图3-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1以及图3-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本申请一个实施例中,如图7所示,提供了一种影像识别装置700,包括:输入模块701、特征提取模块702和识别模块703,其中:
输入模型701,用于将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域。
特征提取模型702,用于通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值。
识别模型703,用于根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理,获取感兴趣区域。
在本申请一个可选的实施例中,上述特征提取模块702,具体用于:在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
在本申请一个可选的实施例中,上述特征提取模块702,具体用于:将各第一IoU值与第一IoU阈值进行对比;将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
在本申请一个可选的实施例中,上述特征提取模块702,具体用于:确定本次特征提取处理在至少两次特征提取处理中的排序;根据排序确定第一IoU阈值。
在本申请一个可选的实施例中,上述识别模型703,具体用于:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
在本申请一个可选的实施例中,上述识别模型703,具体用于:通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
在本申请一个可选的实施例中,如图8所示,上述识别模型703,包括:输出单元7031和确定单元7032,其中:
输出单元7031,用于通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为类型的错误率。
确定单元7032,用于根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
关于影像识别装置的具体限定可以参见上文中对于影像识别方法的限定,在此不再赘述。上述影像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在本申请一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,当该计算机设备为服务器时,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储影像识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种影像识别方法。
在本申请一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,当该计算机设备为终端时,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种影像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9和图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本申请一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:将各第一IoU值与第一IoU阈值进行对比;将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:确定本次特征提取处理在至少两次特征提取处理中的排序;根据排序确定第一IoU阈值。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
在本申请一个实施例中,处理器执行计算机程序时还实现以下步骤:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为类型的错误率;根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
在本申请一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:将目标医学影像输入至目标神经网络模型中,目标医学影像包括至少一个影像区域;至少一个影像区域中包括感兴趣区域;通过目标神经网络模型对目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息从至少一个影像区域中确定正向区域,并将确定的正向区域作为下一次特征提取处理的输入,正向区域为感兴趣区域的概率大于预设概率阈值;根据至少两次特征提取处理之后得到的正向区域对目标医学影像进行识别处理。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各第一IoU值从至少一个影像区域中确定正向区域,其中,感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:将各第一IoU值与第一IoU阈值进行对比;将大于第一IoU阈值的第一IoU值所对应的输入作为正向区域。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定本次特征提取处理在至少两次特征提取处理中的排序;根据排序确定第一IoU阈值。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域确定目标医学影像中的感兴趣区域。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过目标神经网络模型,对至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;根据至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对至少两次特征提取处理之后得到的各正向区域在目标医学影像中的位置进行调整,以确定目标医学影像中的感兴趣区域。
在本申请一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过目标神经网络模型,基于至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,分类值用于表征目标医学影像中的感兴趣区域对应的类型,损失值用于表征目标医学影像中的感兴趣区域为类型的错误率;根据分类值和损失值,确定目标医学影像中的感兴趣区域对应的类型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种影像识别方法,其特征在于,所述方法包括:
将目标医学影像输入至目标神经网络模型中,所述目标医学影像包括至少一个影像区域;所述至少一个影像区域中包括感兴趣区域;
通过所述目标神经网络模型对所述目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息与预设的感兴趣特征信息从所述至少一个影像区域中确定正向区域,并将确定的所述正向区域作为下一次特征提取处理的输入,所述正向区域为感兴趣区域的概率大于预设概率阈值,其中,所述感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的;
根据所述至少两次特征提取处理之后得到的正向区域对所述目标医学影像进行识别处理。
2.根据权利要求1所述的方法,其特征在于,所述在每次特征提取处理之后,根据提取到的特征信息与预设的感兴趣特征信息从所述至少一个影像区域中确定正向区域,包括:
在每次特征提取处理之后,分别计算本次特征提取处理的各个输入的特征信息与预设的感兴趣特征信息之间的第一IoU值,并根据各所述第一IoU值从所述至少一个影像区域中确定所述正向区域。
3.根据权利要求2所述的方法,其特征在于,所述根据各所述第一IoU值从所述至少一个影像区域中确定所述正向区域,包括:
将各所述第一IoU值与第一IoU阈值进行对比;
将大于所述第一IoU阈值的第一IoU值所对应的输入作为所述正向区域。
4.根据权利要求3所述的方法,其特征在于,所述将各所述第一IoU值与第一IoU阈值进行对比之前,所述方法还包括:
确定本次特征提取处理在所述至少两次特征提取处理中的排序;
根据所述排序确定所述第一IoU阈值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述至少两次特征提取处理之后得到的正向区域对所述目标医学影像进行识别处理,包括:
通过所述目标神经网络模型,基于所述至少两次特征提取处理之后得到的正向区域确定所述目标医学影像中的感兴趣区域。
6.根据权利要求5所述的方法,其特征在于,所述通过所述目标神经网络模型,基于所述至少两次特征提取处理之后得到的正向区域确定所述目标医学影像中的感兴趣区域,包括:
通过所述目标神经网络模型,对所述至少两次特征提取处理之后得到的正向区域进行位置识别处理,得到所述至少两次特征提取处理之后得到的各正向区域对应的位置偏移量;
根据所述至少两次特征提取处理之后得到的各正向区域对应的位置偏移量对所述至少两次特征提取处理之后得到的各正向区域在所述目标医学影像中的位置进行调整,以确定所述目标医学影像中的感兴趣区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述至少两次特征提取处理之后得到的正向区域对所述目标医学影像进行识别处理,包括:
通过所述目标神经网络模型,基于所述至少两次特征提取处理之后得到的正向区域,输出分类值和损失值,其中,所述分类值用于表征所述目标医学影像中的感兴趣区域对应的类型,所述损失值用于表征所述目标医学影像中的感兴趣区域为所述类型的错误率;
根据所述分类值和所述损失值,确定所述目标医学影像中的感兴趣区域对应的类型。
8.一种影像识别装置,其特征在于,所述装置包括:
输入模型,用于将目标医学影像输入至目标神经网络模型中,所述目标医学影像包括至少一个影像区域;所述至少一个影像区域中包括感兴趣区域;
特征提取模型,用于通过所述目标神经网络模型对所述目标医学影像进行至少两次特征提取处理,其中,在每次特征提取处理之后,根据提取到的特征信息与预设的感兴趣特征信息从所述至少一个影像区域中确定正向区域,并将确定的所述正向区域作为下一次特征提取处理的输入,所述正向区域为感兴趣区域的概率大于预设概率阈值,其中,所述感兴趣特征信息是对感兴趣区域进行特征提取处理后得到的;
识别模型,用于根据所述至少两次特征提取处理之后得到的正向区域对所述目标医学影像进行识别处理,获取所述感兴趣区域。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110475211.0A 2021-04-29 2021-04-29 影像识别方法、装置、计算机设备和存储介质 Active CN113160199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110475211.0A CN113160199B (zh) 2021-04-29 2021-04-29 影像识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110475211.0A CN113160199B (zh) 2021-04-29 2021-04-29 影像识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113160199A CN113160199A (zh) 2021-07-23
CN113160199B true CN113160199B (zh) 2022-06-17

Family

ID=76872568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110475211.0A Active CN113160199B (zh) 2021-04-29 2021-04-29 影像识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113160199B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820591B (zh) * 2022-06-06 2023-02-21 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质
CN114974524A (zh) * 2022-06-07 2022-08-30 河南科技大学第一附属医院 医学影像数据的注释方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126979B2 (ja) * 2013-12-11 2017-05-10 日本電信電話株式会社 特徴選択装置、方法、及びプログラム
SG10201506012SA (en) * 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing
CN106777953A (zh) * 2016-12-09 2017-05-31 江西中科九峰智慧医疗科技有限公司 医学影像数据的分析方法及系统
KR101977174B1 (ko) * 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
US10452980B1 (en) * 2019-01-25 2019-10-22 StradVision, Inc. Learning method and learning device for extracting feature from input image by using convolutional layers in multiple blocks in CNN, resulting in hardware optimization which allows key performance index to be satisfied, and testing method and testing device using the same
CN110148192B (zh) * 2019-04-18 2023-05-30 上海联影智能医疗科技有限公司 医学影像成像方法、装置、计算机设备和存储介质
CN110796656A (zh) * 2019-11-01 2020-02-14 上海联影智能医疗科技有限公司 图像检测方法、装置、计算机设备和存储介质
CN111080573B (zh) * 2019-11-19 2024-02-27 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
CN111178369B (zh) * 2019-12-11 2023-12-19 中国科学院苏州生物医学工程技术研究所 一种医学影像的识别方法及系统、电子设备、存储介质
CN110991560B (zh) * 2019-12-19 2023-07-07 深圳大学 一种结合上下文信息的目标检测方法及系统
CN111179231B (zh) * 2019-12-20 2024-05-28 上海联影智能医疗科技有限公司 图像处理方法、装置、设备和存储介质
CN111862259B (zh) * 2020-07-27 2023-08-15 上海联影医疗科技股份有限公司 医学灌注图像处理方法和医学成像设备

Also Published As

Publication number Publication date
CN113160199A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP7086336B2 (ja) 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム
US11593943B2 (en) RECIST assessment of tumour progression
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN111292314B (zh) 冠脉分段方法、装置、图像处理系统和存储介质
CN110310256B (zh) 冠脉狭窄检测方法、装置、计算机设备和存储介质
CN110796656A (zh) 图像检测方法、装置、计算机设备和存储介质
CN110599451A (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN112102237A (zh) 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN110717905B (zh) 脑部图像检测方法、计算机设备和存储介质
CN111445449A (zh) 感兴趣区域的分类方法、装置、计算机设备和存储介质
CN110838104B (zh) 多时间点的感兴趣区域匹配方法、设备和存储介质
CN110210519B (zh) 分类方法、计算机设备和存储介质
US11972571B2 (en) Method for image segmentation, method for training image segmentation model
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
KR102119057B1 (ko) 골절 진단모델의 학습 방법 및 장치
CN110335248B (zh) 医学图像病灶检测方法、装置、计算机设备和存储介质
CN111028212B (zh) 关键点检测方法、装置、计算机设备和存储介质
CN111951276A (zh) 图像分割方法、装置、计算机设备和存储介质
CN112132265A (zh) 模型训练方法、杯盘比确定方法、装置、设备及存储介质
CN112102235B (zh) 人体部位识别方法、计算机设备和存储介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN111128348B (zh) 医学图像处理方法、装置、存储介质及计算机设备
EP3712845A1 (en) Image identifying method and image identifying device
CN113192031B (zh) 血管分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant