CN110163834A - 对象识别方法和装置及存储介质 - Google Patents

对象识别方法和装置及存储介质 Download PDF

Info

Publication number
CN110163834A
CN110163834A CN201810456463.7A CN201810456463A CN110163834A CN 110163834 A CN110163834 A CN 110163834A CN 201810456463 A CN201810456463 A CN 201810456463A CN 110163834 A CN110163834 A CN 110163834A
Authority
CN
China
Prior art keywords
target
image
target site
detected
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810456463.7A
Other languages
English (en)
Other versions
CN110163834B (zh
Inventor
王睿
孙星
郭晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810456463.7A priority Critical patent/CN110163834B/zh
Priority to PCT/CN2019/079692 priority patent/WO2019218774A1/zh
Priority to EP19804431.5A priority patent/EP3796219A4/en
Publication of CN110163834A publication Critical patent/CN110163834A/zh
Priority to US16/985,966 priority patent/US11488302B2/en
Application granted granted Critical
Publication of CN110163834B publication Critical patent/CN110163834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种对象识别方法和装置及存储介质。其中,该方法包括:对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率;根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。本发明解决了由于现有的对象识别方式依赖于图像块切分的合理性导致的容易产生误识别的技术问题。

Description

对象识别方法和装置及存储介质
技术领域
本发明涉及计算机领域,具体而言,涉及一种对象识别方法和装置及存储介质。
背景技术
目前,对于识别肺癌患者的肺结节是否具有浸润性(是否发生癌转移),通常采用基于传统机器学习算法:将图像切割成图像块,识别切割后的图像块中是否存在肺结节意见肺结节的良恶性,并对恶性肺结节的浸润性进行识别。
然而,上述对象识别方式依赖于图像块切分的合理性,由于肺结节出现位置的不确定性,采用上述对象识别方式容易产生误识别。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象识别方法和装置及存储介质,以至少解决由于现有的对象识别方式依赖于图像块切分的合理性导致的容易产生误识别的技术问题。
根据本发明实施例的一个方面,提供了一种对象识别方法,包括:对目标图像进行预处理,得到预处理图像,其中,所述预处理图像包含待检测对象的目标部位的三维图像信息;使用目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位的目标对象出现异常的目标概率,其中,所述目标数据模型为使用多组数据对卷积神经网络进行训练得到的,所述多组数据中的每组数据均包括:样本对象的所述目标部位的三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的指示信息,其中,所述样本对象的所述目标部位的三维图像信息至少用于表示所述样本对象的所述目标部位中的所述目标对象;根据所述目标概率确定所述待检测对象的所述目标部位的识别结果,其中,所述识别结果用于指示所述待检测对象的所述目标部位出现异常的概率。
根据本发明实施例的另一方面,还提供了一种对象识别装置,包括:预处理单元,用于对目标图像进行预处理,得到预处理图像,其中,所述预处理图像包含待检测对象的目标部位的三维图像信息;处理单元,用于使用目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位中的目标对象出现异常的目标概率,其中,所述目标数据模型为使用多组数据通过卷积神经网络训练出的,所述多组数据中的每组数据均包括:样本对象的所述目标部位的三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的指示信息,其中,所述样本对象的所述目标部位的三维图像信息至少用于表示所述样本对象的所述目标部位中的所述目标对象;确定单元,用于根据所述目标概率确定所述待检测对象的所述目标部位的识别结果,其中,所述识别结果用于指示所述待检测对象的所述目标部位出现异常的概率。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述方法。
在本发明实施例中,采用目标数据模型对待检测对象的目标部位的三维图像信息进行处理的方式,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据通过卷积神经网络训练出的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。通过目标数据模型对待检测对象的目标部位的三维图像信息进行处理,达到了准确检测待检测对象的目标部位中的目标对象以及准确确定目标对象出现异常的概率的目的,从而实现了提高对象识别准确率的技术效果,进而解决了由于现有的对象识别方式依赖于图像块切分的合理性导致的容易产生误识别的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种对象识别方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的对象识别方法的流程示意图;
图3是根据本发明实施例的一种可选的图像预处理流程的示意图;
图4是根据本发明实施例的一种可选的残差块处理的示意图;
图5是根据本发明实施例的一种可选的U-Net的示意图;
图6是根据本发明实施例的又一种可选的对象识别方法的示意图;
图7是根据本发明实施例的一种可选的对象识别装置的结构示意图;
图8是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种对象识别方法。可选地,上述对象识别方法可以但不限于应用于如图1所示的应用环境中。如图1所示,用户终端102将目标图像(例如,病人的CT图像)通过网络104发送给服务器106。服务器106对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位(图1中为肺部)的三维图像信息(图1中为肺部的CT图像数据);使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据通过卷积神经网络训练出的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。在确定识别结果之后,服务器106可以将识别结果发送给用户终端102。用户终端102可以将接收到的识别结果进行显示。
可选地,在本实施例中,上述用户终端可以包括但不限于以下至少之一:手机、平板电脑、PC机等。上述网络可以包括但不限于有线网络或无线网络,其中,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络,该有线网络包括:局域网、城域网及广域网。上述服务器可以包括但不限于以下至少之一:PC机及其他用于提供计算的设备。上述只是一种示例,本实施例对此不做任何限定。
可选地,在本实施例中,作为一种可选的实施方式,如图2所示,上述对象识别方法可以包括:
S202,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;
S204,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据通过卷积神经网络训练出的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;
S206,根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。
可选地,上述对象识别方法可以但不限于识别待检测对象的目标部位的识别过程。例如应用于医疗领域中。其中,上述医疗领域的应用可以是目标器官的三维图像中目标器官病变情况的识别。
例如,上述对象识别方法可以应用于医疗领域中对于已经确诊的肺癌患者的肺癌对周围组织是否具有浸润性的识别(浸润或非浸润对应肺癌转移或未转移,肺癌的浸润性可以对应于前述目标部位出现异常)。首先,由影像采集设备采集到患者的CT医学影像,然后,医院的临床人员可以通过医院的目标系统对CT医学影像进行下载并上传至服务器,通过上述识别方法判定确诊患者属于浸润性肺癌或非浸润性肺癌,将识别结果回传给医院,基于浸润性与非浸润性识别结果,医务人员可以评估病人的肺癌是否发生转移,进而作为治疗方案设计时的参考因素。
可选地,在本实施例中,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息。
可选地,在对目标图像进行预处理,得到预处理图像之前,可以接收目标设备发送的该目标图像。目标设备可以使用已注册的账户登录到目标服务器,并将目标图像上传到目标服务器。目标设备还可以接收使用已注册的账户登录的设备发送的目标图像,将接收到的目标图像转发给服务器。
可选地,目标图像可以包含待检测对象的三维图像信息,待检测对象的三维图像信息包含了目标部位的三维图像信息以及目标部位周围的骨骼区域。目标图像可以是待检测对象的CT(Computed Tomography,电子计算机断层扫描)图像,或者是通过其他可以获取待检测对象的目标部位的三维图像信息的手段获取的图像。
可选地,在本实施例中,对目标图像进行预处理,得到预处理图像可以包括:对目标图像进行轮廓检测,从目标图像中提取出待检测对象的目标部位,得到提取图像;将提取图像中的每个图像体素插值为指定三维尺度,得到插值图像;将插值图像中的每个图像体素的强度归一化到目标值,得到预处理图像。
可选地,目标图像中除了包含待检测对象的目标部位的三维图像信息外,还可能包含待检测对象的目标部位周围区域的三维图像信息,可以通过对目标图像进行轮廓检测,基于目标部位的形态学特征,从目标图像提取出待检测对象的目标部分,从而得到提取图像。
可选地,在提取待检测对象的目标部位之前,可以先采用抑制技术抑制抑制目标部位周围区域对目标对象的影响。
可选地,在得到提取图像之后,对于提取图像中的每个图像体素(即,图像的体积元素),可以通过插值方法将其插值为指定三维尺度(例如,可以是1mm*1mm*1mm),得到差值图像,从而使得所有数据归一化到相同尺度空间。
可选地,在得到插值图像之后,对插值图像中的每一个图像体素的图像体素强度进行归一化处理,归一化到目标值,从而得到预处理图像。该目标值可以在预定范围以内(例如,0到255之间)。
下面结合以下示例对预处理过程进行说明。服务器接收到医院上传的确诊肺癌患者A的CT医学影像,对接收的CT医学影像进行预处理,预处理过程如下:
S1,采用CT窗宽抑制技术抑制肺部周围骨骼区域对结节检测的影响;
S2,采用图像形态学技术提取出连通的3D肺部双叶区域,从而降低非肺叶区域假阳性信号的影响;
S3,通过3D插值方法将每一个体素插值为1mm*1mm*1mm,使得所有数据归一化到相同尺度空间;
S4,将图像体素强度归一化到0到255之间。
通过上述一系列图像形态操作可以提取出完整的肺部区域,消除周围胸骨或肺部周围组织的干扰。在对上述肺部CT图像数据进行预处理之后,即可得到预处理图像。
可选地,在本实施例中,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率可以包括:使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象;确定目标特征,其中,目标特征与待检测对象的目标部位中以目标对象为中心的目标空间范围;使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,目标部位的目标对象可以是目标部位上出现异常可以通过三维图像数据被检测到的任意对象。该目标对象在目标部位上的位置可以是任意的。例如,目标对象位于目标部位的外表面,也可以位于目标部位的内部,或者内表面。又例如,目标对象位于目标部位的上端、下端、左端、右端等。目标对象的数量可以是一个或多个。不同目标对象的大小、形态、位置以及异常状态等可以是相同的,也可以是不同的。可以通过对三维图像信息进行分析,得到不同目标对象出现异常的概率。
可选地,目标对象或者目标部位出现异常可以是目标对象是良性的或者恶性的,或者,恶性的目标对象是否具有浸润性(是否向周围的组织转移)。
例如,待检测对象为病人A,目标图像为病人A的胸部CT图像,待检测对象的目标部位为病人A是肺部,而待检测对象的目标部位的目标对象为肺结节。目标对象出现异常为肺结节为恶性肺结节,或者,恶性肺结节具有浸润性。
可选地,目标数据模型可以是任意能够使用三维图像信息进行目标对象识别的数据,通过使用多组数据(样本数据)对卷积神经网络进行训练,得到模型中的各个参数,从而得到该目标数据模型。该卷积神经网络可以是3D卷积神经网络。
卷积神经网络是一种深度模型,与普通神经网络类似,由具有可学习的权重和偏置常量的神经元组成,通过局部连接和全局共享两种方式显著降低网络的复杂度。3D卷积神经网络在结构体系上类似于2D卷积神经网络,区别在于使用的是3D卷积核,因此可以捕捉3D空间维度中具有区分性的特征。由于医学图像数据通常是使用3D采集方式得到的,因此,3D卷积神经网络对于处理医学图像数据是非常有效的。
一种3D卷积神经网络的示例可以是U-NET。U-NET是一种基于编码器-解码器结构的卷积神经网络,常用于图像分割任务。编码器结构通过池化层降低空间维度并提取图像语义特征,解码器结构通过反卷积层修复物体的细节并恢复空间维度。编码器和解码器之间存在快捷连接,以帮助解码器更好地复原目标的细节信息。U-NET通常会根据图像处理任务不同而针对性的进行结构性修改,可以应用于图像识别、目标检测或语义分割的任务中。
可选地,在本实施例中,在对目标图像进行预处理,得到预处理图像之前,可以通过上述多组数据对卷积神经网络进行训练,得到目标数据模型:获取多组数据中的每组数据中的样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息;使用多组数据中的每组数据中的样本对象的目标部位的三维图像信息,以及用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,对卷积神经网络进行训练,得到目标数据模型。
例如,对于肺癌浸润性的识别,可以基于多组胸部CT影像数据中肺结节的浸润性与非浸润性类别标注信息自动学习对于分类任务有用的特征信息,得到肺结节检测网络(3D卷积神经网络);通过肺结节检测网络找到可能对后期进行肺结节良恶性识别和肺癌浸润性识别有用的候选结节区域。
可选地,卷积神经网络中可以包括多个参数,可以将各个参数首先设定为预定值。将多组数据中的每组数据输入到卷积神经网络中,对卷积神经网络进行训练,从而调节各个参数的参数值。通过多组数据的训练对各个参数的参数值进行优化,从而得到目标数据模型。
可选地,在得到待检测对象的目标部位中的目标对象出现异常的目标概率之前,可以首先使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象。
可选地,在本实施例中,使用目标数据模型中的第一残差块和池化层对三维图像信息进行处理,提取出三维图像信息中包含的高层语义特征;使用目标数据模型中的第二残差块和反卷积层对高层语义特征执行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征;根据分辨率特征,解析出待检测对象的目标部位中的目标对象。
可选地,目标数据模型可以是基于3D卷积神经网络的数据模型,可以充分结合数据不同维度的特征信息,更准确地实现目标对象(例如,肺结节)的检测,并学习目标对象(肺结节)候选区域与周围组织形态之间的关系,有助于评估目标对象(肺结节)与目标部位(肺)是否出现异常(例如,癌细胞是否具有浸润性)。
可选地,为解决在对深卷积神经网络进行训练时通常会出现的退化问题(即,深层网络比浅层网络训练效果差),可以在卷积神经网络中添加残差块(Residual Block)结构,通过加入一个恒等的快捷连接,使得网络的恒等映射变为零映射,使得网络更容易优化。
可选地,可以通过目标数据模型中的一个或多个池化层对输入数据(例如,归一化后得到的预处理图像,包含目标部位的三维图像信息)进行特征降维,提取出高层语义特征。还可以通过目标数据模型中的一个或多个残差块和一个或多个池化层对输入数据进行特征降维,提取出高层语义特征。通过在网络模型中加入残差块结构,可以提高网络模型的特征表征能力,防止梯度消失和模型退化,从而提高复杂的对象识别任务的识别准确率。
可选地,残差块处理数据的过程可以如图4所示,残差块的输入可以是预处理图像,或者池化层作用后的数据。
可选地,在提取出上述高层语义特征之后,可以使用目标数据模型的一个或多个反卷积层对提取出的高层语义特征进行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征。还可以使用目标数据模型的一个或多个残差块和一个或多个反卷积层对提取出的高层语义特征进行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征。
可选地,可以根据分辨率特征,解析出待检测对象的目标部位中的目标对象。可以采用类似于SSD算法的anchor生成机制和目标框回归机制生成待检测对象的目标部位中的目标对象。
例如,如图5所示,以U-Net为例,在U-Net编码阶段通过4个Residual Block和4个池化层(Pooling)作用进行特征降维提取出高层语义特征;然后在U-Net解码阶段采用2个Residual Block和2个反卷积层(Deconv)作用得到用于解析特定分辨率结节可用到的特征;再检测(detection)并识别(classification)出目标对象。
可选地,在得到目标对象之后,可以确定用于表示待检测对象的目标部位中以待检测对象的目标部位的目标对象为中心的目标空间范围的目标特征,并使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,上述目标特征可以是目标对象映射至目标数据模型的最后一个卷积特征层上取出目标对象中心周围特定范围(例如,2*2*2*128)的特征图,对特征图进行最大池化处理,并根据最后一个卷积特征层上各特征的权重,计算出目标特征所对应的概率值,从而得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,在本实施例中,根据目标概率确定待检测对象的目标部位的识别结果可以包括:获取目标个数的目标对象,以及获取的各目标对象出现异常的目标概率;使用获取的各目标对象出现异常的目标概率,通过贝叶斯法则确定待检测对象的目标部位的识别结果。
可选地,在得到待检测对象的目标部位的目标对象出现异常的目标概率之后,可以根据所有的目标对象出现异常的目标概率,确定待检测对象的目标部位出现异常的概率(识别结果)。也可以从所有的目标对象中选取预定个数的目标对象,根据选取的目标对象出现异常的目标概率,确定待检测对象的目标部位出现异常的概率。
可选地,选取目标对象的依据可以是目标对象的可信度。目标部位中的各目标对象可以是基于数值(评分值)的,即,目标部位中的该部分是目标对象的评分值,评分值越高,目标对象的可信度越高。目标对象的可信度可以是基于目标数据模型的最后一个卷积特征层中各特征的权值进行计算得到的。
可选地,在选取出目标对象之后,可以先计算选取的各目标对象出现异常的概率,再结合选取的各目标对象的出现异常的概率,以贝叶斯法则方式计算目标部位出现异常的概率。
可选地,在本实施例中,在根据计算出的目标概率,确定目标对象的识别结果之后,可以将待检测对象的目标部位的识别结果,发送给发送目标图像的目标设备。
可选地,向目标设备发送的可以仅为识别结果,也可以以下数据:目标图像,预处理图像,目标对象在上述图像(目标图像或预处理图像)中的位置,各目标对象出现异常的概率,以及识别结果。上述目标对象在图像中的位置,各目标对象出现异常的概率以及识别结果可以独立于上述图像显示,也可以标记在上述图像之中。
可选地,在接收到识别结果之后,目标设备可以对识别结果进行显示。
需要说明的是,在相关的技术中,对象识别方式依赖于图像块切分的合理性,由于肺结节出现位置的不确定性,采用上述对象识别方式容易产生误识别。而在本申请中,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据通过卷积神经网络训练出的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。通过目标数据模型对待检测对象的目标部位的三维图像信息进行处理,达到了准确检测待检测对象的目标部位中的目标对象以及准确确定目标对象出现异常的概率的目的,从而实现了提高对象识别准确率的技术效果,进而解决了由于现有的对象识别方式依赖于图像块切分的合理性导致的容易产生误识别的技术问题。
作为一种可选的实施方案,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率包括:
S1,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象;
S2,确定目标特征,其中,目标特征用于表示待检测对象的目标部位中以待检测对象的目标部位的目标对象为中心的目标空间范围;
S3,使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象包括:
S11,使用目标数据模型中的第一残差块和池化层对三维图像信息进行处理,提取出三维图像信息中包含的高层语义特征;
S12,使用目标数据模型中的第二残差块和反卷积层对高层语义特征执行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征;
S13,根据分辨率特征,解析出待检测对象的目标部位中的目标对象。
例如,目标部分为肺部,目标对象为肺结节,卷积神经网络为U-Net。在U-net编码阶段,通过4个Residual Block和4个池化层作用进行特征降维提取出高层语义特征,然后在U-Net解码阶段采用2个Residual Block和2个反卷积层作用得到解析特定分辨率结节可用到的特征。然后采用类似于SSD算法的anchor生成机制和目标框回归机制生成所有可能的肺结节候选区域(即,目标对象的区域);将肺结节候选区域分别映射至最后一个卷积特征层上取出侯选区域中心周围2*2*2*128的特征图进行max pooling(最大池化),并计算每个候选结节浸润性与非浸润性的概率。
通过本实施例,采用卷积神经网络与残差块相结合的方式,残差块的加入可以提高网络模型的特征表征能力,防止梯度消失和模型退化,进一步地,通过结合不同分辨率的特征层信息,使得网络模型能够更高召回目标对象,有助于目标对象出现异常的准确率。
作为一种可选的实施方案,对目标图像进行预处理,得到预处理图像包括:
S1,对目标图像进行轮廓检测,从目标图像中提取出待检测对象的目标部位,得到提取图像;
S2,对提取图像执行差值处理,将提取图像中的每个图像体素插值为指定空间尺度,得到插值图像;
S3,将插值图像中的每个图像体素的图像体素强度归一化到目标值,得到预处理图像。
例如,目标图像为胸部CT图像,目标部位为肺部,采用CT窗宽抑制技术抑制肺部周围骨骼区域对结节检测的影响;采用图像形态学技术提取出连通的3D肺部双叶区域降低非肺叶区域假阳性信号的影响;通过3D插值方法将每一个体素插值为1mm*1mm*1mm使得所有数据归一化到相同尺度空间;将图像体素强度归一化到0到255之间。
通过本实施例,对目标图像进行预处理,可以较低目标图像中无用信息对识别结果的影响,为对象识别提供更准确的数据,提高对象识别的准确性。
作为一种可选的实施方案,在对目标图像进行预处理,得到预处理图像之前,上述方法还包括:
S1,获取多组数据中的每组数据中的样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息;
S2,使用多组数据中的每组数据中的样本对象的目标部位的三维图像信息,以及用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,对卷积神经网络进行训练,得到目标数据模型。
通过本实施例,通过获取多组数据对卷积神经网络进行训练,得到目标数据模型,为对象识别提供模型支持。
作为一种可选的实施方案,根据目标概率确定待检测对象的目标部位的识别结果包括:
S1,获取目标个数的目标对象,以及获取的各目标对象出现异常的目标概率;
S2,使用获取的各目标对象出现异常的目标概率,通过贝叶斯法则确定待检测对象的目标部位的识别结果。
例如,从所有的肺结节(目标对象)候选区域中选出5个可信度最高的肺结节侯选区域,计算每个候选肺结节浸润性(出现异常)与非浸润性的概率,患者整体肺癌浸润性(出现异常)与非浸润性的概率可以结合5个候选结节的浸润性概率以贝叶斯法则方式计算得出。
通过本实施例,通过获取目标个数的目标对象,可以减少确定识别结果的计算量,提高对象识别的效率。
作为一种可选的实施方案,在根据计算出的目标概率,确定目标对象的识别结果之后,上述方法还包括:
S1,将待检测对象的目标部位的识别结果,发送给发送目标图像的目标设备。
例如,接收医务人员通过医院的目标系统上传的患者的CT医学影像,确定患者属于浸润性肺癌或非浸润性肺癌,将识别结果回传给医院,基于浸润性与非浸润性识别结果,医务人员可以评估病人的肺癌是否发生转移,进而作为治疗方案设计时的参考因素。
通过本实施例,通过将识别结果回传给发送目标图像的目标设备,可以为目标部位是否出现异常提供参考。
以下结合图6,对上述对象识别方法进行说明。该对象识别方法所使用的3D卷积网络结合了U-Net和Residual Block结构,其中,U-Net结构是有多个Residual Block级联构成:编码器中包含4个Residual Block和4个池化层,解码器中包含2个Residual Block和2个反卷积层。U-Net在编码阶段通过一系列的池化操作对高维输入消除冗余信息、降低维度从而提取出有效的语义特征;在解码阶段通过一系列的反卷积操作从语义特征中恢复出适合肺结节检测的分辨率特征。通过anchor生成机制计算出可能的肺结节候选区域,然后映射至U-Net最后一个特征图上提取出5个置信度最高的肺结节对应的识别特征,并通过贝叶斯法则计算出患者整体浸润风险值。
如图6所示,处理器通过步骤S602,对输入的CT图像进行预处理。通过步骤S604,采用U-Net网络,对预处理后的图像进行肺结节检测,通过步骤S606,对肺结节的癌浸润性与非浸润性进行识别,进而对肺癌的浸润性与非浸润性进行识别,并通过步骤S608,将识别结果进行回传,以便医生接收。
通过本示例,选取U-Net结构可以结合训练任务灵活定制CNN网络结构,且更容易结合不同分辨率的卷积层特征提高不同尺度肺结节检出率和准确性,进而提高肺癌浸润性与非浸润性识别准确率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
根据本发明实施例的另一个方面,还提供了一种用于实施上述对象识别方法的对象识别装置,如图7所示,该装置包括:
预处理单元702,用于对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;
处理单元704,用于使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据对卷积神经网络进行训练得到的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;
确定单元706,用于根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。
可选地,上述对象识别方法可以但不限于识别待检测对象的目标部位的识别过程。例如应用于医疗领域中。其中,上述医疗领域的应用可以是目标器官的三维图像中目标器官病变情况的识别。
可选地,在本实施例中,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息。
可选地,在对目标图像进行预处理,得到预处理图像之前,可以接收目标设备发送的该目标图像。目标设备可以使用已注册的账户登录到目标服务器,并将目标图像上传到目标服务器。目标设备还可以接收使用已注册的账户登录的设备发送的目标图像,将接收到的目标图像转发给服务器。
可选地,目标图像可以包含待检测对象的三维图像信息,待检测对象的三维图像信息包含了目标部位的三维图像信息以及目标部位周围的骨骼区域。目标图像可以是待检测对象的CT图像,或者是通过其他可以获取待检测对象的目标部位的三维图像信息的手段获取的图像。
可选地,在本实施例中,对目标图像进行预处理,得到预处理图像可以包括:对目标图像进行轮廓检测,从目标图像中提取出待检测对象的目标部位,得到提取图像;将提取图像中的每个图像体素插值为指定三维尺度,得到插值图像;将插值图像中的每个图像体素的强度归一化到目标值,得到预处理图像。
可选地,目标图像中除了包含待检测对象的目标部位的三维图像信息外,还可能包含待检测对象的目标部位周围区域的三维图像信息,可以通过对目标图像进行轮廓检测,基于目标部位的形态学特征,从目标图像提取出待检测对象的目标部分,从而得到提取图像。
可选地,在提取待检测对象的目标部位之前,可以先采用抑制技术抑制抑制目标部位周围区域对目标对象的影响。
可选地,在得到提取图像之后,对于提取图像中的每个图像体素(即,图像的体积元素),可以通过插值方法将其插值为指定三维尺度(例如,可以是1mm*1mm*1mm),得到差值图像,从而使得所有数据归一化到相同尺度空间。
可选地,在得到插值图像之后,对插值图像中的每一个图像体素的图像体素强度进行归一化处理,归一化到目标值,从而得到预处理图像。该目标值可以在预定范围以内(例如,0到255之间)。
可选地,在本实施例中,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率可以包括:使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象;确定目标特征,其中,目标特征与待检测对象的目标部位中以目标对象为中心的目标空间范围;使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,目标部位的目标对象可以是目标部位上出现异常可以通过三维图像数据被检测到的任意对象。该目标对象在目标部位上的位置可以是任意的。例如,目标对象位于目标部位的外表面,也可以位于目标部位的内部,或者内表面。又例如,目标对象位于目标部位的上端、下端、左端、右端等。目标对象的数量可以是一个或多个。不同目标对象的大小、形态、位置以及异常状态等可以是相同的,也可以是不同的。可以通过对三维图像信息进行分析,得到不同目标对象出现异常的概率。
可选地,目标数据模型可以是任意能够使用三维图像信息进行目标对象识别的数据,通过使用多组数据(样本数据)对卷积神经网络进行训练,得到模型中的各个参数,从而得到该目标数据模型。该卷积神经网络可以是3D卷积神经网络。
可选地,在本实施例中,在对目标图像进行预处理,得到预处理图像之前,可以通过上述多组数据对卷积神经网络进行训练,得到目标数据模型:获取多组数据中的每组数据中的样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息;使用多组数据中的每组数据中的样本对象的目标部位的三维图像信息,以及用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,对卷积神经网络进行训练,得到目标数据模型。
可选地,卷积神经网络中可以包括多个参数,可以将各个参数首先设定为预定值。将多组数据中的每组数据输入到卷积神经网络中,对卷积神经网络进行训练,从而调节各个参数的参数值。通过多组数据的训练对各个参数的参数值进行优化,从而得到目标数据模型。
可选地,在得到待检测对象的目标部位中的目标对象出现异常的目标概率之前,可以首先使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象。
可选地,在本实施例中,使用目标数据模型中的第一残差块和池化层对三维图像信息进行处理,提取出三维图像信息中包含的高层语义特征;使用目标数据模型中的第二残差块和反卷积层对高层语义特征执行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征;根据分辨率特征,解析出待检测对象的目标部位中的目标对象。
可选地,可以通过目标数据模型中的一个或多个池化层对输入数据(例如,归一化后得到的预处理图像,包含目标部位的三维图像信息)进行特征降维,提取出高层语义特征。还可以通过目标数据模型中的一个或多个残差块和一个或多个池化层对输入数据进行特征降维,提取出高层语义特征。通过在网络模型中加入残差块结构,可以提高网络模型的特征表征能力,防止梯度消失和模型退化,从而提高复杂的对象识别任务的识别准确率。
可选地,在提取出上述高层语义特征之后,可以使用目标数据模型的一个或多个反卷积层对提取出的高层语义特征进行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征。还可以使用目标数据模型的一个或多个残差块和一个或多个反卷积层对提取出的高层语义特征进行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征。
可选地,可以根据分辨率特征,解析出待检测对象的目标部位中的目标对象。可以采用类似于SSD算法的anchor生成机制和目标框回归机制生成待检测对象的目标部位中的目标对象。
可选地,在得到目标对象之后,可以确定用于表示待检测对象的目标部位中以待检测对象的目标部位的目标对象为中心的目标空间范围的目标特征,并使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,上述目标特征可以是目标对象映射至目标数据模型的最后一个卷积特征层上取出目标对象中心周围特定范围(例如,2*2*2*128)的特征图,对特征图进行最大池化处理,并根据最后一个卷积特征层上各特征的权重,计算出目标特征所对应的概率值,从而得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,在本实施例中,根据目标概率确定待检测对象的目标部位的识别结果可以包括:获取目标个数的目标对象,以及获取的各目标对象出现异常的目标概率;使用获取的各目标对象出现异常的目标概率,通过贝叶斯法则确定待检测对象的目标部位的识别结果。
可选地,在得到待检测对象的目标部位的目标对象出现异常的目标概率之后,可以根据所有的目标对象出现异常的目标概率,确定待检测对象的目标部位出现异常的概率(识别结果)。也可以从所有的目标对象中选取预定个数的目标对象,根据选取的目标对象出现异常的目标概率,确定待检测对象的目标部位出现异常的概率。
可选地,选取目标对象的依据可以是目标对象的可信度。目标部位中的各目标对象可以是基于数值(评分值)的,即,目标部位中的该部分是目标对象的评分值,评分值越高,目标对象的可信度越高。目标对象的可信度可以是基于目标数据模型的最后一个卷积特征层中各特征的权值进行计算得到的。
可选地,在选取出目标对象之后,可以先计算选取的各目标对象出现异常的概率,再结合选取的各目标对象的出现异常的概率,以贝叶斯法则方式计算目标部位出现异常的概率。
可选地,在本实施例中,在根据计算出的目标概率,确定目标对象的识别结果之后,可以将待检测对象的目标部位的识别结果,发送给发送目标图像的目标设备。
可选地,向目标设备发送的可以仅为识别结果,也可以以下数据:目标图像,预处理图像,目标对象在上述图像(目标图像或预处理图像)中的位置,各目标对象出现异常的概率,以及识别结果。上述目标对象在目标图像中的位置,各目标对象出现异常的概率以及识别结果可以独立于上述图像显示,也可以标记在上述图像之中。
可选地,在接收到识别结果之后,目标设备可以对识别结果进行显示。
需要说明的是,在相关的技术中,对象识别方式依赖于图像块切分的合理性,由于肺结节出现位置的不确定性,采用上述对象识别方式容易产生误识别。而在本申请中,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位中的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据通过卷积神经网络训练出的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。通过目标数据模型对待检测对象的目标部位的三维图像信息进行处理,达到了准确检测待检测对象的目标部位中的目标对象以及准确确定目标对象出现异常的概率的目的,从而实现了提高对象识别准确率的技术效果,进而解决了由于现有的对象识别方式依赖于图像块切分的合理性导致的容易产生误识别的技术问题。
作为一种可选的实施方案,处理单元704包括:
(1)处理模块,用于使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象;
(2)确定模块,用于确定目标特征,其中,目标特征用于表示待检测对象的目标部位中以待检测对象的目标部位的目标对象为中心的目标空间范围;
(3)使用模块,用于使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,上述处理模块包括:
(11)提取子模块,用于使用目标数据模型中的第一残差块和池化层对三维图像信息进行处理,提取出三维图像信息中包含的高层语义特征;
(12)恢复子模块,用于使用目标数据模型中的第二残差块和反卷积层对高层语义特征执行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征;
(13)解析子模块,根据分辨率特征,解析出待检测对象的目标部位中的目标对象。
通过本实施例,采用卷积神经网络与残差块相结合的方式,残差块的加入可以提高网络模型的特征表征能力,防止梯度消失和模型退化,进一步地,通过结合不同分辨率的特征层信息,使得网络模型能够更高召回目标对象,有助于目标对象出现异常的准确率。
作为一种可选的实施方案,预处理单元702包括:
(1)提取模块,用于对目标图像进行轮廓检测,从目标图像中提取出待检测对象的目标部位,得到提取图像;
(2)插值模块,用于对提取图像执行差值处理,将提取图像中的每个图像体素插值为指定空间尺度,得到插值图像;
(3)归一化模块,用于将插值图像中的每个图像体素的图像体素强度归一化到目标值,得到预处理图像。
通过本实施例,对目标图像进行预处理,可以较低目标图像中无用信息对识别结果的影响,为对象识别提供更准确的数据,提高对象识别的准确性。
作为一种可选的实施方案,上述装置还包括:
(1)获取单元,用于在对目标图像进行预处理,得到预处理图像之前,获取多组数据中的每组数据中的样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息;
(2)训练单元,用于使用多组数据中的每组数据中的样本对象的目标部位的三维图像信息,以及用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,对卷积神经网络进行训练,得到目标数据模型。
通过本实施例,通过获取多组数据对卷积神经网络进行训练,得到目标数据模型,为对象识别提供模型支持。
作为一种可选的实施方案,确定单元706包括:
(1)获取子单元,用于获取目标个数的目标对象,以及获取的各目标对象出现异常的目标概率;
(2)确定子单元,用于使用获取的各目标对象出现异常的目标概率,通过贝叶斯法则确定待检测对象的目标部位的识别结果。
通过本实施例,通过获取目标个数的目标对象,可以减少确定识别结果的计算量,提高对象识别的效率。
作为一种可选的实施方案,上述装置还包括:
(1)发送单元,用于在根据计算出的目标概率,确定目标对象的识别结果之后,将待检测对象的目标部位的识别结果,发送给发送目标图像的目标设备。
通过本实施例,通过将识别结果回传给发送目标图像的目标设备,可以为目标部位是否出现异常提供参考。
根据本发明的实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;
S2,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据对卷积神经网络进行训练得到的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;
S3,根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象;
S2,确定目标特征,其中,目标特征用于表示待检测对象的目标部位中以待检测对象的目标部位的目标对象为中心的目标空间范围;
S3,使用目标特征,得到待检测对象的目标部位中的目标对象出现异常的目标概率。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,使用目标数据模型中的第一残差块和池化层对三维图像信息进行处理,提取出三维图像信息中包含的高层语义特征;
S2,使用目标数据模型中的第二残差块和反卷积层对高层语义特征执行处理,从高层语义特征中恢复出用于解析目标分辨率的目标对象的分辨率特征;
S4,根据分辨率特征,解析出待检测对象的目标部位中的目标对象。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,对目标图像进行轮廓检测,从目标图像中提取出待检测对象的目标部位,得到提取图像;
S2,对提取图像执行差值处理,将提取图像中的每个图像体素插值为指定空间尺度,得到插值图像;
S3,将插值图像中的每个图像体素的图像体素强度归一化到目标值,得到预处理图像。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在对目标图像进行预处理,得到预处理图像之前,获取多组数据中的每组数据中的样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息;
S2,使用多组数据中的每组数据中的样本对象的目标部位的三维图像信息,以及用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,对卷积神经网络进行训练,得到目标数据模型。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标个数的目标对象,以及获取的各目标对象出现异常的目标概率;
S2,使用获取的各目标对象出现异常的目标概率,通过贝叶斯法则确定待检测对象的目标部位的识别结果。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在根据计算出的目标概率,确定目标对象的识别结果之后,将待检测对象的目标部位的识别结果,发送给发送目标图像的目标设备。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述对象方法的电子装置,如图8所示,该电子装置包括:处理器802、存储器804、传输装置806等。该存储器中存储有计算机程序,该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,对目标图像进行预处理,得到预处理图像,其中,预处理图像包含待检测对象的目标部位的三维图像信息;
S2,使用目标数据模型对三维图像信息进行处理,得到待检测对象的目标部位的目标对象出现异常的目标概率,其中,目标数据模型为使用多组数据对卷积神经网络进行训练得到的,多组数据中的每组数据均包括:样本对象的目标部位的三维图像信息和用于指示样本对象的目标部位中的目标对象是否出现异常的指示信息,其中,样本对象的目标部位的三维图像信息至少用于表示样本对象的目标部位中的目标对象;
S3,根据目标概率确定待检测对象的目标部位的识别结果,其中,识别结果用于指示待检测对象的目标部位出现异常的概率。
可选地,本领域普通技术人员可以理解,图8所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图8中所示更多或者更少的组件(如网络接口等),或者具有与图8所示不同的配置。
其中,存储器804可用于存储软件程序以及模块,如本发明实施例中的对象识别方法和装置对应的程序指令/模块,处理器802通过运行存储在存储器804内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述对象识别方法。存储器804可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器804可进一步包括相对于处理器802远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置806包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置806为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种对象识别方法,其特征在于,包括:
对目标图像进行预处理,得到预处理图像,其中,所述预处理图像包含待检测对象的目标部位的三维图像信息;
使用目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位的目标对象出现异常的目标概率,其中,所述目标数据模型为使用多组数据对卷积神经网络进行训练得到的,所述多组数据中的每组数据均包括:样本对象的所述目标部位的三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的指示信息,其中,所述样本对象的所述目标部位的三维图像信息至少用于表示所述样本对象的所述目标部位中的所述目标对象;
根据所述目标概率确定所述待检测对象的所述目标部位的识别结果,其中,所述识别结果用于指示所述待检测对象的所述目标部位出现异常的概率。
2.根据权利要求1所述的方法,其特征在于,使用所述目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位中的所述目标对象出现异常的所述目标概率包括:
使用所述目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位的所述目标对象;
确定目标特征,其中,所述目标特征用于表示所述待检测对象的所述目标部位中以待检测对象的所述目标部位的所述目标对象为中心的目标空间范围;
使用所述目标特征,得到所述待检测对象的所述目标部位中的所述目标对象出现异常的所述目标概率。
3.根据权利要求2所述的方法,其特征在于,使用所述目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位中的所述目标对象包括:
使用所述目标数据模型中的第一残差块和池化层对所述三维图像信息进行处理,提取出所述三维图像信息中包含的高层语义特征;
使用所述目标数据模型中的第二残差块和反卷积层对所述高层语义特征执行处理,从所述高层语义特征中恢复出用于解析目标分辨率的所述目标对象的分辨率特征;
根据所述分辨率特征,解析出所述待检测对象的所述目标部位中的所述目标对象。
4.根据权利要求1所述的方法,其特征在于,对所述目标图像进行预处理,得到所述预处理图像包括:
对所述目标图像进行轮廓检测,从所述目标图像中提取出所述待检测对象的所述目标部位,得到提取图像;
对所述提取图像执行差值处理,将所述提取图像中的每个图像体素插值为指定空间尺度,得到插值图像;
将所述插值图像中的每个图像体素的图像体素强度归一化到目标值,得到所述预处理图像。
5.根据权利要求1所述的方法,其特征在于,在对所述目标图像进行预处理,得到所述预处理图像之前,所述方法还包括:
获取所述多组数据中的每组数据中的所述样本对象的所述目标部位的所述三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的所述指示信息;
使用所述多组数据中的每组数据中的所述样本对象的所述目标部位的所述三维图像信息,以及用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的所述指示信息,对所述卷积神经网络进行训练,得到所述目标数据模型。
6.根据权利要求1所述的方法,其特征在于,根据所述目标概率确定所述待检测对象的所述目标部位的识别结果包括:
获取目标个数的所述目标对象,以及获取的各目标对象出现异常的所述目标概率;
使用获取的各目标对象出现异常的所述目标概率,通过贝叶斯法则确定所述待检测对象的所述目标部位的所述识别结果。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在根据计算出的所述目标概率,确定所述目标对象的所述识别结果之后,所述方法还包括:
将所述待检测对象的所述目标部位的所述识别结果,发送给发送所述目标图像的目标设备。
8.一种对象识别装置,其特征在于,包括:
预处理单元,用于对目标图像进行预处理,得到预处理图像,其中,所述预处理图像包含待检测对象的目标部位的三维图像信息;
处理单元,用于使用目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位的目标对象出现异常的目标概率,其中,所述目标数据模型为使用多组数据对卷积神经网络进行训练得到的,所述多组数据中的每组数据均包括:样本对象的所述目标部位的三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的指示信息,其中,所述样本对象的所述目标部位的三维图像信息至少用于表示所述样本对象的所述目标部位中的所述目标对象;
确定单元,用于根据所述目标概率确定所述待检测对象的所述目标部位的识别结果,其中,所述识别结果用于指示所述待检测对象的所述目标部位出现异常的概率。
9.根据权利要求8所述的装置,其特征在于,所述处理单元包括:
处理模块,用于使用所述目标数据模型对所述三维图像信息进行处理,得到所述待检测对象的所述目标部位的所述目标对象;
确定模块,用于确定目标特征,其中,所述目标特征用于表示所述待检测对象的所述目标部位中以待检测对象的所述目标部位的所述目标对象为中心的目标空间范围;
使用模块,用于使用所述目标特征,得到所述待检测对象的所述目标部位中的所述目标对象出现异常的所述目标概率。
10.根据权利要求9所述的装置,其特征在于,所述处理模块包括:
提取子模块,用于使用所述目标数据模型中的第一残差块和池化层对所述三维图像信息进行处理,提取出所述三维图像信息中包含的高层语义特征;
恢复子模块,用于使用所述目标数据模型中的第二残差块和反卷积层对所述高层语义特征执行处理,从所述高层语义特征中恢复出用于解析目标分辨率的所述目标对象的分辨率特征;
解析子模块,根据所述分辨率特征,解析出所述待检测对象的所述目标部位中的所述目标对象。
11.根据权利要求8所述的装置,其特征在于,所述预处理单元包括:
提取模块,用于对所述目标图像进行轮廓检测,从所述目标图像中提取出所述待检测对象的所述目标部位,得到提取图像;
插值模块,用于对所述提取图像执行差值处理,将所述提取图像中的每个图像体素插值为指定空间尺度,得到插值图像;
归一化模块,用于将所述插值图像中的每个图像体素的图像体素强度归一化到目标值,得到所述预处理图像。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
获取单元,用于在对所述目标图像进行预处理,得到所述预处理图像之前,获取所述多组数据中的每组数据中的所述样本对象的所述目标部位的所述三维图像信息和用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的所述指示信息;
训练单元,用于使用所述多组数据中的每组数据中的所述样本对象的所述目标部位的所述三维图像信息,以及用于指示所述样本对象的所述目标部位中的所述目标对象是否出现异常的所述指示信息,对所述卷积神经网络进行训练,得到所述目标数据模型。
13.根据权利要求8所述的装置,其特征在于,所述确定单元包括:
获取子单元,用于获取目标个数的所述目标对象,以及获取的各目标对象出现异常的所述目标概率;
确定子单元,用于使用获取的各目标对象出现异常的所述目标概率,通过贝叶斯法则确定所述待检测对象的所述目标部位的所述识别结果。
14.根据权利要求8至13中任一项所述的装置,其特征在于,所述装置还包括:
发送单元,用于在根据计算出的所述目标概率,确定所述目标对象的所述识别结果之后,将所述待检测对象的所述目标部位的所述识别结果,发送给发送所述目标图像的目标设备。
15.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
CN201810456463.7A 2018-05-14 2018-05-14 对象识别方法和装置及存储介质 Active CN110163834B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810456463.7A CN110163834B (zh) 2018-05-14 2018-05-14 对象识别方法和装置及存储介质
PCT/CN2019/079692 WO2019218774A1 (zh) 2018-05-14 2019-03-26 对象识别方法、装置及存储介质
EP19804431.5A EP3796219A4 (en) 2018-05-14 2019-03-26 OBJECT RECOGNITION DEVICE AND PROCESS, AND INFORMATION MEDIA
US16/985,966 US11488302B2 (en) 2018-05-14 2020-08-05 Object recognition method and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810456463.7A CN110163834B (zh) 2018-05-14 2018-05-14 对象识别方法和装置及存储介质

Publications (2)

Publication Number Publication Date
CN110163834A true CN110163834A (zh) 2019-08-23
CN110163834B CN110163834B (zh) 2023-08-25

Family

ID=67644904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810456463.7A Active CN110163834B (zh) 2018-05-14 2018-05-14 对象识别方法和装置及存储介质

Country Status (4)

Country Link
US (1) US11488302B2 (zh)
EP (1) EP3796219A4 (zh)
CN (1) CN110163834B (zh)
WO (1) WO2019218774A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744192A (zh) * 2021-08-02 2021-12-03 清华大学 基于边缘计算的肺结节识别方法、装置、设备及介质
CN113971728A (zh) * 2021-10-25 2022-01-25 北京百度网讯科技有限公司 图像识别方法、模型的训练方法、装置、设备及介质
CN115393682A (zh) * 2022-08-17 2022-11-25 龙芯中科(南京)技术有限公司 目标检测方法、装置、电子设备及介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7096361B2 (ja) * 2018-12-14 2022-07-05 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
CN114041172A (zh) * 2019-07-31 2022-02-11 英特尔公司 多相机球衣号码识别
CN112926617A (zh) * 2019-12-06 2021-06-08 顺丰科技有限公司 包装变更检测方法、装置、云端计算机设备和存储介质
CN111401383B (zh) * 2020-03-06 2023-02-10 中国科学院重庆绿色智能技术研究院 基于图像检测的目标框预估方法、系统、设备及介质
CN111759304B (zh) * 2020-07-01 2022-09-30 杭州脉流科技有限公司 心电图异常识别方法、装置、计算机设备和存储介质
CN111783718A (zh) * 2020-07-10 2020-10-16 浙江大华技术股份有限公司 目标对象状态识别方法、装置、存储介质及电子装置
CN112669293A (zh) * 2020-12-31 2021-04-16 上海商汤智能科技有限公司 图像检测方法和检测模型的训练方法及相关装置、设备
CN113139427A (zh) * 2021-03-12 2021-07-20 浙江智慧视频安防创新中心有限公司 基于深度学习的蒸汽管网智能监控方法、系统及设备
CN113450321B (zh) * 2021-06-18 2022-05-03 电子科技大学 基于边缘检测的单阶段目标检测方法
CN116978011B (zh) * 2023-08-23 2024-03-15 广州新华学院 一种用于智能目标识别的图像语义通信方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239969A1 (en) * 2015-02-14 2016-08-18 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
CN107230206A (zh) * 2017-06-02 2017-10-03 太原理工大学 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN107292312A (zh) * 2017-06-19 2017-10-24 中国科学院苏州生物医学工程技术研究所 肿瘤识别方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058322A (en) * 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US9208558B2 (en) * 1999-08-11 2015-12-08 Osteoplastics Llc Methods and systems for producing an implant
US7058210B2 (en) * 2001-11-20 2006-06-06 General Electric Company Method and system for lung disease detection
US8073226B2 (en) * 2006-06-30 2011-12-06 University Of Louisville Research Foundation, Inc. Automatic detection and monitoring of nodules and shaped targets in image data
US7894649B2 (en) * 2006-11-02 2011-02-22 Accuray Incorporated Target tracking using direct target registration
US8724866B2 (en) * 2009-09-14 2014-05-13 Siemens Medical Solutions Usa, Inc. Multi-level contextual learning of data
US8914097B2 (en) * 2012-01-30 2014-12-16 The Johns Hopkins University Automated pneumothorax detection
US10078791B2 (en) * 2014-01-09 2018-09-18 Irvine Sensors Corporation Methods and devices for cognitive-based image data analytics in real time
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
US20190138830A1 (en) * 2015-01-09 2019-05-09 Irvine Sensors Corp. Methods and Devices for Cognitive-based Image Data Analytics in Real Time Comprising Convolutional Neural Network
US10311566B2 (en) * 2015-06-12 2019-06-04 International Business Machines Corporation Methods and systems for automatically determining image characteristics serving as a basis for a diagnosis associated with an image study type
US10004471B2 (en) * 2015-08-06 2018-06-26 Case Western Reserve University Decision support for disease characterization and treatment response with disease and peri-disease radiomics
US10282663B2 (en) * 2015-08-15 2019-05-07 Salesforce.Com, Inc. Three-dimensional (3D) convolution with 3D batch normalization
US10304198B2 (en) * 2016-09-26 2019-05-28 Siemens Healthcare Gmbh Automatic medical image retrieval
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
US11449985B2 (en) * 2016-12-02 2022-09-20 Regents Of The University Of Minnesota Computer vision for cancerous tissue recognition
CN107016665B (zh) * 2017-02-16 2021-05-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
EP3612981B1 (en) * 2017-04-19 2024-05-29 Siemens Healthineers AG Target detection in latent space
CN107480677B (zh) * 2017-08-07 2020-04-28 北京深睿博联科技有限责任公司 一种识别三维ct图像中感兴趣区域的方法及装置
US20190156200A1 (en) * 2017-11-17 2019-05-23 Aivitae LLC System and method for anomaly detection via a multi-prediction-model architecture
US20200012881A1 (en) * 2018-07-03 2020-01-09 Irvine Sensors Corporation Methods and Devices for Cognitive-based Image Data Analytics in Real Time Comprising Saliency-based Training on Specific Objects
CN113470037A (zh) * 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239969A1 (en) * 2015-02-14 2016-08-18 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
CN107230206A (zh) * 2017-06-02 2017-10-03 太原理工大学 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
CN107292312A (zh) * 2017-06-19 2017-10-24 中国科学院苏州生物医学工程技术研究所 肿瘤识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENTAO ZHU ET AL.: ""DeepLung: 3D Deep Convolutional Nets for Automated Pulmonary Nodule Detection and Classification"", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744192A (zh) * 2021-08-02 2021-12-03 清华大学 基于边缘计算的肺结节识别方法、装置、设备及介质
CN113971728A (zh) * 2021-10-25 2022-01-25 北京百度网讯科技有限公司 图像识别方法、模型的训练方法、装置、设备及介质
CN113971728B (zh) * 2021-10-25 2023-04-21 北京百度网讯科技有限公司 图像识别方法、模型的训练方法、装置、设备及介质
CN115393682A (zh) * 2022-08-17 2022-11-25 龙芯中科(南京)技术有限公司 目标检测方法、装置、电子设备及介质

Also Published As

Publication number Publication date
WO2019218774A1 (zh) 2019-11-21
CN110163834B (zh) 2023-08-25
EP3796219A1 (en) 2021-03-24
US11488302B2 (en) 2022-11-01
US20200364863A1 (en) 2020-11-19
EP3796219A4 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
CN110163834A (zh) 对象识别方法和装置及存储介质
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
CN109670532B (zh) 生物体器官组织图像的异常识别方法、装置及系统
EP3716020A1 (en) Systems and methods for three dimensional (3d) reconstruction of human gestures from radar based measurements
EP3665703B1 (en) Computer-aided diagnostics using deep neural networks
US7783096B2 (en) Device systems and methods for imaging
US20190050981A1 (en) System and method for automatically detecting a target object from a 3d image
CN104217418B (zh) 钙化血管的分割
CN107480677A (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
CN108648178A (zh) 一种影像结节检测的方法及装置
US7602965B2 (en) Object detection using cross-section analysis
US11386553B2 (en) Medical image data
CN110009656A (zh) 目标对象的确定方法、装置、存储介质及电子装置
KR20180059329A (ko) 엑스선 장치 및 이의 의료 영상 획득
CN108846826A (zh) 物体检测方法、装置、图像处理设备及存储介质
KR20190046471A (ko) 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
CN108027884A (zh) 优化对象检测
CN109124662A (zh) 肋骨中心线检测装置及方法
US11906658B2 (en) Systems and methods for shapelet decomposition based gesture recognition using radar
CN106803083A (zh) 行人检测的方法及装置
CN107403160A (zh) 一种智能驾驶场景中图像检测方法、设备及其存储设备
CN111899850A (zh) 医学影像的信息处理方法、显示方法及可读存储介质
CN111724360B (zh) 一种肺叶分割方法、装置和存储介质
Pradhan et al. Machine learning model for multi-view visualization of medical images
CN110738702B (zh) 一种三维超声图像的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant