CN111339993A - 一种x射线图像金属检测方法和系统 - Google Patents
一种x射线图像金属检测方法和系统 Download PDFInfo
- Publication number
- CN111339993A CN111339993A CN202010180368.6A CN202010180368A CN111339993A CN 111339993 A CN111339993 A CN 111339993A CN 202010180368 A CN202010180368 A CN 202010180368A CN 111339993 A CN111339993 A CN 111339993A
- Authority
- CN
- China
- Prior art keywords
- image
- metal detection
- ray image
- metal
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 197
- 239000002184 metal Substances 0.000 title claims abstract description 197
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 abstract description 3
- 239000007943 implant Substances 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 150000002739 metals Chemical class 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 238000007670 refining Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种X射线图像金属检测方法。所述X射线图像金属检测包括：获取待检测X射线图像；基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像，其中，当所述待检测X射线图像中包含金属物件时，所述金属检测图像能够反映该金属物件的信息。本申请将待检测的图像输入金属检测模型进行判断识别，解决图像中的金属检测问题，尤其是C‑Arm手术过程中常见的各种可能进入成像区域的植入物、固定装置、手术器材，避免对医疗影像诊断产生干扰。
Description
技术领域
本申请涉及医疗影像诊断领域，特别涉及一种X射线图像金属检测方法和系统。
背景技术
在医疗影像产品中，为了使图像能用于疾病诊断，通常会在设备采集图像后，进行一系列后处理算法，如均衡、降噪、LUT变换、增强等。而在X射线图像中，经常会有高衰减的金属进入成像区域，例如，剪刀、镊子、固定装置等骨科手术器材，人体中的金属植入物等。这些金属通常是非诊断区域，但是，会给图像处理算法带来一定的影响，尤其是大面积的金属，可能会对图像整体对比度造成明显的影响。
由于各种金属在图像中的形状、灰度都有明显的差异，传统的分割方法(如灰度检测)很难有效的得到它们的具体位置。因此，提供一种X射线图像金属检测方法解决X射线图像中的金属检测问题具有非常重要的意义。
发明内容
本申请实施例之一提供一种X射线图像金属检测方法。所述X射线图像金属检测包括：获取待检测X射线图像；基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像，其中，当所述待检测X射线图像中包含金属物件时，所述金属检测图像能够反映该金属物件的信息。
本申请实施例之一提供一种X射线图像金属检测系统，所述系统包括图像获取单元和检测单元；所述图像获取单元用于获取待检测X射线图像；所述检测单元用于基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像，其中，当所述待检测X射线图像中包含金属物件时，所述金属检测图像能够反映该金属物件的信息。
本申请实施例之一提供一种X射线图像金属检测装置，包括处理器，所述处理器用于执行X射线图像金属检测方法。
本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行X射线图像金属检测方法。
附图说明
本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本申请一些实施例所示的X射线图像金属检测系统的应用场景示意图；
图2是根据本申请一些实施例所示的X射线图像金属检测方法的示例性流程图；
图3是根据本申请一些实施例所示的金属检测模型训练方法的示例性流程图；
图4是根据本申请一些实施例所示的示例性V-Net模型示意图；
图5是根据本申请一些实施例所示的X射线图像金属检测系统的模块图；
图6是根据本申请一些实施例所示的X射线图像与对应的金属标注图像示例；
图7是根据本申请一些实施例所示的另一X射线图像与对应的金属标注图像示例；
图8是根据本申请一些实施例所示的X射线图像与对应的金属检测图像示例。
具体实施方式
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本申请一些实施例所示的X射线图像金属检测系统的应用场景示意图。
在医疗影像诊断领域，为了使图像能用于疾病诊断，通常需要判定识别图像中是否含有金属物体。X射线图像金属检测系统100可以适用于医疗影像诊断，能够检测X射线图像中的金属物件。除此之外，X射线图像金属检测系统100还可以适用于任何需要检测金属物体以得知金属分布情况便于采取相应措施的场景，本申请对此不做限制。在一些实施例中，X射线图像金属检测系统100可以包括服务器110、网络120、存储设备130以及图像采集设备140。
在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是经由接入点连接到网络的集中式服务器组，或者经由至少一个接入点分别连接到网络的分布式服务器组。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以包括处理器，处理器可以用于执行本申请任一实施例所描述的X射线图像金属检测方法。
在一些实施例中，网络120可以连接X射线图像金属检测系统100的各组成部分，使得各部分之间可以进行通讯，以促进信息和/或数据的交换。在一些实施例中，X射线图像金属检测系统100中的至少一个组件(例如，服务器110、存储设备130、图像采集装置140)可以经由网络120将信息和/或数据发X射线图像金属检测系统100中的其他组件。在一些实施例中，网络120可以包括有线网络或无线网络中的任意一种或多种。例如，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络TM(Bluetooth)、紫蜂网络TM(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。每两个部分之间的网络连接可以是采用上述一种方式，也可以是采取多种方式。在一些实施例中，网络120可以包括至少一个网络接入点。例如，网络120可以包括有线或无线网络接入点，如基站和/或互联网交换点120-1、120-2、……，通过网络接入点，金属检测系统100的至少一个部件可以连接到网络120以交换数据和/或信息。
在一些实施例中，存储设备130可以用于储存数据和/或指令。数据可以包括待识别图像(如X射线图像)、金属标注图像、金属检测模型信息(如，图像识别算法等)等。指令可以包括计算机指令，当计算机(如处理器)读取存储设备130中的计算机指令后，计算机可以执行本申请任一实施例所描述的X射线图像金属检测方法。在一些实施例中，存储设备130可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。在一些实施例中，存储设备130可在云平台上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，金属检测系统100中的至少一个组件可以经由网络120访问存储在存储设备130中的数据或指令。在一些替代性实施例中，存储设备130可以作为后端存储器直接连接到服务器110。
在一些实施例中，图像采集设备140可以用于采集X射线图像。在一些实施例中，图像采集设备可以包括X射线机、电子计算机断层扫描设备(CT)、C型臂X光机、DSA等。图像采集设备可以用于采集目标物体的X射线图像。目标物体可以包括但不限于人体、人体的组织器官、动物、植物、非生物等。
图2是根据本申请一些实施例所示的X射线图像金属检测方法的示例性流程图。在一些实施例中，X射线图像金属检测方法200可以由X射线图像金属检测系统500执行。例如，X射线图像金属检测方法200可以以程序或指令的形式存储在存储设备130中，当X射线图像金属检测系统500(如处理器)执行该程序或指令时，可以实现X射线图像金属检测方法200。如图2所示，X射线图像金属检测方法可以包括：
步骤220，获取待检测X射线图像。具体的，该步骤可以由图像获取单元510执行。
在一些实施例中，X射线图像可以包括通过X射线成像技术获得的目标物体的图像。目标物体可以包括但不限于人体、人体的组织器官、动物、植物、非生物等。在一些实施例中，图像获取单元510可以获取图像采集设备140(如X射线机、电子计算机断层扫描设备(CT)、C型臂X光机)、DSA所采集的X射线图像。在一些实施例中，图像获取单元510可以获取存储设备130中所存储的X射线图像。在一些实施例中，待检测的X射线图像可以理解为尚未进行金属检测，图像中可能包含或不包含金属物件的X射线图像。
步骤240，基于待检测X射线图像，利用训练好的金属检测模型确定与待检测X射线图像对应的金属检测图像。其中，当待检测X射线图像中包含金属物件时，金属检测图像能够反映该金属物件的信息。具体的，该步骤可以是由检测单元520执行的。
在一些实施例中，金属检测模型可以包括但不限于机器学习模型、深度学习模型训练等。在一些实施例中，机器学习模型可以包括但不限于线性回归、岭回归(L2正则化的线性回归)、Lasso回归(L1正则化的线性回归)、多项式回归(非线性回归)、K均值算法(K-means)、支持向量回归(SVR)、支持向量机、决策树、全连接神经网络、循环神经网络等。在一些实施例中，深度学习模型可以包括但不限于卷积神经网络、全卷积神经网络、残差网络等。在一些实施例中，全卷积神经网络可以包括V-Net模型。在一些实施例中，金属检测模型可以是将批量的X射线图像与金属标注图像输入全卷积神经网络训练得到的。关于金属检测模型训练方法的更多细节可以参见图3及其相关描述。在本申请中，金属检测模型可以为改进后的V-Net模型，关于改进后的V-Net模型的更多细节可以参见图4及其相关描述。
在一些实施例中，检测单元520可以利用训练好的金属检测模型确定待检测X射线图像的金属区域概率图，并基于金属区域概率图确定与待检测X射线图像对应的金属检测图像。在一些实施例中，金属区域概率图可以反映X射线图像中各个像素点(或像素块)属于金属区域的概率值。进一步，检测单元520可以基于金属区域概率图中各个像素点的概率值，确定该像素点是否属于金属区域。例如，对于一个像素点，若其属于金属区域的概率值大于其属于非金属区域的概率值，则可以将该像素点确定为金属区域。
在一些实施例中，当待检测X射线图像中包含金属物件时，金属检测图像能够反映该金属物件的信息。在一些实施例中，金属物件的信息的可以包括但不限于金属物件的位置、形状、大小、放置朝向以及金属物件的具体种类(如手术用镊子)等。在一些实施例中，金属检测图像可以包括二值图像。在一些实施例中，二值图像可以理解为图像中的像素只存在两种灰度值。例如，二值图像可以为黑白图像。又例如，二值图像可以包括任意两种灰度值(如灰度值1和灰度值200)构成的图像。通过将金属检测图像以二值图像的形式展现，能够使金属物件展示得更清晰。图8是根据本申请一些实施例所示的X射线图像与对应的金属检测图像示例。如图8所示，左边的图为X射线图像，右边的图为与该X射线图像对应的金属检测图像。在该金属检测图像中，仅金属物件区域为白色，其他区域为黑色。
在一些实施例中，检测单元520可以判断金属检测图像中是否包含金属物件。例如，当金属检测图像中包含两种灰度值的像素点时，检测单元520可以判断该金属检测图像中包含金属物件。又例如，当金属检测图像中仅包含一种灰度值的像素点时，检测单元520可以判断该金属检测图像中不包含金属物件。在一些实施例中，检测模块520确定出与待检测X射线图像对应的金属检测图像后，可以进一步根据金属检测图像所反映的信息采取相应的措施。在一些实施例中，检测单元520可以根据金属检测图像中是否包含金属物件而向用户发出提醒。例如，检测单元520可以提示用户X射线图像中包含金属物件，以便引起用户的注意。在一些实施例中，检测模块520可以将待检测X射线图像中的金属物件部分予以剔除，以避免对医疗影像诊断产生干扰。在一些实施例中，检测单元520还可以根据图像中金属物体的位置、形状、放置朝向等采用自动化设备(如机械手)进行抓取/移除。
图3是根据本申请一些实施例所示的金属检测模型训练方法的示例性流程图。该金属检测模型训练方法可以由模型训练单元530执行。如图3所示，金属检测模型训练方法300可以包括：
步骤320，获取样本集，所述样本集包括多个样本对，每个样本对包括：作为输入的X射线图像和作为目标的与X射线图像对应的金属标注图像。
在一些实施例中，模型训练单元530可以从存储设备130中获取用于训练的X射线图像以及对应的金属标注图像。在一些实施例中，用于训练的X射线图像中可以包括金属物件。对于此类X射线图像，可以通过人工标注和/或自动标注的方式获得其对应的金属标注图像。例如，可以由医生根据X射线图像判断出X射线图像中的金属物件，并对该金属物件的轮廓进行描画，从而得到对应的金属标注图像。又例如，可以基于X射线图像的灰度值，利用分类模型进行自动标注(如灰度值大于某设定阈值的区域被认为是金属区域)。再例如，可以通过手工和自动结合的方式进行标注；如可以通过图像分割技术先将X射线图像分割为不同区域，然后再由医生选择其中的部分区域为金属区域。
在一些实施例中，金属标注图像可以为二值图像(如黑白图像)。图6是根据本申请一些实施例所示的X射线图像与对应的金属标注图像示例。图7是根据本申请一些实施例所示的另一X射线图像与对应的金属标注图像示例。如图6-7所示，左边的图为X射线图像，右边的图为与该X射线图像对应金属标注图像。在该金属标注图像中，仅金属物件区域为白色，其他区域为黑色。通过将金属检测图像以二值图像的形式展现，能够使金属物件展示得更清晰。
在一些实施例中，模型训练单元530可以对X射线图像进行标准化处理，以便于深度神经网络(如V-Net模型)的训练与收敛。在一些实施例中，对X射线图像进行标准化处理可以采用以下公式进行：
其中：I为图像像素点的灰度值；μ为图像各像素点灰度值的均值；σ为图像各像素点灰度值的标准差。
步骤340，采用样本集对待训练的金属检测模型进行训练，得到训练好的金属检测模型。
在一些实施例中，待训练的金属检测模型可以是深度学习模型(如全卷积神经网络)。在一些实施例中，待训练的金属检测模型可以是改进后的V-Net神经网络。在一些实施例中，改进后的V-Net神经网络可以包括跳层连接，该跳层连接包括在进行上采样的过程中组合下采样中至少一个层次的特征。
在一些实施例中，改进后的V-Net模型训练的损失函数可以为FLLoss。具体的，可以基于Focal Loss损失函数与Lovasz Loss损失函数的结果计算(如加权求和、求平均值等)所述FL Loss损失函数的值。示例性的，FL Loss的计算方法可以是将Focal Loss函数与Lovasz Loss函数的结果进行加权求和，如采用如下所示公式计算：
FL Loss＝λ*Focal Loss+β*Lovasz Loss函数其中λ与β的比值可以根据具体需求设定，如设定λ：β为[0.8：0.2]。
由于Focal Loss更注重于像素的分类，能够适应复杂金属的检测情况，而LovaszLoss更注重于降低图像与训练模板(如金属标注图像)全局结构的差异，因此综合后的FLLoss损失函数可以集成两者的优点，使金属检测模型能够进一步提高识别精度。
在一些实施例中，网络训练的优化器可以选择Adam方法。在训练过程中可以采用学习率衰减(learning rate decay)策略，即每隔固定的epoch减小网络的学习率。关于改进后的V-Net模型的更多细节可以参见图4及其相关描述。
图4是根据本申请一些实施例所示的示例性V-Net模型示意图。
在一些实施例中，如图4所示，改进后的V-Net模型(V-Net神经网络)可以包括图像尺寸调整模块401、下采样模块402、上采样模块403和特征精炼模块404等。
图像尺寸调整模块401可以包括多个卷积层，X射线图像在经过该多个卷积层后能够降低图像分辨率，从而在保证图像特征不丢失的前提下提升模型训练与测试效率。在一些实施例中，图像尺寸调整模块401还可以包括BNorm批规范化层，以加速训练收敛效果。在一些实施例中，图像尺寸调整模块401还可以包括ReLU激活函数，以解决深层神经网络时的梯度耗散的问题。在一些实施例中，图像尺寸调整模块401可以为一个或多个。在一些实施例中，图像尺寸调整模块401处理结果可以是经过卷积操作的与图像像素相对应的图像特征映射矩阵。
下采样模块402可以用于提取图像特征。图像特征可以包括但不限于图像的边缘特征、轮廓特征、语义特征等一种或多种的组合。在一些实施例中，下采样模块402可以由卷积核大小为3×3或5×5的残差块组成，以便在提取图像特征的同时对图像特征进行重复利用，避免因参数梯度消失导致的无法准确提取图像特征的问题。在一些实施例中，下采样模块402还可以包括BNorm批规范化层，以加速训练收敛效果。在一些实施例中，下采样模块402还可以包括ReLU激活函数，以解决深层神经网络时的梯度耗散的问题。在一些实施例中，下采样模块402可以为一个或多个。在一些实施例中，下采样模块402处理结果可以是经过卷积操作的与图像像素相对应的图像特征映射矩阵。
在一些实施例中，上采样模块403可以由一个或多个转置卷积层(也称反卷积层)及残差块组成。残差块可以对图像特征进行重复利用，避免因参数梯度消失导致的无法准确提取图像特征的问题。转置卷积层可以恢复图像特征。在一些实施例中，上采样模块403可以包括多个卷积层及残差块，通过卷积操作及对图像特征插值的方法恢复图像特征。对图像特征插值可以包括线性插值、双线性插值等。在一些实施例中，上采样模块403还可以包括BNorm批规范化层，以加速训练收敛效果。在一些实施例中，上采样模块403还可以包括ReLU激活函数，以解决深层神经网络时的梯度耗散的问题。在一些实施例中，上采样模块403可以为一个或多个。例如，上采样模块403的数量可以与下采样模块402的数量相同。在一些实施例中，上采样模块403处理结果可以是经过反卷积操作或卷积与插值操作的与图像像素相对应的图像特征映射矩阵。
在一些实施例中，在上采样模块403恢复图像特征时，可以包括跳层连接，以避免上采样模块403恢复图像特征过程中出现图像特征的丢失现象，使得图像细节信息得以恢复。在一些实施例中，跳层连接可以包括：在进行上采样的过程中组合下采样中至少一个层次的图像特征。具体的，在每一次上采样的过程中，可以组合与该上采样同一层次的下采样的图像特征。在一些实施例中，V-Net模型还可以包括特征精炼模块404，特征精炼模块404可以用于对跳层连接中的下采样的图像特征进行特征精炼。在此基础上，跳层连接可以包括：在每一次上采样的过程中，组合与该上采样同一层次的下采样的图像特征与该图像特征被精炼的结果的乘积，通常地，图像特征被精炼是通过特征精炼模块404来实现的。
在一些实施例中，特征精炼模块404可以包括全局池化层、卷积层和sigmoid激活函数，以便提取图像特征中的全局信息。在一些实施例中，下采样的图像特征与其特征精炼的乘积处理结果可以是该下采样输出图像各像素点组成的特征矩阵与图像特征精炼后的权重矩阵(如1×1×C大小的矩阵)的结果。特征精炼模块的设计可以优化每个层次的下采样的输出图像特征，从而能够方便地集成全局信息，输出与全局特征信息对应的权重。而且，该特征精炼模块404的计算速度快，不用花费过多时间成本。在本申请的实施例中，通过在不同层次的上采样过程中组合对应层次的下采样的图像特征，能够使图像细节得以更好地恢复。
在一些实施例中，改进后的V-Net模型还包括对上采样模块403的处理结果进行分类。在一些实施例中，对上采样模块403的处理结果进行分类可以采用softmax函数得到的分类概率。
图5是根据本申请一些实施例所示的X射线图像金属检测系统的模块图。如图5所示，该X射线图像金属检测系统可以包括图像获取单元510、检测单元520以及模型训练单元530。
图像获取单元510可以用于获取待检测X射线图像。在一些实施例中，图像获取单元510可以获取图像采集设备140(如X射线机、电子计算机断层扫描设备(CT)、C型臂X光机、DSA)所采集的X射线图像。在一些实施例中，图像获取单元510可以获取存储设备130中所存储的X射线图像。
检测单元520可以用于确定与待检测X射线图像对应的金属检测图像。例如，检测单元520可以基于待检测X射线图像，利用训练好的金属检测模型确定与待检测X射线图像对应的金属检测图像，其中，当待检测X射线图像中包含金属物件时，金属检测图像能够反映该金属物件的信息。在一些实施例中，检测单元520可以利用训练好的金属检测模型确定待检测X射线图像的金属区域概率图，并基于金属区域概率图确定与待检测X射线图像对应的金属检测图像。在一些实施例中，检测单元520可以判断金属检测图像中是否包含金属物件。在一些实施例中，检测单元520确定出与待检测X射线图像对应的金属检测图像后，可以进一步根据金属检测图像所反映的信息采取相应的措施。
模型训练单元530(即金属检测模型训练单元)可以用于训练金属检测模型。例如，模型训练单元530可以获取样本集，样本集包括多个样本对，每个样本对包括：作为输入的X射线图像和作为目标的与X射线图像对应的金属标注图像。又例如，模型训练单元530可以采用样本集对待训练的金属检测模型进行训练，得到训练好的金属检测模型。
应当理解，图5所示的系统及其单元可以利用各种方式来实现。例如，在一些实施例中，系统及其单元可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其单元不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于系统及其单元的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，例如，图5中披露的图像获取单元510、检测单元520和金属检测模型训练单元530可以是一个系统中的不同单元，也可以是一个单元实现上述的两个或两个以上单元的功能。例如，图像获取单元510、检测单元520可以是两个单元，也可以是一个单元同时具有图像获取和检测功能。例如，各个单元可以共用一个存储单元，各个单元也可以分别具有各自的存储单元。诸如此类的变形，均在本申请的保护范围之内。
本申请实施例可能带来的有益效果包括但不限于：(1)能够准确、高效地对X射线图像进行金属检测；(2)能够清晰地展示X射线图像中的金属物件；(3)通过对V-Net模型的改进，能够进一步提升金属检测的准确率。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
最后，应当理解的是，本申请中实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (13)
1.一种X射线图像金属检测方法，其特征在于，包括：
获取待检测X射线图像；
基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像，其中，当所述待检测X射线图像中包含金属物件时，所述金属检测图像能够反映该金属物件的信息。
2.如权利要求1所述的方法，其特征在于，所述金属检测模型的训练过程包括：
获取样本集，所述样本集包括多个样本对，每个样本对包括：作为输入的X射线图像和作为目标的与所述X射线图像对应的金属标注图像；
采用所述样本集对待训练的金属检测模型进行训练，得到所述训练好的金属检测模型。
3.如权利要求2所述的方法，其特征在于，所述金属检测模型为深度神经网络模型。
4.如权利要求3所述的方法，其特征在于，所述深度神经网络模型为一种V-Net模型，所述V-Net模型包括跳层连接，所述跳层连接包括：
在进行上采样的过程中组合下采样中至少一个层次的特征。
5.如权利要求4所述的方法，其特征在于，所述跳层连接进一步包括：
在每一层上采样中，组合与该上采样同层次的下采样的图像特征与所述图像特征被特征精炼的结果的乘积。
6.如权利要求5所述的方法，其特征在于，所述改进后的V-Net模型训练的损失函数为FL Loss。
7.如权利要求6所述的方法，所述FL Loss为Focal Loss损失函数与Lovasz Loss损失函数的加权运算结果。
8.如权利要求1所述的方法，其特征在于，所述基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像包括：
利用训练好的金属检测模型确定所述待检测X射线图像的金属区域概率图；
基于所述金属区域概率图确定与所述待检测X射线图像对应的所述金属检测图像。
9.如权利要求1所述的方法，其特征在于，所述金属检测图像为二值图像。
10.一种X射线图像金属检测系统，其特征在于，包括图像获取单元和检测单元；
所述图像获取单元用于获取待检测X射线图像；
所述检测单元用于基于所述待检测X射线图像，利用训练好的金属检测模型确定与所述待检测X射线图像对应的金属检测图像，其中，当所述待检测X射线图像中包含金属物件时，所述金属检测图像能够反映该金属物件的信息。
11.如权利要求10所述的系统，还包括金属检测模型训练单元；所述金属检测模型训练单元用于：
获取样本集，所述样本集包括多个样本对，每个样本对包括：作为输入的X射线图像和作为目标的与所述X射线图像对应的金属标注图像；
采用所述样本集对待训练的金属检测模型进行训练，得到所述训练好的金属检测模型。
12.一种X射线图像金属检测装置，包括处理器，其特征在于，所述处理器用于执行如权利要求1～9任一项所述的X射线图像金属检测方法。
13.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～9任一项所述的X射线图像金属检测方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180368.6A CN111339993A (zh) | 2020-03-16 | 2020-03-16 | 一种x射线图像金属检测方法和系统 |
| EP20814241.4A EP3958742A4 (en) | 2019-05-24 | 2020-05-24 | Systems and methods for processing x-ray images |
| PCT/CN2020/091967 WO2020238817A1 (en) | 2019-05-24 | 2020-05-24 | Systems and methods for processing x-ray images |
| US17/456,393 US20220092787A1 (en) | 2019-05-24 | 2021-11-24 | Systems and methods for processing x-ray images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180368.6A CN111339993A (zh) | 2020-03-16 | 2020-03-16 | 一种x射线图像金属检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111339993A true CN111339993A (zh) | 2020-06-26 |
Family
ID=71186155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010180368.6A Pending CN111339993A (zh) | 2019-05-24 | 2020-03-16 | 一种x射线图像金属检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339993A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164047A (zh) * | 2020-09-25 | 2021-01-01 | 上海联影医疗科技股份有限公司 | X射线图像金属检测方法、装置和计算机设备 |
| CN112748132A (zh) * | 2020-12-29 | 2021-05-04 | 四川赛康智能科技股份有限公司 | 一种铝护套在x射线检测电缆成像中的干扰去除方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609536A (zh) * | 2017-09-29 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区系统、方法、装置及存储介质 |
| CN110443254A (zh) * | 2019-08-02 | 2019-11-12 | 上海联影医疗科技有限公司 | 图像中金属区域的检测方法、装置、设备和存储介质 |
-
2020
- 2020-03-16 CN CN202010180368.6A patent/CN111339993A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609536A (zh) * | 2017-09-29 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN109242865A (zh) * | 2018-09-26 | 2019-01-18 | 上海联影智能医疗科技有限公司 | 基于多图谱的医学图像自动分区系统、方法、装置及存储介质 |
| CN110443254A (zh) * | 2019-08-02 | 2019-11-12 | 上海联影医疗科技有限公司 | 图像中金属区域的检测方法、装置、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164047A (zh) * | 2020-09-25 | 2021-01-01 | 上海联影医疗科技股份有限公司 | X射线图像金属检测方法、装置和计算机设备 |
| CN112748132A (zh) * | 2020-12-29 | 2021-05-04 | 四川赛康智能科技股份有限公司 | 一种铝护套在x射线检测电缆成像中的干扰去除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568533B2 (en) | Automated classification and taxonomy of 3D teeth data using deep learning methods | |
| CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN110110808B (zh) | 一种对图像进行目标标注的方法、装置及计算机记录介质 | |
| CN112348785B (zh) | 一种癫痫病灶定位方法及系统 | |
| US20220383661A1 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
| CN115359066B (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
| CN109949288A (zh) | 肿瘤类型确定系统、方法及存储介质 | |
| CN111339993A (zh) | 一种x射线图像金属检测方法和系统 | |
| CN113576508A (zh) | 一种基于神经网络的脑出血辅助诊断系统 | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| CN116758336A (zh) | 一种基于人工智能的医学图像智能分析系统 | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN111626379A (zh) | 肺炎x光图像检测方法 | |
| Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
| Chen et al. | Detection of various dental conditions on dental panoramic radiography using Faster R-CNN | |
| CN109685803B (zh) | 一种左心室图像分割方法、装置、设备及存储介质 | |
| CN114663421B (zh) | 基于信息迁移和有序分类的视网膜图像分析系统及方法 | |
| KR102476888B1 (ko) | 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 | |
| CN114049315B (zh) | 关节识别方法、电子设备、存储介质及计算机程序产品 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| Lee et al. | Improved classification of brain-tumor mri images through data augmentation and filter application | |
| CN111784637B (zh) | 一种预后特征可视化方法、系统、设备和存储介质 | |
| CN111275719B (zh) | 钙化假阳识别及其模型训练的方法、装置、终端及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co., Ltd Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
| CB02 | Change of applicant information |