CN109791692B - 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法 - Google Patents
使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法 Download PDFInfo
- Publication number
- CN109791692B CN109791692B CN201780059923.6A CN201780059923A CN109791692B CN 109791692 B CN109791692 B CN 109791692B CN 201780059923 A CN201780059923 A CN 201780059923A CN 109791692 B CN109791692 B CN 109791692B
- Authority
- CN
- China
- Prior art keywords
- image
- roi
- image frames
- frames
- persistence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 197
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000003902 lesion Effects 0.000 claims abstract description 91
- 230000002688 persistence Effects 0.000 claims abstract description 42
- 230000003068 static effect Effects 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 61
- 230000005856 abnormality Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000002604 ultrasonography Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000002085 persistent effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000003814 drug Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000002594 fluoroscopy Methods 0.000 claims description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 20
- 238000013507 mapping Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010027452 Metastases to bone Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000005821 brain abnormality Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
一种医学图像的计算机辅助检测(CAD或CADe)的系统和方法利用序列图像之间的持久性来识别检测到的具有低伪影干扰的感兴趣区域，以减少假阳性并提高检测到真实病变的概率，从而提供比用于自动ROI病变检测的静态CADe方法改进的性能。
Description
对相关申请的交叉引用
本申请是标题为“Method and System of Computer-Aided Detection UsingMultiple Images from Different Views of a Region of Interest to ImproveDetection Accuracy”的美国专利申请号15/338,707的继续申请，该申请要求于2016年8月22日提交的标题为“Method and System of Computer-Aided Detection Using MultipleImages from Different Views of a Region of Interest to Improve DetectionAccuracy”的美国临时专利申请号62/377,945的优先权，这些申请中的每一个的全部内容通过引入被整体并入本文。
本申请还要求于2016年8月22日提交的标题为“Method and System ofComputer-Aided Detection Using Multiple Images from Different Views of aRegion of Interest to Improve Detection Accuracy”的美国临时专利申请号62/377,945的优先权，该申请的全部内容通过引用被整体并入本文。
技术领域
本发明构思一般而言涉及医学图像的计算机辅助检测和可疑异常或病变的检测领域。特别地，本发明构思涉及用于处理医学图像的方法和系统，该方法和系统使用光学流(optical flow)和块匹配方法来确定在从不同视点和一段时间内收集到的多个图像上检测到的潜在病变的持久性。
背景技术
计算机辅助诊断(CAD)有时被称为CADe或CADx，其用于诊断脑部异常、乳腺癌、肺癌、结肠癌、前列腺癌、骨转移、冠状动脉疾病、先天性心脏病和阿尔茨海默病。常规系统用于检测单个图像中的病变。这些系统需要提取表征病变的边界形状的特征(形态特征)和病变内灰度级的均匀性(纹理特征)。病变的大小、形状、方位以及不明确或扩散的边界和背景噪声的变化使得难以从身体中发现的其它超声伪影中检测到真实病变。
超声医学成像系统必须解决许多伪影，这些伪影可能使病变的检测更加困难。通常，超声伪影会导致错误检测，并且有时会掩盖病变的真实检测。在超声成像中遇到的常见伪影包括：各向异性、混响、声学阴影、声学增强、边缘阴影、波束宽度伪影、切片厚度伪影、旁瓣伪影、镜像图像、双重图像、装备生成的伪影和折射伪影。
各向异性是当肌腱与超声波束成90度时使肌腱看起来明亮，但是当角度改变时使肌腱变暗的效果。其原因在于，在特别光滑的边界处，反射角和入射角是相同的，就像与传统的镜子一样。混响是由于两个具有高声阻抗失配的接口之间的重复反射而产生虚假回波。超声图像上的声学阴影的特征在于强烈吸收或反射超声波的结构后面的信号空隙。声学增强，也称为后部增强或通过传输增强，是指增强的回声深入到非常好地传输声音的结构。当在聚焦区之后位于加宽的超声波束之外的反射物体产生被显示为与感兴趣的结构重叠的错误的可检测回波时，发生超声波束宽度伪影。切片厚度伪影归因于波束的厚度并且类似于波束宽度伪影。旁瓣伪影出现在旁瓣反射来自中心波束之外的强反射器的声音的地方，并且回声被显示为好像它们源自中心波束内一样。当在主波束的路径中存在高反射表面时，看到超声波扫描中的镜像图像伪影。双重图像伪影是由于像肌肉这样的区域的折射，肌肉充当生成反射器的第二图像的透镜。由于不正确的设置而导致的装备生成的伪影可能导致出现伪影。折射伪影是由于从一种介质传递到另一种介质而引起的声音方向变化。
正是考虑到这些以及其它观察，构想和开发了本发明构思的各个方面。
发明内容
已经发现，确定持久性属性有利地有助于从在一些视图中检测到但与运动场和/或块跟踪信息不一致的伪影中识别真实病变；和/或从仅在几个时间帧中检测到或出现在不遵循运动场或跟踪信息的随机位置的瞬时异常中识别真实病变。因此，本发明构思的一个实现可以采取方法的形式，包括：利用包括存储器的计算设备，该存储器用于存储由处理器执行以执行以下操作的指令：访问多个图像帧；从所述多个图像帧的第一图像帧识别感兴趣区域；以及处理所述多个图像帧的第一图像帧和第二图像帧，以通过将第一图像帧的特征与第二图像帧的特征进行比较以确定感兴趣区域是否跨第一图像帧和第二图像帧持续存在来确定感兴趣区域是否为假阳性。
通过提供使用计算机辅助检测系统检测病变或异常的方法可以在本发明构思的另一方面实现上述内容。该方法包括以下步骤：收集连续图像数据、视频剪辑、体积集合和/或其序列和/或其组合、收集与图像数据相关联的时间/顺序信息，和/或处理图像数据和时间/顺序数据以检测与图像数据和时间/顺序数据相关联的差异并减少假阳性病变或异常检测的数量。图像数据可以是2D图像数据。该方法可以包括在时间上使用至少一种光学流技术以提高系统性能的步骤。
通过提供被配置为识别具有高概率包含病变或异常的感兴趣区域(ROI)的计算机辅助检测系统可以在本发明构思的另一方面实现上述内容。该系统可以包括处理器，该处理器被配置为使用时间信息减少假阳性的数量同时保持灵敏度或真实检测的数量。可以使用光学流技术来确定时间信息。该系统可以包括相关引擎，该相关引擎被配置为使用跟踪信息确定分别针对每个图像帧使用传统静态CADe方法找到的ROI之间的相关性。处理器可以被配置为使用跟踪信息来测量作为出现ROI的帧的数量的持久性，以确定假阳性或低持久性和真阳性或高持久性。处理器可以被配置为通过确定如由跟踪运动向量给出的预测ROI的重叠程度来测量持久性。可以使用静态CADe方法来检测ROI。更大程度的重叠可以对应于更高概率的真实病变或更低概率的假阳性。
通过提供被配置为检测病变或异常的系统，可以在本发明构思的另一方面实现上述内容。该系统可以包括被配置为接收图像数据和时间信息的处理器；和/或被配置为存储图像数据和时间信息的存储器。处理器可以被配置为处理图像数据和时间数据以检测与图像数据和时间数据相关联的差异并减少假阳性病变或异常检测的数量。
通过提供计算机辅助检测以识别具有高概率包含病变或异常的感兴趣区域(ROI)的方法可以在本发明构思的另一方面实现上述内容，该方法包括以下步骤：使用与两个相邻图像帧相关联的持久空间和/或时间信息来减少假阳性的数量，同时保持或增强灵敏度或真实检测的数量。
通过提供一种使用计算机辅助检测系统检测病变或异常的方法，可以在本发明构思的另一方面实现上述方法，该方法包括以下步骤：收集图像数据，视频剪辑和/或序列；收集与图像数据相关的时间信息；处理图像数据和时间数据以检测与图像数据和时间数据相关联的差异，并减少假阳性病变或异常检测的数量。
通过提供被配置为识别具有高概率包含病变或异常的感兴趣区域(ROI)的计算机辅助检测系统可以在本发明构思的另一方面实现上述内容，该系统包括：处理器，被配置为使用时间信息减少假阳性的数量同时保持灵敏度或真实检测的数量。
通过提供被配置为检测病变或异常的系统可以在本发明构思的另一方面实现上述内容，该系统包括：处理器，被配置为接收图像数据和时间信息；以及存储器，用于存储图像数据和时间信息，其中，处理器被配置为处理图像数据和时间数据，以检测与图像数据和时间数据相关联的差异并减少假阳性病变或异常检测的数量。
通过提供一种方法可以在本发明构思的另一个方面实现上述内容，该方法包括：利用包括与至少一个有形存储介质通信的至少一个处理单元的计算设备，该有形存储介质包括用于执行以下操作的计算机可执行指令：访问与预定时间间隔相关联的连续图像帧；识别与连续图像帧相关联的感兴趣区域；利用光学流在连续图像帧之间生成跟踪或映射信息；以及使用跟踪或映射信息生成作为出现感兴趣区域或者可以在连续图像帧中的某些图像帧之间进行相关的连续图像帧的数量的持久性值。
通过提供一种装置可以在本发明构思的另一方面实现上述内容，该装置包括：计算机辅助检测(CAD)设备，其可操作以：利用光学流和图像帧来确定在预定时间段内与图像帧相关联的感兴趣区域的时间持久值。
附图说明
为了描述而非限制的目的，参考附图更详细地解释了本发明构思的前述和其它方面，其中：
图1A描绘了用于实现本发明构思的各方面的示例性系统。
图1B描绘了用于实现本发明构思的各方面的示例性系统。
图2A图示了相对更难以识别的病变的检测的自由响应接收器操作特性(FROC)曲线，并且示出了y轴上作为x轴上每个图像的假阳性的数量的函数的真阳性的灵敏度，其中假阳性与灵敏度或真阳性检测的数量进行折衷；
图2B图示了相对较不难识别的病变的检测的FROC曲线，并且示出了y轴上作为x轴上每个图像的假阳性的数量的函数的真阳性的灵敏度，其中假阳性与灵敏度或真阳性检测的数量进行折衷；
图3A-3D图示了如何可以使用本发明构思的一种或多种光学流技术去除图3A和3C的图像中检测到的假阳性以检查如图3B和3D所示检测到的感兴趣区域的时间持久性；
图4A-4D图示了与由B手动标记并示出的真相，例如，真实病变边界(即，内部正方形)相比，由A指示的使用光学流的检测结果(即，外部正方形和没有任何内部正方形的正方形)；
图5A和5B图示了与由B手动标记并示出的真相(即，内部正方形)相比，由A指示的使用光学流的检测结果(即，外部正方形和没有任何内部正方形的正方形)；
图6A和6B图示了与由B手动标记的真相(即，延伸到最上面的正方形)相比，由A指示的使用光学流的检测结果；
图7A和7B图示了与由B手动标记的真相(即，延伸到最左边的正方形)相比，由A指示的使用光学流的检测结果；
图8A和8B图示了与由B手动标记的真相(即，延伸到最左和最右的正方形)相比，由A指示的使用光学流的检测结果；
图9图示了与由B手动标记的真相(即，延伸到最上和最下的正方形)相比，由A指示的使用光学流的检测结果；以及
图10是本发明构思的各方面的示例性处理流程。
图11是本发明构思的各方面的另一个示例性处理流程。
附图不将本发明构思限制于本文公开和描述的具体实施例。附图不一定按比例绘制，而是将重点放在清楚地说明本发明构思的某些实施例的原理上。
具体实施方式
以下详细描述参考了图示本发明构思的各种实施例的附图。图示和描述旨在充分详细地描述本发明构思的方面和实施例，以使得本领域技术人员能够实践本发明构思。可以利用其它部件并且可以在不脱离本发明构思的范围的情况下进行改变。因此，以下详细描述不应该被视为具有限制意义。本发明构思的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
II.术语
在本描述中，术语用于描述本发明构思的特征。例如，对术语“一个实施例”、“实施例”、“该实施例”的引用意味着所引用的一个或多个特征被包括在本发明构思的至少一个方面中。在本说明书中对术语“一个实施例”、“实施例”、“该实施例”的单独引用不一定指代同一实施例并且也不是相互排斥的，除非如此陈述和/或除非对于本领域技术人员从描述中将显而易见的。例如，在一个实施例中描述的特征、结构、处理、步骤、动作等也可以被包括在其它实施例中，但不一定被包括在内。因此，本发明构思可以包括本文描述的实施例的各种组合和/或集成。另外，如本文所述的本发明构思的所有方面对于其实践不是必要的。
术语“算法”是指被配置为执行一个或多个功能的逻辑、硬件、固件、软件和/或其组合，包括但不限于本文具体描述的本发明构思的那些功能或本领域技术人员根据描述显而易见的那些功能。这种逻辑可以包括具有数据处理和/或存储功能的电路系统。这种电路系统的示例可以包括但不限于微处理器、一个或多个处理器，例如，处理器核心、可编程门阵列、微控制器、专用集成电路、无线接收器、发射器和/或收发器电路系统、半导体存储器或组合逻辑。
术语“逻辑”是指以一个或多个软件模块形式的计算机代码和/或指令，诸如以可执行应用形式的可执行代码、应用编程接口(API)、子例程、函数、过程、小程序(applet)、服务小程序(servlet)、例程、源代码、目标代码、共享库/动态加载库、或一条或多条指令。这些软件模块可以被存储在任何类型的合适的非瞬态存储介质或瞬态存储介质中，例如电气、光学、声学或其它形式的传播信号，诸如载波、红外信号或数字信号。非瞬态存储介质的示例可以包括但不限于或局限于可编程电路；半导体存储器；非永久存储装置，诸如易失性存储器(例如，任何类型的随机存取存储器“RAM”)；永久存储装置，诸如非易失性存储器(例如，只读存储器“ROM”、电源备份的RAM、闪存、相变存储器等)、固态驱动器、硬盘驱动器、光盘驱动器或便携式存储器设备。作为固件，可执行代码被存储在永久存储装置中。
术语“用户”通常在本文中同义地使用，以表示本发明构思的系统和/或方法的用户。对于本文的目的，用户可以是临床医生、诊断医生、医生、技术人员、学生和/或管理员。
术语“识别”、“处理”和“选择”通常在本文中同义地使用，而不管时态如何，以表示由系统在一个或多个处理中经由至少一个处理器自动执行的计算机化处理。
首字母缩略词“CAD”表示计算机辅助诊断。
术语“客户端”表示连接到CAD病变应用的任何软件程序。
除非另外指出，否则术语“服务器”通常是指正在监听一个或多个客户端的CAD病变应用。
术语“后处理”表示应用于输入的超声图像的算法。
首字母缩略词“PACS”表示图片存档和通信系统。
首字母缩略词“GSPS”表示灰度软拷贝呈现状态。
首字母缩略词“DICOM”表示医学中的数字成像和通信。
首字母缩略词“UI”表示用户界面。
首字母缩略词“PHI”表示私人健康信息。
术语“计算机化”通常表示任何相应的操作由硬件结合软件和/或固件进行。
最后，如本文使用的术语“或”和“和/或”应该被解释为包含性的或意味着任何一个或任何组合。因此，“A、B或C”或“A、B和/或C”表示“以下中的任何一个：A；B；C；A和B；A和C；B和C；A、B和C”。该定义的例外情况只有当元素、函数、步骤或行为的组合以某种方式固有地相互排斥时才会出现。
由于本发明构思易受许多不同形式的实施例的影响，因此旨在将本发明构思视为本发明构思的原理的示例而不旨在将本发明构思限制于所示出和描述的具体实施例。
II.一般体系架构
受过训练的医疗专业人员(诸如放射科医师)通常会尝试手动或通过使用计算机软件来识别和分类医学图像内的可疑区域或感兴趣区域。然后，放射科医师可以根据相关的分级系统手动表征每个可疑区域。例如，可以根据乳房成像报告和数据系统(BI-RADS)指南来表征乳房内可能包括癌性病变的可疑感兴趣区域。
可以训练超声技术人员围绕感兴趣区域(ROI)移动换能器来获得各种视点，以便减少由于可能导致检测错误的伪影和噪声而导致的检测病变中的不确定性。可以从不同的视点识别真实病变，而大多数伪影将随着不同的视角而显著变化。根据本发明构思的各方面，观察感兴趣区域的各种视点可能是由人类操作者对病变的最佳检测的主要因素。常规的CADe系统通常仅查看ROI的一个图像或两个正交图像，以检测视野(FOV)中是否存在病变。本发明构思设想确定在多个不同视角上持续存在的ROI部分，其可以由本文描述的CAD系统进行实时或离线分析。
本发明构思的各方面包括使用光学流和块匹配(或跟踪)方法，或者通过在序列中的相邻图像之间生成ROI的映射函数来处理医学图像的系统和方法。本发明构思的映射函数可以涉及振幅和向量映射，以确定来自不同视点的医学图像的连续时间帧之间的运动或跟踪信息。
考虑与图像相关联的相对运动，光学流(optical flow)或光流(optic flow)可以被描述为给定图像(或图像集合)的对象、表面、边缘或其它视觉特性的模式。光学流方法可以用于基于时间间隔计算两个图像帧之间的运动。使用图像集合，依次地，可以将运动估计为图像速度或离散图像位移。如本文所述的光学流方法可以包括相位相关、基于块的方法、差分方法、离散优化方法等。在一个实施例中，可以利用基于块的方法来最小化平方差之和或绝对差之和，或者最大化与序列中的相邻图像相关联的归一化互相关。也可以利用跟踪方法。具体而言，可以利用特征跟踪，其包括提取诸如角和纹理区域的视觉特征并在多个帧上跟踪它们。作为实现特征跟踪的一个示例，给定两个后续帧，可以估计点转换。
可以使用映射或跟踪信息来确定是否可以使用静态二维(2D)CADe方法基于在每个时间帧中找到的感兴趣区域(ROI)来关联图像帧。也可以将一个图像或多个图像的帧模拟为从体积全乳房超声数据中的任意角度的顺序遍历导出的序列。使用本发明构思的系统和方法，真实病变可以表现为可以在若干视点上跟踪的ROI。另一方面，假阳性可以被示出为在相对较少数量的视点处保持并且出现在与ROI的光学流和块匹配跟踪信息不相关的位置处。
由此，本发明构思通过处理来自感兴趣区域的多个视图的相邻图像(即，感兴趣区域的多个图像，其中多个图像中的每个图像是感兴趣区域的不同视图)克服了当前CADe系统的限制。可以预见，在不偏离本发明构思的范围的情况下，本发明构思的系统和方法可以利用感兴趣区域的相同视图的多个图像。多个图像可以用于减少病变的计算机辅助检测CADe中伪影的干扰效应。
本发明构思有利地利用与通过改变换能器角度获得的多个视点有关的信息或者从体积全乳房超声数据获得的模拟序列来改善当前单视点、双视点或体积视点图像CADe系统的性能。例如，可以处理特定感兴趣区域的图像序列，以找到序列中从一个图像到下一个图像的图像的图块(patch)的位移向量。图块被定义为跨图像序列在图块内具有相似的形态和纹理特征集。结果得到的位移向量和整个序列中图块的平均灰度变化用于增加或减少使用CADe针对ROI检测到病变的概率。
此外，图像之间的ROI的持久性可以用于提供从静态CADe系统检测到的病变的置信水平。操作者可以记录在具有最高置信水平的感兴趣区域处和周围用于CADx诊断的图像。
图1A图示了示例性CAD系统20，该系统可以用于执行包括一个或多个阶段的图像分析处理。如图所示，CAD系统20可以包括放射学工作站22、DICOM web查看器访问24、PACS服务器26和CAD设备28。放射学工作站22可以包括至少一个高清晰监视器、可调整的临床医生/操作者台、电源、台式计算机或其它这样的计算设备、电缆外围设备、电源和PACS专用外围设备，诸如PACS背光、以及PACS监视器设备支架/框架。
PACS服务器26可以包括用于数字存储、传输和检索诸如放射学图像的医学图像的系统。PACS服务器26可以包括与成像模态直接接口的软件和硬件部件。可以将图像从PACS服务器26传送到外部设备以供查看和报告。CAD设备28可以从PACS服务器26或直接从放射学工作站22访问图像。
可以包括CAD web和处理服务器或其它CAD计算设备的CAD设备28可以包括应用服务器、web服务器、处理服务器、网络服务器、大型机、台式计算机或其它计算设备中的至少一个。CAD设备28还可以包括至少一个基于Windows的、塔式或机架形状因子服务器。CAD设备28可以是可操作的，以提供用JavaScript、HTML或CSS实现的客户端用户界面。CAD设备28可以包括用例如Microsoft ASP/.NET、C#/PHP等实现的服务器侧接口。CAD设备28可以利用一个或多个云服务来扩展对其它设备(诸如放射学工作站22)的访问和服务。
CAD设备28可以使用DICOM web查看器访问24、web界面或使用应用编程接口(API)中的一个或多个经由网络与放射学工作站22通信。DICOM web查看器访问24可以包括医学图像查看器，并且可以在具有现代浏览器的任何平台上运行，诸如膝上型电脑、平板电脑、智能电话、互联网电视或其它计算设备。它可以以DICOM格式(用于诸如磁共振成像(MRI)、计算机断层扫描(CT)、回声、乳房X线照相术(mammography)等医学成像数据的标准)操作以加载本地或远程数据，并为其操纵(诸如对比度、缩放、拖动、绘制图像的某些区域，以及诸如阈值和锐化的图像过滤)提供标准工具。在一个实施例中，放射学工作站22可以通过经由放射学工作站22的计算设备的web浏览器实现DICOM web查看器访问24来与CAD设备28通信。应该理解的是，本发明构思的方面可以仅在CAD设备28上实现，该设备可能已经可以访问一个或多个医学图像。
CAD设备28可以使用用C++开发的CAD应用12来实现本发明构思的各方面，但是可以预期其它编程语言。CAD应用12可以兼容并利用诸如Windows XP、Windows Vista、Windows 7、Windows 8、Windows 10及其嵌入式对应物之类的操作系统的各方面。CAD病变应用12可以是对硬件透明的，并且可以在诸如应用服务器、网络服务器、大型机、台式计算机等各种不同的计算设备上实现。CAD应用12可以利用可以由用户(诸如临床医生)访问的外部接口。
CAD应用12可以安装到或以其它方式驻留在诸如CAD设备28的计算设备的操作系统上。CAD应用12可以包括自包含(self-contained)应用，其不需要依赖于它所驻留的操作系统外部的任何核心功能。CAD应用12可以包括DICOM接口，该接口允许CAD病变应用12接收DICOM数据以及将这些数据返回到交易的发起方。
图1B是用于实现图像处理的系统100的另一个实施例，图像处理包括执行图像分析处理，图像分析处理包括与本文所述的图1A的系统20类似的一个或多个阶段。如图所示，系统100包括图像生成设备102、一组图像104或图像帧，以及用于处理图像104的计算设备106。应该理解的是，系统20和系统100不是相互排斥的，使得如本文所述的CAD处理的发明构思可以涉及来自系统20和/或系统100的特征。
可以参考图10的处理流程1000来解释图1A和1B。在方框1002中，计算设备可以访问多个图像帧。图10的计算设备可以是CAD设备28或计算设备106。计算设备106不限于CAD设备，并且可以是台式机、膝上型电脑或服务器或移动设备。可以使用图像生成设备102生成图像帧，图像生成设备102可以包括任何数量或类型的图像生成设备，诸如换能器、3D超声波、使用连续X射线束的荧光透视设备等。图像帧或图像被描绘为图1B的如使用图像生成设备102生成的图像104。图像104可以在时间范围内拍摄，或者可以基于空间关系和位置生成。例如，操作者可以在一段时间期间在患者的区域上稍微移动换能器，并且可以在该时间段期间生成许多图像104，使得每个图像与预定的时间间隔相关联。在其它实施例中，例如在3-D超声的情况下，可以几乎瞬时拍摄诸如图像104的多个图像。在这种情况下，图像可以与唯一的空间标识符相关联，即，图像可以与患者的特定位置或部分相关联而不是与特定时间间隔相关联。如本文所述，如果确定感兴趣区域随着时间或空间在多个图像帧上持续存在，则该ROI可以被排除作为假阳性。
如方框1004所示，从方框1002的多个图像帧的第一图像帧识别感兴趣区域。换句话说，方框1004可以包括图像处理/分析的阶段，该阶段可以包括自动地检测来自图像104的可能是需要进一步评估的病变或异常的感兴趣区域(ROI)。该阶段可以被表示为CADe，其中下标e指示在感兴趣区域内检测到推定的病变或异常。可以从诸如PACS服务器26的PACS服务器访问多个图像帧，或者由图像生成设备102生成多个图像帧。
如方框1006所述，诸如计算设备106的计算设备可以用于处理图像104的第一图像帧和其它图像帧以确定感兴趣区域(ROI)是否为假阳性或需要进一步分析。更特别地，如果在方框1004中识别出可能包含病变或异常的ROI，则可以执行CADx处理/阶段。在CADx阶段，分析ROI以确定其中包含的病变是癌性或良性的可能性。下标x指示诊断。如方框1008所示，该处理涉及将第一图像帧的特征与其它图像帧的特征进行比较，以确定感兴趣区域是否跨多个帧或在多个帧之间持续存在。
如方框1006和方框1008中所描述的，使用CADx阶段处理图像帧可能涉及各种不同的可能的子方法，诸如本文所述的光学流、基于块的方法、映射函数等。例如，CAD设备28或计算设备106的至少一个处理器可以用于通过光学流技术和块匹配来计算时间/连续帧之间的映射，以确定帧之间对象的跟踪信息。可以使用静态CADe技术来识别独立的ROI，该技术处理序列的每个视点的一个图像。然后可以使用跟踪信息来确定跨帧的ROI是否与持久ROI相关。真正病变或异常应该在许多帧上持续存在，而假阳性将不会。用户可以手动或自动地(例如，经由计算设备或CAD设备28的接口)适配帧的数量，以便以降低真实阳性率为代价来控制假阳性的减少。
使用通过光学流方法获得的跟踪信息，ROI的重叠程度也可以用于确定病变在帧之间是否相同或者是否其仅仅是两个假阳性。可以调整重叠程度以便减少更多的假阳性或增加真实检测的数量。已经发现本文描述的方法的执行减少了假阳性的数量，同时保持了使用静态CADe方法实现的相同的真阳性率。
在一个实施例中，为了实现方框1006和方框1008的各方面，可以通过分析与感兴趣区域相关联的像素和向量将图像帧与第一图像帧相关。换句话说，图像帧可以与第一图像帧相关，其中图像帧和第一图像帧描绘相似的像素，并且向量在相同的方向上移动。
预期使用CAD系统20或系统100从图像提取的病变形态、纹理和其它特征可以用作训练分类器以检测推定病变的特征。此外，预期静态方法可以用于检测视频或静止医学图像的各个帧的推定病变。对于本文的目的，静态方法是CADe方法，其可以在一个独立的、两个正交的图像视点上处理，或者从体积数据集处理捕获的或重新绘制的图像的一些子集。CADe方法不仅限于形态和纹理，而是包括在一个图像中搜索可疑区域的任何方法。例如，如Viola-Jones方法的级联Adaboost方法、卷积神经网络(CNN)、使用Haralick的支持向量机(SVM)和其它特征是可以用于静态CADe方法的技术。使用本文描述的CAD系统20或系统100和方法以及在实时医学成像应用(例如，超声成像系统)中可用的动态信息，可以增强静态CADe系统的性能。光学流或光流是视觉场景中对象、表面和边缘的明显运动的模式。有序图像的序列允许将运动估计为瞬时图像速度或离散图像位移。光学流方法被划分为基于梯度的方法或基于特征的方法，并且可以使用估计其运动的对象的随机或确定性模型。光学流算法包括但不限于相位相关、基于块的方法、如Lucas-Kanade方法的差分方法、Horn-Schunck方法、Buxton-Buxton方法、Black-Jepson方法、一般变分方法和离散优化方法。这里可以描述块匹配方法跟踪序列中图像之间的像素图块中的灰度变化。
在一个实施例中，本发明构思的系统和方法可以有利地使用基于静态的CADe方法针对每个帧单独地计算ROI。本发明构思的系统和方法可以使用光学流方法的优选方法来确定从各种视点取得的ROI的视频序列中的连续帧之间的跟踪信息。具体而言，跟踪信息可以用于确定使用静态CADe方法在每个帧中独立获得的ROI是否可以使用光学流向量场彼此相关。持久性被测量为能够基于ROI的重叠百分比跟踪ROI的帧的数量。持久性因子用于过滤出具有低持久性的推定病变。使用光学流方法未通过若干帧跟踪到的任何ROI可以被确定或视为假阳性。可以适配持久性因子或帧的数量以便以更高概率的遗漏病变为代价来减少更多的假阳性。也可以适配基于跟踪的预测和实际ROI位置的ROI的重叠程度以减少假阳性的数量或增加真阳性的数量。通过提供计算机辅助检测方法来识别具有高概率包含病变或异常的感兴趣区域(ROI)可以在本发明构思的一个方面实现上述内容。
在一些实施例中，利用如本文所述的CAD系统的示例性方法可以包括使用时间信息来减少假阳性的数量同时保持灵敏度或真实检测的数量的步骤。可以使用光学流技术来确定时间信息。
示例性方法还可以包括使用跟踪信息确定分别针对每个图像帧使用传统静态CADe方法找到的ROI之间的相关性的步骤。示例性方法还可以包括使用跟踪信息测量作为出现ROI的帧的数量的持久性以确定假阳性或低持久性和真实阳性或高持久性的步骤。示例性方法还可以包括通过确定由跟踪运动向量给出的预测ROI的重叠程度来测量持久性的步骤。本发明构思可以实时地实现或者在诸如电影回放(cineloop)的记录视频上实现。可以预见，本发明构思的任何捕获的图像和/或视频可以是二维图像和/或视频，诸如但不限于电影回放。例如，如在超声过程中使用的电影回放可以被并入到本发明构思的处理和/或方法中。此外，可以预见，本发明构思的系统和方法的至少一个或多个部分，优选地所有部分利用并符合医学数字成像和通信(DICOM)格式标准。以这种方式，本发明构思的系统和方法利用DICOM文件格式定义、网络通信协议等。
除了确定帧间对应性和关系之外，本文描述的光学流方法可以用于表征组织对剪切力和压缩力的响应。这些力可以由操作者在他们的检查过程中移动换能器时在换能器上施加压力时施加。众所周知的事实是，由于细胞密度的变化，某些类型的病变可能表现出不同水平的硬度和可变形性。本文描述的系统在跟踪感兴趣区域跨空间或时间帧的位置和形状时也可以推断该区域相对于其周围环境的可压缩性。然后，它可以使用该特性来帮助其确定该区域是否对应于异常或正常组织。
如本文所述，本发明构思的各方面可以利用一个或多个光学流传感器来生成图像之间的映射或跟踪信息。光学流传感器可以包括视觉传感器，该视觉传感器可操作以测量光学流或视觉运动并输出测量值。所描述的光学传感器的各种实施例可以包括耦合到处理器的图像传感器芯片，其中处理器可操作以执行光学流应用。其它实施例可以包括作为具有设置在公共管芯等类似部件上的图像传感器和处理器以增加密度并减小空间的集成电路的视觉芯片。
在另一个实施例中，可以(单独地或与上述组合)实现时间分析特征属性的处理，以提高检测准确度。确定持久性属性可以有助于从瞬时异常中识别真实病变，所述瞬时异常仅在几个时间帧中检测到或者出现在不遵循运动场或跟踪信息的随机位置处。具体而言，可以利用与上述类似的光学流方法来找到映射函数。可以使用映射或跟踪信息来确定跟踪信息是否可以与使用静态(2D)CADe方法在每个时间帧(或至少多个时间帧)中找到的感兴趣区域(ROI)相关。真实病变可以被识别为可以在许多帧上跟踪到的ROI，其中所理解的是假阳性通常持续非常少的帧并且出现在与光学流跟踪信息不相关的随机位置处。换句话说，本新颖构思有利地利用时间信息来改善任何静态CADe系统的性能。本发明构思的映射函数可以包括振幅和向量映射，以确定医学图像的连续时间帧之间的运动或跟踪信息。
本发明构思可以涉及利用CAD系统(诸如CAD系统20)来执行可以包括两个阶段的图像分析处理。该处理的第一阶段可以是自动检测可能是需要进一步评估的病变或异常的感兴趣区域(ROI)。该阶段可以被表示为CADe，其中下标e指示在感兴趣区域内检测到推定的病变或异常。如果识别出可能包含病变或异常的ROI，则可以自动执行处理的下一阶段，即，CADx。在CADx阶段，分析ROI以确定其中包含的病变是癌性或良性的可能性。下标x指示诊断。
使用所描述的系统，可以进行医学图像的计算机辅助检测以检测在连续视频帧中自动检测到的ROI的时间持久性。检测ROI的时间持久性可以用于增强检测到真实病变或其它异常的概率，同时减少假阳性的数量。在一个实施例中，本发明构思通过光学流技术利用时间帧之间的映射来确定帧之间的对象的跟踪信息。可以使用静态CADe技术来识别独立ROI，该技术一次处理一帧而没有任何时间信息。跟踪信息用于确定跨帧的ROI是否与被跟踪的组相关。真实病变或异常应该在许多帧上持续存在，而假阳性将不会。用户可以手动或自动地(例如，经由本发明构思的界面和/或预定配置)适配帧的数量，以便以降低真实阳性率为代价来控制假阳性的减少。使用通过光学流方法获得的跟踪信息，ROI的重叠程度也可以用于确定病变在帧之间是否相同或者是否其仅仅是两个假阳性。可以调整重叠程度以减少更多的假阳性或增加真实检测的数量。已经发现本新动态方法的执行减少了假阳性的数量，同时保持了使用静态CADe方法实现的相同的真阳性率。
可以预见，用于分类的病变形态、纹理和其它特征(其中一些可能是常用特征)可以用作训练分类器以检测这种能力中推定病变的特征。此外，可以预见，静态方法可以用于检测视频或静止医学图像的各个帧的推定病变。对于本文的目的，静态方法可以包括CADe方法。CADe方法不限于形态和纹理，而是包括在一个图像中搜索可疑区域的任何方法。例如，如Viola-Jones方法的级联Adaboost方法、卷积神经网络(CNN)、使用Haralick的支持向量机(SVM)和其它特征是可以用于静态CADe方法的技术。使用本发明构思的系统和方法以及在实时医学成像应用(例如，超声成像系统)中可用的动态信息，可以提高静态CADe系统的性能。
光学流或光流是视觉场景中对象、表面和边缘的明显运动的模式。有序图像的序列允许将运动估计为瞬时图像速度或离散图像位移。光学流方法被划分为基于梯度的方法或基于特征的方法，并且可以使用估计其运动的对象的随机或确定性模型。光学流算法包括但不限于相位相关、基于块的方法、如Lucas-Kanade方法的差分方法、Horn-Schunck方法、Buxton-Buxton方法、Black-Jepson方法、一般变分方法和离散优化方法。
在一个实施例中，本发明构思的系统和方法有利地利用视频图像的连续帧之间的匹配处理来提高在检测到的ROI中检测到真实病变的概率。本发明构思的系统和方法有利地利用光学流方法来匹配一个图像内的ROI的子区域与另一个图像的类似子区域。
在一个实施例中，本发明构思的系统和方法有利地使用基于静态的CADe方法针对每个帧单独地计算ROI。本发明构思的系统和方法还可以利用光学流方法来确定视频序列中连续帧之间的跟踪信息。跟踪信息用于确定使用静态CADe方法在每个帧中独立获得的ROI是否可以使用光学流向量场彼此相关。持久性被测量为能够基于ROI的重叠百分比跟踪的ROI的帧的数量。持久性因子用于过滤出具有低持久性的推定病变。使用光学流方法未通过若干帧跟踪到的任何ROI被确定为假阳性。可以适配持久性因子或帧的数量以便以更高概率遗漏病变为代价来减少更多的假阳性。也可以适配基于跟踪的预测和实际ROI位置的ROI的重叠程度以减少假阳性的数量或增加真阳性的数量。
通过提供计算机辅助检测方法来识别具有高概率包含病变或异常的感兴趣区域(ROI)可以在本发明构思的一个方面实现上述内容。该方法可以包括使用时间信息来减少假阳性的数量同时保持灵敏度或真实检测的数量的步骤。可以使用光学流技术来确定时间信息。
方法可以包括使用跟踪信息确定分别针对每个图像帧使用传统静态CADe方法找到的ROI之间的相关性的步骤。该方法可以包括使用跟踪信息测量作为出现ROI的帧的数量的持久性以确定假阳性或低持久性和真阳性或高持久性的步骤。该方法还可以包括通过确定由跟踪运动向量给出的预测ROI的重叠程度来测量持久性的步骤。
可以预见，本发明构思的任何捕获的图像和/或视频可以是二维图像和/或视频，诸如但不限于电影回放。例如，如在超声过程中使用的电影回放可以被并入到本发明构思的处理和/或方法中。此外，可以预见，本发明构思的系统和方法的至少一个或多个部分，优选地所有部分利用并符合医学数字成像和通信(DICOM)格式标准。以这种方式，本发明构思的系统和方法利用DICOM文件格式定义、网络通信协议等。
可以使用静态CADe方法来检测ROI。更大程度的重叠可以对应于更高概率的真实病变或更低概率的假阳性。
通过提供使用计算机辅助检测系统检测病变或异常的方法可以在本发明构思的另一方面实现上述内容。该方法包括以下步骤：收集图像数据、视频剪辑和/或其序列和/或其组合、收集与图像数据相关联的时间信息，和/或处理图像数据和时间数据以检测与图像数据和时间数据相关联的差异并减少假阳性病变或异常检测的数量。图像数据可以是2D图像数据。该方法可以包括在时间上使用至少一种光学流技术来提高系统性能的步骤。
通过提供被配置为识别具有高概率包含病变或异常的感兴趣区域(ROI)的计算机辅助检测系统可以在本发明构思的另一方面实现上述内容。该系统可以包括被配置为减少的处理器。
本公开的系统可以包括相关引擎，该相关引擎由处理器(例如CAD设备28)执行，该处理器被配置为使用跟踪信息确定分别针对每个图像帧使用传统静态CADe方法找到的ROI之间的相关性。处理器可以被配置为使用跟踪信息来测量作为出现ROI的帧的数量的持久性，以确定假阳性或低持久性和真阳性或高持久性。处理器可以被配置为通过确定由跟踪运动向量给出的预测ROI的重叠程度来测量持久性。可以使用静态CADe方法来检测ROI。更大程度的重叠可以对应于更高概率的真实病变或更低概率的假阳性。
通过提供被配置为检测病变或异常的系统可以在本发明构思的另一方面实现上述内容。该系统可以包括被配置为接收图像数据和时间信息的处理器和/或被配置为存储图像数据和时间信息的存储器。处理器可以被配置为处理图像数据和时间数据以检测与图像数据和时间数据相关联的差异，并减少假阳性病变或异常检测的数量。
总之，计算机辅助检测(CAD或CADe)系统可以用于检测医学图像中的病变或感兴趣区域(ROI)。CAD系统可以使用形态和纹理特征来估计图像内包含病变的ROI的可能性。病变的大小、形状、方位以及不明确的边界和背景噪声的巨大变化使得难以将实际病变与正常背景结构或组织特性区分开。当系统被设置为可接受数量的假阴性或遗漏病变时，常规检测方法可能产生许多假阳性或当病变不存在时检测到病变。在乳房X线照相术CAD中，通常每一个真正检测到的癌症都有数以千计的假阳性，这使得系统对于放射科医师来说效率低下。所描述的本发明构思通过使用光学流方法来识别随时间持续检测到的ROI来克服该限制。潜在病变的持久性的属性有助于减少假阳性并提高检测到真实病变的可能性。与用于自动ROI病变检测的静态CADe方法相比，这种新的动态方法提供了改进的性能。
图11是用于实现本发明构思的各方面的另一个示例性处理流程1100，其类似于图10的处理流程1000。如方框1102所示，可以实现CAD设备来执行某些功能。具体而言，在方框1104中，CAD设备可以访问与预定时间间隔或患者的空间区域相关联的连续图像帧。在方框1106中，可以在一个或多个连续图像帧内识别感兴趣区域。在方框1108中，可以实现光学流或映射函数来处理连续图像帧并确定感兴趣区域是否在序列中的一个或多个图像帧之间持续存在。在方框1110中，可以生成持久性值。如方框1112所示，持久性值基于感兴趣区域在连续图像帧的帧之间的重叠程度。
显示设备108还可以与计算设备106一起实现以处理图像，或者在处理之后显示图像104。在一些实施例中，显示设备直接耦合到计算设备106，或者这些设备是同一设备的一部分。
本发明构思的其它方面、优点和用途将部分地在本说明书和附图中阐述，并且部分地将从本说明书和附图中显而易见，或者可以通过本发明的实践来学习。本说明书和附图旨在是说明性的而不是限制性的。可以进行本发明构思的许多特征和子组合，并且这些特征和子组合在研究本说明书和附图时将是显而易见的。可以在不引用其它特征和子组合的情况下采用这些特征和子组合。
Claims (20)
1.一种计算机辅助检测以识别具有高概率包含病变或异常的感兴趣区域(ROI)的方法，所述方法包括：
通过以下步骤，使用与多个图像帧中的相邻图像帧相关联的持久空间和/或时间信息来减少假阳性的数量，同时保持或增强灵敏度或真实检测的数量：
使用跟踪信息确定分别针对所述多个图像帧中的每个图像帧使用一个或多个静态计算机辅助检测(CADe)方法检测到的ROI之间的一个或多个相关性；以及
通过使用所述跟踪信息确定从中检测到所述ROI的图像帧的数量，或者通过使用所述跟踪信息确定所述多个图像帧中的相邻图像帧中所述ROI的重叠程度，测量所述ROI的持久性。
2.如权利要求1所述的方法，其中，确定在所述多个图像帧中使用所述一个或多个静态CADe方法检测到的ROI之间的一个或多个相关性包括使用一种或多种光学流技术来比较所述多个图像帧中的相邻图像帧中的特征。
3.如权利要求1所述的方法，还包括：
使用所述一个或多个静态CADe方法来检测所述一个或多个ROI。
4.如权利要求1所述的方法，还包括：
当所述持久性越高时，确定所述ROI具有越高概率是真实病变或越低概率是假阳性。
5.如权利要求4所述的方法，其中，当图像帧的数量或重叠程度越大时，所述持久性越高。
6.如权利要求1所述的方法，还包括：
跟踪所述ROI的位置和形状；以及
推断所述ROI相对于周围特征的可压缩性，以确定所述ROI是对应于异常组织还是对应于正常组织。
7.如权利要求1所述的方法，还包括：
根据由光学流计算产生的一个或多个向量场推断所述ROI的可压缩性；以及
通过利用根据由光学流计算产生的所述一个或多个向量场的可压缩性形成诊断结论。
8.如权利要求1所述的方法，其中，通过确定重叠程度来测量所述ROI的持久性，并且所述方法还包括：
确定所述重叠程度是否大于预定重叠程度，所述预定重叠程度是可调整的以减少更多的假阳性或增加真实检测的数量。
9.如权利要求1所述的方法，还包括：
利用光学流技术生成所述跟踪信息，所述跟踪信息基于所述多个图像帧中的至少一个特征的运动。
10.如权利要求1所述的方法，还包括：
使用与光学流技术相关联的函数生成所述跟踪信息，
其中，所述函数包括振幅和向量映射，以确定所述多个图像帧中的相邻帧之间的跟踪信息，所述多个图像帧中的相邻帧包括医学图像的连续时间帧。
11.如权利要求1所述的方法，其中，所述跟踪信息包括跟踪运动向量。
12.如权利要求1所述的方法，其中，所述多个图像帧包括医学数字成像和通信(DICOM)文件格式图像。
13.如权利要求1所述的方法，还包括：
使用由操作者编辑的包括所述ROI的图像帧重新训练所述一个或多个CADe方法，以便识别和标记由所述一个或多个CADe方法产生的真实检测中的错误。
14.如权利要求1所述的方法，还包括：
基于在预定时间范围上收集的组织区域的图像数据来生成所述多个图像帧，使得所述多个图像帧能根据如下序列被组织：在所述序列中，每个图像帧与在时间上接近顺序相邻的图像帧的时刻的时刻相关联。
15.如权利要求1所述的方法，还包括：
基于在预定空间范围内收集的组织区域的图像数据来生成所述多个图像帧，使得所述多个图像帧能根据如下序列被组织：在所述序列中，每个图像帧与在空间上接近顺序相邻的图像帧的空间位置的空间位置相关联。
16.如权利要求1所述的方法，其中，确定在所述多个图像帧中使用所述一个或多个静态CADe方法检测到的ROI之间的一个或多个相关性包括利用基于块的方法比较所述多个图像帧中的第一图像帧和第二图像帧中的特征以分析所述第一图像帧的特征与所述第二图像帧的特征之间的差异，从而估计与所述第一图像帧的特征相关联的运动。
17.如权利要求1所述的方法，还包括：
使用换能器、超声波或荧光透视中的至少一个生成所述多个图像帧。
18.如权利要求1所述的方法，还包括：
基于所述持久性确定所述ROI是不包含病变或异常的假阳性区域、还是包含病变或异常的真阳性区域。
19.如权利要求18所述的方法，其中，基于所述持久性确定所述ROI是假阳性区域、还是真阳性区域包括当图像帧的数量低于阈值或重叠程度低于阈值时确定所述ROI是假阳性区域。
20.一种装置，包括：
存储器；以及
处理器，被配置为执行所述存储器中存储的一个或多个指令以事实如权利要求1-19中任一项所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662377945P | 2016-08-22 | 2016-08-22 | |
| US62/377,945 | 2016-08-22 | ||
| US15/338,707 | 2016-10-31 | ||
| US15/338,707 US10346982B2 (en) | 2016-08-22 | 2016-10-31 | Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy |
| PCT/US2017/047995 WO2018039218A1 (en) | 2016-08-22 | 2017-08-22 | Computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109791692A CN109791692A (zh) | 2019-05-21 |
| CN109791692B true CN109791692B (zh) | 2023-12-05 |
Family
ID=61191897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780059923.6A Active CN109791692B (zh) | 2016-08-22 | 2017-08-22 | 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10346982B2 (zh) |
| EP (1) | EP3500976A4 (zh) |
| JP (2) | JP6985371B2 (zh) |
| CN (1) | CN109791692B (zh) |
| AU (1) | AU2017316625B2 (zh) |
| CA (1) | CA3034699A1 (zh) |
| WO (1) | WO2018039218A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9536054B1 (en) | 2016-01-07 | 2017-01-03 | ClearView Diagnostics Inc. | Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations |
| US10339650B2 (en) | 2016-01-07 | 2019-07-02 | Koios Medical, Inc. | Method and means of CAD system personalization to reduce intraoperator and interoperator variation |
| US10346982B2 (en) | 2016-08-22 | 2019-07-09 | Koios Medical, Inc. | Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy |
| US10140709B2 (en) * | 2017-02-27 | 2018-11-27 | International Business Machines Corporation | Automatic detection and semantic description of lesions using a convolutional neural network |
| JP6751691B2 (ja) * | 2017-06-15 | 2020-09-09 | ルネサスエレクトロニクス株式会社 | 異常検出装置及び車両システム |
| CA3081643A1 (en) * | 2017-11-06 | 2019-05-09 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
| US10799189B2 (en) * | 2017-11-22 | 2020-10-13 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
| AU2019265531A1 (en) * | 2018-05-07 | 2020-10-08 | Hologic, Inc. | Breast ultrasound workflow application |
| US11446008B2 (en) * | 2018-08-17 | 2022-09-20 | Tokitae Llc | Automated ultrasound video interpretation of a body part with one or more convolutional neural networks |
| CN110008971B (zh) | 2018-08-23 | 2022-08-09 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN110136107B (zh) * | 2019-05-07 | 2023-09-05 | 上海交通大学 | 基于dssd和时域约束x光冠脉造影序列自动分析方法 |
| US11844497B2 (en) * | 2020-02-28 | 2023-12-19 | Covidien Lp | Systems and methods for object measurement in minimally invasive robotic surgery |
| JP7457571B2 (ja) * | 2020-05-19 | 2024-03-28 | 富士フイルムヘルスケア株式会社 | 超音波診断装置及び診断支援方法 |
| CN112017155B (zh) * | 2020-07-13 | 2023-12-26 | 浙江华锐捷技术有限公司 | 健康体征数据的测量方法、装置、系统和存储介质 |
| KR102451422B1 (ko) * | 2020-11-24 | 2022-10-07 | 울산과학기술원 | 초고해상도 이미지와 고속 광시야 이미지를 동시에 획득하는 방법 및 장치 |
| KR102602392B1 (ko) * | 2020-12-31 | 2023-11-16 | 주식회사 카이미 | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 |
| EP4356345A1 (en) * | 2021-06-18 | 2024-04-24 | Subtle Medical, Inc. | Systems and methods for real-time video denoising |
| CN116246215B (zh) * | 2023-05-11 | 2024-01-09 | 小手创新(杭州)科技有限公司 | 基于视觉算法的识别新进物品的方法、桶盖及智能回收桶 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2004252917A1 (en) * | 2003-06-27 | 2005-01-06 | Siemens Healthcare Gmbh | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system |
| CN1820274A (zh) * | 2003-06-27 | 2006-08-16 | 美国西门子医疗解决公司 | 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持 |
| CN101116110A (zh) * | 2005-02-08 | 2008-01-30 | 皇家飞利浦电子股份有限公司 | 医学图像浏览协议 |
| CN101563708A (zh) * | 2006-12-19 | 2009-10-21 | 皇家飞利浦电子股份有限公司 | 用于指示医学成像数据中可能经计算机检测的假阳性的装置和方法 |
| WO2011065950A1 (en) * | 2009-11-27 | 2011-06-03 | Qview Medical, Inc. | Interactive display of computer aided detection radiological screening results combined with quantitative prompts |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5260871A (en) | 1991-07-31 | 1993-11-09 | Mayo Foundation For Medical Education And Research | Method and apparatus for diagnosis of breast tumors |
| JP2852866B2 (ja) | 1994-03-30 | 1999-02-03 | 株式会社学習情報通信システム研究所 | コンピュータによる画像診断学習支援方法 |
| US20030083903A1 (en) | 2001-10-30 | 2003-05-01 | Myers Gene E. | Method and apparatus for contemporaneous billing and documenting with rendered services |
| BR0314589A (pt) | 2002-09-24 | 2005-08-09 | Eastman Kodak Co | Método e sistema para visualizar resultados de uma análise por detecção com auxìlio de computador de uma imagem digital, e, método para identificar anormalidades em um mamograma |
| US7418119B2 (en) | 2002-10-31 | 2008-08-26 | Siemens Computer Aided Diagnosis Ltd. | Display for computer-aided evaluation of medical images and for establishing clinical recommendation therefrom |
| US6909795B2 (en) | 2003-06-16 | 2005-06-21 | R2 Technology, Inc. | Communicating computer-aided detection results in a standards-based medical imaging environment |
| EP1636731A2 (en) | 2003-06-25 | 2006-03-22 | Siemens Medical Solutions USA, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
| CA2530595A1 (en) | 2003-06-25 | 2005-01-06 | Siemens Medical Solutions Usa, Inc. | Automated regional myocardial assessment for cardiac imaging |
| US8265728B2 (en) * | 2003-11-26 | 2012-09-11 | University Of Chicago | Automated method and system for the evaluation of disease and registration accuracy in the subtraction of temporally sequential medical images |
| JP4558394B2 (ja) * | 2004-07-02 | 2010-10-06 | 株式会社日立メディコ | 画像診断支援装置 |
| US20060210133A1 (en) | 2005-03-03 | 2006-09-21 | Sriram Krishnan | Performance adjustments in medical decision support systems |
| US7904135B2 (en) * | 2005-05-06 | 2011-03-08 | General Hospital Corporation | Magnetic resonance spatial risk map for tissue outcome prediction |
| US8019170B2 (en) | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
| US8014576B2 (en) | 2005-11-23 | 2011-09-06 | The Medipattern Corporation | Method and system of computer-aided quantitative and qualitative analysis of medical images |
| DE102006018413A1 (de) | 2006-04-20 | 2007-10-25 | Siemens Ag | MR-Tomograph mit einem System zur Kontrastoptimierung von MRT-Bildern |
| WO2007138533A2 (en) | 2006-05-25 | 2007-12-06 | Pace Plc | Identifying and dynamically presenting regions of interest in a digital image |
| US20090238422A1 (en) | 2008-05-13 | 2009-09-24 | Three Palm Software | Communicative cad system for assisting breast imaging diagnosis |
| JP4958659B2 (ja) * | 2007-07-03 | 2012-06-20 | キヤノン株式会社 | 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体 |
| US20090034809A1 (en) * | 2007-08-01 | 2009-02-05 | Fujifilm Corporation | Abnormal tissue pattern detection apparatus, method and program |
| US20090034810A1 (en) * | 2007-08-03 | 2009-02-05 | Fujifilm Corporation | Abnormal tissue pattern detection apparatus, method and program |
| JP5186858B2 (ja) | 2007-09-27 | 2013-04-24 | 富士フイルム株式会社 | 医用情報処理システム、医用情報処理方法、及びプログラム |
| US9218656B2 (en) | 2007-10-05 | 2015-12-22 | Siemens Medical Solutions Usa, Inc. | Method and system for automatic classification of lesions in breast MRI |
| JP5346938B2 (ja) * | 2008-09-01 | 2013-11-20 | 株式会社日立メディコ | 画像処理装置、及び画像処理装置の作動方法 |
| US9189670B2 (en) | 2009-02-11 | 2015-11-17 | Cognex Corporation | System and method for capturing and detecting symbology features and parameters |
| US20110200227A1 (en) * | 2010-02-17 | 2011-08-18 | Siemens Medical Solutions Usa, Inc. | Analysis of data from multiple time-points |
| US8885898B2 (en) | 2010-10-07 | 2014-11-11 | Siemens Medical Solutions Usa, Inc. | Matching of regions of interest across multiple views |
| AU2012220301B2 (en) * | 2011-02-24 | 2017-04-13 | Cadens Medical Imaging Inc. | Method and apparatus for isolating a potential anomaly in imaging data and its application to medical imagery |
| JP5875285B2 (ja) | 2011-08-16 | 2016-03-02 | キヤノン株式会社 | 医療診断支援装置、情報処理方法及びプログラム |
| JP2013169296A (ja) * | 2012-02-20 | 2013-09-02 | Canon Inc | 画像処理装置及び画像処理方法 |
| JP6150985B2 (ja) * | 2012-04-12 | 2017-06-21 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及びプログラム |
| US20140066767A1 (en) | 2012-08-31 | 2014-03-06 | Clearview Diagnostics, Inc. | System and method for noise reduction and signal enhancement of coherent imaging systems |
| KR20140049137A (ko) * | 2012-10-12 | 2014-04-25 | 삼성전자주식회사 | 의료영상 분석장치 및 방법 |
| KR20140055152A (ko) | 2012-10-30 | 2014-05-09 | 삼성전자주식회사 | 병변 진단 보조 장치 및 방법 |
| KR20150066963A (ko) * | 2013-12-09 | 2015-06-17 | 삼성전자주식회사 | 의료 영상 배치 방법 및 이를 위한 의료 기기 |
| JP2015116319A (ja) | 2013-12-18 | 2015-06-25 | パナソニックＩｐマネジメント株式会社 | 診断支援装置、診断支援方法、および診断支援プログラム |
| KR20150098119A (ko) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
| CN104143101A (zh) | 2014-07-01 | 2014-11-12 | 华南理工大学 | 一种基于超声图像的乳腺肿瘤区域自动识别方法 |
| KR20160020917A (ko) * | 2014-08-14 | 2016-02-24 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
| JP6134986B2 (ja) * | 2014-09-01 | 2017-05-31 | 富士フイルム株式会社 | 医用画像計測装置およびその作動方法並びに医用画像計測プログラム |
| KR102347249B1 (ko) | 2014-10-21 | 2022-01-04 | 삼성전자주식회사 | 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법 |
| US9569692B2 (en) | 2014-10-31 | 2017-02-14 | The Nielsen Company (Us), Llc | Context-based image recognition for consumer market research |
| KR20160054992A (ko) | 2014-11-07 | 2016-05-17 | 삼성전자주식회사 | 관심영역의 재검출 회피 장치 및 방법 |
| KR102014104B1 (ko) * | 2014-12-01 | 2019-08-26 | 고쿠리츠켄큐카이하츠호진 상교기쥬츠 소고켄큐쇼 | 초음파 검사 시스템 및 초음파 검사 방법 |
| US9760990B2 (en) | 2014-12-14 | 2017-09-12 | International Business Machines Corporation | Cloud-based infrastructure for feedback-driven training and image recognition |
| KR102412122B1 (ko) * | 2015-05-27 | 2022-06-23 | 삼성전자주식회사 | 의료 영상 디스플레이 방법 및 장치 |
| US10339650B2 (en) * | 2016-01-07 | 2019-07-02 | Koios Medical, Inc. | Method and means of CAD system personalization to reduce intraoperator and interoperator variation |
| US9536054B1 (en) | 2016-01-07 | 2017-01-03 | ClearView Diagnostics Inc. | Method and means of CAD system personalization to provide a confidence level indicator for CAD system recommendations |
| US9959617B2 (en) * | 2016-01-28 | 2018-05-01 | Taihao Medical Inc. | Medical image processing apparatus and breast image processing method thereof |
| CN105913086A (zh) | 2016-04-12 | 2016-08-31 | 福州大学 | 一种应用特征权重自适应选择的计算机辅助诊断乳腺的方法 |
| US10346982B2 (en) | 2016-08-22 | 2019-07-09 | Koios Medical, Inc. | Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy |
| US10610302B2 (en) | 2016-09-20 | 2020-04-07 | Siemens Healthcare Gmbh | Liver disease assessment in medical imaging |
-
2016
- 2016-10-31 US US15/338,707 patent/US10346982B2/en active Active
-
2017
- 2017-08-22 AU AU2017316625A patent/AU2017316625B2/en active Active
- 2017-08-22 JP JP2019509494A patent/JP6985371B2/ja active Active
- 2017-08-22 EP EP17844275.2A patent/EP3500976A4/en active Pending
- 2017-08-22 CA CA3034699A patent/CA3034699A1/en active Pending
- 2017-08-22 CN CN201780059923.6A patent/CN109791692B/zh active Active
- 2017-08-22 WO PCT/US2017/047995 patent/WO2018039218A1/en unknown
-
2019
- 2019-07-08 US US16/504,940 patent/US11551361B2/en active Active
-
2021
- 2021-11-25 JP JP2021191137A patent/JP7183376B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2004252917A1 (en) * | 2003-06-27 | 2005-01-06 | Siemens Healthcare Gmbh | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system |
| CN1820274A (zh) * | 2003-06-27 | 2006-08-16 | 美国西门子医疗解决公司 | 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持 |
| CN101116110A (zh) * | 2005-02-08 | 2008-01-30 | 皇家飞利浦电子股份有限公司 | 医学图像浏览协议 |
| CN101563708A (zh) * | 2006-12-19 | 2009-10-21 | 皇家飞利浦电子股份有限公司 | 用于指示医学成像数据中可能经计算机检测的假阳性的装置和方法 |
| WO2011065950A1 (en) * | 2009-11-27 | 2011-06-03 | Qview Medical, Inc. | Interactive display of computer aided detection radiological screening results combined with quantitative prompts |
Non-Patent Citations (4)
| Title |
|---|
| "Improved mass detection in 3D automated breast ultrasound using region based features and multi-view information";YE CHUYANG等;《36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY》;20140826;全文 * |
| "Integration of Region Tracking and Optical Flow for Image Motion Estimation";Ulrich Neumann等;《Proceedings 1998 International Conference on Image Processing》;19981031;全文 * |
| "Velocity Estimation in Ultrasound Images: A Block Matching Approach";Djamal Boukerroui等;《LECTURE NOTES IN COMPUTER SCIENCE》;20030131;全文 * |
| 乳腺肿瘤超声图像中感兴趣区域的自动检测;苏燕妮等;《中国生物医学工程学报》;20100420(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2017316625A1 (en) | 2019-02-28 |
| JP2019530490A (ja) | 2019-10-24 |
| US20180053300A1 (en) | 2018-02-22 |
| CA3034699A1 (en) | 2018-03-01 |
| EP3500976A1 (en) | 2019-06-26 |
| WO2018039218A1 (en) | 2018-03-01 |
| US11551361B2 (en) | 2023-01-10 |
| AU2017316625B2 (en) | 2022-07-21 |
| EP3500976A4 (en) | 2020-03-11 |
| US20200175684A1 (en) | 2020-06-04 |
| JP6985371B2 (ja) | 2021-12-22 |
| US10346982B2 (en) | 2019-07-09 |
| CN109791692A (zh) | 2019-05-21 |
| JP2022024139A (ja) | 2022-02-08 |
| JP7183376B2 (ja) | 2022-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109791692B (zh) | 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法 | |
| US8634622B2 (en) | Computer-aided detection of regions of interest in tomographic breast imagery | |
| EP2212859B1 (en) | Method and apparatus for volume rendering of data sets | |
| US7298881B2 (en) | Method, system, and computer software product for feature-based correlation of lesions from multiple images | |
| Krishna et al. | Computer aided abnormality detection for kidney on FPGA based IoT enabled portable ultrasound imaging system | |
| JP2023009098A (ja) | オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法 | |
| US9427173B2 (en) | Determining mechanical force on aneurysms from a fluid dynamic model driven by vessel blood flow information | |
| EP3675043B1 (en) | Systems and methods for deep learning-based image reconstruction | |
| Shao et al. | Prostate boundary detection from ultrasonographic images | |
| EP2943913B1 (en) | System and method for reducing data transmission volume in tomosynthesis | |
| CN111540025A (zh) | 预测用于图像处理的图像 | |
| Chen et al. | Real-time freehand 3D ultrasound imaging | |
| CN109313803B (zh) | 一种用于映射对象的身体的至少部分的图像中的结构的至少部分的方法和装置 | |
| US20160210774A1 (en) | Breast density estimation | |
| US11452494B2 (en) | Methods and systems for projection profile enabled computer aided detection (CAD) | |
| US20190247013A1 (en) | Detection of microcalcifications in anatomy using quantitative transmission ultrasound tomography | |
| WO2020133236A1 (zh) | 一种脊柱的成像方法以及超声成像系统 | |
| US11881301B2 (en) | Methods and systems for utilizing histogram views for improved visualization of three-dimensional (3D) medical images | |
| KR20220012462A (ko) | 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |