CN108135552A - 投影x射线图像的改进的可视化 - Google Patents

投影x射线图像的改进的可视化 Download PDF

Info

Publication number
CN108135552A
CN108135552A CN201680056907.7A CN201680056907A CN108135552A CN 108135552 A CN108135552 A CN 108135552A CN 201680056907 A CN201680056907 A CN 201680056907A CN 108135552 A CN108135552 A CN 108135552A
Authority
CN
China
Prior art keywords
bone
image
image data
object bone
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680056907.7A
Other languages
English (en)
Other versions
CN108135552B (zh
Inventor
J·冯贝格
S·扬
P·阿迪卡拉特瓦拉皮尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108135552A publication Critical patent/CN108135552A/zh
Application granted granted Critical
Publication of CN108135552B publication Critical patent/CN108135552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5252Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data removing objects from field of view, e.g. removing patient table from a CT image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了一种用于获得被包括在投影X射线图像中的骨骼对象的改进的可视化的系统和方法。投影X射线图像包括至少部分交叠的骨骼对象。根据系统和方法,通过轮廓描绘多个骨骼对象,从而获得多个描绘的骨骼对象。针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于图像以获得相应的骨骼图像数据,所述相应的骨骼图像数据个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影。针对多个描绘的骨骼对象中的每个所生成的骨骼图像数据用于生成骨骼对象不交叠的输出图像。所述系统和方法的优点在于可以根据通过投影射线照相获得的X射线图像创建骨骼对象的非交叠的、阴影抑制的呈现。

Description

投影X射线图像的改进的可视化
技术领域
本发明涉及一种用于处理包含至少部分交叠的骨骼对象的投影X射线图像的系统和方法。
本发明还涉及包括该系统的工作站和成像装置。本发明还涉及包括用于使得处理器系统执行该方法的指令的计算机程序产品。
背景技术
投影X射线图像(也称为射线照片)的读取是繁琐且费劲的流程,因为它们通常分批并且时间压力高。放射科医师被培训以在其读取中在视觉上跟随某一路径,以便不忽略能够结果证明为诊断相关的细节。例如,对于前后胸部射线照片,大多数注意力都是旨在分析肺部场以确定软组织发现和心血管系统。但是与骨相关的发现也能够很重要,其范例包括转移瘤、囊肿或小骨折。
在前后胸部射线照片的范例中,为了在图像读取期间排除骨病变,必须沿每根肋骨的从脊柱经由侧向转折点到肋骨的前端的范围跟随每根肋骨。在前后胸部射线照片中,该路径描述了曲线。沿着该曲线,许多其他的结构交叉,其在投影图像中交叠。这些主要是其他相邻的肋骨,但也有锁骨、肺野边界、乳房的阴影、心脏阴影等。这些交叠的结构在视觉上分散了阅读者跟随肋骨并识别与肋骨相关联的任何病变的注意力。应注意,在涉及其他类型的骨骼对象而不是肋骨的其他类型的射线照片中也出现类似的问题。
例如从US2013/070996A1知晓将来自3D计算机断层摄影(CT)体积的胸腔展开成2D图像。据说将CT体数据从3D展开到2D的能力可以帮助医生更容易和准确地定位肋骨病变,因为在3D CT体积中小的病变通常难以识别和定位,但在对应的2D展开图像更容易定位。从引用WO2006/050102的US2013/101197A1中也可以知晓类似的技术。
不利的是,上面识别的“肋骨展开”方法仅适用于3D CT体积数据,并且不能应用于投影X射线图像。
发明内容
具有用于提供被包括在投影X射线图像中的骨骼对象的改进的可视化的系统或方法将是有利的。
本发明的第一方面提供了一种用于处理包括至少部分交叠的骨骼对象的投影X射线图像的系统,所述系统包括:
-用于访问X射线图像的输入接口;
-用于通过以下操作来处理X射线图像的处理器:
i)通过轮廓描绘多个骨骼对象,从而获得多个描绘的骨骼对象;
ii)针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于图像以获得相应的骨骼图像数据,所述相应的骨骼图像数据个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影;并且
iii)使用针对多个描绘的骨骼对象中的每个所生成的骨骼图像数据来生成骨骼对象不交叠的输出图像。
本发明的另一方面提供了一种包括所述系统的工作站或成像装置。
本发明的另一方面提供了一种用于处理包括至少部分交叠的骨骼对象的投影X射线图像的方法,所述方法包括:
-访问X射线图像;
-通过以下操作来处理X射线图像:
i)通过轮廓描绘多个骨骼对象,从而获得多个描绘的骨骼对象;
ii)针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于图像以获得相应的骨骼图像数据,所述相应的骨骼图像数据个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影;并且
iii)使用针对多个描绘的骨骼对象中的每个所生成的骨骼图像数据来生成骨骼对象不交叠的输出图像。
本发明的另一方面提供了一种包括用于使处理器系统执行所述方法的指令的计算机程序产品。
以上措施涉及访问投影X射线图像的图像数据,例如如通过投影射线照相获得的。因此投影X射线图像通常是2D图像。所述X射线图像包括两个或更多个骨骼或骨骼部分,此后通常称为骨骼对象,所述骨骼对象在X射线图像中至少部分交叠。如此,与3D CT体积不同,X射线图像包括来自彼此交叠的不同对象的阴影的叠加。因此,X射线图像至少包括由骨骼对象引起的阴影。X射线图像还可以包括来自多个骨骼对象的阴影和/或例如来自软组织的其他类型的阴影。
多个骨骼对象由轮廓描绘,例如以本身从医学图像分割领域已知的方式描绘。结果,确定所述骨骼对象中的每个的轮廓,由此识别它们在图像中的位置和形状。
对描绘的骨骼对象中的每个应用骨骼抑制技术。骨骼抑制技术本身是已知的,例如从EP 2517174以及从其他出版物已知地,并且涉及使用图像处理来抑制图像中的阻挡对象的阴影。这样的阴影包括但不限于骨骼对象的那些阴影。应注意,可以使用骨骼抑制技术来根据X射线图像估计骨骼的图像,即“骨骼图像”,并且由此表示双能量X射线采集系统的备选。这样的使用也被称为骨骼抑制成像(BSI)。通过将骨骼抑制技术应用于描绘的骨骼对象中的每个,获得了个体地示出每个骨骼对象的图像数据,并且抑制了包括由交叠的骨骼对象引起的那些的阻挡对象的阴影。
使用从骨骼抑制技术获得的描绘的骨骼对象中的每个的图像数据来生成输出图像。在生成输出图像中,所述骨骼对象的图像数据以这样的方式组合,使得以所请求保护的方式处理的骨骼对象在输出图像中不交叠,例如通过彼此分开显示。应注意,该非交叠可以应用于以所要求保护的方式处理的骨骼对象,但是在图像中可以存在未被如此处理并因此能够仍然交叠的骨骼对象。
上述措施具有如下效应:获得经处理的骨骼对象不交叠的输出图像。即,通过应用骨骼抑制技术,可以以针对每个骨骼对象的对应图像数据的形式获得每个骨骼对象的个体呈现,其基本上没有包括其他骨骼对象的阴影的阻挡对象的阴影。通过再次将这些个体呈现组合成单幅图像,可以生成输出图像。因此,获得了被包括在X射线图像中的骨骼对象的改进的可视化。
任选地,处理器被配置用于在生成输出图像之前,将几何变换应用于每个骨骼对象的骨骼图像数据以对相应的骨骼对象进行几何变换。几何变换骨骼对象可以帮助临床医师读取输出图像中的骨骼对象。额外地或备选地,几何变换骨骼对象可以有助于将骨骼对象的个体呈现组合成输出图像。
任选地,几何变换被配置成减小相应骨骼对象的曲率。这允许弯曲的骨骼对象(例如肋骨)部分地或完全地减小其弯曲度,即矫直,这可以改进由临床医师的可读性和/或其组合成单个输出图像的可组合性。
任选地,通过轮廓的所述描绘提供了相应的骨骼对象的中心线,并且所述几何变换被配置为矫直中心线。当期望矫直弯曲的骨骼对象时,骨骼对象的中心线非常适合用作矫直中的目标对象。
任选地,处理器被配置用于基于组成数据生成输出图像,组成数据定义输出图像中的多个描绘的骨骼对象的相对定位。组成数据因此可以定义骨骼对象的个体呈现如何在输出图像中组合。
任选地,组成数据定义多个描绘的骨骼对象的拼贴,这减少了多个描绘的骨骼对象之间的非骨骼空间,同时保留它们的相对解剖学定位。能够期望维持临床医师对输出图像的可读性,以维持输出图像中的骨骼对象的相对解剖学定位,同时减少骨骼对象之间的非骨骼空间。为此目的,提供了用于根据骨骼对象的个体呈现生成输出图像的组成数据。
任选地,所述系统还包括用于将输出图像输出到显示器的显示输出部,其中,所述显示输出部还被配置用于与输出图像同时输出X射线图像。与输出图像同时示出X射线图像可以允许临床医师快速在两者图像之间来回切换,例如以验证来自X射线图像中的输出图像的病理发现。
任选地,所述系统还包括用户交互子系统,所述用户交互子系统包括用户输入接口和显示输出部,其中,所述用户交互子系统被配置用于:
–使得用户能够交互式地将显示标记定位在包括以下项的组中的第一项中:X射线图像和输出图像,并且
-在所述组中的第二项中显示对应的显示标记。
同时显示的X射线图像和输出图像被提供有链接的显示标记,例如两个链接的指针或十字线。这可以便于临床医师同时或交替读取显示的图像。
任选地,用户交互子系统被配置用于基于每个相应的骨骼对象的几何变换来建立对应的显示标记的位置。通过考虑获得骨骼对象的个体呈现的几何变换,显示标记可以被准确地链接,其中,X射线图像中的显示标记和输出图像中的对应显示标记可以显示在解剖对应位置处。
任选地,用户交互子系统还被配置用于基于组成数据来建立对应的显示标记的位置。
本领域技术人员将认识到,本发明的上述实施例、实现方式和/或任选方面中的两个或更多个可以以任何认为有用的方式进行组合。
本领域技术人员可以基于本说明书执行与系统的所描述的修改和变化对应的对成像设备、工作站、方法和/或计算机程序产品的修改和变化。
附图说明
本发明的这些和其它方面将从以下描述中参考以范例方式描述的实施例并参考附图而显而易见并且进一步被阐述,其中
图1示出了用于处理X射线图像的系统,其包括诸如用户交互子系统的任选方面;
图2A示出了前后胸部射线照片形式的X射线图像,该X射线图像示出了多个肋骨;
图2B示出了通过骨骼抑制成像获得的骨骼图像;
图2C示出了通过骨骼抑制成像获得的软组织图像;
图3A示出了另一前后胸部射线照片形式的X射线图像,该X射线图像示出了多个肋骨;
图3B示出了具有通过轮廓描绘的肋骨的X射线图像;
图3C示出了通过骨骼抑制获得的单幅骨骼图像;
图4示出了系统和方法的输出图像;
图5示出了用于处理X射线图像的方法;并且
图6示出了包括用于使处理器系统执行方法的指令的计算机可读介质。
应该注意,这些附图完全是图解性的,并未按比例绘制。在附图中,对应于已经描述的元素的元素可以具有相同的附图标记。
附图标记列表
以下附图标记列表被提供以便于解释附图,而不应被解释为对权利要求的限制。
020 图像存储库
022 X射线图像的图像数据
040 辅助数据存储设备
042 辅助数据
070 用户输入设备
072 用户输入数据
080 显示器
082 显示数据
100 用于处理X射线图像的系统
120 输入接口
140 处理器
142 输出图像
160 用户接口子系统
170 用户输入接口
180 显示输出
200、202 X射线图像
204 示出描绘的骨骼对象的X射线图像
210 通过骨骼抑制成像获得的骨骼图像
220 通过骨骼抑制成像获得的软组织图像
230 通过骨骼抑制获得的单幅骨骼图像
240 示出骨骼对象的拼贴(tiling)的输出图像
250、252 多个骨骼对象
260 多个描绘的骨骼对象
262 描绘的骨骼对象
270 骨骼抑制后的骨骼对象
272 矫直的骨骼对象
300 用于处理X射线图像的方法
310 访问X射线图像
320 描绘骨骼对象
330 应用骨骼抑制技术
340 生成输出图像
370 计算机可读介质
380 存储为非瞬态数据的指令
具体实施方式
图1示出了用于处理投影X射线图像的系统100。系统100包括用于访问表示X射线图像的图像数据022的输入接口120。在图1的范例中,输入接口120被示为连接到包括X射线图像的图像数据022的外部图像存储库020。例如,图像存储库020可以由系统100可以连接到其或包括在其中的医院信息系统(HIS)的影像归档和通信系统(PACS)构成,或者是其部分。因此,系统100可以经由HIS获得对X射线图像的图像数据022的访问。备选地,可以从系统100的内部数据存储设备访问图像数据022。通常,输入接口120可以采取各种形式,诸如针对局域网或广域网(例如因特网)的网络接口、针对内部或外部数据存储设备的存储接口等。
系统100还包括处理器140,处理器140被配置用于处理X射线图像并且用于生成输出图像。为此目的,处理器140被示出为从输入接口120接收X射线图像的图像数据022,并且输出所生成的输出图像的图像数据142。
X射线图像包括至少部分交叠的骨骼对象。在系统100的操作期间,处理器140可以通过以下操作来处理X射线图像:i)通过轮廓描绘多个骨骼对象,从而获得多个描绘的骨骼对象;ii)针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于图像以获得个体地示出各自的描绘的骨骼对象同时抑制阻挡对象的阴影的各自的骨骼图像数据;并且iii)使用针对多个描绘的骨骼对象中的每个生成的骨骼图像数据来生成其中骨骼对象不交叠的输出图像。应注意,将参考图2A-4更详细地解释系统100的各种操作,包括其各任选方面。
还注意到,图1示出了系统100的这些任选方面中的一些。即,示出输入接口120被配置为访问辅助数据存储设备040上的辅助数据042。辅助数据042的范例包括组成数据和参考数据。此外,系统100被示出为包括用户接口子系统160,用户接口子系统160包括用于从用户可操作的用户设备070接收用户输入数据072的用户输入接口170。用户设备070可以采取各种形式,包括但不限于计算机鼠标070、触摸屏、键盘等。用户输入接口170可以是与用户设备070的类型对应的类型,即,它可以是与其对应的用户设备接口。还示出了用户接口子系统160包括用于向显示器080提供显示数据082的显示输出部180。例如,显示数据可以包括输出图像142。
系统100可以实现为单个设备或装置(诸如工作站或成像设备)或在其中。该设备或装置可以包括执行适当软件的一个或多个微处理器。软件能够已被下载和/或存储在对应的存储器中,例如,诸如RAM的易失性存储器或诸如闪存的非易失性存储器。备选地,系统的功能单元可以以可编程逻辑的形式实现在设备或装置中,例如作为现场可编程门阵列(FPGA)。通常,系统的每个功能单元可以以电路的形式实现。应注意,系统100还可以以分布式方式实现,例如涉及不同的设备或装置。例如,分布能够根据客户端-服务器模型。
以下范例涉及胸部射线照相。然而,将意识到,这是非限制性的范例,并且所要求保护的本发明同样适用于骨骼对象至少部分交叠的其他类型的射线照相。例如,所要求保护的本发明可以用于获得通过投影X射线以其中骨骼被规则排列同时避免骨骼交叉的任意姿态成像的身体的骨骼的呈现。例如,这样的呈现可以将腹部放置在输出图像的中心并且将肢体的骨骼布置在其周围,例如,将手指和/或脚趾的骨骼定位为离腹部最远的位置。
胸部射线照相是最常执行的临床检查之一,并且在检测和诊断胸部解剖结构的许多疾病中扮演重要角色。尽管骨解剖结构(骨骼)在胸部的射线照片中通常是高对比的,但由于它们相对于周围软组织的较高X射线吸收,读者的注意力常常集中在其他解剖特征上。因此,骨通常被认为是干扰的交叠结构(例如,当对肺癌结节感兴趣时)。因此可以忽略骨骼中相关的临床发现,例如骨骼的(部分)骨折或钙化或转移性骨病变。最近,已经将重点放在改进软组织病变(如孤立性肺结节)在胸部X射线中的可视化和检测上。例如,已经提出了双能量减影(DES)成像,其中,使用不同的X射线能量(通常为120和60kV)来收集两个后前(PA)投影射线照片的加权减影以估计该图像中骨骼的贡献,所述贡献然后从原始图像中减去以便生成“软组织图像”,从而简化了最终的解释任务。尽管DES的主要优点是改进了软组织病变的可视化和检测,但该技术还实现骨骼的专门可视化,从而也支持骨骼病变检测。
已经提出骨骼抑制成像(BSI)作为DES成像的备选,其不涉及使用专用硬件和多次采集。BSI能够涉及模式识别算法,该算法使用单个PA投影射线照片来估计“骨骼图像”。在这样的估计之后,骨骼然后被减去以获得“软图像”,这类似于DES成像。已经提出了若干方法,其可以被区分为隐式方法或显式方法,在隐式方法中,骨骼被隐含地表示为例如人工神经网络(ANN)的输出响应,如例如由Suzuki等人在“Suppression of the Contrast ofRibs in Chest Radiographs by Means of Massive Training Artificial NeuralNetwork”中所描述的,在显式方法中,显式地估计个体骨骼的轮廓,如例如欧洲专利2517174中描述的。
图2A-2C图示了这样的骨骼抑制成像。即,图2A示出了前后胸部射线照片形式的X射线图像200。因此,X射线图像200示出了多个肋骨250。由于它们的曲率,肋骨250在X射线图像中部分交叠。图2B示出了通过骨骼抑制成像获得的骨骼图像210,而图2C示出了通过骨骼抑制成像,即通过从图2A的X射线图像减去图2B的骨骼图像获得的软组织图像220。
发明人已经认识到,显式骨骼抑制成像中使用的骨骼抑制技术也可以用于根据其中骨骼对象至少部分交叠的输入X射线图像获得其中骨骼对象中的全部或至少一些不再交叠的输出图像。图3A示出了这样的输入X射线图像202的范例,图3A还示出了包括多个肋骨252的前后胸部射线照片。多个肋骨252(例如全部或其子集)可以是以医学图像分割领域本身已知的方式由轮廓描绘。如此,可以获得多个描绘的肋骨,如图3B的图像204图示的,图3B示出了与肋骨交叠的轮廓260。对于多个描绘的肋骨中的每个,骨骼抑制技术可以被应用于图像204,从而产生个体地示出各自的描绘的骨骼对象同时抑制了阻挡对象的阴影的骨骼图像数据。图3C示出了从这样的处理,即将骨骼抑制技术应用于第五左肋骨(图3B中的262)获得的骨骼图像230。可以看出,骨骼图像230显示了孤立的第五左肋骨270,因为省略了其他肋骨,同时也抑制了其他肋骨和/或其它对象的阴影。可以针对描绘的肋骨中的每个获得与图3C中相似的骨骼图像230。这些骨骼图像然后可以被组合以生成骨骼对象不交叠的输出图像。
图4示出了这样的输出图像240的范例。在该范例中,示出的肋骨被矫直,例如,如由矫直的左肋骨272所示的,并且以拼贴方式被呈现,使得肋骨之间的非骨骼空间减少,同时保留其相对的解剖定位。如此,获得了肋骨的呈现,其在视觉上类似于US2013/070996A1的矫直,尽管以不同方式并且从投影X射线图像而不是从3D CT体积获得。
应注意,为了获得图4的呈现以及其中骨骼对象不交叠的其他类型的呈现,处理器可被配置用于在生成输出图像之前将几何变换应用于每个骨骼对象的骨骼图像数据从而以几何方式变换相应的骨骼对象。如本身从图像配准领域已知的,这样的几何变换可以是“弹性”或“非刚性”变换,并且可以由表示变换的一组参数来定义。例如,几何变换可以减小相应的骨骼对象的曲率。如在图4的范例中,可以基本上完全减小曲率,其中,骨骼对象可以被矫直。为此目的,可以使用相应的骨骼对象的中心线,其可以作为骨骼对象的描绘的部分被检测或者跟随骨骼对象的描绘被检测。应注意,可以通过可由输入接口访问的组成数据来定义骨骼对象的骨骼图像数据的拼贴或其他类型的组成。还注意到,尽管图3C示出了骨骼抑制技术对于其应用的骨骼对象(即,第五左肋骨)产生完整图像,但仅获得示出没有周围环境或仅有有限的周围环境的骨骼对象的骨图像数据是足够的。例如,这样的骨骼图像数据然后可以在几何变换之后直接拼贴以获得输出图像。
进一步参考图1中示出的用户交互子系统,应注意,X射线图像可以与输出图像同时显示,例如在并排或画中画布置中。用户交互子系统还可以被配置用于使得用户能够在显示器上交互式地定位显示标记。如果显示标记被定位于输入X射线图像或输出图像中,即被定位于“第一”图像中,则系统可以在另一“第二”图像中显示对应的显示标记。第二图像中的显示标记可被定位为使得其模仿第一图像中的显示标记的解剖位置。例如,如果显示标记被定位于第五左肋骨上的X射线图像中,则系统可以被配置为在第五左肋骨上在输出图像中显示对应的显示标记。为了建立对应的解剖位置,系统可以使用每个相应的骨骼对象和/或组成数据的几何变换,每个相应的骨骼对象和/或组成数据两者指示X射线图像的图像数据与输出图像之间的对应性。应注意,备选地,可以通过X射线图像与输出图像之间的图像配准来建立对应的解剖位置,如本身从图像配准领域已知的,这也将指示这些对应性。
还将意识到,通过系统和方法获得的骨骼图像数据还可以用于自动检测可能存在于骨骼对象中的异常。这样的异常包括但不限于转移性骨病变和骨折。即,可以将描绘的骨骼对象的骨骼图像数据与健康受试者的(一幅或多幅)图像中的骨骼的典型外观进行比较。骨骼轮廓的显式表示使得能够将解剖位置与骨骼的显式表示也可用的健康解剖结构中的对应位置进行比较。例如,这使得能够比较健康组织和异常组织之间的图像强度偏差,并且使用更复杂的分析工具,诸如计算机辅助诊断,简称CAD方法。参考情况可以与通过例如在放射学解释中通过专家对这些图像进行视觉检查所确定的与这些射线照片的状态有关的信息一起存储在射线照片和相关联注释的数据库中。如在例如欧洲专利2517174中所描述的,沿着和垂直于肋骨的中心轴的图像信号的进一步专用滤波也可以使得能够自动检测在其他情况下可能被忽略的异常病理特征,诸如细线裂缝。
因此,为了检测骨骼对象中的异常,输入接口还可以被配置用于访问例如来自辅助数据存储设备的辅助数据的形式的参考骨骼对象的参考轮廓和骨骼图像数据。处理器还可以被配置用于:i)基于它们相应的轮廓的映射,确定参考骨骼对象的骨骼图像数据和多个描绘的骨骼对象中的至少一个的骨骼图像数据之间的对应性;并且ii)比较参考骨骼对象的骨骼图像数据和所述描绘的骨骼对象的骨骼图像数据以检测病理发现。进一步参考前后胸部射线照片的范例,可以通过参数化肋骨的中心线将每个肋骨在描绘后映射到公共坐标系。应注意的是,骨骼的后侧的位置从棘突开始,并且持续,直到肺野投影的边界处的侧向转折点。然后骨骼继续到前侧。来自不同患者的相同骨骼或者备选地来自相同患者的在不同时间点处(例如,在处置期间)成像的相同骨骼可以使用中心线的所述归一化参数化被映射到公共坐标系,其通过映射提供描绘的骨骼对象的骨骼图像数据和参考骨骼对象的骨骼图像数据之间的对应性。如此,来自相同解剖位置的图像信息可以被比较以检测例如患者与一组健康患者之间的偏差,或者相同患者的医疗记录中的不同时间点的偏差。例如,可以确定给定位置处的可接受的强度偏差的范围,并且仅大于该可接受的变化的偏差才会被指示给用户为可疑的。可接受强度偏差的该阈值可以在空间上变化。可以通过相对于骨的轴向方向量化强度边缘来自动检测骨骼的骨折。也可以观察沿着该轴的强度分布中的诸如二阶信号导数的较高水平的时刻,以便检测描绘的骨骼对象的骨骼图像数据的小结状形状或其他异常偏差。
将意识到,通过X射线以任意姿势成像的身体的骨骼的系统和方法实现了规范有序的绘图,避免了它与中心的腹部以及围绕它布置的四肢、进一步的手指/脚趾的骨骼交叉。
图5示出了用于处理包括至少部分交叠的骨骼对象的X射线图像的方法300。应注意,方法300可以但不需要对应于如参考图1所描述的系统100的操作。方法300包括在题为“访问X射线图像”的操作中访问310X射线图像。方法300还包括通过在题为“描绘骨骼对象”的操作中通过轮廓描绘320多个骨骼对象来处理X射线图像,从而获得多个描绘的骨骼对象。方法300还包括在题为“应用骨骼抑制技术”的操作中,针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用330于图像以获得个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影的相应的骨骼图像数据。方法300还包括在题为“生成输出图像”的操作中,使用针对多个描绘的骨骼对象中的每个生成的骨骼图像数据来生成340骨骼对象不交叠的输出图像。
将意识到,上述操作可以以任何合适的顺序执行,例如连续地、同时地或者其组合,在适用的情况下,例如通过输入/输出关系,服从需要的特定顺序。
方法300可以在计算机上实现为计算机实现的方法、专用硬件或者两者的组合。还如图6图示的,用于计算机的指令(例如可执行代码)可以被存储在计算机可读介质370上,例如采取机器可读物理标记的系列380的形式和/或作为具有不同的电学性质或值,例如磁或光学性质或值的元件的系列。可执行代码可以以暂态或非暂态的方式存储。计算机可读介质的范例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。
图6示出了光盘370。
将意识到,根据本申请的摘要,提供了一种用于包括在投影X射线图像中的骨骼对象的改进的可视化的系统和方法。投影X射线图像包括至少部分交叠的骨骼对象。根据该系统和方法,通过轮廓描绘多个骨骼对象,从而获得多个描绘的骨骼对象。针对多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于图像以获得个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影的相应的骨骼图像数据。针对多个描绘的骨骼对象中的每个生成的骨骼图像数据被用于生成骨骼对象不交叠的输出图像。该系统和方法的优点在于,可以根据通过投影射线照相获得的X射线图像创建骨骼对象的非交叠的阴影抑制的呈现。
无论是否指示为非限制性的,范例、实施例或任选特征不应被理解为限制如所要求保护的本发明。
将意识到,本发明也适用于适于将本发明付诸实践的计算机程序,特别是载体上或载体中的计算机程序。该程序可以为源代码、目标代码、代码中间源和目标代码的形式,例如部分编译的形式,或适用于实现根据本发明的方法的任何其他形式。还将意识到,这样的程序可以具有许多不同的架构设计。例如,实现根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分布功能的许多不同方式对于本领域技术人员而言是显而易见的。子例程可以一起存储在一个可执行文件中以形成自包含程序。这种可执行文件可以包括计算机可执行指令,例如处理器指令和/或解释器指令(例如,Java解释器指令)。备选地,可以将子例程中的一个或多个或全部存储在至少一个外部库文件中并且静态地或动态地(例如,在运行时处)与主程序链接。主程序至少包含对至少一个子例程的调用。子例程也可以包含彼此的函数调用。涉及计算机程序产品的实施例包括对应于本文阐述的方法中的至少一个的每个处理阶段的计算机可执行指令。这些指令可以细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。涉及计算机程序产品的另一实施例包括与本文阐述的系统和/或产品中的至少一个的每个模块对应的计算机可执行指令。这些指令可以细分为子例程和/或存储在可以静态或动态链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如,载体可以包括数据存储设备,例如ROM、例如CD ROM或半导体ROM,或者磁记录介质,例如硬盘。此外,载体可以是可传输载体,例如电或光信号,其可以经由电缆或光缆或通过无线电或其他模块传达。当程序实现在这样的信号中时,载体可以由这样的电缆或其他设备或模块构成。备选地,载体可以是其中嵌入了程序的集成电路,该集成电路适于执行相关方法或用于相关方法的执行。
应该注意的是,上述实施例说明而非限制本发明,并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计出许多备选实施例。在权利要求中,括号内的任何参考符号不应被解释为对权利要求的限制。动词“包括”及其变形的使用不排除权利要求中陈述的元件或阶段以外的元件或阶段的存在。在元件之前的词语“一”或“一个”不排除多个这种元件的存在。本发明可以借助于包括若干不同元件的硬件并且借助于适当编程的计算机来实施。在列举了若干模块的设备权利要求中,这些模块中的若干模块可以由同一项硬件来实现。尽管在相互不同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。

Claims (15)

1.一种用于处理包括至少部分交叠的骨骼对象的二维X射线图像的系统(100),所述系统包括:
-输入接口(120),其用于访问所述X射线图像(022);
-处理器(140),其用于通过以下操作来处理所述X射线图像:
i)通过轮廓来描绘多个所述骨骼对象,从而获得多个描绘的骨骼对象(260、262);
ii)针对所述多个描绘的骨骼对象中的每个,将骨骼抑制技术应用于所述图像以获得相应的骨骼图像数据(210、230),所述相应的骨骼图像数据个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影;并且
iii)使用针对所述多个描绘的骨骼对象中的每个所生成的所述骨骼图像数据来生成所述骨骼对象不交叠的输出图像(142、240)。
2.根据权利要求1所述的系统(100),其中,所述处理器(140)被配置用于在生成所述输出图像(142、240)之前,将几何变换应用于每个骨骼对象的所述骨骼图像数据(210、230)以对所述相应的骨骼对象进行几何变换。
3.根据权利要求2所述的系统(100),其中,所述几何变换被配置为减小所述相应的骨骼对象(260、262)的曲率。
4.根据权利要求3所述的系统(100),其中,通过轮廓的所述描绘提供所述相应的骨骼对象的中心线,并且其中,所述几何变换被配置为矫直所述中心线。
5.根据权利要求1至4中的任一项所述的系统(100),其中,所述处理器(140)被配置用于基于组成数据来生成所述输出图像(142、240),所述组成数据定义所述多个描绘的骨骼对象(260)在所述输出图像中的相对定位。
6.根据权利要求5所述的系统(100),其中,所述组成数据定义所述多个描绘的骨骼对象(260)的拼贴,所述拼贴减少所述多个描绘的骨骼对象之间的非骨骼空间,同时保留它们的相对解剖定位。
7.根据前述权利要求中的任一项所述的系统(100),还包括显示输出部(180),所述显示输出部用于将所述输出图像(142、240)输出到显示器(080),其中,所述显示输出部还被配置用于将所述X射线图像(022)与所述输出图像同时输出。
8.根据权利要求7所述的系统(100),还包括用户交互子系统(160),所述用户交互子系统包括用户输入接口(170)和所述显示输出部(180),其中,所述用户交互子系统被配置用于:
-使得用户能够交互式地将显示标记定位在包括以下项的组中的第一项中:所述X射线图像(022)和所述输出图像(142、240),并且
-在所述组中的第二项中显示对应的显示标记。
9.根据引用权利要求2的权利要求7所述的系统(100),其中,所述用户交互子系统(170)被配置用于基于每个相应的骨骼对象的所述几何变换来建立对应的显示标记的位置。
10.根据前述权利要求中的任一项所述的系统(100),其中:
-所述输入接口(120)还被配置用于访问参考骨骼对象的参考轮廓和骨骼图像数据;并且
-所述处理器(140)还被配置用于:
i)基于所述参考骨骼对象和所述多个描绘的骨骼对象中的至少一个描绘的骨骼对象的相应的轮廓的映射来确定所述参考骨骼对象的所述骨骼图像数据与所述至少一个描绘的骨骼对象的所述骨骼图像数据(210、230)之间的对应性;并且
ii)将所述参考骨骼对象的所述骨骼图像数据与所述描绘的骨骼对象的所述骨骼图像数据进行比较以检测病理发现。
11.根据权利要求10所述的系统(100),其中,所述处理器(140)被配置用于通过以下操作来检测所述病理发现:
-确定所述参考骨骼对象的所述骨骼图像数据与所述描绘的骨骼对象的所述骨骼图像数据(210、230)之间的可接受强度偏差的范围;
-指示大于所述可接受强度偏差的偏差。
12.根据权利要求10或11所述的系统(100),其中,所述处理器(140)被配置用于使用所述轮廓中的每个的中心线将所述轮廓和所述参考轮廓映射到公共坐标系。
13.一种工作站或成像装置,其包括根据权利要求1至12中的任一项所述的系统。
14.一种用于处理包括至少部分交叠的骨骼对象的二维X射线图像的方法(300),所述方法包括:
-访问(310)所述X射线图像;
-通过以下操作来处理所述X射线图像:
i)通过轮廓来描绘(320)多个所述骨骼对象,从而获得多个描绘的骨骼对象;
ii)针对所述多个描绘的骨骼对象中的每个,将骨骼抑制技术应用(330)于所述图像以获得相应的骨骼图像数据,所述相应的骨骼图像数据个体地示出相应的描绘的骨骼对象同时抑制阻挡对象的阴影;并且
iii)使用针对所述多个描绘的骨骼对象中的每个所生成的所述骨骼图像数据来生成(340)所述骨骼对象不交叠的输出图像。
15.一种计算机程序产品,其包括指令(380),所述指令用于使处理器系统执行根据权利要求14所述的方法。
CN201680056907.7A 2015-09-29 2016-09-29 投影x射线图像的改进的可视化 Active CN108135552B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15187252.0A EP3150123B1 (en) 2015-09-29 2015-09-29 Improved visualization of projection x-ray image
EP15187252.0 2015-09-29
PCT/EP2016/073227 WO2017055425A1 (en) 2015-09-29 2016-09-29 Improved visualization of projection x-ray image

Publications (2)

Publication Number Publication Date
CN108135552A true CN108135552A (zh) 2018-06-08
CN108135552B CN108135552B (zh) 2021-10-29

Family

ID=54238342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056907.7A Active CN108135552B (zh) 2015-09-29 2016-09-29 投影x射线图像的改进的可视化

Country Status (5)

Country Link
US (2) US9892509B2 (zh)
EP (1) EP3150123B1 (zh)
JP (1) JP6472112B2 (zh)
CN (1) CN108135552B (zh)
WO (1) WO2017055425A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190125306A1 (en) * 2017-10-30 2019-05-02 Samsung Electronics Co., Ltd. Method of transmitting a medical image, and a medical imaging apparatus performing the method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485371A (en) * 1990-02-14 1996-01-16 Fuji Photo Film Co., Ltd. Method for forming energy subtraction radiation images, and method and apparatus for smoothing radiation images
WO2006050102A2 (en) * 2004-10-28 2006-05-11 Siemens Medical Solutions Usa, Inc. 2d visualization for rib analysis
CN101366639A (zh) * 2008-09-10 2009-02-18 西北工业大学 小儿漏斗胸三维建模方法
US20090087070A1 (en) * 2007-09-26 2009-04-02 Slabaugh Gregory G Method and system for bone suppression based on a single x-ray image
CN102667857A (zh) * 2009-12-22 2012-09-12 皇家飞利浦电子股份有限公司 X射线照片中的骨抑制
CN103093424A (zh) * 2011-10-14 2013-05-08 美国西门子医疗解决公司 用于从医学成像数据中生成增强图像的方法和装置
US20140079309A1 (en) * 2011-10-28 2014-03-20 Carestream Health, Inc. Rib suppression in radiographic images
CN104691702A (zh) * 2013-12-10 2015-06-10 上海外高桥造船海洋工程设计有限公司 球鼻形船首轮廓线的展开方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004003521T2 (de) 2003-06-26 2007-10-04 Fujifilm Corporation Verfahren, Vorrichtung und Programm zur Bildverarbeitung und zur Detektion von abnormalen Schatten
US7545965B2 (en) 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
JP4534594B2 (ja) 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8233692B2 (en) 2008-02-27 2012-07-31 Siemens Computer Aided Diagnosis Ltd. Method of suppressing obscuring features in an image
US9020233B2 (en) 2011-09-19 2015-04-28 Siemens Aktiengesellschaft Method and system for up-vector detection for ribs in computed tomography volumes
US9672600B2 (en) * 2012-11-19 2017-06-06 Carestream Health, Inc. Clavicle suppression in radiographic images
US9351695B2 (en) * 2012-11-21 2016-05-31 Carestream Health, Inc. Hybrid dual energy imaging and bone suppression processing
US9269165B2 (en) 2013-06-20 2016-02-23 Carestream Health, Inc. Rib enhancement in radiographic images
US10068340B2 (en) * 2014-11-03 2018-09-04 Algotec Systems Ltd. Method for segmentation of the head-neck arteries, brain and skull in medical images
JP2017079896A (ja) * 2015-10-26 2017-05-18 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485371A (en) * 1990-02-14 1996-01-16 Fuji Photo Film Co., Ltd. Method for forming energy subtraction radiation images, and method and apparatus for smoothing radiation images
WO2006050102A2 (en) * 2004-10-28 2006-05-11 Siemens Medical Solutions Usa, Inc. 2d visualization for rib analysis
US20090087070A1 (en) * 2007-09-26 2009-04-02 Slabaugh Gregory G Method and system for bone suppression based on a single x-ray image
CN101366639A (zh) * 2008-09-10 2009-02-18 西北工业大学 小儿漏斗胸三维建模方法
CN102667857A (zh) * 2009-12-22 2012-09-12 皇家飞利浦电子股份有限公司 X射线照片中的骨抑制
CN103093424A (zh) * 2011-10-14 2013-05-08 美国西门子医疗解决公司 用于从医学成像数据中生成增强图像的方法和装置
US20140079309A1 (en) * 2011-10-28 2014-03-20 Carestream Health, Inc. Rib suppression in radiographic images
CN104691702A (zh) * 2013-12-10 2015-06-10 上海外高桥造船海洋工程设计有限公司 球鼻形船首轮廓线的展开方法

Also Published As

Publication number Publication date
EP3150123A1 (en) 2017-04-05
WO2017055425A1 (en) 2017-04-06
US20170091928A1 (en) 2017-03-30
US20180182097A1 (en) 2018-06-28
CN108135552B (zh) 2021-10-29
US10360680B2 (en) 2019-07-23
JP6472112B2 (ja) 2019-02-20
JP2018533388A (ja) 2018-11-15
US9892509B2 (en) 2018-02-13
EP3150123B1 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
US9662083B2 (en) Medical image display apparatus and medical image display system
EP3828818A1 (en) Method and system for identifying pathological changes in follow-up medical images
RU2711140C2 (ru) Редактирование медицинских изображений
US10540764B2 (en) Medical image capturing apparatus and method
JP7027046B2 (ja) 医用画像撮像装置及び方法
JP2019511268A (ja) 脳深部刺激療法の電極の三次元画像における回転配向の決定
JP2015521880A (ja) 運動パラメータ推定
CN111757701B (zh) 用于检测解剖区域的系统和方法
US20190012805A1 (en) Automatic detection of an artifact in patient image data
EP2572333B1 (en) Handling a specimen image
CN110352447A (zh) 临床图像中的基准检测
CN117064416A (zh) 一种对象定位系统和方法
JP6301277B2 (ja) 診断補助画像生成装置および診断補助画像生成方法、並びに、診断補助画像生成プログラム
Alam et al. Medical image registration: Classification, applications and issues
Yoon et al. Topological recovery for non-rigid 2D/3D registration of coronary artery models
Xue et al. Joint registration and segmentation of serial lung CT images for image-guided lung cancer diagnosis and therapy
CN114943714A (zh) 医学图像处理系统、装置、电子设备及存储介质
CN108135552A (zh) 投影x射线图像的改进的可视化
Bamps et al. Deep learning based tracked X-ray for surgery guidance
US20220230328A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
CN109481016A (zh) 以患者面部作为触摸板用户界面
WO2022070528A1 (ja) 医用画像処理装置、方法およびプログラム
Gong et al. Automatic arm removal in PET and CT images for deformable registration
Zhang et al. A comprehensive liver CT landmark pair dataset for evaluating deformable image registration algorithms
JP2024500828A (ja) 末梢灌流測定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant