CN109691105A - 矢量值诊断图像编码 - Google Patents
矢量值诊断图像编码 Download PDFInfo
- Publication number
- CN109691105A CN109691105A CN201880003296.9A CN201880003296A CN109691105A CN 109691105 A CN109691105 A CN 109691105A CN 201880003296 A CN201880003296 A CN 201880003296A CN 109691105 A CN109691105 A CN 109691105A
- Authority
- CN
- China
- Prior art keywords
- image
- subset
- image data
- identifier
- diagnostic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Nuclear Medicine (AREA)
Abstract
本发明涉及一种用于处理诊断图像数据的图像处理设备(10),包括:数据输入部(11),其用于接收矢量值诊断图像数据;以及量化单元(12),其用于针对每个像素确定从模板标识符的预定集合中选择的标识符的子集,并且针对所述子集中的每个标识符确定指示像素中与所述标识符相对应的材料或状况的存在、比例或重要性的量化值。所述设备包括:字典定义单元(14),其用于提供为每个唯一标识符子集分配索引的字典;以及图像数据编码器(16),其用于对图像数据进行编码。所述编码器适于针对每个像素计算包括对所述索引进行编码的第一比特集合和对量化值进行编码的另外的比特集合的比特序列。所述设备还包括:数据打包器(18),其用于以诊断图像格式打包经编码的图像,并且用于将所述字典插入该格式的元数据中。另外的方面涉及一种解码设备、一种系统、用于编码和解码的对应的方法以及衍生的计算机相关产品。
Description
技术领域
本发明涉及数字图像处理(例如,诊断图像处理)领域。更具体地,其涉及一种用于处理诊断图像数据的图像处理设备、一种图像解码设备以及相关方法。
背景技术
医学图像数据(例如计算机断层摄影(CT)图像数据、核医学图像数据和磁共振(MR)图像数据)通常以医学图像的标准图像格式被存储(例如,编码),例如根据DICOM图像格式标准被存储(例如,编码),例如根据(例如NEMA DICOM PS3 2017a规范中规定的)NEMADICOM PS3标准和/或根据ISO标准12052:2006“Health informatics--Digital imagingand communication in medicine(DICOM)including workflow and data management”被存储(例如,编码)。
在本领域中还已知的是,特定的医学成像技术生成非标量图像数据,因此包括多个单独的值,例如,为每个图像体素(或像素)位置形成矢量值。这些单独的值可以指示被成像对象的不同材料属性,或者至少传达关于相同被成像像素或体素位置的不同信息或补充信息。
例如,在多能量CT成像(例如,谱CT成像或双能CT成像)中,可以通过分析在CT扫描期间采集的多能量数据来识别不同的材料。因此,所生成的CT图像中的每个像素可以具有与其相关联的像素值,其对应于可以通过应用例如本领域已知的材料分解和相关技术而识别的一种或多种材料或化学元素。此外,可以计算材料的各种属性,例如每个像素(或体素)中的质量分数或材料单位的数量。
本领域已知通过单独地生成并查看针对这种非标量(即矢量值)图像数据的每个标量分量(例如,每种材料)的DICOM兼容图像来处理材料特异性数据。
例如,美国专利申请no.US2010/0014729公开了一种用于将X射线图像的诊断内容与非诊断内容分离以实现图像再现和加窗的方法。根据所公开的方法,通过在单个显示窗口中叠加每个放射密度图像的灰度图像,可以在单个观察窗口中显示多个放射密度图像。
发明内容
本发明的实施例的目的是提供用于存储、传输和/或可视化诊断图像数据的有效方法和装置。
上述目的通过根据本发明的方法和设备实现。
本发明的实施例的一个优点是矢量值诊断图像信息,例如,与多种不同材料有关的材料特定属性可以高效地(例如,利用低存储开销)以标准图像格式(例如DICOM格式)进行存储。
本发明的实施例的一个优点是矢量值诊断图像信息,例如,与多种不同材料有关的材料特定属性可以容易地被可视化,例如,对于图像中的各个像素(或体素)和/或选定的感兴趣区域。
本发明的实施例的一个优点是可以实现诊断图像的高效数据存储,例如,包括矢量值像素或体素信息的诊断图像的高效数据存储。
本发明的实施例的一个优点是可以实现诊断图像的高效数据传输,例如,网络传输,诊断图像例如包括矢量值像素或体素信息的诊断图像。
例如,如本领域中已知的,在针对矢量值图像数据的每个标量分量的单独的DICOM兼容图像中存储矢量值图像数据,例如,与不同材料有关的数据,可以施加重要的数据存储和网络传输开销,例如,当图像被存储在档案中和/或通过数据通信网络传输时,例如,在医学机构之间传输时。例如,这可能对用于存储和传输医学图像数据的图片存档与通信系统(PACS)施加重大负担。本发明的实施例的优点是可以减少这种开销。
本发明的实施例的一个优点是用户可以容易地查看和评估包括矢量值像素或体素信息的诊断图像中的补充信息,例如,与不同材料有关的补充信息。例如,在如本领域中已知的图像存储方法中,这种矢量值图像数据的不同标量分量可以基本上单独地(例如,独立地)存储和可视化。因此,根据如本领域中已知的方法,可以要求用户检查多个图像集以评估各种解剖区域的材料含量。根据如本领域中已知的方法,典型的诊断断层摄影图像(例如,CT扫描)可以包括数百个图像,使得对用户的负担可能很大,例如,在评估矢量值图像数据(例如,谱图像数据)时,这可能是很大的负担。本发明的实施例的优点在于可以减轻对用户的这种负担。
在第一方面,本发明涉及一种用于处理(例如,编码和打包)诊断图像数据的图像处理设备。所述图像处理设备包括用于(例如,经由数据通信网络和/或经由物理数据载体)接收矢量值诊断图像数据的数据输入部。
所述图像处理设备包括:量化单元,其用于针对诊断图像数据中的多个图像坐标的每个图像坐标,例如,针对每个像素或体素位置中的每个,基于所接收的矢量值诊断图像数据来确定从模板标识符的预定集合中选择的标识符的子集,并且用于针对标识符的子集中的每个标识符,确定对应的量化值,所述对应的量化值指示在该图像坐标处与标识符相对应的材料或状况的存在、比例和/或重要性。
所述图像处理设备包括用于提供字典的字典定义单元,所述字典定义单元适于将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集,并且适于将所述分配中的每个分配的定义包括在字典中。
所述图像处理设备包括:图像数据编码器,其用于对诊断图像数据进行编码,以便提供经编码的图像,所述图像数据编码器适于针对每个图像坐标计算比特序列,使得比特序列的第一比特集合对分配给针对图像坐标确定的标识符的子集的子集识别索引进行编码,并且使得比特序列的另外的比特集合分别对针对图像坐标确定的量化值进行编码。
所述图像处理设备包括:数据打包器,其用于以包括元数据的诊断图像格式打包经编码的图像,并且用于将字典插入元数据中。
在根据本发明的实施例的图像处理设备中,数据输入部可以适于接收谱计算机断层摄影体积图像数据、磁共振体积图像数据和/或核医学断层摄影体积图像数据。
在根据本发明的实施例的图像处理设备中,多个模板标识符可以包括表示不同材料和/或化学元素的模板标识符。
在根据本发明的实施例的图像处理设备中,所述量化单元可包括:材料分解处理器,其用于基于针对每个图像坐标的矢量值诊断图像数据来确定不同材料的属性以便将量化值确定为指示通过由图像坐标表示的体积中的标识符识别的材料的体积分数的值。
在根据本发明的实施例的图像处理设备中,多个模板标识符可以包括指示空气、脂肪组织、软组织、放射性对比剂(例如碘)和骨骼的模板标识符。
在根据本发明的实施例的图像处理设备中,所述量化单元可以适于通过从多个模板标识符的多个模板子集中选择子集来确定标识符的子集,例如,预定模板标识符的预定的多个预定模板子集。
在根据本发明的实施例的图像处理设备中,多个模板子集中的每个可以包括相同数量的模板标识符。
在根据本发明的实施例的图像处理设备中,图像数据编码器可以适于将第一比特集合确定为子集识别索引的二进制表示,子集识别索引的比特的数量等于最小后续整数,所述最小后续整数大于或者等于多个模板子集中的模板子集的数量的以2为底的对数。
在根据本发明的实施例的图像处理设备中,图像数据编码器可以适于通过按照由字典定义的顺序对量化值进行编码来确定比特序列的另外的比特集合,其中,每个另外的比特集合由数量等于最小后续整数的多个比特组成,所述最小后续整数大于或等于精度值的倒数的以2为底的对数。
在根据本发明的实施例的图像处理设备中,量化单元可以适于确定量化值,使得针对标识符的每个子集确定的量化值的总和等于预定值。
在根据本发明的实施例的图像处理设备中,另外的比特集合可以对针对标识符的所确定的子集中除了一个标识符之外的所有标识符(例如,标识符的所确定的子集中除了最后一个标识符之外的所有标识符)的量化值进行编码。
在根据本发明的实施例的图像处理设备中,数据打包器可以适于应用压缩算法来压缩经编码的图像并且适于将经压缩的经编码的图像包括在诊断图像格式中。
在根据本发明的实施例的图像处理设备中,数据打包器可以适于以诊断图像格式生成输出诊断图像,其中,诊断图像格式可以与DICOM标准兼容。
本发明的实施例还可以涉及一种包括根据本发明的实施例的图像处理设备的图片存档与通信系统或诊断图像门户系统。
在第二方面,本发明还涉及一种用于对以包括元数据的诊断图像格式(例如,以DICOM格式)打包的诊断图像数据进行解码的图像解码设备。图像解码设备可以适于对由根据本发明的第一方面的实施例的设备生成的图像进行解码。例如,根据本发明的第一方面的实施例的设备和根据本发明的第二方面的实施例的设备可以被认为是两个相互关联的产品,例如,相互补充和/或一起工作。
图像解码设备包括用于例如从根据本发明的第一方面的实施例的设备(例如,经由数据通信网络和/或经由物理数据载体)接收打包的诊断图像数据的数据输入部。
图像解码设备包括:数据解包器,其用于从打包的诊断图像数据中解包出经编码的图像,并且用于从打包的诊断图像数据中的元数据中解包出字典。
图像解码设备包括用于对经编码的图像进行解码以便提供诊断图像数据的图像数据解码器,图像数据解码器适于针对每个图像坐标从经编码的图像中检索比特序列,通过在字典中查找编码在比特序列的第一比特集合中的子集识别索引来识别标识符的子集,并且适于根据比特序列的另外的比特集合来确定分配给子集的标识符的量化值。
图像解码设备包括:映射单元,其用于为在字典中引用的每个标识符生成映射,每个映射包括由图像数据解码器分配给对应标识符以表示在每个图像坐标处与标识符相对应的材料或状况的存在、比例和/或重要性的量化值。
在根据本发明的实施例的图像解码设备中,图像数据解码器可以适于通过按照由字典中的标识符的子集定义的顺序对比特序列的对量化值进行编码的另外的比特集合进行解码来确定量化值,并且用于通过从预定值中减去编码在另外的比特集合中的量化值的总和来计算针对标识符的子集中的最后一个标识符的另外的量化值。
根据本发明的实施例的图像解码设备可以包括:处理单元,其用于基于由映射单元生成的映射将另外的物理属性归因于每个图像坐标。
根据本发明的实施例的图像解码设备可以包括:可视化单元,其用于向用户示出映射中的至少一个映射的视觉表示,其中,可视化单元适于向用户提供图形用户界面以用于查看视觉表示。
在根据本发明的实施例的图像解码设备中,可视化单元可以适于使得用户能够在视觉表示上选择特定点和/或感兴趣区域,适于选择所选择的感兴趣区域中和/或在所选择的点周围的同质区域,适于从映射和/或从与所选择的同质区域相对应的另外的物理属性中提取数据,并且适于向用户呈现与所选择的同质区域有关的材料分类和/或量化统计信息。
本发明的实施例还可以涉及一种包括根据本发明的实施例的图像解码设备的工作站。
在第三方面,本发明的实施例还涉及一种谱计算机断层摄影系统,其包括根据本发明的第一方面的实施例的图像处理设备和/或根据本发明的第二方面的实施例的图像解码设备。
在第四方面,本发明涉及一种用于处理诊断图像数据的方法。所述方法包括获得矢量值诊断图像数据,例如,CT图像数据,例如谱CT图像数据、MR图像数据和/或核医学图像数据。所述方法包括,针对诊断图像数据中的多个图像坐标中的每个图像坐标,基于所接收的矢量值诊断图像数据来确定从模板标识符的预定集合中选择的标识符的子集。所述方法包括针对标识符的子集的每个标识符确定对应的量化值,所述对应的量化值指示在对应图像坐标处与所述标识符相对应的材料或状况的存在、比例和/或重要性。
所述方法还包括通过将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集来提供字典。
所述方法还包括对诊断图像数据进行编码以便提供经编码的图像,其中,针对每个图像坐标,计算比特序列,使得比特序列的第一比特集合对分配给针对图像坐标确定的标识符的子集的子集识别索引进行编码并且比特序列的另外的比特集合分别对针对图像坐标确定的量化值进行编码。
所述方法包括以包括元数据的诊断图像格式打包经编码的图像并且将字典包括在元数据中。
在第五方面,本发明还涉及一种用于对以包括元数据的诊断图像格式打包的诊断图像数据进行解码的方法。所述方法包括获得打包的诊断图像数据并且分别从打包的诊断图像数据中解包出经编码的图像并且从元数据中解包出字典。所述方法还包括对经编码的图像进行解码以便提供诊断图像数据,其中,针对每个图像坐标,从经编码的图像中检索比特序列,通过在字典中查找编码在比特序列的第一比特集合中的子集识别索引来识别标识符的子集,并且根据比特序列的另外的比特集合来确定分配给标识符的量化值。
所述方法还包括为在字典中引用的每个标识符生成映射,每个映射包括由图像数据解码器分配给对应标识符以表示在每个图像坐标处与标识符相对应的材料或状况的存在、比例和/或重要性的量化值。根据本发明的实施例的这种方法还可以包括对所生成的映射中的至少一个映射进行可视化。
在第六方面,本发明的实施例还涉及一种计算机程序产品,其用于在处理单元上实现的情况下执行根据本发明的实施例的方法,例如,根据本发明的第四和/或第五方面的实施例的方法。
在第七方面,本发明的实施例还涉及一种存储根据本发明的第六方面的实施例的计算机程序产品的数据载体。
在第八方面,本发明的实施例还涉及一种通过数字通信网络对根据本发明的第六方面的实施例的计算机程序产品的传输。
在第九方面,本发明的实施例还涉及一种以包括元数据的诊断图像格式的经编码的图像,其中,所述元数据包括用于将子集识别索引分配给标识符的多个唯一子集的字典,并且其中,经编码的图像还包括:(例如,以压缩或未压缩形式的)针对多个图像坐标中的每个图像坐标的比特序列,例如,针对图像中的每个像素或体素的比特序列。比特序列包括:第一比特集合,其对用于将标识符的子集中的一个分配给所述图像坐标的子集识别索引进行编码;以及分别对针对所述图像坐标确定的量化值进行编码的另外的比特集合。每个量化值指示在对应图像坐标处与其相关联的标识符相对应的材料或状况的存在、比例和/或重要性,例如,指示体素中对应于与标识符相对应的材料的图像坐标的体积分数。
在所附的独立权利要求和从属权利要求中阐述了本发明的特定和优选方面。来自从属权利要求的特征可以适当地与独立权利要求的特征以及与其他从属权利要求的特征进行组合,而不仅仅如在权利要求中明确阐述的。
参考下文描述的(一个或多个)实施例,本发明的这些和其他方面将变得显而易见并得以阐明。
附图说明
图1示意性地示出了根据本发明的实施例的图像处理设备。
图2示意性地示出了根据本发明的实施例的图像解码设备。
图3示出了与本发明的实施例有关的示例性可视化。
图4示出了根据本发明的方法。
图5示出了根据本发明的实施例的系统。
附图仅仅是示意性的而非限制性的。在附图中,为了说明的目的,一些元件的尺寸可能被夸大并且未按比例绘制。
权利要求中的任何附图标记不应被解释为对范围的限制。
在不同的附图中,相同的附图标记表示相同或类似的元件。
具体实施方式
将参照特定实施例并参考某些附图来描述本发明,但是本发明不限于此,而是仅由权利要求限制。所描述的附图仅是示意性的而非限制性的。在附图中,为了说明的目的,一些元件的尺寸可能被夸大并且未按比例绘制。尺寸和相对尺寸不对应于实施本发明的实际减少量。
此外,说明书和权利要求书中的术语第一、第二等用于区分相似元件,并且不一定用于描述时间上、空间上、排序上或以任何其他方式的顺序。应理解,如此使用的术语在适当的情况下是可互换的,并且本文描述的本发明的实施例能够以不同于本文描述或说明的顺序操作。
此外,说明书和权利要求中的术语顶部、下面等用于描述目的,而不一定用于描述相对位置。要理解的是,如此使用的术语在适当的情况下是可互换的,并且本文描述的本发明的实施例能够以不同于本文描述或示出的其他取向操作。
应注意,权利要求中使用的术语“包括”不应被解释为限于其后列出的装置;它不排除其他元件或步骤。因此,应将其解释为指定所述特征、整数、步骤或部件的存在,但不排除一个或多个其他特征、整数、步骤或部件或其组的存在或添加。因此,表述“包括装置A和B的设备”的范围不应限于仅由部件A和B组成的设备。这意味着对于本发明,设备的仅有相关部件是A和B。
在整个说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此,在贯穿本说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例,而是可以指代相同的实施例。此外,在一个或多个实施例中,特定特征、结构或特性可以以任何合适的方式组合,如本领域普通技术人员从本公开中显而易见的。
类似地,应当理解,在本发明的示例性实施例的描述中,本发明的各种特征有时在单个实施例、附图或其描述中被组合在一起,以便简化本公开并帮助理解各种发明方面中的一个或多个方面。然而,该公开方法不应被解释为反映所要求保护的发明需要比每个权利要求中明确记载的更多特征的意图。相反,如以下权利要求所反映的,发明方面在于少于单个前述公开实施例的所有特征。因此,在此详细描述之后的权利要求明确地包含到该详细描述中,其中,每个权利要求自身作为本发明的单独实施例。
此外,虽然本文描述的一些实施例包括其他实施例中的一些特征但不包括其他实施例中的其他特征,但是不同实施例的特征的组合意图处在本发明的范围内,并且形成不同的实施例,如本领域技术人员将理解的。例如,在以下权利要求中,任何要求保护的实施例可以以任何组合使用。
在本文提供的描述中,阐述了许多具体细节。然而,应理解,可以在没有这些具体细节的情况下实践本发明的实施例。在其他情况下,没有详细示出公知的方法、结构和技术,以免模糊对本说明书的理解。
尽管在本发明的实施例中引用“像素”,但是可以引用归因于二维、三维、四维图像或通常多维图像中的特定位置的值,例如,归因于由至少两个(例如三个)空间坐标分量(例如坐标系的不同坐标分量)所定义的特定位置的值。除了空间坐标分量之外,可以通过可选地包括另外的非空间坐标分量(或其多个)(例如时间坐标)来定义该位置。具体地,“像素”也可以指“体素”,但不一定限于三维体素。图像中的像素位置(例如体素位置)通常可以称为“图像坐标”。
尽管在本发明的实施例中引用“矢量值”,但是可以引用数据,其中,对于域中的每个坐标,例如,在定义数据的空间或时空空间的范围内,分配矢量值,例如,由标量分量值的有序集合(例如特别是多于一个这样的标量值)组成。这种矢量值的不同标量分量值,例如,这样的数据中的每个矢量值的标量分量值可以表示不同的物理、化学和/或材料属性,例如,可以表示在输入坐标域中的相同位置处的不同材料或不同材料组合。
在第一方面,本发明的实施例涉及一种用于处理诊断图像数据(例如,医学图像)的图像处理设备。图像处理设备包括用于接收矢量值诊断图像数据的数据输入部。例如,在诊断图像数据中,多个标量分量值可以归因于多个图像坐标中的每个图像坐标,例如,归因于每个像素或体素位置,其中,这些标量分量表示在与图像坐标(例如,像素坐标,例如体素坐标)相对应的位置处的被成像目标的不同物理、化学和/或材料属性。
图像处理设备包括:量化单元,其用于针对诊断图像数据中的多个图像坐标(例如,在这些图像坐标上定义诊断图像数据)中的每个图像坐标,确定从模板标识符的预定较大集合中选择的标识符的子集,即较大集合由比该子集的标识符的数量更多数量的模板标识符组成。基于矢量值诊断图像数据来确定标识符的该子集。量化单元还适于例如基于矢量值诊断图像数据来针对标识符的子集中的每个标识符确定对应的量化值,该对应的量化值指示在该图像坐标处与该标识符相对应的材料或状况的存在、比例和/或重要性。
图像处理设备还包括用于提供字典的字典定义单元。字典定义单元适于将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集,并且用于将这些分配中的每个分配的定义包括在字典中。
图像处理设备还包括:图像数据编码器,其用于对诊断图像数据进行编码以便提供经编码的图像。图像数据编码器适于针对所述多个图像坐标中的每个图像坐标,计算比特序列,使得比特序列的第一比特集合对分配给针对该图像坐标确定的标识符的子集的子集识别索引进行编码,并且比特序列的另外的比特集合分别对针对该图像坐标确定的量化值进行编码。
该图像处理设备包括:数据打包器,其用于以包括元数据的诊断图像格式打包经编码的图像,并且用于将字典插入元数据中。
参考图1,示出了用于处理诊断图像数据(例如,医学图像)的图像处理设备10。
图像处理设备10包括用于接收矢量值诊断图像数据的数据输入部11。例如,在诊断图像数据中,多个标量分量值可以归因于多个图像坐标中的每个图像坐标,其中,这些标量分量表示在与该图像坐标(例如像素坐标,例如体素坐标)相对应的位置处的被成像目标的不同物理、化学和/或材料属性。
诊断图像数据可以传达关于对象的解剖结构的解剖学信息。矢量值诊断图像数据的不同标量分量可以传达不同的解剖信息,例如,补充的解剖信息、生理信息和/或功能信息,例如每个分量传达未被任何其他标量分量传达的至少一些信息。
数据输入部11可以适于接收放射图像数据。例如,数据输入部11可以适于接收计算机断层摄影体积图像数据,例如,谱计算机断层摄影图像数据,例如双能计算机断层摄影图像数据,和/或磁共振体积图像数据,例如,磁共振波谱图像数据。数据输入部可以适于接收核医学断层摄影体积图像数据,例如,与相同像素或体素位置处的不同放射性同位素的发射有关的矢量值数据。
图像处理设备包括:量化单元12,其用于针对诊断图像数据中的多个图像坐标(例如,在这些图像坐标上定义诊断图像数据)中的每个图像坐标,确定从模板标识符的预定较大集合(即由比子集中的标识符的数量更多数量的模板标识符组成)中选择的标识符的子集。
多个模板标识符可以包括表示不同材料和/或化学元素和/或状况的模板标识符,状况例如与在与该图像坐标相对应的被成像目标的身体中的位置处的生理学、新陈代谢和/或疾病有关的条件。
基于矢量值诊断图像数据来确定标识符的子集。量化单元12可以确定针对每个像素的标识符的子集,例如,m个标识符(例如材料标识符)的序列。
例如,针对每个图像坐标,例如,针对每个像素位置,例如,针对体积诊断图像(例如CT图像)中的每个体素,量化单元可以适于识别标识符的子集,该标识符的子集指示在由该图像坐标表示的位置处包含在被成像目标中的材料,例如从Nm个已知材料的列表中选择的子集,例如,其中,Nm>m。
例如,多个模板标识符可以包括例如指示空气(例如,标识为“空气”)、脂肪组织(例如标识为“脂肪”)、软组织(例如标识为“组织”)、放射性对比剂(例如碘,例如标识为“碘”)和骨骼(例如标识为“骨骼”)的模板标识符,例如因此,定义Nm=5个模板材料,本发明的实施例不一定限于这些特定的示例性标识符。
量化单元12可以适于从S个模板标识符的集合中(例如,从模板标识符的S个模板子集的列表(例如,材料序列的列表)中)选择针对每个像素的一个这样的标识符的子集。量化单元12可以适于针对诊断图像数据中的多个图像坐标中的每个图像坐标,确定从模板标识符的预定较大集合中选择的标识符的子集,其中,可以从模板标识符的多个模板子集中选择子集。例如,每个像素或体素可以利用来自材料序列的预定集合(例如,S个材料序列的集合)的m种材料的特定序列(被认为最合适的序列)来识别。
多个模板子集中的每个模板子集可以包括相同数量m个模板标识符,其中,m<Nm,但是本发明的实施例不必限于具有相同数量的元素的模板子集。
在上文描述的模板标识符的示例性集合中,多个模板子集可以例如包括有序集合{“空气”,“组织”,“碘”},{“空气”,“组织”,“脂肪”},{“组织”,“脂肪”,“骨骼”}和{“组织”,“碘”,“骨骼”},例如从而形成模板标识符的S=4个模板组合,每个模板组合由Nm=5个预定模板标识符的m=3个标识符组成,本发明的实施例不限于此。例如,多个模板子集可以包括从Nm模板标识符中选择的m个元素的所有组合,但是根据上文给出的示例,本发明的实施例不限于此。例如,模板子集的数量可以小于可能组合的总数,例如,按照二项式为
量化单元12还适于例如基于矢量值诊断图像数据针对标识符的子集中的每个标识符确定对应的量化值,该对应的量化值指示在该图像坐标处与该标识符相对应的材料或状况的存在、比例和/或重要性。
例如,量化值可以指示由图像位置表示的体积中(例如,像素或体素中)由标识符识别的材料的体积分数。
量化单元12可以包括:材料分解处理器,其用于针对每个图像坐标,例如,针对每个图像像素,基于矢量值诊断图像数据来确定不同材料的属性,例如,密度和/或相对体积,例如体积分数。例如,材料分解处理器可以适于执行用于如本领域中已知的谱CT成像(例如,多能量或双能量CT成像)的材料分解技术。
例如,本发明的实施例可以使用本领域已知的方法来针对所接收的CT图像的每个体素从已知材料的列表(例如,以多个模板标识符的形式表示)中识别包含在该体素中的材料的子集(例如,以标识符的子集的形式表示)。
量化单元可以适于确定量化值,使得针对标识符的每个子集确定的量化值的总和等于预定值,例如,单位值,例如1。例如,量化值可以表示总和为1(指示像素或体素的体积单位)的体积分数。
量化单元可以适于选择子集并通过应用数值优化来确定量化值,例如通过选择子集作为针对对应的量化值的集合的最佳拟合,例如,考虑优化成本函数和/或势能函数。
量化单元可以适于选择子集并通过推断图像位置处的可能组成来确定量化值,例如通过应用图像分割。量化单元可以适于选择子集并通过考虑非局部信息来确定量化值,例如,通过考虑相邻图像位置和/或通过考虑图像位置(例如相对于检测到的图像标记)的全局位置。
量化单元可以适于选择子集并通过应用数值优化的组合来确定量化值,例如通过选择子集作为针对对应的量化值的集合的诊断图像数据中的图像位置处的图像信息和非局部图像信息的最佳拟合,例如,通过应用最大后验方法,例如,通过应用马尔可夫随机场方法。
量化单元可以适于实施等人的“A Flexible Method for Multi-Material Decomposition of Dual Energy CT Images”(IEEE TRANSACTIONS ON MEDICALIMAGING 33(1),pp.99-116)中公开的方法。
图像处理设备还包括用于提供字典的字典定义单元14。字典定义单元14适于将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集,并且用于将这些分配中的每个分配的定义包括在字典中。
例如,针对每个像素,可以从模板标识符的数量S个模板子集中,例如从S个材料序列中选择标识符的子集,例如,材料序列,例如每个材料序列对数量m个材料标识符进行编号,并且可以为每个唯一序列分配唯一识别索引(UII)。因此,序列字典可以被定义为被存储在元数据内,如下文所述。
例如,可以将唯一识别索引(UII)分配给每个模板子集,例如每个模板序列,并且可以定义完整的序列字典。例如,在上文给出的示例中,字典可以被定义为如下表中所示:
UII 材料序列
0 {“空气”,“组织”,“碘”}
1 {“空气”,“组织”,“脂肪”}
2 {“组织”,“脂肪”,“骨骼”}
3 {“组织”,“碘”,“骨骼”}
虽然每个模板子集中的模板标识符的顺序可以与编码和解码过程相关,如下文进一步描述的,但是这不一定对方法的信息存储能力或准确性产生影响。
字典定义单元14还可以适于确定编码精度,例如,针对每个模板子集中的每个模板标识符的精度。例如,精度可以优选地由字典定义单元14确定,或者预先确定,以便不超过由量化单元实施的材料分类和量化算法的精度。例如,精度可能对得到的存储数据的大小产生直接影响。例如,精度(例如每个精度)可以被确定为p=2-x,其中,x是整数。例如,对于x=8,精度可以是2-8=0.0039,例如,表示体积分数为0.0039的量子。
字典定义单元14可以适于主动地将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集,或者可以包括被动数据结构,例如,表示字典的静态和/或预定数据结构。同样地,精度可以由字典定义单元主动确定,或者可以被预先确定和/或被动地实施,例如,通过存储在静态数据结构或者硬编码在用于实施图像数据编码器的代码中中的数据来被动地实施。
图像处理设备还包括:图像数据编码器16,其用于对诊断图像数据进行编码以便提供经编码的图像。图像数据编码器16适于针对所述多个图像坐标中的每个图像坐标,计算比特序列,使得比特序列的第一比特集合对分配给针对该图像坐标确定的标识符的子集的子集识别索引进行编码,并且比特序列的另外的比特集合分别对针对该图像坐标确定的量化值进行编码。
例如,虽然第一比特集合不一定是指比特序列的开始处的比特,但是根据本发明的实施例,在一些实施例中可能是这种情况。例如,第一ceiling(log2S)个比特(或由ceiling(log2S)个比特组成的比特序列的另一预定子范围)可以对应于针对图像坐标的标识符的所选择的子集的唯一识别索引(UII)。在上文提供的示例中,S=4个模板子集的所选择的子集可以由每个比特序列中的两个比特引用。
比特序列的另外的比特集合可以例如按由对应的字典条目定义的顺序对量化值进行编码。例如,每个另外的比特集合可以由ceiling(log2p-1)个比特组成,其中,p指的是分配给模板标识符的模板子集中的特定标识符的精度、分配给模板标识符的模板子集中共同的所有标识符的精度、或分配给共同的所有模板子集中的所有标识符的精度。
可以在针对模板子集中的每个标识符的比特序列中包括另外的比特集合。例如,比特序列中的比特的总数可以是ceiling(log2S)+m.ceiling(log2p-1)。
优选地,在量化单元适于确定量化值使得针对标识符的每个子集确定的量化值的总和等于预定值(例如1)的情况下,另外的比特集合可包括模板子集中除了一个(例如,最后一个)标识符之外的所有标识符。例如,由于量化值可以总和为预定值,因此可以从编码中排除一个量化值,对应的量化值可在通过从预定值中减去经编码的量化值的总和来进行解码时确定。例如,比特序列中的比特的总数可以是ceiling(log2S)+(m-1).ceiling(log2p-1)。
对于上文提供的示例,对于S=4个材料序列(每个由m=3个材料组成)和2-8体积分数的选定精度,针对每个体素的编码的比特数可以是ceiling(log24)+(3-1).ceiling(log228)=2+2×8=18比特。
图像数据编码器16可以有利地提供诊断图像中存在的多种材料的优化的编码。
图像处理设备包括:数据打包器18,其用于以包括元数据的诊断图像格式打包经编码的图像,并且用于将由字典定义单元14提供的字典插入元数据中。
数据打包器18可以适于应用压缩算法来压缩经编码的图像并且将经压缩的经编码的图像包括在诊断图像格式中。
数据打包器18可以适于以包括元数据的标准诊断图像格式(例如与针对诊断图像的现有技术图像格式标准兼容)打包经编码的图像。
诊断图像格式可以是与DICOM标准(例如,NEMA DICOM标准)兼容的诊断图像格式,例如根据(例如NEMA DICOM PS3 2017a规范中规定的)NEMA DICOM PS3标准和/或根据ISO标准12052:2006“Health informatics--Digital imaging and communication inmedicine(DICOM)including workflow and data management”的诊断图像格式。
图像处理设备可以是图片存档与通信系统(PACS)和/或诊断图像门户系统。例如,本发明的实施例可以涉及图片存档与通信系统(PACS)和/或诊断图像门户系统,其包括根据本发明的第一方面的实施例的图像处理设备。这种PACS或门户系统可以适于存储诊断图像数据和/或用于通过数字通信网络传输诊断图像数据。
在第二方面,本发明涉及一种用于对(例如如由本发明的第一方面的实施例所提供的)以包括元数据的诊断图像格式打包的诊断图像数据进行解码的图像解码设备。图像解码设备包括用于接收打包的诊断图像数据的数据输入部和用于从打包的诊断图像数据中解包出经编码的图像并从打包的诊断图像数据中的元数据中解包出字典的数据解包器。图像解码设备包括:图像数据解码器,其用于对经编码的图像进行解码以便提供诊断图像数据。图像数据解码器适于针对每个图像坐标,从经编码的图像中检索比特序列,通过在字典中查找编码在比特序列的第一比特集合中的子集识别索引来识别标识符的子集,并且适于根据比特序列的另外的比特集合来确定分配给标识符的该子集中的标识符的量化值。图像解码设备包括:映射单元,其用于为在字典中引用的每个标识符生成映射,其中,每个映射包括由图像数据解码器分配给对应标识符以表示在每个图像坐标处与该标识符相对应的材料或状况的存在、比例和/或重要性的量化值。
参考图2,示出了根据本发明的实施例的图像解码设备20。该图像解码设备适于对(例如,可以由根据本发明的第一方面的实施例的设备提供的)以包括元数据的诊断图像格式打包的诊断图像数据进行解码。
图像解码设备20包括:数据输入部21,其用于接收例如以诊断图像格式(例如DICOM格式)的打包的诊断图像数据。
图像解码设备20包括:数据解包器28,其用于从打包的诊断图像数据中解包出经编码的图像,并且用于从打包的诊断图像数据中的元数据中解包出字典。
数据解包器28可以适于应用解压缩算法以从以诊断图像格式的打包的诊断图像数据中解压缩经编码的图像。
图像解码设备20包括:图像数据解码器26,其用于对经编码的图像进行解码以便提供诊断图像数据。图像数据解码器适于针对每个图像坐标,从经编码的图像中检索比特序列,通过在字典中查找编码在比特序列的第一比特集合中的子集识别索引来识别标识符的子集,并且适于根据比特序列的另外的比特集合来确定分配给标识符的量化值。
例如,图像数据解码器26可以适于通过使用第一比特集合(例如在比特序列的开始处)或比特序列中的另一预定比特范围(例如,ceiling(log2S)个比特的预定集合)识别标识符的子集(例如,材料序列)、使用如字典中所定义的由该第一比特集合编码的子集标识符索引与标识符的子集之间的对应关系来确定量化值(例如,体积分数)。比特序列的另外的比特集合可以例如按照由字典中的标识符的子集定义的顺序对量化值(例如,材料的体积分数)进行编码。
图像数据解码器26可以适于通过从预定值(例如,单位值,例如1)中减去编码在比特序列的另外的比特集合中的量化值的总和来计算(例如,针对标识符的子集中的最后一个标识符的)另外的量化值。
图像解码设备20包括:映射单元22,其用于为在字典中引用的每个标识符生成映射,每个映射包括由图像数据解码器26分配给对应标识符以表示在每个图像坐标处与标识符相对应的材料或状况的存在、比例和/或重要性的量化值。
图像解码设备20可以包括:处理单元24,其用于基于由映射单元12生成的映射将另外的物理属性归因于每个图像坐标,例如,每个像素或体素。量化值可以表示材料的体积分数,并且另外的物理属性可以表示质量分数和/或单位数量。例如,质量分数可以通过以下公式来计算:
其中,并且ρi是由标识符的子集识别的材料序列中的第i个材料的参考密度。例如,可以根据元数据来获得这样的参考密度。
例如,可以通过以下公式来计算单位数量:
其中,(分子重量)i是由标识符的子集识别的材料序列中的第i个材料的参考分子重量,并且体积分数是体素单位的参考体积。例如,可以根据元数据来获得这样的参考分子重量。
图像解码设备20可以包括:可视化单元23,其用于向用户(例如,放射科医生)显示映射中的至少一个映射的视觉表示。例如,可视化单元可以适于向用户提供图形用户界面以用于查看视觉表示,例如,以图像的形式的视觉表示。
可视化单元23可以适于使得用户能够例如使用本领域已知的可视化和选择工具在视觉表示上选择特定点(例如,体素或像素)或感兴趣区域(ROI)。
例如,在传统的放射学诊断读取过程中,例如,在检查标准CT图像时,可以使得放射科医师能够使用标准可视化工具在图像上选择特定点或感兴趣区域ROI。
例如,可视化单元23可以适于选择所选择的ROI中的同质区域和/或在所选择的点周围的同质区域。同质区域可以根据量化值的统计属性和/或另外的物理属性来选择。
可视化单元23可以适于从映射和/或与所选择的点、所选择的ROI和/或所选择的同质区域相对应的另外的物理属性中提取数据,例如,多材料数据。可视化单元23可以适于将所提取的数据呈现给用户。可视化单元23可以适于例如基于所提取的数据向用户提供与所选择的点或ROI有关的材料分类和/或量化统计信息。
例如,图3示出了根据本发明的实施例的示例性可视化。在所选择的感兴趣区域31中确定同质区域32,并且基于所提取的数据向用户呈现材料分类33。
图像解码设备20可以是工作站,例如,诊断成像工作站。例如,本发明的实施例可以涉及一种包括根据本发明的第二方面的实施例的图像解码设备的工作站。这种工作站可以适于使得用户(例如,放射科医师)在经由数字通信网络例如从PACS系统接收以编码和打包的形式的诊断图像数据之后查看并评估诊断图像数据。
在第三方面,本发明的实施例还涉及一种谱计算机断层摄影系统,其包括根据本发明的第一方面的实施例的图像处理设备和/或根据本发明的第二方面的实施例的图像解码设备。例如,本发明的实施例可以涉及一种谱计算机断层摄影系统,诸如下文关于图5描述的成像系统100。
图5示出了包括谱计算机断层摄影(谱CT)扫描器的成像系统100。成像系统100可以包括大致固定的机架102和旋转机架104。旋转机架104可以由固定机架102可旋转地支撑,并且可以关于纵向轴线Z绕检查区域106旋转。
辐射源108,例如x射线管,可以由旋转机架104可旋转地支撑,例如,与该旋转机架104一起旋转,并且可以适于发射穿过检查区域106的多能辐射。辐射源108可以包括单个宽谱X射线管或由单个宽谱X射线管组成。备选地,辐射源可以适于在至少两个不同的光子发射谱之间可控地切换,例如,在扫描期间在至少两个不同的峰值发射电压(例如80kVp、140kVp等)之间切换。在另一变型中,辐射源108可以包括被配置为发射具有不同平均谱的辐射的两个或更多个X射线管。在另一变型中,辐射源108可以包括以上的组合。
辐射敏感探测器阵列110可以对着跨检查区域106与辐射源108相对的角度弧。阵列110可以包括沿Z轴方向相对于彼此布置的一行或多行探测器。阵列110可以适于探测穿过检查区域106的辐射,并生成指示其的信号。阵列110可以包括双能探测器,其包括具有不同X射线能量敏感度的至少两种辐射敏感探测器元件(例如,至少两种闪烁体)和具有对应的光学敏感度的至少两种对应的光电传感器。辐射敏感探测器阵列110可以备选地或额外地包括直接转换探测器,例如CdTe、CdZnTe或本领域已知的其他直接转换探测器。
该系统可以包括:重建器112,其用于重建由探测器阵列110输出的信号。这可以包括将信号分解成各种能量相关分量。重建器112可以适于重建能量相关分量并生成与一种或多种不同能量相对应的一个或多个图像。重建器112还可以将能量相关分量组合以生成非谱图像数据。
该系统可以包括:对象支撑件113,例如卧榻,其用于将目标或对象支撑在检查区域中。该系统还可以包括:操作者控制台114,例如通用计算机,其被编程用于控制或监视系统100和/或为操作者提供用户界面。控制台114可以包括人类可读输出设备(例如监视器或显示器)和输入设备(例如键盘和鼠标)。驻留在控制台114上的软件可以允许操作者经由图形用户界面(GUI)或其他方式与扫描器100交互。该交互可以包括选择谱成像协议或非谱成像协议、启动扫描等。
成像系统100可以可操作地连接到存储系统和/或服务器,例如,PACS系统,例如,计算系统116,例如计算机,其可以包括:输入/输出(I/O)接口118,其用于方便与谱CT扫描器的通信。成像系统100可以包括计算系统116作为系统级集成部件,或者成像系统100可以适于与独立计算系统116通信,例如,将图像数据发送到计算系统116。
计算系统116还可以包括输出设备120。一个输出设备或多个输出设备可以包括例如显示监视器、胶片打印机、纸张打印机和/或用于音频反馈的音频输出部。计算系统还可以包括一个输入设备122或多个输入设备,诸如鼠标、键盘、触摸界面和/或语音识别界面。计算系统116还可以包括至少一个处理器124,例如中央处理单元(CPU)、微处理器、用于处理的专用专用集成电路(ASIC)和/或适当配置的可编程硬件处理器,例如现场可编程门阵列。计算系统可以包括计算机可读存储介质126,例如,非瞬态存储器,例如物理数字存储器。计算机可读存储介质126可以存储计算机可读指令128和数据130。至少一个处理器124可以适于执行计算机可读指令128。至少一个处理器126还可以执行由信号携带的计算机可读指令、载波或其他瞬态介质。备选地或额外地,至少一个处理器可以在物理上被配置为例如完全或部分地包含指令128,而无需对这些指令的存储器存储,例如,通过对现场可编程门阵列或专门设计用于执行指令的至少一部分的ASIC的配置。
计算系统可以例如根据上文提到的计算机可读指令被编程以实施根据本发明的第一方面的实施例的图像处理设备10。
指令128可以包括用于执行根据本发明的第四方面的实施例的方法的图像处理算法132。
该系统还可以包括工作站,例如另一计算系统,例如,类似于计算系统116,其中,例如类似于指令128的指令可以包括用于执行根据本发明的实施例的方法的算法。诸如计算机的另外的计算系统可以包括用于方便与计算系统116的通信的输入/输出(I/O)接口。成像系统100可以包括作为系统级集成部件的另外的计算系统,或者成像系统100可以适于与独立的另外的计算系统通信,例如将图像数据发送到另一计算系统。
在第四方面,本发明涉及一种用于处理诊断图像数据的方法。参考图4,示出了根据本发明的实施例的示例性方法40。方法40包括获得41矢量值诊断图像数据,并且针对诊断图像数据中的多个图像坐标中的每个图像坐标,基于所接收的矢量值诊断图像数据来确定42从模板标识符的预定集合中选择的标识符的子集。该方法包括针对标识符的子集中的每个标识符确定43对应的量化值,该对应的量化值指示在对应图像坐标处与该标识符相对应的材料或状况的存在、比例和/或重要性。
该方法还包括通过将子集识别索引分配给由量化单元针对矢量值诊断图像数据确定的标识符的每个唯一子集来提供44字典。
该方法还包括对诊断图像数据进行编码45以便提供经编码的图像,其中,针对每个图像坐标,例如,针对每个像素或体素,计算比特序列,使得比特序列的第一比特集合对分配给针对图像坐标确定的标识符的子集的子集识别索引进行编码,并且比特序列的另外的比特集合分别对针对图像坐标确定的量化值进行编码。
该方法包括以包括元数据的诊断图像格式打包46经编码的图像,并且将该字典包括在元数据中。
根据本发明的第一方面的实施例的设备可以实施根据本发明的第四方面的实施例的方法。与根据本发明的第四方面的实施例的方法有关的细节和/或根据本发明的第四方面的实施例的方法的必要特征或可选特征将从上文提供的与本发明的第一方面有关的描述中变得清楚。
在第五方面,本发明还涉及一种用于对以包括元数据的诊断图像格式打包的诊断图像数据进行解码的方法。参考图4,示出了根据本发明的实施例的示例性方法50。
方法50包括获得51打包的诊断图像数据,例如,如由根据本发明的第四方面的实施例的方法40所提供的打包的诊断图像数据,并且从打包的诊断图像数据中解包出52经编码的图像并且从打包的诊断图像数据中的元数据中解包出字典。
方法50还包括对经编码的图像进行解码53以便提供诊断图像数据,其中,针对每个图像坐标,从经编码的图像中检索比特序列,标识符的子集通过在字典中查找编码在比特序列的第一比特集合中的子集识别索引来识别,并且根据比特序列的另外的比特集合来确定分配给标识符的量化值。
方法50还包括为在字典中引用的每个标识符生成映射54,每个映射包括由图像数据解码器分配给对应标识符以表示在每个图像坐标处与标识符相对应的材料或状况的存在、比例和/或重要性的量化值。
方法50可以包括对所生成的映射中的至少一个映射进行可视化55。
根据本发明的第二方面的实施例的设备可以实施根据本发明的第五方面的实施例的方法。与根据本发明的第五方面的实施例的方法有关的细节和/或根据本发明的第五方面的实施例的方法的必要特征或可选特征将从上文提供的与本发明的第二方面有关的描述中变得清楚。在第六方面,本发明的实施例还涉及一种计算机程序产品,其用于在处理单元上实施的情况下执行根据本发明的实施例的方法,例如,本发明的第四方面和/或第五方面的实施例的方法。
在第七方面,本发明的实施例还涉及一种存储根据本发明的第六方面的实施例的计算机程序产品的数据载体。
在第八方面,本发明的实施例还涉及一种通过数字通信网络对根据本发明的第六方面的实施例的计算机程序产品的传输。
在第九方面,本发明的实施例还涉及一种以包括元数据的诊断图像格式的经编码的图像,其中,所述元数据包括用于将子集识别索引分配给标识符的多个唯一子集的字典,并且其中,经编码的图像还包括:(例如,以压缩或未压缩形式的)针对多个图像坐标中的每个图像坐标的比特序列,例如,针对图像中的每个像素或体素的比特序列。比特序列包括:第一比特集合,其对用于将标识符的子集中的一个分配给所述图像坐标的子集识别索引进行编码;以及分别对针对所述图像坐标确定的量化值进行编码的另外的比特集合。每个量化值指示在对应图像坐标处与其相关联的标识符相对应的材料或状况的存在、比例和/或重要性。诊断图像格式可以与DICOM格式标准兼容。
经编码的图像可以是可通过根据本发明的第四方面的实施例的方法获得的经编码的图像。经编码的图像可以是如可以由根据本发明的第一方面的实施例的设备提供的经编码的图像。
Claims (13)
1.一种用于处理诊断图像数据的图像处理设备(10),所述图像处理设备包括:
数据输入部(11),其用于接收矢量值诊断图像数据;
量化单元(12),其用于针对所述诊断图像数据中的多个图像坐标中的每个图像坐标,基于所接收的矢量值诊断图像数据来确定从Nm个已知模板材料标识符的预定集合中选择的m个材料标识符的子集,每个材料标识符指示在由该图像坐标表示的位置处包含在被成像目标中的材料,其中,Nm>m,并且针对材料标识符的所述子集中的每个材料标识符确定指示在所述图像坐标处与所述材料标识符相对应的材料或状况的存在、比例和/或重要性的对应量化值,其中,所述量化单元(12)适于通过从所述多个模板材料标识符的S多个模板子集中选择材料标识符的所述子集来确定材料标识符的所述子集,所述S多个模板子集每个均具有材料标识符的唯一特定序列;
字典定义单元(14),其用于提供字典,所述字典定义单元适于将子集识别索引分配给由所述量化单元针对所述矢量值诊断图像数据确定的材料标识符的每个唯一子集,并且适于在所述字典中包括所述分配中的每个分配的定义;
图像数据编码器(16),其用于对所述诊断图像数据进行编码以提供经编码的图像,所述图像数据编码器适于针对每个图像坐标计算比特序列,使得所述比特序列的第一比特集合对分配给针对所述图像坐标确定的材料标识符的所述子集的所述子集识别索引进行编码,并且所述比特序列的另外的比特集合分别对针对所述图像坐标确定的量化值进行编码;以及
数据打包器(18),其用于以包括元数据的诊断图像格式打包所述经编码的图像,并且用于将所述字典插入所述元数据中,
其中,所述图像数据编码器(16)适于将所述第一比特集合确定为所述子集识别索引的二进制表示,其中,所述子集识别索引的比特的数量等于最小后续整数,所述最小后续整数大于或等于在所述S多个模板子集中的模板子集的数量的以2为底的对数。
2.如权利要求1所述的图像处理设备,其中,所述数据输入部(11)适于接收谱计算机断层摄影体积图像数据、磁共振体积图像数据和/或核医学断层摄影体积图像数据。
3.如前述权利要求中的任一项所述的图像处理设备,其中,所述多个模板标识符包括表示不同材料和/或化学元素的模板标识符,其中,所述量化单元(12)包括材料分解处理器,所述材料分解处理器用于基于针对每个图像坐标的所述矢量值诊断图像数据来确定不同材料的属性以便将所述量化值确定为指示通过由所述图像坐标表示的体积中的所述标识符识别的材料的体积分数的值。
4.如前述权利要求中的一项所述的图像处理设备,其中,所述图像数据编码器(16)适于通过按照由所述字典定义的顺序对所述量化值进行编码来确定所述比特序列的所述另外的比特集合,其中,每个另外的比特集合由数量等于最小后续整数的多个比特组成,所述最小后续整数大于或等于精度值的倒数的以2为底的对数。
5.如权利要求4所述的图像处理设备,其中,所述量化单元(12)适于确定所述量化值,使得针对标识符的每个子集确定的所述量化值的总和等于预定值,其中,所述另外的比特集合对针对标识符的所确定的子集中除了一个标识符之外的所有标识符的所述量化值进行编码。
6.如前述权利要求中的任一项所述的图像处理设备,其中,所述数据打包器(18)适于应用压缩算法来压缩所述经编码的图像并且用于将经压缩的经编码的图像包括在所述诊断图像格式中。
7.如前述权利要求中的任一项所述的图像处理设备,其中,所述数据打包器(18)适于以所述诊断图像格式生成输出诊断图像,其中,所述诊断图像格式与DICOM标准兼容。
8.一种图片存档与通信系统和/或诊断图像门户系统,包括根据前述权利要求中的任一项所述的图像处理设备。
9.一种用于对以包括元数据的诊断图像格式打包的诊断图像数据进行解码的图像解码设备(20),所述图像解码设备(20)包括:
数据输入部(21),其用于接收所述打包的诊断图像数据;
数据解包器(28),其用于从所述打包的诊断图像数据中解包出经编码的图像,并且从所述打包的诊断图像数据中的元数据中解包出字典;
图像数据解码器(26),其用于对所述经编码的图像进行解码,以便提供诊断图像数据,所述图像数据解码器适于针对每个图像坐标,从所述经编码的图像中检索比特序列,通过在所述字典中查找编码在所述比特序列的第一比特集合中的子集识别索引来识别标识符的子集,并且用于根据所述比特序列的另外的比特集合来确定分配给所述标识符的量化值,其中,所述第一比特集合是所述子集识别索引的二进制表示,所述子集识别索引的比特的数量等于最小后续整数,所述最小后续整数大于或等于S多个模板子集中的模板子集的数量的以2为底的对数;以及
映射单元(22),其用于为在所述字典中引用的每个标识符生成映射,每个映射包括由所述图像数据解码器(16)分配给对应标识符以表示在每个图像坐标处与所述标识符相对应的材料或状况的存在、比例和/或重要性的所述量化值。
10.如权利要求9所述的图像解码设备,其中,所述图像数据解码器(26)适于通过按照由所述字典中的标识符的所述子集定义的顺序对所述比特序列的对量化值进行编码的另外的比特集合进行解码来确定所述量化值,并且适于通过从预定值中减去编码在所述另外的比特集合中的所述量化值的总和来计算针对标识符的所述子集中的最后一个标识符的另外的量化值。
11.如权利要求9或10所述的图像解码设备,包括:处理单元(24),其用于基于由所述映射单元(12)生成的所述映射将另外的物理属性归因于每个图像坐标。
12.如权利要求9至11中的任一项所述的图像解码设备,包括:可视化单元(23),其用于向用户显示所述映射中的至少一个映射的视觉表示,所述可视化单元适于向所述用户提供图形用户界面以用于查看所述视觉表示,其中,所述可视化单元(23)适于使得所述用户能够在所述视觉表示上选择特定点和/或感兴趣区域,适于确定所选择的感兴趣区域中和/或在所选择的点周围的同质区域,适于从与所确定的同质区域相对应的所述映射中提取数据,并且适于向所述用户呈现与所确定的同质区域有关的材料分类和/或量化统计信息。
13.一种用于处理诊断图像数据的方法(40),所述方法包括:
获得(41)矢量值诊断图像数据;
针对所述诊断图像数据中的多个图像坐标中的每个图像坐标,基于所接收的矢量值诊断图像数据,确定(42)从模板标识符的预定集合中选择的标识符的子集;
针对标识符的所述子集中的每个标识符确定(43)对应的量化值,所述对应的量化值指示在所述图像坐标处与所述标识符相对应的材料或状况的存在、比例和/或重要性;
通过将子集识别索引分配给由所述量化单元针对所述矢量值诊断图像数据确定的标识符的每个唯一子集来提供(44)字典;
对所述诊断图像数据进行编码(45),以便提供经编码的图像,其中,针对每个图像坐标,计算比特序列,使得所述比特序列的第一比特集合对分配给针对所述图像坐标确定的标识符的所述子集的所述子集识别索引进行编码,并且所述比特序列的另外的比特集合分别对针对所述图像坐标确定的量化值进行编码;
将所述第一比特集合确定为所述子集识别索引的二进制表示,所述子集识别索引的比特的数量等于最小后续整数,所述最小后续整数大于或等于S多个模板子集中的模板子集的数量的以2为底的对数;以及
以包括元数据的诊断图像格式打包(46)所述经编码的图像并且将所述字典包括在所述元数据中。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17171578.2 | 2017-05-17 | ||
EP17171578.2A EP3404919A1 (en) | 2017-05-17 | 2017-05-17 | Vector-valued diagnostic image encoding |
PCT/EP2018/062977 WO2018211027A1 (en) | 2017-05-17 | 2018-05-17 | Vector-valued diagnostic image encoding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109691105A true CN109691105A (zh) | 2019-04-26 |
CN109691105B CN109691105B (zh) | 2020-04-14 |
Family
ID=58745073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880003296.9A Active CN109691105B (zh) | 2017-05-17 | 2018-05-17 | 图像处理设备、系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10679742B2 (zh) |
EP (2) | EP3404919A1 (zh) |
JP (1) | JP2020521532A (zh) |
CN (1) | CN109691105B (zh) |
WO (1) | WO2018211027A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220286426A1 (en) * | 2020-09-24 | 2022-09-08 | Apple Inc. | Network address compression for electronic devices |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220015730A1 (en) * | 2018-11-28 | 2022-01-20 | Koninklijke Philips N.V. | Most relevant x-ray image selection for hemodynamic simulation |
US11238585B2 (en) * | 2020-04-03 | 2022-02-01 | The University Of Chicago | Method and apparatus for spectral computed tomography (CT) with multi-material decomposition into three or more material components |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001212138A (ja) * | 2000-02-02 | 2001-08-07 | Mitsubishi Plastics Ind Ltd | 画像処理システム |
CN102724918A (zh) * | 2010-01-29 | 2012-10-10 | 株式会社日立医疗器械 | 超声波诊断装置及其测量点追踪方法 |
CN102891999A (zh) * | 2012-09-26 | 2013-01-23 | 南昌大学 | 一种基于压缩感知的联合图像压缩/加密方法 |
CN103345774A (zh) * | 2013-07-17 | 2013-10-09 | 中国人民解放军第三军医大学 | 一种三维多尺度矢量化的建模方法 |
CN104299256A (zh) * | 2014-10-05 | 2015-01-21 | 浙江大学 | 一种近似无损的三维体数据压缩域体绘制方法 |
US20150379709A1 (en) * | 2013-02-14 | 2015-12-31 | The Research Foundation For The State University Of New York | Method for adaptive computer-aided detection of pulmonary nodules in thoracic computed tomography images using hierarchical vector quantization and apparatus for same |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6404923B1 (en) * | 1996-03-29 | 2002-06-11 | Microsoft Corporation | Table-based low-level image classification and compression system |
US7283857B1 (en) | 1998-11-30 | 2007-10-16 | Hologic, Inc. | DICOM compliant file communication including quantitative and image data |
WO2004112580A2 (en) | 2003-06-19 | 2004-12-29 | Compumed, Inc. | Method and system for analyzing bone conditions using dicom compliant bone radiographic image |
US20060280348A1 (en) * | 2005-06-01 | 2006-12-14 | Smith Matthew W | Method of screening cellular tissue |
DE102006001681B4 (de) * | 2006-01-12 | 2008-07-10 | Wismüller, Axel, Dipl.-Phys. Dr.med. | Verfahren und Vorrichtung zur Darstellung mehrkanaliger Bilddaten |
JP5329534B2 (ja) * | 2008-04-22 | 2013-10-30 | 株式会社日立メディコ | 医用画像処理装置、マルチエネルギー型x線ct装置、医用画像処理方法、プログラム |
US8406493B2 (en) | 2008-07-17 | 2013-03-26 | The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. | Multi-grayscale overlay window |
CN101627918A (zh) * | 2008-07-18 | 2010-01-20 | Ge医疗系统环球技术有限公司 | Ct影像压缩方法和装置 |
US8407267B2 (en) | 2009-02-06 | 2013-03-26 | Siemens Aktiengesellschaft | Apparatus, method, system and computer-readable medium for storing and managing image data |
US10261154B2 (en) * | 2014-04-21 | 2019-04-16 | Case Western Reserve University | Nuclear magnetic resonance (NMR) fingerprinting tissue classification and image segmentation |
US9964499B2 (en) | 2014-11-04 | 2018-05-08 | Toshiba Medical Systems Corporation | Method of, and apparatus for, material classification in multi-energy image data |
GB2549957B (en) * | 2016-05-03 | 2018-08-08 | Imagination Tech Ltd | Compressing and decompressing image data |
US11449985B2 (en) * | 2016-12-02 | 2022-09-20 | Regents Of The University Of Minnesota | Computer vision for cancerous tissue recognition |
US20190122073A1 (en) * | 2017-10-23 | 2019-04-25 | The Charles Stark Draper Laboratory, Inc. | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture |
-
2017
- 2017-05-17 EP EP17171578.2A patent/EP3404919A1/en not_active Withdrawn
-
2018
- 2018-05-17 CN CN201880003296.9A patent/CN109691105B/zh active Active
- 2018-05-17 EP EP18727215.8A patent/EP3607749A1/en not_active Withdrawn
- 2018-05-17 WO PCT/EP2018/062977 patent/WO2018211027A1/en unknown
- 2018-05-17 JP JP2019563272A patent/JP2020521532A/ja active Pending
- 2018-05-17 US US16/307,652 patent/US10679742B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001212138A (ja) * | 2000-02-02 | 2001-08-07 | Mitsubishi Plastics Ind Ltd | 画像処理システム |
CN102724918A (zh) * | 2010-01-29 | 2012-10-10 | 株式会社日立医疗器械 | 超声波诊断装置及其测量点追踪方法 |
CN102891999A (zh) * | 2012-09-26 | 2013-01-23 | 南昌大学 | 一种基于压缩感知的联合图像压缩/加密方法 |
US20150379709A1 (en) * | 2013-02-14 | 2015-12-31 | The Research Foundation For The State University Of New York | Method for adaptive computer-aided detection of pulmonary nodules in thoracic computed tomography images using hierarchical vector quantization and apparatus for same |
CN103345774A (zh) * | 2013-07-17 | 2013-10-09 | 中国人民解放军第三军医大学 | 一种三维多尺度矢量化的建模方法 |
CN104299256A (zh) * | 2014-10-05 | 2015-01-21 | 浙江大学 | 一种近似无损的三维体数据压缩域体绘制方法 |
Non-Patent Citations (5)
Title |
---|
PAULO R. S. MENDONÇA等: "A Flexible Method for Multi-Material Decomposition of Dual-Energy CT Images", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
SHAOU-GANG MIAOU等: "Automatic Quality Control for Wavelet-Based Compression of Volumetric Medical Images Using Distortion-Constrained Adaptive Vector Quantization", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
SIDDIQUI, R. A等: "Multi Stage Vector Quantization for the Compression of Surface and Volumetric Point Cloud Data", 《2007 IEEE INTERNATIONAL SYMPOSIUM ON SIGNAL PROCESSING AND INFORMATION TECHNOLOGY》 * |
YONG LONG等: "Multi-Material Decomposition Using Statistical Image Reconstruction for Spectral CT", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
德爱玲等: "基于矢量量化的三维图像自适应分割方法及其应用", 《光学学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220286426A1 (en) * | 2020-09-24 | 2022-09-08 | Apple Inc. | Network address compression for electronic devices |
US11750557B2 (en) * | 2020-09-24 | 2023-09-05 | Apple Inc. | Network address compression for electronic devices |
Also Published As
Publication number | Publication date |
---|---|
EP3607749A1 (en) | 2020-02-12 |
CN109691105B (zh) | 2020-04-14 |
JP2020521532A (ja) | 2020-07-27 |
US20200098468A1 (en) | 2020-03-26 |
US10679742B2 (en) | 2020-06-09 |
EP3404919A1 (en) | 2018-11-21 |
WO2018211027A1 (en) | 2018-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110461235B (zh) | 心肌ct灌注图像合成 | |
CN103365950B (zh) | 用于加载医学图像数据的方法以及用于执行该方法的装置 | |
US10867375B2 (en) | Forecasting images for image processing | |
CN107209946B (zh) | 图像数据分割和显示 | |
CN109691105A (zh) | 矢量值诊断图像编码 | |
De Moraes et al. | InVesalius: an open-source imaging application | |
CN105793894B (zh) | 根据图像数据来进行骨骼分割 | |
US10973472B2 (en) | Artificial intelligence-based material decomposition in medical imaging | |
CN111316318B (zh) | 诊断成像中的图像特征注释 | |
JP2018500061A (ja) | 画像データ用のテクスチャ解析マップ | |
Clark et al. | Deep learning based spectral extrapolation for dual‐source, dual‐energy x‐ray computed tomography | |
CN104737200B (zh) | 多结构图集和/或其应用 | |
CN109688931A (zh) | 谱计算机断层扫描指纹识别 | |
US11786201B1 (en) | Method and system for material decomposition in dual- or multiple-energy x-ray based imaging | |
EP4292536A1 (en) | Method and system for material decomposition in dual- or multiple-energy x-ray based imaging | |
Li et al. | A quality‐checked and physics‐constrained deep learning method to estimate material basis images from single‐kV contrast‐enhanced chest CT scans | |
Lebedeva et al. | The reconstruction of three-dimensional models from MR-images for solving problems of radiation therapy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |