CN117480567A - 用于在医学成像系统中提供反馈数据的方法 - Google Patents
用于在医学成像系统中提供反馈数据的方法 Download PDFInfo
- Publication number
- CN117480567A CN117480567A CN202280035940.7A CN202280035940A CN117480567A CN 117480567 A CN117480567 A CN 117480567A CN 202280035940 A CN202280035940 A CN 202280035940A CN 117480567 A CN117480567 A CN 117480567A
- Authority
- CN
- China
- Prior art keywords
- data
- medical
- monitoring device
- imaging system
- medical imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012806 monitoring device Methods 0.000 claims abstract description 67
- 238000004088 simulation Methods 0.000 claims abstract description 50
- 230000004807 localization Effects 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000002360 preparation method Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000001990 intravenous administration Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 210000004072 lung Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000011976 chest X-ray Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000005355 Hall effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- -1 infusion Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000920 organ at risk Anatomy 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
一种用于在针对医学成像过程的医学成像系统(22)中提供反馈数据的方法,包括以下步骤:由计算单元提供模拟模型,所述模拟模型被训练为根据与对象(27)的捕获定位相关联的对象定位数据、与被布置在医学成像系统(22)中的所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的捕获定位相关联的设备定位数据和与所述对象定位数据和所述医学护理和/或监测设备定位数据相关联的医学图像数据之间的关系来预测要通过使用所述医学成像系统(22)采集的医学图像的外观(S10);由所述计算单元从至少一个测量装置(25、26)获得对象(27)的当前对象定位数据和被布置在所述医学成像系统中的所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的当前医学设备定位数据(S20);由所述计算单元通过将所获得的当前对象定位数据和所获得的当前医学设备定位数据馈送到输出所述反馈数据的所述模拟模型中来确定反馈数据,其中,所述反馈数据至少包括由所述模拟模型根据所获得的当前对象定位数据和当前医学设备定位数据预测的模拟医学图像数据(S30);由提供单元提供所述反馈数据(S40)。
Description
技术领域
本发明涉及用于在针对医学成像过程的医学成像系统中提供反馈数据的方法、用于在针对医学成像过程的医学成像系统中提供反馈数据的装置、系统、光学测量单元和/或基于压力的测量单元在这样的装置中的使用以及计算机程序单元。
背景技术
医学成像是医学诊断中的重要问题。市场上有几种可用的医学成像系统,诸如X射线、MRT、CT等。这些医学成像系统是现有技术,并且因此是已知的。由这样的医学成像系统获得的医学图像的质量尤其取决于医学成像过程的准备的质量。在医学图像的质量不足的情况下,不得不重复医学成像,更甚者,可能从医学图像导出错误的医学诊断。总之,这可能导致增加的医学成像成本、错误的医学诊断以及降低的图像质量。
发明内容
因此,可能需要在医学成像中(特别是在医学成像的准备阶段中)提供反馈。本发明的目的通过独立权利要求的主题来解决,其中在从属权利要求中并入了另外的实施例。
根据第一方面,提供了一种用于在针对医学成像过程的医学成像系统中提供反馈数据的方法。所述方法包括以下步骤:
由计算单元提供模拟模型,所述模拟模型被训练为描述对象的定位数据、被布置到医学成像系统中的所述对象的至少一个医学设备的定位数据与由所述定位数据产生的模拟图像数据之间的关系。由所述计算单元从至少一个测量装置获得对象的定位数据以及被布置到所述医学成像系统中的所述对象的至少一个医学设备的定位数据。由所述计算单元通过利用所述模拟模型和馈送到所述模拟模型中的所获得的定位数据来确定反馈数据,其中,所述反馈数据至少包括由所获得的定位数据产生的模拟图像数据。由提供单元提供所述反馈数据。
换句话说,所述方法包括以下步骤:由计算单元提供模拟模型,所述模拟模型被训练为根据与对象的捕获定位相关联的对象定位数据、与被布置在医学成像系统中的所述对象中或处的至少一个医学护理和/或监测设备的捕获定位相关联的医学设备定位数据和与所述对象定位数据和所述医学设备定位数据相关联的医学图像数据(可选地,模拟医学图像数据)之间的关系来预测要通过使用所述医学成像系统采集的医学图像的外观;由所述计算单元从至少一个测量装置获得对象的当前对象定位数据和被布置在所述医学成像系统中的所述对象中或处的至少一个医学护理和/或监测设备的当前医学设备定位数据;由所述计算单元通过将所获得的当前对象定位数据和所获得的当前医学设备定位数据馈送到所述模拟模型中进行处理来确定反馈数据,其中,所述反馈数据至少包括由所述模拟模型至少根据所获得的当前对象定位数据和当前医学设备定位数据预测的模拟医学图像数据;以及由提供单元提供所述反馈数据。
如本文所使用的术语反馈数据应被广义地理解,并且涉及被配置为描述医学成像过程的任何信息。反馈数据可以考虑医学成像过程的任何阶段,诸如准备阶段,其中,例如在实际图像采集阶段、执行阶段或采集阶段以及后续阶段之前准备对象。反馈数据可以包括关于医学成像过程的质量度量,其揭示医学成像过程是否处于导致具有足够质量(特别是图像质量)或不足质量的医学图像的实际设置(即,定位数据、暴露数据等)下。反馈数据可以包括描述医学成像过程的过程参数(例如,定位数据、医学成像系统设置)。在至少一些实施例中,反馈数据可以包括对将通过实际成像条件(例如,医学成像系统设置、定位数据以及医学护理和/或监测设备的类型或类别)获得的图像(特别是医学图像,诸如X射线图像、MR图像数据、CT图像数据等)的预测。反馈数据可以包括模拟图像数据。
如本文所使用的术语医学成像系统应当被广义地理解,并且涉及被配置为采集对象的医学图像的任何医学成像系统。医学成像系统可以是X射线系统、MRT系统或CT系统。医学成像系统可以包括医学成像单元、控制单元、被配置为定位要被成像的对象的支撑结构(例如,床)、被配置为显示信息(例如,反馈数据)的显示器和/或测量装置。
如本文所使用的术语计算单元应被广义地理解,并且涉及被配置为执行模拟模型的系统。计算单元可以是硬件单元(例如CPU、工作站等)或虚拟单元(例如虚拟机、软件等)。
如本文所使用的术语模拟模型应当被广义地理解,并且涉及被配置为通过例如对应的训练数据等被训练为至少描述对象的定位数据、医学护理和/或监测设备的定位数据和对应的(可选地模拟)医学图像数据之间的关系(特别是联系)的任何计算模型。模拟模型可以基于神经网络、深度学习算法或更一般地机器学习算法。可以通过提供测量的定位数据作为输入并且同时提供对象的对应的实际采集的图像(特别是医学图像)作为输出来训练模拟模型。训练数据可以可选地被注释、标记等。可以分别连续训练或重新训练模拟模型。模拟模型可以用于预测将在给定成像条件下采集的图像(特别是医学图像,诸如X射线图像、MR图像等)的外观。模拟模型可以是借助于通常具有一组自由参数的内部处理链将一个或多个输入处理成一个或多个输出的实体。内部处理链可以被组织在互连的层中,当从输入进行到输出时,所述互连的层被连续遍历。在本实例中,输入可以是对象、医学护理和/或监测设备、医学成像系统的定位数据、以及暴露数据,并且输出可以是模拟医学图像。可以使用训练数据的记录来训练模拟模型。训练数据的记录包括训练输入数据和对应的训练输出数据。训练数据的记录的训练输出数据是当给定与输入相同的训练数据的记录的训练输入数据时预期由模拟模型产生的结果。观察该预期结果与由模拟模型产生的实际结果之间的偏差,并通过“损失函数”进行评级。该损失函数用作用于调整模块的内部处理链的参数的反馈。例如,可以利用最小化损失函数的值的优化目标来调整参数,该损失函数在所有训练输入数据被馈送到模块中并且将结果与对应的训练输出数据进行比较时产生。该训练的结果是,在给定相对少量的训练数据的记录作为“地面实况”的情况下,使得模拟模型能够执行其工作,在本实例中提供反馈数据,特别是模拟医学图像。
在本实例中,术语定位数据意指对象和/或医学护理和/或监测设备的一个或多个中心点(即,骨骼关节中心或关键点)的空间数据以及对象和/或医学护理和/或监测设备的一个或多个轮廓点的空间数据。定位数据可以优选地与医学成像系统的坐标系有关。
如本文所使用的术语对象应被广义地理解,并且涉及人类或动物的任何部分。对象可以包括骨骼(例如膝盖)、组织和/或器官(例如,心脏、脑)。
如本文所使用的术语医学护理和/或监测设备应被广义地理解,并且涉及被配置为向对象提供医学辅助(例如,管、管线等)或用于医学成像的任何设备(例如,用于定位对象的一部分的支撑结构:医学重物或医学铺展设备)。例如,医学护理和/或监测设备可以被配置为直接带到对象,例如接触对象或至少部分地插入对象中。医学护理和/或监测设备可以用于向对象提供医学辅助(诸如药物、输注、氧气等),和/或监测对象的体征参数(诸如心率测量、氧气测量等)。医学护理和/或监测设备可能由于其材料和/或相对于对象和/或医学成像系统的位置而在图像采集期间干扰射束路径。
如本文所使用的术语“测量装置”应被广义地理解,并且涉及被配置为确定对象和/或医学护理和/或监测设备的定位数据的任何装置。术语测量装置可以包括光学测量单元、触觉测量单元、基于压力的测量单元、成像系统内部测量单元(例如,医学成像系统的驱动器的编码器)。
如本文所使用的术语模拟图像数据意指将在测量的成像设置下利用医学成像系统采集的图像的模拟。模拟图像可以与在没有对象的特定特性(例如,未知肿瘤、正常骨结构的偏差等)的情况下采集的真实图像基本上相同。应当注意,模拟图像数据不替换对象的真实获得的医学图像,替代地,模拟图像应当帮助技术人员识别成像设置是否适合于获得现实中的对象的合理医学图像。
本发明基于以下发现:医学图像的质量对于医学图像的后续诊断是至关重要的。例如,在X射线成像定位中,对象或医学护理和/或监测设备对所得图像的最佳诊断值提出了严峻的挑战。例如,床边胸部X射线(CXR)是用于监测重症监护病房(ICU)中的重症患者的不可或缺的诊断工具。CXR通常揭示临床上可能无法探测到的异常。此外,床边CXR是探测管和管线的错位并识别相关并发症的不可替代的工具。另一示例是胸部X射线筛查,其中,通常同样难以评估肺的位置和空间范围。另一示例是乳房成像,其中,通常难以实现延伸到胸壁的全视图。
存在影响医学图像的质量的许多因素,诸如,对象和/或医学护理和/或监测设备和医学成像系统的定位数据,特别是对象、医学护理和/或监测设备和医学成像系统的彼此对准。例如,强制医学护理和/或监测设备(例如呼吸管、灌注管等)的位置可能由于其相对于对象和/或医学成像系统的材料和/或位置而对医学图像的质量具有负面影响(例如,医学护理和/或监测设备遮挡器官,或在所得到的图像中不清楚医学图像的哪个部分属于对象,哪个部分属于医学护理和/或监测设备),并且因此应该被调整。医学护理和/或监测设备可以是强制性的,因为对象在重症监护病房(ICU)的床上。对于诊断来说,知道医学护理和/或监测设备是在对象内部还是在对象外部是至关重要的。因此,准备对象的医学成像过程的技术人员通过调整医学成像的定位数据而具有显著影响,以影响医学图像的质量。为了评估定位数据的影响,向技术人员提供反馈数据(特别是由定位数据产生的模拟图像)是至关重要的。基于模拟图像形式的反馈数据,技术人员可以直接看到并评估当前定位数据的图像质量是否足够和/或当前定位数据的调整是否可能是必要的。这可以有利地提高图像质量和医学成像过程的效率,因为由于避免了图像质量不足的图像而需要更少的重复。此外,在X射线成像的情况下,对象可以有利地仅接收很少的X射线剂量,因为不需要医学成像的重复。
换句话说,如本文中所描述的方法提出向技术人员提供关于当前对象和/或设备定位的反馈,特别是视觉反馈。它通过模拟医学图像(例如,如果在当前情况下拍摄医学图像则将产生的X射线图像)来这样做。因此,可以无辐射地(即在不使用实际的医学成像系统的情况下)执行该方法。技术人员能够从模拟医学图像推断对象(特别是感兴趣解剖结构)是否将由医学成像系统最佳地成像,即,完全地在最佳位置中、正确地暴露并且例如没有重叠来自医学护理和/或监测设备的X射线阴影。模拟医学图像可以由软件处理器生成,该软件处理器使用输入测量装置,诸如摄像机、用于对象的位置和/或医学护理和/或监测设备的位置的压力传感器、来自医学图像系统的关于暴露设置(例如,源探测器的位置等)的输入、以及医学护理和/或监测设备的医学图像特性的分类知识。该分类知识可以示出例如在医学护理和/或监测设备(例如静脉管线)具有特定位置和尺寸的情况下X射线图像看起来如何。由于患者外部的医学护理和/或监测设备由相机传感器拾取并且可以在模拟X射线图像上如此标记,因此患者混淆内部/外部的医学护理和/或监测设备也通过该方法减轻。放射科医师读者然后可以简单地将标记的模拟图像与他们正在读取的实际X射线成像进行比较。
根据实施例,医学护理和/或监测设备可以包括被配置为向对象提供医学护理的一个或多个医学护理设备。如本文所使用的医学护理是指物质(例如盐溶液、氧气)的供应或健康功能的观察(例如测量电极)。医学护理和/或监测设备对于对象可能是至关重要的,因此不能从对象移除。因此,考虑到医学护理和/或监测设备的定位数据,借助于模拟图像数据来预测医学护理和/或监测设备的影响可以是有利的。此外,可以有利地在模拟图像中标记所识别的医学护理和/或监测设备,并且利用真实获得的医学图像提供用于后续诊断的信息。
根据实施例,所述医学护理和/或监测设备可以包括以下中的一个或多个:静脉管线、胸管、气管插管、鼻胃管、主动脉内球囊泵和导管。
根据实施例,所述至少一个测量装置可以包括光学测量单元。光学测量单元可以是测距相机、光学相机、激光器、光学传感器。光学测量单元可以被布置在医学成像系统附近或被布置在医学成像系统中。光学测量单元可以是医学成像系统的一部分。光学测量单元可以通过有线(例如以太网、Profibus等)和/或无线(例如WiFi)连接计算单元。定位数据的光学测量可以有利地有效地可靠地确定对象和/或医学护理和/或监测设备的可见区域的定位数据。光学测量单元可以有利地与其他测量装置(例如,基于压力的测量装置)组合使用,以交叉检查所获得的定位数据。
根据实施例,所述至少一个测量装置可以包括基于压力的测量单元,其中,所述基于压力的单元被布置在所述对象下方。基于压力的测量单元可以是电容压力传感器、电感压力传感器、基于霍尔效应的压力传感器或压电压力传感器。基于压力的测量单元与计算单元通过有线(例如以太网、Profibus等)和/或无线(例如WiFi)连接。基于压力的测量单元可以被实施在对象下方的支撑结构(例如,床)的表面上,其中,对象躺在支撑结构上。在对象躺在医学护理和/或监测设备(例如,静脉管线、管等)上的情况下,这是不可见的,但是增加了医学护理和/或监测设备下方的压力,该压力由被实施在支撑结构中的测量装置测量。因此,有利地可以识别不可见的医学护理和/或监测设备的定位数据。
根据实施例,所述模拟模型还可以考虑来自所述医学成像系统的暴露数据。如本文所使用的术语暴露数据将被广义地理解,并且涉及医学成像系统的设置数据。术语暴露数据可以包括准直器开口宽度、成像源的电压值、成像源和成像探测器的定位数据。优选地,暴露数据可以包括X射线源的电压值。这对于准确地模拟所得到的医学图像可以是有利的。
根据实施例,所述模拟图像数据可以包括所述对象和所述至少一个医学护理和/或监测设备的一幅或多幅模拟X射线图像,其中,所述至少一个医学护理和/或监测设备被布置在所述对象的内部和/或外部。这可以有利于评估医学护理和/或监测设备是否由于其定位数据而对医学图像的质量具有负面影响。这可以进一步有利于区分医学护理和/或监测设备是否在对象内部和/或外部。
根据实施例,所述模拟模型还可以基于参数解剖模型,其中,所述参数解剖模型描述对象的一个或多个特性与所述对象的身体的对应形式之间的关系,其中,所述特性包括几何特性和生物学特性。参数解剖模型可以是至少包括人体表面的几何模型和肺的对应位置的通用解剖模型。参数解剖模型可以通过诸如患者尺寸、患者体重、患者BMI、肺体积、年龄和/或性别的特性来参数化。所述特性可以被测量或仅被输入在针对每个对象的参数解剖模型中,以实现对象的个体特性的准确建模。这可以有利于提供准确的反馈信息,特别是准确的模拟图像。
根据实施例,所述反馈数据还可以包括引导数据,所述引导数据被配置为引导人调整所述定位数据和/或暴露数据。所述方法可以确定模拟图像的目标质量和实际质量。基于目标质量和实际质量之间的差异,所述方法可以确定用于调整定位数据和/或暴露数据的引导数据。引导数据可以在显示器上呈现给技术人员。可以通过人类和/或软件评估者的输入来训练模拟模型以识别目标质量。当确定新的模拟图像时,可以连续地更新引导数据。例如,当肺的下部分被夹持时,引导数据可以包括应当降低探测器的图形或文本指示。这可以对所有其他错位方向等效地完成。这在效率和质量方面可以是有利的。
根据实施例,所述方法可以在所述实际医学成像过程之前的准备阶段中执行,并且其中,在所述准备阶段期间提供所述反馈数据,并且其中,基于所获得的定位数据来连续地更新所述模拟图像。这可以是有利的,因为没有拍摄质量不足的医学图像,因此辐射剂量和/或不必要的工作可能减少。换句话说,模拟模型允许在不使用医学成像设备(即,无辐射)的情况下验证已经在准备阶段中要采集的医学图像的质量。连续更新的模拟图像可以使得技术人员能够连续检查定位数据和/或暴露数据是否足够或必须调整。这可以增加效率。当技术人员调整对象的位置或探测器(例如,X射线探测器)的位置时,相应地更新模拟图像。技术人员可以校正对象的位置,直到模拟图像符合预期的质量标准(例如,器官被包含在视场中,风险器官被排除,外部异物不阻挡视图)。一旦这被实现,就采集医学图像,例如X射线图像。
根据实施例,所述医学系统是X射线系统,并且所述定位数据包括所述对象、X射线探测器、X射线源以及所述医学护理和/或监测设备的位置。
另一方面涉及一种用于在针对医学成像过程的医学成像系统中提供反馈数据的装置,包括:提供单元,其被配置为提供模拟模型,所述模拟模型被训练为描述对象的定位数据和被布置到医学成像系统中的所述对象的至少一个医学护理和/或监测设备的定位数据与由所述定位数据产生的模拟图像数据之间的关系;获得单元,其被配置为从至少一个测量装置获得对象的定位数据和在所述被布置到所述医学成像系统中的所述对象的至少一个医学护理和/或监测设备的定位数据;确定单元,其被配置为通过利用所述模拟模型和馈送到所述模拟模型中的所获得的定位数据来确定反馈数据,其中,所述反馈数据至少包括由所获得的定位数据产生的模拟图像数据;
提供单元,其被配置为提供所述反馈数据。第一提供单元、第二提供单元、获得单元和确定单元均可以是单独的硬件单元或被实施在一个硬件单元中。硬件单元可以是CPU、PLC、FPGA、微控制器、工作站。第一提供单元、第二提供单元、获得单元和确定单元也可以是在CPU、云服务器等上运行的虚拟单元。通常,第一提供单元、第二提供单元、获得单元、确定单元涉及计算单元。
另一方面涉及一种系统,包括:如上所述的装置;以及医学成像系统。医学成像系统可以是X射线系统、MRT系统或CT系统。
另一方面涉及如上所述的装置中的光学测量单元和/或基于压力的测量单元的用于获得对象和被布置到对象的至少一个医学护理和/或监测设备的定位数据的用途。光学测量单元可以是测距相机、光学相机、激光器、光学传感器。基于压力的测量单元可以是电容压力传感器、电感压力传感器、基于霍尔效应的压力传感器或压电压力传感器。
最后一个方面涉及一种计算机程序单元,所述计算机程序单元在由处理器运行时被配置为执行如上所述的方法的步骤。处理器可以是医学成像系统的一部分,或可以被单独地提供在另一计算机设备中。计算机程序单元可以被存储在计算机单元上,所述计算机单元也可以是实施例的一部分。该计算单元可以被配置为执行或诱导上述方法的步骤的执行。此外,它可以被配置为操作上面描述的设备的部件。计算单元可以被配置为自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,数据处理器可以被配备为执行根据前述实施例中的一个的方法。本发明的该示例性实施例涵盖从最开始使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。此外,计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。根据本发明另外的示例性实施例,提出了一种计算机可读介质,例如CD-ROM、USB棒等,其中该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元,所述计算机程序单元由前面的章节所描述。计算机程序可以被存储和/或分布在合适的介质上,例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以被以其他形式分布,例如经由互联网或其他有线或无线的电信系统。然而,计算机程序也可以被呈现在网络上,如万维网,并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的其他示例性实施例,提供用于使计算机程序可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个的方法。
注意,上述实施例可以彼此组合,而不考虑所涉及的方面。因此,所述方法可以与其他方面的设备和/或系统的结构特征组合,并且同样地,所述设备和所述系统可以与彼此的特征组合,并且也可以与上面关于所述方法描述的特征组合。
参考下文所述的实施例,本发明的这些方面和其他方面将变得显而易见并且得到阐明。
附图说明
将在以下附图中描述本发明的示例性实施例。
图1示出了根据本公开的第一实施例的装置的示意图;
图2示出了根据本公开的另一实施例的方法的流程图;以及
图3示出了根据本公开的另一实施例的系统的示意图。
附图标记列表:
10、21 装置
11 提供单元
12 获得单元
13 确定单元
14 提供单元
20 系统
22 医学成像系统
23X射线源
24X射线探测器
25 压力传感器
26 测距相机
27 对象
28、30医学设备,例如医学护理和/或监测设备
29 视场
31 显示器
S10 提供模拟模型
S20 获得定位数据
S30 确定反馈数据
S40 提供反馈数据
具体实施方式
图1示出了根据本公开的第一实施例的装置10的示意图。装置10被配置用于在针对医学成像过程的医学成像系统中提供反馈数据。
装置10包括第一提供单元11,第一提供单元11被配置为提供模拟模型,所述模拟模型被训练为描述对象的定位数据与被布置到医学成像系统中的对象的至少一个医学护理和/或监测设备的定位数据以及与所述定位数据相关联和/或由所述定位数据产生的(可选地,模拟)医学图像数据之间的关系。模拟模型可以基于深度学习算法。通过提供测量的定位数据和机器设置数据作为输入并且同时提供对象的对应的实际采集的X射线图像作为输出来训练模拟模型。装置10还包括获得单元12,获得单元12被配置为从至少一个测量装置获得对象的定位数据和被布置到医学成像系统中的对象的至少一个医学护理和/或监测设备的定位数据。测量装置包括光学测量单元和基于压力的测量单元。在本示例中,光学测量单元是测距相机,并且基于压力的测量单元是压电压力传感器。测距相机被布置为邻近医学成像系统,并且压电压力传感器被布置在对象躺在其上的支撑床中。在本实例中,医学成像系统是X射线成像系统。测距相机和压电压力传感器与获得单元12有线连接。有线连接是基于以太网的连接。装置10包括确定单元13,确定单元13被配置为通过利用模拟模型和馈送到模拟模型中的所获得的定位数据来确定反馈数据,其中,反馈数据至少包括由所获得的定位数据产生的模拟图像数据。装置10还包括被配置为提供反馈数据的第二提供单元14。反馈数据还被传输到显示器并显示给为医学成像准备对象的技术人员。第一提供单元11和第二提供单元14、获得单元12和确定单元13被实施在工作站的单独的硬件单元CPU上。
图2示出了根据本公开的另一实施例的方法的流程图。用于在针对医学成像过程的医学成像系统中提供反馈的方法包括若干步骤,该若干步骤不一定必须按以下顺序执行。
在第一步骤S10中,提供模拟模型,所述模拟模型被训练为预测要通过使用医学成像系统来采集的医学图像的外观,以描述和/或根据对象的定位数据和被布置到医学成像系统中的对象的至少一个医学护理和/或监测设备的定位数据以及与定位数据相关联和/或由定位数据产生的(可选地,模拟)医学图像数据之间的关系。通过同时提供测量的定位数据、可选的机器设置数据以及对应的实际采集的对象的X射线图像来训练模拟模型。这些训练数据可以被注释、标记等。所述模拟模型还可以基于参数解剖模型,其中,所述参数解剖模型描述对象的一个或多个特性与对象的身体的对应形式之间的关系,其中,所述特性包括几何特性和生物学特性。参数解剖模型可以是至少包括人体表面的几何模型和肺的对应位置的通用解剖模型。参数解剖模型可以通过诸如患者尺寸、患者体重、患者BMI、肺体积、年龄和/或性别的特性来参数化。所述特性可以被测量或仅被输入在针对每个对象的参数解剖模型中,以实现对象的个体特征的准确建模。可以通过人类和/或软件评估者的输入来训练模拟模型以识别目标质量。
在步骤S20中,从至少一个测量装置获得对象的定位数据(即对象定位数据)以及被布置到医学成像系统中的对象的至少一个医学护理和/或监测设备的医学设备定位数据。在本示例中,光学测量单元是光学相机、测距相机等,并且基于压力的测量单元是压电压力传感器。
在步骤S30中,通过利用模拟模型和馈送到模拟模型中的所获得的定位数据来获得反馈数据,其中反馈数据至少包括由所获得的定位数据产生的模拟医学图像数据,即,当前或实际对象定位数据和当前或实际医学设备定位数据。
在步骤S40中,提供反馈数据。反馈数据可以包括模拟图像数据。反馈可以在显示器上显示给技术人员。反馈数据还可以包括被配置为引导技术人员调整定位数据和/或暴露数据的引导数据。该方法可以确定模拟图像的目标质量和实际质量。基于目标质量和实际质量之间的差异,该方法可以确定引导数据以调整定位数据和/或暴露数据。引导数据可以在显示器上显示给技术人员。当确定新的模拟图像时,可以连续地更新引导数据。例如,当肺的下部分被夹持时,引导数据可以包括应当降低探测器的图形或文本指示。该方法可以在实际医学成像过程之前的准备阶段中执行,并且其中,在准备阶段期间提供反馈数据,并且其中基于所获得的定位数据连续更新模拟X射线图像。
图3示出了针对医学成像过程的系统20的示意图。系统20包括如上面参考图1描述的装置21(即,装置10)和医学成像系统22(在本实例中,X射线成像系统)。X射线成像系统22包括X射线源23和X射线探测器24。X射线成像系统可以是固定的或移动的(例如,在重症监护病房中)。对象27被提供有医学护理和/或监测设备28,在本示例中,为气管导管。如可以看到的,医学护理和/或监测设备27在医学成像系统22的视场29中。因此,医学护理和/或监测设备可能影响医学图像的质量,因为它可能遮挡器官或可能由于其材料和/或相对于对象27和/或医学成像系统22的位置而在图像采集期间干扰射束路径。系统20还包括测量装置,在本实例中,被配置为测量对象27的位置和尺寸以及医学护理和/或监测设备28的位置和尺寸的测距相机26。测距相机还可以探测X射线源23和X射线探测器24的位置。此外,该系统包括另一测量装置,在本实例中,被布置在对象27躺在其上的支撑结构29(即,医学床)下方的基于压电的压力传感器25。基于压电的压力传感器测量压力分布。基于压力分布,装置20确定对象27的定位数据和/或另一医学护理和/或监测设备30的定位数据。在本实例中,另一医学护理和/或监测设备30是帮助对象27定位的髋部引导器。由于测距相机仅能够确定可见区域的定位数据,因此基于压电的压力传感器能够确定对象27部分地躺在髋部引导器30上。测量装置25和26与装置21有线连接。系统20还包括显示器29,显示器29以将在当前成像情况下采集的X射线图像的模拟图像的形式显示反馈数据。所述系统向技术人员(未示出)连续地提供反馈数据和指导数据,以便帮助技术人员调整定位数据和/或暴露数据。
在另一示例性实施例中,提供了一种计算机程序或计算机程序单元,其被配置为在适当设备或系统上运行根据前述实施例中的一个的方法的方法步骤。
因此,计算机程序单元因此可以被存储在数据处理单元上,所述数据处理单元也可以是实施例的一部分。该数据处理单元可以被配置为执行或诱导上述方法的步骤的执行。此外,它可以被配置为操作上面描述的设备/或系统的部件。计算单元可以被配置为自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,数据处理器可以被配备为执行根据前述实施例中的一个的方法。
此外,计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。
根据本发明另外的示例性实施例,提出了一种计算机可读介质,例如CD-ROM、USB棒等,其中该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元,所述计算机程序单元由前面的章节所描述。
计算机程序可以被存储和/或分布在合适的介质上,例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以被以其他形式分布,例如经由互联网或其他有线或无线的电信系统。
然而,计算机程序也可以被呈现在网络上,如万维网,并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的其他示例性实施例,提供用于使计算机程序可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个的方法。
注意,本公开的实施例是参考不同主题来描述的。尤其地,一些实施例是参考方法权利要求来描述的,而其他实施例是参考设备装置权利要求来描述的。然而,除非另有说明,本领域技术人员将从以上和以下的描述中推断出,除属于一种类型的主题的特征的任意组合之外,涉及不同主题的特征之间的任意组合也被认为在本申请中被公开。然而,所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示例性的,而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (15)
1.一种用于在针对医学成像过程的医学成像系统(22)中提供反馈数据的方法,包括以下步骤:
由计算单元提供模拟模型,所述模拟模型被训练为根据与对象(27)的捕获定位相关联的对象定位数据、与被布置在医学成像系统(22)中所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的捕获定位相关联的设备定位数据和与所述对象定位数据和所述医学设备定位数据相关联的医学图像数据之间的关系来预测要通过使用所述医学成像系统(22)采集的医学图像的外观(S10);
由所述计算单元从至少一个测量装置(25、26)获得对象(27)的当前对象定位数据和被布置在所述医学成像系统中的所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的当前医学设备定位数据(S20);
由所述计算单元通过将所获得的当前对象定位数据和所获得的当前设备定位数据馈送到所述模拟模型中来确定反馈数据,其中,所述反馈数据至少包括由所述模拟模型根据所获得的当前对象定位数据和当前设备定位数据预测的模拟医学图像数据(S30);
由提供单元提供所述反馈数据(S40)。
2.根据权利要求1所述的方法,其中,所述方法在所述实际医学成像过程之前的准备阶段中执行,并且其中,所述反馈数据在所述准备阶段医学护理和/或监测设备中或期间提供。
3.根据权利要求1或2所述的方法,其中,所述医学护理和/或监测设备包括以下中的一个或多个:静脉管线、胸管、气管插管、鼻胃管、主动脉内球囊泵和导管。
4.根据前述权利要求中的任一项所述的方法,其中,所述至少一个测量装置包括光学测量单元(26),所述光学测量单元被配置为捕获所述对象(27)和/或所述医学护理和/或监测设备的一个或多个图像。
5.根据前述权利要求中的任一项所述的方法,其中,所述至少一个测量装置包括基于压力的测量单元(25),其中,所述基于压力的单元被布置在所述对象(27)下方以获得所述对象定位数据。
6.根据前述权利要求中的任一项所述的方法,其中,所述模拟模型还考虑来自所述医学成像系统(22)的暴露数据。
7.根据前述权利要求中的任一项所述的方法,其中,所述模拟医学图像数据包括所述对象(27)和所述至少一个医学护理和/或监测设备(28、30)的一个或多个模拟X射线图像,其中,所述至少一个医学护理和/或监测设备(28、30)被布置在所述对象(27)内部和/或外部。
8.根据前述权利要求中的任一项所述的方法,其中,所述模拟模型还基于参数解剖模型,其中,所述参数解剖模型描述对象的一个或多个特性与所述对象的身体的对应形式之间的关系,其中,所述特性包括几何特性和生物学特性。
9.根据前述权利要求中的任一项所述的方法,其中,所述反馈数据还包括引导数据,所述引导数据被配置为引导人调整所述对象的定位、所述医学护理和/或监测设备的定位、和/或暴露数据。
10.根据前述权利要求中的任一项所述的方法,其中,基于所获得的当前对象定位数据和所述当前医学护理和/或监测设备定位数据来连续地更新所述模拟医学图像。
11.根据前述权利要求中的任一项所述的方法,其中,所述医学系统(22)是X射线系统,并且所述模拟模型考虑所述对象(27)、X射线探测器(24)、X射线源(23)以及所述医学护理和/或监测设备(28、30)的位置。
12.一种用于在针对医学成像过程的医学成像系统(22)中提供反馈数据的装置(10、21),包括
第一提供单元(11),其被配置为提供模拟模型,所述模拟模型被训练为根据与对象(27)的捕获定位相关联的对象定位数据、与被布置在医学成像系统(22)中所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的捕获定位相关联的医学设备定位数据和与所述对象定位数据和医学护理和/或监测设备的所述医学设备定位数据相关联的医学图像数据之间的关系来预测要通过使用所述医学成像系统(22)采集的医学图像的外观;
获得单元(12),其被配置为从至少一个测量装置(25、26)获得对象(27)的当前对象定位数据和被布置在所述医学成像系统中的所述对象(27)中或处的至少一个医学护理和/或监测设备(28、30)的当前医学设备定位数据;
确定单元(13),其被配置为通过将所获得的当前对象定位数据和所获得的当前医学护理和/或监测设备定位数据馈送到所述模拟模型中来确定反馈数据,其中,所述反馈数据至少包括由所述模拟模型根据所获得的当前对象定位数据和当前设备定位数据预测的模拟医学图像数据;
第二提供单元(14),其被配置为提供所述反馈数据。
13.一种系统(20),包括:
根据权利要求12所述的装置(10、21);以及
医学成像系统(22)。
14.根据权利要求12所述的装置(10、21)中的光学测量单元(26)和/或基于压力的测量单元(25)的用于获得对象(27)和被布置到所述对象的至少一个医学护理和/或监测设备(28、29)的定位数据的用途。
15.一种计算机程序单元,所述计算机程序单元在由处理器运行时被配置为执行根据权利要求1至11中的任一项所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21174252.3 | 2021-05-18 | ||
EP21174252.3A EP4092684A1 (en) | 2021-05-18 | 2021-05-18 | Method for providing feedback data in a medical imaging system |
PCT/EP2022/062388 WO2022243073A1 (en) | 2021-05-18 | 2022-05-09 | Method for provding feedback data in a medical imaging system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117480567A true CN117480567A (zh) | 2024-01-30 |
Family
ID=75977617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280035940.7A Pending CN117480567A (zh) | 2021-05-18 | 2022-05-09 | 用于在医学成像系统中提供反馈数据的方法 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP4092684A1 (zh) |
JP (1) | JP2024519015A (zh) |
CN (1) | CN117480567A (zh) |
WO (1) | WO2022243073A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6490475B1 (en) * | 2000-04-28 | 2002-12-03 | Ge Medical Systems Global Technology Company, Llc | Fluoroscopic tracking and visualization system |
JP5588859B2 (ja) * | 2008-02-25 | 2014-09-10 | 株式会社日立メディコ | X線ctスキャンシミュレータ及びx線ct装置 |
US9117289B2 (en) * | 2011-11-11 | 2015-08-25 | Konica Minolta, Inc. | Medical imaging system, medical image processing apparatus, and computer-readable medium |
CN205849464U (zh) * | 2016-04-18 | 2017-01-04 | 深圳先进技术研究院 | 一种扫描床 |
JP6878038B2 (ja) * | 2017-02-15 | 2021-05-26 | キヤノン株式会社 | 放射線撮影装置、放射線撮影システム、画像処理装置、画像処理装置の作動方法、及びプログラム |
KR102536168B1 (ko) * | 2017-02-24 | 2023-05-25 | 바이엘 헬쓰케어 엘엘씨 | 시뮬레이션된 컴퓨터 단층 촬영(ct) 이미지들을 생성하기 위한 시스템들 및 방법들 |
-
2021
- 2021-05-18 EP EP21174252.3A patent/EP4092684A1/en not_active Withdrawn
-
2022
- 2022-05-09 CN CN202280035940.7A patent/CN117480567A/zh active Pending
- 2022-05-09 EP EP22726767.1A patent/EP4341949A1/en active Pending
- 2022-05-09 WO PCT/EP2022/062388 patent/WO2022243073A1/en active Application Filing
- 2022-05-09 JP JP2023571164A patent/JP2024519015A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4092684A1 (en) | 2022-11-23 |
EP4341949A1 (en) | 2024-03-27 |
JP2024519015A (ja) | 2024-05-08 |
WO2022243073A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7093801B2 (ja) | 手術中の位置調整および誘導を容易にするシステム | |
TWI828701B (zh) | 用於肺體積閘控x射線成像系統和方法,及非暫態電腦可讀取儲存媒介 | |
US11779241B2 (en) | Systems, methods, and computer-readable media of estimating thoracic cavity movement during respiration | |
CN105120738B (zh) | 狭窄治疗规划 | |
CN106163388A (zh) | 用于处理生命体的心脏数据的处理装置和方法 | |
CN105520716B (zh) | 荧光镜图像的实时模拟 | |
KR20090010995A (ko) | 의료 이미징 데이터를 이용하는 카테터 추적 시스템을 위한향상된 교정 방법 | |
JP7004648B2 (ja) | X線画像吸気品質モニタリング | |
CN110490835B (zh) | 自动检查叠合图像的方法,计算单元和医学成像设备 | |
US11127153B2 (en) | Radiation imaging device, image processing method, and image processing program | |
CN110139603A (zh) | 用于新生儿电阻抗断层成像的传感器带和定位辅助 | |
KR20220124166A (ko) | 방사선 파라미터 결정을 위한 시스템 및 방법 | |
CN112568891A (zh) | 自动定位患者的待检查区域以用于医学成像检查的方法及设计用于执行方法的医学成像设备 | |
EP3430999B1 (en) | Improving impedance-based position tracking performance | |
CN110612063B (zh) | 标准化冠状动脉疾病度量 | |
US11783477B2 (en) | Medical image process apparatus, medical image learning method, and medical image process method | |
CN110478042B (zh) | 一种基于人工智能技术的介入手术导航装置 | |
EP3505061B1 (en) | Improving impedance-based position tracking performance using principal component analysis | |
CN108348205A (zh) | 用于对目标进行成像的设备 | |
CN117480567A (zh) | 用于在医学成像系统中提供反馈数据的方法 | |
US11657519B2 (en) | Method for deformation correction | |
CN109475318B (zh) | 阻抗偏移检测的方法和系统 | |
KR20220114715A (ko) | 엑스선 영상 분석 시스템 및 방법 | |
EP4129168A1 (en) | System and method for automatic localization of the spatial position of electrodes on a conductive body | |
EP4187546A1 (en) | Assisting subject positioning in medical imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |