CN114648536A - 血管壁的提取方法及装置 - Google Patents

血管壁的提取方法及装置 Download PDF

Info

Publication number
CN114648536A
CN114648536A CN202011495067.9A CN202011495067A CN114648536A CN 114648536 A CN114648536 A CN 114648536A CN 202011495067 A CN202011495067 A CN 202011495067A CN 114648536 A CN114648536 A CN 114648536A
Authority
CN
China
Prior art keywords
image
region
vessel wall
interest
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011495067.9A
Other languages
English (en)
Inventor
赵周社
聂颖彬
张陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Priority to CN202011495067.9A priority Critical patent/CN114648536A/zh
Priority to US17/644,268 priority patent/US20220198667A1/en
Publication of CN114648536A publication Critical patent/CN114648536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种血管壁的提取方法及装置，医学成像系统以及非暂态计算机可读存储介质。所述血管壁的提取方法包括获取医学图像，确定医学图像中的至少一个一阶特征，以及基于至少一个一阶特征，在医学图像中提取血管壁图像。

Description

血管壁的提取方法及装置
技术领域
本发明涉及医学图像处理，尤其涉及一种血管壁的提取方法及装置，医学成像系统，以及非暂态计算机可读存储介质。
背景技术
计算机断层摄影血管造影(Computed Tomography Angiography,CTA)技术是一种非侵入性无创的检查方式，是通过对注入造影剂并进行CT扫描后得到的数据进行处理和重建以获取医学图像，它可以用于人体各个部位的血管检查，例如，冠状动脉、颈动脉、脑动脉或肺动脉等。
CTA可以被用于确定血管狭窄程度、钙化程度以及斑块分析。对于斑块分析，CTA可以提供关于斑块的不同于磁共振成像或对比增强超声的其他有价值的信息。然而，斑块存在于血管壁上，由于斑块的组成和血管周围的软组织的组成之间的差异很小，在CTA中斑块的自动分析是一个具有挑战性的问题，而斑块的自动分析的前提是血管壁的分割和提取。
发明内容
本发明提供一种血管壁的提取方法及装置，医学成像系统，以及非暂态计算机可读存储介质。
本发明的示例性实施例还提供了一种血管壁的提取方法，所述方法包括获取医学图像，确定所述医学图像中的至少一个一阶特征；以及基于所述至少一个一阶特征，在所述医学图像中提取血管壁图像。
具体的，获取医学图像包括对原始扫描图像进行预处理，且经过所述预处理后的图像作为所述医学图像。
具体的，获取医学图像进一步包括对原始扫描图像进行图像分割，以确定感兴趣区域，以及基于所述感兴趣区域获取所述医学图像
具体的，所述图像分割包括基于深度学习网络，在所述原始扫描图像中确定包括血管腔的感兴趣区域。
具体的，获取医学图像进一步包括基于区域生长算法和阈值法中的至少一个，对所述感兴趣区域进行优化，且基于所述优化后的感兴趣区域获取所述医学图像。
具体的，基于所述感兴趣区域获取所述医学图像包括对所述感兴趣区域进行延伸，以获取所述医学图像。
具体的，所述血管壁的提取方法进一步包括基于所述血管壁图像进行斑块分析。
具体的，所述血管壁的提取方法进一步包括基于所述斑块分析的结果，修正所述感兴趣区域的延伸幅度。
具体的，所述至少一个一阶特征包括能量值，最大值，均值，方差值，平均绝对均差值，区域均匀性和熵值中的至少一个。
本发明的示例性实施例提供了一种血管壁的可视化方法，所述方法包括获取医学图像，确定所述医学图像中的至少一个一阶特征；以及在所述医学图像中映射所述至少一个一阶特征，以可视化所述血管壁。
本发明的示例性实施例还提供了一种非暂态计算机可读存储介质，其用于存储计算机程序，所述计算机程序由计算机执行时使计算机执行上述的用于血管壁的提取方法的指令。
本发明的示例性实施例还提供了一种血管壁的提取装置，所述装置包括图像获取模块，特征计算模块，以及图像提取模块模块，其中，所述图像获取模块用于获取医学图像，所述特征计算模块用于确定所述医学图像中的至少一个一阶特征，所述图像提取模块用于基于所述至少一个一阶特征，在所述医学图像中提取血管壁图像。
具体的，所述图像获取模块包括预处理单元，所述预处理单元用于对原始扫描图像进行预处理，且经过所述预处理后的图像作为所述医学图像。
具体的，所述图像获取模块包括图像分割单元和区域延伸单元，其中，所述图像分割单元用于对原始扫描图像进行图像分割，以确定感兴趣区域，所述区域延伸单元用于基于所述感兴趣区域获取所述医学图像。
具体的，所述图像分割单元进一步用于基于深度学习网络，在所述原始扫描图像中确定包括血管腔的感兴趣区域。
具体的，所述图像获取模块进一步包括区域优化单元，其用于基于区域生长算法和阈值法中的至少一个，对所述感兴趣区域进行优化，且基于所述优化后的感兴趣区域获取所述医学图像。
具体的，所述区域延伸单元进一步用于对所述感兴趣区域进行延伸，以获取所述医学图像。
具体的，所述血管壁的提取装置进一步包括斑块分析模块，其用于基于所述血管壁图像进行斑块分析。
具体的，所述血管壁的提取装置进一步包括反馈模块，其用于基于所述斑块分析的结果，修正所述感兴趣区域的延伸幅度。
本发明的示例性实施例还提供了一种医学成像系统，所述系统包括上述的血管壁的提取装置。
通过下面的详细描述、附图以及权利要求，其他特征和方面会变得清楚。
附图说明
通过结合附图对于本发明的示例性实施例进行描述，可以更好地理解本发明，在附图中：
图1是根据本发明一些实施例的CT系统的示意图；
图2是根据本发明一些实施例的血管壁的提取装置的示意图；以及
图3是根据本发明另一些实施例的血管壁的提取装置的示意图；
图4是根据本发明又一些实施例的血管壁的提取装置的示意图；
图5是根据本发明一些实施例的血管壁的提取方法的流程图；
图6是根据本发明另一些实施例的血管壁的提取方法的流程图；
图7是根据本发明又一些实施例的血管壁的提取方法的流程图；
图8是根据本发明再一些实施例的血管壁的提取方法的流程图；以及
图9是根据本发明再一些实施例的血管壁的提取方法的流程图。
具体实施方式
以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本公开揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本公开的内容不充分。
除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，也不限于是直接的还是间接的连接。
如本发明中所使用，术语“被检测对象”可包括任何被成像的物体。
需要指出的是，从本领域或者相关领域普通技术人员的角度来看，这样的描述不应当理解为只将本发明限制在CT系统中，实际上，这里描述的血管壁的提取方法和装置可以被合理地应用于与医疗领域和非医疗领域中的其他成像领域，例如，X射线系统、PET系统、SPECT系统、MR系统或其任何组合。
图1示出了根据本发明一些实施例的CT系统10的示意图。如图1所示，系统10包括机架12，机架12上相对设置有X射线源14和探测器阵列18，探测器阵列18由多个检测器20和数据采集系统(DAS)26构成，DAS26用于对多个检测器20接收的模拟衰减数据进行将采样的模拟数据转化为数字信号以用于后续处理。在一些实施例中，系统10用于在不同的角度采集被检测对象的投影数据，因此，机架12上的部件用于绕旋转中心24旋转以采集投影数据。在旋转过程中，X射线辐射源14用于朝向探测器阵列18投射穿透被检测对象的X射线16，该衰减的X射线束数据经预处理后作为对象的目标体积的投影数据，基于该投影数据可以重建被检测对象的图像，重建的图像可以显示被检测对象的内部特征，这些特征包括，例如，身体组织结构的病变、尺寸、形状等。机架的旋转中心24也定义了扫描域80的中心。
系统10进一步包括图像重建模块50，如上所述，DAS 26采样并数字化多个检测器20采集的投影数据。接着，图像重建模块50基于上述经过采样和数字化的投影数据来进行高速图像重建。在一些实施例中，图像重建模块50将重建的图像存储在存储设备或大容量存储器46中。或者，图像重建模块50将重建图像传输到计算机40，以生成用于诊断、评估的患者信息。
尽管图1中将图像重建模块50图示为单独实体，但是在某些实施例中，图像重建模块50可以形成计算机40的一部分。或者，图像重建模块50可以不存在于系统10中，或者，计算机40可以执行图像重建模块50的一个或多个功能。此外，图像重建模块50可以位于本地或远程位置，并且可以使用有线或无线通讯网络连接到系统10。在一些实施例中，云通讯网络集中的计算资源可用于图像重建模块50。
在一些实施例中，系统10包括控制机构30。控制机构30可以包括X射线控制器34，其用于向X射线辐射源14提供功率和定时信号。控制机构30还可以包括机架控制器32，其用于基于成像要求控制机架12的旋转速度和/或位置。控制机构30还可以包括承载床控制器36，其用于驱动承载床28移动到合适的位置以将被检测对象定位在机架12中，以采集被检测对象的目标体积的投影数据。进一步地，承载床28包括驱动装置，承载床控制器36可以通过控制驱动装置以控制承载床28。
在一些实施例中，系统10进一步包括计算机40，由DAS 26采样和数字化的数据和/或图像重建模块50重建得到的图像传输到计算机或计算机40进行处理。在一些实施例中，计算机40将数据和/或图像存储在例如大容量存储器46的存储设备中。该大容量存储器46可以包括硬盘驱动器、软盘驱动器、光盘读/写(CD-R/W)驱动器、数字通用磁盘(DVD)驱动器、闪存驱动器和/或固态存储装置等。在一些实施例中，计算机40将重建的图像和/或其他信息传输到显示器42，显示器42与计算机40和/或图像重建模块50通信地连接。在一些实施例中，计算机40可以连接本地或远程的显示器、打印机、工作站和/或类似的设备，例如，可以连接医疗机构或医院的这类设备，或者通过一个或多个配置的电线或者诸如因特网和/或虚拟专用通讯网络等无线通讯网络连接远程设备。
此外，计算机40可以基于用户提供的和/或系统定义的以向DAS 26、以及控制机构30(包括机架控制器32，X射线控制器34和承载床控制器36)等提供命令和参数，以控制系统操作，例如数据采集和/或处理。在一些实施例中，计算机40基于用户输入控制系统操作，例如，计算机40可以通过连接其的操作者控制台48接收用户输入，包括命令、扫描协议和/或扫描参数。操作者控制台48可以包括键盘(未示出)和/或触摸屏以允许用户输入/选择命令、扫描协议和/或扫描参数。虽然图1仅示例性示出了一个操作者控制台48，但是计算机40可以连接更多的操作台，例如，用于输入或输出系统参数、请求医学检查和/或查看图像。
在一些实施例中，系统10可以包括或连接图像存储与传输系统(PACS)(图中未示出)。在一些实施例中，PACS进一步连接至例如放射科信息系统、医院信息系统和/或内部或外部通讯网络(未示出)等远程系统，以允许位于不同地点的操作者提供命令和参数，和/或访问图像数据。
下文进一步描述的方法或过程可以作为可执行的指令存储系统10的计算设备上的非易失性存储器中。例如，计算机40可以包括非易失性存储器中的可执行指令，并且可以应用本文所述的方法自动执行扫描流程的部分或全部，例如选择合适的协议、确定合适的参数等，又如，图像重建模块50可以包括非易失性存储器中的可执行指令，并且可以应用本文所述的方法执行图像重建任务。
计算机40可以被设置和/或布置成以不同的方式使用。例如，在一些实现中，可以使用单个计算机40；在其他实现中，多个计算机40被配置成一起(例如，基于分布式处理配置)或单独地工作，每个计算机40被配置成处理特定方面和/或功能，和/或处理用于生成仅用于特定的医学成像系统10的模型的数据。在一些实现中，计算机40可以是本地的(例如，与一个或多个医学成像系统10在同一位置，例如在同一设施和/或同一局部通讯网络内)；在其他实现中，计算机40可以是远程的，因此只能经由远程连接(例如，经由因特网或其他可用的远程访问技术)来访问。
图2示出了根据本发明一些实施例的血管壁的提取装置100。如图2所示，血管壁的提取装置100包括图像获取模块110，特征计算模块120，以及图像提取模块130，其中，图像获取模块110用于获取医学图像103，特征计算模块120用于确定医学图像103中的至少一个一阶特征(First Order Feature)，图像提取模块130用于基于至少一个一阶特征，在医学图像103中提取血管壁图像107。
在一些实施例中，图像获取模块110可以包括预处理单元(图中未示出)，其中该预处理单元可以对原始扫描图像进行预处理，且经过预处理后的图像作为医学图像103。具体的，原始扫描图像是指进行扫描之后获取的原始数据或图像，该原始扫描图像可以直接从医学成像系统(例如，CT系统、MRI系统、PET系统、PET-CT系统等)中获取，也可以是从工作站或PACS中获取。
具体的，预处理包括对原始扫描图像进行裁剪、重采样、拉普拉斯图像增强(或边缘增强)和去噪操作中的至少一个，其中，裁剪可以放大或缩小原始扫描图像中的感兴趣区域以便于后续操作，重采样可以使得原始扫描图像具有相同的尺寸，例如，0.5*0.5*0.5，拉普拉斯图像增强可以增加图像的分辨率和/或对比度，增加图像的清晰度，去噪可以减少图像中的噪声和/或伪影，提高图像的质量。
在一些实施例中，至少一个一阶特征包括能量值，最大值，最小值，均值，方差值，区域均匀性，平均绝对均差值和熵值等特征中的至少一个。具体的，上述的至少一个一阶特征可以通过计算医学图像的感兴趣区域中的所有像素点的像素值或体素值得到。
具体的，能量值(energy)是指感兴趣区域中所有体素值的平方和，最小值(minimum)是指感兴趣区域中所有体素值中的最小值，最大值(maximum)是指感兴趣区域中所有体素值中的最大值，均值(mean)是指感兴趣区域中所有体素值中的平均值，平均绝对偏差(Mean Absolute Deviation，MAD)是所有体素值与均值之间的平均距离，方差(Variance)是每个体素值与均值之间的平均距离的均值，熵值(entropy)是体素值的不确定性或随机性，是与归一化的直方图量(强度值)相关的值，区域均匀性(Uniformity)是每个强度值的平方。
在一些实施例中，通过将至少一个一阶特征映射到医学图像103上，就可以在医学图像上通过颜色的变化表征或可视化出血管壁，进而可以提取出血管壁图像107。
图3示出了根据本发明另一些实施例的血管壁的提取装置200。如图3所示，血管壁的提取装置200包括图像获取模块210，特征计算模块220，以及图像提取模块230，其中，图像获取模块210包括图像分割单元211和区域延伸单元213，图像分割单元211用于对原始扫描图像进行图像分割，以确定感兴趣区域202，区域延伸单元213用于基于感兴趣区域202获取医学图像203。
具体的，图像分割单元211进一步用于基于深度学习网络，在原始扫描图像中确定包括血管腔的感兴趣区域。具体的，图像分割单元211可以包括训练模块(图中未示出)，该训练模块用于基于样本图像训练集训练得到深度学习网络，其中，样本图像集包括样本原始图像和对样本原始图像进行人工血管腔分割后的样本血管腔图像。
具体的，深度学习网络可以是U-net或Dense V-net神经网络或其他公知的模型进行训练得到的，当深度学习网络创建或训练好时，只要将原始扫描图像输入到网络中，就可以获取经过分割的血管腔图像。
在一些实施例中，区域延伸单元213进一步用于对感兴趣区域进行延伸(expand)，以获取医学图像203。具体的，对于三维的感兴趣区域，区域延伸单元213首先会以预设的延伸幅度对每一层的感兴趣区域分别进行延伸，该延伸幅度例如可以是5毫米，其次，区域延伸单元213会对延伸后的三维感兴趣区域进行修正，例如，增加局部的延伸幅度，以使得延伸后的三维感兴趣区域是平滑的。
通过对包括血管腔的感兴趣区域进行延伸，可以将血管壁及其上的斑块信息包含在所获取的医学图像203中。上述的“延伸”是指的区域的一个扩展，该扩展后的区域内的像素值或体素值并未改变，仍是原始扫描图像中的像素值或体素值。
在一些实施例中，深度学习网络获取到的分割后的血管腔图像会包括一些不必要的组织或部位，一定程度上会增加延伸以及一阶特征确定的难度以及复杂度，因此，图像获取模块210可以进一步包括区域优化单元212，区域优化单元212用于基于区域生长算法和阈值法中的至少一个，对感兴趣区域进行优化，且基于优化后的感兴趣区域获取医学图像203。
具体的，区域生长算法可以将有相似性质的像素点合并到一起。通过选取每个区域的种子点，然后将该区域中的所有像素点与该种子点进行对比或比较，以使得与种子点具有相似性质的点合并并继续向外生长，知道没有满足条件的像素点被选择或合并，这样就可以提出一些不必要的软组织或部位。阈值法可以通过设定的像素值或体素值的阈值范围，将在该阈值范围的像素点保留，也可以去除感兴趣区域中的部分不必要的组织或部位。
在另一些实施例中，当深度学习的训练模块中的样本图像集较为精准时，即样本血管腔图像较为精准，经过深度学习网络获取到的包括血管腔的感兴趣区域不会包含一些不必要的组织，也就不必要经过区域优化单元212的优化，即图像分割单元211仅包括图像分割单元211和区域延伸单元213，区域延伸单元213直接对深度学习网络获取到的感兴趣区域进行延伸。
在一些实施例中，图像获取模块210还可以包括预处理单元(图中未示出)，其中该预处理单元可以对原始扫描图像进行预处理，且经过预处理后的图像发送给图像分割单元以进行血管腔的分割。
特征计算模块220用于确定经过延伸的感兴趣区域(医学图像203)中的至少一个一阶特征，图像提取模块230用于基于至少一个一阶特征，在医学图像203中提取血管壁图像207。
在一些实施例中，提取装置进一步包括斑块分析模块(图中未示出)，其用于基于所述血管壁图像进行斑块分析。
在一些实施例中，提取装置进一步包括反馈模块(图中未示出)，其用于基于所述斑块分析的结果，修正感兴趣区域的延伸幅度。具体的，当区域延伸单元213以预设的延伸幅度(例如5毫米)对感兴趣区域进行延伸得到的医学图像不能包括完整的斑块信息时，可以通过斑块分析的结果反馈给区域延伸单元，以修正延伸幅度，例如，修正到6毫米甚至更大，以使得医学图像中可以包括完整的斑块信息。
上述的深度学习网络可以包括输入层、输出层以及处理层(或称为隐藏层)，其中，输入层用于对输入的数据或图像进行预处理，例如，去均值、归一化或降维等，处理层可以包括用于进行特征提取的卷积层、对输入进行标准正太分布的批量归一化层以及对卷积层的输出结果做一次非线性映射的激励层。
每个卷积层都包括若干个神经元，且每个层中的神经元的数量可以相同，也可以根据需要进行不同的设置。基于样本原始图像(已知输入)和样本精准图像(期望输出)，通过设置网络中处理层的数量和每个处理层中神经元的数量，并估计(或调整或校准)网络的权重和/或偏差，以识别出已知输入和期望输出之间的数学关系和/或识别和表征每层的输入和输出之间的数学关系。
具体地，当其中一层的神经元数量为n，且该n个神经元中对应的值为X1,X2,…Xn，与所述其中一层连接的下一层的神经元数量为m，且该m个神经元中对应的值为Y1,Y2,…Ym，则所述相邻的两层之间可以表示为：
Figure BDA0002841891780000101
其中，Xi表示前一层的第i个神经元所对应的值，Yj表示后一层的第j个神经元所对应的值，Wji表示权重，Bj表示偏差。在一些实施例中，函数f为修正线性函数。
因此，通过调整权重Wji和/或偏差Bj，即可识别出每层的输入和输出之间的数学关系，使得损失函数(Loss Function)收敛，以训练得到上述的深度学习网络。
在一个实施例中，虽然深度学习网络的配置将由估计问题的先验知识、输入、输出等的维度引导，依赖于或者专门根据输入数据实现所需输出数据的最佳近似。在各种替代实施方式中，可以利用数据，成像几何，重建算法等的某些方面和/或特征来为深度学习网络中的某些数据表示赋予明确的含义，这可以有助于加速训练。因为这创建了在深度学习网络中单独训练(或预训练)或定义某些层的机会。
在一些实施例中，上述的训练的网络是基于外部载体(例如，医学成像系统之外的设备)上的训练模块训练得到的。在一些实施例中，训练系统可以包括用于存储训练数据集的第一模块，用于基于模型进行训练和/或更新的第二模块，以及用于连接第一模块和第二模块的通讯网络。在一些实施例中，第一模块包括第一处理单元和第一存储单元，其中第一存储单元用于存储训练数据集，第一处理单元用于接收相关的指令(例如，获取训练数据集)并根据指令发送训练数据集，此外，第二模块包括第二处理单元和第二存储单元，其中第二存储单元用于存储训练模型，第二处理单元用于接收相关的指令、进行网络的训练和/或更新等，在另一些实施例中，还可以将训练数据集存储在第二模块的第二存储单元中，训练系统可以不包括第一模块。在一些实施例中，通讯网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
一旦数据(例如，训练的网络)被生成和/或配置，数据就可以被复制和/或加载到医学成像系统10中，这可以以不同的方式完成。例如，可以通过医学成像系统10和计算机40之间的定向连接或链路加载模型。就这一点而言，可以使用可用的有线和/或无线连接和/或根据任何合适的通信(和/或网络)标准或协议来完成不同元件之间的通信。备选地或另外地，数据可以间接地加载到医学成像系统10中。例如，数据可以存储到合适的机器可读介质(例如，闪存卡等)中，然后使用该介质将数据加载到医学成像系统10(现场，诸如由系统的用户或授权人员)，或者数据可以下载到能够本地通信的电子设备(例如，笔记本电脑等)中，然后在现场使用(例如，由系统的用户或授权人员)该设备以将该数据经由直接连接(例如，USB连接器等)上传到医学成像系统10中。
如本文所讨论的，深度学习技术(又被称为深度机器学习、分层学习或深度结构化学习等)采用用于学习的人工神经网络。深度学习方法的特征在于使用一个或多个网络架构来提取或模拟感兴趣数据。深度学习方法可以使用一个或多个处理层(例如，输入层、输出层、卷积层、归一化层、采样层等等，按照不同的深度网络模型可以具有不同数量和功能的处理层)来完成，其中层的配置和数量允许深度网络处理复杂的信息提取和建模任务。通常通过所谓的学习过程(或训练过程)来估计网络的特定参数(又可以称为“权重”或“偏差”)。被学习或训练的参数通常会导致(或输出)一个对应于不同级别层的网络，因此提取或模拟初始数据的不同方面或前一层的输出通常可以表示层的层次结构或级联。在图像处理或重建的过程中，这可以表征为相对于数据中的不同特征级别的不同层。因此，处理可以分层进行，即，较早或较高级别的层可以对应于从输入数据中提取“简单”特征，接着是将这些简单特征组合成表现出更高复杂度的特征的层。实际上，每层(或者更具体地，每层中的每个“神经元”)可以采用一个或多个线性和/或非线性变换(所谓的激活函数)来将输入数据处理为输出数据表示。多个“神经元”的数量可以是在多个层之间恒定的，或者可以从层到层变化。
如本文所讨论的，作为解决特定问题的深度学习过程的初始训练的一部分，训练数据集包括已知输入值(例如，样本图像或图像进行坐标变换的像素矩阵)以及深度学习过程的最终输出的期望(目标)输出值(例如，图像或识别判断结果)。以这种方式，深度学习算法可以(以监督或引导的方式或以无监督或非指导的方式)处理该训练数据集，直到识别出已知输入和期望输出之间的数学关系和/或识别和表征每层的输入和输出之间的数学关系。学习过程通常利用(部分)输入数据，并为该输入数据创建网络输出，然后将创建的网络输出与该数据集的期望输出进行比较，然后使用创建的和期望的输出之间的差异来迭代地更新网络的参数(权重和/或偏差)。通常可以使用随机梯度下降(Stochastic gradientdescent,SGD)方法来更新网络的参数，然而本领域技术人员应当理解也可以使用本领域中已知的其他方法来更新网络参数。类似地，可以采用单独的验证数据集以对所训练的网络进行验证，其中已知输入和期望输出都是已知的，通过将已知输入提供给所训练的网络可以得到网络输出，然后将该网络输出与(已知的)期望输出进行比较以验证先前的培训和/或防止过度培训。
图4示出了根据本发明另一些实施例的血管壁的提取装置300。如图4所示，与图3所示的血管壁的提取装置200相比，血管壁的提取装置400包括可视化模块330，可视化模块330能够在医学图像中映射至少一个一阶特征，以可视化血管壁。图像307示出了血管壁提取装置的图像用户界面，如图像307所示，通过将至少一个一阶特征映射到医学图像中，可以通过颜色的变化表征或突显出血管壁的位置或图像，在可视化模块330可视化血管壁的位置或图像后，可以进一步将血管壁图像提取出来，如图像307右下角所示。
图5示出了根据本发明一些实施例的血管壁的提取方法300的流程图。如图5所示，血管壁的提取方法400包括步骤410，步骤420和步骤430。
在步骤410中，获取医学图像。
具体的，可以通过对原始扫描图像进行预处理，且经过预处理后的图像作为医学图像。原始扫描图像是指进行扫描之后获取的原始数据或图像，该原始扫描图像可以直接从医学成像系统(例如，CT系统、MRI系统、PET系统、PET-CT系统等)中获取，也可以是从工作站或PACS中获取。
预处理包括还可以对原始扫描图像进行裁剪、重采样、拉普拉斯图像增强(或边缘增强)和去噪操作中的至少一个。
在步骤420中，确定医学图像中的至少一个一阶特征。
具体的，至少一个一阶特征包括能量值，最大值，最小值，均值，方差值，区域均匀性，平均绝对均差值和熵值中的至少一个。具体的，上述的至少一个一阶特征可以通过计算医学图像中所有像素点的像素值或体素值得到。
在步骤430中，基于至少一个一阶特征，在医学图像中提取血管壁图像。
具体的，通过将至少一个一阶特征映射到医学图像上，就可以在医学图像上通过颜色的变化表征或可视化出血管壁，然后就可以提取处血管壁图像。
图6示出了根据本发明另一些实施例的血管壁的提取方法500的流程图。与图5示出的图像分割方法400不同的是，血管壁的提取方法500中的步骤510获取医学图像进一步包括步骤511和步骤512。
在步骤511中，对原始扫描图像进行图像分割，以确定感兴趣区域。
具体的，可以基于深度学习网络，在原始扫描图像中确定包括血管腔的感兴趣区域，深度学习网络可以是U-net或Dense V-net神经网络或其他公知的模型并基于样本图像训练集进行训练得到的，其中，样本图像集包括样本原始图像和对样本原始图像进行人工血管腔分割后的样本血管腔图像当深度学习网络创建或训练好时，只要将原始扫描图像输入到网络中，就可以获取经过分割的血管腔图像。
在步骤512中，基于所述感兴趣区域获取医学图像。
具体的，对感兴趣区域进行延伸，以获取医学图像。对于三维的感兴趣区域，首先会以预设的延伸幅度对每一层的感兴趣区域分别进行延伸，该延伸幅度例如可以是5毫米，其次，对延伸后的三维感兴趣区域进行修正，例如，增加某一个部位的延伸幅度，以使得延伸后的三维感兴趣区域是平滑的。通过对包括血管腔的感兴趣区域进行延伸，可以将斑块信息包含在所获取的医学图像中。
图7示出了根据本发明另一些实施例的血管壁的提取方法600的流程图。与图6示出的图像分割方法500不同的是，血管壁的提取方法600中的步骤610获取医学图像进一步包括步骤614。
在步骤614中，基于区域生长算法和阈值法中的至少一个，对感兴趣区域进行优化，且基于优化后的感兴趣区域获取医学图像。
具体的，区域生长算法可以将有相似性质的像素点合并到一起。通过选取每个区域的种子点，然后将该区域中的所有像素点与该种子点进行对比或比较，以使得与种子点具有相似性质的点合并并继续向外生长，知道没有满足条件的像素点被选择或合并，这样就可以提出一些不必要的软组织或部位。阈值法可以通过设定的像素值或体素值的阈值范围，将在该阈值范围的像素点保留，也可以去除感兴趣区域中的部分不必要的组织或部位。
在一些实施例中，步骤610进一步包括步骤613，在步骤613中，对原始扫描图像进行预处理，并在步骤611中，对经过预处理的图像进行图像分割以确定感兴趣区域。
图8示出了根据本发明另一些实施例的血管壁的提取方法700的流程图。与图6示出的图像分割方法500不同的是，血管壁的提取方法700进一步包括步骤750和步骤760。
在步骤750中，基于血管壁图像进行斑块分析。
在步骤760中，基于斑块分析的结果，修正感兴趣区域的延伸幅度。
具体的，当预设的延伸幅度(例如5毫米)对感兴趣区域进行延伸得到的医学图像不能包括完整的斑块信息时，可以通过斑块分析的结果反馈给区域延伸单元，以修正延伸幅度，例如，修正到6毫米甚至更大，以使得医学图像中可以包括完整的斑块信息。
图9示出了根据本发明一些实施例的血管壁的提取方法800的流程图。如图9所示，血管壁的提取方法800包括步骤810，步骤820和步骤830。
在步骤810中，获取医学图像。
在步骤820中，确定所述医学图像中的至少一个一阶特征。
在步骤830中，在所述医学图像中映射至少一个一阶特征，以可视化血管壁。
具体的，通过将至少一个一阶特征映射到医学图像中，可以通过颜色的变化表征或突显出血管壁的位置或图像。
本发明提出的血管壁的提取方法，通过确定医学图像中一阶特征，可以在医学图像中可视化出血管壁图像，进而提取出血管壁图像，然而确定整个医学图像中的一阶特征需要花费较长的时间，优选的，可以先基于血管腔的分割以及区域延伸，粗略地确定包含血管壁的感兴趣区域，然后确定感兴趣区域中的一阶特征尽可以快速、便捷地确定或提取出血管壁图像
本发明还可以提供一种非暂态计算机可读存储介质，其用于存储指令集和/或计算机程序，该指令集和/或计算机程序由计算机执行时使计算机执行上述的图像降噪方法，执行该指令集和/或计算机程序的计算机可以为医学成像系统的计算机，也可以为医学成像系统的其它装置/模块，在一种实施例中，该指令集和/或计算机程序可以编制于计算机的处理器/控制器中。
具体地，该指令集和/或计算机程序由计算机执行时使计算机：
获取医学图像；
确定所述医学图像中的至少一个一阶特征；以及
基于所述至少一个一阶特征，在所述医学图像中提取血管壁图像。
如上所述的指令可以被合并为一个指令执行，任一指令也可以被拆分成多个指令以执行，此外，也并不限于按照上述的指令执行顺序。
如本文使用的，术语“计算机”可包括任何基于处理器或基于微处理器的系统，其包括使用微控制器、精简指令集计算机(RISC)、专用集成电路(ASIC)、逻辑电路和能够执行本文描述的功能的任何其它电路或处理器的系统。上文的示例只是示范性的，并且从而不意在采用任何方式限制术语“计算机”的定义和/或含义。
指令集可包括各种命令，其指示作为处理机的计算机或处理器执行特定的操作，例如各种实施例的方法和过程。指令集可采用软件程序的形式，该软件程序可形成一个或多个有形的非暂时性计算机可读介质的一部分。该软件可采用例如系统软件或应用软件的各种形式。此外，该软件可采用独立程序或模块的集合、在更大程序内的程序模块或程序模块的一部分的形式。该软件还可包括采用面向对象编程的形式的模块化编程。输入数据由处理机的处理可响应于操作者命令，或响应于先前的处理结果，或响应于由另外一个处理机作出的请求。
上面已经描述了一些示例性实施例，然而，应该理解的是，可以做出各种修改。例如，如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同方式被组合和/或被另外的组件或其等同物替代或补充，则可以实现合适的结果。相应地，其他实施方式也落入权利要求的保护范围内。

Claims (20)

1.一种血管壁的提取方法，其包括：
获取医学图像；
确定所述医学图像中的至少一个一阶特征；以及
基于所述至少一个一阶特征，在所述医学图像中提取血管壁图像。
2.如权利要求1所述的血管壁的提取方法，其中，获取医学图像包括对原始扫描图像进行预处理，且经过所述预处理后的图像作为所述医学图像。
3.如权利要求1所述的血管壁的提取方法，其中，获取医学图像进一步包括：
对原始扫描图像进行图像分割，以确定感兴趣区域；以及
基于所述感兴趣区域获取所述医学图像。
4.如权利要求3所述的血管壁的提取方法，其中，所述图像分割包括：
基于深度学习网络，在所述原始扫描图像中确定包括血管腔的感兴趣区域。
5.如权利要求4所述的血管壁的提取方法，其中，获取医学图像进一步包括基于区域生长算法和阈值法中的至少一个，对所述感兴趣区域进行优化，且基于所述优化后的感兴趣区域获取所述医学图像。
6.如权利要求3所述的血管壁的提取方法，其中，基于所述感兴趣区域获取所述医学图像包括对所述感兴趣区域进行延伸，以获取所述医学图像。
7.如权利要求6所述的血管壁的提取方法，其中，进一步包括：
基于所述血管壁图像进行斑块分析。
8.如权利要求7所述的血管壁的提取方法，其中，进一步包括：
基于所述斑块分析的结果，修正所述感兴趣区域的延伸幅度。
9.如权利要求1所述的血管壁的提取方法，其中，所述至少一个一阶特征包括能量值，最大值，均值，方差值，平均绝对均差值，区域均匀性和熵值中的至少一个。
10.一种血管壁的可视化方法，其包括：
获取医学图像；
确定所述待提取图像中的至少一个一阶特征；以及
在所述医学图像中映射所述至少一个一阶特征，以可视化所述血管壁。
11.一种非暂态计算机可读存储介质，其用于存储计算机程序，所述计算机程序由计算机执行时使计算机执行权利要求1-9任一项所述的血管壁的提取方法。
12.一种血管壁的提取装置，其包括：
图像获取模块，其用于获取医学图像；
特征计算模块，其用于确定所述医学图像中的至少一个一阶特征；以及
图像提取模块，其用于基于所述至少一个一阶特征，在所述医学图像中提取血管壁图像。
13.如权利要求12所述的血管壁的提取装置，其中，所述图像获取模块包括预处理单元，所述预处理单元用于对原始扫描图像进行预处理，且经过所述预处理后的图像作为所述医学图像。
14.如权利要求12所述的血管壁的提取装置，其中，所述图像获取模块包括：
图像分割单元，其用于对原始扫描图像进行图像分割，以确定感兴趣区域；以及
区域延伸单元，其用于基于所述感兴趣区域获取所述医学图像。
15.如权利要求14所述的血管壁的提取装置，其中，所述图像分割单元进一步用于基于深度学习网络，在所述原始扫描图像中确定包括血管腔的感兴趣区域。
16.如权利要求14所述的血管壁的提取装置，其中，所述图像获取模块进一步包括：
区域优化单元，其用于基于区域生长算法和阈值法中的至少一个，对所述感兴趣区域进行优化，且基于所述优化后的感兴趣区域获取所述医学图像。
17.如权利要求14所述的血管壁的提取装置，其中，所述区域延伸单元进一步用于对所述感兴趣区域进行延伸，以获取所述医学图像。
18.如权利要求17所述的血管壁的提取装置，其中，进一步包括：
斑块分析模块，其用于基于所述血管壁图像进行斑块分析。
19.如权利要求18所述的血管壁的提取装置，其中，进一步包括：
反馈模块，其用于基于所述斑块分析的结果，修正所述感兴趣区域的延伸幅度。
20.一种医学成像系统，其包括如权利要求12-19中任一项所述的血管壁的提取装置。
CN202011495067.9A 2020-12-17 2020-12-17 血管壁的提取方法及装置 Pending CN114648536A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011495067.9A CN114648536A (zh) 2020-12-17 2020-12-17 血管壁的提取方法及装置
US17/644,268 US20220198667A1 (en) 2020-12-17 2021-12-14 Method and device for extracting blood vessel wall

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011495067.9A CN114648536A (zh) 2020-12-17 2020-12-17 血管壁的提取方法及装置

Publications (1)

Publication Number Publication Date
CN114648536A true CN114648536A (zh) 2022-06-21

Family

ID=81989816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011495067.9A Pending CN114648536A (zh) 2020-12-17 2020-12-17 血管壁的提取方法及装置

Country Status (2)

Country Link
US (1) US20220198667A1 (zh)
CN (1) CN114648536A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020163539A1 (en) * 2019-02-05 2020-08-13 University Of Virginia Patent Foundation System and method for fully automatic lv segmentation of myocardial first-pass perfusion images

Also Published As

Publication number Publication date
US20220198667A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
EP3525171B1 (en) Method and system for 3d reconstruction of x-ray ct volume and segmentation mask from a few x-ray radiographs
AU2019257675B2 (en) Image enhancement using generative adversarial networks
US10762637B2 (en) Vascular segmentation using fully convolutional and recurrent neural networks
AU2019449137B2 (en) sCT image generation using cyclegan with deformable layers
CN107038728B (zh) 基于迭代重建的轮廓自动化确定
US11941786B2 (en) Image noise reduction method and device
CN109949300B (zh) 解剖树结构分析的方法、系统和计算机可读介质
US20220198667A1 (en) Method and device for extracting blood vessel wall
US11244453B2 (en) Determining malignancy of pulmonary nodules using deep learning
WO2019145849A1 (en) Method for processing images and method for determining quantitative and/or qualitative characteristics of objects reproduced in an image, system for processing images and system for determining quantitative and/or qualitative characteristics of the objects reproduced in an image
US11380026B2 (en) Method and device for obtaining predicted image of truncated portion
US11461940B2 (en) Imaging method and device
US20220378383A1 (en) Target area determination method and medical imaging system
US20240029415A1 (en) Simulating pathology images based on anatomy data
CN114140487A (zh) 脑部图像分割方法及装置
EP4345753A2 (en) Ct reconstruction for machine consumption
EP4123581A2 (en) Method for automatic segmentation of coronary sinus
WO2023017438A1 (en) System and method for medical image translation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination