CN117119968A - 超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序 - Google Patents

超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序 Download PDF

Info

Publication number
CN117119968A
CN117119968A CN202280025873.0A CN202280025873A CN117119968A CN 117119968 A CN117119968 A CN 117119968A CN 202280025873 A CN202280025873 A CN 202280025873A CN 117119968 A CN117119968 A CN 117119968A
Authority
CN
China
Prior art keywords
image
subject
probe
segment
scanning mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280025873.0A
Other languages
English (en)
Inventor
井芹健介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN117119968A publication Critical patent/CN117119968A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427Device being portable or laptop-like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472Wireless probes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供一种超声波拍摄装置,其生成被检体的横剖面的清晰的合成图像。超声波拍摄装置3包括:超声波接收部(351),利用探头接收从配置于被检体的表面的探头向所述被检体的内部以第一扫描模式及拍摄范围比第一扫描模式广的第二扫描模式两种扫描模式发送、且由被检体的内部反射的超声波;第一片段图像生成部(352),基于超声波,生成通过第一扫描模式局部拍摄被检体的内部而得的第一片段图像;第二片段图像生成部(353),基于超声波,生成通过第二扫描模式局部拍摄被检体的内部而得的第二片段图像;以及剖面图像合成部(354),对第一片段图像及第二片段图像不均匀地进行合成而生成被检体的剖面的合成图像。

Description

超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波 拍摄程序
技术领域
本发明涉及一种通过超声波对被检体的内部进行拍摄的超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序。
背景技术
股四头肌是大腿部的肌肉,负责提拉大腿、使膝关节伸展等动作。股四头肌的肌肉量随着老龄化而明显减少,因此股四头肌的减少成为老年人步行困难或跌倒的主要原因。因此,通过掌握股四头肌的肌肉量等,而进行与老年人的步行困难或跌倒有关的诊疗。为了对包括股四头肌在内的大腿部的横剖面整体进行拍摄,例如使用计算机断层扫描(Computed Tomography,CT)装置或磁共振成像(Magnetic Resonance Imaging,MRI)装置。
另一方面,CT装置或MRI装置昂贵,且拍摄所需的时间长,因此期望更简便的拍摄技术。因此,研究出各种使用超声波广范围地对人体的横剖面进行拍摄的技术。
例如,在专利文献1中公开了如下技术:使用收发超声波的探头,对作为被检体的人体的大腿部、上臂部、腹部等的横剖面进行拍摄。根据专利文献1的技术,操作员一边将探头的角度维持为对于人体的表面而言适当的角度,一边使探头沿着横剖面在拍摄对象的周围移动并且连续地进行拍摄,对拍摄到的超声波图像进行合成,由此获取广范围地对与拍摄对象的部位相关的横剖面进行拍摄而得的全景合成图像(以下,也简单记载为“合成图像”)。
图14是通过线性扫描模式及扇形扫描模式各模式对大腿部的横剖面进行拍摄而得的现有技术的超声波图像。
在通过超声波拍摄进行检查时,根据被检体的部位来切换多种超声波扫描模式。作为超声波扫描模式,例如已知有:线性扫描模式、扇形扫描模式、及凸面扫描模式等。
在线性扫描模式中,如图14(a)中所例示那样,可对从探头的超声波收发面呈带状延伸的范围清晰地进行拍摄。线性扫描模式主要用于对位于人体体表附近的部分的组织进行检查。当仅通过线性扫描模式对大腿部的周围连续进行拍摄时,可获取图14(b)中所例示那样的横剖面的全景合成图像。
在扇形扫描模式中,如图14(c)中所例示那样,可对比从探头的超声波收发面呈带状延伸的范围更广的角度范围的呈扇状扩展的范围进行拍摄。扇形扫描模式主要用于对包含远离人体体表的部分在内的广范围的组织进行检查。当仅通过扇形扫描模式对大腿部的周围连续进行拍摄时,可获取图14(d)中所例示那样的横剖面的全景合成图像。
[现有技术文献]
[专利文献]
专利文献1:国际公开第2017/010193号
发明内容
[发明所要解决的问题]
在图14(d)所示的仅基于扇形扫描模式的大腿部的横剖面的合成图像中,大腿部的整个横剖面或肌肉间的隔膜(一点划线所包围的区域S)被清晰地拍摄到,但在肌肉的内部显现出噪声,图像不清晰。相对于此,在图14(b)所示的仅基于线性扫描模式的大腿部的横剖面的合成图像中,虽然肌肉的内部被清晰地拍摄到,但拍摄范围窄,没有拍摄到隔膜。其原因在于:若被拍摄物的内部组织的轮廓部分从被拍摄物的表面向垂直方向延伸,则在线性扫描模式中,无法清晰地接收由轮廓部分反射的超声波。如此,仅基于线性扫描模式的合成图像及仅基于扇形扫描模式的合成图像任一者中均有优点及缺点。
本发明的目的在于提供一种超声波拍摄装置,其生成被检体的横剖面的清晰的合成图像。
[解决问题的技术手段]
本发明的超声波拍摄装置的特征在于包括:超声波接收部,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;第一片段图像生成部,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;第二片段图像生成部,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及剖面图像合成部,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
本发明的超声波拍摄方法的特征在于包括:超声波接收步骤,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;第一片段图像生成步骤,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;第二片段图像生成步骤,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及剖面图像合成步骤,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
本发明的超声波拍摄系统的特征在于包括:探头,从被检体的表面向内部发送超声波,并接收由所述被检体的内部反射的超声波;以及本发明的超声波拍摄装置。
本发明的超声波拍摄程序的特征在于使计算机作为如下部件运行,所述部件为:超声波接收部,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;第一片段图像生成部,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;第二片段图像生成部,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及剖面图像合成部,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
[发明的效果]
根据本发明,可提供一种超声波拍摄装置,其生成被检体的横剖面的清晰的合成图像。
附图说明
图1是表示超声波拍摄系统1的结构的示意图。
图2是表示超声波拍摄装置3的结构的框图。
图3是用于说明第一实施形态的超声波拍摄装置所执行的不同种类的片段图像的合成方法的示意图。
图4是表示第一实施形态的超声波拍摄方法的处理顺序的流程图。
图5是表示第一实施形态中的步骤S6A的详细的处理顺序的流程图。
图6是通过第一实施形态的超声波拍摄方法生成的大腿部的横剖面的全景合成图像的一例。
图7是在第二实施形态的超声波拍摄方法中生成的第一中间合成图像及第二中间合成图像的一例。
图8是用于说明第二实施形态的超声波拍摄装置所执行的加权图像合成方法的示意图。
图9是用于说明第二实施形态的超声波拍摄装置所执行的加权图像合成方法的示意图。
图10是使通过第二实施形态的超声波拍摄方法中应用的各种加权规则而计算出的加权矩阵可视化而得的图像的一例。
图11是表示第二实施形态的超声波拍摄方法的处理顺序的流程图。
图12是表示第二实施形态中的步骤S6B的详细的处理顺序的流程图。
图13是通过第二实施形态的超声波拍摄方法生成的大腿部的横剖面的全景合成图像的一例。
图14是通过线性扫描模式及扇形扫描模式各模式对大腿部的横剖面进行拍摄而得的现有技术的超声波图像。
具体实施方式
以下,参照附图详细说明本发明的实施形态。此外,在以下的说明及附图中,相同的符号表示相同或类似的构成要素,因此省略与相同或类似的构成要素有关的重复说明。
[第一实施形态]
(整体结构)
图1是表示超声波拍摄系统1的结构的示意图。超声波拍摄系统1包括:探头2、以及超声波拍摄装置3。
探头2是从被检体9的表面向被检体9的内部发送超声波、并接收由被检体9的内部反射的超声波的装置,在本实施形态中,构成为可由被检者握持并移动。在探头2的下端,设置有超声波收发面,所述超声波收发面中呈一列地排列有多个超声波振子。此外,在本实施形态中,被检体9为人体的大腿部,但被检体9中所含的生物体部位并无特别限定。
在本实施形态中,探头2以通过线性扫描来获取片段图像的线性扫描模式(对应于权利要求书中记载的第一扫描模式)、与通过拍摄范围比线性扫描广的扇形扫描来获取片段图像的扇形扫描模式(对应于权利要求书中记载的第二扫描模式)此两种驱动方式运行。所谓片段图像,是通过线性扫描模式或扇形扫描模式下的一次拍摄而获得的超声波图像,等同于利用一般结构的超声波诊断装置(超声波拍摄装置)而获得的拍摄图像。
在获取与被检体9的横剖面有关的全景合成图像的情况下,被检者使探头2的超声波收发面与被检体9抵接,使探头2沿着被检体9的表面移动(利用探头2对大腿部的周围进行扫描)。与此同时,探头2一边以规定周期将扫描模式切换为线性扫描模式或者扇形扫描模式,一边间歇地从超声波收发面向被检体9的内部发送超声波,并在超声波收发面接收由被检体9的内部反射的超声波。由此,探头2针对线性扫描模式及扇形扫描模式各模式输出表示接收到的超声波的电信号(回波信号)。优选为,在探头2安装角度传感器,将探头2的倾斜角(例如,探头2相对于铅垂方向的倾斜等倾斜角度)的信息与回波信号一起发送至超声波拍摄装置3。
超声波拍摄装置3通过WiFi(注册商标)等无线与探头2连接。在本实施形态中,超声波拍摄装置3例如由平板电脑终端构成,并具有如下功能:基于从探头2接收到的回波信号,针对线性扫描模式及扇形扫描模式各模式生成多个片段图像(多个第一片段图像以及多个第二片段图像),进而显示对这些片段图像进行合成而得的横剖面的全景合成图像。
此外,超声波拍摄装置3若为能够显示图像的装置,则并无特别限定,可由通用的个人计算机、或智能手机等构成。另外,探头2与超声波拍摄装置3的连接方法并无特别限定,也可为有线连接。
(超声波拍摄装置的功能)
图2是表示超声波拍摄装置3的结构的框图。超声波拍摄装置3包括显示器31、输入装置32、辅助存储装置33、通信接口部(I/F部)34、及显示接口部(I/F部)36作为硬件结构。
显示器31例如可由液晶显示器、等离子体显示器及有机电致发光(electroluminescence,EL)显示器等构成。此外,也可将显示器31构成为与超声波拍摄装置3分离的装置。
输入装置32为设置于显示器31的表面的触摸屏。被检者可经由输入装置32进行对于显示于显示器31的图像的输入操作。
辅助存储装置33为存储操作系统(Operating System,OS)、各种控制程序、及由程序生成的数据等的非易失性存储装置,例如由嵌入式多媒体卡(embedded Multi MediaCard,eMMC)或固态硬盘(Solid State Drive,SSD)等构成。在辅助存储装置33中,存储有超声波拍摄程序P。超声波拍摄程序P也可经由因特网等网络安装于超声波拍摄装置3。或者,也可通过使超声波拍摄装置3读取记录有超声波拍摄程序P的SD卡(Secure DigitalMemory Card,安全数字存储卡)等计算机可读取的非暂时性的有形的记录介质,将超声波拍摄程序P安装于超声波拍摄装置3。
通信接口部34进行与外部设备的数据的收发,在本实施形态中,进行从探头2接收到的信号的解调、或用于发送至探头2的控制信号的调制等。
显示接口部36通过将由超声波拍摄装置3的运算处理生成的各种图像数据展开至视频随机存取存储器(Video Random Access Memory,VRAM)中,而将所述图像显示于显示器31,例如将由后述的信号处理部35生成的合成图像等显示于显示器31。
虽未图示,但超声波拍摄装置3还包括进行数据处理的中央处理器(CentralProcessing Unit,CPU)等处理器、以及处理器在数据处理的作业领域中使用的存储器(主存储装置)等作为其他硬件结构。
另外,超声波拍摄装置3包括信号处理部35作为软件结构。信号处理部35为通过处理器执行超声波拍摄程序P来实现的功能块,并具有如下功能:对从探头2接收到的回波信号进行处理,将被检体9的横剖面的合成图像以被检者、医师、拍摄工作者等容易掌握被检体9的状态的方式显示于显示器31。为了实现所述功能,信号处理部35包括:超声波接收部351、第一片段图像生成部352、第二片段图像生成部353、及剖面图像合成部354。此外,也可通过形成于集成电路上的逻辑电路以硬件方式实现信号处理部35。
超声波接收部351对具有超声波区域的频率的信号赋予延迟而生成发送信号,并将所述信号输出至内置于探头2的控制装置(未图示)。控制装置基于接收到的发送信号驱动探头2。超声波接收部351可通过控制延迟来控制探头2的驱动方式或波束形状。另外,对超声波接收部351,从探头2输入接收信号。超声波接收部351对输入的接收信号进行模数转换等处理,将进行了处理的接收信号在基于线性扫描模式的驱动时输出至第一片段图像生成部352,在基于扇形扫描模式的驱动时输出至第二片段图像生成部353。在探头2沿着被检体9的表面移动的期间内,超声波接收部351针对线性扫描模式及扇形扫描模式各模式以一定的时间间隔重复输出发送信号,并在每次输出发送信号时,获取探头2所接收的超声波的接收信号。
此外,也可在对探头2进行控制的控制装置中设置超声波接收部351的功能。在此情况下,可将控制装置连接于超声波拍摄装置3,也可将超声波图像存储于控制装置中,并经由记录介质向超声波拍摄装置3发送超声波图像。
第一片段图像生成部352及第二片段图像生成部353分别基于超声波接收部351输出的接收信号,通过与探头2的驱动方式相应的图像转换处理,生成局部拍摄拍摄对象而得的片段图像。在本实施形态中,第一片段图像生成部352生成基于线性扫描模式的片段图像(第一片段图像),第二片段图像生成部353生成基于扇形扫描模式的片段图像(第二片段图像)。在探头2沿着被检体9的表面移动的期间内,第一片段图像生成部352及第二片段图像生成部353分别基于从超声波接收部351重复输入的接收信号,一并生成从各个方向对被检体9的横剖面进行拍摄而得的多个片段图像(多个第一片段图像及多个第二片段图像)、以及获取片段图像时的探头2相对于被检体9表面的角度信息(倾斜角的信息)。
即,在本实施形态中,在探头2相对于被检体9表面的某一倾斜角度下,生成基于线性扫描模式的第一片段图像与基于扇形扫描模式的第二片段图像的片段图像对,在探头2沿着被检体9的表面连续地移动的期间内,一并生成此种片段图像的多个对、以及针对探头2的每一倾斜角度而言的探头2的倾斜角度的信息。片段图像对的生成数根据由探头2进行的超声波的收发时间及收发的周期而变动。例示性地,每隔约125msec生成一个第一片段图像与第二片段图像的片段图像对。
剖面图像合成部354对由第一片段图像生成部352生成的多个第一片段图像、与由第二片段图像生成部353生成的多个第二片段图像不均匀地进行合成。此外,在本说明书中,所谓“剖面”或“横剖面”,是不仅包含切成圆片的剖面而且也包含部分剖面的概念。
由剖面图像合成部354生成的被检体9的横剖面的合成图像被输入至显示接口部36。显示接口部36通过将合成图像的数据展开至VRAM中,而将合成图像显示于显示器31。
以下,对在第一实施形态中剖面图像合成部354对第一片段图像及第二片段图像不均匀地进行合成的一形态进行具体说明。
在第一实施形态中,首先,通过参照后述的图3的示意图而说明的方法,针对探头2的每一倾斜角,进行对通过线性扫描模式而获取的第一片段图像与通过扇形扫描模式而获取的第二片段图像不均匀地进行合成的处理,生成多个中间合成图像43。探头2的倾斜角的信息与中间合成图像43相关联。
接下来,基于探头2的倾斜角使针对探头2的每一倾斜角而生成的多个中间合成图像43旋转并进行合成,由此生成广范围地拍摄被检体9的横剖面而得的全景合成图像。
(不同种类的片段图像的合成)
图3是用于说明第一实施形态的超声波拍摄装置所执行的不同种类的片段图像的合成方法的示意图。
图3(a)示出了合成前的第一片段图像41及第二片段图像42。在第一实施形态中,如图3(a)所示,将通过扇形扫描模式而获取的第二片段图像42的与第一片段图像41对应的区域(虚线包围的区域R)置换为通过线性扫描模式而获取的第一片段图像41,由此使第一片段图像41局部重合于第二片段图像42并进行合成,从而生成中间合成图像43。
图3(b)示出了探头2的某一角度下的中间合成图像43。在中间合成图像43中,在虚线包围的区域R中将第一片段图像41配置于最前面,肌肉的内部被清晰地表现出。另外,在一点划线包围的区域S中残留有第二片段图像42,隔膜被清晰地表现出。
由此,对于作为被检体9的大腿部的横剖面,能够生成有效利用了线性扫描模式及扇形扫描模式双方的优点的、大腿部的横剖面的清晰的合成图像。
此外,在图3(b)所示的中间合成图像43中,也可对位于虚线包围的区域R的两侧的双点划线所包围的区域51进一步实施去除噪声的图像处理。由此,可进一步提高通过后续工序而生成的全景合成图像的清晰度。
(处理顺序)
图4是表示第一实施形态的超声波拍摄方法的处理顺序的流程图。
在步骤S1中,超声波接收部351(控制装置)以线性扫描模式驱动探头2,探头2在线性扫描模式下从被检体9的表面向被检体9的内部发送超声波。由此,探头2接收由被检体9的内部反射的超声波,从探头2输出与线性扫描模式对应的回波信号。
在步骤S2中,超声波接收部351对输入的接收信号进行模数转换等处理,将进行了处理的接收信号输出至第一片段图像生成部352。第一片段图像生成部352生成基于线性扫描模式的第一片段图像41。在本实施形态中,每次从探头2输出回波信号时,第一片段图像生成部352均生成第一片段图像41。
在步骤S3中,与步骤S1同样地,超声波接收部351以扇形扫描模式驱动探头2。从探头2输出与扇形扫描模式对应的回波信号。
在步骤S4中,与步骤S2同样地,每次从探头2输出回波信号时,第二片段图像生成部353均生成基于扇形扫描模式的第二片段图像42。
重复步骤S1至步骤S4直至探头2的扫描结束为止。由此,针对探头2的每一倾斜角而生成与被检体9的表面上的相互不同的多个位置对应的多个第一片段图像41。同样地,针对探头2的每一倾斜角而生成与被检体9的表面上的相互不同的多个位置对应的多个第二片段图像42。
当探头2的扫描结束(步骤S5中为是(Yes))时,在步骤S6A(图像合成步骤)中,剖面图像合成部354对多个第一片段图像与多个第二片段图像不均匀地进行合成,由此生成被检体9的剖面的合成图像。
其后,在步骤S7(显示步骤)中,将被检体9的横剖面的全景合成图像显示于显示器31。
图5是表示第一实施形态中的步骤S6A的详细的处理顺序的流程图。步骤S6A具有步骤S6A-1至步骤S6A-3。
首先,在步骤S6A-1中,剖面图像合成部354针对探头2的每一倾斜角而生成中间合成图像43。剖面图像合成部354通过参照图3而说明的合成方法,使第一片段图像41局部重合于第二片段图像42并进行合成,由此生成中间合成图像43。
重复步骤S6A-1直至针对探头的所有倾斜角而结束中间合成图像43的生成(步骤S6A-2中为是)为止。由此,针对探头2的每一倾斜角而生成多个中间合成图像43。
继而,在步骤S6A-3中,剖面图像合成部354基于探头2的倾斜角使多个中间合成图像43旋转并进行合成。由此,生成被检体9的横剖面的全景合成图像。将通过第一实施形态的超声波拍摄方法生成的、大腿部的横剖面的全景合成图像的一例例示于图6中。
在合成多个中间合成图像43时,剖面图像合成部354可通过在多个中间合成图像43各图像中所含的区域彼此间检测特征量并进行匹配,来确定使多个中间合成图像43重合的位置。此外,此时,剖面图像合成部354优选为基于由探头2的角度传感器获得的检测角度使中间合成图像43旋转,并基于旋转后的中间合成图像43进行匹配。通过如此,可正确地修正各中间合成图像43的旋转角度,可以更高的精度来确定中间合成图像43的重合位置。
在通过使多个中间合成图像43旋转并进行合成来生成一个全景合成图像的处理中,可应用公知的技术。在本实施形态中,例如使用各中间合成图像43、43间的特征点匹配来合成多个中间合成图像43、43。
在所述方法中,从第一个中间合成图像及第二个中间合成图像中检测特征点。然后,对第一个中间合成图像与第二个中间合成图像的特征点进行匹配,计算第一个中间合成图像与第二个中间合成图像的齐次变换矩阵。具体而言,当第二个中间合成图像相对于第一个中间合成图像顺时针旋转θ、并在x轴方向上平行移动tx、在y轴方向上平行移动ty时,在第一个中间合成图像与第二个中间合成图像的特征点一致的情况下,移动第二个中间合成图像的坐标系,而与第一个中间合成图像相称的齐次变换矩阵R成为:
[数1]
即,在第一个中间合成图像上的特征点(x,y)移动至第二个中间合成图像上的特征点(x',y')时,
[数2]
的关系成立。此外,特征点的坐标中包含误差,另外,由于噪声的影响而确定的对应关系自身中包含错误,因此通过随机抽样一致(RANdom SAmple Consensus,RANSAC)算法排除对计算造成不良影响的离群值。另外,在位置关系的计算中,可利用高斯-牛顿(Gauss-Newton)法、列文伯格-马夸尔特(Levenberg-Marquardt)法等非线性最小二乘法。
对生成顺序相邻的两张中间合成图像依次进行齐次变换矩阵R的计算,进行至第n-1个中间合成图像及第n个中间合成图像为止。当将从第k+1(1≦k≦n-1)个中间合成图像向第k个中间合成图像的齐次变换矩阵设为Rk时,从第k+1个中间合成图像向第一个中间合成图像的齐次变换矩阵成为R1R2…Rk。第一个中间合成图像的坐标系被称为世界坐标系,通过针对所有中间合成图像计算向世界坐标系的齐次变换矩阵,可计算所有中间合成图像的坐标。其后,通过混合所有中间合成图像的像素来生成一张全景合成图像。
(总结)
如上所述,在第一实施形态中,对通过线性扫描模式而获取的第一片段图像与通过扇形扫描模式而获取的第二片段图像不均匀地进行合成。由此,对于作为被检体9的人体的横剖面,能够生成有效利用了线性扫描模式及扇形扫描模式双方的优点的、人体的横剖面的清晰的合成图像。
[第二实施形态]
以下,对在第二实施形态中剖面图像合成部354对第一片段图像及第二片段图像不均匀地进行合成的一形态进行具体说明。
在第二实施形态中,首先,基于探头2的倾斜角使针对探头2的每一倾斜角而生成的、通过线性扫描模式而获取的多个第一片段图像旋转并进行合成,由此生成第一中间合成图像45。对于通过扇形扫描模式而获取的第二片段图像,也同样地基于探头2的倾斜角使针对探头2的每一倾斜角而生成的多个第二片段图像旋转并进行合成,由此生成第二中间合成图像46。将第二实施形态的超声波拍摄方法中生成的第一中间合成图像45及第二中间合成图像46的一例例示于图7(a)及图7(b)中。这些第一中间合成图像45及第二中间合成图像46均成为广范围地拍摄被检体9的横剖面而得的全景合成图像。
接下来,通过参照后述的图8至图10的示意图而说明的方法,对第一中间合成图像45及第二中间合成图像46进行加权合成,由此生成将第一片段图像及第二片段图像不均匀地合成而得的全景合成图像。
(相同种类的片段图像的合成)
剖面图像合成部354基于探头2的倾斜角使针对探头2的每一倾斜角而生成的多个第一片段图像彼此旋转并进行合成,由此生成第一中间合成图像45。同样地,剖面图像合成部354基于探头2的倾斜角使针对探头2的每一倾斜角而生成的多个第二片段图像彼此旋转并进行合成,由此生成第二中间合成图像46。
在分别生成第一中间合成图像45及第二中间合成图像46时,剖面图像合成部354可通过在多个片段图像各图像中所含的区域彼此间检测特征量并进行匹配,来确定使多个片段图像重合的位置。此外,此时,剖面图像合成部354优选为基于由探头2的角度传感器获得的检测角度使片段图像旋转,并基于旋转后的片段图像进行匹配。通过如此,可正确地修正各片段图像的旋转角度,可以更高的精度来确定片段图像的重合位置。
在通过使多个片段图像旋转并进行合成来生成一个中间合成图像的处理中,可应用公知的技术。在本实施形态中,例如使用各片段图像间的特征点匹配来合成多个片段图像。关于特征点匹配的方法,在所述第一实施形态的说明中以中间合成图像为例进行了说明,因此在本实施形态中省略详细的说明。
(加权合成)
图8至图10是用于说明第二实施形态的超声波拍摄装置所执行的加权图像合成方法的示意图。
在第二实施形态中,对针对线性扫描模式及扇形扫描模式各模式而生成的各中间合成图像45、46应用加权规则并进行合成。由此,对于作为被检体9的人体的横剖面,能够生成有效利用了线性扫描模式及扇形扫描模式双方的优点的、人体的横剖面的清晰的合成图像。此外,加权规则中可应用例如以下例示的与深度相应的加权及与倾斜角相应的加权两者或者至少一者。在应用与深度相应的加权及与倾斜角相应的加权两者的情况下,优选为较与深度相应的加权而言加强应用与倾斜角相应的加权。
图8是用于说明与深度相应的加权的示意图。图8(a)示出了从被检体9的表面向深度方向截取通过扇形扫描模式而获取的第二片段图像42而得的图像。图8(b)示出了通过线性扫描模式而获取的第一片段图像41。图中的上方向对应于被检体9的内部的距表面浅的区域,下方向对应于距表面深的区域。
在与深度相应的加权中,对于被检体9的内部的距表面浅的区域,应用提高基于线性扫描模式的第一中间合成图像45的比例的加权,对于距表面深的区域,应用提高基于扇形扫描模式的第二中间合成图像46的比例的加权,对第一中间合成图像45及第二中间合成图像46进行加权合成。
关于距表面浅的区域,提高线性扫描模式带来的贡献的比例的理由之一在于:如图8(b)的片段图像中参照符号52所示,在浅的区域中噪声的影响少,肌肉的内部被清晰地拍摄到。关于距表面深的区域,提高扇形扫描模式带来的贡献的比例的理由之一在于:如图8(b)的片段图像中参照符号53所示,在深的区域中,超声波回波在线性扫描模式下衰减。在图8(c)中例示使通过此种加权规则而计算出的加权矩阵的一例可视化而得的图像。
在图8(c)的图像中,白色是指基于线性扫描模式的加权强,黑色是指基于扇形扫描模式的加权强,浓淡程度不同的多个灰色是指这些的中间程度的加权。得知,从浅的区域向深的区域,黑色的程度逐渐增加,基于扇形扫描模式的加权逐渐增加。
图9是用于说明与探头的倾斜角相应的加权的示意图,示出了探头2的倾斜角与大腿部的对应关系的一例。此外,对应关系的例示中使用的大腿部的横剖面的合成图像为现有技术的仅基于扇形扫描模式的合成图像。
为了便于说明,当设想以坐位或者仰卧位测定人体的大腿部的情况时,大腿部的前面(anterior)相当于探头2的倾斜角为0度附近。同样地,大腿部的内侧(medial)及外侧相当于探头2的倾斜角为±90度附近。
在与探头的倾斜角相应的加权中,对于倾斜角0度附近,应用提高基于线性扫描模式的第一中间合成图像45的比例的加权,对于倾斜角±90度附近,应用提高基于扇形扫描模式的第二中间合成图像46的比例的加权,对第一中间合成图像45及第二中间合成图像46进行加权合成。
关于倾斜角0度附近,提高线性扫描模式带来的贡献的比例的理由之一在于:在倾斜角0度附近,拍摄到的超声波图像中难以包含隔膜。关于倾斜角±90度附近,提高扇形扫描模式带来的贡献的比例的理由之一在于:想要在拍摄到的超声波图像中包含隔膜。其原因在于:在倾斜角±90度附近,隔膜的轮廓部分与从探头2发出的超声波逐渐大致平行,在线性扫描模式中,无法清晰地接收由隔膜反射的超声波。
在图10中例示使通过此种加权规则而计算出的加权矩阵可视化而得的图像的一例。图10(a)是使仅考虑到深度的加权矩阵可视化而得的图像,图10(b)是使仅考虑到探头的倾斜角的加权矩阵可视化而得的图像。图10(c)是使考虑到深度及倾斜角两者的加权矩阵可视化而得的图像。
在图10所示的图像中,白色是指基于线性扫描模式的加权强,黑色是指基于扇形扫描模式的加权强,浓淡程度不同的多个灰色是指这些的中间程度的加权。例如,当参照图10(a)的图像时,得知即便从倾斜角0度附近变为倾斜角±90度附近,在相同的深度处浓淡程度也没有变化。另外,例如,当参照图10(b)的图像时,得知随着从倾斜角0度附近变为倾斜角±90度附近,黑色的程度逐渐增加,基于扇形扫描模式的加权逐渐增加。
(处理顺序)
图11是表示第二实施形态的超声波拍摄方法的处理顺序的流程图。在图11所示的流程图中,整体的处理顺序与图4所示的流程图相同,但将生成剖面的合成图像的步骤S6A置换为步骤S6B。
图12是表示第二实施形态中的步骤S6B的详细的处理顺序的流程图。步骤S6B具有步骤S6B-1至步骤S6B-3。
首先,在步骤S6B-1中,剖面图像合成部354基于探头2的倾斜角使通过线性扫描模式而获取的多个第一片段图像41旋转并进行合成,由此生成仅由与线性扫描模式相关的片段图像合成的第一中间合成图像45。在所述时间点,第一中间合成图像45成为广范围地拍摄被检体9的横剖面而得的全景合成图像。
在步骤S6B-2中,与步骤S6B-1同样地,剖面图像合成部354基于探头2的倾斜角使通过扇形扫描模式而获取的多个第二片段图像42旋转并进行合成,由此生成仅由与扇形扫描模式相关的片段图像合成的第二中间合成图像46。在所述时间点,所述第二中间合成图像46也成为广范围地拍摄被检体9的横剖面而得的全景合成图像。
继而,在步骤S6B-3中,剖面图像合成部354通过参照图8至图10而说明的应用加权的合成方法,对第一中间合成图像45及第二中间合成图像46进行加权合成。在本实施形态中,作为加权规则,例如应用图10(c)中例示的与深度相应的加权及与倾斜角相应的加权两者。由此,生成将第一片段图像及第二片段图像不均匀地合成而得的、被检体9的横剖面的全景合成图像。将通过第二实施形态的超声波拍摄方法生成的、大腿部的横剖面的全景合成图像的一例例示于图13中。
(总结)
如上所述,在第二实施形态中,对针对线性扫描模式及扇形扫描模式各模式而生成的各中间合成图像,应用加权规则并进行合成。由此,对于作为被检体9的人体的横剖面,能够生成有效利用了线性扫描模式及扇形扫描模式双方的优点的、人体的横剖面的清晰的合成图像。
[其他形态]
以上,通过特定的实施形态说明了本发明,但本发明并不限定于所述实施形态。
在所述实施形态中,为了获得与被检体9的表面上的相互不同的多个位置对应的片段图像,一边使探头2沿着被检体9的表面移动,一边从探头2间歇地发送超声波,但获得片段图像的形态并不限定于此。例如,也可在被检体9配置多个探头2,从各探头2同时发送超声波。
在所述实施形态中,探头2以线性扫描模式与扇形扫描模式此两种驱动方式运行,但探头2的驱动方式并不限定于此。探头2也可以凸面扫描模式来代替扇形扫描模式而运行。即,探头2也可以线性扫描模式与凸面扫描模式此两种驱动方式运行。
在所述第一实施形态中,在步骤S6A-1中,剖面图像合成部354通过参照图3而说明的合成方法,使第一片段图像41局部重合于第二片段图像42并进行合成,由此生成中间合成图像43,但生成中间合成图像43的形态并不限定于此。剖面图像合成部354也可在使第一片段图像41局部重合于第二片段图像42并进行合成时,应用参照图8至图10而说明的加权规则。
在所述第一实施形态中,在步骤S6A-3中,剖面图像合成部354基于探头2的倾斜角使多个中间合成图像43旋转并进行合成,由此,生成被检体9的横剖面的全景合成图像,但生成全景合成图像的形态并不限定于此。剖面图像合成部354也可在基于探头2的倾斜角使多个中间合成图像43旋转并进行合成时,应用参照图8至图10而说明的加权规则。
[产业上的可利用性]
本发明能够应用于医疗用途及非医疗用途中的任一用途,特别适于被检者而非医疗工作者使自身的肌肉状态可视化并进行日常确认的用途。
[符号的说明]
1:超声波拍摄系统
2:探头
3:超声波拍摄装置
9:被检体
31:显示器
32:输入装置
33:辅助存储装置
34:通信接口部
35:信号处理部
36:显示接口部
41:第一片段图像
42:第二片段图像
43:中间合成图像
45:第一中间合成图像
46:第二中间合成图像
351:超声波接收部
352:第一片段图像生成部
353:第二片段图像生成部
354:剖面图像合成部

Claims (9)

1.一种超声波拍摄装置,包括:
超声波接收部,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;
第一片段图像生成部,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;
第二片段图像生成部,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及
剖面图像合成部,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
2.根据权利要求1所述的超声波拍摄装置,其中,所述剖面图像合成部
针对所述探头的每一倾斜角,将所述第二片段图像的与所述第一片段图像对应的区域置换为所述第一片段图像,生成多个中间合成图像,
基于所述探头的所述倾斜角,对针对所述探头的每一所述倾斜角而生成的多个所述中间合成图像进行合成,生成所述被检体的所述剖面的合成图像。
3.根据权利要求2所述的超声波拍摄装置,其中,所述剖面图像合成部
在针对所述探头的每一倾斜角将所述第二片段图像的与所述第一片段图像对应的区域置换为所述第一片段图像而生成多个中间合成图像时,通过基于以距所述被检体的所述表面的深度为基础的加权、与以所述探头的所述倾斜角为基础的加权中的至少一者的加权合成,对所述第一片段图像与所述第二片段图像进行合成,并针对所述探头的每一倾斜角生成所述多个所述中间合成图像。
4.根据权利要求2或3所述的超声波拍摄装置,其中,所述剖面图像合成部
在基于所述探头的倾斜角对针对所述探头的每一所述倾斜角将所述第二片段图像的与所述第一片段图像对应的区域置换为所述第一片段图像而生成的多个中间合成图像进行合成时,通过基于以距所述被检体的所述表面的深度为基础的加权、与以所述探头的倾斜角为基础的加权中的至少一者的加权合成,对所述多个中间合成图像进行合成,生成所述被检体的所述剖面的合成图像。
5.根据权利要求1所述的超声波拍摄装置,其中,所述剖面图像合成部
基于所述探头的所述倾斜角,对针对所述探头的每一倾斜角而生成的多个所述第一片段图像进行合成,生成第一中间合成图像,
基于所述探头的所述倾斜角,对针对所述探头的每一倾斜角而生成的多个所述第二片段图像进行合成,生成第二中间合成图像,
通过基于以距所述被检体的所述表面的深度为基础的加权、与以所述探头的倾斜角为基础的加权中的至少一者的加权合成,对所述第一中间合成图像与所述第二中间合成图像进行合成,生成所述被检体的所述剖面的合成图像。
6.根据权利要求1至5中任一项所述的超声波拍摄装置,其中,所述第一扫描模式为线性扫描模式,
所述第二扫描模式为扇形扫描模式或凸面扫描模式。
7.一种超声波拍摄方法,包括:
超声波接收步骤,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;
第一片段图像生成步骤,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;
第二片段图像生成步骤,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及
剖面图像合成步骤,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
8.一种超声波拍摄系统,包括:
探头,从被检体的表面向内部发送超声波,并接收由所述被检体的内部反射的超声波;以及
根据权利要求1至6中任一项所述的超声波拍摄装置。
9.一种超声波拍摄程序,使计算机作为如下部件运行,所述部件为:
超声波接收部,利用探头接收从配置于被检体的表面的所述探头向所述被检体的内部以第一扫描模式及拍摄范围比所述第一扫描模式广的第二扫描模式两种扫描模式发送、且由所述被检体的内部反射的超声波;
第一片段图像生成部,基于所述超声波,生成通过所述第一扫描模式局部拍摄所述被检体的内部而得的第一片段图像;
第二片段图像生成部,基于所述超声波,生成通过所述第二扫描模式局部拍摄所述被检体的内部而得的第二片段图像;以及
剖面图像合成部,对所述第一片段图像及所述第二片段图像不均匀地进行合成而生成所述被检体的剖面的合成图像。
CN202280025873.0A 2021-05-11 2022-03-03 超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序 Pending CN117119968A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021080323 2021-05-11
JP2021-080323 2021-05-11
PCT/JP2022/009077 WO2022239400A1 (ja) 2021-05-11 2022-03-03 超音波撮像装置、超音波撮像方法、超音波撮像システムおよび超音波撮像プログラム

Publications (1)

Publication Number Publication Date
CN117119968A true CN117119968A (zh) 2023-11-24

Family

ID=84029161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280025873.0A Pending CN117119968A (zh) 2021-05-11 2022-03-03 超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序

Country Status (4)

Country Link
EP (1) EP4338684A1 (zh)
JP (1) JPWO2022239400A1 (zh)
CN (1) CN117119968A (zh)
WO (1) WO2022239400A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11147534B2 (en) 2015-07-13 2021-10-19 Furuno Electric Co., Ltd. Probe adapter, ultrasonic imaging apparatus, ultrasonic imaging method and ultrasonic imaging program
CN110114001B (zh) * 2017-01-18 2022-06-14 古野电气株式会社 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序
JP7179860B2 (ja) * 2018-08-22 2022-11-29 古野電気株式会社 超音波解析装置、超音波解析方法および超音波解析プログラム

Also Published As

Publication number Publication date
WO2022239400A1 (ja) 2022-11-17
JPWO2022239400A1 (zh) 2022-11-17
EP4338684A1 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
JP5113387B2 (ja) 超音波診断装置及び超音波画像表示方法
JP6594245B2 (ja) 硬さ導出装置、医用撮影システム、硬さ導出方法、及び硬さ導出プログラム
JP4989262B2 (ja) 医用画像診断装置
US7949160B2 (en) Imaging apparatus and imaging method
JP5087341B2 (ja) 超音波診断装置
WO2007114375A1 (ja) 超音波診断装置及び超音波診断装置制御方法
US20180263596A1 (en) Probe adapter, ultrasonic imaging apparatus, ultrasonic imaging method and ultrasonic imaging program
JP6415937B2 (ja) 医用画像処理装置、超音波診断装置、医用画像処理方法および医用画像処理プログラム
JP5128140B2 (ja) 医用画像診断装置
US20230355212A1 (en) Ultrasound diagnosis apparatus and medical image processing method
WO2020150086A1 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3d ultrasound imaging
CN110881997A (zh) 超声波诊断装置以及体数据取入方法
JPH11151240A (ja) 投影画像表示方法、投影画像生成方法および装置並びに医用画像装置
CN117119968A (zh) 超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序
JP5535596B2 (ja) 超音波診断装置
JP5202916B2 (ja) 超音波画像診断装置およびその制御プログラム
CN109069117B (zh) 超声波诊断装置
JP4290805B2 (ja) 超音波診断装置
JP4901273B2 (ja) 超音波診断装置およびその画像処理プログラム
KR102035991B1 (ko) 대상체의 영상을 형성하는 방법 및 초음파 시스템
US11948324B2 (en) Ultrasound imaging device, ultrasound imaging system, ultrasound imaging method, and ultrasound imaging program
JP7373045B2 (ja) 超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラム
WO2023089845A1 (ja) 超音波撮像装置、超音波撮像システム、超音波撮像方法および超音波撮像プログラム
JP7008590B2 (ja) 超音波画像処理装置
WO2022064851A1 (ja) 超音波システムおよび超音波システムの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination