CN110139608A - 用于增强型器械可视化的超声系统 - Google Patents

用于增强型器械可视化的超声系统 Download PDF

Info

Publication number
CN110139608A
CN110139608A CN201780069570.8A CN201780069570A CN110139608A CN 110139608 A CN110139608 A CN 110139608A CN 201780069570 A CN201780069570 A CN 201780069570A CN 110139608 A CN110139608 A CN 110139608A
Authority
CN
China
Prior art keywords
needle
processor
angle
transmission
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780069570.8A
Other languages
English (en)
Other versions
CN110139608B (zh
Inventor
凯雷姆·卡拉达伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Film Sono Sound Co Ltd
Original Assignee
Fuji Film Sono Sound Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Film Sono Sound Co Ltd filed Critical Fuji Film Sono Sound Co Ltd
Publication of CN110139608A publication Critical patent/CN110139608A/zh
Application granted granted Critical
Publication of CN110139608B publication Critical patent/CN110139608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52036Details of receivers using analysis of echo signal for target characterisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • A61B8/145Echo-tomography characterised by scanning multiple planes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085Details related to the ultrasound signal acquisition, e.g. scan sequences
    • G01S7/52095Details related to the ultrasound signal acquisition, e.g. scan sequences using multiline receive beamforming

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Physiology (AREA)

Abstract

本发明涉及一种超声成像系统,该超声成像系统包括处理器,该处理器被编程为形成解剖图像和在不同的传输波束角度的多个针帧。该系统分析针帧中的数据并选择其中被识别为可能代表介入器械的段。一个或多个针帧的数据与组织的解剖图像的数据混合,以形成组织和介入器械的合成图像。

Description

用于增强型器械可视化的超声系统
相关申请的交叉引用
本申请要求2016年11月9日提交的申请号为15/347,697的美国专利申请的权益和优先权,该申请通过引用整体并入本文。
技术领域
公开技术涉及一种超声成像系统,尤其涉及一种用于对体内介入器械进行成像的超声成像系统。
背景技术
超声成像越来越被接受作为将介入器械引导到体内所需位置时使用的护理标准。该程序的一个常见用途是在麻醉过程中,医生或医疗技术人员观察超声图像来帮助将针引导至所需的神经或感兴趣的区域。为了提高医师观察针的能力,许多超声系统结合了由组织的解剖图像和针的图像形成合成图像的所谓的“针可视化”技术。
与大多数针可视化技术相关的常见问题之一是用于对针成像的超声系统的波束方向必须由用户预先设定。为了获得最佳图像,传输波束方向应与针或其他介入器械几乎垂直。如果针在组织的合成图像中不清晰,则用户应改变机器上的设置以改变波束方向。当操作者一只手握住超声探头而另一只手引导针时,这对于无辅助操作者来说通常太麻烦。即使操作员有助手,指示助手改变波束方向设置也常常会使人分心,其中波束方向设置可能根据探头如何被握持以及器械如何进入体内而需要经常进行调整。因此,在用于使针或其他介入器械可视化的传输波束方向未设置在最佳方向上的情况下要执行许多程序。
附图说明
图1是根据公开技术的一个实施例的用于生成和显示组织和介入器械的合成图像的超声成像系统的简化示图;
图2是根据公开技术的实施例的超声成像系统的框图;以及
图3A至图3C示出了通过将图像数据与来自分别在小传输角度、中等传输角度和大传输角度的单个针帧传输的代表介入器械的回波数据结合而获得的代表性复合帧;
图3D示出了根据公开技术的实施例的通过将图3A至图3C中所示的一个或多个针帧的回波数据与解剖图像的回波数据混合创建的代表性合成图像;以及
图4示出了根据公开技术的实施例的多个针帧,其中帧频、线密度或多线处理中的一个或多个可针对由几乎不垂直于介入器械的定向的传输波束角度获得的帧进行调整。
具体实施方式
如下面将进一步详细解释的,公开技术涉及超声成像系统的改进,尤其涉及一种配置成生成组织和插入该组织的器械的合成图像的超声成像系统。在下面的描述中,介入器械被描述为用于将麻醉剂或其他药物输送到所需位置的针。然而,诸如活检针、用于缝合组织的针、用于抽取流体的针(例如羊膜穿刺术)、机器人手术器械、导管、导线或其他侵入性医疗器械的其它装置也可以进行成像。
在一个实施例中,超声系统中的处理器被配置为可产生多个传输波束并将其传送到身体,以产生被检查组织的解剖图像。另外,处理器被配置为使得以不同的传输波束角度生成若干传输波束,以便对介入器械进行成像。为了将解剖图像与介入器械的图像区分开,即使器械不是针,介入器械的帧也可称为“针帧”。
分析由在不同的传输角度的传输产生的每个针帧,以检测介入器械的存在。在一个实施例中,利用解剖图像和使用不同的传输波束方向捕获的一个或多个针帧的回波数据来创建合成图像,以便示出组织以及介入器械的位置。
图1示出了实施用于对患者的组织成像的公开技术的代表性超声成像系统。在一个实施例中,超声成像系统10可以是手持式、便携式或基于推车的系统,该系统使用换能器探头12将超声信号传输到感兴趣区域中并接收相应的回波信号以产生被扫描的组织的图像。探头12可以是一维或二维线性或弯曲换能器或相控阵换能器,所有这些换能器都可以选择性地电子地改变传输波束角度。
超声成像系统10将接收的回波信号的特性(例如,它们的幅度、相位、功率、频移等)转换为被量化并作为图像显示给用户的数据。创建的图像也可以电子方式存储以保持数字记录,或者通过有线或无线通信链路传输到另一装置或位置。在一些实施例中,操作者一只手将介入器械15引导到患者(或受试者)20中,同时另一只手握住探头12。操作者观察组织的合成图像22和介入器械位于组织中的位置的表示24。当器械被引导到目标位置时,屏幕上更新合成图像22。这样的位置可以是麻醉领域中的特定神经部位或诸如血管或特定器官(例如子宫、前列腺、肿瘤、心脏血管等)其他感兴趣的区域。
如本领域技术人员将理解的,用于对细长介入器械成像的最佳波束方向是在大致垂直于器械长度的角度。然而,对器械成像所需的成像参数和波束方向通常与对组织成像所需的最佳的成像参数和波束方向不同。在公开技术的一个实施例中,用户不需要选择特定的波束角度来用于形成针帧。相反,处理器被编程为使用多个不同的传输波束角度形成针帧。分析从这些不同的传输波束角度产生的针帧的回波数据,以检测可能是介入器械的物体的存在。使用不同的传输波束方向获得的一个或多个针帧的回波数据和可能代表介入器械的回波数据从针帧被复制并与解剖图像的回波数据混合,以产生显示组织和介入器械的位置两者的合成图像。
图2示出了根据公开技术的实施例的超声成像系统的简化框图。如本领域技术人员将理解的,超声系统可以是由与所示部件不同的部件构成。另外,超声系统包括未讨论的部件(例如电源等)和对于理解如何制造和使用公开技术不是必需的部件。在所示的实施例中,超声系统包括处理器40,处理器40具有包含可由处理器执行以操作超声成像系统的指令的内置或外部存储器(未示出),如下将详细解释的。在传输路径中,超声系统包括传输波束成形器42、传输增益控制放大器44和传输/接收开关46。如果超声探头12是相控阵型或者可以其他方式电子地改变传输角度,则传输波束成形器42操作以产生具有相对幅度和相位(定时)的多个信号,这些信号被选择以从探头的一些或所有换能器元件中产生超声波束,探头的这些换能器元件建设性地添加在所需的传输波束方向(所需的传输波束角度)上。来自传输波束成形器的信号被传输放大器44放大到足够高的电压电平,这将使换能器元件在被检查的组织中产生所需的声信号。在一些实施例中,处理器40被连接以向增益控制放大器提供诸如数字值(例如0至255)的控制命令。该命令的值控制由传输放大器44提供的增益量。
用于调整超声信号的功率的其他技术包括改变驱动换能器元件的波形以增加或减小超声信号的功率。在另一实施例中,可以改变产生驱动信号的放大器的电压轨(+V,-V),以便改变超声信号的功率。在又一实施例中,驱动信号可以提供到较少或较大数量的换能器元件,以改变超声信号的功率。本领域技术人员将理解的是,这些技术仅仅是示例性的,并且存在多种方式可以调整传送到患者的超声信号的声功率水平。
放大的传输信号通过传输/接收开关46提供到换能器探头12,传输/接收开关46在传输信号传送到换能器探头12时将高灵敏度接收电子器件与传输信号断开或屏蔽。在信号被传输之后,传输/接收开关46将接收电子器件连接到换能器元件,以在返回的声波撞击换能器元件时检测产生的相应电子回波信号。
在接收路径中,超声成像系统包括低噪声放大器50、时间增益控制(TGC)放大器52、模数转换器54、接收波束成形器56和图像处理器58。由成像探头产生的模拟回波信号通过传输/接收开关46被引导到低噪声放大器,在低噪声放大器中被放大。TGC放大器52对接收的信号进行可变放大,接收的信号随着信号的返回时间改变施加的放大电平(例如,与被成像的组织中的深度成比例),以抵消信号对于深度的衰减。然后,放大的信号由模数转换器54转换成数字格式。然后,数字化的回波信号在被提供到图像处理器之前被接收波束成形器56延迟并累加。
在一些实施例中,传输的波束和接收的波束(线)的数量可以彼此不同。例如,接收波束成形器可以每个传输的波束并行地(即,同时地)产生两个或更多个相邻线,这种技术有时被称为并行接收波束成形或多线处理。可以使用多线处理通过降低传输的波束的数量来增大成像帧频,同时仍然能够保持每帧的接收线数(线密度)恒定。可选地,可以使用更高的多线顺序(从单个传输的波束并行波束成形的接收线的数量)来增加每帧的接收线的数量,同时保持传输的波束的数量恒定,从而保持帧频恒定。线密度、帧频和多线顺序的其他组合也是可能的。此外,甚至可以从该单个传输的波束传输未聚焦的波束(平面波)并波束形成帧的所有接收线。该系统还可以采用线密度和多线顺序的不同组合来对组织进行成像并对介入器械进行成像。然而,本领域技术人员将理解的是,使用更高的多线顺序、更低的线密度或未聚焦的传输波束在提高帧频的同时可降低获取的图像的质量。
由图像处理器58从接收的信号产生的图像显示在显示器60上。另外,图像可记录在图像存储器(未示出)中以供将来调用和查看。设置多个输入端72以允许操作者改变超声成像系统的各个操作参数并输入诸如患者姓名或其他记录保持数据等数据。此外,超声成像系统包括输入/输出(I/O)电路,以允许系统通过有线(例如,以太网、USB、Thunderbolt、Firewire等)或无线(802.11、蜂窝、卫星、蓝牙等)通信链路连接到计算机通信链路(LAN、WAN、Internet等)。
包括超声成像系统的组件及其操作方式的细节通常被认为是本领域普通技术人员所熟知的。虽然示出的超声成像系统具有许多单独的组件,但是应当理解的是,诸如ASIC、FPGA、数字信号处理器(DSP)、CPU或GPU的装置可以用于执行这些单独组件中的多个组件的功能。
如上所述,处理器40被编程为生成被检查组织和介入组织中的介入器械的合成图像。在一个实施例中,图像处理器利用针对被扫描组织的深度和特定类型选择的成像参数产生被检查组织的解剖图像。由图像处理器58创建的解剖图像存储在存储器中,以与为定位介入器械而创建的一个或多个针帧的回波数据结合。
在一个实施例中,处理器使传输电子器件在多个不同的传输方向上产生传输波束以对介入器械成像。例如,处理器40可以引导传输波束以相对于换能器探头的纵向轴线测量的小角度、中等角度和大角度而产生。在大多数情况下,器械的位置将在一个或多个针帧中比在其他针帧中更清楚地显示。
在一个实施例中,针对介入器械的存在,分析从不同的传输角度的传输产生的每个针帧的回波数据。可以使用多种器械检测算法。例如,可以分析图像中是否存在比相邻像素更亮(例如,更大幅度)的线性像素段,从而指示存在强线性反射器。可代表介入器械的段的长度可以变化,并且在一些实施例中,如果介入器械本身是弯曲的或者在插入器械时弯曲,则可以是弯曲的。可选地,如果使用弯曲的换能器几何形状(例如,凸状)获取图像,则在执行检测的坐标系中这些段看起来像是弯曲的。
在一个实施例中,对亮像素的每个段进行评分以指示该段代表介入器械的可能性。这样的分数可以通过以下方式来调整:例如超过一定阈值的亮像素的长度、像素段的直线或线性程度、亮像素和相邻像素之间存在多少对比度、由梯度或其他边缘检测操作确定的亮像素段周围的边缘有多强等。霍夫变换或其他类似技术可用于确定位于线性或参数化曲线段上的像素的位置,也可从中确定分数。
在一个实施例中,通过观察沿着波束线的相邻亮度值之间的差,将图像的亮度数据值转换成对应的梯度值。作为介入器械的针或其他亮反射器,其特征通常是亮度值中的较大正梯度(例如从暗到亮),当从换能器的方向和进入组织的方向观察时,紧接着的是亮度值的较大负梯度(例如从亮到暗)。梯度值可以被过滤以确保正梯度值和负梯度值的大的变化发生在介入器械预期的距离内。接下来,霍夫变换可以用来确定在相邻波束线中的线性图案中是否发生大的正/负梯度变化。梯度变化较大的段的分数可以根据梯度变化的一个或多个长度、正梯度变化与负梯度变化的接近程度、梯度变化如何在空间上从波束到波束对齐等来增大或减小。
在一个实施例中,回波数据的段是根据梯度的大小以及梯度在相邻波束线中的对齐程度来进行评分。那些梯度较大且较整齐的段比那些梯度较小且较不整齐段的分数更高。器械的表示可以包括单个长段或多个较短段,并且并非所有分数最高的段都可来自相同的针帧。
在一个实施例中,具有最高分数段的那些图像中的可能代表介入器械的回波数据是从两个或更多个针帧中复制,并与解剖图像的回波数据混合。在另一实施例中,回波数据是从单个针帧中复制并与解剖图像的回波数据混合。
还可以使用用于检测超声图像中针或其他介入器械的存在的其他针可视化技术。
在一个实施例中,处理器被编程为识别来自一个或多个针帧的像素数据的段,该针帧由在多个传输角度下拍摄的传输产生,这些段具有指示像素可能代表介入器械的分数。处理器复制代表器械的像素数据,并利用混合功能将复制的像素数据与解剖图像中的像素数据相结合。
图3A至图3C示出了通过将图像数据与来自分别在小传输角度、中等传输角度和大传输角度的单个针帧传输的代表介入器械的回波数据结合而获得的代表性复合帧。在所示的复合帧中,可以看出,一些针帧对介入器械的不同部分的显示要比其它针帧的好。在一个实施例中,处理器复制使用多个发射角获得的、具有代表介入器械的最高分数的各个段的像素数据,并将复制的段像素数据混合到解剖图像中。
图3D示出了组织的代表性合成图像,该图像通过混合从在不同的发射角度获得的、具有指示数据可能代表介入器械的分数的一个或多个针帧中复制的像素数据而创建。在一些实施例中,数据与羽化功能混合,使得在合成图像中清晰看到代表介入器械的复制数据,而器械周围区域的复制数据与解剖图像的数据轻微混合,使得可以看到器械周围的组织。
图4示出了针插入其中的代表性的感兴趣区域。在所示的示例中,利用线性换能器获得解剖图像100。在不同的波束转向角度110、112和114处获得多个针帧。介入器械120插入图像中。在所示的实施例中,器械的插入角度与垂直于波束角度110和112的角度之间的差大致相等。因此,代表在由波束转向角度110和112中的发射产生的针帧中的器械的段的分数应该大致相等。因此,这些针帧中的每一个的像素数据可被复制并混合到解剖图像100中。例如,如果器械120的插入角度在更接近垂直于转向角度114的线的方向上,那么响应于在角度114处的传输而创建的来自针帧的像素数据将被复制并与解剖图像的数据混合。
在图4所示的示例中,波束转向角度110、112被确定为最接近于垂直于介入器械的插入角度,或者基于从这些传输角度接收的回波数据得到的段的分数而被识别为产生器械的最佳图像。在一个实施例中,角度110和112中的一个或多个处传输的帧频可被增大,因为它们代表高优先级角度,而由波束转向方向114产生的针帧的帧频、线密度或多线处理可进行调整,因为该传输角度不是高优先级角度,如下进一步解释的。
在一些实施例中,分析用于显示超声图像的像素数据以检测介入器械的存在。然而,应当理解的是,可以分析尚未转换成准备显示的像素数据的回波数据。例如,可以分析已被放大的、转换为数字和波束成形但尚未扫描转换的回波数据,以检测和评分代表介入器械的数据中的段。
如本领域技术人员将理解的,以不同的传输角度创建多个针帧可以降低超声成像系统的帧频。在一个实施例中,处理器为针帧的子集(例如,高质量针帧)选择比针帧的其余部分(低质量针帧)较高的线密度和/或较低的多线设置,其中高质量针帧基于由器械检测算法利用高分数(即,存在介入器械的高概率)检测到的结构的取向自适应地选择。如果检测算法在多个针帧中发现具有高分数的类似取向的结构,则可以选择具有将使介入器械与探针的取向成接近垂直的角度的成像转向角的针帧作为高质量的针帧采集,并且其他针帧可以继续作为低质量的针帧而被获得。这种自适应挑选的高质量针帧确保了“最可能”介入器械的高质量可视化,而其余的低质量针帧将确保不会错过其他取向的器械,并且如果介入器械相对于超声波扫描头的角度在手术期间发生变化,则操作员无需手动选择高质量针帧。
系统还可以基于检测分数自适应地改变针帧的数量和采集率以及采用的角度。例如,如果在具有一定角度设置的针帧内识别出检测分数较高的特征,则系统可以将该角度指定为“高优先级角度”并且在该角度设置处或接近该角度设置时增加针帧的采集率,而在远离高优先级角度的角度处或对于不包含高分段特征的针帧,则降低针帧的采集率。在一个实施例中,系统继续获取和分析针帧,该针帧作为“侦察”针帧具有远离高优先级角度设置的角度,使得如果在任意时间用那些侦察针帧检测到具有较高检测分数的特征,系统可以动态地重新评估和改变“高优先级角度”。然而,侦察针帧的角度可以选择在它们之间具有更大的角度扩展和/或更低的采集率,以使对帧频的总体影响最小化。
本说明书中描述的主题和操作可以在数字电子电路中实施,或者在包括本说明书中公开的结构及其结构等同物的计算机软件、固件或硬件中实施或者它们中的一个或多个的组合中实施。本说明书中描述的主题的实施例可以实施为一个或多个计算机程序,即计算机程序指令的一个或多个模块,编码在计算机存储介质上,用于由数据处理设备执行或控制数据处理设备的操作。
计算机存储介质可以是或可以包括在计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置、或者它们中的一个或多个的组合中。此外,虽然计算机存储介质不是传播信号,但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质还可以是或可以包括在一个或多个单独的物理组件或介质(例如,多个CD、磁盘或其他存储装置)中。
术语“处理器”包括用于处理数据的所有类型的设备、装置和机器,包括例如可编程处理器、计算机、片上系统、或前述的多个或组合。该设备可以包括专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外,该设备还可以包括为所讨论的计算机程序创建执行环境的代码,例如构成处理器固件的代码、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中一个或多个的组合。设备和执行环境可以实现各种不同的计算模型基础结构,例如web服务、分布式计算和网格计算基础结构。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任意形式的编程语言编写,包括编译或解释语言、声明或程序语言,并且其可以任意形式部署,包括作为独立程序或作为模块、组件、子程序、对象或适用于计算环境的其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路执行,并且设备也可以实施为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
作为示例,适合于执行计算机程序的处理器包括通用微处理器和专用微处理器。适用于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和包括比如半导体存储器装置的存储器装置,例如EPROM、EEPROM和闪速存储器装置;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
综上所述,本文已经出于说明的目的描述了本发明的特定实施例,但是在不脱离本发明的范围的情况下可以进行各种修改。因此,除了所附权利要求之外,本发明不受限制。

Claims (16)

1.一种超声成像系统,包括:
图像处理器,被配置为:
从接收的超声信号中获取被检查组织的解剖图像的回波数据;并且
获取由不同的传输波束方向获得的所述被检查组织的两个或多个针帧的回波数据;
处理器,被配置为:
分析由所述不同的传输波束方向获得的所述两个或更多个针帧的所述回波数据,以对回波数据的段进行评分,所述评分指示所述段代表介入器械的可能性;并且
从由不同的传输波束方向获得的所述两个或更多个针帧中的至少一个中选择可能代表所述介入器械的段的回波数据,以与所述解剖图像的回波数据混合,以便基于所述段的所述评分创建所述组织和所述介入器械的合成图像。
2.根据权利要求1所述的超声成像系统,其中所述处理器被配置为识别所述针帧中可能代表介入器械的回波数据的段,并确定用于获取所述针帧的所述回波数据的所述传输波束的角度是否几乎垂直于所述介入器械的取向。
3.根据权利要求2所述的超声成像系统,其中所述处理器被配置为增大帧频,在所述帧频下以几乎垂直于所述介入器械的取向的传输波束角度获得针帧。
4.根据权利要求2所述的超声成像系统,其中所述处理器被配置为降低所述帧频,在所述帧频下以几乎不垂直于所述介入器械的取向的传输波束角度获得针帧。
5.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;
增大在识别的传输角度处获得的针帧的帧频。
6.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;并且
增大在所述识别的传输角度处获得的针帧的线密度。
7.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;并且
减少为每个传输波束并行成形的接收线的数量,以产生在所述识别的传输角度处获得的针帧。
8.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;并且
降低在不是所述识别的传输角度的角度处获得的针帧的帧频。
9.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;并且
减小在不是所述识别的传输角度的角度处获得的针帧的线密度。
10.根据权利要求1所述的超声成像系统,其中所述处理器被配置为:
识别具有代表介入器械的最高分数的段的针帧的传输角度;并且
增加为每个传输波束并行成形的接收线的数量,以产生不是在所述识别的传输角度处获得的针帧。
11.一种超声成像系统,包括:
图像处理器,被配置为:
由接收的超声信号产生被检查组织的解剖图像;并且
产生由不同的传输波束方向获得的所述被检查组织的两个或多个针帧;
处理器,被配置为:
分析由所述不同的传输波束方向创建的所述两个或更多个针帧的回波数据,以将分数分配给可能代表介入器械的回波数据的段;并且
从由不同的传输波束方向创建的至少一个所述针帧中复制回波数据,以基于所述两个或更多个针帧中的段的分数与所述解剖图像的所述回波数据混合。
12.一种超声成像系统,包括:
图像处理器,被配置为:
由接收的超声信号产生被检查组织的解剖图像;并且
产生由不同的传输波束方向获得的所述被检查组织的两个或多个针帧;
处理器,被配置为:
分析由所述不同的传输波束方向创建的所述两个或更多个针帧的数据,以将分数分配给可能代表介入器械的像素的段;并且
从由不同的传输波束方向创建的至少一个所述针帧中复制像素,以基于段的分数与解剖图像的所述像素混合。
13.根据权利要求12所述的超声系统,其中所述处理器被配置为识别具有最高分数的段的所述针帧的高优先级波束转向方向,并且其中所述处理器被配置为调整由不在所述高优先级波束转向方向的传输获得的额外针帧的帧频。
14.根据权利要求12所述的超声系统,其中所述处理器被配置为识别具有最高分数的所述段的针帧的高优先级波束转向方向,并且其中所述处理器被配置为调整在不在所述高优先级波束转向方向的传输角度处获得的额外针帧的线密度。
15.根据权利要求12所述的超声系统,其中所述处理器被配置为识别具有最高分数的所述段的针帧的高优先级波束转向方向,并且其中所述处理器被配置为调整从不在所述高优先级波束转向方向的传输角度处并行成形的接收线的数量。
16.一种超声成像系统,包括:
图像处理器,被配置为:
由接收的超声信号产生被检查组织的解剖图像;并且
接收由不同的传输波束方向获得的所述被检查组织的两个或多个针帧的回波数据;
处理器,被配置为:
分析响应于在所述不同的传输波束方向上的所述传输而创建的所述针帧的所述回波数据,以将分数分配给可能代表介入器械的数据的段;并且
选择所述针帧中的一个或多个,从所述针帧中的一个或多个中复制回波数据,以基于所述段的分数将所述回波数据与所述解剖图像的回波数据混合。
CN201780069570.8A 2016-11-09 2017-10-30 用于增强型器械可视化的超声系统 Active CN110139608B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/347,697 2016-11-09
US15/347,697 US10932749B2 (en) 2016-11-09 2016-11-09 Ultrasound system for enhanced instrument visualization
PCT/US2017/059123 WO2018089218A1 (en) 2016-11-09 2017-10-30 Ultrasound system for enhanced instrument visualization

Publications (2)

Publication Number Publication Date
CN110139608A true CN110139608A (zh) 2019-08-16
CN110139608B CN110139608B (zh) 2022-11-08

Family

ID=62065210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069570.8A Active CN110139608B (zh) 2016-11-09 2017-10-30 用于增强型器械可视化的超声系统

Country Status (6)

Country Link
US (3) US10932749B2 (zh)
EP (3) EP4306058A3 (zh)
JP (1) JP7013477B2 (zh)
KR (1) KR102434685B1 (zh)
CN (1) CN110139608B (zh)
WO (1) WO2018089218A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6685413B2 (ja) * 2016-09-21 2020-04-22 富士フイルム株式会社 光音響計測装置
US10932749B2 (en) * 2016-11-09 2021-03-02 Fujifilm Sonosite, Inc. Ultrasound system for enhanced instrument visualization
JP7081163B2 (ja) * 2018-01-16 2022-06-07 コニカミノルタ株式会社 超音波診断装置
WO2022128759A2 (en) * 2020-12-18 2022-06-23 Koninklijke Philips N.V. Ultrasound imaging with anatomy-based acoustic settings

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5908390A (en) * 1994-05-10 1999-06-01 Fujitsu Limited Ultrasonic diagnostic apparatus
US5967985A (en) * 1997-07-15 1999-10-19 Fujitsu Limited Ultrasonic diagnostic apparatus
JP2009160239A (ja) * 2008-01-08 2009-07-23 Ge Medical Systems Global Technology Co Llc 超音波診断装置
CN101744639A (zh) * 2008-12-19 2010-06-23 Ge医疗系统环球技术有限公司 超声成像方法及设备
US20110144495A1 (en) * 2009-12-14 2011-06-16 Siemens Medical Solutions Usa, Inc. Perfusion Imaging of a Volume in Medical Diagnostic Ultrasound
CN102727250A (zh) * 2011-04-01 2012-10-17 株式会社东芝 超声波诊断装置以及控制方法
CN103237499A (zh) * 2010-04-07 2013-08-07 富士胶片索诺声公司 增强图像里成像对象的系统和方法
CN103732152A (zh) * 2012-06-25 2014-04-16 株式会社东芝 超声波诊断装置及图像处理方法
CN103908300A (zh) * 2013-01-03 2014-07-09 西门子公司 诊断超声成像中的针增强
JP2015008777A (ja) * 2013-06-27 2015-01-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
CN104777485A (zh) * 2015-04-20 2015-07-15 西安交通大学 超声二维面阵的三维宽波束小区域快速空化成像方法
US20150342561A1 (en) * 2014-05-30 2015-12-03 Konica Minolta, Inc. Ultrasound diagnosis apparatus
CN105496515A (zh) * 2015-12-04 2016-04-20 深圳华声医疗技术有限公司 穿刺增强方法及系统
CN105518482A (zh) * 2013-08-19 2016-04-20 优胜医疗有限公司 超声成像仪器可视化

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7270634B2 (en) 2003-03-27 2007-09-18 Koninklijke Philips Electronics N.V. Guidance of invasive medical devices by high resolution three dimensional ultrasonic imaging
JP2006521146A (ja) 2003-03-27 2006-09-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 広いビューの三次元超音波イメージングにより侵襲的医療装置を案内する方法及び装置
JP5380121B2 (ja) 2008-06-09 2014-01-08 株式会社東芝 超音波診断装置
US9401047B2 (en) 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
CN102525547A (zh) 2010-12-27 2012-07-04 通用电气公司 用于增强超声成像中针可视化的方法与装置
JP6121666B2 (ja) * 2011-08-25 2017-04-26 ゼネラル・エレクトリック・カンパニイ 医用超音波イメージングにおける針の視覚化を向上させる装置の作動方法、装置及びシステム
BR112014032134B1 (pt) 2012-06-28 2022-01-04 Koninklijke Philips N.V. Sistema de obtenção de imagem ultrassônica que orienta visualmente a inserção de uma pluralidade de dispositivos invasivos
JP6257997B2 (ja) * 2012-10-23 2018-01-10 東芝メディカルシステムズ株式会社 超音波診断装置及び超音波診断装置制御方法
JP2014132949A (ja) 2013-01-09 2014-07-24 Toshiba Corp 超音波診断装置
CA2899359C (en) 2013-03-15 2017-01-17 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
JP6165542B2 (ja) * 2013-07-30 2017-07-19 富士フイルム株式会社 超音波診断装置、超音波診断装置の作動方法、及び超音波診断プログラム
EP3082615B1 (en) 2013-12-20 2019-11-27 Koninklijke Philips N.V. Automatic ultrasound beam steering and needle artifact suppression
WO2015136534A1 (en) 2014-03-13 2015-09-17 Imagegalil Innovation (2013) Ltd. Strong echoes in ultrasound images
US11020143B2 (en) * 2015-07-20 2021-06-01 Edan Instruments, Inc. Adaptive steering adjustment for needle visualization
US10932749B2 (en) * 2016-11-09 2021-03-02 Fujifilm Sonosite, Inc. Ultrasound system for enhanced instrument visualization

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5908390A (en) * 1994-05-10 1999-06-01 Fujitsu Limited Ultrasonic diagnostic apparatus
US5967985A (en) * 1997-07-15 1999-10-19 Fujitsu Limited Ultrasonic diagnostic apparatus
JP2009160239A (ja) * 2008-01-08 2009-07-23 Ge Medical Systems Global Technology Co Llc 超音波診断装置
CN101744639A (zh) * 2008-12-19 2010-06-23 Ge医疗系统环球技术有限公司 超声成像方法及设备
US20110144495A1 (en) * 2009-12-14 2011-06-16 Siemens Medical Solutions Usa, Inc. Perfusion Imaging of a Volume in Medical Diagnostic Ultrasound
CN103237499A (zh) * 2010-04-07 2013-08-07 富士胶片索诺声公司 增强图像里成像对象的系统和方法
CN102727250A (zh) * 2011-04-01 2012-10-17 株式会社东芝 超声波诊断装置以及控制方法
CN103732152A (zh) * 2012-06-25 2014-04-16 株式会社东芝 超声波诊断装置及图像处理方法
US20150094569A1 (en) * 2012-06-25 2015-04-02 Kabushiki Kaisha Toshiba Ultrasonic diagnosis apparatus and image processing method
CN103908300A (zh) * 2013-01-03 2014-07-09 西门子公司 诊断超声成像中的针增强
JP2015008777A (ja) * 2013-06-27 2015-01-19 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
CN105518482A (zh) * 2013-08-19 2016-04-20 优胜医疗有限公司 超声成像仪器可视化
US20150342561A1 (en) * 2014-05-30 2015-12-03 Konica Minolta, Inc. Ultrasound diagnosis apparatus
CN104777485A (zh) * 2015-04-20 2015-07-15 西安交通大学 超声二维面阵的三维宽波束小区域快速空化成像方法
CN105496515A (zh) * 2015-12-04 2016-04-20 深圳华声医疗技术有限公司 穿刺增强方法及系统

Also Published As

Publication number Publication date
EP4275614A2 (en) 2023-11-15
EP3537981B1 (en) 2023-12-06
EP4306058A3 (en) 2024-04-10
US20210219948A1 (en) 2021-07-22
EP3537981A4 (en) 2020-07-01
KR102434685B1 (ko) 2022-08-19
WO2018089218A1 (en) 2018-05-17
US10932749B2 (en) 2021-03-02
CN110139608B (zh) 2022-11-08
US11707251B2 (en) 2023-07-25
JP2020500084A (ja) 2020-01-09
US20210145403A1 (en) 2021-05-20
EP4275614A3 (en) 2024-02-14
US11707252B2 (en) 2023-07-25
US20180125448A1 (en) 2018-05-10
EP3537981A1 (en) 2019-09-18
KR20190086459A (ko) 2019-07-22
JP7013477B2 (ja) 2022-01-31
EP4306058A2 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US11766235B2 (en) Intelligent ultrasound-based fertility monitoring
US11992369B2 (en) Intelligent ultrasound system for detecting image artefacts
CN110139608A (zh) 用于增强型器械可视化的超声系统
CN110192893B (zh) 量化超声成像的感兴趣区域放置
JP2016514564A (ja) 3d超音波撮像システム
CN111683600B (zh) 用于根据超声图像获得解剖测量的设备和方法
US20240197286A1 (en) Automated Needle Entry Detection
CN109715071B (zh) 用于检测介入工具的装置和方法
KR20190080858A (ko) 이미지 선택기를 갖는 초음파 이미징 기구
CN108013899A (zh) 用于医学成像系统的方法和系统
US8696577B2 (en) Tongue imaging in medical diagnostic ultrasound
WO2018195824A1 (zh) 超声成像设备、超声图像增强方法及引导穿刺显示方法
JP6173686B2 (ja) 超音波診断装置
JP2010148828A (ja) 超音波診断装置及び超音波診断装置の制御プログラム
US8663110B2 (en) Providing an optimal ultrasound image for interventional treatment in a medical system
JP2020039646A (ja) 超音波診断装置及びボリュームデータ取込方法
US11607191B2 (en) Ultrasound diagnosis apparatus and method of acquiring shear wave elasticity data with respect to object cross-section in 3D
RU2782874C2 (ru) Интеллектуальная ультразвуковая система для обнаружения артефактов изображений
US20240000430A1 (en) Processing ultrasound scan data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant