CN105828725A - 超声波诊断装置 - Google Patents

超声波诊断装置 Download PDF

Info

Publication number
CN105828725A
CN105828725A CN201480064372.9A CN201480064372A CN105828725A CN 105828725 A CN105828725 A CN 105828725A CN 201480064372 A CN201480064372 A CN 201480064372A CN 105828725 A CN105828725 A CN 105828725A
Authority
CN
China
Prior art keywords
image
composition
resolution
border
generating unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480064372.9A
Other languages
English (en)
Inventor
前田俊德
村下贤
松下典义
永濑优子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105828725A publication Critical patent/CN105828725A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

图像处理部(20)通过针对基于接收信号得到的超声波图像的分辨率变换处理，生成分辨率相互不同的多个分辨率图像。并且，图像处理部(20)通过针对将多个分辨率图像相互比较得到的差分图像的非线性处理，生成与图像内包含的边界有关的边界成分。然后，通过基于生成的边界成分对超声波图像实施强调处理来生成边界强调图像。

Description

超声波诊断装置
技术领域
本发明涉及一种超声波诊断装置，特别是涉及超声波图像的图像处理。
背景技术
已知有在通过发送接收超声波得到的超声波图像中，例如强调组织等的边界的技术(参照专利文献1、2)。
作为目前已知的边界强调的代表性的具体例子，例举了色调曲线变更和非锐化掩模法等。然而，在这些技术中，除了希望强调的边界以外，还存在不希望进行强调的部位例如噪声等也被强调的情况。另外，因为还强调已经具有足够的对比度的部位，所以存在对比度过剩地增加的情况。
另外，在专利文献3中记载了通过针对图像的多重分辨率分解来改善超声波图像的画质的方法。
现有技术文献
专利文献
专利文献1：专利第3816151号公报
专利文献2：特开2012-95806号公报
专利文献3：专利第4789854号公报
发明内容
发明所要解决的课题
鉴于上述的背景技术，本申请的发明人对在超声波图像内强调边界的技术重复进行了研究开发。特别关注应用了多重分辨率分解的图像处理。
本发明是在该研究开发的过程中作出的，其目的在于提供一种利用多重分辨率分解来强调超声波图像内的边界的技术。
解决课题的手段
适于上述目的的超声波诊断装置具有：探针，其发送接收超声波；发送接收部，其通过控制探针得到超声波的接收信号；分辨率处理部，其通过针对基于接收信号得到的超声波图像的分辨率变换处理，生成分辨率相互不同的多个分辨率图像；边界成分生成部，其通过针对将多个分辨率图像相互比较而得到的差分图像的非线性处理，生成与图像内包含的边界有关的边界成分，基于生成的边界成分对超声波图像执行强调处理，由此生成边界强调图像。
在优选的具体例中，特征在于，所述边界成分生成部执行差分图像的像素值为正时和为负时相互不同特性的非线性处理。
在优选的具体例中，特征在于，所述边界成分生成部执行抑制差分图像的像素值的绝对值大的像素值来进行输出的非线性处理。
在优选的具体例中，特征在于，所述边界成分生成部针对执行了非线性处理的差分图像，执行与得到该差分图像时进行比较的分辨率图像的像素值对应的加权处理，由此生成所述边界成分。
在优选的具体例中，特征在于，所述分辨率处理部形成使分辨率阶段性不同的多个分辨率图像，所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来得到一个边界成分，由此生成与多个阶段对应的多个边界成分，还具有：相加成分生产部，其基于与多个阶段对应的多个边界成分来生成图像的相加成分；相加处理部，其对超声波图像相加生成的相加成分来生成边界强调图像。
在优选的具体例中，特征在于，所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来生成一个差分图像，针对与多个阶段对应的多个差分图像执行与各阶段对应的非线性处理从而生成多个边界成分。
发明效果
本发明提供一种利用多重分辨率分解来强调超声波图像内的边界的技术。例如，通过本发明的恰当的方式，能够不损害超声波图像原有的信息地提高组织边界的可视性。
附图说明
图1表示适合于实施本发明的超声波诊断装置的全体结构。
图2表示多重分辨率分解的具体例。
图3表示针对分辨率图像的上采样处理的具体例。
图4用于说明差分图像。
图5表示与心肌部分相关的差分图像的具体例。
图6用于说明相加成分的生成处理。
图7表示与心肌相关的边界强调图像的具体例。
图8表示图像处理部的内部结构。
图9表示相加成分生成部的内部结构。
图10表示采样方向DS部的内部结构。
图11表示DS部的内部结构。
图12表示采样方向US部的内部结构。
图13表示US部的内部结构。
图14表示相加成分计算部的内部结构。
图15表示多重分辨率分解部的内部结构。
图16表示边界成分计算部的内部结构。
图17表示非线性处理的基本函数的具体例。
图18表示在变更了最大值的大小时的具体例。
图19表示在变更了增益的大小时的具体例。
图20表示在为正时和在为负时不同特性的非线性处理。
图21表示对每一层变更了参数的具体例。
图22表示参照了Gn成分的加权处理的具体例。
图23表示参照了Gn成分的加权处理的具体例。
图24表示边界成分总计部的内部结构。
具体实施方式
图1表示适合于实施本发明的超声波诊断装置的全体结构。探针10是针对例如包含心脏等诊断对象的区域发送接收超声波的超声波探头。探针10具备分别发送接收超声波的多个振动元件，多个振动元件由发送接收部12进行发送控制从而形成发送波束。另外，多个振动元件从包含诊断对象的区域内接收超声波，并将由此得到的信号输出到发送接收部12，发送接收部12形成接收波束从而沿着接收波束收集回波数据。探针10在二维平面内进行超声波波束(发送波束和接收波束)扫描。当然，也可以利用在三维空间内进行超声波波束立体扫描的三维探针。
在包含诊断对象的区域内进行超声波波束扫描，当通过发送接收部12收集了沿着超声波波束的回波数据即线数据时，图像处理部20基于收集到的线数据形成超声波的图像数据。图像处理部20例如形成B模式图像的图像数据。
在形成超声波图像(图像数据)时，图像处理部20对超声波图像内的心脏等组织的边界进行强调。为了强调边界，图像处理部20具备多重分辨率分解、边界成分生成、非线性处理、加权处理、边界强调处理的各功能。图像处理部20通过针对基于接收信号得到的超声波图像的分辨率变换处理，生成分辨率相互不同的多个分辨率图像。并且，图像处理部20通过针对将多个分辨率图像相互比较而得到的差分图像的非线性处理，生成与图像内包含的边界相关的边界成分。通过基于生成的边界成分对超声波图像实施强调处理来生成边界强调图像。然后，在图像处理部20中，例如形成连续多帧映出作为诊断对象的心脏的多个图像数据并输出到显示处理部30。
可以在对从发送接收部12得到的信号实施检波、对数变换等处理后，在图像处理部20中执行图像处理，之后在数字扫描变换器中执行坐标变换处理。当然，也可以在对从发送接收部12得到的信号在图像处理部20中进行边界的强调处理后，实施检波、对数变换等处理，还可以在数字扫描变换器中执行了坐标变换处理后，在图像处理部20中执行图像处理。
显示处理部30针对从图像处理部20得到图像数据，例如实施从超声波的扫描坐标系变换为图像的显示坐标系的坐标变换处理，并且，根据需要加入图形图像等来形成包含超声波图像的显示图像。在显示部40中显示在显示处理部30中形成的显示图像。
在图1所示的结构(各功能块)中的发送接收部12和图像处理部20以及显示处理部30分别例如能够利用处理器和电子电路等硬件来实现，在现实中根据需要也可以利用存储器等设备。显示部40的合适的具体例为液晶显示器等。
另外，图1所示的探针10以外的结构，例如也能够通过计算机来实现。即，通过计算机具备的CPU、存储器、硬盘等硬件以及规定CPU等的动作的软件(程序)之间的协作，可以实现图1的探针10以外的结构(例如可以仅有图像处理部20)。
图1的超声波诊断装置的全体结构如上所述。接着，对图1的超声波诊断装置(本超声波诊断装置)实现的功能等进行详细描述。在以下的说明中，对图1所示的结构(部分)使用图1的符号。首先，利用图2至图7对在本超声波诊断装置(特别是图像处理部20)中执行的处理的原理进行说明。本超声波诊断装置的图像处理部20利用对超声波图像进行多重分辨率分解而得到的多个分辨率图像来强调超声波图像内的边界。
图2表示多重分辨率分解的具体例，在图2中图示了包含心肌的超声波图像。在图2中图示了分辨率变换前的超声波图像(原图像)G0、从超声波图像G0通过一次下采样处理得到的低分辨率图像G1、从低分辨率图像G1通过一次下采样处理得到的低分辨率图像G2、从低分辨率图像G2通过一次下采样处理得到的低分辨率图像G3。
图像处理部20比较与相互不同的分辨率相对应的多个分辨率图像，例如将图2所示的图像G0～G3进行比较。在该比较之前，为了具备图像尺寸执行上采样处理。
图3表示针对分辨率图像的上采样处理的具体例。在图3中图示了从分辨率图像Gn+1(n为0以上的整数)通过一次上采样处理得到的分辨率图像Ex(Gn+1)。分辨率图像Ex(Gn+1)是与分辨率图像Gn+1相同的分辨率，并且为与下采样处理前的分辨率图像Gn相同的图像尺寸。图像处理部20基于与相互不同的分辨率对应的多个分辨率图像，例如基于分辨率图像Gn和分辨率图像Ex(Gn+1)生成差分图像。
图4用于说明差分图像。图像处理部20从分辨率图像Gn减去分辨率图像Ex(Gn+1)来形成差分图像。即，将两个图像之间相互对应的像素(相互相同的坐标的像素)的亮度值的差作为该像素的像素值(差分的亮度值)的图像为差分图像。
在超声波图像内在心脏的心肌部分反映了心肌组织(构造物)的性状，例如组织表面或组织内微小的凹凸。因此，例如在将心肌表面或心肌内的像素作为关注像素时，在分辨率比较高的分辨率图像Gn中，在关注像素与其周围像素之间呈现比较大的亮度差。特别是在心肌边界亮度的变化激烈。
与此相对，由于低分辨率化(下采样处理)，分辨率图像Ex(Gn+1)是比超声波图像Gn钝的(模糊的)图像，因此与超声波图像Gn相比关注像素与其周围像素之间的亮度差变小。
因此，超声波图像Gn中的关注像素与周围像素的亮度差越大，特别在心肌的边界，分辨率图像Ex(Gn+1)中的关注像素相对于超声波图像Gn变更越大，结果，差分图像中的像素值(亮度差)变大。
图5表示与心肌部分相关的差分图像的具体例，在图5中图示了心肌部分的分辨率图像Gn(n为0以上的整数)和分辨率图像Ex(Gn+1)、这两个图像的差分图像Ln的具体例。图像处理部20从多个分辨率图像形成多个差分图像，并基于多个差分图像来生成用于强调超声波图像内的边界的相加成分。
图6用于说明相加成分的生成处理。图像处理部20基于多个差分图像Ln(n为0以上的整数)，例如基于图6所示的差分图像L0～L3来生成相加成分。基于分辨率图像Gn与分辨率图像Ex(Gn+1)的差分来得到差分图像Ln(参照图5)。
在生成相加成分时，图像处理部20对于构成各差分图像Ln的像素实施非线性处理。另外，图像处理部20对于非线性处理后的构成各差分图像Ln的像素实施参照了分辨率图像Gn的像素的加权处理。关于针对差分图像Ln的非线性处理和加权处理在后面进一步详细描述。
然后，图像处理部20对于实施了非线性处理和加权处理后的多个差分图像Ln阶段性地实施上采样(US)处理，同时逐次进行相加。在该计算时也可以进行相加的加权(×Wn)。如此，图像处理部20基于多个差分图像Ln生成相加成分。
图7表示与心肌部分相关的边界强调图像的具体例。图像处理部20通过将分辨率变换前的原图像G0(图2)与相加成分(图6)进行相加，即，通过针对各个像素中的每个像素将原图像的像素值与相加成分进行相加，形成强调了心肌边界的边界强调图像。
在本超声波诊断装置(特别是图像处理部20)中执行的处理的概要如上那样。其次，对实现上述处理的图像处理部20的具体结构进行说明。
图8表示图像处理部20的内部结构。图像处理部20具备图示的结构，根据输入的诊断图像输入计算边界强调图像Enh，将两者中的由用户在装置上选择的图像作为输出进行输出。把向图像处理部20输入的诊断图像输入分别输入到相加成分生成部31、加权相加部12-1、选择部13-1。
在相加成分生成部31，经由后述那样的处理来计算相加成分边缘。将计算出的相加成分边缘与诊断图像输入一起输入到加权相加部12-1。
在加权相加部12-1中将诊断图像输入和相加成分边缘进行加权相加，生成边界强调图像Enh。优选使用参数Worg通过下式计算加权相加，但是并不限于此。将计算出的边界强调图像Enh与诊断图像输入一起输入到选择部13-1。
(数1)
Enh＝Worg·输入+边缘
在选择部13-1输入诊断图像输入和边界强调图像Enh，并进行选择已便将用户在装置上选择的图像作为输出图像输出进行输出。把选择的图像作为输出输出到显示处理部30。
图9表示相加成分生成部31(图8)的内部结构。相加成分生成部31具备图示的结构。把输入到相加成分生成部31的诊断图像输入输入到采样方向DS(下采样)部41，通过后述的方法在采样方向(例如超声波波束的深度方向)上接受下采样处理。把实施了下采样处理的数据输入到选择部13-2以及噪声消除滤波部51。
在噪声消除滤波部51中，通过实施例如被称为GuidedFilter(引导滤波)的边缘保持滤波来一边保存边界信息一边消除噪声。由此，能够抑制在经由后述那样的处理计算的相加成分边缘中带入的噪声信息。此外，边缘保持滤波不限于上述具体例，例如也可以使用以高斯滤波等为代表的非边缘保持滤波。
把通过噪声消除滤波部51计算出的数据与通过采样方向DS部41计算出的数据一起输入到选择部13-2，并向相加成分计算部101输入用户在装置上选择的数据。
在相加成分计算部101中，经由后述那样的处理计算边界图像，并输出到采样方向US(上采样)部61。在采样方向US部61中，边界图像通过后述那样的方法在采样方向上接受上采样处理，计算与向相加成分生成部31输入的诊断图像输入具有相同尺寸的相加成分边缘。把计算出的相加成分边缘输入到加权相加部12-1(图8)。
图10表示采样方向DS部41(图9)的内部结构。采样方向DS(下采样)部41如图示那样由多个DS(下采样)部4101构成。在本实施例中为了将说明具体化，表示了以下的例子：采样方向DS部41由两个DS部4101-s1、4101-s2构成，在采样方向上对诊断图像输入进行两次下采样来生成尺寸调整图像G0。但是不需要限定为上述具体例，另外，也可以不在采样方向上进行下采样。
图11表示DS部4101(图10)的内部结构。DS(下采样)部4101具备图示的结构，输入的In成分通过LPF部14-1实施低通滤波(LPF)，并通过抽取部41011接受间除数据的抽取处理，生成采样密度和分辨率减少的In+1成分。如果仅在一维方向上进行该处理，则DS部4101实施一维方向的下采样处理，如果在多维方向上进行上述处理则能够执行多维方向的下采样处理。
图12表示采样方向US部61(图9)的内部结构。采样方向US(上采样)部61如图示那样由多个US(上采样)部6101构成。在本实施例中为了将说明具体化，表示了以下的例子：采样方向US部61由两个US部6101-s1、6101-s2构成，在采样方向上对边界图像L0”进行两次上采样来生成相加成分边缘。但是不需要限定为上述具体例，也可以输出具有与输入到相加成分生成部31(图9)的诊断图像输入相同的采样密度、分辨率的相加成分边缘。
图13表示US部6101(图12)的内部结构。US(上采样)部6101具备图示的结构，输入的In+1成分通过零插入部61011接受以跳过一个数据的间隔插入零的零插入处理，并通过LPF部14-2来实施低通滤波(LPF)，由此，计算出采样密度增加的Ex(In+1)成分。如果仅在一维方向上进行该处理，则US部1601实施一维方向的上采样处理，如果在多维方向上进行上述处理则能够执行多维方向的上采样处理。
图14表示相加成分计算部101(图9)的内部结构。相加成分计算部101具备图示的结构。将输入到相加成分计算部101的G0成分输入到多重分辨率分解部111，经由后述的处理接受多重分辨率分解。通过多重分辨率分解部111生成的Gn成分成为采样密度、分辨率与G0成分不同的多重分辨率表现。
将通过多重分辨率分解部111计算出的Gn成分与Gn+1成分一起输入到边界成分计算部112-1、112-2、112-3，经由后述的处理来计算接受了非线性处理后的Ln’成分。将计算出的Ln’成分输入到边界成分总计部113，经由后述的处理生成边界图像Ln”成分。
在上述的具体例中，表示了进行3次多重分辨率分解，生成由Gn成分(0≦n≦3)构成的高斯金字塔，并计算Ln’成分(0≦n≦2)的例子，但是不需要限于此。
图15表示多重分辨率分解部111(图14)的内部结构。多重分辨率分解部111生成输入的诊断图像的高斯金字塔(参照图2)。具体来说，多重分辨率分解部111具有图示的结构，将输入的Gn成分输入到DS(下采样)部4101-1、4101-2、4101-3来接受下采样处理。
在上述的具体例中，设最高层为3，但是不需要限于此，可以在层0到层n(n≧1)的范围内进行多重分辨率分解。另外，在上述的具体例中，作为多重分辨率分解部的一个例子，表示了进行高斯金字塔处理的结构，但是也可以变更为使用离散小波变换、伽柏变换、频率区域中的通带滤波等进行多重分辨率分解的结构。
把在多重分辨率分解部111中得到的Gn成分与Gn+1成分一起输入到边界成分计算部112(图14)。
图16表示边界成分计算部112(图14)的内部结构。边界成分计算部112具有图示的结构，输入的Gn+1成分通过US(上采样)部6101接受上采样处理来计算Ex(Gn+1)成分，并与Gn成分一起输入到减法器15。减法器15从Gn成分减去Ex(Gn+1)成分来计算高频成分的Ln成分。
如果是通常的高斯/拉普拉斯金字塔，虽然将Ln成分作为高频成分进行输出，但是在将该成分作为输出来计算相加成分时，相加成分边缘成为包含过剩的加减计算的成分。因此，在本实施方式中，通过非线性变换部121对Ln成分实施非线性处理来计算Ln’成分。
图17至图21表示非线性处理的具体例。非线性变换部121(图16)例如利用图17至图21所示的以S型函数为代表的，在零交叉点附近具有线性，越从零交叉点离开越呈现非线性的函数。由此，非线性变换部121在充分留有位于作为输入的Ln成分的零交叉点的边界成分的同时，抑制过剩的加减计算，从而得到作为输出的Ln’成分。
此外，图17表示非线性处理的基本函数的具体例，图18表示对于图17的基本函数变更了与最大值的大小相关的参数时的具体例，图19表示对于图17的基本函数变更了与增益的大小相关的参数时的具体例。
特别是在本实施方式中，Ln成分具有正值和负值，但是这里所说的负值是诊断图像向损害原本具有的信息的方向起作用。因此，为了以诊断图像原本具有的信息为基础提供良好的诊断图像，例如如图20所示那样，优选分别对正值和负值通过不同的参数进行调整。即，在作为输入的Ln成分的像素值为正时和为负时实施互相不同特性的非线性处理，特别是与为正时相比，优选在为负时实施抑制效果大的非线性处理。
另外，在边界成分计算部112(图14)的非线性变换部121(图16)的非线性处理中，如图21所示那样，优选针对作为高频成分的Ln成分的每一层n变更参数。例如在希望更加强调高频成分时，可以将边界成分计算部112-1的零交叉点附近的增益或最大值设定为大于边界成分计算部112-2、112-3的零交叉点附近的增益或最大值。另一方面，在希望更加强调低频成分时，可以将边界成分计算部112-3的零交叉点附近的增益或最大值设定为大于边界成分计算部112-2、112-1的零交叉点附近的增益或最大值。
此外，在上述具体例中，优选在非线性变换部121中实施非线性处理，但是不需要限定于此，也可以设置几个阈值，实施在每个阈值间决定的线性变换。
如以上所述，通过针对Ln成分的非线性处理，能够在充分留有位于零交叉点旁边的边界成分的同时抑制过剩的加减计算。在本实施方式中，为了进一步抑制过剩的加减计算，对加入了上述非线性处理的成分乘以参照Gn成分决定的权重并进行调整，上述过剩的加减计算是对已经具有足够的对比度的部位，例如对高亮度部等也不少地执行加减计算而产生的例如后壁炫目等的原因。
图22、图23表示参照了Gn成分的加权处理的具体例。例如使用图22、图23所示的那样的高斯型函数，在Gn成分的像素为边缘附近的亮度时使加权为1，对后壁那样高亮部位、或者心腔那样的低亮部位通过使加权接近0，由此能够抑制向高亮度部以及噪声部的加减计算。
此外，图22表示在扩大和缩小了与边缘附近的范围(允许范围)有关的参数时的具体例，图23表示在提高和降低了与判定为边缘的亮度(中心亮度)有关的参数的具体例。
另外，在上述的具体例中，参照Gn成分的亮度值来决定向Ln成分的加权，但是不需要限定于此，例如可以如下那样参照与亮度值不同的特征来决定权重：参照边界强度，使边缘强度强的部位的加权为1，使边缘强度弱的部位为0。
图24表示边界成分总计部113(图14)的内部结构。边界成分总计部113具有图示的结构，根据从边界成分计算部112-1、112-2、112-3(图14)得到的L0’成分、L1’成分、L2’成分来生成边界图像L0”。除了L0’成分、L1’成分、L2’成分以外可以使用更多的层。
输入的L2’成分通过US(上采样)部6101-2-1进行上采样，作为Ex(L2’)成分被输入到加权相加部12-2以及US(上采样)部6101-2-2。
加权相加部12-2对L1’成分和Ex(L2’)成分进行加权相加，生成L1”成分。关于加权相加部12-2中的加权相加，优选使用参数W2如下式那样进行计算，但是并不限于下式。
(数2)
L″１＝L′1+W2·Ex(L′2)
通过加权相加部12-2计算出的成分通过US(上采样)部6101-1进行上采样，作为Ex(L1”)成分被输入到加权相加部12-3。
另外，输入到US部6101-2-2的Ex(L2’)成分再次实施上采样处理，从而成为具有与L0’成分相同图像尺寸的Ex(Ex(L2’))成分，并被输入到高频控制部131。
在高频控制部131中，实施从包含较多噪声的L0’成分在残留边界成分的同时减少噪声成分的处理。具体来说，计算在Ex(Ex(L2’))成分的值大时，推定为靠近边界的成分来使权重接近1，在Ex(Ex(L2’))成分的值小时，推测为从大结构的边界离开的位置的信息从而使权重接近0那样的加权。然后，通过对L0’成分乘以计算出的加权的值，抑制L0’成分中包含的噪声成分。将抑制了噪声成分的L0’成分输入到加权相加部12-3。
在上述的具体中，说明了参照Ex(Ex(L2’))成分来抑制L0’成分的噪声的处理，但是不需要限定于此，例如，也可以参照与关注的Ln’成分相比具有更低分辨率的成分来实施噪声抑制处理。
加权相加部12-3对通过高频控制部131接受了噪声抑制处理的L0’成分和从US部6101-1得到的Ex(L1”)成分进行加权相加来生成边界图像L0”。关于加权相加部12-3中的加权相加，优选使用参数W0、W1如下式那样进行计算，但是并不限定于下式。
(数3)
L″0＝W0·L′0+W1·Ex(L″1)
在加权相加部12-3中计算出的成分通过采样方向US(上采样)部61(图9)进行上采样，并作为相加成分边缘被输入到加权相加部12-1(图8)。
然后，如利用图8所说明的那样，加权相加部12-1对诊断图像输入和相加成分边缘进行加权相加来生成边界强调图像Enh。将计算出的边界强调图像Enh与诊断图像输入一起输入到选择部13-1。选择部13-1进行选择，以便将用户在装置上选择的图像作为输出图像输出进行输出。将选择的图像作为输出输出到显示处理部30，并在显示部40进行显示。
例如，目前在循环器领域，特别是在心脏的超声波检查中，组织的形状、形态的评价是重点，因此，例如谋求提高心内膜面的组织边界的可视性。然而，在现有技术中当进行边界强调时，除了强调心内膜面以外，还增强了心腔内的噪声或后壁的炫目，因此成为不适合诊断的图像。
与此相对，通过上述的本实施方式的超声波诊断装置，例如使用取得的被检测物的超声波图像，从该超声波图像进行计算，通过将被控制为不产生不协调感的边界图像与该超声波图像相加，能够生成无不协调感提高了组织边界的可视性的诊断图像。
以上，说明了本发明的优选实施方式，但是上述的实施方式只是所有点中简单的示例，并非限定本发明的范围。本发明在不脱离其本质的范围内包含各种变形方式。
符号的说明
10：探针；12：发送接收部；20：图像处理部；30：显示处理部；40：显示部。

Claims (13)

1.一种超声波诊断装置，其特征在于，具有：
探针，其发送接收超声波；
发送接收部，其通过控制探针得到超声波的接收信号；
分辨率处理部，其通过针对基于接收信号得到的超声波图像的分辨率变换处理，生成分辨率相互不同的多个分辨率图像；以及
边界成分生成部，其通过针对将多个分辨率图像相互比较而得到的差分图像的非线性处理，生成与图像内包含的边界有关的边界成分，
基于生成的边界成分对超声波图像执行强调处理，由此生成边界强调图像。
2.根据权利要求1所述的超声波诊断装置，其特征在于，
所述边界成分生成部执行差分图像的像素值为正时和为负时相互不同特性的非线性处理。
3.根据权利要求1所述的超声波诊断装置，其特征在于，
所述边界成分生成部执行对差分图像的像素值的绝对值大的像素值进行抑制来输出的非线性处理。
4.根据权利要求2所述的超声波诊断装置，其特征在于，
所述边界成分生成部执行对差分图像的像素值的绝对值大的像素值进行抑制来输出的非线性处理。
5.根据权利要求1所述的超声波诊断装置，其特征在于，
所述边界成分生成部针对执行了非线性处理的差分图像，执行与得到该差分图像时进行比较的分辨率图像的像素值对应的加权处理，由此生成所述边界成分。
6.根据权利要求2所述的超声波诊断装置，其特征在于，
所述边界成分生成部针对执行了非线性处理的差分图像，执行与得到该差分图像时进行比较的分辨率图像的像素值对应的加权处理，由此生成所述边界成分。
7.根据权利要求3所述的超声波诊断装置，其特征在于，
所述边界成分生成部针对执行了非线性处理的差分图像，执行与得到该差分图像时进行比较的分辨率图像的像素值对应的加权处理，由此生成所述边界成分。
8.根据权利要求1所述的超声波诊断装置，其特征在于，
所述分辨率处理部形成使分辨率阶段性不同的多个分辨率图像，
所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来得到一个边界成分，由此生成与多个阶段对应的多个边界成分，并且基于生成的多个边界成分对超声波图像施加强调处理由此生成边界强调图像。
9.根据权利要求8所述的超声波诊断装置，其特征在于，
所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来生成一个差分图像，针对与多个阶段对应的多个差分图像执行与各阶段对应的非线性处理从而生成多个边界成分。
10.根据权利要求9所述的超声波诊断装置，其特征在于，
所述边界成分生成部执行各差分图像的像素值为正时和为负时相互不同特性的非线性处理。
11.根据权利要求9所述的超声波诊断装置，其特征在于，
所述边界成分生成部执行对各差分图像的像素值的绝对值大的像素值进行抑制来输出的非线性处理。
12.根据权利要求1所述的超声波诊断装置，其特征在于，
所述分辨率处理部形成使分辨率阶段性不同的多个分辨率图像，
所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来得到一个边界成分，由此生成与多个阶段对应的多个边界成分，
所述超声波诊断装置还具有：
相加成分生成部，其基于与多个阶段相对应的多个边界成分来生成图像的相加成分；以及
相加处理部，其将生成的相加成分与超声波图像相加来生成边界强调图像。
13.根据权利要求12所述的超声波诊断装置，其特征在于，
所述边界成分生成部根据使分辨率相差一阶段的两个分辨率图像来生成一个差分图像，针对与多个阶段对应的多个差分图像执行与各阶段对应的非线性处理来生成多个边界成分。
CN201480064372.9A 2013-11-26 2014-11-13 超声波诊断装置 Pending CN105828725A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013243475A JP5918198B2 (ja) 2013-11-26 2013-11-26 超音波診断装置
JP2013-243475 2013-11-26
PCT/JP2014/080702 WO2015080006A1 (ja) 2013-11-26 2014-11-13 超音波診断装置

Publications (1)

Publication Number Publication Date
CN105828725A true CN105828725A (zh) 2016-08-03

Family

ID=53198950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480064372.9A Pending CN105828725A (zh) 2013-11-26 2014-11-13 超声波诊断装置

Country Status (4)

Country Link
US (1) US20160324505A1 (zh)
JP (1) JP5918198B2 (zh)
CN (1) CN105828725A (zh)
WO (1) WO2015080006A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI544785B (zh) * 2014-03-07 2016-08-01 聯詠科技股份有限公司 影像縮減取樣裝置與方法
JP6289439B2 (ja) * 2015-12-16 2018-03-07 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
JP7079680B2 (ja) * 2018-07-05 2022-06-02 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
JP6686122B1 (ja) * 2018-12-21 2020-04-22 株式会社モルフォ 画像処理装置、画像処理方法およびプログラム
JP7447680B2 (ja) * 2020-06-02 2024-03-12 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御プログラム、及び、超音波診断装置の制御方法
JP7449879B2 (ja) * 2021-01-18 2024-03-14 富士フイルムヘルスケア株式会社 超音波診断装置及びその制御方法
JP7526135B2 (ja) * 2021-05-31 2024-07-31 富士フイルムヘルスケア株式会社 超音波診断装置及びイメージ処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4649482A (en) * 1984-08-31 1987-03-10 Bio-Logic Systems Corp. Brain electrical activity topographical mapping
US5461655A (en) * 1992-06-19 1995-10-24 Agfa-Gevaert Method and apparatus for noise reduction
EP0971316A2 (en) * 1998-07-10 2000-01-12 General Electric Company Spatially-selective edge enhancement for discrete pixel images
WO2007059602A1 (en) * 2005-11-23 2007-05-31 Cedara Software Corp. Method and system for enhancing digital images
CN101879073A (zh) * 2009-05-08 2010-11-10 株式会社东芝 超声波诊断装置
CN102203826A (zh) * 2008-12-25 2011-09-28 梅迪奇视觉成像解决方案有限公司 医学图像的降噪

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3816151B2 (ja) * 1995-09-29 2006-08-30 富士写真フイルム株式会社 画像処理方法および装置
JP4014671B2 (ja) * 1995-09-29 2007-11-28 富士フイルム株式会社 多重解像度変換方法および装置
JP4316106B2 (ja) * 1999-09-27 2009-08-19 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4632685B2 (ja) * 2004-04-12 2011-02-16 株式会社東芝 超音波診断装置及び画像データ処理装置
JP2006263180A (ja) * 2005-03-24 2006-10-05 Fuji Photo Film Co Ltd 画像処理装置およびこれを用いた放射線撮影システム
JP5269517B2 (ja) * 2008-08-14 2013-08-21 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US9307958B2 (en) * 2010-08-05 2016-04-12 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus
JP5773781B2 (ja) * 2011-06-30 2015-09-02 株式会社東芝 超音波診断装置、画像処理装置及びプログラム
JP5984260B2 (ja) * 2011-09-20 2016-09-06 東芝メディカルシステムズ株式会社 画像処理装置及び医用画像診断装置
IN2014DN05834A (zh) * 2012-03-27 2015-05-15 Hitachi Medical Corp

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4649482A (en) * 1984-08-31 1987-03-10 Bio-Logic Systems Corp. Brain electrical activity topographical mapping
US5461655A (en) * 1992-06-19 1995-10-24 Agfa-Gevaert Method and apparatus for noise reduction
EP0971316A2 (en) * 1998-07-10 2000-01-12 General Electric Company Spatially-selective edge enhancement for discrete pixel images
WO2007059602A1 (en) * 2005-11-23 2007-05-31 Cedara Software Corp. Method and system for enhancing digital images
CN102203826A (zh) * 2008-12-25 2011-09-28 梅迪奇视觉成像解决方案有限公司 医学图像的降噪
CN101879073A (zh) * 2009-05-08 2010-11-10 株式会社东芝 超声波诊断装置

Also Published As

Publication number Publication date
US20160324505A1 (en) 2016-11-10
JP2015100539A (ja) 2015-06-04
JP5918198B2 (ja) 2016-05-18
WO2015080006A1 (ja) 2015-06-04

Similar Documents

Publication Publication Date Title
CN105828725A (zh) 超声波诊断装置
Mateo et al. Finding out general tendencies in speckle noise reduction in ultrasound images
JP5331797B2 (ja) 医用診断装置および医用診断装置の画質改善方法
JP4757307B2 (ja) 超音波画像処理装置
US7404797B2 (en) Ultrasonic imaging system and ultrasonic signal processing method
US20070083114A1 (en) Systems and methods for image resolution enhancement
US20130165788A1 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
US20120108973A1 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
JP5832737B2 (ja) 超音波診断装置及び超音波画像処理装置
US20140219050A1 (en) Imaging apparatus, ultrasonic imaging apparatus, method of processing an image, and method of processing an ultrasonic image
JP5918200B2 (ja) 超音波診断装置
CN108013903A (zh) 超声波诊断装置以及图像形成方法
Yang et al. Speckle reduction and structure enhancement by multichannel median boosted anisotropic diffusion
DE112016006202T5 (de) Automatische Time-Gain-Compensation (TGC) in der Ultraschall-Bildgebung
Degirmenci et al. High dynamic range ultrasound imaging
CN106102590A (zh) 超声波诊断装置
Saiyod et al. A novel technique of liver ultrasound image enhancement by modified Fourier transform for bile duct cancer surveillance
Sawan et al. Novel filter designing for enhancement of medical images using Super-resolution
JP6045866B2 (ja) 超音波画像処理装置
Ghosh et al. Filtering super-resolution scan conversion of medical ultrasound frames
JP5134757B2 (ja) 画像処理装置、画像処理方法、及び超音波診断装置
CN116523810B (zh) 一种超声图像处理方法、装置、设备及介质
Ilango et al. New hybrid filtering techniques for removal of speckle noise from ultrasound medical images
Haseena et al. A view on ultrasonogram denoising techniques
Svirina et al. Filtration Technique of Ultrasonic Images in Quasi-two-dimensional Finite Basis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication