JP2014233608A - 画像処理装置及び医用画像診断装置 - Google Patents

画像処理装置及び医用画像診断装置 Download PDF

Info

Publication number
JP2014233608A
JP2014233608A JP2013119276A JP2013119276A JP2014233608A JP 2014233608 A JP2014233608 A JP 2014233608A JP 2013119276 A JP2013119276 A JP 2013119276A JP 2013119276 A JP2013119276 A JP 2013119276A JP 2014233608 A JP2014233608 A JP 2014233608A
Authority
JP
Japan
Prior art keywords
frequency
image
image data
frequency image
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013119276A
Other languages
English (en)
Inventor
道隆 本田
Michitaka Honda
道隆 本田
白石 邦夫
Kunio Shiraishi
邦夫 白石
坂口 卓弥
Takuya Sakaguchi
卓弥 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Institute of National Colleges of Technologies Japan
Original Assignee
Institute of National Colleges of Technologies Japan
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of National Colleges of Technologies Japan, Toshiba Medical Systems Corp filed Critical Institute of National Colleges of Technologies Japan
Priority to JP2013119276A priority Critical patent/JP2014233608A/ja
Priority to PCT/JP2014/064999 priority patent/WO2014196608A1/ja
Publication of JP2014233608A publication Critical patent/JP2014233608A/ja
Priority to US14/959,449 priority patent/US10007976B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)

Abstract

【課題】線状信号を含んだ画像の視認性を向上させることを可能にする画像処理装置及び医用画像診断装置を提供すること。【解決手段】実施形態の画像処理装置は、第1の周波数画像生成部と、第2の周波数画像生成部と、信号検出部と、表示画像生成部とを備える。第1の周波数画像生成部は、画像データにおける所定のコントラスト成分及び第1の周波数成分を含む第1の周波数画像データを生成する。第2の周波数画像生成部は、画像データに対して第1の周波数画像データに減算処理を実行することで、第2の周波数成分を含む第2の周波数画像データを生成する。信号検出部は、線状構造物に基づく線状信号を前記第2の周波数画像データから検出する。表示画像生成部は、信号検出部によって検出された線状信号に基づいて、表示画像を生成する。【選択図】図3

Description

本発明の実施形態は、画像処理装置及び医用画像診断装置に関する。
従来、画像に含まれる観察対象をより観察しやすくするために種々の画像処理が施されている。例えば、観察対象としての線状信号を含んだ画像において、線状信号と線状信号以外(例えば、背景など)とを分離して、線状信号を強調したり、線状信号以外を抑制したりする画像処理などが知られている。一例を挙げると、画像から低周波成分を除去することで、線状信号が分類される高周波成分を含む高周波画像を抽出し、抽出した高周波画像を用いて線状信号の検出を行い、検出した線状信号に対して強調処理などを行う画像処理方法が知られている。
上述した画像処理方法を用いることにより、例えば、X線診断装置によって撮像される透視画像において、カテーテルなどの線状構造物を正確に検出して、表示させることができる。しかしながら、上述した従来技術においては、線状信号を含んだ画像の視認性が低下する場合があった。
特開2001−111835号公報
本発明が解決しようとする課題は、線状信号を含んだ画像の視認性を向上させることを可能にする画像処理装置及び医用画像診断装置を提供することである。
一実施形態の画像処理装置は、第1の周波数画像生成手段と、第2の周波数画像生成手段と、信号検出手段と、表示画像生成手段とを備える。第1の周波数画像生成手段は、画像データにおける所定のコントラスト成分及び第1の周波数成分を含む第1の周波数画像データを生成する。第2の周波数画像生成手段は、前記画像データに対して前記第1の周波数画像データに減算処理を実行することで、第2の周波数成分を含む第2の周波数画像データを生成する。信号検出手段は、線状構造物に基づく線状信号を前記第2の周波数画像データから検出する。表示画像生成手段は、前記信号検出手段によって検出された線状信号に基づいて、表示画像を生成する。
図1は、第1の実施形態に係る画像処理システムの構成の一例を示す図である。 図2は、従来技術に係る線状信号の検出の一例を説明するための図である。 図3は、第1の実施形態に係る画像処理装置の構成の一例を示す図である。 図4は、第1の実施形態に係る第1の周波数画像生成部による処理を模式的に示す図である。 図5は、第1の実施形態に係る第1の周波数画像生成部による処理の一例を説明するための図である。 図6は、第1の実施形態に係る第2の周波数画像生成部による処理を模式的に示す図である。 図7は、第1の実施形態に係る信号検出部による線状信号の検出の一例を説明するための図である。 図8は、第1の実施形態に係る画像処理装置による線状信号の検出処理の手順を示すフローチャートである。 図9は、第1の実施形態に係る第1の周波数画像生成部による低周波画像の生成処理の手順を示すフローチャートである。 図10は、第2の実施形態に係る第1の周波数画像生成部による処理の一例を説明するための図である。 図11は、第2の実施形態に係る第1の周波数画像生成部による低周波画像の生成処理の手順を示すフローチャートである。
(第1の実施形態)
以下、本願に係る画像処理装置の詳細について説明する。なお、第1の実施形態では、本願に係る画像処理装置を含む画像処理システムを一例に挙げて説明する。図1は、第1の実施形態に係る画像処理システム1の構成の一例を示す図である。
図1に示すように、第1の実施形態に係る画像処理システム1は、画像処理装置100と、医用画像診断装置200と、画像保管装置300とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
医用画像診断装置200は、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission Computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。そして、医用画像診断装置200は、それぞれの技師の操作に応じて医用画像を収集する。
そして、医用画像診断装置200は、収集した画像データを画像処理装置100や、画像保管装置300に送信する。なお、医用画像診断装置200は、画像データを画像保管装置300に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置200を識別する装置ID、医用画像診断装置200による1回の撮影を識別するシリーズID等を送信する。
画像保管装置300は、医用画像を保管するデータベースである。具体的には、画像保管装置300は、医用画像診断装置200から送信された画像データや、各画像データの付帯情報などを記憶部に格納し、これを保管する。
画像処理装置100は、医用画像診断装置200、或いは、画像保管装置300から画像データを取得して、線状信号を含んだ画像の視認性を向上させる画像処理を実行する。ここで、従来技術において、線状信号を含んだ画像の視認性が低下する場合について、説明する。上述したように、従来技術においては、線状信号を観察しやすくするために、画像データに含まれる線状信号を検出して、検出した線状信号に対して強調処理を行ったり、線状信号以外の信号に対して抑制処理を行ったりする。このような画像処理においては、線状信号を検出する場合に、まず、前処理として、画像データから低周波成分を除去することで、線状信号を含む高周波成分を分離し、分離した高周波成分から線状信号を検出する画像処理が実行される。
ここで、画像データから低周波成分が除去された高周波画像に高コントラスト成分が含まれている場合、線状信号の検出に影響を及ぼす場合がある。図2は、従来技術に係る線状信号の検出の一例を説明するための図である。図2においては、医用画像診断装置としてのX線診断装置によって撮像されたX線画像に含まれる線状信号を検出する場合を一例に挙げて説明する。なお、以下では、信号が線状であり、かつ、信号が黒側でのみ表現される(例えば、X線画像など)ものを線状陰影と記す場合がある。
ここで、図2においては、図2の(A)がX線画像を示し、図2の(B)が図2の(A)に示すX線画像の低周波画像を示し、図2の(C)が図2の(A)に示すX線画像の高周波画像を示し、図2の(D)が図2の(C)に示す高周波画像をもとにした線状信号の検出結果を示す。例えば、図2の(A)に示すX線画像における線状信号L4を検出しようとした場合、従来技術においては、X線画像に対して平滑化処理を施すことで、図2の(B)に示す低周波画像を生成する。
そして、従来技術においては、図2の(A)に示すX線画像から図2の(B)に示す低周波画像を減算することで、図2の(C)に示す高周波画像を生成し、生成した高周波画像の線状信号L4に検出処理を施すことで、図2の(D)に示す線状信号L4を検出する。ここで、従来技術においては、例えば、図2の(A)に示される数字や点などの高コントラスト領域が、付近の線状信号に対して影響を与える。
線状信号L4を検出する場合を一例に挙げて説明する。例えば、図2の(A)に示すX線画像においては、図2の(A)の下側のグラフに示すように、線状信号L4の近傍に画素間の画素レベル(明度)が急激に変化する高コントラスト領域が存在する。なお、図2の(A)の下側のグラフは、図2の(A)のX線画像に示す四角の領域内の画素レベルのプロファイルをとったグラフである。すなわち、図2の(A)の下側のグラフは、四角内の画素(白い部分から黒い部分にかけての画素)について位置ごとの明度を示すグラフである。
このような高コントラスト領域に対して平滑化処理を行うと、図2の(B)の下側のグラフのように、高コントラスト領域がなだらかなプロファイルを示す低周波画像となる。このような低周波画像を用いて、X線画像との減算処理を行うと、図2の(C)の下側のグラフに示すように、線状信号L4近傍に高コントラスト成分が含まれる高周波画像が生成されることとなる。その結果、図2の(D)に示すように、線状信号L4は、高コントラスト領域近傍で検出されにくくなってしまい、線状信号を含む画像の視認性が低下する。
例えば、X線画像におけるガイドワイヤを強調して表示させようとした場合に、ボルトやステープルが埋め込まれた領域の近傍をガイドワイヤが走行していると、検出不能、或いは、過強調などが生じてしまう。
そこで、第1の実施形態に係る画像処理装置100は、高コントラスト成分を含む低周波画像を生成して、生成した低周波画像と画像データとを減算処理することで、高コントラスト成分を含まない高周波画像を生成して、線状信号を含む画像の視認性を向上させる。
図3は、第1の実施形態に係る画像処理装置100の構成の一例を示す図である。図3に示すように、画像処理装置100は、入力部110と、表示部120と、通信部130と、記憶部140と、制御部150とを有する。例えば、画像処理装置100は、ワークステーションや、任意のパーソナルコンピュータなどであり、医用画像診断装置200や、画像保管装置300などとネットワークを介して接続される。
入力部110は、マウス、キーボード、トラックボール等であり、画像処理装置100に対する各種操作の入力を操作者から受け付ける。具体的には、入力部110は、画像データなどを取得するための入力などを受付ける。
表示部120は、モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、表示部120は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、後述する制御部150による処理結果を表示する。通信部130は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
記憶部140は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などであり、後述する制御部150によって取得された医用画像の画像データなどを記憶する。また、記憶部140は、後述する制御部150によって用いられる種々の情報を記憶する。例えば、記憶部140は、後述する制御部150が低周波画像を生成する際に用いる閾値情報などを記憶する。なお、閾値情報については、後に詳述する。
制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、画像処理装置100の全体制御を行なう。制御部150は、図3に示すように、例えば、データ取得部151と、第1の周波数画像生成部152と、第2の周波数画像生成部153と、信号検出部154と、表示画像生成部155とを有する。
データ取得部151は、通信部130を介して、医用画像診断装置200又は画像保管装置300からデータを取得する。具体的には、データ取得部151は、入力部110を介して操作者から受付けた指示に応じて、医用画像診断装置200又は画像保管装置300から画像データなどを取得して、記憶部140に格納する。例えば、データ取得部151は、線状信号を含む医用画像の画像データなどを取得する。
第1の周波数画像生成部152は、画像データにおける所定のコントラスト成分及び第1の周波数成分を含む第1の周波数画像データを生成する。具体的には、第1の周波数画像生成部152は、第2の周波数成分よりも低い周波数の成分を第1の周波数成分とし、当該第1の周波数成分及び所定のコントラストを含む第1の周波数画像データを生成する。第1の周波数画像生成部152は、所定のコントラスト成分として、画像データにおいて近接する画素間の画素値の差が所定の閾値を超えた場合のコントラスト成分を第1の周波数画像データに含める。図4は、第1の実施形態に係る第1の周波数画像生成部152による処理を模式的に示す図である。なお、図4においては、図4の(A)が線状信号を含むX線画像を示し、図4の(B)が低周波画像を示す。
例えば、第1の周波数画像生成部152は、図4の(A)に示すX線画像に対して所定の処理を行うことで、図4の(B)に示すような高コントラスト成分を含む低周波画像を生成する。すなわち、第1の周波数画像生成部152は、図4の(B)の下側のグラフに示すように、画素間の明度が、図4の(A)に示すX線画像と同様に急激に変化する高コントラスト領域を含む低周波画像を生成する。
ここで、第1の実施形態に係る第1の周波数画像生成部152は、画像データにおける画素ごとに、画素に近接する近接画素のうち画素値がノイズの標準偏差に基づく範囲内である近接画素の画素値の平均を、画素の画素値として設定することで、第1の周波数画像データを生成する。すなわち、第1の周波数画像生成部152は、画像データの各画素について、当該画素の画素値と類似度が高い画素値を用いて平滑化することで、低周波画像を生成する。
図5は、第1の実施形態に係る第1の周波数画像生成部152による処理の一例を説明するための図である。例えば、第1の周波数画像生成部152は、図5の(A)に示すように、領域R1を平滑化させる場合に、領域R1と画素値の類似度が高い領域R2や領域R3を用い、領域R1と画素値の類似度が低い領域R4や領域R5を用いない。一例を挙げると、第1の周波数画像生成部152は、図5の(B)に示すように、平滑化の対象となる対象画素P1を平滑化させる場合に、対象画素P1の周囲の画素のうち、類似度が高い画素の画素値を用いて平滑化する。例えば、第1の周波数画像生成部152は、図5の(B)の対象画素P1を平滑化する場合に、左中段の画素及び右上段の画素以外の画素を用いて平滑化処理する。
ここで、第1の周波数画像生成部152は、所定の閾値を用いて類似度を判定する。例えば、第1の周波数画像生成部152は、対象画素について画素値の統計的なばらつき(量子モトル)に基づいて類似性を判定する。すなわち、第1の周波数画像生成部152は、図5の(C)に示すように、対象画素「P」の画素値「Y(P)」に応じたノイズの標準偏差を用いた閾値「Y’」に基づいて、類似度を判定して、使用領域を決定する。一例を挙げると、第1の周波数画像生成部152は、閾値「Y’」として「3〜6σ(=標準偏差「1σ」の3〜6倍)」を用いて類似度を判定する。かかる場合には、第1の周波数画像生成部152は、対象画像「P」の周囲の画素の画素値が「Y(P)+Y’」と「Y(P)−Y’」との間にある場合には、類似度が高いと判定する。一方、対象画像「P」の周囲の画素の画素値が「Y(P)+Y’」、又は「Y(P)−Y’」を超えた場合には、類似度が低いと判定して、当該画素の画素値を平滑化処理に用いない。
これにより、例えば、X線画像の白い画素は白い画素の画素値のみを用いて平滑化され、黒い画素は黒画素のみを用いて平滑化される。これにより、第1の周波数画像生成部152は、図4の(B)に示すように、画素間の明度が急激に変化する高コントラスト成分を含んだ低周波画像を生成することができる。なお、上述した閾値「3〜6σ」はあくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、閾値はユーザなどによって任意に設定することができる。
なお、上述した閾値「3〜6σ」などの閾値情報は記憶部140によってあらかじめ記憶される。また、画素値の基づくノイズの標準偏差の情報についても、記憶部140によってあらかじめ記憶される。
図3に戻って、第2の周波数画像生成部153は、画像データに対して第1の周波数画像データに減算処理を実行することで、第2の周波数成分を含む第2の周波数画像データを生成する。具体的には、第2の周波数画像生成部153は、画像データに対して第1の周波数画像データを減算することで、第1の周波数成分よりも高い周波数の成分を含む第2の周波数画像データを生成する。
図6は、第1の実施形態に係る第2の周波数画像生成部153による処理を模式的に示す図である。図6においては、図4の(A)に示すX線画像(図6の(A))から図4の(B)に示す低周波画像(図6の(B))を減算した高周波画像(図6の(C))について示す。例えば、第2の周波数画像生成部153は、X線画像から高コントラスト成分を含む低周波画像を減算することで、図6の(C)に示すように、高コントラスト成分を含まない高周波画像を生成する。
図3に戻って、信号検出部154は、線状構造物に基づく線状信号を第2の周波数画像データから検出する。具体的には、信号検出部154は、第2の周波数画像生成部153によって生成された高周波画像から線状信号を検出する。図7は、第1の実施形態に係る信号検出部154による線状信号の検出の一例を説明するための図である。ここで、図7においては、図7の(A)が信号検出部154による線状信号の検出手法の一例を示す。また、図7においては、図7の(B)が信号検出部154による検出の処理結果を示す図である。
例えば、信号検出部154は、図7の(A)に示すように、所定の形状(例えば、矩形など)のテンプレートを用いたテンプレートマッチングにより、線状信号を検出する。一例を挙げると、信号検出部154は、画素ごとに、図7の(A)に示すように、M0〜M15の16方向でテンプレートを回転させて、各位置のテンプレートに含まれる画素の画素値に基づいて、線状信号を検出する。すなわち、信号検出部154は、M0〜M15のそれぞれのテンプレートの位置においてテンプレート内に含まれる画素の画素値の平均値を算出して、算出した平均値に基づいて線状信号を検出する。
例えば、検出対象が黒側の信号のみの線状陰影の場合には、信号検出部154は、図7の(A)に示すように、画素値の平均が最小値MminとなるテンプレートM9を抽出する。そして、信号検出部154は、抽出したテンプレートM9の領域内のベクトルの平均を算出することで、線状陰影の方向と強さを算出する。信号検出部154は、全ての画素について、上述した処理を実行することで、図7の(B)に示すように、線状信号L4を含むすべての線状信号を検出する。なお、上述した16の回転方向はあくまでも一例であり、実施形態これに限定されるものではない。すなわち、回転方向の数がユーザによって任意に設定される。
また、上述した例では線状陰影を検出する場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、例えば、信号が白側の線状信号を検出する場合であってもよい。かかる場合には、テンプレートによる判定では、画素値の平均が最大値Mmaxとなるテンプレートが抽出される。
図3に戻って、表示画像生成部155は、信号検出部154によって検出された線状信号に基づいて、表示画像を生成する。例えば、表示画像生成部155は、信号検出部154によって検出された線状信号を強調した表示画像や、線状信号以外の信号を抑制した表示画像を生成する。
次に、第1の実施形態に係る画像処理装置100の処理の手順について、図8及び図9を用いて説明する。図8は、第1の実施形態に係る画像処理装置100による線状信号の検出処理の手順を示すフローチャートである。なお、図8においては、線状信号として線状陰影を検出する場合について示す。
図8に示すように、第1の実施形態に係る画像処理装置100においては、データ取得部151が、画像データを取得すると(ステップS101)、第1の周波数画像生成部152が、高コントラスト成分を含む低周波画像を生成する(ステップS102)。そして、第2の周波数画像生成部153が、画像データに対して低周波画像を減算することで、高コントラスト画像を含まない高周波画像を生成する(ステップS103)。
そして、高周波画像が生成されると、信号検出部154が、線状陰影を検出して(ステップS104)、表示画像生成部155が、検出された線状陰影を用いて、表示画像を生成する(ステップS105)。
図9は、第1の実施形態に係る第1の周波数画像生成部152による低周波画像の生成処理の手順を示すフローチャートである。なお、図9は、図8に示すフローチャートのステップS102の処理に相当する。図9に示すように、第1の実施形態に係る画像処理装置100においては、画像データが取得されると、第1の周波数画像生成部152が、平滑化処理の対象となる画素を決定する(ステップS201)。
そして、第1の周波数画像生成部152は、平滑化処理の対象となる画素の画素値に基づくノイズの標準偏差を設定する(ステップS202)。その後、第1の周波数画像生成部152は、対処となる画素に近接する近接画素において、画素値が標準偏差に基づく所定の範囲内にある近接画素の平均値を算出する(ステップS203)。
さらに、第1の周波数画像生成部152は、算出した平均値を、決定した画素の画素値として設定する(ステップS204)。その後、第1の周波数画像生成部152は、全ての画素について処理したか否かを判定する(ステップS205)。ここで、全ての画素について処理したと判定していない場合には(ステップS205否定)、第1の周波数画像生成部152は、ステップS201に戻って、対象となる新たな画素を決定する。一方、全ての画素について処理したと判定した場合には(ステップS205肯定)、第1の周波数画像生成部152は、処理を終了する。
上述したように、第1の実施形態によれば、第1の周波数画像生成部152は、画像データにおける所定のコントラスト成分及び第1の周波数成分を含む第1の周波数画像データを生成する。第2の周波数画像生成部153は、画像データに対して第1の周波数画像データに減算処理を実行することで、第2の周波数成分を含む第2の周波数画像データを生成する。信号検出部154は、線状構造物に基づく線状信号を前記第2の周波数画像データから検出する。表示画像生成部155は、信号検出部154によって検出された線状信号に基づいて、表示画像を生成する。従って、第1の実施形態に係る画像処理装置100は、コントラストを含まない第2の周波数画像を用いて線状信号を検出することができ、線状信号を含む画像の視認性を向上させることを可能にする。
また、第1の実施形態によれば、第1の周波数画像生成部152は、第2の周波数成分よりも低い周波数の成分を第1の周波数成分とし、当該第1の周波数成分及び所定のコントラストを含む第1の周波数画像データを生成する。第2の周波数画像生成部153は、画像データに対して第1の周波数画像データを減算することで、第1の周波数成分よりも高い周波数の成分を含む第2の周波数画像データを生成する。従って、第1の実施形態に係る画像処理装置100は、線状信号を検出することを可能にする。
また、第1の実施形態によれば、第1の周波数画像生成部152は、所定のコントラスト成分として、画像データにおいて近接する画素間の画素値の差が所定の閾値を超えた場合のコントラスト成分を第1の周波数画像データに含める。従って、第1の実施形態に係る画像処理装置100は、高コントラスト成分を含む第1の周波数画像を生成することを可能にする。
また、第1の実施形態によれば、第1の周波数画像生成部152は、画像データにおける画素ごとに、画素に近接する近接画素のうち画素値がノイズの標準偏差に基づく範囲内である近接画素の画素値の平均を、画素の画素値として設定することで、第1の周波数画像データを生成する。従って、第1の実施形態に係る画像処理装置100は、高コントラスト成分を含む低周波画像を容易に生成することを可能にする。
(第2の実施形態)
上述した第1の実施形態においては、画素値の標準偏差を用いて低周波画像を生成する場合について説明した。第2の実施形態においては、エッジ保存平滑化処理によって低周波画像を生成する場合について説明する。なお、第2の実施形態に係る画像処理装置100は、第1の実施形態に係る画像処理装置100と比較して、第1の周波数画像生成部152による処理内容が異なる。以下、これらを中心に説明する。
第2の実施形態に係る第1の周波数画像生成部152は、画像データにおける画素ごとに、エッジ保存平滑化処理を実行することで、第1の周波数画像データを生成する。図10は、第2の実施形態に係る第1の周波数画像生成部152による処理の一例を説明するための図である。
例えば、第2の実施形態に係る第1の周波数画像生成部152は、図10に示すように、平滑化処理の対象画素P1について、5×5の近接画素を対象にエッジ保存平滑化処理を行う。一例を挙げると、第1の周波数画像生成部152は、図10に示すように、5×5の近接画素から対象画素P1を含む7つの画素で構成された9つの領域について、それぞれ画素値の平均及び分散を算出する。そして、第1の周波数画像生成部152は、領域1〜領域9までの領域の中で、もっとも分散が小さい領域を抽出して、抽出した領域の平均値を対象画像P1の画素値として設定する。
第1の周波数画像生成部152は、画像データに含まれる全ての画素を対象画素として、上述した処理を順に実行する。そして、第1の周波数画像生成部152は、全ての画素に対して処理を実行して画素値を設定した画像を低周波画像として生成する。これにより、高コントラスト成分が含まれる低周波画像を生成することができる。
なお、図10に示す例は、あくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、近接画素は、5×5に限られず、例えば、3×3や、7×7であってもよい。また、画素値の平均及び分散を算出する領域は、図示のものに限定されるわけではなく、任意に変更させることも可能である。
次に、第2の実施形態に係る画像処理装置100の処理の手順について、図11を用いて説明する。図11は、第2の実施形態に係る第1の周波数画像生成部152による低周波画像の生成処理の手順を示すフローチャートである。なお、図11は、図8に示すフローチャートのステップS102の処理に相当する。図11に示すように、第2の実施形態に係る画像処理装置100においては、画像データが取得されると、第1の周波数画像生成部152が、エッジ保存平滑化処理の対象となる画素を決定する(ステップS301)。
そして、第1の周波数画像生成部152は、決定した画素を含む近傍画素を所定の小領域に分割する(ステップS302)。その後、第1の周波数画像生成部152は、分割した小領域それぞれについて、画素値の平均と分散とを算出する(ステップS303)。
さらに、第1の周波数画像生成部152は、各小領域において、最も分散が小さい小領域を抽出して、抽出した小領域の平均値を、決定した画素の画素値として設定する(ステップS304)。その後、第1の周波数画像生成部152は、全ての画素について処理したか否かを判定する(ステップS305)。ここで、全ての画素について処理したと判定していない場合には(ステップS305否定)、第1の周波数画像生成部152は、ステップS301に戻って、対象となる新たな画素を決定する。一方、全ての画素について処理したと判定した場合には(ステップS305肯定)、第1の周波数画像生成部152は、処理を終了する。
上述したように、第2の実施形態によれば、第1の周波数画像生成部152は、画像データにおける画素ごとに、エッジ保存平滑化処理を実行することで、第1の周波数画像データを生成する。従って、第2の実施形態に係る画像処理装置100は、高コントラスト成分を含む第1の周波数画像を容易に生成することを可能にする。
(第3の実施形態)
これまで第1及び第2の実施形態について説明したが、上述した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第1及び第2の実施形態では、低周波画像と高周波画像との2つの周波数の画像を対象にする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、3つ以上の周波数(例えば、高、中、低など)の画像を生成して、各画像間の減算処理が実行される場合であってもよい。
上述した第1及び第2の実施形態では、画素値に基づくノイズの標準偏差などの情報をあらかじめ記憶する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ネットワークを介して画像データの収集条件などを医用画像診断装置200から取得することにより閾値を決定して低周波画像を生成する場合であってもよい。
上述した第1及び第2の実施形態では、医用画像としてX線画像を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、CT画像や、MR画像、超音波画像などを処理対象とする場合であってもよい。
また、上述した実施形態では、画像処理装置100が、線状信号を検出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医用画像診断装置200が線状信号を検出する場合であってもよい。すなわち、例えば、上述した画像処理装置100が医用画像診断装置200に組み込まれる場合であってもよい。言い換えると、医用画像診断装置200の制御部が、上述したデータ取得部151、第1の周波数画像生成部152、第2の周波数画像生成部153、信号検出部154、及び、表示画像生成部155を備え、上述した処理を実行するようにしてもよい。
上述したように、医用画像診断装置200が線状信号を検出するようにした場合には、例えば、ガイドワイヤや、カテーテルなどの線状信号から視認性の高い画像を生成することができ、その結果、治療時間の短縮や、被爆低減につなげることができる。
以上述べた少なくともひとつの実施形態の画像処理装置によれば、線状信号を含んだ画像の視認性を向上させることを可能にする。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 画像処理装置
110 入力部
120 表示部
150 制御部
151 データ取得部
152 第1の周波数画像生成部
153 第2の周波数画像生成部
154 信号検出部
155 表示画像生成部
200 医用画像診断装置

Claims (6)

  1. 画像データにおける所定のコントラスト成分及び第1の周波数成分を含む第1の周波数画像データを生成する第1の周波数画像生成手段と、
    前記画像データに対して前記第1の周波数画像データに減算処理を実行することで、第2の周波数成分を含む第2の周波数画像データを生成する第2の周波数画像生成手段と、
    線状構造物に基づく線状信号を前記第2の周波数画像データから検出する信号検出手段と、
    前記信号検出手段によって検出された線状信号に基づいて、表示画像を生成する表示画像生成手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記第1の周波数画像生成手段は、前記第2の周波数成分よりも低い周波数の成分を前記第1の周波数成分とし、当該第1の周波数成分及び前記所定のコントラストを含む第1の周波数画像データを生成し、
    前記第2の周波数画像生成手段は、前記画像データに対して前記第1の周波数画像データを減算することで、前記第1の周波数成分よりも高い周波数の成分を含む第2の周波数画像データを生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の周波数画像生成手段は、前記所定のコントラスト成分として、前記画像データにおいて近接する画素間の画素値の差が所定の閾値を超えた場合のコントラスト成分を前記第1の周波数画像データに含めることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記第1の周波数画像生成手段は、前記画像データにおける画素ごとに、前記画素に近接する近接画素のうち画素値がノイズの標準偏差に基づく範囲内である近接画素の画素値の平均を、前記画素の画素値として設定することで、前記第1の周波数画像データを生成することを特徴とする請求項3に記載の画像処理装置。
  5. 前記第1の周波数画像生成手段は、前記画像データにおける画素ごとに、エッジ保存平滑化処理を実行することで、前記第1の周波数画像データを生成することを特徴とする請求項3に記載の画像処理装置。
  6. 請求項1〜5のいずれか1項に記載の画像処理装置を備えたことを特徴とする医用画像診断装置。
JP2013119276A 2013-06-05 2013-06-05 画像処理装置及び医用画像診断装置 Pending JP2014233608A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013119276A JP2014233608A (ja) 2013-06-05 2013-06-05 画像処理装置及び医用画像診断装置
PCT/JP2014/064999 WO2014196608A1 (ja) 2013-06-05 2014-06-05 画像処理装置、医用画像診断装置及びx線診断装置
US14/959,449 US10007976B2 (en) 2013-06-05 2015-12-04 Image processing apparatus, medical image diagnostic apparatus, and x-ray diagnostic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013119276A JP2014233608A (ja) 2013-06-05 2013-06-05 画像処理装置及び医用画像診断装置

Publications (1)

Publication Number Publication Date
JP2014233608A true JP2014233608A (ja) 2014-12-15

Family

ID=52008239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013119276A Pending JP2014233608A (ja) 2013-06-05 2013-06-05 画像処理装置及び医用画像診断装置

Country Status (3)

Country Link
US (1) US10007976B2 (ja)
JP (1) JP2014233608A (ja)
WO (1) WO2014196608A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017018339A (ja) * 2015-07-10 2017-01-26 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法
WO2018116791A1 (ja) * 2016-12-22 2018-06-28 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160166329A1 (en) * 2014-12-15 2016-06-16 General Electric Company Tomographic imaging for interventional tool guidance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182233A (ja) * 1989-12-12 1991-08-08 Toshiba Corp X線画像表示装置
JP2001111835A (ja) * 1999-10-05 2001-04-20 Toshiba Corp 画像処理装置およびx線診断装置
JP2006230512A (ja) * 2005-02-23 2006-09-07 Hitachi Medical Corp X線画像診断装置及び画像処理方法並びにプログラム
WO2010086973A1 (ja) * 2009-01-28 2010-08-05 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012061307A (ja) * 2010-08-17 2012-03-29 Toshiba Corp 医用画像診断装置
JP2012134576A (ja) * 2010-12-17 2012-07-12 Canon Inc 画像処理装置、画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065255B2 (en) * 2002-05-06 2006-06-20 Eastman Kodak Company Method and apparatus for enhancing digital images utilizing non-image data
JP4139760B2 (ja) * 2003-10-10 2008-08-27 富士フイルム株式会社 画像処理方法および装置ならびに画像処理プログラム
KR101385961B1 (ko) * 2007-12-21 2014-04-16 삼성전자주식회사 영상신호의 색 노이즈 제거 장치 및 방법
JP5149725B2 (ja) * 2008-07-22 2013-02-20 キヤノン株式会社 画像処理装置及びその制御方法
JP5523791B2 (ja) * 2008-10-27 2014-06-18 株式会社東芝 X線診断装置および画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182233A (ja) * 1989-12-12 1991-08-08 Toshiba Corp X線画像表示装置
JP2001111835A (ja) * 1999-10-05 2001-04-20 Toshiba Corp 画像処理装置およびx線診断装置
JP2006230512A (ja) * 2005-02-23 2006-09-07 Hitachi Medical Corp X線画像診断装置及び画像処理方法並びにプログラム
WO2010086973A1 (ja) * 2009-01-28 2010-08-05 富士通株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012061307A (ja) * 2010-08-17 2012-03-29 Toshiba Corp 医用画像診断装置
JP2012134576A (ja) * 2010-12-17 2012-07-12 Canon Inc 画像処理装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大谷正紀,本田道隆: ""ノイズの多い背景画像における線状陰影走行角度検出法"", 電子情報通信学会技術研究報告, vol. 第109巻,第123号, JPN6014036293, 3 July 2009 (2009-07-03), JP, pages 79 - 84, ISSN: 0003580061 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017018339A (ja) * 2015-07-10 2017-01-26 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法
WO2018116791A1 (ja) * 2016-12-22 2018-06-28 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法
JP2018102350A (ja) * 2016-12-22 2018-07-05 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法
US11055825B2 (en) 2016-12-22 2021-07-06 Hitachi, Ltd. Medical image processing device and X-ray CT device provided with same, and medical image processing method

Also Published As

Publication number Publication date
WO2014196608A1 (ja) 2014-12-11
US20160086319A1 (en) 2016-03-24
US10007976B2 (en) 2018-06-26

Similar Documents

Publication Publication Date Title
CN112770838B (zh) 使用自关注深度学习进行图像增强的系统和方法
US9536316B2 (en) Apparatus and method for lesion segmentation and detection in medical images
JP6733745B2 (ja) 体積画像データセット内の血管構造のセグメント化のための方法及びシステム
US9953441B2 (en) Processing metal artifact in CT image
US20150366500A1 (en) Medical-image processing apparatus
JP2014512229A (ja) 臓器および解剖学的構造の画像セグメンテーション
JP2013535268A (ja) データ・セットにおける異常検出方法およびシステム
US20150003703A1 (en) Tumor segmentation and tissue classification in 3d multi-contrast
US10783676B2 (en) Processing metal artifacts in CT image
US9508127B1 (en) Processing for creating a transmission image without artificial noises
JP6492553B2 (ja) 画像処理装置及びプログラム
JP6210738B2 (ja) 画像処理装置及び医用画像診断装置
US9965853B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
Veluchamy et al. Brightness preserving optimized weighted bi‐histogram equalization algorithm and its application to MR brain image segmentation
US9672600B2 (en) Clavicle suppression in radiographic images
JP2014233608A (ja) 画像処理装置及び医用画像診断装置
KR101467380B1 (ko) 의료 영상 화질 개선 방법 및 그 장치
US20190164286A1 (en) Information processing apparatus, information processing method, and non-transient computer readable storage medium
JP2019154744A (ja) 医用画像処理装置、医用画像診断装置、及び医用画像処理プログラム
JP2017131623A (ja) 医用画像処理装置および医用画像処理装置の縮小領域設定方法
JP6210739B2 (ja) 画像処理装置及び医用画像診断装置
US10169868B2 (en) Image processing apparatus and image processing method
JP6651403B2 (ja) 医用画像処理装置、マンモグラフィ装置および医用画像処理方法
JP5989498B2 (ja) 画像処理装置及びプログラム
JP6586678B2 (ja) 画像処理装置及びx線診断装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150610

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20151102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160427

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160930

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180130