JP2010042190A - 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム - Google Patents

医用画像処理装置、超音波診断装置、及び医用画像処理プログラム Download PDF

Info

Publication number
JP2010042190A
JP2010042190A JP2008209664A JP2008209664A JP2010042190A JP 2010042190 A JP2010042190 A JP 2010042190A JP 2008209664 A JP2008209664 A JP 2008209664A JP 2008209664 A JP2008209664 A JP 2008209664A JP 2010042190 A JP2010042190 A JP 2010042190A
Authority
JP
Japan
Prior art keywords
image
data
image generation
image data
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008209664A
Other languages
English (en)
Other versions
JP5637653B2 (ja
Inventor
Takehiro Ema
武博 江馬
Hitoshi Yamagata
仁 山形
Yasuta Aoyanagi
康太 青柳
Kyoko Sato
恭子 佐藤
Shunsuke Sato
俊介 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008209664A priority Critical patent/JP5637653B2/ja
Priority to US12/497,984 priority patent/US7991108B2/en
Priority to EP09008869.1A priority patent/EP2157546B1/en
Priority to CN200910165187XA priority patent/CN101653381B/zh
Publication of JP2010042190A publication Critical patent/JP2010042190A/ja
Application granted granted Critical
Publication of JP5637653B2 publication Critical patent/JP5637653B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

【課題】病変部の観察が容易な医用画像データを生成することが可能な医用画像処理装置を提供する。
【解決手段】心腔領域特定部4は、ボリュームデータに表わされている心腔領域の位置を特定する。画像生成面決定部12は、心腔領域に交差する回転軸を含む画像生成面を決定する。第1画像生成部14は、画像生成面に直交する方向を視線方向として、ボリュームデータのうち心腔領域に含まれるデータを除くデータに基づいて、心腔領域を除いた領域を立体的に表わす3次元画像データを生成する。第2画像生成部15は、ボリュームデータのうち、心腔領域に含まれるデータを除くデータに基づいて、画像生成面における領域を2次元的に表わす2次元画像データを生成する。画像合成部18は、3次元画像データと2次元画像データとを合成し、表示制御部17は、合成した画像を表示部8に表示させる。
【選択図】図1

Description

この発明は、心臓の診断に適した画像データを生成する医用画像処理装置、超音波診断装置、及び、医用画像処理プログラムに関する。
心臓の臨床診断では、心筋虚血を評価する技術の向上が重要課題の1つとなっている。心筋虚血を評価する場合、超音波診断装置を用いて、カラードプラ法や造影剤を用いたコントラスト映像法などの方法によって撮影を行う。この撮影によって、心臓の冠動脈や、心筋に造影剤が濃染している様子を、カラードプラ画像、パワードプラ画像、又はコントラスト画像などの超音波画像として描出する。そして、描出した画像によって、3次元の構造物である心臓の虚血部分を診断している。
3次元の領域内を超音波で走査することで、3次元領域を表すボリュームデータを取得することが可能な超音波診断装置が知られている。この超音波診断装置によって、CFM画像、パワードプラ画像、又は、3次元のコントラスト画像などの3次元の超音波画像を生成し、その3次元の超音波画像を用いた臨床診断が行われている。
また、X線CT装置においては、マルチ検出器を備えた装置によって、心臓の動きを捉えた画像データをリアルタイムに生成することが可能となっている。そのことにより、心臓の動きを3次元の動画像として観察できるようになっている。
3次元画像によって心筋虚血の評価を行うための超音波診断装置が知られている(例えば特許文献1)。この超音波診断装置は、超音波の送受信によって心臓を表すボリュームデータを取得する。そして、そのボリュームデータから心腔の領域を特定し、心腔の領域内のデータに対してマスク処理を施す。その後、心臓の長軸を通る分割面を設定し、その分割面によって、マスク処理が施されたボリュームデータに表わされている領域を複数に分割する。分割されたボリュームデータに、MIP(Maximum Intensity Projection)処理などの画像処理を施すことで、MIP画像データなどの超音波画像データを生成して、その超音波画像を表示する。また、この従来技術においては、心内膜に向かってMIP処理を行い、その後、2次元平面にデータを投影して、投影したデータを表示している。
特開2000−210289号公報
心筋虚血の診断においては、心筋における虚血部分が、心筋の内側から外側にかけてどのように分布しているのかを把握することが求められている。しかしながら、従来技術に係る超音波診断装置によって生成された超音波画像では、観察者にとって、虚血部分がどのように分布しているのかを把握することは困難である。例えば、MIP画像や、ボリュームレンダリングによって生成される3次元画像を表示しても、観察者は、虚血部分の分布を明瞭に把握することは困難である。
また、MIP画像は、ボリュームデータを2次元の平面に投影して得られた画像であるため、3次元的には見えにくいという欠点がある。従来においては、ボリュームデータを回転させながらMIPを表示することが行われているが、観察者にとって、虚血部分が心筋の内側から外側にかけてどのように分布しているのかを把握することは困難である。
また、ボリュームレンダリングによって生成された3次元画像は、画像に表わされる被検体を立体的に表わすために、影付け処理が施されていることが一般的である。この影付け処理を行うことで、元々のデータに表わされている濃淡が3次元画像に明瞭に表わされなくなるため、観察者にとって、3次元画像からその濃淡を読み取ることが困難になる。そのため、ボリュームレンダリングによって生成された3次元画像のみによって、心筋における虚血部分の分布を把握することが困難である。
以上のように、心筋における虚血部分の分布などのように、病変部の分布を観察者にとって分かりやすく表示することが求められている。
この発明は上記の問題を解決するものであり、病変部の観察が容易な医用画像データを生成することが可能な医用画像処理装置、超音波診断装置、及び、医用画像処理プログラムを提供することを目的とする。
請求項1に記載の発明は、心臓を表すボリュームデータを受けて、前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定手段と、前記心腔領域と交差する軸を設定する軸設定手段と、前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定手段と、前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成手段と、前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成手段と、前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示手段に表示させる表示制御手段と、を有することを特徴とする医用画像処理装置である。
請求項11に記載の発明は、被検体の心臓を撮影対象にして、前記被検体に超音波を送信し、前記被検体からの反射波に基づいて、前記被検体の心臓を表すボリュームデータを取得する画像取得手段と、前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定手段と、前記心腔領域と交差する軸を設定する軸設定手段と、前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定手段と、前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成手段と、前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成手段と、前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示手段に表示させる表示制御手段と、を有することを特徴とする超音波診断装置である。
請求項12に記載の発明は、コンピュータに、心臓を表すボリュームデータを受けて、前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定機能と、前記心腔領域と交差する軸を設定する軸設定機能と、前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定機能と、前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成機能と、前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成機能と、前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示装置に表示させる表示制御機能と、を実行させるための医用画像処理プログラムである。
この発明によると、心腔領域の境界であって、画像生成面によって分けられた心腔領域の一方の領域の境界を3次元画像で表示するとともに、心腔領域を除いた画像生成面における組織を2次元画像で表示することで、心腔領域の境界を立体的に表示して観察できるとともに、心腔領域の周辺部位を2次元画像で観察することができる。これにより、画像生成面を設定する位置によって、心腔領域の周辺部位にある病変部を2次元画像又は3次元画像によって表示することが可能となる。例えば、2次元画像に病変部を表示することで、観察者は、画像生成面における病変部の分布の様子を観察することが可能となる。また、3次元画像に病変部を表示することで、その病変部を立体的に表示して観察することが可能となる。このように、この発明によると、心腔領域の周辺部に分布している病変部を、観察者にとって分かりやすく表示することが可能となる。
この発明の実施形態に係る医用画像処理装置について図1を参照して説明する。図1は、この発明の実施形態に係る医用画像処理装置を示すブロック図である。
(超音波診断装置100)
超音波診断装置100は超音波プローブを有して、被検体に超音波を送信し、被検体からの反射波を受信し、その反射波に基づいて超音波画像データを生成する。また、超音波診断装置100は、患者名、検査ID、及び検査年月日を含む付帯情報を超音波画像データに付帯させる。超音波診断装置100にて取得された超音波画像データは、図示しない画像保存装置に記憶される。また、医用画像処理装置1は、超音波診断装置100又は画像保存装置から超音波画像データを読み込み、画像データ記憶部3は読み込んだ超音波画像データを記憶する。
ここで、超音波診断装置100によって走査される領域について図2を参照して説明する。図2は、超音波によって走査される領域を模式的に示す図である。例えば、超音波診断装置100は、超音波プローブ101によって、被検体内の3次元領域Vを超音波で走査する(ボリュームスキャン)。超音波診断装置100は、そのボリュームスキャンによって、3次元領域Vを表すボリュームデータを取得する。ボリュームデータは画像保存装置に記憶される。また、ボリュームデータは医用画像処理装置1に出力されて、画像データ記憶部3に記憶される。
この実施形態では1例として、心臓の左心室を撮像して、虚血部分の診断を行う場合について説明する。超音波診断装置100は、被検体の心臓を撮影対象として、心臓を超音波で走査することで、心臓の左心室を含む領域が表されたボリュームデータを取得する。
(医用画像処理装置1)
医用画像処理装置1は、データ送受信部2、画像データ記憶部3、心腔領域特定部4、回転軸特定部5、主制御部6、入力部7、表示部8、及び画像処理部10を備えている。医用画像処理装置1は、超音波診断装置100にて取得されたボリュームデータに基づいて、虚血部分の診断に適した画像データを生成する。
(データ送受信部2)
データ送受信部2は、ネットワークを介してボリュームデータを受信する。ネットワークには、ボリュームデータを供給することが可能な装置が接続されている。例えば、超音波診断装置100や図示しない画像保存装置が、ネットワークに接続されている。データ送受信部2は、そのネットワークに接続されて、ネットワークを介して、超音波診断装置100や画像保存装置からボリュームデータを受信する。ボリュームデータには、患者名、検査ID、及び検査年月日を含む付帯情報が付帯されている。データ送受信部2は、受信したボリュームデータを画像データ記憶部3に出力する。
(画像データ記憶部3)
画像データ記憶部3は、データ送受信部2から出力されたボリュームデータを記憶する。この実施形態では、超音波診断装置100によって、心臓の左心室を含む領域が表されたボリュームデータが取得されて、そのボリュームデータが画像データ記憶部3に記憶される。なお、画像データ記憶部3は、ハードディスクや半導体メモリなどの記憶装置で構成されている。また、画像データ記憶部3は、心腔領域特定部4から出力されたボリュームデータを記憶する。
(心腔領域特定部4)
心腔領域特定部4は、画像データ記憶部3からボリュームデータを読み込み、そのボリュームデータにおける左心室の心腔領域の位置を特定する。心腔領域の位置を特定する方法として、例えば、特開平7−320068号公報、特開平10−99328号公報、特開2000−217818号公報、特開2003−250804号公報、特開2005−161032号公報、又は、特開2000−210289号公報に記載されている方法を用いれば良い。
1例として、心腔領域特定部4は、ボリュームデータの輝度差を利用した境界検出法によって、心腔領域の位置を特定する。例えば、心腔領域特定部4は、ボリュームデータの2値化又は画素値の微分を行う方法によって、ボリュームデータにおける左心室の心腔領域の位置を特定する。また、心腔領域特定部4は、コントラスト画像を用いることで、心腔領域の位置を特定しても良い。例えば、微小気泡を主に含む造影剤を被検体に注入した状態で撮影を行う。心腔内の血流が、その周辺よりも高輝度に染影されるため、心腔領域特定部4は、その輝度差を利用して心腔領域の境界を特定し、その境界の内側を心腔領域として特定する。
心腔領域特定部4は、ボリュームデータに表わされている心腔領域を、表示対象外の領域として定義する。例えば、心腔領域特定部4は、ボリュームデータに表わされている心腔領域にマスク処理を施すことで、心腔領域を表示対象外の領域として定義する。1例として、心腔領域特定部4は、ボリュームデータにおいて、心腔領域内の画素値を一定の値に変換する。心腔領域特定部4は、心腔領域に対してマスク処理が施されたボリュームデータを画像データ記憶部3に出力する。画像データ記憶部3は、マスク処理が施されたボリュームデータを記憶する。なお、心腔領域特定部4が、この発明の「心腔領域特定手段」の1例に相当する。
(回転軸特定部5)
回転軸特定部5は、心腔領域に対してマスク処理が施されたボリュームデータを画像データ記憶部3から読み込む。そして、回転軸特定部5は、ボリュームデータに表わされている左心室の長軸の位置を特定する。回転軸特定部5は、特定した長軸を、画像を生成する画像生成面に対する回転軸として定義する。左心室の長軸の位置を特定する方法として、例えば、特開平7−320068号公報、特開平10−99328号公報、特開2000−217818号公報、特開2003−250804号公報、特開2005−161032号公報、又は、特開2000−210289号公報に記載されている方法を用いれば良い。1例として、回転軸特定部5は、ボリュームデータに表わされている立体的な左心室を、立体的な楕円体で近似する。回転軸特定部5は、この楕円体の長軸を左心室の長軸として特定し、特定した長軸を回転軸として定義する。例えば図2に示すように、回転軸特定部5は、3次元空間における左心室の長軸Aの位置を特定し、その長軸Aを回転軸Aとして定義する。回転軸特定部5は、3次元空間における回転軸A(長軸)の位置を示す情報(座標情報)を、画像処理部10の画像生成制御部11に出力する。また、回転軸特定部5は、左心室の短軸の位置を特定して、その短軸を回転軸として定義しても良い。例えば、回転軸特定部5は、長軸に直交する軸を短軸として特定する。なお、長軸に直交する軸は複数存在するため、回転軸特定部5は、複数の軸のうち、1つの軸を短軸として選択すれば良い。回転軸特定部5が、この発明の「軸設定手段」の1例に相当する。
(画像処理部10)
画像処理部10は、画像生成制御部11、画像生成面決定部12、画像生成部13、マスク領域変更部16、及び、表示制御部17を備えている。画像生成部13は、第1画像生成部14と第2画像生成部15とを備えている。表示制御部17は、画像合成部18を備えている。画像処理部10は、マスク処理が施されたボリュームデータを画像データ記憶部3から読み込み、主制御部6から出力された画像生成条件に従って画像データを生成し、その画像データに基づく画像を表示部8に表示させる。以下、画像処理部10の各部について説明する。
(画像生成制御部11)
画像生成制御部11は、マスク処理が施されたボリュームデータを画像データ記憶部3から読み込む。また、画像生成制御部11は、回転軸特定部5から出力された回転軸Aの座標情報を受ける。また、画像生成制御部11は、主制御部6から出力された画像生成条件を示す情報を受ける。画像生成条件には、生成する画像の種類と、画像を生成する方向を示す視線方向とが含まれている。画像の種類には、ボリュームレンダリングにより生成される3次元画像、MPR画像、又は、MIP画像などの種類が該当する。MPR画像は、MPR(Multi Planar Reconstruction)処理によって生成される任意の断面における画像である。画像の種類と視線方向とは、主制御部6に予め設定されている。また、画像の種類と視線方向とは、操作者が入力部7を用いて任意に変更することができる。
画像生成制御部11は、マスク処理が施されたボリュームデータ、生成する画像の種類を示す情報、及び、視線方向を示す情報(座標情報)を、第1画像生成部14と第2画像生成部15とに出力する。また、画像生成制御部11は、回転軸Aの座標情報と視線方向の座標情報とを画像生成面決定部12に出力する。
(画像生成面決定部12)
画像生成面決定部12は、画像生成制御部11から出力された回転軸Aの座標情報と視線方向の座標情報とを受ける。そして、画像生成面決定部12は、回転軸Aを通る複数の2次元の平面のうち、視線方向に直交する平面の位置を求める。画像生成面決定部12は、その平面を、画像を生成する対象となる面(画像生成面)として決定する。例えば図2に示すように、画像生成面決定部12は、回転軸Aを通り、視線方向Bに直交する平面Sを画像生成面Sとして定義する。そして、画像生成面決定部12は、回転軸Aを通り、視線方向に直交する画像生成面Sの座標情報を、第1画像生成部14と第2画像生成部15とに出力する。なお、画像生成面決定部12が、この発明の「画像生成面設定手段」の1例に相当する。
(第1画像生成部14、第2画像生成部15)
第1画像生成部14と第2画像生成部15は、マスク処理が施されたボリュームデータ、生成する画像の種類を示す情報、及び、視線方向を示す座標情報を画像生成制御部11から受ける。また、第1画像生成部14と第2画像生成部15は、画像生成面Sの座標情報を画像生成面決定部12から受ける。そして、第1画像生成部14と第2画像生成部15は、それぞれ、ボリュームデータに基づいて表示用の画像データを生成する。
この実施形態では、画像生成制御部11は、第1画像生成部14にボリュームレンダリングによる3次元画像の生成の指示を与える。また、画像生成制御部11は、第2画像生成部15にMPR画像の生成の指示を与える。すなわち、画像生成制御部11は、生成する画像の種類として3次元画像を示す情報を第1画像生成部14に出力し、また、生成する画像の種類としてMPR画像を示す情報を第2画像生成部15に出力する。
第1画像生成部14は、マスク処理が施されたボリュームデータを対象にして、視線方向Bに沿ってボリュームレンダリングを施すことで、組織を立体的に表わす3次元画像データを生成する。この実施形態では、第1画像生成部14は、視線方向Bから見て画像生成面Sより手前側にある領域に含まれるデータと、マスク処理が施された領域に含まれるデータとを除いて、それ以外のデータに基づいて3次元画像データを生成する。これにより、マスク処理が施された領域において、視線方向Bから見て画像生成面Sより奥側にある領域では、マスク処理が施された領域の境界に至るまでの領域において、3次元画像データは生成されない。すなわち、マスク処理が施された領域は、3次元画像データに表わされない。
心腔領域にマスク処理が施されているため、第1画像生成部14は、視線方向Bから見て画像生成面Sより手前側にある領域に含まれるデータと、マスク処理が施された心腔領域に含まれるデータとを除いて、それ以外のデータに基づいて3次元画像データを生成する。これにより、心腔領域が存在する領域において、視線方向Bから見て画像生成面Sより奥側の領域では、マスク処理が施された領域の境界に至るまでの領域において、3次元画像データは生成されない。すなわち、マスク処理が施された心腔領域は、3次元画像データに表わされない。その結果、3次元画像データには、心腔領域が存在する領域の位置に、心筋領域の表面であって、視線方向Bから見て画像生成面Sより奥側にある心筋領域の表面が表される。なお、第1画像生成部14は、影付け処理を行うことで、影が付けられた3次元画像データを生成する。なお、第1画像生成部14が、この発明の「第1画像生成手段」の1例に相当する。
一方、第2画像生成部15は、マスク処理が施されたボリュームデータを対象にしてMPR処理を施すことで、画像生成面SにおけるMPR画像データを生成する。この実施形態では、第2画像生成部15は、マスク処理が施された領域に含まれるデータを除いて、それ以外のデータに基づいて、画像生成面SにおけるMPR画像データを生成する。心腔領域にマスク処理が施されているため、第2画像生成部15は、心腔領域に含まれるデータを除いて、それ以外のデータに基づいて、画像生成面SにおけるMPR画像データを生成する。これにより、MPR画像データには、心腔領域が表されず、画像生成面Sにおける心筋領域が表される。なお、第2画像生成部15が、この発明の「第2画像生成手段」の1例に相当する。
第1画像生成部14は、ボリュームレンダリングによって生成した3次元画像データを表示制御部17に出力する。第2画像生成部15は、MPR処理によって生成したMPR画像データを表示制御部17に出力する。
ここで、第1画像生成部14によって生成された3次元画像と、第2画像生成部15によって生成されたMPR画像とを、図3に示す。図3は、この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。
図3(a)に示す3次元画像200は、第1画像生成部14によって生成された3次元画像である。また、図3(b)に示すMPR画像210は、第2画像生成部15によって生成された3次元画像である。
ボリュームデータに表わされている心腔領域にはマスク処理が施されている。3次元画像200は、心腔領域に含まれるデータと、視線方向Bから見て画像生成面Sより手前側にある領域に含まれるデータとを除いた、それ以外のデータに基づいて生成された3次元画像である。従って、3次元画像200には、マスク処理が施された心腔領域は表わされていない。心腔領域にはマスク処理が施されているため、心腔領域が存在する領域において、視線方向Bから見て画像生成面Sより奥側の領域では、心筋領域の内膜に至るまでの領域において3次元画像データは生成されない。このように、心腔領域が存在する領域においては、画像生成面Sから心筋の内膜に至るまでの領域における3次元画像データは生成されないため、画像生成面Sから心筋の内膜に至るまでの領域は表示されない。従って、図3(a)に示す3次元画像200には、心腔領域が存在する領域の位置に心腔領域自体は表わされず、心筋の表面であって、視線方向Bから見て画像生成面Sより奥側にある心筋の内膜201が表されている。また、3次元画像200には、心腔領域の周辺にある心筋領域202が表されている。
また、図3(b)に示すMPR画像210は、心腔領域に含まれるデータを除いて、それ以外のデータに基づいて生成されたMPR画像である。従って、MPR画像210には、マスク処理が施された心腔領域211は表わされていない。MPR画像210には、画像生成面Sにおける心筋領域212が表されている。
(表示制御部17)
表示制御部17は、第1画像生成部14から出力された3次元画像データと、第2画像生成部15から出力されたMPR画像データとを受けて、3次元画像とMPR画像とを表示部8に表示させる。また、表示制御部17は、画像合成部18を備えている。
(画像合成部18)
画像合成部18は、第1画像生成部14によって生成された3次元画像データと、第2画像生成部15によって生成されたMPR画像データとを合成することで、合成画像データを生成する。この実施形態では、画像合成部18は、心筋領域が表されたMPR画像データにおいて、心腔領域が存在する領域に、心筋の内面が表された3次元画像データを合成する。または、画像合成部18は、心筋の内面が表された3次元画像データにおいて、心腔領域が存在する領域を除いて心筋領域が存在する領域に、心筋領域が表されたMPR画像データを合成しても良い。すなわち、画像合成部18は、心筋領域についてはMPR画像データを用い、心腔領域が存在する領域については心筋の内面を表す3次元画像データを用いて、MPR画像データと3次元画像データとを合成する。これにより、画像合成部18は、心筋領域が画像生成面SにおけるMPR画像によって表わされ、視線方向Bから見て画像生成面Sより奥側にある心筋の内膜が3次元画像によって表わされた合成画像データを生成する。なお、表示制御部17が、この発明の「表示制御手段」の1例に相当する。
表示制御部17は、合成画像データに基づく合成画像を表示部8に表示させる。図3(c)に合成画像の1例を示す。心筋領域については画像生成面SにおけるMPR画像データを用い、心腔領域が存在する領域については心筋の内膜を表す3次元画像データを用いているため、合成画像220においては、心筋領域222はMPR画像で表わされ、心筋の内膜221は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、心腔領域が存在する領域の位置には、心腔領域自体は表わされない。心腔領域が存在する領域においては、画像生成面Sから心筋の内膜に至るまでの領域における3次元画像データは生成されないため、画像生成面Sから心筋の内膜に至るまでの領域は表示されない。従って、図3(c)に示す合成画像220には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向Bから見て画像生成面Sより奥側にある心筋の内膜221が3次元画像として表わされている。なお、心筋領域よりも外側の領域においては、MPR画像で表わしても良いし、3次元画像で表わしても良い。
(入力部7、表示部8)
なお、入力部7は、マウスやトラックボールなどのポインティングデバイス、スイッチ、各種ボタン、又はキーボードなどで構成されている。操作者は、入力部7を用いて、生成する画像の種類や視線方向などの画像生成条件を入力することができる。また、表示部8は、CRTや液晶ディスプレイなどのモニタで構成されている。表示部8の画面には、合成画像が表示される。
(主制御部6)
主制御部6は、データ送受信部2、心腔領域特定部4、回転軸特定部5、及び画像処理部10の動作を制御する。主制御部6には、生成する画像の種類を示す情報と、視線方向を示す情報とが予め設定されている。主制御部6は、画像の種類と視線方向とを含む画像生成条件を示す情報を画像処理部10の画像生成制御部11に出力し、画像生成制御部11に画像生成の指示を与える。また、マスク領域の大きさを画像生成条件に含ませても良い。この場合、主制御部6は、マスク領域の大きさを含む画像生成条件を示す情報を画像生成制御部11に出力する。画像生成制御部11は、マスク領域の大きさを示す情報と、マスク処理が施されたボリュームデータとをマスク領域変更部16に出力する。
以上のように、この実施形態に係る医用画像処理装置1によると、心筋領域の内膜を3次元画像で表示するとともに、心筋領域の断面をMPR画像で表示することで、心筋領域の内膜を立体的に表示して観察できるとともに、心筋領域の断面をMPR画像で観察することが可能となる。
心筋領域をMPR画像によって表示することで、心筋領域における心筋梗塞部位などの病変部の分布を、観察者にとって分かりやすく表示することが可能となる。すなわち、心筋領域については、MPR画像で表示した方が観察しやすいため、心筋領域をMPR画像によって表示することで、観察者にとって、心筋領域における心筋梗塞部位などの病変部の分布が見やすくなる。例えば、心筋梗塞部位が、心筋領域の内側から外側にかけてどのように分布しているのか把握しやすくなる。このように、この実施形態に係る医用画像処理装置1によると、心筋梗塞部位などの病変部の評価がしやすい画像を提供することが可能となる。
(画像生成面Sの位置の変更)
次に、画像生成面Sの位置を変更する場合について説明する。操作者は、表示部8に表示されている合成画像220を観察しながら、入力部7を用いて、画像生成面を変更するための角度を入力することができる。具体的には、角度の入力は、マウスの移動、又はトラックボールの回転によって行うことができる。マウスの移動量を示す情報、又はトラックボールの回転量を示す情報が、入力部7から主制御部6に出力される。マウスの移動量、又はトラックボールの回転量が、角度の変更量に相当する。主制御部6は、予め設定された視線方向の向きと、入力部7から入力された角度の変更量とに基づいて、新たな視線方向を求める。主制御部6は、新たに求めた視線方向を示す座標情報を画像処理部10の画像生成制御部11に出力する。
画像生成制御部11は、新たな視線方向を示す座標情報を画像生成面決定部12に出力する。画像生成面決定部12は、回転軸Aの座標情報と新たな視線方向を示す座標情報とに基づいて、回転軸Aを通る複数の2次元の平面のうち、新たな視線方向に直交する平面を新たな画像生成面Sとして決定する。そして、画像生成面決定部12は、新たな画像生成面Sの座標情報を、第1画像生成部14と第2画像生成部15とに出力する。また、画像生成制御部11は、新たな視線方向を示す座標情報を、第1画像生成部14と第2画像生成部15とに出力する。
第1画像生成部14は、上述したように、マスク処理が施されたボリュームデータを対象にして、新たな視線方向Bに沿ってボリュームレンダリングを施すことで、組織を立体的に表わす3次元画像データを生成する。第1画像生成部14は、新たな視線方向Bから見て新たな画像生成面Sより手前側にある領域に含まれるデータと、マスク処理が施された心腔領域に含まれるデータとを除いて、それ以外のデータに基づいて3次元画像データを生成する。これにより、新たに生成された3次元画像データには、心筋領域の表面であって、新たな視線方向Bから見て新たな画像生成面Sより奥側にある表面が表される。
また、第2画像生成部15は、上述したように、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、新たな画像生成面SにおけるMPR画像データを生成する。第2画像生成部15は、マスク処理が施された心腔領域に含まれるデータを除いて、それ以外のデータに基づいて、新たな画像生成面SにおけるMPR画像データを生成する。これにより、新たに生成されたMPR画像データには、心腔領域が表されず、新たな画像生成面Sにおける心筋領域が表される。
そして、画像合成部18は、新たに生成された3次元画像データと、新たに生成されたMPR画像データとを合成することで、新たな合成画像データを生成する。これにより、画像合成部18は、心筋領域が新たな画像生成面SにおけるMPR画像によって表わされ、新たな視線方向Bから見て新たな画像生成面Sより奥側にある心筋の内膜が3次元画像によって表わされた合成画像データを生成する。そして、表示制御部17は、新たに生成された合成画像データに基づく合成画像を表示部8に表示させる。
操作者による角度変更の操作と、画像処理部10による処理とを繰り返すことで、操作者は、異なる画像生成面Sにおける合成画像を連続的に観察することが可能となる。
ここで、心筋梗塞部位が存在する場合であって、画像生成面の位置を変えた場合に得られる画像の1例について、図4と図5とを参照して説明する。図4は、超音波によって走査される領域を模式的に示す図である。図5は、この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。
図4に示す視線方向B1は初期設定された視線方向であり、画像生成面S1はその視線方向B1に直交する平面である。第1画像生成部14と第2画像生成部15は、視線方向B1と画像生成面S1とに従って、それぞれ画像データを生成する。上述したように、第1画像生成部14は、マスク処理が施されたボリュームデータを対象にして、視線方向B1に沿ってボリュームレンダリングを施すことで、組織を立体的に表わす3次元画像データを生成する。第1画像生成部14は、視線方向B1から見て画像生成面S1より手前側にある領域に含まれるデータと、マスク処理が施された心腔領域に含まれるデータとを除いて、それ以外のデータに基づいて3次元画像データを生成する。また、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、画像生成面S1におけるMPR画像データを生成する。第2画像生成部15は、マスク処理が施された心腔領域に含まれるデータを除いて、それ以外のデータに基づいて、画像生成面S1におけるMPR画像データを生成する。そして、画像合成部18は、3次元画像データとMPR画像データとを合成することで合成画像データを生成する。表示制御部17は、その合成画像データに基づく合成画像を表示部8に表示させる。
図5(a)に示す合成画像300は、視線方向B1と画像生成面S1とに従って生成された画像である。心筋領域については画像生成面S1におけるMPR画像データを用い、心腔領域が存在する領域については心筋の内膜を表す3次元画像データを用いている。そのため、合成画像300においては、心筋領域302はMPR画像で表わされ、心筋の内膜301は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、合成画像300には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向B1から見て画像生成面S1より奥側にある心筋の内膜301が3次元画像として表わされている。この合成画像300には、視線方向B1から見て心腔領域を挟んだ反対側に心筋梗塞部位303が表されている。この心筋梗塞部位303は、3次元画像で表わされている。
心筋梗塞部位はMPR画像を用いた方が評価しやすいため、MPR画像に表わされるように、操作者は視線方向を変える。上述したように、操作者は表示部8に表示されている合成画像を観察しながら、入力部7を用いて角度を入力する。図4に示す視線方向B2は操作者によって指定された視線方向であり、画像生成面S2はその視線方向B2に直交する平面である。第1画像生成部14は、上述したように、マスク処理が施されたボリュームデータを対象にして、視線方向B2に沿ってボリュームレンダリングを施すことで、組織を立体的に表わす3次元画像データを生成する。第1画像生成部14は、視線方向B2から見て画像生成面S2より手前側にある領域に含まれるデータと、マスク処理が施された心腔領域に含まれるデータとを除いて、それ以外のデータに基づいて3次元画像データを生成する。また、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、画像生成面S2におけるMPR画像データを生成する。第2画像生成部15は、マスク処理が施された心腔領域に含まれるデータを除いて、それ以外のデータに基づいて、画像生成面S2におけるMPR画像データを生成する。そして、画像合成部18は、3次元画像データとMPR画像データとを合成することで合成画像データを生成する。表示制御部17は、その合成画像データに基づく合成画像を表示部8に表示させる。
図5(b)に示す合成画像310は、視線方向B2と画像生成面S2とに従って生成された画像である。心筋領域については画像生成面S2におけるMPR画像データを用い、心腔領域が存在する領域については心筋の内膜を表す3次元画像データを用いている。そのため、合成画像310においては、心筋領域312はMPR画像で表わされ、心筋の内膜311は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、合成画像310には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向B2から見て画像生成面S2より奥側にある心筋の内膜311が3次元画像として表わされている。この合成画像310には、MPR画像によって表わされている心筋領域312内に心筋梗塞部位313が表されている。画像生成面Sが、心筋梗塞部位を通る位置に設定された場合に、MPR画像によって表わされる心筋領域312内に心筋梗塞部位313が表される。心筋領域312はMPR画像によって表わされているため、評価しやすいMPR画像を用いて心筋梗塞部位を評価することが可能となる。このように、画像生成面Sを設定する位置によって、心筋梗塞部位をMPR画像によって表示することが可能となる。これにより、観察者は、画像生成面Sにおける心筋梗塞部位の分布の様子を観察することができる。例えば、観察者は、MPR画像を観察することで、心筋領域における心筋梗塞部位が、心筋領域の内側から外側にかけてどのように分布しているのかを容易に把握することが可能となる。
(マスク領域変更部16)
マスク領域変更部16は、マスク領域の大きさを示す情報と、マスク処理が施されたボリュームデータとを画像生成制御部11から受ける。マスク領域変更部16は、マスク領域の大きさを示す情報に従って、ボリュームデータにおけるマスク領域の大きさを変更する。マスク領域変更部16は、公知技術に係る膨張処理(Dilation処理)又は縮小処理(Erosion処理)を施すことで、ボリュームデータにおけるマスクの大きさを変える。これにより、ボリュームデータにおいて、表示対象外となる領域の大きさが変更される。1例として、マスク領域変更部16は、ボリュームデータにおいて、大きさが変更されたマスクに含まれる領域内の画素値を一定の値に変更する。マスク領域変更部16は、新たなマスク処理が施されたボリュームデータを、第1画像生成部14と第2画像生成部15とに出力する。なお、マスク領域の大きさの変更がない場合は、マスク領域変更部16は、処理を実行しない。第1画像生成部14は、新たなマスク処理が施されたボリュームデータに基づいて、3次元画像データを生成する。また、第2画像生成部15は、新たなマスク処理が施されたボリュームデータに基づいて、MPR画像データを生成する。
ここで、マスク領域の大きさの変更について図6を参照して説明する。図6は、マスク領域の大きさを説明するための模式図である。マスク領域を膨張する場合、マスク領域変更部16は、マスク情報の大きさを示す情報に基づいて、初期状態のマスク401の大きさを大きくして、マスク401をマスク402に変更する。マスク領域変更部16は、新たなマスク402によってボリュームデータにマスク処理を施し、マスク処理が施されたボリュームデータを第1画像生成部14と第2画像生成部15とに出力する。また、マスク領域を縮小する場合、マスク領域変更部16は、マスク情報の大きさを示す情報に基づいて、マスクの大きさを小さくして、マスク403に変更する。マスク領域変更部16は、新たなマスク403によってボリュームデータにマスク処理を施し、マスク処理が施されたボリュームデータを第1画像生成部14と第2画像生成部15とに出力する。第1画像生成部14は、マスク402又はマスク403によってマスク処理が施されたボリュームデータに基づいて、3次元画像データを生成する。また、第2画像生成部15は、マスク402又はマスク403によってマスク処理が施されたボリュームデータに基づいて、MPR画像データを生成する。
例えば、操作者は入力部7を用いて、マスク領域の膨張又は縮小の指示を与える。また、操作者は入力部7を用いて、膨張又は縮小の大きさの程度を示す情報を入力する。1例として、膨張率又は縮小率を与える。具体的には、120%や80%などの数値を与える。膨張処理の指示と膨張率とが入力部7によって与えられた場合、膨張処理を示す情報と膨張率を示す情報とが、入力部7から主制御部6に出力される。主制御部6は、マスク領域の膨張率を画像生成条件に含ませて、画像生成条件を示す情報を画像処理部10の画像生成制御部11に出力する。画像生成制御部11は、マスク処理が施されたボリュームデータと、膨張率を示す情報とを、マスク領域変更部16に出力する。マスク領域変更部16は、膨張率に従ってマスクを大きくし、膨張後のマスクによってボリュームデータにマスク処理を施す。そして、マスク領域変更部16は、新たにマスク処理が施されたボリュームデータを第1画像生成部14と第2画像生成部15とに出力する。
第1画像生成部14は、膨張されたマスクによってマスク処理が施されたボリュームデータに基づいて、3次元画像データを生成する。また、第2画像生成部15は、膨張されたマスクによってマスク処理が施されたボリュームデータに基づいて、MPR画像データを生成する。画像合成部18は、3次元画像データとMPR画像データとを合成することで、合成画像データを生成する。
マスク領域を膨張する前に生成された合成画像と、膨張した後に生成された合成画像とを図7に示す。図7は、マスク領域を変更する前に生成された合成画像と、変更した後に生成された合成画像とを模式的に示す図である。図7(a)に示す合成画像500は、マスク領域を膨張する前に生成された画像である。心筋領域502については画像生成面SにおけるMPR画像データを用い、心腔領域が存在する領域については心筋の内膜を表す3次元画像データを用いている。そのため、合成画像500においては、心筋領域502はMPR画像で表わされ、心筋の内膜501は3次元画像で表わされる。この合成画像500には、視線方向B1から見て心腔領域を挟んだ反対側に心筋梗塞部位503が表されている。この心筋梗塞部位503は、3次元画像で表わされている。
一方、図7(b)に示す合成画像510は、マスク領域を膨張した後に生成された画像である。マスク領域が膨張されているため、合成画像500と比べて、MPR画像で表わされる領域が狭くなっている。合成画像510において、心筋領域512はMPR画像で表わされ、その内側の領域については3次元画像で表わされている。マスク領域が膨張しているため、心筋領域の内部までマスク処理が施されている。そのため、心筋領域の内部511が3次元画像で表わされている。これにより、心筋領域の内部に分布している心筋梗塞部位513が3次元画像で表わされるため、心筋梗塞の評価が容易になる。
また、第1画像生成部14は、マスク領域の大きさが変更されていないボリュームデータに基づいて、マスク領域が画像生成面Sによって切断される領域の境界の位置を求める。そして、第1画像生成部14は、その境界を示す座標情報を表示制御部17に出力する。表示制御部17は、その境界を示す境界線を合成画像に重ねて表示部8に表示させる。例えば図7(b)に示すように、表示制御部17は、表示部8に対して合成画像510を表示させ、境界線514を合成画像510に重ねて表示させる。境界線514は、膨張する前のマスク領域の範囲を示す線である。
以上のように、マスク領域の大きさを変更することで、心筋領域の表面のみならず、心筋領域の内側における組織を立体的に表わす3次元画像を生成して表示することが可能となる。すなわち、マスク領域の大きさを大きくして、心筋領域の内部までマスク領域に含ませることで、心筋領域の内部における組織を表す3次元画像を生成して表示することが可能となる。このように、心筋領域の内部に分布している心筋梗塞部位を立体的に表示することで、心筋梗塞の評価に供する情報を提供することが可能となる。
(変形例1)
変形例1では、複数の画像生成面を求めて、各画像生成面における合成画像データを生成する。1例として、2つの合成画像データを生成する場合について説明する。画像生成面決定部12は、上述したように、画像生成制御部11から出力された回転軸Aの座標情報と視線方向の座標情報とを受けて、回転軸Aを通る複数の平面のうち、視線方向に直交する平面を第1画像生成面として決定する。さらに、画像生成面決定部12は、第1画像生成面に直交し、回転軸Aを通る平面を第2画像生成面として決定する。画像生成面決定部12は、第1画像生成面の座標情報と第2画像生成面の座標情報とを、第1画像生成部14と第2画像生成部15とに出力する。
第1画像生成部14は、第1画像生成面と第1画像生成面に直交する視線方向とに従って、マスク処理が施されたボリュームデータにボリュームレンダリングを施すことで、第1の3次元画像データを生成する。すなわち、第1画像生成部14は、視線方向から見て第1画像生成面より手前側にある領域に含まれるデータと、マスク処理が施された領域に含まれるデータとを除いて、それ以外のデータに基づいて第1の3次元画像データを生成する。一方、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、第1画像生成面における第1のMPR画像データを生成する。画像合成部18は、第1の3次元画像データと第1のMPR画像データとを合成することで、第1合成画像データを生成する。
同様に、第1画像生成部14は、第2画像生成面と第2画像生成面に直交する視線方向とに従って、マスク処理が施されたボリュームデータにボリュームレンダリングを施すことで、第2の3次元画像データを生成する。すなわち、第1画像生成部14は、視線方向から見て第2画像生成面より手前側にある領域に含まれるデータと、マスク処理が施された領域に含まれるデータとを除いて、それ以外のデータに基づいて第2の3次元画像データを生成する。一方、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、第2画像生成面における第2のMPR画像データを生成する。画像合成部18は、第2の3次元画像データと第2のMPR画像データとを合成することで、第2合成画像データを生成する。
表示制御部17は、第1合成画像データに基づく第1合成画像と、第2合成画像データに基づく第2合成画像とを、表示部8に同時に表示させる。ここで、表示部8に表示される第1合成画像と第2合成画像とを図8に示す。図8は、この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。
表示制御部17は、第1合成画像600と第2合成画像610とを並べて表示部8に同時に表示させる。第1画像生成面と第2画像生成面とは、互いに直交しているため、第1合成画像600と第2合成画像610とは、互いに直交する面における画像を表している。第1合成画像600においては、心筋領域602はMPR画像で表わされ、心筋の内膜601は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第1合成画像600には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て第1画像生成面より奥側にある心筋の内膜601が3次元画像として表わされている。第1合成画像600には、視線方向から見て心腔領域を挟んだ反対側に心筋梗塞部位603が表されている。この心筋梗塞部位603は、3次元画像で表わされている。
また、第2合成画像610においても、心筋領域612はMPR画像で表わされ、心筋の内膜611は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第2合成画像610には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て第2画像生成面より奥側にある心筋の内膜611が3次元画像として表わされている。
第1合成画像600において、心筋梗塞部位603が回転軸A上に表わされるように第1画像生成面の向きを設定することで、第2合成画像610において、心筋梗塞部位613がMPR画像に表わされる。つまり、第2画像生成面は、回転軸Aを通って第1画像生成面に直交する面として定義されている。そのため、第1合成画像600に表わされている心筋梗塞部位603が、回転軸A上に表わされるように第1画像生成面の向きを設定することで、心筋梗塞部位と交差する位置に第2画像生成面を設定することが可能となる。そのことにより、第2合成画像610において、心筋梗塞部位613を、心筋領域612を表すMPR画像に表わすことが可能となる。第1画像生成面の向きを変えるためには、上述したように、操作者が入力部7を用いて、第1画像生成面の向きを変更するための角度を入力すれば良い。例えば、操作者は表示部8に表示されている第1合成画像600と第2合成画像610とを観察しながら、入力部7を用いて、第1合成画像600において、心筋梗塞部位603が回転軸A上に表わされるように、第1画像生成面の角度を入力すれば良い。
以上のように、変形例1によると、第1合成画像600において心筋梗塞部位を3次元画像で表わし、第2合成画像610において心筋梗塞部位をMPR画像で表わすことが可能となる。心筋梗塞部位の分布を、3次元画像とMPR画像とで同時に観察することができるため、心筋梗塞部位の評価が更に容易になる。
また、第1画像生成面と第2画像生成面のうち、いずれか一方の画像生成面の位置を固定し、他方の画像生成面の角度のみを変えても良い。例えば、第1画像生成面の位置を固定し、第2画像生成面の角度のみを変えても良い。また、変形例1では、第1画像生成面と第2画像生成面とが直交しているが、任意の角度で交差していても良い。例えば、操作者が入力部7を用いて、第1画像生成面の向き(角度)と第2画像生成面の向き(角度)とを入力して、第1画像生成面と第2画像生成面とを任意の角度で交差させても良い。
(変形例2)
次に変形例2について、図9を参照して説明する。図9は、この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。上述した変形例1と同様に、表示制御部17は、互いに直交する画像生成面における2つの合成画像を表示部8に表示させる。例えば図9に示すように、表示制御部17は、第1画像生成面に従って生成された第1合成画像700と、第2画像生成面に従って生成された第2合成画像710とを並べて表示部8に同時に表示させる。変形例1と同様に、第1画像生成面と第2画像生成面とは、互いに直交している。そのため、第1合成画像700と第2合成画像710とは、互いに直交する面における画像を表している。
第1合成画像700においては、心筋領域702はMPR画像で表わされ、心筋の内膜701は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第1合成画像700には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て第1画像生成面より奥側にある心筋の内膜701が3次元画像として表わされている。第1合成画像700には、視線方向から見て心腔領域を挟んだ反対側に心筋梗塞部位703が表されている。この心筋梗塞部位703は、3次元画像で表わされている。また、第2合成画像710においても、心筋領域712はMPR画像で表わされ、心筋の内膜711は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第2合成画像710には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て第2画像生成面より奥側にある心筋の内膜711が3次元画像として表わされている。
第1合成画像700には、3次元画像内に心筋梗塞部位703が表されているが、第2合成画像710には、心筋梗塞部位は表わされていない。第2画像生成面は、回転軸Aを通って第1画像生成面に直交する面である。第1合成画像700には、心筋梗塞部位703が表されているが、回転軸Aとずれた位置に表わされている。従って、回転軸Aを通って第1画像生成面に直交する第2画像生成面上に、心筋梗塞部位が存在しないことになる。そのことにより、第2合成画像710には、心筋梗塞部位が表されない。
第1合成画像700において、心筋梗塞部位703が回転軸A上に表わされるように第1画像生成面の向きを設定すれば、変形例1と同様に、第2合成画像にも心筋梗塞部位が表される。変形例2では、画像生成面の設定を容易にするための処理を行う。以下、変形例2に係る処理について説明する。
操作者は入力部7を用いて画像生成面の変更指示を与え、更に、表示部8に表示されている心筋梗塞部位703を指定する。1例として、心筋梗塞部位703内の任意の点Pを指定する。このように、任意の点Pが指定されると、点Pの座標情報が入力部7から主制御部6に出力される。主制御部6は、点Pの座標情報を画像生成制御部11に出力し、画像生成制御部11は、点Pの座標情報を画像生成面決定部12に出力される。
画像生成面決定部12は、点Pの座標情報を受けて、点Pを通って第1画像生成面に直交する直線を求める。次に、画像生成面決定部12は、その直線と、マスク領域の表面との交点を求める。このとき、画像生成面決定部12は、第1画像生成面に対して設定されている視線方向から見て、第1画像生成面より奥側にあるマスク領域の表面と、その直線との交点を求める。次に、画像生成面決定部12は、その交点と回転軸Aとを通る平面を求め、その平面を新たな第2画像生成面として決定する。これにより、心筋梗塞部位と交差する第2画像生成面の位置が求められたことになる。
さらに、画像生成面決定部12は、新たな第2画像生成面に直交し、回転軸Aを通る平面を新たな第1画像生成面として決定する。画像生成面決定部12は、新たな第1画像生成面の座標情報と新たな第2画像生成面の座標情報とを、第1画像生成部14と第2画像生成部15とに出力する。
第1画像生成部14は、新たな第1画像生成面と第1画像生成面に直交する視線方向とに従って、マスク処理が施されたボリュームデータにボリュームレンダリングを施すことで、新たな第1の3次元画像データを生成する。一方、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、新たな第1画像生成面における新たな第1のMPR画像データを生成する。画像合成部18は、新たな第1の3次元画像データと新たな第1のMPR画像データとを合成することで、新たな第1合成画像データを生成する。
同様に、第1画像生成部14は、新たな第2画像生成面と第2画像生成面に直交する視線方向とに従って、マスク処理が施されたボリュームデータにボリュームレンダリングを施すことで、新たな第2の3次元画像データを生成する。一方、第2画像生成部15は、マスク処理が施されたボリュームデータに対してMPR処理を施すことで、新たな第2画像生成面における新たな第2のMPR画像データを生成する。画像合成部18は、新たな第2の3次元画像データと新たな第2のMPR画像データとを合成することで、新たな第2合成画像データを生成する。表示制御部17は、新たな第1合成画像データに基づく第1合成画像と、新たな第2合成画像データに基づく第2合成画像とを、並べて表示部8に同時に表示させる。
ここで、表示部8に表示される新たな第1合成画像と新たな第2合成画像とを、図9に示す。表示制御部17は、新たな第1画像生成面に従って生成された新たな第1合成画像720と、新たな第2画像生成面に従って生成された新たな第2合成画像730とを、並べて表示部8に同時に表示させる。
新たな第1合成画像720においては、心筋領域722はMPR画像で表わされ、心筋の内膜721は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第1合成画像720には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て新たな第1画像生成面より奥側にある心筋の内膜721が3次元画像として表わされている。また、第1合成画像720には、視線方向から見て心腔領域を挟んだ反対側に心筋梗塞部位723が表されている。この心筋梗塞部位723は、3次元画像で表わされている。また、第2合成画像730においても、心筋領域732はMPR画像で表わされ、心筋の内膜731は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第2合成画像730には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向から見て新たな第2画像生成面より奥側にある心筋の内膜731が3次元画像として表わされている。
また、第2合成画像730において、心筋梗塞部位733がMPR画像に表わされる。上記の処理によって、新たな第2画像生成面は、心筋梗塞部位と交差する位置に設定される。そのことにより、第2合成画像730において、心筋梗塞部位733を、心筋領域732を表すMPR画像に表わすことが可能となる。
新たな第1合成画像720において心筋梗塞部位を3次元画像で表わし、新たな第2合成画像730において心筋梗塞部位をMPR画像で表わすことが可能となる。心筋梗塞部位の分布を、3次元画像とMPR画像とで同時に観察することができるため、心筋梗塞部位の評価が容易になる。
以上のように、変形例2によると、心筋梗塞部位をMPR画像に表示させるために、視線方向の向き(画像生成面の角度)を操作者が指定する必要がなく、簡便な操作で、心筋梗塞部位が観察しやすい画像を生成することが可能となる。すなわち、第1画像生成面と第2画像生成面とを徐々に回転させながら第1合成画像と第2合成画像とを生成して表示しなくても、簡便な操作で、心筋梗塞部位が観察しやすい画像を生成することが可能となる。例えば、第1合成画像700の3次元画像に表わされている心筋梗塞部位703を、上記のように点Pによって指定するのみで、心筋梗塞部位と交差する第2画像生成面が設定されるため、第2合成画像のMPR画像において、心筋梗塞部位の断面を表示することが可能となる。例えば、第1合成画像700の3次元画像に表わされている心筋梗塞部位の中央付近を指定することで、心筋梗塞部位のほぼ中央の部分と交差する第2画像生成面を設定することができる。そのため、第2合成画像におけるMPR画像によって、心筋梗塞部位のほぼ中央の部分における断面を表示することが可能となる。
(変形例3)
変形例3では、互いに反対方向を向いている2つの視線方向を設定し、互いに反対側から見た画像データを生成する。変形例3に係る処理について図10を参照して説明する。図10は、超音波によって走査される領域を模式的に示す図である。第1画像生成部14は、マスク処理が施されたボリュームデータに対して、視線方向B1に沿ってボリュームレンダリングを施すことで、組織を立体的に表わす第1の3次元画像データを生成する。第1画像生成部14は、視線方向B1から見て画像生成面Sより手前側にある領域に含まれるデータと、マスク処理が施された領域に含まれるデータとを除いて、それ以外のデータに基づいて第1の3次元画像データを生成する。これにより、マスク処理が施された領域において、視線方向B1から見て画像生成面Sより奥側にある領域では、マスク処理が施された領域の境界に至るまでの領域において、3次元画像データは生成されない。
さらに、第1画像生成部14は、マスク処理が施されたボリュームデータに対して、視線方向B1とは逆の方向である視線方向B2に沿って、ボリュームレンダリングを施すことで、組織を立体的に表わす第2の3次元画像データを生成する。第1画像生成部14は、視線方向B2から見て画像生成面Sより手前側にある領域に含まれるデータと、マスク処理が施された領域に含まれるデータとを除いて、それ以外のデータに基づいて第2の3次元画像データを生成する。これにより、マスク処理が施された領域において、視線方向B2から見て画像生成面Sより奥側にある領域では、マスク処理が施された領域の境界に至るまでの領域において、3次元画像データは生成されない。
一方、第2画像生成部15は、マスク処理が施されたボリュームデータを対象にしてMPR処理を施すことで、画像生成面SにおけるMPR画像データを生成する。第2画像生成部15は、マスク処理が施された領域に含まれるデータを除いて、それ以外のデータに基づいて、画像生成面SにおけるMPR画像データを生成する。
そして、画像合成部18は、第1の3次元画像データとMPR画像データとを合成することで、第1合成画像データを生成する。また、画像合成部18は、第2の3次元画像データとMPR画像データとを合成することで、第2合成画像データを生成する。
表示制御部17は、第1合成画像データに基づく第1合成画像と、第2合成画像データに基づく第2合成画像とを、表示部8に同時に表示させる。ここで、表示部8に表示される第1合成画像と第2合成画像とを図11に示す。図11は、この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。
例えば、表示制御部17は、第1合成画像800と第2合成画像810とを並べて表示部8に同時に表示させる。第1合成画像800と第2合成画像810とは、それぞれ反対方向からの視線方向に従って生成された画像である。
第1合成画像800においては、心筋領域802はMPR画像で表わされ、心筋の内膜801は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第1合成画像800には、心腔領域が存在する領域の位置には、心筋の表面であって、視線方向B1から見て画像生成面Sより奥側にある心筋の内膜801が3次元画像として表わされている。第1合成画像800には、視線方向B1から見て心腔領域を挟んだ反対側に心筋梗塞部位803が表されている。この心筋梗塞部位803は、3次元画像で表わされている。
また、第2合成画像810においても、心筋領域812はMPR画像で表わされ、心筋の内膜811は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、第2合成画像810には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向B2(視線方向B1とは反対方向)から見て画像生成面Sより奥側にある心筋の内膜811が3次元画像として表わされている。
以上のように、第1合成画像800と第2合成画像810とでは、視線方向が反対である。そのため、第1合成画像800における視線方向B1を基準にすると、第2合成画像810には、視線方向B1から見て画像生成面Sより手前側にある心筋の内膜811が表されることになる。すなわち、第2合成画像810に表わされている心筋の内膜811は、視線方向B1から見て画像生成面Sより手前側にある心筋の内膜を表していることになる。このように、第2合成画像810には、第1合成画像800には表わされていない、視線方向B1から見て画像生成面Sより手前側にある心筋の内膜が表されることになる。同様に、第1合成画像800には、視線方向B2から見て画像生成面Sより手前側にある心筋の内膜801が表されることになる。すなわち、第1合成画像800に表わされている心筋の内膜801は、視線方向B2から見て画像生成面Sより手前側にある心筋の内膜を表していることになる。このように、第1合成画像800には、第2合成画像810には表わされていない、視線方向B2から見て画像生成面Sより手前側にある心筋の内膜が表されることになる。
そして、操作者が入力部7を用いて視線方向B1の向き(画像生成面の角度)を変更すると、第1画像生成部14は、変更された視線方向B1に従って第1の3次元画像データを生成し、変更された視線方向B1とは反対方向の視線方向B2に従って第2の3次元画像データを生成する。
以上のように、視線方向がそれぞれ反対方向となる第1合成画像800と第2合成画像810とを生成して表示することで、心筋領域の内面の全体を観察するために要する作業を軽減することが可能となる。例えば、1つの視線方向に従って合成画像を生成して表示する場合に比べて、画像生成面を回転させる量を半分にしても、心筋領域の内面の全体を観察することができる。例えば、1つの視線方向に従って合成画像を生成して表示する場合、心筋領域の内面の全体を観察するためには、360度に亘って画像生成面を徐々に回転させて、各角度における画像生成面における合成画像を生成して表示する必要がある。これに対して、変形例3においては、互いに反対方向の視線方向を設定して、それぞれの視線方向に従って合成画像を生成して表示するため、画像生成面を180度に亘って回転させるだけで、心筋領域の内面の全体を表示することが可能となる。
また、表示制御部17は、第1合成画像800と第2合成画像810とを同時に表示せずに、それぞれを切り替えて表示させても良い。例えば、操作者が入力部7を用いて画像の切り替え指示を与えると、表示制御部17はその切り替え指示に従って、第1合成画像800と第2合成画像810とを切り替えて表示部8に表示させる。
(変形例4)
変形例4では、心腔領域の表面を立体的に表わす3次元画像を生成して表示する。画像生成部13は、心腔領域に対してマスク処理が施されたボリュームデータを受けて、そのボリュームデータにボリュームレンダリングを施すことで、マスク領域の表面を立体的に表わす3次元画像データを生成する。すなわち、画像生成部13は、心腔領域の表面を立体的に表わす3次元画像データを生成する。さらに、画像生成部13は、画像生成面Sの座標情報を画像生成面決定部12から受け、画像生成面Sの形状を模式的に表すフレーム状の画像データを生成する。画像生成部13は、心腔領域の表面を表す3次元画像データに、フレーム状の画像データを合成することで心腔画像データを生成する。画像生成部13は、心腔画像データを表示制御部17に出力する。表示制御部17は、画像合成部18によって生成された合成画像データに基づく合成画像と、心腔画像データに基づく心腔画像とを、並べて表示部8に同時に表示させる。
ここで、心腔画像の1例を図12に示す。図12は、合成画像と心腔画像とを模式的に示す図である。表示制御部17は、画像合成部18によって生成された合成画像900と、画像生成部13によって生成された心腔画像910とを、並べて表示部8に同時に表示させる。合成画像900は、上述した実施形態と同様に、視線方向Bと画像生成面Sとに従って生成された画像である。合成画像900においては、心筋領域902はMPR画像で表わされ、心筋の内膜901は3次元画像で表わされる。心腔領域にはマスク処理が施されているため、合成画像900には、心腔領域が存在する領域の位置に、心筋の表面であって、視線方向Bから見て画像生成面Sより奥側にある心筋の内膜901が3次元画像として表わされている。また、合成画像900には、視線方向Bから見て心腔領域を挟んだ反対側に心筋梗塞部位903が表されている。この心筋梗塞部位903は、3次元画像で表わされている。
一方、心腔画像910には、マスク領域911の表面が立体的に表わされている。すなわち、心腔画像910には、心腔領域の表面が立体的に表わされている。さらに、心腔画像データには、画像生成面Sを表すフレーム状の画像データが含まれているため、表示部8に表示される心腔画像910には、画像生成面Sを表すフレーム912が表されている。また、表示制御部17は、心腔画像910を半透明にして表示部8に表示させても良い。これにより、心腔領域の表面が半透明で表示される。
操作者は、心腔画像910を観察することで、心腔領域に対する画像生成面Sの位置を容易に把握することが可能となる。そのため、操作者は心腔画像910を観察しながら、所望の位置に画像生成面Sを容易に設定することが可能となる。
また、変形例1のように、複数の画像生成面を設定して、複数の合成画像を生成して表示する場合においても、心腔画像を作成して表示しても良い。1例として、変形例1のように、2つの合成画像データを生成する場合について説明する。画像生成部13は、上述したように、心腔領域に対してマスク処理が施されたボリュームデータにボリュームレンダリングを施すことで、マスク領域(心腔領域)の表面を立体的に表わす3次元画像データを生成する。さらに、画像生成部13は、第1画像生成面の座標情報と、第1画像生成面とは異なる第2画像生成面の座標情報とを画像生成面決定部12から受ける。画像生成部13は、第1画像生成面を表すフレーム状の画像データと、第2画像生成面を表すフレーム状の画像データとを生成する。画像生成部13は、心腔領域の表面を表す3次元画像データに、第1画像生成面を表す画像データと第2画像生成面を表す画像データとを合成することで心腔画像データを生成する。表示制御部17は、第1合成画像データに基づく第1合成画像と、第2合成画像データに基づく第2合成画像と、心腔画像データに基づく心腔画像とを、並べて表示部8に同時に表示させる。
ここで、心腔画像の1例を図13に示す。図13は、合成画像と心腔画像とを模式的に示す図である。表示制御部17は、第1合成画像600と、第2合成画像610と、心腔画像920とを並べて表示部8に同時に表示させる。第1合成画像600と第2合成画像610は、画像合成部18によって生成された画像である。例えば変形例1と同様に、第1合成画像600と第2合成画像610とは、互いに直交する面における画像を表している。
また、心腔画像920には、マスク領域921(心腔領域)の表面が立体的に表わされている。さらに、心腔画像データには、第1画像生成面を表すフレーム状の画像データと、第2画像生成面を表すフレーム状の画像データとが含まれているため、表示部8に表示される心腔画像920には、第1画像生成面を表すフレーム922と、第2画像生成面を表すフレーム923とが表されている。また、表示制御部17は、心腔画像920を半透明にして表示部8に表示させても良い。
さらに、複数の合成画像を表示して、心腔画像に複数のフレームを表示する場合、表示制御部17は、フレームの表示態様をフレームごとに変えて表示部8に表示させる。図13に示す例では、表示制御部17は、第1画像生成面を表すフレーム922の表示態様と、第2画像生成面を表すフレーム923の表示態様とを変えて表示部8に表示させる。1例として、表示制御部17は、色や線の種類(実線、破線)などを変えて、各フレームを表示部8に表示させる。例えば図13に示すように、表示制御部17は、表示部8に対して、第1画像生成面を表すフレーム922を実線で表示させ、第2画像生成面を表すフレーム923を破線で表示させる。または、表示制御部17は、第1画像生成面を表すフレーム922の色と、第2画像生成面を表すフレーム923の色とを変えて表示部8に表示させても良い。
さらに、表示制御部17は、合成画像の表示欄の枠を、その合成画像が生成された画像生成面を表すフレームと同じ表示態様で表示部8に表示させる。これにより、合成画像の表示欄の枠の表示態様と、その合成画像が生成された画像生成面を表すフレームの表示態様とが対応付けられる。表示制御部17は、第1画像生成面に従って生成された第1合成画像600の表示欄の枠の表示態様と、第1画像生成面を表すフレーム922の表示態様とを同じにして表示部8に表示させる。例えば、表示制御部17は、表示欄の枠とフレームとで、色や線の種類(実線、破線)などを同じにして表示部8に表示させる。例えば図13に示すように、表示制御部17は、表示部8に対して、第1画像生成面を表すフレーム922を実線で表示させ、第1画像生成面に従って生成された第1合成画像600の表示欄の枠を実線で表示させる。一方、表示制御部17は、第2画像生成面を表すフレーム923を破線で表示させ、第2画像生成面に従って生成された第2合成画像610の表示欄の枠を破線で表示させる。または、表示制御部17は、表示部8に対して、フレーム922の色と、第1合成画像600の表示欄の枠の色とを同じにして表示させ、フレーム923の色と、第2合成画像610の表示欄の枠の色とを同じにして表示させても良い。
そして、操作者が入力部7を用いて視線方向の向き(画像生成面の角度)を変更すると、その変更に応じて、画像生成面を表すフレーム922、923の位置が変更されて表示部8に表示される。
以上のように、表示欄の枠の表示態様と、フレームの表示態様とを同じにして表示することで、操作者は、合成画像と画像生成面(フレーム)との対応関係を容易に把握することが可能となる。すなわち、操作者は、どの合成画像が、どの画像生成面に従って生成されたのかを容易に把握することが可能となる。
なお、心腔領域特定部4、回転軸特定部5、主制御部6、及び画像処理部10はそれぞれ、図示しないCPUと、ROM、RAM、HDDなどの図示しない記憶装置とを備えている。記憶装置には、心腔領域特定部4の機能を実行するための心腔領域特定プログラム、回転軸特定部5の機能を実行するための回転軸特定プログラム、主制御部6の機能を実行するための制御プログラム、及び、画像処理部10の機能を実行するための画像処理プログラムが記憶されている。また、画像処理プログラムには、画像生成制御部11の機能を実行するための画像生成制御プログラム、画像生成面決定部12の機能を実行するための画像生成面決定プログラム、画像生成部13の機能を実行するための画像生成プログラム、マスク領域変更部16の機能を実行するためのマスク領域変更プログラム、及び、表示制御部17の機能を実行するための表示制御プログラムが含まれている。また、画像生成プログラムには、第1画像生成部14の機能を実行するための第1画像生成プログラムと、第2画像生成部15の機能を実行するための第2画像生成プログラムとが含まれている。また、表示制御プログラムには、画像合成部18の機能を実行するための画像合成プログラムが含まれている。CPUが各プログラムを実行することで、各部の機能を実行する。
医用画像処理装置1と超音波診断装置100とを備えた超音波診断装置によっても、この実施形態に係る医用画像処理装置1と同じ作用と効果を奏することができる。医用画像処理装置1と超音波診断装置100とによって、この発明の「超音波診断装置」の1例を構成する。
また、この実施形態に係る医用画像処理装置1は、超音波診断装置100以外の医用画像撮影装置によって取得されたボリュームデータに基づいて合成画像データを生成しても良い。例えば、X線CT装置によって被検体のボリュームデータを取得し、医用画像処理装置1は、そのボリュームデータに基づいて合成画像データを生成しても良い。
この発明の実施形態に係る医用画像処理装置を示すブロック図である。 超音波によって走査される領域を模式的に示す図である。 この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。 超音波によって走査される領域を模式的に示す図である。 この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。 マスク領域の大きさを説明するための模式図である。 マスク領域を変更する前に生成された合成画像と、変更した後に生成された合成画像とを模式的に示す図である。 この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。 この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。 超音波によって走査される領域を模式的に示す図である。 この発明の実施形態に係る医用画像処理装置によって生成された画像を模式的に示す図である。 合成画像と心腔画像とを模式的に示す図である。 合成画像と心腔画像とを模式的に示す図である。
符号の説明
1 医用画像処理装置
2 データ送受信部
3 画像データ記憶部
4 心腔領域特定部
5 回転軸特定部
6 主制御部
7 入力部
8 表示部
10 画像処理部
11 画像生成制御部
12 画像生成面決定部
13 画像生成部
14 第1画像生成部
15 第2画像生成部
16 マスク領域変更部
17 表示制御部
18 画像合成部
100 超音波診断装置

Claims (12)

  1. 心臓を表すボリュームデータを受けて、前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定手段と、
    前記心腔領域と交差する軸を設定する軸設定手段と、
    前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定手段と、
    前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成手段と、
    前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成手段と、
    前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示手段に表示させる表示制御手段と、
    を有することを特徴とする医用画像処理装置。
  2. 前記第1画像生成手段は、前記画像生成面に直交する方向を視線方向として、前記ボリュームデータのうち前記心腔領域に含まれるデータを除くデータにレンダリング処理を施すことで、前記心腔領域を除いて、前記一方の領域の境界を立体的に表わす前記3次元画像データを生成することを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記第1画像生成手段は、さらに、前記ボリュームデータのうち、前記心腔領域よりも大きい膨張領域に含まれるデータを除くデータにレンダリング処理を施すことで、前記膨張領域を除いた領域を立体的に表わす3次元画像データを生成することを特徴とする請求項2に記載の医用画像処理装置。
  4. 前記画像生成面設定手段は、前記画像生成面の角度の指定を受けて、前記指定された角度に従って前記軸の周りに前記画像生成面を回転させて、前記画像生成面に代わる新たな画像生成面を設定し、
    前記第1画像生成手段は、前記新たな画像生成面に従って新たな3次元画像データを生成し、
    前記第2画像生成手段は、前記新たな画像生成面における新たな2次元画像データを生成し、
    前記表示制御手段は、前記新たな3次元画像データと前記新たな2次元画像データとを合成することで新たな合成画像データを生成して、前記新たな合成画像データに基づく合成画像を前記表示手段に表示させることを特徴とする請求項1から請求項3のいずれかに記載の医用画像処理装置。
  5. 前記画像生成面設定手段は、前記画像生成面と、前記軸を含み前記画像生成面に交差する第2画像生成面とを設定し、
    前記第1画像生成手段は、前記画像生成面に従って第1の3次元画像データを生成し、前記第2画像生成面に従って第2の3次元画像データを生成し、
    前記第2画像生成手段は、前記画像生成面における第1の2次元画像データを生成し、前記第2画像生成面における第2の2次元画像データを生成し、
    前記表示制御手段は、前記第1の3次元画像データと前記第1の2次元画像データとを合成することで第1合成画像データを生成し、前記第2の3次元画像データと前記第2の2次元画像データとを合成することで第2合成画像データを生成し、前記第1合成画像データに基づく第1合成画像と前記第2合成画像データに基づく第2合成画像とを前記表示手段に表示させることを特徴とする請求項1から請求項3のいずれかに記載の医用画像処理装置。
  6. 前記画像生成面設定手段は、前記軸を含み前記画像生成面に直交する面を前記第2画像生成面に設定することを特徴とする請求項5に記載の医用画像処理装置。
  7. 前記画像生成面設定手段は、前記表示手段に表示されている前記合成画像上の任意の点の指定を受けて、前記指定された点を通り、前記画像生成面に直交する直線を求め、前記直線と前記心腔領域の境界との交点を求め、前記交点と前記軸とを含む面を前記画像生成面に代わる新たな画像生成面として設定し、
    前記第1画像生成手段は、前記新たな画像生成面に従って新たな3次元画像データを生成し、
    前記第2画像生成手段は、前記新たな画像生成面における新たな2次元画像データを生成し、
    前記表示制御手段は、前記新たな3次元画像データと前記新たな2次元画像データとを合成することで新たな合成画像データを生成して、前記新たな合成画像データに基づく合成画像を前記表示手段に表示させることを特徴とする請求項1から請求項3のいずれかに記載の医用画像処理装置。
  8. 前記画像生成面設定手段は、前記新たな画像生成面と、前記軸を含み前記新たな画像生成面に直交する別の画像生成面とを設定し、
    前記第1画像生成手段は、前記新たな画像生成面に従って前記新たな3次元画像データを生成し、前記別の画像生成面に従って別の3次元画像データを生成し、
    前記第2画像生成手段は、前記新たな画像生成面における新たな2次元画像データを生成し、前記別の画像生成面における別の2次元画像データを生成し、
    前記表示制御手段は、前記新たな3次元画像データと前記新たな2次元画像データとを合成することで前記新たな合成画像データを生成し、前記別の3次元画像データと前記別の2次元画像データとを合成することで別の合成画像データを生成し、前記新たな合成画像データに基づく合成画像と、前記別の合成画像データに基づく別の合成画像とを前記表示手段に表示させることを特徴とする請求項7に記載の医用画像処理装置。
  9. 前記第1画像生成手段は、前記画像生成面に直交する第1の視線方向と、前記第1の視線方向とは向きが反対となる第2の視線方向とを設定し、前記ボリュームデータのうち前記心腔領域に含まれるデータを除くデータに、前記第1の視線方向に従ってレンダリング処理を施すことで第1の3次元画像データを生成し、前記ボリュームデータのうち前記心腔領域に含まれるデータを除くデータに、前記第2の視線方向に従ってレンダリング処理を施すことで第2の3次元画像データを生成し、
    前記表示制御手段は、前記第1の3次元画像データと前記2次元画像データとを合成することで第1合成画像データを生成し、前記第2の3次元画像データと前記2次元画像データとを合成することで第2合成画像データを生成し、前記第1合成画像データに基づく第1合成画像と、前記第2合成画像データに基づく第2合成画像とを前記表示手段に表示させることを特徴とする請求項2又は請求項3のいずれかに記載の医用画像処理装置。
  10. 前記ボリュームデータに基づいて、前記心腔領域の表面を立体的に表わす3次元画像データを生成し、前記画像生成面を枠状に表わす画像データを生成し、前記心腔領域を表す3次元画像データと前記画像生成面を表す画像データとを合成することで心腔画像データを生成する画像生成手段を更に有し、
    前記表示制御手段は、前記心腔画像データに基づく心腔画像を更に前記表示手段に表示させることを特徴とする請求項1から請求項9のいずれかに記載の医用画像処理装置。
  11. 被検体の心臓を撮影対象にして、前記被検体に超音波を送信し、前記被検体からの反射波に基づいて、前記被検体の心臓を表すボリュームデータを取得する画像取得手段と、
    前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定手段と、
    前記心腔領域と交差する軸を設定する軸設定手段と、
    前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定手段と、
    前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成手段と、
    前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成手段と、
    前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示手段に表示させる表示制御手段と、
    を有することを特徴とする超音波診断装置。
  12. コンピュータに、
    心臓を表すボリュームデータを受けて、前記ボリュームデータに表わされている心腔領域の位置を特定する心腔領域特定機能と、
    前記心腔領域と交差する軸を設定する軸設定機能と、
    前記ボリュームデータに対して、前記軸を含む画像生成面を設定する画像生成面設定機能と、
    前記ボリュームデータに基づいて、前記心腔領域の境界であって、前記画像生成面によって分けられた前記心腔領域の一方の領域の境界を立体的に表わす3次元画像データを生成する第1画像生成機能と、
    前記ボリュームデータのうち、前記心腔領域に含まれるデータを除くデータに基づいて、前記画像生成面における領域を2次元的に表わす2次元画像データを生成する第2画像生成機能と、
    前記3次元画像データと前記2次元画像データとを合成することで合成画像データを生成して、前記合成画像データに基づく合成画像を表示装置に表示させる表示制御機能と、
    を実行させるための医用画像処理プログラム。
JP2008209664A 2008-08-18 2008-08-18 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム Expired - Fee Related JP5637653B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008209664A JP5637653B2 (ja) 2008-08-18 2008-08-18 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
US12/497,984 US7991108B2 (en) 2008-08-18 2009-07-06 Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (computed tomography) apparatus, and method of processing medical image
EP09008869.1A EP2157546B1 (en) 2008-08-18 2009-07-07 Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (Computed Tomography) apparatus, and method of processing medical image
CN200910165187XA CN101653381B (zh) 2008-08-18 2009-07-27 医用图像处理装置、超声波图像取得装置以及x射线ct装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008209664A JP5637653B2 (ja) 2008-08-18 2008-08-18 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2010042190A true JP2010042190A (ja) 2010-02-25
JP5637653B2 JP5637653B2 (ja) 2014-12-10

Family

ID=41334373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008209664A Expired - Fee Related JP5637653B2 (ja) 2008-08-18 2008-08-18 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム

Country Status (4)

Country Link
US (1) US7991108B2 (ja)
EP (1) EP2157546B1 (ja)
JP (1) JP5637653B2 (ja)
CN (1) CN101653381B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102805648A (zh) * 2011-05-10 2012-12-05 通用电气公司 采用横切面图像进行超声成像的系统和方法
JP2014000393A (ja) * 2012-05-22 2014-01-09 Toshiba Corp 医用画像診断装置及び画像表示装置
JP2017202125A (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008055132A1 (de) * 2008-12-23 2010-07-01 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zum Navigieren in einem mehrdimensionalen Bilddatensatz
US8934686B2 (en) * 2009-11-26 2015-01-13 Algotec Systems Ltd. User interface for selecting paths in an image
JP5606076B2 (ja) * 2010-01-08 2014-10-15 株式会社東芝 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US9401047B2 (en) * 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
JP5798117B2 (ja) * 2010-06-30 2015-10-21 富士フイルム株式会社 超音波診断装置及び超音波診断装置の作動方法
EP2589342A1 (en) * 2010-06-30 2013-05-08 FUJIFILM Corporation Ultrasound diagnosis device and ultrasound diagnosis method
JP5844093B2 (ja) * 2010-09-15 2016-01-13 株式会社東芝 医用画像処理装置及び医用画像処理方法
WO2012053514A1 (ja) * 2010-10-19 2012-04-26 株式会社 東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理方法
JP5226887B2 (ja) * 2011-06-09 2013-07-03 株式会社東芝 画像処理システム及び方法
JP5784379B2 (ja) * 2011-06-15 2015-09-24 株式会社東芝 画像処理システム、装置及び方法
JP5846777B2 (ja) 2011-06-28 2016-01-20 株式会社東芝 医用画像処理装置
JP6266217B2 (ja) * 2012-04-02 2018-01-24 東芝メディカルシステムズ株式会社 医用画像処理システム、方法及びプログラム
KR101538658B1 (ko) * 2012-11-20 2015-07-22 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
KR102146851B1 (ko) * 2013-02-08 2020-08-21 삼성전자주식회사 효율적인 진단 정보 제공을 통한 진단 지원 장치 및 방법과, 진단 시스템
US9865086B2 (en) * 2014-03-21 2018-01-09 St. Jude Medical, Cardiololgy Division, Inc. Methods and systems for generating a multi-dimensional surface model of a geometric structure
CN109671056B (zh) * 2018-12-03 2020-10-27 西安交通大学 一种基于x射线图像的复合轨枕孔隙缺陷检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210289A (ja) * 1998-11-16 2000-08-02 Toshiba Corp 3次元超音波診断装置
WO2006033377A1 (ja) * 2004-09-24 2006-03-30 Hitachi Medical Corporation 医用画像表示装置及び方法並びにプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493595A (en) * 1982-02-24 1996-02-20 Schoolman Scientific Corp. Stereoscopically displayed three dimensional medical imaging
JPS6476374A (en) * 1987-09-18 1989-03-22 Toshiba Corp Depth map producing device
US4882679A (en) * 1987-11-27 1989-11-21 Picker International, Inc. System to reformat images for three-dimensional display
US5371778A (en) * 1991-11-29 1994-12-06 Picker International, Inc. Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images
US5734384A (en) * 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5694530A (en) * 1994-01-18 1997-12-02 Hitachi Medical Corporation Method of constructing three-dimensional image according to central projection method and apparatus for same
JP3383072B2 (ja) 1994-05-24 2003-03-04 株式会社東芝 画像処理方法及び画像処理装置
US6175655B1 (en) * 1996-09-19 2001-01-16 Integrated Medical Systems, Inc. Medical imaging system for displaying, manipulating and analyzing three-dimensional images
JPH1099328A (ja) 1996-09-26 1998-04-21 Toshiba Corp 画像処理装置及び画像処理方法
JP3117665B2 (ja) * 1997-08-26 2000-12-18 ジーイー横河メディカルシステム株式会社 画像表示方法および画像表示装置
JP2000051202A (ja) * 1998-08-14 2000-02-22 Ge Yokogawa Medical Systems Ltd 画像表示方法および画像表示装置
JP3668629B2 (ja) 1999-01-29 2005-07-06 株式会社東芝 画像診断装置及び画像処理方法
JP2000250804A (ja) 1999-03-04 2000-09-14 Pfu Ltd データベース登録システム及び方法
US6278767B1 (en) * 1999-04-28 2001-08-21 General Electric Company Methods for measuring curved distances on 3D and MIP images
GB2361396B (en) * 2000-04-10 2002-04-03 Voxar Ltd Imaging volume data
JP3442346B2 (ja) * 2000-06-01 2003-09-02 カナガワ アンド カンパニー株式会社 画像形成装置及びこれを用いた画像の構成方法
US6487432B2 (en) * 2000-12-04 2002-11-26 Ge Medical Systems Global Technologies Company Llc Method and system for selecting and displaying medical image data
JP4060615B2 (ja) 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US7154985B2 (en) * 2003-05-13 2006-12-26 Medical Insight A/S Method and system for simulating X-ray images
US7233329B2 (en) * 2003-11-03 2007-06-19 Siemens Corporate Research, Inc. Rendering for coronary visualization
JP2005161032A (ja) 2003-11-10 2005-06-23 Toshiba Corp 画像処理装置
US7035371B2 (en) * 2004-03-22 2006-04-25 Siemens Aktiengesellschaft Method and device for medical imaging
US7428334B2 (en) * 2004-08-27 2008-09-23 General Electric Company Methods and systems for 3D segmentation of ultrasound images
JP4297869B2 (ja) * 2004-12-07 2009-07-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線撮影装置
JP4450786B2 (ja) * 2005-11-15 2010-04-14 ザイオソフト株式会社 画像処理方法および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210289A (ja) * 1998-11-16 2000-08-02 Toshiba Corp 3次元超音波診断装置
WO2006033377A1 (ja) * 2004-09-24 2006-03-30 Hitachi Medical Corporation 医用画像表示装置及び方法並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102805648A (zh) * 2011-05-10 2012-12-05 通用电气公司 采用横切面图像进行超声成像的系统和方法
JP2014000393A (ja) * 2012-05-22 2014-01-09 Toshiba Corp 医用画像診断装置及び画像表示装置
JP2017202125A (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法
WO2017195540A1 (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法

Also Published As

Publication number Publication date
CN101653381A (zh) 2010-02-24
JP5637653B2 (ja) 2014-12-10
US20100040200A1 (en) 2010-02-18
CN101653381B (zh) 2012-02-01
EP2157546B1 (en) 2020-11-25
US7991108B2 (en) 2011-08-02
EP2157546A3 (en) 2014-03-26
EP2157546A2 (en) 2010-02-24

Similar Documents

Publication Publication Date Title
JP5637653B2 (ja) 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
JP5433240B2 (ja) 超音波診断装置及び画像表示装置
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
JP4786307B2 (ja) 画像処理装置
US10123780B2 (en) Medical image diagnosis apparatus, image processing apparatus, and image processing method
JP2009018115A (ja) 3次元超音波診断装置
US20100007663A1 (en) Medical image display control device and method for operating medical image display control device
US8781196B2 (en) Methods and systems for defining a VOI in an ultrasound imaging space
JP2006223449A (ja) 断面表示装置、及び、そのプログラム
JP2001084409A (ja) 三次元画像処理方法及び三次元画像処理装置
JP5454841B2 (ja) 医用画像処理装置
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5170993B2 (ja) 画像処理装置及び該画像処理装置を備える医用診断装置
JP2001128982A (ja) 超音波画像診断装置および画像処理装置
KR101014559B1 (ko) 3차원 초음파 영상 제공 초음파 시스템 및 방법
JP5305635B2 (ja) 医用画像表示装置
JP2011036474A (ja) 画像処理装置及び超音波診断装置
JP5487339B2 (ja) 医用画像処理装置
JP5583472B2 (ja) 医用画像診断装置及び制御プログラム
JP2019170412A (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
JP2009225917A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141021

R150 Certificate of patent or registration of utility model

Ref document number: 5637653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees