JP2009000448A - 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム - Google Patents

超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム Download PDF

Info

Publication number
JP2009000448A
JP2009000448A JP2007166851A JP2007166851A JP2009000448A JP 2009000448 A JP2009000448 A JP 2009000448A JP 2007166851 A JP2007166851 A JP 2007166851A JP 2007166851 A JP2007166851 A JP 2007166851A JP 2009000448 A JP2009000448 A JP 2009000448A
Authority
JP
Japan
Prior art keywords
tomographic image
time phase
contour
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007166851A
Other languages
English (en)
Other versions
JP4966108B2 (ja
Inventor
Hiroyuki Ouchi
啓之 大内
Yasuhiko Abe
康彦 阿部
Tetsuya Kawagishi
哲也 川岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2007166851A priority Critical patent/JP4966108B2/ja
Priority to US12/144,047 priority patent/US8055040B2/en
Publication of JP2009000448A publication Critical patent/JP2009000448A/ja
Application granted granted Critical
Publication of JP4966108B2 publication Critical patent/JP4966108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52036Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52042Details of receivers using analysis of echo signal for target characterisation determining elastic properties of the propagation medium or of the reflective target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52071Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Remote Sensing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Cardiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】特定組織の歪みのばらつきの影響を低減し、特定組織の運動状態の評価に用いられる情報を提供する。
【解決手段】輪郭追跡部11は、各心時相に取得された断層像データにおける特定組織の輪郭を構成する各点の位置を心時相ごとにパターンマッチングによって求める。演算部20は、輪郭を構成する各点の位置に基づいて、特定組織を構成する各部の歪みを心時相ごとに求め、その歪みに基づいて歪み率を求め、さらに、各部の歪み率を各部の最大歪みで除算することで規格化された歪み率を求める。さらに演算部20は、規格化された歪み率の大きさに応じた色を各部に対して割り当てる。表示制御部7は、各心時相に取得された断層像を心時相ごとに表示部81に表示させ、さらに、各心時相の断層像に表された特定組織の各部を、各部に対して割り当てられた色で表示させる。
【選択図】図1

Description

この発明は、超音波によって被検体の超音波画像を取得し、その超音波画像を利用して被検体の運動状態を求める超音波診断装置に関する。また、超音波画像を利用して被検体の運動状態を求める超音波画像処理装置、及び超音波画像処理プログラムに関する。
心臓の心筋などの生体組織について、その機能を客観的かつ定量的に評価することは、その生体組織の診断にとって非常に重要である。例えば、超音波診断装置によって心臓の画像データを取得し、その画像データに基づく定量的な評価方法が提案されている。
例えば、画像のスペックルパターンを追跡することで、組織の変位や歪みなどの運動情報を求める手法が提案されている(例えば特許文献1参照)。この手法は、画像のスペックルパターンを用いてパターンマッチングを行っており、スペックルトラッキング(Speckle Tracking)と称されている。
具体例として心臓の心筋を評価する場合、心臓に対して超音波を送信することで、心時相ごとに断層像データを取得する。そして、スペックルトラッキングによってパターンマッチングを行うことで、内膜と外膜の変位を心時相ごとに求めることができる。そして、各心時相における内膜と外膜の変位に基づいて、各時相における心筋の歪み(Strain)を求め、さらに、歪みの時間変化率を表す歪み率(Strain Rate)を求めることができる。この歪み率は、心臓が拡張する際の速度に対応する値である。歪み率が大きいほど、拡張能が正常であることを示している。従って、歪み率は、拡張能を評価するときの指標の1つとして用いられる。以上のように、変位、歪み、又は歪み率などの壁運動情報を求めることで、心臓の評価を行っている。
特開2003−175041号公報
しかしながら、健康な心臓であっても、各心時相における歪みの絶対値にばらつきが生じてしまう。この歪みから求められる歪み率にも、そのばらつきは影響する。そのため、歪み率の絶対値を用いた評価方法では、心筋の各部の拡張能を適切に評価することは困難であった。
この発明は上記の問題点を解決するものであり、特定組織の歪みのばらつきの影響を低減し、特定組織の運動状態の評価に用いられる情報を提供する超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラムを提供することを目的とする。
請求項1に記載の発明は、被検体を超音波で走査することで、時相ごとに断層像データを取得する画像取得手段と、所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡手段と、前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに応じた色を前記各部に対して割り当てる演算手段と、前記各時相に取得された断層像データに基づく断層像を時相ごとに表示手段に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御手段と、を有することを特徴とする超音波診断装置である。
また、請求項4に記載の発明は、被検体を超音波で走査することで時相ごとに取得された断層像データを受け付け、さらに、所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡手段と、前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに対応する色を前記各部に対して割り当てる演算手段と、前記各時相に取得された断層像データに基づく断層像を時相ごとに表示手段に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御手段と、を有することを特徴とする超音波画像処理装置である。
また、請求項5に記載の発明は、コンピュータに、被検体を超音波で走査することで時相ごとに取得された断層像データを受け付け、さらに、所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡機能と、前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに対応する色を前記各部に対して割り当てる演算機能と、前記各時相に取得された断層像データに基づく断層像を時相ごとに表示装置に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御機能と、を実行させることを特徴とする超音波画像処理プログラムである。
この発明によると、特定組織の歪み率を歪みの絶対値の最大値で規格化することで、歪みの絶対値のばらつきの影響を低減することが可能となる。そのことにより、特定組織の運動状態をより適切に表示することが可能となる。
この発明の実施形態に係る超音波診断装置について図1を参照して説明する。図1は、この発明の第1実施形態に係る超音波診断装置を示すブロック図である。
超音波プローブ2には、複数の超音波振動子が所定方向(走査方向)に1列に配列された1次元アレイプローブ、又は、複数の超音波振動子が2次元的に配置された2次元アレイプローブが用いられる。また、超音波振動子が所定方向(走査方向)に配列され、超音波振動子を走査方向に直交する方向(揺動方向)に機械的に揺動可能な1次元アレイプローブを用いても良い。
送受信部3は送信部と受信部とを備え、超音波プローブ2に電気信号を供給して超音波を発生させ、超音波プローブ2が受信したエコー信号を受信する。
送受信部3の送信部は、図示しないクロック発生回路、送信遅延回路、及びパルサ回路を備えている。クロック発生回路は、超音波信号の送信タイミングや送信周波数を決めるクロック信号を発生する回路である。送信遅延回路は、超音波の送信時に遅延を掛けて送信フォーカスを実施する回路である。パルサ回路は、各超音波振動子に対応した個別経路(チャンネル)の数分のパルサを内蔵し、遅延が掛けられた送信タイミングで駆動パルスを発生し、超音波プローブ2の各超音波振動子に供給するようになっている。
送受信部3の受信部は、プリアンプ回路、A/D変換回路、及び受信遅延・加算回路を備えている。プリアンプ回路は、超音波プローブ2の各超音波振動子から出力されるエコー信号を受信チャンネルごとに増幅する。A/D変換回路は、増幅されたエコー信号をA/D変換する。受信遅延・加算回路は、A/D変換後のエコー信号に対して受信指向性を決定するのに必要な遅延時間を与え、加算する。その加算により、受信指向性に応じた方向からの反射成分が強調される。なお、この送受信部3によって加算処理された信号を「RFデータ(生データ)」と称する場合がある。送受信部3は、RFデータを信号処理部4に出力する。
なお、超音波プローブ2と送受信部3がこの発明の「画像取得手段」の1例に相当する。
信号処理部4は、Bモード処理部やCFM処理部などを備えて構成されている。Bモード処理部は、エコーの振幅情報の映像化を行う。具体的には、Bモード処理部は送受信部3から出力された受信信号に対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波し、検波されたデータに対して対数変換による圧縮処理を施す。また、CFM処理部は、動いている血流情報の映像化を行う。血流情報には、速度、分散、パワー等の情報があり、血流情報は2値化情報として得られる。
画像生成部5は、走査線信号列で表される信号処理後のデータを、空間座標に基づいた座標系のデータに変換する(デジタルスキャンコンバージョン)。例えば、画像生成部5は、Bモード処理部から出力された信号処理後のデータに対してスキャンコンバージョン処理を施すことで、被検体の組織形状を表すBモード画像データ(以下、「断層像データ」と称する場合がある)を生成する。そして、画像生成部5は、断層像データなどの超音波画像データを記憶部6に出力する。
また、ボリュームスキャンが行なわれている場合、画像生成部5は、信号処理部4からボリュームデータを受け、そのボリュームデータにボリュームレンダリングを行うことで3次元画像データを生成するようにしても良い。さらに、画像生成部5は、ボリュームデータにMPR処理(Multi Plannar Reconstruction)を施すことにより、MPR画像データ(任意断面の画像データ)を生成するようにしても良い。そして、画像生成部5は、3次元画像データやMPR画像データなどの超音波画像データを記憶部6に出力する。
画像生成部5によって生成された断層像データや3次元画像データなどの超音波画像データは、記憶部6に記憶される。また、被検体のECG信号が取得されている場合、制御部9は、ECG信号(心電波形)を超音波診断装置1の外部から受け付け、超音波画像データにその超音波画像データが生成されたタイミングで受け付けた心時相を対応付けて記憶部6に記憶させる。
第1実施形態に係る超音波診断装置1は、被検体の心臓を超音波で走査することで、心臓を表す断層像データを心時相ごとに取得する。すなわち、超音波診断装置1は、心臓の動画像データを取得する。例えば、1心周期以上に亘って被検体の心臓を超音波で走査することで、1心周期以上に亘って複数の断層像データ(心臓の動画像データ)を取得する。また、ECG信号が取得されている場合、制御部9は、各断層像データにその断層像データが生成されたタイミングで受け付けた心時相を対応付けて記憶部6に記憶させる。これにより、複数の断層像データのそれぞれに、断層像データが生成された心時相が対応付けられて記憶部6に記憶される。
表示制御部7は、記憶部6から断層像データを読み込み、その断層像データに基づく断層像を表示部81に表示させる。例えば、操作者が操作部82を用いて任意の心時相を指定すると、表示制御部7は指定された心時相が対応付けられた断層像データを記憶部6から読み込み、その断層像データに基づく断層像を表示部81に表示させる。
画像処理部10は、輪郭追跡部11とマーカ生成部12を備えている。画像処理部10は、心臓を表す断層像上にて指定された輪郭を初期輪郭として設定し、取得された心時相が異なる2つの断層像間のパターンマッチングによって、各心時相における輪郭を構成する各点の位置を求める。
ここで、上記初期輪郭の指定方法について説明する。この実施形態では、特定組織としての心臓の内膜と外膜の輪郭を指定する場合について説明する。まず、操作者が操作部82を用いて任意の心時相を指定する。表示制御部7は、操作者によって指定された心時相に取得された断層像データを記憶部6から読み込み、その断層像データに基づく断層像を表示部81に表示させる。この実施形態では、心臓の断層像データを取得しているため、心臓の断層像が表示部81に表示される。例えば、超音波の送受信によって心臓の横断面画像データを取得し、心臓の横断面画像を表示部81に表示させる。
例えば、拡張末期(R波が検出された心時相)、又は、収縮末期(R波が検出された心時相から所定時間経過後の心時相)が操作者によって指定されると、表示制御部7は、拡張末期に取得された断層像データ、又は収縮末期に取得された断層像データを記憶部6から読み込み、その断層像データに基づく断層像を表示部81に表示させる。断層像データには、その断層像データが取得された心時相が対応付けられて記憶部6に記憶されているため、表示制御部7は、拡張末期や収縮末期などの心時相に取得された断層像データを記憶部6から読み込んで、その心時相における断層像データに基づく断層像を表示部81に表示させる。
心臓の断層像には、心臓の内膜や外膜の他、乳頭筋や腱索などが表されている。操作者は、表示部81に表示されている心臓の断層像(例えば心臓の横断面画像)を観察しながら、操作部82を用いて、心臓の断層像に表されている乳頭筋や腱索が含まれないように心臓の内膜の輪郭を指定する。心筋の評価においては、乳頭筋や腱索がノイズとなるため、乳頭筋や腱索を避けて内膜を指定する。例えば、操作者は操作部82を用いて、断層像に表されている内膜の2次元的な輪郭をなぞることで、内膜の2次元的な輪郭を指定する。このように内膜の2次元的な輪郭が指定されると、ユーザインターフェース(UI)8から内膜の2次元的な輪郭の座標情報が制御部9を介して画像処理部10に出力される。
さらに、操作者は操作部82を用いて、断層像に表されている外膜の2次元的な輪郭をなぞることで、外膜の2次元的な輪郭を指定する。このように外膜の2次元的な輪郭が指定されると、ユーザインターフェース(UI)8から外膜の2次元的な輪郭の座標情報が制御部9を介して画像処理部10に出力される。
画像処理部10においては、輪郭追跡部11が、内膜の輪郭の座標情報と外膜の輪郭の座標情報をユーザインターフェース(UI)8から受け付ける。ここで指定された内膜と外膜の2次元的な輪郭が、輪郭追跡部11において内膜と外膜の初期輪郭に設定される。例えば、R波が検出された心時相における内膜と外膜の2次元的な輪郭が初期輪郭に設定される。
以上のように、操作者によって所定の心時相における内膜の2次元的な輪郭(内膜の初期輪郭)が指定されると、輪郭追跡部11は、スペックルパターンを用いた2画像間のパターンマッチングによって、各心時相で取得された断層像データごとに、初期輪郭によって指定された内膜の2次元的な輪郭を構成する各点の位置を求める。そして、輪郭追跡部11は、内膜の2次元的な輪郭を構成する各点を時間的に追跡(トラッキング)する。
例えば、輪郭追跡部11は、初期輪郭に指定された内膜の輪郭を構成する各点の座標情報を受け、さらに、その初期輪郭が検出された断層像データ(以下、「断層像データA」と称する場合がある)の次の心時相に生成された断層像データ(以下、「断層像データB」と称する場合がある)を記憶部6から読み込む。そして、輪郭追跡部11は、スペックルパターンを用いた時間的に連続する2つの断層像間(断層像Aと次の断層像B)のパターンマッチングを行うことにより、初期輪郭に指定された内膜の輪郭を構成する各点の移動ベクトルを求める。この移動ベクトルは、輪郭を構成する各点の変位と、各点が変位した移動方向を表している。つまり、輪郭追跡部11は、2つの断層像間のパターンマッチングを行い、スペックルの移動量を算出することで、輪郭を構成する各点の移動ベクトルを求める。このように輪郭を構成する各点の移動ベクトルを求めることで、初期輪郭が指定された断層像データAの次の断層像データBが生成された心時相における内膜の輪郭を構成する各点の位置が求められる。
さらに輪郭追跡部11は、断層像データBの次の心時相に生成された断層像データ(以下、「断層像データC」と称する場合がある)を記憶部6から読み込み、スペックルパターンを用いた時間的に連続する2つの断層像間(断層像Bと断層像C)のパターンマッチングによって、内膜の輪郭を構成する各点の移動ベクトルを求める。これにより、断層像データCが生成された心時相における内膜の輪郭を構成する各点の位置が求められる。
以上のようにして、輪郭追跡部11は、スペックルパターンを用いたパターンマッチングによって、初期輪郭に設定された内膜の輪郭を構成する各点における移動ベクトルを各断層像データが生成された心時相ごとに求め、内膜の輪郭を構成する各点における移動ベクトルを時間的に追跡する。その結果、内膜の2次元的な輪郭を構成する各点を時間的に追跡することが可能となる。例えば、輪郭追跡部11は、1心周期に亘って取得された全ての断層像データについて、各心時相における内膜の2次元的な輪郭を構成する各点の位置を求める。これにより、1心周期に亘って、各心時相における内膜の2次元的な輪郭を構成する各点の位置が求められる。
また、外膜の2次元的な輪郭(外膜の初期輪郭)が設定されると、輪郭追跡部11は、内膜の追跡と同様に、スペックルパターンを用いた2画像間のパターンマッチングによって、各心時相で生成された断層像データごとに、外膜の2次元的な輪郭を構成する各点の位置を求める。そして、輪郭追跡部11は、外膜の2次元的な輪郭を構成する各点を時間的に追跡する。
なお、輪郭追跡部11は、指定された内膜を構成する各点における法線ベクトルを求め、内膜からその法線ベクトル方向へ一定距離外側の位置を、心臓の外膜の2次元的な輪郭と定義しても良い。例えば、輪郭追跡部11は、内膜の位置から8mm外側の位置を外膜の輪郭と定義する。この一定距離は、操作者によって任意の値に変えることが可能である。ここで定義された外膜の2次元的な輪郭は、輪郭追跡部11において追跡対象となる外膜の初期輪郭に設定される。そして、輪郭追跡部11は、外膜の2次元的な輪郭を構成する各点を時間的に追跡する。
そして、輪郭追跡部11は、各心時相における内膜と外膜の2次元的な輪郭を構成する各点の座標情報を演算部20に出力する。演算部20は、歪み算出部21、歪み率算出部22、規格化部23、及び色決定部24を備えている。そして、演算部20は、各心時相における内膜と外膜の2次元的な輪郭を構成する各点の座標情報を輪郭追跡部11から受けて、心臓の壁運動情報を求める。以下、演算部20を構成する各部の機能について説明する。
歪み算出部21は、各心時相における内膜と外膜の2次元的な輪郭を構成する各点の座標情報に基づいて、各心時相における内膜と外膜の変位を求める。そして、歪み算出部21は、各心時相における内膜と外膜の変位に基づいて、各心時相における心筋の歪み(Strain)を求める。例えば、歪み算出部21は、R波が検出された心時相を初期時相とし、その初期時相における内膜と外膜の2次元的な輪郭と、その他の心時相における内膜と外膜の2次元的な輪郭とを比べて、各心時相における内膜と外膜の変位を求める。そして、歪み算出部21は、各心時相における変位に基づいて、各心時相における歪みを求める。
ここでは歪みの1例として、内膜と外膜の間の厚さ方向(壁厚方向)の歪みを求める場合について説明する。上述したように、各心時相における内膜と外膜の2次元的な輪郭が求められている場合、歪み算出部21は、各心時相における内膜の2次元的な輪郭を構成する各点の座標情報と、各心時相における外膜の2次元的な輪郭を構成する各点の座標情報とに基づいて、各心時相における壁厚方向の歪みを求める。
壁厚方向の歪みを求めるための処理について、図2を参照して説明する。図2は、内膜と外膜の輪郭を模式的に示す図である。
例えば、歪み算出部21は、輪郭追跡部11によって求められた内膜の輪郭100上の点101において、内膜の輪郭100に直交する線を求める。そして、歪み算出部21は、その直交する線が外膜の輪郭200と交わる点201を求める。歪み算出部21は、各心時相における内膜の輪郭100上の点101と、外膜の輪郭200上の点201との間の距離L(t)に基づいて、各心時相における点101と点201間の歪み(壁厚方向の歪み)を求める。
例えば、内膜と外膜の初期輪郭が設定された心時相を初期時相とし、その初期時相における点101と点201との間の距離を距離L(0)とする。具体的には、R波が検出された心時相の断層像上で内膜と外膜の初期輪郭が指定された場合、R波が検出された心時相が初期時相となる。また、任意の心時相における点101と点201との間の距離を距離L(t)とする。
そして、歪み算出部21は、輪郭追跡部11から各心時相における内膜と外膜の2次元的な輪郭を構成する各点の座標情報を受けて、任意の心時相における距離L(t)と初期時相における距離L(0)との差分ΔL(t)を求める。すなわち、歪み算出部21は、L(t)−L(0)=ΔL(t)を求める。この差分ΔL(t)が、膜厚の変位に相当する。
次に、歪み算出部21は、差分ΔL(t)を初期時相における距離L(0)で除算することで、任意の心時相における壁厚方向の歪みS(t)を求める。すなわち、歪み算出部21は、ΔL(t)/L(0)=S(t)を求める。
歪み算出部21は、内膜の輪郭100と外膜の輪郭200において、所定間隔ごとに壁厚方向の歪みS(t)を求める。すなわち、歪み算出部21は、心臓の内膜と外膜において、複数箇所の歪みS(t)を求める。例えば、歪み算出部21は、輪郭100、200上において1°間隔ごとに壁厚方向の歪みS(t)を求めることで、計360箇所の歪みS(t)を求める。
以上のように、歪み算出部21は、心筋の各箇所における壁厚方向の歪みS(t)を心時相ごとに求める。そして、歪み算出部21は、各心時相における各箇所の壁厚方向の歪みS(t)を、歪み率算出部22に出力する。
さらに、歪み算出部21は、所定の心時相間において、心筋の各箇所における歪みの絶対値の最大値(最大歪みSmax)を求める。そして、歪み算出部21は、心筋の各箇所における最大歪みSmaxを規格化部23に出力する。例えば、1心周期に亘って心臓を評価する場合、歪み算出部21は、その1心周期において、心筋の各箇所における最大歪みSmaxを求める。
歪み率算出部22は、各心時相における各箇所の壁厚方向の歪みS(t)を時間微分することで、歪みS(t)の時間変化率を表す歪み率(速度)SR(t)を心時相ごとに求める。そして、歪み率算出部22は、各心時相における各箇所の歪み率SR(t)を規格化部23に出力する。
規格化部23は、各心時相における各箇所の歪み率SR(t)を、各箇所の最大歪みSmaxで除算する。すなわち、規格化部23は、SR(t)/Smax=nSR(t)を求める。そして、規格化部23は、各心時相における各箇所のnSR(t)を色決定部24に出力する。
色決定部24は、最大歪みSmaxで規格化された歪み率nSR(t)の大きさに対応する色を決定する。例えば、色決定部24は、規格化された歪み率nSR(t)の大きさによって異なる色を割り当てる。例えば、各歪み率nSR(t)の大きさに割り当てる色を予め決めておく。そして、歪み率nSR(t)の大きさと、色とが対応付けられたテーブルを予め作成して、記憶部(図示しない)に記憶させておく。このテーブルには、歪み率nSR(t)の大きさによって異なる色が対応付けられている。色決定部24は、そのテーブルを参照することで、各心時相における各箇所の歪み率nSR(t)の大きさに対応する色を決定する。そして、色決定部24は、各心時相における各箇所の座標情報と、その箇所に割り当てられた色を示す情報を表示制御部7に出力する。
表示制御部7は、各心時相に取得された断層像データに基づく断層像を表示部81に表示させる。さらに、表示制御部7は、各心時相における心筋(内膜と外膜の間の範囲)の各箇所の座標情報と、各箇所に割り当てられた色を示す情報を色決定部24から受ける。そして、表示制御部7は、各心時相の断層像上において、心筋の各箇所に、色決定部24によって決定された色を割り当てて表示部81に表示させる。このとき、表示制御部7は、各箇所を中心として所定の幅を持った範囲に、各箇所に対して決定された色を割り当てて表示部81に表示させる。
ここで、各箇所に対する着色の1例について図3を参照して説明する。図3は、内膜と外膜の輪郭を模式的に示す図である。表示制御部7は、各心時相における心筋(内膜と外膜の間の範囲)の各箇所の座標情報と、各箇所に割り当てられた色を示す情報を色決定部24から受けると、断層像に表された内膜の輪郭100と外膜の輪郭200の間の範囲の各箇所を、各箇所に対して決定された色を割り当てて表示部81に表示させる。
例えば、表示制御部7は、内膜の輪郭100上の点101と外膜の輪郭200上の点201との間の範囲であって、円周方向に所定の幅を持った範囲301に、その箇所に対して決定された色を割り当てて表示部81に表示させる。そして、規格化された歪み率nSR(t)を1°間隔ごとに求めている場合、表示制御部7は、1°間隔ごとに、規格化された歪み率nSR(t)の大きさに応じた色を割り当てて表示部81に表示させる。例えば、表示制御部7は、内膜の輪郭100上の点102と外膜の輪郭200上の点202との間の範囲であって、円周方向に所定の幅を持った範囲に、その箇所に対して決定された色を割り当てて表示部81に表示させる。同様に、表示制御部7は、内膜の輪郭100上の点103と外膜の輪郭200上の点203との間についても、その箇所に対して決定された色を割り当てて表示部81に表示させる。
規格化された歪み率nSR(t)の大きさによって異なる色が割り当てられて表示部81に表示されるため、その色を参照することで、心筋の各箇所における歪み率nSR(t)の大きさを容易に認識することができる。そして、表示部81に表示されている色を観察することで、心臓の拡張能を評価することができる。すなわち、ある箇所に割り当てられている色が他の箇所と異なる場合、その箇所における拡張能の異常を容易に把握することができる。例えば、内膜の輪郭100上の点110と外膜の輪郭200上の点210との間の範囲310に、他の箇所とは異なる色が割り当てられている場合、その範囲310に相当する箇所の拡張能が異常であることを容易に把握することが可能となる。具体的には、その箇所における拡張能の低下又は増強を容易に把握することが可能となる。
また、画像処理部10のマーカ生成部12は、操作者によって指定された内膜と外膜の2次元的な輪郭の座標情報に基づいて、内膜と外膜の初期輪郭を表すマーカを生成する。そして、表示制御部7は、初期輪郭が指定された断層像データに基づく断層像を表示部81に表示させ、さらに、その断層像に初期輪郭を表すマーカを重ねて表示部81に表示させる。
また、マーカ生成部12は、輪郭追跡部11から各心時相における内膜と外膜の2次元的な輪郭を構成する各点の座標情報を受けると、各心時相における内膜と外膜の2次元的な輪郭を表すマーカを生成する。そして、表示制御部7は、各心時相に取得された断層像データに基づく断層像を心時相ごとに、順次、表示部81に表示させる。さらに、表示制御部7は、各心時相における内膜と外膜の輪郭を表すマーカを、各心時相に取得された断層像に重ねて、順次、表示部81に表示させる。そして、表示制御部7は、順次、断層像とマーカを更新して表示部81に表示させる。
以上のようにして求められた内膜と外膜の輪郭、運動情報、及び断層像の1例を図4に示す。図4は、この発明の実施形態に係る超音波診断装置によって取得された画像と、壁運動情報を示す図である。
表示制御部7は、記憶部6から断層像データを読み込んでその断層像データに基づく断層像400を表示部81に表示させる。図4に示す例では、断層像400は心臓の短軸像を表している。そして、表示制御部7は、その断層像データが取得された心時相に対応する内膜の輪郭を表すマーカ500を断層像400に重ねて表示部81に表示させる。さらに、表示制御部7は、その断層像データが取得された心時相に対応する外膜の輪郭を表すマーカ600をマーカ500とともに断層像400に重ねて表示部81に表示させる。そして、表示制御部7は、各心時相に取得された断層像400、内膜の輪郭を表すマーカ500、及び外膜の輪郭を表すマーカ600を、心時相ごとに順次更新して表示部81に表示させる。
さらに、表示制御部7は、演算部20によって求められた各心時相の壁運動情報を心時相ごとに表示部81に表示させる。上述したように、演算部20が、各心時相における各箇所の規格化された歪み率nSR(t)を求めて、その歪み率の大きさに応じた色を各箇所に割り当てている場合、図4に示すように、表示制御部7は、各箇所の規格化された歪み率の大きさに応じた色を、内膜のマーカ500と外膜のマーカ600との間の各箇所の領域に割り当てて、断層像400に重ねて表示部81に表示させる。
そして、表示制御部7は、各心時相に取得された断層像400、内膜の輪郭を表すマーカ500、外膜の輪郭を表すマーカ600、及び壁運動情報を、心時相ごとに順次更新して表示部81に表示させる。また、表示制御部7は、規格化された歪み率nSR(t)の大きさと、色とが対応付けられたカラーバー700を表示部81に表示させる。操作者は、かのカラーバー700を参照することで、心臓の各箇所における心機能を評価することができる。
規格化された歪み率の大きさによって異なる色を割り当てて表示部81に表示しているため、その色を観察することで、各箇所における拡張能の低下又は増強を容易に把握することが可能となる。
なお、演算部20は、壁厚方向の歪みや歪み率以外にも、内膜(外膜)の変位や回転角を求めても良い。さらに、演算部20は、変位又は回転角などの時間微分を求めても良い。
また、図4に示すように、演算部20は、心臓の短軸像に重心位置を設定し、その重心位置から放射状に直線を引くことにより、ASE(米国心エコー図学会)が推奨する領域ごとに短軸像を6分割しても良い。そして、演算部20は、各領域に含まれる複数箇所の歪みや歪み率を求め、それら複数箇所における歪みの平均値や歪み率の平均値を求めることで、領域ごとに歪みの平均値や歪み率の平均値を求めても良い。図4に示す例では、演算部20は、短軸像に相当する断層像400を、int(下壁):D1、pst(後壁):D2、lat(側壁):D3、ant(前壁):D4、asp(前壁中隔):D5、sp(後壁中隔):D6の6つの領域に分割している。そして、演算部20は、D1〜D6の領域ごとに、壁厚方向(内膜と外膜との間の厚さ方向)の歪みの平均値や歪み率の平均値を求めても良い。
また、演算部20は、各領域における規格化された歪み率nSR(t)の平均値の時間変化をグラフで表しても良い。表示制御部7は演算部20から歪みの平均値の時間変化を表すグラフデータを受けて、そのグラフを表示部81に表示させる。例えば図4に示すように、表示制御部7は、演算部20によって作成された、各領域における歪みの平均値の時間変化を表すグラフ800を表示部81に表示させる。図4中のグラフ800において、横軸は時間[ms]を示し、縦軸が円周方向の歪み率(Radial Strain Rate)を示している。
さらに、表示制御部7は、ECG波形を表示部81に表示させ、表示部81に表示している断層像データが取得された心時相を表すバー401を、そのECG波形上に重ねて表示部81に表示させても良い。そして、表示制御部7は、バー401をECG波形上で移動させて表示させ、バー401が示す心時相における断層像400、マーカ500、及びマーカ600を表示部81に表示させる。さらに、表示制御部7は、バー401が示す心時相における各箇所の歪み率nSR(t)の大きさに応じた色を、各箇所に割り当てて表示部81に表示させる。
ユーザインターフェース(UI)8は表示部81と操作部82を備えて構成されている。表示部81は、CRTや液晶ディスプレイなどのモニタで構成されており、画面上に断層像や3次元画像などが表示される。操作部82は、キーボード、マウス、トラックボール、又はTCS(Touch Command Screen)などで構成されており、操作者の操作によって各種の指示が与えられる。
制御部9は、超音波診断装置1の各部に接続されて、各部の動作を制御する。
また、画像処理部10は、CPUと、ROM、RAM、HDDなどの記憶部(図示しない)を備えて構成されている。記憶部には、画像処理部10の各部の機能を実行するための画像処理プログラムが記憶されている。その画像処理プログラムには、輪郭追跡部11の機能を実行するための輪郭追跡プログラム、及び、マーカ生成部12の機能を実行するためのマーカ生成プログラムが含まれている。そして、CPUが、輪郭追跡プログラムを実行することにより、各心時相における内膜と外膜の輪郭を求める。また、CPUが、マーカ生成プログラムを実行することにより、内膜と外膜の輪郭を表すマーカを生成する。
また、演算部20は、CPUと、ROM、RAM、HDDなどの記憶部(図示しない)を備えて構成されている。記憶部には、演算部20の機能を実行するための演算プログラムが記憶されている。その演算プログラムには、歪み算出部21の機能を実行するための歪み算出プログラム、歪み率算出部22の機能を実行するための歪み率算出プログラム、規格化部23の機能を実行するための規格化プログラム、及び、色決定部24の機能を実行するための色決定プログラムが含まれている。そして、CPUが、歪み算出プログラムを実行することにより、各心時相における各箇所の歪みを求める。また、CPUが、歪み率算出プログラムを実行することにより、各心時相における各箇所の歪み率を求める。また、CPUが、規格化プログラムを実行することで、各心時相における各箇所の歪み率を各箇所の歪みの絶対値の最大値で除算し、その結果、規格化された歪み率を求める。また、CPUが、色決定プログラムを実行することで、規格化された歪み率の大きさに応じた色を決定する。
また、表示制御部7は、CPUと、ROM、RAM、HDDなどの記憶部(図示しない)を備えて構成されている。記憶部には、表示制御部7の機能を実行するための表示制御プログラムが記憶されている。そして、CPUがその表示制御プログラムを実行することにより、断層像、マーカ、及び壁運動情報を表示部81に表示させる。
なお、この実施形態における画像処理プログラム、演算プログラム、及び表示制御プログラムが、この発明の「超音波画像処理プログラム」の1例に相当する。
以上のように、各箇所の歪み率を歪みの絶対値の最大値で規格化することで、歪み率に対する歪みのばらつきの影響を低減することが可能となる。そのことにより、歪み率を用いた拡張能評価をより安定して行うことが可能となる。
従来においては、規格化されていない歪み率を用いているため、歪みにばらつきが発生すると、歪み率はそのばらつきの影響を受けてしまう。その結果、各箇所に割り当てられる色もばらついてしまうため、拡張能の評価を安定して行うことが困難であった。これに対して、この実施形態に係る超音波診断装置1では、規格化された歪み率の大きさに応じた色を各箇所に割り当てて表示することで、歪みにばらつきが発生しても、そのばらつきを低減することができる。そのことにより、各箇所に割り当てられる色のばらつきを低減して表示することができるため、拡張能の評価をより安定して行うことが可能となる。
また、規格化された歪み率の大きさに応じた色を各箇所に割り当てて表示部81に表示させることで、各箇所の色の違いを把握することで、各箇所における拡張能の評価を容易に行うことが可能となる。具体的には、各箇所の色の違いによって、各箇所の歪み率を容易に把握することができるため、各箇所の拡張能の低下又は増強を容易に把握することが可能となる。
(超音波画像処理装置)
また、内膜(外膜)の輪郭を追跡して壁運動情報を求める超音波画像処理装置を、超音波診断装置の外部に設けても良い。この超音波画像処理装置は、上述した記憶部6、表示制御部7、ユーザインターフェース8、画像処理部10、及び演算部20を備えている。そして、超音波画像処理装置は、取得された時間が連続する複数の断層像データを外部の超音波診断装置から取得し、それら複数の断層像データに基づいて、内膜(外膜)の輪郭を追跡して壁運動情報を求める。
超音波画像処理装置の外部に設置された超音波診断装置によって心臓を超音波で走査することで、心時相ごとに断層像データを取得する。そして、超音波画像処理装置は、超音波診断装置によって取得された複数の断層像データを受け付けて、それら複数の断層像データを記憶部6に記憶させる。そして、超音波画像処理装置の画像処理部10は、各心時相における内膜(外膜)の2次元的な輪郭を構成する各点の位置を求めることで、内膜(外膜)の輪郭を追跡する。そして、超音波画像処理装置の演算部20は、画像処理部10によって追跡された内膜(外膜)の2次元的な輪郭を構成する各点の位置に基づいて、壁厚方向における規格化された歪み率を求める。さらに、演算部20は、規格化された歪み率の大きさに応じた色を決定する。
以上のように、超音波診断装置の外部に設けられた超音波画像処理装置によっても、上述した超音波診断装置と同様に、各箇所の歪み率を歪みの絶対値の最大値で規格化することで、歪み率に対する歪みのばらつきの影響を低減することが可能となる。そのことにより、歪み率を用いた拡張能の評価をより安定して行うことができる。
(動作)
次に、この発明の実施形態に係る超音波診断装置の動作について、図5を参照して説明する。図5は、この発明の実施形態に係る超音波診断装置による一連の動作を説明するためのフローチャートである。この実施形態では、心臓を診断部位として、取得された時間が連続する複数の断層像データ(動画像データ)を取得し、その断層像データに基づいて、心機能の評価に供される心臓の内膜と外膜の2次元的な輪郭を追跡する。
(ステップS01)
まず、超音波プローブ2を被検体に当てて、心臓に対して超音波を送信し、画像生成部5によって、各心時相の断層像データ(心臓の動画像データ)を生成する。例えば、1心周期以上に亘って超音波を送受信することで、1心周期以上に亘って各心時相の断層像データを生成する。制御部9は、超音波診断装置1の外部からECG信号を受け付けて、生成された各断層像データにその断層像データが生成された時相を対応付けて記憶部6に記憶させる。
(ステップS02)
次に、操作者が操作部8を用いて、心機能評価を行う時間の範囲を指定する。例えば、心臓の収縮期又は拡張期を指定する。
(ステップS03)
次に、操作者が操作部8を用いて、初期輪郭を設定するための断層像が取得された心時相を指定する。例えば、操作者は、拡張末期(R波が検出された心時相)、又は、収縮末期(R波が検出された心時相から所定時間経過後の心時相)を指定する。
(ステップS04)
操作者によって心時相が指定されると、表示制御部7はその心時相が対応付けられた断層像データを記憶部6から読み込んで、その断層像データに基づく断層像を表示部81に表示させる。例えば、心臓の拡張末期の心時相が指定された場合、表示制御部7は、拡張末期の心時相が対応付けられた断層像データを記憶部6から読み込み、拡張末期の断層像を表示部81に表示させる。
(ステップS05)
例えば拡張末期の断層像が表示部81に表示されている状態で、操作者は操作部82を用いて、断層像に表された乳頭筋や腱索が含まれないように内膜の輪郭を指定する。操作者によって内膜の輪郭が指定されると、マーカ生成部12はその内膜の輪郭を表すマーカを生成する。表示制御部7は、内膜の輪郭を表すマーカを、拡張末期の断層像に重ねて表示部81に表示させる。さらに、操作者は操作部82を用いて、外膜の輪郭を指定する。操作者によって外膜の輪郭が指定されると、マーカ生成部12はその外膜の輪郭を表すマーカを生成する。表示制御部7は、外膜の輪郭を表すマーカを、拡張末期の断層像に重ねて表示部81に表示させる。ここで指定された内膜の輪郭と外膜の輪郭は、初期輪郭として輪郭追跡部11に設定される。
(ステップS06)
輪郭追跡部11は、初期輪郭が設定された断層像データの次の心時相にて取得された断層像データを記憶部6から読み込み、スペックルパターンを用いた2画像間のパターンマッチングによって、その心時相における内膜と外膜の2次元的な輪郭を構成する各点の位置を求める。そして、輪郭追跡部11は、解析の時間の範囲に含まれる断層像データについて、各心時相における内膜と外膜の輪郭を構成する各点の位置を求める。例えば、ステップS02において心臓の収縮期が指定された場合、輪郭追跡部11は、その収縮期に含まれる断層像データについて、各心時相における内膜と外膜の輪郭を構成する各点の位置を求める。
(ステップS07)
演算部20の歪み算出部21は、心筋の各箇所における壁厚方向の歪みS(t)を心時相ごとに求める。さらに、歪み算出部21は、それぞれの箇所ごとに、解析の時間の範囲における最大歪みSmaxを求める。このとき、歪み算出部21は、各箇所における歪みの絶対値の最大値を求め、その最大値を最大歪みSmaxとする。例えば、ステップS02において心蔵の収縮期が指定された場合、歪み算出部21は、その収縮期における最大歪みSmaxを求める。
(ステップS08)
演算部20の歪み率算出部22は、各箇所の歪みS(t)を時間微分することで、各箇所における歪み率SR(t)を心時相ごとに求める。
(ステップS09)
演算部20の規格化部23は、各箇所における歪み率SR(t)を各箇所の最大歪みSmaxで除算することで、規格化された歪み率nSR(t)を心時相ごとに求める。
(ステップS10)
演算部20の色決定部24は、各箇所の規格化された歪み率nSR(t)の大きさに応じた色を、各箇所に割り当てる。
(ステップS11)
マーカ生成部12は、輪郭追跡部11から各心時相の内膜と外膜の2次元的な輪郭を構成する各点の座標情報を受けて、内膜と外膜の輪郭を表すマーカを心時相ごとに生成する。
(ステップS12)
表示制御部7は、各心時相に取得された断層像データに基づく断層像を表示部81に表示させ、内膜と外膜の2次元的な輪郭を表す各心時相のマーカを各心時相の断層像に重ねて表示部81に表示させる。さらに、表示制御部7は、色決定部24によって各箇所に対して決定された色を、断層像上の各箇所に割り当てて表示部81に表示させる。そして、表示制御部7は、各心時相に取得された断層像、内膜の輪郭を表すマーカ、及び外膜の輪郭を表すマーカを、心時相ごとに順次更新して表示部81に表示させる。さらに、表示制御部7は、各箇所に対して心時相ごとに決定された色を、心時相ごとに各箇所に割り当てて順次更新して表示部81に表示させる。
以上のように、規格化された歪み率の大きさに応じた色を断層像上の各箇所に割り当てて表示部81に表示させることで、歪みのばらつきの影響を低減することが可能となる。そのことにより、心臓の拡張能の評価をより安定して行うことが可能となる。
[変形例]
上述した実施形態に係る超音波診断装置の変形例について説明する。
(変形例1)
上述した実施形態に係る超音波診断装置の変形例1について図6を参照して説明する。図6は、変形例1に係る超音波診断装置を示すブロック図である。変形例1に係る超音波診断装置1Aは、演算部20に代えて演算部20Aを備えている。演算部20A以外の構成は、上述した超音波診断装置1の構成と同じであるため、説明を省略する。
演算部20Aは、上述した実施形態に係る演算部20と同様に、歪み算出部21、歪み率算出部22、規格化部23、及び色決定部24を備えている。変形例1に係る演算部20Aは、さらに判断部25を備えている。
歪み算出部21は、上述した実施形態と同様に、心臓の内膜と外膜において、所定間隔ごとに壁厚方向の歪みS(t)を求める。すなわち、歪み算出部21は、心臓の内膜と外膜において、複数箇所の歪みS(t)を心時相ごとに求める。そして、歪み算出部21は、各心時相における各箇所の壁厚方向の歪みS(t)を、歪み率算出部22に出力する。さらに、歪み算出部21は、上述した実施形態と同様に、各箇所における最大歪みSmaxを求めて、各箇所の最大歪みSmaxを、歪み率算出部22と規格化部23と判断部25に出力する。
判断部25は、歪み算出部21にて求められた各箇所における最大歪みSmaxと、予め設定された閾値とを比較して、各箇所における最大歪みSmaxが閾値以上か閾値未満かを判断する。判断部25は、個々の箇所ごとに、最大歪みSmaxと閾値とを比較して、個々の箇所ごとに、最大歪みSmaxが閾値以上か閾値未満かを判断する。この閾値は、例えば、心臓の収縮能の低下を判断するための基準を用いる。この場合、最大歪みSmaxが閾値未満であれば、収縮能が低下していると判断できる。また、最大歪みSmaxが閾値以上であれば、収縮能は低下していないと判断できる。なお、この閾値は、予め決定されて図示しない記憶部に記憶させておく。判断部25は、その記憶部に記憶されている閾値に基づいて、個々の箇所ごとに、最大歪みSmaxが閾値以上か閾値未満かを判断する。そして、判断部25は、閾値を用いた判断結果を歪み率算出部22と色決定部24に出力する。
最大歪みSmaxが閾値以上の場合は、その箇所の収縮能が低下していないと判断できる。そのため、歪み率算出部22は、判断部25の判断に従って、最大歪みSmaxが閾値以上と判断された箇所について、各心時相における歪み率SR(t)を求める。そして、規格化部23は、上述した実施形態と同様に、最大歪みSmaxが閾値以上と判断された箇所における各心時相の歪み率SR(t)を、その箇所の最大歪みSmaxで除算することで、規格化された歪み率nSR(t)を求める。そして、規格化部23は、最大歪みSmaxが閾値以上と判断された箇所における各心時相の歪み率nSR(t)を色決定分24に出力する。そして、色決定部24は、上述した実施形態と同様に、規格化された歪み率nSR(t)の大きさに応じた色を決定する。すなわち、色決定部24は、最大歪みSmaxが閾値以上と判断された箇所については、規格化された歪み率nSR(t)の大きさに応じた色を割り当てる。そして、色決定部24は、各心時相における各箇所の座標情報と、各箇所に対して決定された色を示す情報を表示制御部7に出力する。表示制御部7は、各心時相に取得された断層像データに基づく断層像を表示部81に表示させ、さらに、最大歪みSmaxが閾値以上となる箇所には、規格化された歪み率nSR(t)の大きさに応じた色を割り当てて表示部81に表示させる。
一方、最大歪みSmaxが閾値未満の場合は、その箇所の収縮能が低下していると判断できる。そのため、色決定部24は、判断部25の判断に従って、最大歪みSmaxが閾値未満の箇所に対して、収縮能が低下していることを示すための特定の色を割り当てる。例えば、色決定部24は、上述した規格化された歪み率nSR(t)に対して割り当てられる色とは異なる特定の色を、収縮能が低下している箇所(最大歪みSmaxが閾値未満の箇所)に割り当てる。そして、色決定部24は、最大歪みSmaxが閾値未満となる箇所の座標情報と、その箇所に対して決定された特定の色を示す情報を表示制御部7に出力する。表示制御部7は、各心時相に取得された断層像データに基づく断層像を表示部81に表示させ、さらに、最大歪みSmaxが閾値未満となる箇所には、特定の色を割り当てて表示部81に表示させる。
以上のように、表示制御部7は、最大歪みSmaxが閾値以上となる箇所に対しては、断層像上のその箇所に対して、歪み率nSR(t)の大きさに対応する色を割り当てて表示部81に表示させる。一方、表示制御部7は、最大歪みSmaxが閾値未満となる箇所に対しては、断層像上のその箇所に対して、特定の色を割り当てて表示部81に表示させる。特定の色が割り当てられている箇所は、収縮能が低下している箇所であるため、操作者は、断層像の各箇所に割り当てられている色を参照することで、収縮能が低下している箇所を容易に把握することが可能となる。また、最大歪みSmaxが閾値以上となる箇所には、規格化された歪み率nSR(t)の大きさに応じた色が割り当てられているため、操作者は、その色を参照することで、拡張能の低下や増強を判断することが可能となる。
(変形例2)
次に、上述した実施形態に係る超音波診断装置の変形例2について説明する。変形例2に係る超音波診断装置では、各箇所における最大の歪み率又は最小の歪み率を、各箇所の最大歪みで除算することで、規格化された歪み率を求める。
歪み算出部21は、上述した実施形態と同様に、各心時相における各箇所の歪みS(t)を求める。さらに、歪み算出部21は、上述した実施形態と同様に、所定の心時相間において、個々の箇所ごとに最大歪みSmaxを求める。例えば、歪み算出部21は、1心周期において、各箇所における最大歪みSmaxを求める。
歪み率算出部22は、上述した実施形態と同様に、各心時相における各箇所の歪み率SR(t)を求める。さらに、変形例2では、歪み率算出部22は、所定の心時相間において、個々の箇所ごとに最大歪み率SRmax又は最小歪み率SRminを求める。例えば、歪み率算出部22は、1心周期において、各箇所における最大歪み率SRmax又は最小歪み率SRminを求める。そして、歪み率算出部22は、各箇所における最大歪み率SRmax又は最小歪み率SRminを規格化部23に出力する。
変形例2においては、規格化部23は、各箇所の最大歪み率SRmax又は最小歪み率SRminを、各箇所の最大歪みSmaxで除算することで、規格化された歪み率nSR(t)を求める。そして、規格化部23は、各箇所の規格化された歪み率nSR(t)を色決定部24に出力する。
色決定部24は、上述した実施形態と同様に、各箇所における規格化された歪み率nSR(t)の大きさに応じた色を決定する。
そして、表示制御部7は、断層像を表示部81に表示させ、さらに、各箇所に対して決定された色を、断層像上の各箇所に割り当てて表示部81に表示させる。
なお、各箇所によって歪み率が最大となる心時相が異なるため、表示制御部7は、例えば、各箇所の歪み率が最大又は最小となる心時相の平均の心時相に取得された断層像を表示部81に表示させ、その断層像上の各箇所に色を割り当てて表示部81に表示させる。
また、表示制御部7は、任意の箇所の歪み率が最大又は最小となる心時相に取得された断層像を表示部81に表示させ、その断層像上の各箇所に色を割り当てて表示部81に表示させても良い。さらに、表示制御部7は、任意の心時相に取得された断層像を表示部81に表示させ、その断層像上の各箇所に色を割り当てて表示部81に表示させても良い。任意の箇所や任意の心時相は、操作者が操作部82を用いて指定しても良いし、表示制御部7に予め設定されていても良い。
なお、上述した実施形態、変形例1、及び変形例2では、演算部20は、運動情報として壁厚方向の歪みと歪み率を求めている。これらは1例であり、例えば、演算部20は、運動情報として円周方向の歪みや歪み率を求めても良いし、回転角やその時間微分を求めても良い。
この発明の実施形態に係る超音波診断装置を示すブロック図である。 内膜と外膜の輪郭を模式的に示す図である。 内膜と外膜の輪郭を模式的に示す図である。 この発明の実施形態に係る超音波診断装置で取得された画像と、運動情報を示す図である。 この発明の実施形態に係る超音波診断装置による一連の動作を示すフローチャートである。 変形例1に係る超音波診断装置を示すブロック図である。
符号の説明
1、1A 超音波診断装置
2 超音波プローブ
3 送受信部
4 信号処理部
5 画像生成部
6 記憶部
7 表示制御部
8 ユーザインターフェース(UI)
9 制御部
10 画像処理部
11 輪郭追跡部
12 マーカ生成部
20、20A 演算部
21 歪み算出部
22 歪み率算出部
23 規格化部
24 色決定部
25 判断部

Claims (5)

  1. 被検体を超音波で走査することで、時相ごとに断層像データを取得する画像取得手段と、
    所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡手段と、
    前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに応じた色を前記各部に対して割り当てる演算手段と、
    前記各時相に取得された断層像データに基づく断層像を時相ごとに表示手段に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御手段と、
    を有することを特徴とする超音波診断装置。
  2. 前記演算手段は、前記各部における歪みの絶対値の最大値と予め設定された閾値とを比較して、前記最大値が閾値以上となる箇所に対しては、前記規格化された歪み率の大きさに対応する色を割り当て、前記最大値が閾値未満となる箇所に対しては、前記規格化された歪み率の大きさに対応する色とは異なる特定の色を割り当て、
    前記表示制御手段は、前記演算手段による色の割り当てに従って、前記断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させることを特徴とする請求項1に記載の超音波診断装置。
  3. 前記輪郭追跡手段によって求められた前記各時相における前記特定組織の輪郭を表すマーカを生成するマーカ生成手段を更に有し、
    前記表示制御手段は、さらに、前記各時相の断層像に前記各時相の前記マーカを時相ごとに重ねて前記表示手段に表示させることを特徴とする請求項1又は請求項2のいずれかに記載の超音波診断装置。
  4. 被検体を超音波で走査することで時相ごとに取得された断層像データを受け付け、さらに、所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡手段と、
    前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに対応する色を前記各部に対して割り当てる演算手段と、
    前記各時相に取得された断層像データに基づく断層像を時相ごとに表示手段に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御手段と、
    を有することを特徴とする超音波画像処理装置。
  5. コンピュータに、
    被検体を超音波で走査することで時相ごとに取得された断層像データを受け付け、さらに、所定時相に取得された断層像データに基づく断層像に対する特定組織の輪郭の指定を受け付け、各時相に取得された断層像データにおける前記特定組織の輪郭を構成する各点の位置を時相ごとにパターンマッチングによって求める輪郭追跡機能と、
    前記輪郭を構成する各点の位置に基づいて、前記特定組織を構成する各部の歪みを時相ごとに求め、前記各部における歪みの時間変化率を示す歪み率を時相ごとに求め、前記各部における歪み率を前記各部における歪みの絶対値の最大値で除算することで、前記各部における規格化された歪み率を時相ごとに求め、前記規格化された歪み率の大きさに対応する色を前記各部に対して割り当てる演算機能と、
    前記各時相に取得された断層像データに基づく断層像を時相ごとに表示装置に表示させ、さらに、前記各時相の断層像に表された前記特定組織の前記各部を、前記各部に対して割り当てられた色で表示させる表示制御機能と、
    を実行させることを特徴とする超音波画像処理プログラム。
JP2007166851A 2007-06-25 2007-06-25 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム Active JP4966108B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007166851A JP4966108B2 (ja) 2007-06-25 2007-06-25 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
US12/144,047 US8055040B2 (en) 2007-06-25 2008-06-23 Ultrasonic image processing apparatus and method for processing ultrasonic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007166851A JP4966108B2 (ja) 2007-06-25 2007-06-25 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009000448A true JP2009000448A (ja) 2009-01-08
JP4966108B2 JP4966108B2 (ja) 2012-07-04

Family

ID=40136532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166851A Active JP4966108B2 (ja) 2007-06-25 2007-06-25 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム

Country Status (2)

Country Link
US (1) US8055040B2 (ja)
JP (1) JP4966108B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010162125A (ja) * 2009-01-14 2010-07-29 Toshiba Medical Systems Corp 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP2010194299A (ja) * 2009-01-30 2010-09-09 Toshiba Corp 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
JP2012005708A (ja) * 2010-06-25 2012-01-12 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2014097409A (ja) * 2009-01-30 2014-05-29 Toshiba Corp 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006081362A2 (en) 2005-01-27 2006-08-03 Aperio Technologies, Inc Systems and methods for viewing three dimensional virtual slides
JP5414157B2 (ja) * 2007-06-06 2014-02-12 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP5454844B2 (ja) * 2008-08-13 2014-03-26 株式会社東芝 超音波診断装置、超音波画像表示装置及び超音波画像表示プログラム
JP5438936B2 (ja) * 2008-08-29 2014-03-12 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
JP5491830B2 (ja) * 2009-01-20 2014-05-14 株式会社東芝 超音波診断装置、超音波画像処理装置、画像処理方法および画像表示方法
JP5624314B2 (ja) * 2009-01-30 2014-11-12 株式会社東芝 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
US8538103B2 (en) * 2009-02-10 2013-09-17 Hitachi Medical Corporation Medical image processing device, medical image processing method, medical image diagnostic apparatus, operation method of medical image diagnostic apparatus, and medical image display method
JP5459832B2 (ja) * 2009-06-02 2014-04-02 東芝メディカルシステムズ株式会社 超音波診断装置
JP5689662B2 (ja) * 2009-12-09 2015-03-25 株式会社東芝 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP5753798B2 (ja) * 2010-01-29 2015-07-22 株式会社日立メディコ 超音波診断装置およびその作動方法
JP5661453B2 (ja) * 2010-02-04 2015-01-28 株式会社東芝 画像処理装置、超音波診断装置、及び画像処理方法
JP5209026B2 (ja) * 2010-10-27 2013-06-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5209025B2 (ja) * 2010-10-27 2013-06-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
US20130258804A1 (en) * 2010-12-27 2013-10-03 Hitachi Medical Corporation Ultrasonic diagnostic apparatus and image processing method
CN105426927B (zh) * 2014-08-26 2019-05-10 东芝医疗系统株式会社 医学图像处理装置、医学图像处理方法和医学图像设备
EP3220830B1 (en) * 2014-11-18 2019-05-15 Koninklijke Philips N.V. Apparatus for visualizing tissue property
GB201610269D0 (en) 2016-06-13 2016-07-27 Isis Innovation Image-based diagnostic systems
CN118356213A (zh) * 2018-11-09 2024-07-19 深圳迈瑞生物医疗电子股份有限公司 一种超声图像获取方法、系统和计算机存储介质
US12076182B1 (en) * 2019-11-25 2024-09-03 Analog Devices, Inc. Chest patch for measuring displacement of ventricular walls of subject's heart

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1099334A (ja) * 1996-09-26 1998-04-21 Toshiba Corp 心機能解析支援装置及び心機能解析支援方法
JP2002306483A (ja) * 2001-04-18 2002-10-22 Toshiba Corp 医用画像診断装置及びその方法
JP2003175041A (ja) * 2001-09-21 2003-06-24 Toshiba Corp 超音波診断装置及び画像処理方法
JP2003250804A (ja) * 2002-03-05 2003-09-09 Toshiba Corp 画像処理装置及び超音波診断装置
WO2005122906A1 (ja) * 2004-06-18 2005-12-29 Hitachi Medical Corporation 超音波診断装置
JP2006122666A (ja) * 2004-09-29 2006-05-18 Fuji Photo Film Co Ltd 超音波撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713329B2 (ja) * 1996-06-04 2005-11-09 株式会社東芝 超音波ドプラ診断装置
US6638221B2 (en) * 2001-09-21 2003-10-28 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus, and image processing method
JP3982817B2 (ja) * 2003-03-07 2007-09-26 株式会社東芝 画像処理装置および画像処理方法
US20060004291A1 (en) * 2004-06-22 2006-01-05 Andreas Heimdal Methods and apparatus for visualization of quantitative data on a model
JP4805669B2 (ja) * 2005-12-27 2011-11-02 株式会社東芝 超音波画像処理装置及び超音波画像処理装置の制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1099334A (ja) * 1996-09-26 1998-04-21 Toshiba Corp 心機能解析支援装置及び心機能解析支援方法
JP2002306483A (ja) * 2001-04-18 2002-10-22 Toshiba Corp 医用画像診断装置及びその方法
JP2003175041A (ja) * 2001-09-21 2003-06-24 Toshiba Corp 超音波診断装置及び画像処理方法
JP2003250804A (ja) * 2002-03-05 2003-09-09 Toshiba Corp 画像処理装置及び超音波診断装置
WO2005122906A1 (ja) * 2004-06-18 2005-12-29 Hitachi Medical Corporation 超音波診断装置
JP2006122666A (ja) * 2004-09-29 2006-05-18 Fuji Photo Film Co Ltd 超音波撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010162125A (ja) * 2009-01-14 2010-07-29 Toshiba Medical Systems Corp 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP2010194299A (ja) * 2009-01-30 2010-09-09 Toshiba Corp 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
JP2014097409A (ja) * 2009-01-30 2014-05-29 Toshiba Corp 超音波診断装置、超音波画像処理装置、医用画像診断装置及び医用画像処理装置
US9254115B2 (en) 2009-01-30 2016-02-09 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus for cardiac wall movement measurements by re-tracking the cardiac wall
JP2012005708A (ja) * 2010-06-25 2012-01-12 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Also Published As

Publication number Publication date
US20080317316A1 (en) 2008-12-25
US8055040B2 (en) 2011-11-08
JP4966108B2 (ja) 2012-07-04

Similar Documents

Publication Publication Date Title
JP4966108B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP5319157B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP5414157B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
US6884216B2 (en) Ultrasound diagnosis apparatus and ultrasound image display method and apparatus
JP4745133B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP6125281B2 (ja) 医用画像診断装置、医用画像処理装置及び制御プログラム
EP2529666B1 (en) Ultrasonic diagnosis device and method used therefor to track measurement point
JP6382036B2 (ja) 超音波診断装置及び画像処理装置
JP5448328B2 (ja) 超音波診断装置及び画像データ生成装置
US8888703B2 (en) Ultrasound imaging apparatus and method for processing image with motion tracking and error correction
WO2013146710A1 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP5100084B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP3253409B2 (ja) 超音波ドプラ診断装置
JP2004313291A (ja) 超音波診断装置、医用画像解析装置及び医用画像解析方法
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP6815259B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP2007117252A (ja) 超音波診断装置
JP5299961B2 (ja) 超音波診断装置、画像処理装置及び超音波診断装置の制御プログラム
JP5444408B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP2008173387A (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
JP6864555B2 (ja) 超音波診断装置
JP2008061835A (ja) 超音波診断装置及び超音波診断装置の制御プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100602

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120330

R150 Certificate of patent or registration of utility model

Ref document number: 4966108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350