JP2009268735A - 医用画像処理装置 - Google Patents

医用画像処理装置 Download PDF

Info

Publication number
JP2009268735A
JP2009268735A JP2008122274A JP2008122274A JP2009268735A JP 2009268735 A JP2009268735 A JP 2009268735A JP 2008122274 A JP2008122274 A JP 2008122274A JP 2008122274 A JP2008122274 A JP 2008122274A JP 2009268735 A JP2009268735 A JP 2009268735A
Authority
JP
Japan
Prior art keywords
cross
section
image
region
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008122274A
Other languages
English (en)
Other versions
JP5454841B2 (ja
Inventor
Toshiya Waku
敏哉 和久
Hitoshi Yamagata
仁 山形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008122274A priority Critical patent/JP5454841B2/ja
Publication of JP2009268735A publication Critical patent/JP2009268735A/ja
Application granted granted Critical
Publication of JP5454841B2 publication Critical patent/JP5454841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】心臓等の機能情報の診断に適した画像を簡便に提供すること
【解決手段】超音波ボリュームデータ記憶部は、心臓左心室領域を含む超音波ボリュームデータを記憶する。特定部位抽出部18は、超音波ボリュームデータから濃淡値と不透明度と色情報との少なくとも1つに基づいて心臓左心室領域を抽出する。異常部位抽出部18は、超音波機能情報に基づいて左心室領域に含まれる異常部位領域を抽出する。断面算出部26は、異常部位領域に交差する診断断面の位置及び向きを算出する。画像発生部28は、診断断面の位置及び向きに基づいて、超音波ボリュームデータから断面画像のデータを発生し、異常部位領域から超音波異常部位画像のデータを発生する。表示部34は、発生された断面画像と異常部位画像とを重ねて表示する。
【選択図】 図1

Description

本発明は、X線コンピュータ断層撮影装置や磁気共鳴イメージング装置、超音波診断装置、核医学診断装置等により発生されたボリュームデータを処理する医用画像処理装置に関する。
心臓疾患の観察や診断には、超音波診断装置やX線コンピュータ断層撮影装置が用いられている。その中でも、心臓の壁運動異常や壁厚異常を観察や診断する場合、主に超音波診断装置が用いられている。超音波診断装置により発生されるボリュームデータに含まれる異常部位は、例えば、組織ドプライメージング(Tissue Doppler Imaging:以下、TDIと呼ぶ)と呼ばれる技術を利用して特定される。以下、簡単にTDIを用いた異常部位の診断に係る技術例を示す。
技術例1:表示画面を観察するだけで診断部位の組織の運動状態を容易に把握でき、組織の機能低下や異常を定量的、高精度かつ迅速に評価することが可能(例えば、特許文献1参照)。
技術例2:TDIで得られる低速度領域の表示能を向上させ、関心部位の正常/異常の判別を容易にする(例えば、特許文献2参照)。
超音波診断装置によって心臓の壁運動異常や壁厚異常の患部を診断する際、3次元画像の動画表示により、患部を大まかに観察できるが、患部のより詳細な状態を把握するためには、MPR画像の動画表示が必要である。しかし、リアルタイムに発生されモニタに表示される画像を診断する場合、操作者は片手でプローブ操作、もう片方の手でモニタ上に映し出されている画像の断面位置の指定操作をしなければならず、断面位置の指定操作が複雑、煩雑である。また、3Dスキャンが可能なプローブは、プローブの位置や向きの他、断面の位置や向きをリアルタイムに自由に変更できる。そのため、2Dスキャンのみ可能なプローブに比して自由度は高いが、操作が複雑となる。
特開平08―84729号公報 特開平08―66397号公報
本発明の目的は、心臓等の機能情報の診断に適した画像を簡便に提供することが可能な医用画像処理装置を提供することにある。
請求項1記載の本発明に係る医用画像処理装置は、医用画像診断装置によって発生された運動する特定部位を含むボリュームデータを記憶する記憶部と、前記ボリュームデータから濃淡値と不透明度と色情報との少なくとも1つに基づいて前記特定部位を抽出する第1抽出部と、前記特定部位の運動情報に基づいて前記特定部位に含まれる異常部位を抽出する第2抽出部と、前記異常部位の領域に交差する断面の位置及び向きを算出する断面算出部と、前記算出された断面の位置及び向きに基づいて前記ボリュームデータから断面画像のデータを発生する第1発生部と、前記算出された断面の位置及び向きに基づいて前記異常部位の領域から前記異常部位に関する異常部位画像のデータを発生する第2発生部と、前記発生された断面画像と前記異常部位画像とを重ねて表示する表示部とを具備する。
請求項3記載の本発明に係る医用画像処理装置は、第1の医用画像診断装置によって発生された、被検体の運動する異常部位に関する第1ボリュームデータから運動情報に基づいて異常部位を抽出する抽出部と、前記抽出された異常部位に交差する断面の位置及び向きを算出する断面算出部と、第2の医用画像診断装置によって発生された、前記異常部位を含む第2ボリュームデータから濃淡値と不透明度と色情報との少なくとも1つに基づいて前記被検体の体表面に関する体表面画像のデータを発生する画像発生部と、前記算出された断面の位置及び向きと前記体表面の形状とに基づいて前記断面をスキャン面とするプローブの位置及び向きを決定する決定部と、前記決定されたプローブの位置及び向きを示すマークを前記体表面画像に位置整合して重ねて表示する表示部と、を具備する。
本発明によれば、心臓等の機能情報の診断に適した画像を簡便に提供することが可能となる。
以下、図面を参照しながら本発明の第1及び第2の実施形態に係る医用画像処理装置を説明する。第1及び第2の実施形態に係る医用画像処理装置は、超音波診断装置、X線コンピュータ断層撮影装置、磁気共鳴イメージング装置、核医学診断装置等の医用画像診断装置により発生されたボリュームデータを処理する医用画像処理システムに含まれる。
(第1実施形態)
図1は、第1実施形態に係る医用画像処理システム及び医用画像処理装置1の構成を示す図である。図1に示すように、医用画像処理装置1は、超音波診断装置100とX線コンピュータ断層撮影装置200とに直接、又は電気的通信回線を介して電気的に接続される。
超音波診断装置100は、被検体の心臓を含む3Dスキャン領域をプローブでスキャンすることにより、組織ドプライメージング(以下、TDIと呼ぶ)処理に心臓の機能情報を解析するための、少なくとも一つのボリュームデータファイルを発生する。以下、超音波診断装置100により発生されたボリュームデータファイルを超音波ボリュームデータファイルと呼ぶことにする。この場合、超音波診断装置100は、複数の超音波ボリュームデータファイルをTDI処理し、機能情報(以下、超音波機能情報と呼ぶ)のデータを生成する。超音波機能情報は、心臓壁の運動情報(例えば心臓壁の移動速度)を示す。超音波機能情報のデータは、超音波ボリュームデータファイルを構成する各ボクセルに超音波機能情報の値が割り付けられたボリュームデータである。
TDIスキャンに続いて、超音波診断装置100は、同一の3Dスキャン領域をプローブで繰り返しスキャンすることにより、スキャン時刻の異なる複数の超音波ボリュームデータファイルを発生する。
X線コンピュータ断層撮影装置200は、心臓の機能情報を解析するために、3Dスキャン領域をX線で繰り返しスキャンすることにより、撮影時刻の異なる複数のボリュームデータファイルを発生する。以下、X線コンピュータ断層撮影装置200により発生されたボリュームデータファイルをCTボリュームデータファイルと呼ぶことにする。X線コンピュータ断層撮影装置200は、既存の技術(例えば、特開2007―202957号公報や特開2006―110190号公報、特開2006―61581号公報に記載の技術)を撮影時刻の異なる複数のCTボリュームデータファイルに適用し、心臓の機能情報(以下、CT機能情報と呼ぶ)のデータを生成する。
また、X線コンピュータ断層撮影装置200は、3Dスキャン領域を繰り返しスキャンすることにより収集された投影データを心電同期再構成することにより、心臓の拡張末期に関するCTボリュームデータファイルを発生する。
医用画像処理装置1は、超音波ボリュームデータや超音波機能情報のデータ、CTボリュームデータ、CT機能情報のデータを利用して、心臓の機能情報を診断するうえで適切な断面の位置及び向きを算出し、算出した断面に関する画像を表示する。
図1に示すように、医用画像処理装置1は、超音波ボリュームデータ記憶部10、超音波機能情報データ記憶部12、CTボリュームデータ記憶部14、CT機能情報データ記憶部16、異常部位抽出部18、特定部位抽出部20、長軸算出部22、位置合わせ部24、断面算出部26、画像発生部28、入力部30、表示制御部32、表示部34、及びシステム制御部36を有する。
超音波ボリュームデータ記憶部10は、超音波診断装置100によって発生された複数の超音波ボリュームデータファイルを記憶する。
超音波機能情報データ記憶部12は、超音波診断装置100により生成された超音波機能情報のデータを記憶する。
CTボリュームデータ記憶部14は、X線コンピュータ断層撮影装置200によって発生されたCTボリュームデータファイルを記憶する。CTボリュームデータファイルは、X線コンピュータ断層撮影装置200から伝送され、又は、磁気ディスクや光ディスク、半導体メモリ等の記録媒体に記録され、この記録媒体からCTボリュームデータ記憶部14に移される。
CT機能情報データ記憶部16は、X線コンピュータ断層撮影装置200により生成されたCT機能情報のデータを記憶する。
異常部位抽出部18は、特許文献1や特許文献2記載の方法により、超音波機能情報のデータに基づいて超音波ボリュームデータファイルから異常部位領域を抽出する。例えば、異常部位抽出部18は、予め設定された超音波機能情報の閾値より大きい又は小さい超音波機能情報を有するボクセルを抽出することにより、心臓の壁運動の異常部位領域を抽出する。また、異常部位抽出部18は、CT機能情報のデータに基づいてCTボリュームデータファイルから異常部位領域を抽出する。
特定部位抽出部20は、濃淡値と不透明度と色情報との少なくとも一つに基づいて、超音波ボリュームデータファイルやCTボリュームデータファイルから特定部位の領域を抽出する。特定部位は、心臓全体や左心室、右心室等である。以下、抽出される特定部位の領域は左心室領域であるとする。左心室領域は壁運動の異常部位領域を含むとする。
長軸算出部22は、抽出された左心室領域の形状に基づいて、超音波ボリュームデータファイルに由来する左心室領域の長軸(以下、US長軸と呼ぶ)やCTボリュームデータファイルに由来する左心室領域の長軸(以下、CT長軸と呼ぶ)を算出する。長軸の算出方法としては、例えば、左心室領域の楕円体近似を用いる。
位置合わせ部24は、算出されたUS長軸とCT長軸とに基づいて、超音波ボリュームデータファイルとCTボリュームデータファイルとを位置合わせする。位置合わせ処理は、各データファイルに含まれる心臓領域によるパターンマッチングによって行なわれてもよい。なお、超音波機能情報のデータファイルと超音波ボリュームデータファイルとは、同一のプローブ位置、同一のスキャン範囲でのスキャンに由来するので、位置合わせ処理をしなくても位置整合されているとする。
断面算出部26は、US長軸又はCT長軸に垂直かつ異常部位領域に交差する超音波ボリュームデータファイル又はCTボリュームデータファイルの断面の位置及び向きを算出する。この断面は、異常部位を診断するための断面であるため、以下、診断断面と呼ぶことにする。
画像発生部28は、算出された診断断面の位置及び向きに基づいて、超音波ボリュームデータファイルから診断断面に関する画像(以下、超音波断面画像と呼ぶ)、CTボリュームデータファイルから、診断断面に関する画像(以下、CT断面画像と呼ぶ)、超音波ボリュームデータファイルに含まれる異常部位領域から異常部位に関する画像(以下、超音波異常部位画像と呼ぶ)、CTボリュームデータファイルに含まれる異常部位領域から異常部位に関する画像(以下、CT異常部位画像と呼ぶ)のデータを発生する。発生された種々の画像のデータは、表示制御部32に送信される。
入力部30は、マウスやキーボード等の入力デバイスからなり、術者からの各種指示を入力する。例えば、入力部30は、機能情報の閾値、不透明度、色情報等の表示条件の設定指示や、表示されている画像の断面の位置や向きの変更指示、表示レイアウト(例えば、重畳表示や並列表示)の設定指示を入力する。
表示制御部32は、発生された画像を表示部34に表示する。具体的には、表示制御部32は、診断断面に関する超音波断面画像と、超音波異常部位画像やCT異常部位画像とを色等で区別して重ねて表示部34に表示する。また、表示制御部32は、超音波断面画像とCT断面画像とを重畳表示し、この重畳画像に超音波異常部位画像やCT異常部位画像を重ね合せて表示する。また、表示制御部32は、超音波断面画像及び超音波異常部位画像の重畳画像と、CT断面画像及びCT異常部位画像の重畳画像とを並列表示する。
表示部42は、例えばCRT(Cathode-Ray Tube)等の表示デバイスを含む。
システム制御部36は、医用画像処理装置1の中枢として機能し、医用画像処理装置1としての動作を実現するように医用画像処理装置1の各構成要素を制御する。
以下、システム制御部36の制御のもとに行われる診断断面に関する画像の表示処理の臨床上の動作例を説明する。具体的には、本表示処理において医用画像処理装置1は、超音波診断装置100による心臓の3Dスキャンのもと、心臓の局所壁運動疾患の診断に最適な診断断面に関する画像を動画表示するものとする。
図2は、システム制御部36による診断断面に関する画像の表示処理の動作の流れを示す図である。なお、ステップSA1の前に、CTボリュームデータファイルはCTボリュームデータ記憶部14に記憶され、CT長軸は長軸算出部22により算出され、超音波異常部位領域やCT異常部位領域は異常部位抽出部18により抽出されているとする。
術者が超音波診断装置100のプローブを操作することにより、超音波診断装置100はスキャン時刻の異なる複数の超音波ボリュームデータファイルをリアルタイムに発生する。スキャン中プローブは、心臓を観察するときの標準的な位置、例えば傍胸骨左縁アプローチ位置に当てられるとする。システム制御部36は、超音波診断装置100によりリアルタイムに発生される複数の超音波ボリュームデータファイルを入力する(ステップSA1)。
超音波ボリュームデータファイルを入力すると、システム制御部36は、特定部位抽出部20に左心室抽出処理を行なわせる。左心室抽出処理において特定部位抽出部20は、各超音波ボリュームデータファイルから左心室領域を抽出する(ステップSA2)。
左心室領域が抽出されるとシステム制御部36は、長軸算出部22に長軸算出処理を行なわせる。長軸算出処理において長軸算出部22は、抽出した左心室領域のUS長軸を算出する(ステップSA3)。
US長軸が算出されるとシステム制御部36は、位置合わせ部24に、位置合わせ処理を行なわせる。位置合わせ処理において位置合わせ部24は、US長軸とCT長軸とに基づいて、超音波ボリュームデータファイルとCTボリュームデータファイルとを位置合わせする(ステップSA4)。
位置合わせ処理が行なわれるとシステム制御部36は、画像発生部28に診断断面を設定するための断面設定画像の発生処理を行なわせる。断面設定画像の発生処理において画像発生部28は、超音波ボリュームデータファイルに基づいてUS長軸に平行な断面(例えば患者正面方向の断面)に関する超音波断面画像のデータを発生し、超音波異常部位領域に基づいてUS長軸に平行な断面に関する超音波異常部位画像のデータを発生する(ステップSA5)。また、断面設定画像の発生処理において画像発生部28は、CTボリュームデータファイルに基づいてCT長軸に平行な断面に関するCT断面画像のデータを、CT異常部位領域に基づいてCT異常部位領域画像のデータを発生する。
断面設定画像の発生処理が行なわれると、システム制御部36は、表示制御部32に断面設定画像の表示処理を行なわせる。断面設定画像の表示処理において表示制御部32は、ステップSA5にて発生された超音波断面画像、CT断面画像、超音波異常部位画像又はCT異常部位画像を位置整合して表示部34に重畳表示する(ステップSA6)。この際、表示制御部32は、超音波断面画像の左心室領域とCT断面画像の左心室領域とを術者がそれぞれを判別可能なように別々な色で表示させたり、各左心室領域に輪郭線やグリッド線を加えて表示させたりする。或いは、超音波断面画像かCT断面画像かのどちらか一方を、半透明表示しても良い。
表示部30に断面設定画像が表示されると、術者による入力部30を介して異常部位領域の範囲の設定がされることを待機する(ステップSA7)。この際、術者は、プローブを片手で操作しながら、もう片方の手で入力部30を操作して異常部位領域の範囲を設定する。なお、異常部位領域の範囲の設定処理は、超音波異常部位領域又はCT異常部位領域の何れか一方に対して行なわれるとする。
図3及び図4は、ステップSA7において表示される断面設定画像を示す図である。図3及び図4に示すように、異常部位領域IRの範囲は、長軸方向に垂直な2本の直線Lによって挟まれる長軸方向に沿う間隔である。術者は、この2本の直線Lを入力部30を介して画面上で移動させることによって、異常部位領域IRの範囲を設定する。図4に示すように、断面設定画像内に大小さまざまな複数の異常部位領域IRが散在している場合は、機能情報の閾値を調整することによって、異常部位領域IRの絞込みを行なっても良い。また、既存のクリッピング処理や連結領域抽出処理等によって異常部位領域IRの絞込みを行なってもよい。
入力部30を介して異常部位領域の範囲が設定されることを契機として(ステップSA7:YES)、システム制御部36は、断面算出部26に診断断面算出処理を行なわせる。診断断面算出処理において断面算出部26は、US長軸又はCT長軸に垂直かつ異常部位領域に交差する診断断面の位置及び向きを算出する(ステップSA8)。
図5は、診断断面の位置及び向きの具体例を示す図である。図5(a)は、長軸)US長軸又はCT長軸)に垂直かつ、異常部位領域IRの範囲R内での長軸の中心を通る診断断面SCを示す図である。図5(b)は、長軸に垂直かつ、異常部位領域IRの範囲R内において異常部位領域IRの面積が最大となる診断断面SCを示す図である。図5(c)は、長軸に垂直かつ、異常部位領域IRの形状の重心を通る診断断面SCである。図5(d)は、長軸に垂直かつ、異常部位領域IRの範囲Rの端Lを通る診断断面SCを示す図である。これら診断断面SCの位置及び向きの種類は、術者により入力部30を介して任意に設定可能である。
また、断面算出部26は、機能情報の値に基づいて診断断面の位置及び向きを算出してもよい。例えば、断面算出部26は、長軸に垂直な複数の断面を設定し、各断面について、断面を構成する複数のボクセルの機能情報の値の合計を算出する。そして断面算出部26は、所定の合計値(例えば、最大合計値や最小合計値、中心合計値等)を有する断面を診断断面に決定する。また、各断面について、異常部位領域の個数を算出し、所定の個数(例えば、最大数や最小数、中心数等)を有する断面を診断断面に決定してもよい。また、断面算出部26は、長軸に垂直かつ異常部位領域における機能情報の値の重心を含む断面を診断断面に決定してもよい。また、断面算出部26は、機能情報の値に優先度を割り付け、一番優先度が高い値を有する断面、優先度の重みづけによる補間位置を含む断面、異常部位領域における機能情報の値の中心値を含む断面を診断断面に決定してもよい。
また、断面算出部26は、異常部位領域に外接する立体図形を設定し、設定した立体図形の中心や重心等の基準点を含む、長軸に垂直な断面を診断断面に設定してもよい。立体図形は、立方体、直方体、球、楕円球等である。
断面算出処理が行なわれると、システム制御部36は、画像発生部28に診断画像発生処理を行なわせる。診断画像の発生処理において画像発生部28は、ステップSA8にて算出した診断断面の位置及び向きに基づいて、超音波ボリュームデータファイルとCTボリュームデータファイルとにMPR処理を行なうことにより、超音波断面画像とCT断面画像とのデータをそれぞれ発生する(ステップSA9)。また、画像発生部28は、診断断面の位置及び向きに基づいて、超音波異常部位領域から超音波異常部位画像のデータを、CT異常部位領域からCT異常部位画像のデータを発生する。なお、ここで発生される断面画像は、厚みつき断面画像であってもよい。厚みつき画像の種類としては、厚みの範囲内での最大値投影や最小値投影、平均値投影等である。
診断断面における超音波断面画像やCT断面画像、超音波異常部位画像、CT異常部位画像のデータが発生されると、システム制御部36は、表示制御部32に診断画像表示処理を行なわせる。診断画像表示処理において、表示制御部32は、表示部34に、ステップSA9にて発生された超音波断面画像、CT断面画像、超音波異常部位画像、CT異常部位画像を表示する(ステップSA10)。
図6は、ステップSA10にて表示される、超音波断面画像とCT断面画像と異常部位画像との重畳表示を示す図である。図6に示すように、表示制御部32は、異常部位画像IIを術者が判別可能なように、異常部位画像IIを超音波断面画像に由来する左心室領域SR1やCT断面画像に由来する左心室領域SR2と異なる色で表示させる。左心室領域SR1は、超音波スキャンと同時にリアルタイムに発生されるため、動画像として表示される。異常部位画像IIと左心室領域SR2とは、静止画である。なお、異常部位画像IIは、超音波異常部位画像であっても、CT異常部位画像であってもよい。また、表示制御部32は、図7に示すように、超音波断面画像と超音波異常部位画像II1との重畳画像UIと、CT断面画像とCT異常部位画像II1との重畳画像CIとを並列表示させてもよい。
図6や図7に示すような診断画像が表示されると、術者は、入力部30を操作して、診断画像の断面位置の移動や回転、表示反転等を行い、心臓運動の異常部位の詳細な観察を行なう。断面移動は、長軸に沿って行なう。断面移動や回転の操作範囲は、ステップSA7で設定した異常部位領域の範囲に限定するとよい。また、操作範囲を多少狭めたり広めたりしても良い。回転操作は、その回転中心軸として、表示画面の中心や心臓領域の中心、異常部位領域の範囲の中心、心室領域の中心、長軸と診断断面との交点等を含む軸とする。このように、断面の移動軸、移動範囲、回転軸、回転範囲を異常部位周辺に限定することにより、術者の操作を簡便にすることが可能となる。
上記構成により第1実施形態に係る医用画像処理装置1は、様々な医用画像診断装置によって発生されたボリュームデータに基づいて心臓等の機能情報に関する異常部位を診断する上で最適な断面の位置及び向きを算出し、算出した断面に関する画像を表示する。また、各医用画像診断装置に特有な機能情報の解析方法でボリュームデータを機能解析し、機能画像と形態画像とを位置整合して重ねて表示する。
かくして第1実施形態によれば、術者が異常部位領域の範囲を設定するだけで、医用画像処理装置1は心臓等の機能情報に関する異常部位の診断に適した診断画像を簡便に提供することが可能となる。
なお上記説明において、異常部位領域の範囲の設定は術者により入力部30を介して行なわれるとした。しかしながらこれに限定する必要はなく、入力部30を介さずに、異常部位領域の輪郭部分の座標等に基づいて異常部位領域の範囲を自動的に決定するとしてもよい。また異常部位領域の範囲の設定を行なわずに、診断断面の位置及び向きを算出するとしてもよい。この場合の診断断面は、例えば、長軸に垂直かつ異常部位領域の重心を通る断面等が考えられる。
また上記説明において、超音波断面画像とCT断面画像とを表示するとした。しかしながらこれに限定する必要はなく、一方の断面画像のみを表示するとしても良い。この場合、超音波断面画像とCT断面画像との位置合わせ処理が不要でとなるため、ワークフローが改善される。
(第2実施形態)
第2実施形態に係る医用画像処理装置1は、超音波診断装置100による心臓等の機能情報に関する異常部位の診断を支援するための、プローブの位置及び向きを示す情報を術者に提供する。このような情報を提供することにより、結果的に、術者は異常部位の診断に適した画像を観察することができる。なお以下の説明において、第1実施形態と略同一の機能を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図8は、第2実施形態に係る医用画像処理装置1の構成を示す図である。図8に示すように、医用画像処理装置1は、超音波ボリュームデータ記憶部10、超音波機能情報データ記憶部12、CTボリュームデータ記憶部14、CT機能情報データ記憶部16、異常部位抽出部18、特定部位抽出部20、長軸算出部22、位置合わせ部24、断面算出部26、画像発生部28、入力部30、表示制御部32、表示部34、システム制御部36、及びプローブ位置・向き決定部38を有する。
特定部位抽出部20は、濃淡値と不透明度と色情報との少なくとも一つに基づいて、超音波ボリュームデータファイルやCTボリュームデータファイルから特定部位領域を抽出する。特定部位は、心臓全体や左心室、右心室、骨、体表面等である。
画像発生部28は、CTボリュームデータファイルから抽出された体表面のデータをレンダリング処理し、体表面画像のデータを発生する。体表面画像の観察方向は、心臓の診断に適した方向、典型的には、患者正面方向や左側面方向等である。
プローブ位置・向き決定部38は、所望の断面(典型的には診断断面)と、体表面と、CT長軸との位置関係に基づいて、所望の断面をスキャン面とするプローブの位置及び向きを決定する。また、プローブ位置・向き決定部38は、濃淡値と不透明度と色情報との少なくとも一つに基づいて、診断断面に超音波スキャンを阻害する物体に関する領域が含まれているか否かを判定し、含まれていると判定された場合、診断断面を阻害領域が含まれない位置に移動する。
表示制御部28は、決定されたプローブの位置及び向きを示すマーク(以下、プローブマークと呼ぶ)を体表面画像に重ねて表示部34に表示させる。
以下、システム制御部36の制御のもとに行われるプローブマークの表示処理の臨床上の動作例を説明する。図9は、システム制御部36によるプローブマークの表示処理の動作の流れを示す図である。
図9に示すように、ステップSB1〜ステップSB8の処理内容は、図2のステップSA1〜ステップSA8の処理内容と同一であるため、説明を省略する。なお、ステップSB1の開始以前に、体表面画像のデータは発生されているとする。
ステップSB8にて診断断面の位置及び向きを算出すると、システム制御部36は、プローブ位置・向き決定部38にプローブ位置及び向き決定処理を行なわせる。プローブ位置及び向き決定処理においてプローブ位置・向き決定部38は、ステップSB8にて算出した診断断面の位置及び向きと体表面の形状とに基づいて、診断断面をスキャン面とするようなプローブの位置及び向きを決定する(ステップSB9)。
以下、図10を参照しながらステップSB9においてプローブ位置・向き決定部38により実行されるプローブ位置及び向きの決定処理の詳細について説明する。図10は、プローブ位置及び向きの決定処理の流れを示す図である。まずプローブ位置・向き決定部38は、濃淡値(CT値)に基づいて、CTボリュームデータファイルにおける診断断面に超音波スキャンを阻害する物体に関する領域が含まれているか否かを判定する(ステップSC1)。超音波スキャンを阻害する領域は、阻害しない領域に比してCT値が高い又は低い。具体的には、阻害領域は、骨や空気、ガス等の領域である。これら阻害領域の濃淡値(CT値)は、既知である。そのため、プローブ位置・向き決定部38は、濃淡値(CT値)に基づいて、阻害領域をCTボリュームデータファイルから抽出することが可能となる。
阻害領域が含まれないと判定された場合(ステップSC1:NO)、プローブ位置・向き決定部38は、ステップSC3に進む。
阻害領域が含まれると判定された場合(ステップSC1:YES)、プローブ位置・向き決定部38は、阻害領域が含まれない位置(例えば肋間等の、いわゆる音響窓)に診断断面を長軸に沿って移動させる(ステップSC2)。図11は、診断断面の移動処理を説明するための図である。図11に示すように、初期の診断断面ICは、左心室領域SRや異常部位領域IRに加え、超音波を阻害する領域である骨領域BRを含むとする。初期の診断断面ICと長軸TAとは直交している。まず、プローブ位置・向き決定部38は、初期の診断断面ICと長軸TAとが成す交点RP1を回転中心に設定する。次にプローブ位置・向き決定部38は、診断断面ICに骨領域BRが含まれなくなるまで、決定された回転中心RP1を中心として長軸TA方向に診断断面ICを傾ける。典型的には、診断断面ICは、骨領域BRが含まれなくなる直後や、隣り合う骨領域BRの間隔の中心まで傾けられる。初期の診断断面(長軸TAに直交する面)ICに対する診断断面JCの角度は、60度以内であることが望ましい。
次にプローブ位置・向き決定部38は、図12に示すように、傾けられた診断断面JCと体表面TRとの交点IPを含み、長軸TAに直交する軸を回転軸に設定する。診断断面JCは、長軸TAに対する角度が最も垂直になるまで回転軸回りに傾けられる。回転中心IPを中心として傾けられた後の診断断面KCの位置及び傾きは、正規の診断断面KCに設定される。
ステップSC1にて診断断面に阻害領域が含まれないと判定された場合、又は、ステップS2にて阻害領域が含まれない位置に診断断面が移動された場合、プローブ位置・向き決定部38は、診断断面の位置及び向きと体表面の形状とに基づいて、プローブマークの位置及び向きを決定する(ステップS3)。詳細には、プローブ位置・向き決定部38は、診断断面と体表面との交線上の所定位置にプローブマークの位置を決定する。所定位置は、例えば、CT長軸から最短距離にある体表面上の位置である。プローブ位置・向き決定部38は、診断断面の深さ方向にプローブマークの向きを決定する。
プローブの位置及び向きを決定すると、システム制御部36は、表示制御部32にプローブマークの表示処理を行なわせる。プローブマークの表示処理において表示制御部32は、体表面画像上に位置及び向きを示すプローブマークを重ねて表示させる(ステップSB10)。
図13は、患者正面方向に関する体表面画像TIに表示される、プローブの位置を示すプローブマークPMと向きを示すプローブマークDMとを示す図である。図13に示すように、プローブマークPMとDMとが表示されることで、術者は、異常部位の診断に適したスキャン面を得るためのプローブの位置及び向きを知ることができる。術者は、このプローブマークPMとDMとが示すプローブの位置及び向きに合わせて2次元スキャンを行うことで、3次元スキャンに比してよりスキャン速度が速くより解像度の高い断面画像を得ることができる。
また図13に示すように、プローブをプローブマークが指し示す位置に迅速且つ正確に当てるために、体表面画像(典型的には、患者正面方向)上の解剖学的な基準位置(被検体の正中線MLと剣状突起(みぞおち)の先端位置XP)とプローブマークPM,DMとの位置関係を体表面画像TI上に表示してもよい。具体的には、プローブマークPMと正中線MLとの体表面に沿った距離(図13における118mm)や、プローブマークPMと剣状突起の先端位置XPとの体表面に沿った距離(図13における113mm)等が表示される。なお、体表面画像上の解剖学的な基準位置は、被検体の正中線MLと、剣状突起(みぞおち)の先端位置XPとであるとしたが、他の基準位置、例えば、乳首やへそ等であってもよい。
また、プローブに位置センサが備えられている場合、図14に示すように、実際のプローブの向き(チルト角)とプローブマークの向きとの角度差(図14における43°)を表示してもよい。
図13及び図14に代えて、図15及び図16に示すように、CTボリュームデータファイルから抽出された骨領域BRや心臓領域HR、左心室領域等を表示させてもよい。また、骨領域BRや心臓領域HR、左心室領域等に代えて、予め生成された骨や心臓、左心室等の形態を模式的に示すシェーマをさせてもよい。
これら体表面画像は、図17に示すように、超音波断面画像と異常部位画像との重畳画像に並列させて表示すると臨床上有効である。術者は、重畳画像UIや体表面画像SI、画像Si上に表示されている様々なマークや数値等を観察しながら、プローブを最適な位置及び角度にセットすることが可能となる。この際、超音波診断装置100は、プローブのスキャン面の位置及び向きを、算出された診断断面の位置及び向きに自動的に設定して、超音波スキャンを行うことも可能である。
上記のプローブマークの位置及び向きは、2Dスキャン用であるが、3Dスキャン用のプローブマークの位置及び向きを算出しても良い。3Dスキャンの範囲は、プローブ位置。向き決定部38により、以下のように決定される。まず、図12に示すように、診断断面KCに異常部位領域IRが含まれなくなるまで、診断断面KCを回転軸回りに傾ける。そして傾き角が最大となる2つの境界断面KCの位置及び向きを決定する。算出された2つの境界断面KCにより挟まれる扇状の範囲が3Dスキャンの範囲に決定される。決定された3Dスキャンの範囲は、例えば図18に示すように、体表面画像TIに重ねて表示される。必要に応じて表示制御部32は、画像発生部28により発生される境界断面KCに関する断面画像を表示部34に表示させてもよい。
かくして第2実施形態によれば、医用画像処理装置1は超音波診断装置100による心臓の機能情報に関する異常部位の診断に適した画像の提供を支援する画像を提供することが可能となる。
なお、上記の説明においては、体表面画像はCTボリュームデータファイルから抽出された体表面のデータに基づいて発生されるとした。しかしながらこれに限定する必要はなく、超音波ボリュームデータファイルから抽出された体表面のデータに基づいて発生されるとしてもよい。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の第1実施形態に係る医用画像処理システム及び医用画像処理装置の構成を示す図。 システム制御部36による診断断面に関する画像の表示処理の動作の流れを示す図。 図2のステップSA7において表示される、異常部位領域を一つ含む断面設定画像を示す図。 図2のステップSA7において表示される、異常部位領域を複数含む断面設定画像を示す図。 図2のステップSA8に係る診断断面の位置と向きとの具体例を示す図。 ステップSA10に係る、超音波断面画像とCT断面画像と異常部位画像との重畳表示を示す図 ステップSA10に係る、超音波断面画像と異常部位画像との重畳画像と、CT断面画像と異常部位画像との重畳画像との並列表示を示す図。 本発明の第2の実施形態に係る医用画像処理システム及び医用画像処理装置の構成を示す図。 図8のシステム制御部による、第2実施形態に係るプローブマークの表示処理の流れを示す図。 図9のステップSB9において図9のプローブ位置・向き決定部により行なわれるプローブ位置及び向きの決定処理の流れを示す図。 図10のステップSC2に係る診断断面の移動処理を説明するための図。 図10のステップSC2に係る診断断面の移動処理を説明するための他の図。 図9のステップSB10に係る、患者正面方向に関する体表面画像に重ねて表示されるプローブの位置を示すプローブマークと向きを示すプローブマークとを示す図。 図9のステップSB10に係る、患者左側面方向に関する体表面画像に重ねて表示されるプローブの位置を示すプローブマークと向きを示すプローブマークとを示す図。 図9のステップSB10に係る、患者正面方向に関する体内組織画像に重ねて表示されるプローブの位置を示すプローブマークと向きを示すプローブマークとを示す図。 図9のステップSB10に係る、患者左側面方向に関する体内組織画像に重ねて表示されるプローブの位置を示すプローブマークと向きを示すプローブマークとを示す図。 図9のステップSB10に係る、プローブマークの表示レイアウトの一例を示す図。 図9のステップSB10に係る、プローブマークの表示レイアウトの他の例を示す図。
符号の説明
1…医用画像処理装置、10…超音波ボリュームデータ記憶部、12…超音波機能情報データ記憶部、14…CTボリュームデータ記憶部、16…CT機能情報データ記憶部、18…異常部位抽出部、20…特定部位抽出部、22…長軸算出部、24…位置合わせ部、26…断面算出部、28…画像発生部、30…入力部、32…表示制御部、34…表示部、36…システム制御部、38…プローブ位置・向き決定部、100…超音波診断装置、200…X線コンピュータ断層撮影装置。

Claims (5)

  1. 運動する特定部位を含むボリュームデータを記憶する記憶部と、
    前記ボリュームデータから濃淡値と不透明度と色情報との少なくとも1つに基づいて前記特定部位を抽出する第1抽出部と、
    前記特定部位の運動情報に基づいて前記特定部位に含まれる異常部位を抽出する第2抽出部と、
    前記異常部位の領域に交差する断面の位置及び向きを算出する断面算出部と、
    前記算出された断面の位置及び向きに基づいて前記ボリュームデータから断面画像のデータを発生する第1発生部と、
    前記算出された断面の位置及び向きに基づいて前記異常部位の領域から前記異常部位に関する異常部位画像のデータを発生する第2発生部と、
    前記発生された断面画像と前記異常部位画像とを重ねて表示する表示部と、
    を具備する医用画像処理装置。
  2. 前記特定部位の領域の形状に基づいて前記特徴部位の長軸を算出する軸算出部をさらに備え、
    前記断面算出部は、前記算出された長軸に垂直且つ前記異常部位の領域の範囲内における前記長軸の中心を通る断面、前記長軸に垂直且つ前記範囲内における前記異常部位の領域の面積が最大となる断面、前記長軸に垂直且つ前記範囲内における前記異常部位の領域の重心を通る断面、及び前記長軸に垂直且つ前記範囲の端を通る断面、前記長軸に垂直且つ前記運動情報に関する指標値のうちの特定の指標値を有する断面の何れか一つの断面の位置と向きとを算出する、
    請求項1記載の医用画像処理装置。
  3. 第1の医用画像診断装置によって発生された、被検体の運動する異常部位に関する第1ボリュームデータから運動情報に基づいて異常部位を抽出する抽出部と、
    前記抽出された異常部位に交差する断面の位置及び向きを算出する断面算出部と、
    第2の医用画像診断装置によって発生された、前記異常部位を含む第2ボリュームデータから濃淡値と不透明度と色情報との少なくとも1つに基づいて前記被検体の体表面に関する体表面画像のデータを発生する画像発生部と、
    前記算出された断面の位置及び向きと前記体表面の形状とに基づいて前記断面をスキャン面とするプローブの位置及び向きを決定する決定部と、
    前記決定されたプローブの位置及び向きを示すマークを前記体表面画像に位置整合して重ねて表示する表示部と、
    を具備する医用画像処理装置。
  4. 濃淡値と不透明度と色情報との少なくとも1つに基づいて、前記断面内に前記プローブによるスキャンを阻害する領域が含まれるか否かを判定する判定部をさらに備え、
    前記決定部は、前記阻害する領域が含まれると判定された場合、前記断面を所定方向に移動させることにより前記断面を前記阻害する領域が含まれない位置に移動し、移動後の断面の位置及び向きと前記体表面の形状とに基づいて移動後のプローブの位置及び向きを決定し、
    前記表示部は、前記移動後のプローブの位置及び向きを示すマークを前記体表面画像に位置整合して重ねて表示する、
    請求項3記載の医用画像処理装置。
  5. 前記表示部は、前記マークと前記体表面上の基準位置との間の位置関係を示す記号、図形、及び文字の少なくとも一つを表示する請求項3記載の医用画像処理装置。
JP2008122274A 2008-05-08 2008-05-08 医用画像処理装置 Expired - Fee Related JP5454841B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008122274A JP5454841B2 (ja) 2008-05-08 2008-05-08 医用画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008122274A JP5454841B2 (ja) 2008-05-08 2008-05-08 医用画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013029372A Division JP5487339B2 (ja) 2013-02-18 2013-02-18 医用画像処理装置

Publications (2)

Publication Number Publication Date
JP2009268735A true JP2009268735A (ja) 2009-11-19
JP5454841B2 JP5454841B2 (ja) 2014-03-26

Family

ID=41435800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008122274A Expired - Fee Related JP5454841B2 (ja) 2008-05-08 2008-05-08 医用画像処理装置

Country Status (1)

Country Link
JP (1) JP5454841B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011125569A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2012063420A1 (ja) * 2010-11-12 2012-05-18 パナソニック株式会社 超音波診断装置および超音波診断システム
JP2012217770A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、その処理方法及びプログラム
JP2013063253A (ja) * 2011-08-31 2013-04-11 Canon Inc 情報処理装置、超音波撮影装置および情報処理方法
JP2017056281A (ja) * 2011-08-31 2017-03-23 キヤノン株式会社 情報処理装置、超音波撮影装置および情報処理方法
JP2019093123A (ja) * 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
CN111184534A (zh) * 2018-11-15 2020-05-22 三星麦迪森株式会社 用于确定胎儿心脏的异常的超声诊断设备及其操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320923A (ja) * 1995-05-26 1996-12-03 Toshiba Medical Eng Co Ltd 異常陰影自動検出システム
JP2005006770A (ja) * 2003-06-17 2005-01-13 Olympus Corp 超音波診断装置
WO2005104953A1 (ja) * 2004-04-28 2005-11-10 Hitachi Medical Corporation 画像診断支援装置及びその方法
JP2006141509A (ja) * 2004-11-17 2006-06-08 Aloka Co Ltd 超音波診断装置
JP2006180998A (ja) * 2004-12-27 2006-07-13 Ge Medical Systems Global Technology Co Llc 超音波イメージング装置
JP2007135843A (ja) * 2005-11-17 2007-06-07 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320923A (ja) * 1995-05-26 1996-12-03 Toshiba Medical Eng Co Ltd 異常陰影自動検出システム
JP2005006770A (ja) * 2003-06-17 2005-01-13 Olympus Corp 超音波診断装置
WO2005104953A1 (ja) * 2004-04-28 2005-11-10 Hitachi Medical Corporation 画像診断支援装置及びその方法
JP2006141509A (ja) * 2004-11-17 2006-06-08 Aloka Co Ltd 超音波診断装置
JP2006180998A (ja) * 2004-12-27 2006-07-13 Ge Medical Systems Global Technology Co Llc 超音波イメージング装置
JP2007135843A (ja) * 2005-11-17 2007-06-07 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011125569A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2012063420A1 (ja) * 2010-11-12 2012-05-18 パナソニック株式会社 超音波診断装置および超音波診断システム
CN102843973A (zh) * 2010-11-12 2012-12-26 松下电器产业株式会社 超声波诊断装置和超声波诊断系统
US9498185B2 (en) 2010-11-12 2016-11-22 Konica Minolta, Inc. Ultrasound diagnostic apparatus and ultrasound diagnostic system
JP2012217770A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、その処理方法及びプログラム
US9480456B2 (en) 2011-04-13 2016-11-01 Canon Kabushiki Kaisha Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
JP2013063253A (ja) * 2011-08-31 2013-04-11 Canon Inc 情報処理装置、超音波撮影装置および情報処理方法
JP2017056281A (ja) * 2011-08-31 2017-03-23 キヤノン株式会社 情報処理装置、超音波撮影装置および情報処理方法
US10743843B2 (en) 2011-08-31 2020-08-18 Canon Kabushiki Kaisha Information processing apparatus, ultrasonic imaging apparatus, and information processing method
JP2019093123A (ja) * 2017-11-24 2019-06-20 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
JP7204424B2 (ja) 2017-11-24 2023-01-16 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
CN111184534A (zh) * 2018-11-15 2020-05-22 三星麦迪森株式会社 用于确定胎儿心脏的异常的超声诊断设备及其操作方法

Also Published As

Publication number Publication date
JP5454841B2 (ja) 2014-03-26

Similar Documents

Publication Publication Date Title
US7991108B2 (en) Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (computed tomography) apparatus, and method of processing medical image
JP6073971B2 (ja) 医用画像処理装置
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
JP5400326B2 (ja) トモシンセシス画像を表示するための方法
JP5639739B2 (ja) 複数のビューのボリューム・レンダリングのための方法及びシステム
EP2807978A1 (en) Method and system for 3D acquisition of ultrasound images
JP4786307B2 (ja) 画像処理装置
JP6297289B2 (ja) 画像処理システム、x線診断装置及び画像処理装置の作動方法
JP5454841B2 (ja) 医用画像処理装置
JP2009095671A (ja) 被位置合わせ画像を視覚化するための方法及びシステム
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP2008086767A (ja) 3次元及び4次元コントラスト撮像のためのシステム及び方法
JP2007044121A (ja) 医用画像表示方法及び装置
JP4350226B2 (ja) 三次元画像処理装置
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2009022411A (ja) 医用画像処理装置
JP5305635B2 (ja) 医用画像表示装置
JP5380231B2 (ja) 医用画像表示装置および方法ならびにプログラム
JP6738631B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6863774B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2010075549A (ja) 画像処理装置
JP2009022476A (ja) 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP5487339B2 (ja) 医用画像処理装置
JP6740051B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Ref document number: 5454841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees