JP2008514277A - 超音波リアルタイムシミュレーション装置及び方法 - Google Patents

超音波リアルタイムシミュレーション装置及び方法 Download PDF

Info

Publication number
JP2008514277A
JP2008514277A JP2007533500A JP2007533500A JP2008514277A JP 2008514277 A JP2008514277 A JP 2008514277A JP 2007533500 A JP2007533500 A JP 2007533500A JP 2007533500 A JP2007533500 A JP 2007533500A JP 2008514277 A JP2008514277 A JP 2008514277A
Authority
JP
Japan
Prior art keywords
data values
simulated
rendering
interior
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007533500A
Other languages
English (en)
Other versions
JP5122963B2 (ja
Inventor
アントン ブツェフ
ウェイミン ウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2008514277A publication Critical patent/JP2008514277A/ja
Application granted granted Critical
Publication of JP5122963B2 publication Critical patent/JP5122963B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/06Visualisation of the interior, e.g. acoustic microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/06Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0609Display arrangements, e.g. colour displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/26Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/26Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/27Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the material relative to a stationary sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medicinal Chemistry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

本方法は、対象物に対する模擬スキャナの位置及び向きの1つに関連するデータ値を受け取ることを含む。このデータ値に基づいて画像値がほぼリアルタイムで計算される。模擬超音波画像は画像値に基づいてグラフィックディスプレイにレンダリングされる。この模擬超音波画像は、超音波走査平面上での対象物の内部又は模擬される内部を表している。
【選択図】図4

Description

本発明は、一般に、グラフィカルなシミュレーションに関し、より詳細には、超音波画像のシミュレーションのための方法及び装置に関する。
超音波シミュレータを使用すれば、医療専門家は、生きた患者を必要とせずに、実際に近い環境で超音波装置を使って経験を積めるようになる。従来の超音波装置の機能を模擬する公知の超音波シミュレータが開発されてきた。このようなシミュレータでは、使用者が実際に超音波で取得された画像を見ながら、これと同時に模擬超音波プローブをマネキン(人体模型)上で操作する。
公知の超音波シミュレータで使用される画像は、生きた患者で行われた実際の超音波により記録された静止画像である。シミュレーションに先立って、複数の画像が様々な深度及び位置で取得され、模擬プローブの操作に基づくシミュレーション中での、後の検索用にその目録が作成される。このようなシミュレータの大きな不具合は、動的な状況(例えば心臓の鼓動、呼吸運動、器官の触診など)のシミュレーションを行えないことである。静止画像は、マネキンの状態(すなわち、マネキンが呼吸をシミュレートしているか、使用者がマネキンを触診するかどうかなど)と無関係に、同じように再生される。
他の公知のシミュレータでは、実際の超音波画像に基づく、独立した静的な3次元画像モデルを生成することができる。しかし、このようなモデルの表示は、超音波シミュレータの使用に基づくものではない。
このため、リアルタイムでの動的なモデルに基づいて超音波画像を生成できる超音波シミュレーション装置及び方法が求められている。
対象物に対する模擬スキャナの位置に関連するデータ値を受け取ることを含む方法が開示される。このデータ値に基づいて、画像値がほぼリアルタイムで計算される。この画像値に基づいて、模擬超音波画像がグラフィックディスプレイにレンダリング(描画)される。この模擬超音波画像は、対象物の内部又は模擬される内部を表している。
別の実施形態では、方法は、グラフィックプロセッサのステンシルバッファに対して、ポリゴンモデルに関連する第1の組のデータ値を書き込んで描画するステップと、グラフィックプロセッサのフレームバッファに対して、ポリゴンモデルに関連する第2の組のデータ値を書き込んで描画するステップとを有する。排他的論理和(XOR)アルゴリズムを使用して、超音波走査平面上の対象物の内部及び模擬される内部の1つを表現するために、一組のピクセル値が特定される。模擬超音波画像は、ステンシルバッファに書き込まれるデータ値に基づいて、グラフィックディスプレイに描画される。このステンシルバッファは、超音波走査平面上の対象物の内部又は模擬される内部を表すピクセルのみを、フレームバッファに対して積極的に書き込んで描画させるのを支援するマスクとして機能する。
対象物に対する模擬スキャナの位置に関連するデータ値を受け取ることを含む方法が開示される。このデータ値に基づいて、画像値がほぼリアルタイムで計算される。この画像値に基づいて、模擬超音波画像がグラフィックディスプレイに描画される。模擬超音波画像は、対象物の内部又は模擬される内部を表している。「ほぼリアルタイムで計算する」という文言は、シミュレーションのリフレッシュレートよりも速い速度で、グラフィックディスプレイ上で模擬超音波画像を更新するという意味に用いられる。このため、模擬スキャナがスキャンされる対象物上を通る際に、殆ど遅れなしに、あるいは全く遅れることなく画像が更新される。この「ほぼリアルタイムで計算する」という文言は、例えば、予め記憶されている一連の画像をデータベースから読み込むことを含まない。
更に、「動的に更新される」という文言は、「スキャン(走査)」される対象物の操作及び/又は模擬スキャナの操作に基づいて、グラフィックディスプレイの模擬超音波画像を更新することを指す。例えば、スキャン中の対象物の操作には、対象物、つまり、呼吸のシミュレーション又は拍動のシミュレーションなどによる物理的変形をシミュレートする対象物の触診が含まれる。また模擬スキャナの操作には、例えば、スキャナを揺り動かすことや、スキャナの視野角を変更することなどが含まれる。
図1は、本発明の一実施形態による超音波シミュレーション装置の概略図である。この装置10は、プロセッサ30に接続された模擬スキャナ20を含む。プロセッサ30は、ディスプレイ40に信号を出力するように構成される。対象物50は、対象物50の状態、及び対象物50に対するスキャナ20の位置に基づいて信号を送受信するプロセッサ30に接続されており、以下に記載する通りである。
模擬スキャナ20は、対象物50を実際にはスキャンしないという意味において「シミュレート(模擬)」される。以下に詳述するように、ディスプレイ40上の画像は、対象物50に対する模擬スキャナ20の位置に基づいて出力され、対象物50の実際のスキャンに基づくものではない。換言すれば、模擬スキャナ20については、一部の実施形態では動作機能をもつ超音波スキャナであってもよいが、超音波シミュレーション装置10の一部としてスキャン機能を実行するものではない。超音波シミュレーション装置の別の実施形態では、模擬スキャナ20は模擬されたスキャナであって、該スキャナが使用されるシステムを問わず、スキャン機能を発揮する能力はない。
対象物50は、身体の一部又は全身を表すことができる。この対象物50は、実際の身体部分であってもよいし、模擬的な身体部分であってもよい。対象物50が実際の身体部分であるか、模擬的な身体部分であるかを問わず、対象物50は実際にスキャンされないため、対象物50がプロセッサ30からの出力に影響を与えることはない。対象物50は、人体の形をしたマネキン又は同様の物体とされる。ディスプレイ40への模擬超音波画像の出力は、対象物50の形状又は他の物理的特性に依存しない。換言すれば、この出力が人体内部の模擬表現となるように、対象物の形状が人体を表現する必要はない。
超音波シミュレーション装置10は、複数の動作モードを有することができ、一実施形態では、1つの対象物50(例えば1つの箱)を使用して、複数の身体部分を表現することができる。例えば、ある動作モードでは、対象物50は身体の胴体上部を表し、表示画像は胴体上部の内部(例えば心臓、肺など)に関連する。第2の動作モードでは、対象物は身体の胴体下部を表すことができ、表示画像は、胴体下部(例えば胃、肝臓など)に関連する。換言すれば、超音波シミュレーション装置10の動作モードに従って、対象物50の1つの位置を、異なる画像に関連させることができる。一部の実施形態では、対象物50が身体部分とは関連しない。例えば、対象物50は、現実の物品又は模擬物品を内部に収容できる枠箱又は模擬的な枠箱であってもよい。
ディスプレイ40はプロセッサ30に接続され、対象物50に対する模擬スキャナ20の位置に関連したデータ値に基づいて、模擬超音波画像(例えば図2参照)を出力するように構成される。プロセッサ30は、例えば、市販のパーソナルコンピュータでもよいし、1つ以上の特定の処理を実行する専用の、より単純な演算や処理を行う装置でもよい。例えば、プロセッサ30は、対話式のバーチャルリアリティ(仮想現実)環境を提供するための専用端末(例えばゲームシステムなど)であってもよい。
本発明の1つ以上の実施形態によれば、プロセッサ30は市販のマイクロプロセッサでも構わない。これに代わって、プロセッサ30は、特定用途向け集積回路(ASIC)又はASICを組み合せたものであってもよく、これらは、1つ以上の特定の機能を実現するか、又は1つ以上の特定の装置又はアプリケーションを可能とするように設計される。更に別の実施形態では、プロセッサ30は、アナログ回路又はデジタル回路、あるいは複数の回路を組み合せたものであってもよい。
プロセッサ30は、メモリコンポーネント(図1には示していない)を有する。このメモリコンポーネントには、1種類以上のメモリが含まれる。例えば、メモリコンポーネントには、読み取り専用メモリ(ROM)コンポーネント、及びランダムアクセスメモリ(RAM)コンポーネントがある。また、メモリコンポーネントは、プロセッサ30によって読み出し可能な形式のデータを記憶させるのに好適な、別の種類のメモリを含むことができる。メモリコンポーネントの内部には、電子的にプログラム可能な読み出し専用メモリ(EPROM)、消去可能で電子的にプログラム可能な読み出し専用メモリ(EEPROM)、フラッシュメモリや、他の好適なメモリを含んでもよい。また、プロセッサ30は、装置10の所望の機能に応じて、他の様々な構成要素、例えばコプロセッサ、グラフィックプロセッサなどを含むことができる。
プロセッサ30は、メモリコンポーネントと通信して、メモリコンポーネントにデータを記憶し、またメモリコンポーネントに予め記憶されているデータを取り出すことができる。プロセッサ30のコンポーネントは、入出力(I/O)コンポーネント(図1に示していない)によって、プロセッサ30の外部のデバイスと通信することができる。本発明の1つ以上の実施形態によれば、I/Oコンポーネントは、各種の好適な通信インターフェースをもつことができる。例えば、I/Oコンポーネントは、標準的なシリアルポートやパラレルポート、ユニバーサルシリアルバス(USB)ポート、S−ビデオポート、広域ネットワーク(large area network:LAN)ポート、小型コンピュータシステムインターフェース(SCSI)ポートなどの、有線式接続を有し得る。更に、I/Oコンポーネントは、例えば、赤外線ポート、光ポート、Bluetooth(登録商標)無線ポート、無線LANポートなどの無線式接続を有してもよい。
プロセッサ30は、対象物50や模擬スキャナ20に信号を送信し、これらから信号を受信するように構成される。プロセッサ30は、対象物50に対する模擬スキャナ20の位置に関連するデータ値を受信する。この位置信号は、模擬スキャナ20又は対象物50の一方から受信される。例えば、模擬スキャナ20の位置は、所定の基準点からの相対的な距離及び方向として測定される。この基準点は、対象物50の表面又はその内部の点であってもよく、また装置10の別の位置にあってもよい。例えば、対象物50が支持体(図示せず)に配置される構成の場合に、基準点は支持体の上に設定できる。別の実施形態では、対象物50に対する模擬スキャナ20の位置を検出するように構成されたセンサ又は複数のセンサ(図示せず)を、対象物に設けることができる。あるいはまた、対象物50は、模擬スキャナ20に位置信号を送信して対象物50に対する模擬スキャナ20の位置情報を決定するための無線式又は有線式の送信機(図示せず)を有してもよい。
対象物50に対する模擬スキャナ20の位置を、ディスプレイ40上に出力される画像に対して現実的な意味で関連付けることが望ましい。例えば、対象物が模擬人体である場合、ディスプレイ40に出力される画像は、スキャナ20の位置に対応した、体内の関連する部分でなければならない(例えば、模擬スキャナ20が心臓の模擬される場所に置かれた場合、心臓の画像がディスプレイ40に出力される)。
模擬スキャナ20がある位置から別の位置に移動されると、ディスプレイ40に出力される画像が、後述するように、ほぼリアルタイムで動的に更新される。本発明の一部の実施形態では、模擬スキャナ20は固定位置に設けられており、対象物50が模擬スキャナ20に対して移動可能である。本明細書で模擬スキャナ20の移動を話題にする場合、この移動は、対象物50に対する相対的な運動のことである。模擬スキャナ20に対する対象物50の移動は、模擬スキャナ20が移動する場合に生成されるのと同様の出力をもたらす。
プロセッサ30は、対象物50に対する模擬スキャナ20の位置に関連するデータ値に基づいて、ほぼリアルタイムで画像値を計算する能力をもつ。計算された画像値に基づいて、模擬超音波画像が、ディスプレイ40に視覚的に描画される。模擬超音波画像は、超音波走査平面上の対象物50の内部又は模擬される内部を表している。換言すれば、表示される模擬超音波画像が、超音波シミュレーション装置10と共に使用する対象物50の実際の内部を表現している場合に、模擬超音波画像は、対象物50の実際の内部を表すことになる。
図3を参照すると、模擬スキャナ20が対象物50の近くに置かれた場合に、走査平面が、対象物50に対するスキャナ20の位置及び向きの少なくとも1つに基づいて規定される。ステンシルバッファ又はフレームバッファに対する画像レンダリング処理中に、レンダリング方向が、超音波走査平面に対してほぼ直交するように規定される。
模擬超音波画像のレンダリングは、最初に、Open GL(登録商標)又はDirectX(登録商標)などのコンピュータグラフィック言語に基づいて、ステンシルバッファ・アルゴリズムによって実行できる。図4は、排他的論理和(XOR)ステンシルバッファ・アルゴリズムが、走査平面上でのスキャン対象物の内部を表現するピクセルを如何にして特定するかを示す。スキャン対象物を表現するポリゴンモデルの一部が、プロセッサ30に記憶されている。走査平面が、XORアルゴリズムを使用してステンシルバッファに対してモデルをレンダリング処理するためのファークリッピング平面として使用される場合に、走査平面上のスキャン対象物の内部を表現するピクセルのみが奇数回書き込まれる。例えば、図4を参照すると、線a、b、c、d、eに対応するステンシルバッファ中のピクセルは、それぞれ0、2、3、1、2回書き込まれる。ピクセルcとピクセルdは、奇数回書き込まれるため、これらは、走査平面上のスキャン対象物の内部に含まれるピクセルとして特定される。
模擬スキャナ20が対象物50の切断図(すなわち走査平面と平行な面)に直交するように、表示画像に対応する様々なポリゴンモデルが定義される。例えば、ポリゴンモデルが、以下のステンシルバッファ設定でステンシルバッファに書き込まれて描画される。
glClearStencil(0x0);
glClear(GL_STENCIL_BUFFER_BIT);
glStencilFunc(GL_NEVER,0x1,0x1);
glStencilOp(GL_INVERT,GL_KEEP,GL_KEEP).
断面として表現される(すなわち、対象物50のスキャンされる模擬的な内部の可視部分を有する)ピクセルは、ステンシルバッファ行列で「1」の値をもつ。
次に、マスクとして使用できるステンシルバッファを用いて、ポリゴンモデルがフレームバッファへのレンダリングが行われる。ステンシルバッファ値が1のピクセルは書き込まれるが、ステンシルバッファ値が0のピクセルはマスクされ、すなわち書き込まれないように阻止される。超音波像のテクスチャがこのレンダリングの段階で使用されて、描画される画像に、より現実に近い外観を与える。例えば、このテクスチャは、実際の超音波画像から得ることができる。ステンシルバッファは、例えば、以下の設定で使用可能となる。
GlEnable(GL_STENCIL_TEST);
glStencilFunc(GL_NOTEQUAL,0x0,0x1);
glStencilOp(GL_KEEP,GL_KEEP,GL_KEEP).
そして、表示画像の内部及び境界の計算に基づいて、超音波の扇状マスクが、ステンシルバッファとフレームバッファに対して描画される。
上記の方法を使用して、ほぼリアルタイムで更新される模擬超音波画像が描画される。模擬スキャナ20の位置が変化するにつれて、画像が動的に変化する。あるいは、対象物50の移動又は対象物50の模擬的な移動に基づいて画像が動的に更新される一方で、模擬スキャナ20の位置はそのまま維持される。例えば、人体を表すマネキンは、人間の呼吸機能及び心機能をシミュレートするように構成することができる。このため、心臓又は肺のスキャンを行う場合に、模擬スキャナ20の位置が対象物50に対して変化しないにもかかわらず、模擬超音波画像は、スキャン対象である、動く器官の模擬的な運動に伴って変化することになる。
また、対象物50を物理的に移動してもよい。例えば、対象物50が触診シミュレータとして使用される場合、使用者が対象物50を押すと、スキャン中の模擬的な器官はその形状が変化する。従って、模擬超音波画像が、対象物50と模擬スキャナ20との間の距離の変化に基づいて更新される。触覚フィードバック装置を組み込んだ触診シミュレータについては、2001年5月4日に出願された米国特許出願第09/848,966号明細書に記載されており、これは本明細書にその全てが参照により援用される。
結論
本発明の各種の実施形態を上に記載したが、これらは例として採り上げたに過ぎず限定を意図しないことを理解すべきである。このため、本発明の範囲及び領域は、上記の実施形態のいずれかに限定されることはなく、請求項とその均等物のみによって規定される。
上記した各種実施形態は、全ての当業者が、本発明を実施し又は使用することができるように記載されている。本発明については、特にその実施形態を参照して詳細に示すと共に記載したが、本発明の趣旨及び範囲から逸脱することなく、形状及び詳細を様々に変更できることは、当業者であれば理解できるであろう。
例えば、模擬スキャナ20は、対象物50の外にあると説明したが、別の実施形態では、模擬スキャナが内部スキャナであって、対象物に挿入されてもよい。
またプロセッサ30は、模擬スキャナ20及び模擬身体部分に対して直接的に接続されるように上記で説明したが、別の実施形態では、プロセッサが、ネットワークを介して超音波シミュレーション装置10に接続されてもよい。
前述の装置は模擬的な身体部分と共に使用されるが、別の実施形態では、装置が、箱や枠箱などの対象物の模擬スキャンに使用される。
本発明の一実施形態による超音波シミュレーション装置の概略図である。 本発明の一実施形態による超音波シミュレーション装置によって生成された模擬画像である。 本発明の一実施形態による、スキャンされた対象物に対するスキャナの位置及び向きによって定義される走査平面及びレンダリング方向を示す図である。 ステンシルバッファに画像を書き込んで描画させるための排他的論理和(XOR)アルゴリズムの適用例を示す図である。

Claims (20)

  1. 対象物に対する模擬スキャナの位置に関連する複数のデータ値を受け取り、
    前記複数のデータ値に基づいて、複数の画像値をほぼリアルタイムで計算し、
    前記複数の画像値に基づいて、グラフィックディスプレイに模擬超音波画像のレンダリングを行い、前記模擬超音波画像が、超音波走査平面上の前記対象物の内部及び模擬される内部の1つを表すようにした方法。
  2. 前記レンダリングはステンシルバッファ・アルゴリズムによって実行される、請求項1に記載の方法。
  3. 前記対象物に対する前記模擬スキャナの位置及び向きの1つが、走査平面及びレンダリング方向を規定する、請求項1に記載の方法。
  4. 前記複数のデータ値は前記対象物のポリゴンモデルに関連している、請求項1に記載の方法。
  5. 前記模擬超音波画像のレンダリングを行う際に、グラフィックプロセッサのステンシルバッファに対して、前記複数のデータ値からの第1の組のデータ値についてレンダリングを行うこと、及び、前記グラフィックプロセッサのフレームバッファに対して、前記複数のデータ値からの第2の組のデータ値についてレンダリングを行うことを含み、前記第1の組のデータ値及び前記第2の組のデータ値が前記対象物のポリゴンモデルに関連している、請求項1に記載の方法。
  6. グラフィックプロセッサのステンシルバッファに対して、第1の組のデータ値についてレンダリングを行い、
    前記グラフィックプロセッサのフレームバッファに対して、第2の組のデータ値についてレンダリングを行い、
    超音波走査平面上の対象物の内部及び模擬される内部の1つに関連するピクセル値の組を特定するために、排他的論理和(XOR)を、前記第1の組のデータ値に適用することを含み、前記第1の組のデータ値及び前記第2の組のデータ値が前記対象物のポリゴンモデルに関連するようにした方法。
  7. 前記排他的論理和は、ステンシルバッファ・アルゴリズムによって前記第1の組のデータ値及び前記第2の組のデータ値に適用される、請求項6に記載の方法。
  8. 前記第1の組のデータ値及び前記第2の組のデータ値は、前記対象物に対する模擬スキャナの位置及び向きの少なくとも1つに基づく、請求項6に記載の方法。
  9. 前記対象物が模擬身体部分である、請求項6に記載の方法。
  10. 前記対象物の移動に基づいて前記第1の組のデータ値及び前記第2の組のデータ値を更新することを更に含む、請求項6に記載の方法。
  11. 前記対象物が模擬身体部分であり、前記移動は、前記模擬身体部分の生理学的特性に基づく模擬的な移動である、請求項10に記載の方法。
  12. 前記移動が前記対象物の操作に基づく、請求項10に記載の方法。
  13. 対象物に対する模擬スキャナの位置に関連する第1の組のデータ値を受け取り、
    前記対象物に対する前記模擬スキャナの位置に関連する、前記第1の組のデータ値とは異なる第2の組のデータ値を受け取り、
    前記対象物の内部及び模擬される内部のうちの1つに関連するピクセル値の組を特定するために、ステンシルバッファ・アルゴリズムによって、前記第1の組のデータ値及び前記第2の組のデータ値に対して排他的論理和(XOR)を適用し、
    ステンシルバッファに対して、前記第1の組のデータ値に関連するポリゴンモデルのレンダリングを行い、
    フレームバッファに対して、前記第2の組のデータ値に関連する前記ポリゴンモデルのレンダリングを行うことを含む方法。
  14. 前記フレームバッファに対して前記ポリゴンモデルのレンダリングを行う際に、前記ステンシルバッファをマスクとして使用することを含む、請求項13に記載の方法。
  15. プロセッサに処理を実行させるための命令を表すコードを記憶しているプロセッサ可読媒体であって、前記コードは、
    対象物に対する模擬スキャナの位置に関連する複数のデータ値を受け取り、
    前記複数のデータ値に基づいて、複数の画像値をほぼリアルタイムで計算し、
    前記複数の画像値に基づいて、グラフィックディスプレイに模擬超音波画像を描画するためのコードを有しており、
    前記模擬超音波画像が、超音波走査平面上の前記対象物の内部及び模擬される内部のうちの1つを表しているプロセッサ可読媒体。
  16. 前記コードは、
    前記対象物の内部及び模擬される内部のうちの1つに関連するピクセル値の組を特定するために、ステンシルバッファ・アルゴリズムによって、第1の組のデータ値に排他的論理和(XOR)を適用し、
    グラフィックプロセッサのステンシルバッファに対して、前記複数のデータ値からの第1の組のデータ値についてレンダリングを行い、
    前記グラフィックプロセッサのフレームバッファに対して、前記複数のデータ値からの第2の組のデータ値についてレンダリングを行うためのコードを有しており、
    前記第1の組のデータ値及び前記第2の組のデータ値が前記対象物のポリゴンモデルに関連している、請求項15に記載のプロセッサ可読媒体。
  17. プロセッサに処理を実行させるための命令を表すコードを記憶しているプロセッサ可読媒体であって、前記コードは、
    グラフィックプロセッサのステンシルバッファに対して、第1の組のデータ値についてレンダリングを行い、
    前記グラフィックプロセッサのフレームバッファに対して、第2の組のデータ値についてレンダリングを行い、
    超音波走査平面上の対象物の内部及び模擬される内部のうちの1つに関連するピクセル値の組を特定するために、排他的論理和(XOR)を前記第1の組のデータ値に適用するためのコードを有しており、
    前記第1の組のデータ値及び前記第2の組のデータ値が前記対象物のポリゴンモデルに関連しているプロセッサ可読媒体。
  18. 前記対象物の移動に基づいて前記第1の組のデータ値及び前記第2の組のデータ値を更新するコードを更に有する、請求項17に記載のプロセッサ可読媒体。
  19. 前記対象物は模擬身体部分であり、前記コードは、
    前記模擬身体部分の生理学的特性に基づく移動に基づいて、前記第1の組のデータ値及び前記第2の組のデータ値を更新するコードを更に有する、請求項17に記載のプロセッサ可読媒体。<
  20. 前記対象物の操作に基づいて前記第1の組のデータ値及び前記第2の組のデータ値を更新するコードを更に有する、請求項17に記載のプロセッサ可読媒体。
JP2007533500A 2004-09-28 2005-09-01 模擬超音波画像のレンダリング方法及びプロセッサ可読媒体 Expired - Fee Related JP5122963B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/950,776 2004-09-28
US10/950,776 US7835892B2 (en) 2004-09-28 2004-09-28 Ultrasound simulation apparatus and method
PCT/US2005/031391 WO2006036458A1 (en) 2004-09-28 2005-09-01 Ultrasound real time simulation apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011130215A Division JP5438070B2 (ja) 2004-09-28 2011-06-10 模擬スキャンを実行するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2008514277A true JP2008514277A (ja) 2008-05-08
JP5122963B2 JP5122963B2 (ja) 2013-01-16

Family

ID=35825337

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007533500A Expired - Fee Related JP5122963B2 (ja) 2004-09-28 2005-09-01 模擬超音波画像のレンダリング方法及びプロセッサ可読媒体
JP2011130215A Expired - Fee Related JP5438070B2 (ja) 2004-09-28 2011-06-10 模擬スキャンを実行するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011130215A Expired - Fee Related JP5438070B2 (ja) 2004-09-28 2011-06-10 模擬スキャンを実行するシステム及び方法

Country Status (4)

Country Link
US (2) US7835892B2 (ja)
JP (2) JP5122963B2 (ja)
GB (1) GB2434909B (ja)
WO (1) WO2006036458A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524284A (ja) * 2010-04-09 2013-06-17 メダフォール リミテッド 超音波シミュレーショントレーニングシステム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835892B2 (en) * 2004-09-28 2010-11-16 Immersion Medical, Inc. Ultrasound simulation apparatus and method
US8297983B2 (en) * 2004-11-30 2012-10-30 The Regents Of The University Of California Multimodal ultrasound training system
US11627944B2 (en) 2004-11-30 2023-04-18 The Regents Of The University Of California Ultrasound case builder system and method
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US8210942B2 (en) 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20090171212A1 (en) * 2007-10-09 2009-07-02 Howard Mark Garon Interactive Virtual Visualization System For Training And Assistance In the Use of Ultrasound Handheld Transducers
CA2716746C (en) * 2008-02-25 2016-05-10 Inventive Medical Limited Medical training method and apparatus
US9171484B2 (en) * 2008-03-06 2015-10-27 Immersion Corporation Determining location and orientation of an object positioned on a surface
US8185354B2 (en) * 2008-05-19 2012-05-22 The Procter & Gamble Company Method of determining the dynamic location of a protection device
US8260578B2 (en) * 2008-05-19 2012-09-04 The Procter & Gamble Company Method of determining the dynamic location of a protection
US20100055657A1 (en) * 2008-08-27 2010-03-04 Warren Goble Radiographic and ultrasound simulators
US9679499B2 (en) 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
CN102187379A (zh) 2008-09-25 2011-09-14 Cae医疗保健有限公司 医学成像模拟
WO2010048475A1 (en) * 2008-10-23 2010-04-29 Immersion Corporation Systems and methods for ultrasound simulation using depth peeling
US8442806B2 (en) * 2010-03-03 2013-05-14 Immersion Medical, Inc. Systems and methods for simulations utilizing a virtual coupling
US20110306025A1 (en) * 2010-05-13 2011-12-15 Higher Education Ultrasound Training and Testing System with Multi-Modality Transducer Tracking
US9289191B2 (en) 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
US20140004488A1 (en) * 2011-03-17 2014-01-02 Mor Research Applications Ltd. Training, skill assessment and monitoring users of an ultrasound system
US20120302323A1 (en) 2011-05-23 2012-11-29 Wms Gaming Inc. Haptic gaming chairs and wagering game systems and machines with a haptic gaming chair
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
DE102011109037A1 (de) 2011-07-30 2013-01-31 Universität Zu Lübeck Verfahren zum Auffinden der Position eines Schallkopfes
US9730587B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Diagnostic simulator
US11191435B2 (en) 2013-01-22 2021-12-07 Seno Medical Instruments, Inc. Probe with optoacoustic isolator
CN104303075A (zh) * 2012-04-01 2015-01-21 艾里尔大学研究与开发有限公司 用于训练超声成像装置用户的装置
US11631342B1 (en) 2012-05-25 2023-04-18 The Regents Of University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US9196092B2 (en) * 2012-06-11 2015-11-24 Siemens Medical Solutions Usa, Inc. Multiple volume renderings in three-dimensional medical imaging
WO2014144278A1 (en) * 2013-03-15 2014-09-18 Seno Medical Instruments, Inc. Diagnostic simulator
US10380919B2 (en) 2013-11-21 2019-08-13 SonoSim, Inc. System and method for extended spectrum ultrasound training using animate and inanimate training objects
US10380920B2 (en) 2013-09-23 2019-08-13 SonoSim, Inc. System and method for augmented ultrasound simulation using flexible touch sensitive surfaces
JP6039527B2 (ja) * 2013-10-18 2016-12-07 楽天株式会社 動画生成装置、動画生成方法及び動画生成プログラム
US11304676B2 (en) 2015-01-23 2022-04-19 The University Of North Carolina At Chapel Hill Apparatuses, systems, and methods for preclinical ultrasound imaging of subjects
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US11600201B1 (en) 2015-06-30 2023-03-07 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
US10896628B2 (en) 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
US11043144B2 (en) 2017-08-04 2021-06-22 Clarius Mobile Health Corp. Systems and methods for providing an interactive demonstration of an ultrasound user interface
US11810473B2 (en) 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation
US11495142B2 (en) 2019-01-30 2022-11-08 The Regents Of The University Of California Ultrasound trainer with internal optical tracking
US20240008845A1 (en) * 2020-12-01 2024-01-11 Simhawk Ltd. Ultrasound simulation system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04332544A (ja) * 1990-11-22 1992-11-19 Advanced Technol Lab Inc 超音波撮像システム
JPH07171154A (ja) * 1993-09-29 1995-07-11 Philips Electron Nv 3次元エコーグラフィシステム及び方法
JP2002336247A (ja) * 2001-05-14 2002-11-26 Fuji Photo Film Co Ltd 画像表示装置及び画像表示方法
JP2003061956A (ja) * 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
JP2003067784A (ja) * 2002-07-30 2003-03-07 Canon Inc 情報処理装置
JP2003319939A (ja) * 2002-04-26 2003-11-11 Ge Medical Systems Global Technology Co Llc 超音波撮影装置
JP2004070669A (ja) * 2002-08-06 2004-03-04 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2004070670A (ja) * 2002-08-06 2004-03-04 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2004159781A (ja) * 2002-11-11 2004-06-10 Nintendo Co Ltd ゲームシステム及びゲームプログラム
JP2004171251A (ja) * 2002-11-20 2004-06-17 Hitachi Ltd 画像生成装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4961138A (en) 1987-05-01 1990-10-02 General Datacomm, Inc. System and apparatus for providing three dimensions of input into a host processor
GB8729638D0 (en) 1987-12-19 1988-02-03 Renishaw Plc Mounting for surface sensing device
US5273038A (en) 1990-07-09 1993-12-28 Beavin William C Computer simulation of live organ
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
WO1992007350A1 (en) 1990-10-15 1992-04-30 National Biomedical Research Foundation Three-dimensional cursor control device
US5361768A (en) 1992-06-30 1994-11-08 Cardiovascular Imaging Systems, Inc. Automated longitudinal position translator for ultrasonic imaging probes, and methods of using same
US5769640A (en) 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5724264A (en) 1993-07-16 1998-03-03 Immersion Human Interface Corp. Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object
US5482472A (en) 1993-11-17 1996-01-09 Board Of Regents, The University Of Texas System Electrical signal generator interface with three-dimensional electrical pathway and transparent heart and method of visually simulating cardiac waveforms in three dimensions
US5609485A (en) * 1994-10-03 1997-03-11 Medsim, Ltd. Medical reproduction system
US5556273A (en) * 1994-10-28 1996-09-17 Tuscaloosa Steel Corporation Combustion system for a steckle mill
US5546943A (en) 1994-12-09 1996-08-20 Gould; Duncan K. Stimulating a beneficial human response by using visualization of medical scan data to achieve psychoneuroimmunological virtual reality
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6503087B1 (en) * 1996-05-08 2003-01-07 Gaumard Scientific, Inc. Interactive education system for teaching patient care
US5853292A (en) 1996-05-08 1998-12-29 Gaumard Scientific Company, Inc. Computerized education system for teaching patient care
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
JPH10111958A (ja) 1996-10-04 1998-04-28 Olympus Optical Co Ltd コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法
IL123073A0 (en) * 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6210168B1 (en) * 1998-03-16 2001-04-03 Medsim Ltd. Doppler ultrasound simulator
US6491649B1 (en) 2000-10-06 2002-12-10 Mark P. Ombrellaro Device for the direct manual examination of a patient in a non-contiguous location
WO2002070980A1 (en) * 2001-03-06 2002-09-12 The Johns Hopkins University School Of Medicine Simulation system for image-guided medical procedures
IL143255A (en) * 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
DE10258952A1 (de) 2002-12-16 2004-08-19 Novak, Dino Carl, Dr. Eingabevorrichtung für eine elektronische Datenverwaltungseinrichtung
US7706633B2 (en) * 2004-04-21 2010-04-27 Siemens Corporation GPU-based image manipulation method for registration applications
US7555151B2 (en) * 2004-09-02 2009-06-30 Siemens Medical Solutions Usa, Inc. System and method for tracking anatomical structures in three dimensional images
US7835892B2 (en) * 2004-09-28 2010-11-16 Immersion Medical, Inc. Ultrasound simulation apparatus and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04332544A (ja) * 1990-11-22 1992-11-19 Advanced Technol Lab Inc 超音波撮像システム
JPH07171154A (ja) * 1993-09-29 1995-07-11 Philips Electron Nv 3次元エコーグラフィシステム及び方法
JP2002336247A (ja) * 2001-05-14 2002-11-26 Fuji Photo Film Co Ltd 画像表示装置及び画像表示方法
JP2003061956A (ja) * 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
JP2003319939A (ja) * 2002-04-26 2003-11-11 Ge Medical Systems Global Technology Co Llc 超音波撮影装置
JP2003067784A (ja) * 2002-07-30 2003-03-07 Canon Inc 情報処理装置
JP2004070669A (ja) * 2002-08-06 2004-03-04 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2004070670A (ja) * 2002-08-06 2004-03-04 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2004159781A (ja) * 2002-11-11 2004-06-10 Nintendo Co Ltd ゲームシステム及びゲームプログラム
JP2004171251A (ja) * 2002-11-20 2004-06-17 Hitachi Ltd 画像生成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524284A (ja) * 2010-04-09 2013-06-17 メダフォール リミテッド 超音波シミュレーショントレーニングシステム

Also Published As

Publication number Publication date
GB2434909A (en) 2007-08-08
US7835892B2 (en) 2010-11-16
GB2434909B (en) 2010-11-24
JP2011172999A (ja) 2011-09-08
US20110060579A1 (en) 2011-03-10
US20060069536A1 (en) 2006-03-30
US8244506B2 (en) 2012-08-14
GB0706763D0 (en) 2007-05-16
JP5438070B2 (ja) 2014-03-12
JP5122963B2 (ja) 2013-01-16
WO2006036458A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
JP5122963B2 (ja) 模擬超音波画像のレンダリング方法及びプロセッサ可読媒体
US10453360B2 (en) Ultrasound simulation methods
JP5567502B2 (ja) 医療用訓練方法及び装置
EP2538398A1 (en) System and method for transesophageal echocardiography simulations
US7289106B2 (en) Methods and apparatus for palpation simulation
US8428326B2 (en) Systems and methods for ultrasound simulation using depth peeling
KR101717695B1 (ko) 의료 영상의 시뮬레이션
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
WO2002094080A2 (en) Endoscopic ultrasonography simulation
US11322048B2 (en) Ultrasound-guided medical tool insertion simulators
CN112587233B (zh) 一种模拟气管内插管术的方法及系统
JP2008134373A (ja) 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ
JP2008292534A (ja) 手術切断運動模擬方法とその装置及び模擬手術接触判定方法とその装置並びに手術切断運動模擬用のデータベース構造
US20200334998A1 (en) Wearable image display device for surgery and surgery information real-time display system
KR20050120497A (ko) 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템
JP3625201B2 (ja) 3次元モデル変形プログラム、3次元モデル変形方法及びビデオゲーム装置
JP7504942B2 (ja) 拡張現実のグラフィック表現を表示するための表現装置
Allgaier et al. Livrsono-virtual reality training with haptics for intraoperative ultrasound
CN115953532A (zh) 教学用超声图像的显示方法、装置及超声图像的教学系统
CN116964638A (zh) 涉及虚拟现实系统和交互对象的方法
JP4408910B2 (ja) キャラクター表示装置、キャラクター表示方法、ならびに、プログラム
SMITH et al. 360 Medicine Meets Virtual Reality 12 JD Westwood et al.(Eds.) IOS Press, 2004

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100802

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101005

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110314

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110330

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110922

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110930

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111020

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5122963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees