JP2014039886A - 3次元医療用画像における空間的関係を伝達するための動画 - Google Patents

3次元医療用画像における空間的関係を伝達するための動画 Download PDF

Info

Publication number
JP2014039886A
JP2014039886A JP2013250367A JP2013250367A JP2014039886A JP 2014039886 A JP2014039886 A JP 2014039886A JP 2013250367 A JP2013250367 A JP 2013250367A JP 2013250367 A JP2013250367 A JP 2013250367A JP 2014039886 A JP2014039886 A JP 2014039886A
Authority
JP
Japan
Prior art keywords
view
dimensional
field
diagnostic
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013250367A
Other languages
English (en)
Other versions
JP5963736B2 (ja
Inventor
Bruce A Mcdermott
エー マックダーモット ブルース
Mervin Mencias Smith-Casem
メンチャス スミス−ケースム マーヴィン
Patric Ljung
リュン パトリック
Stefan Wiesner
ヴィースナー シュテファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Corp
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corp, Siemens Medical Solutions USA Inc filed Critical Siemens Corp
Publication of JP2014039886A publication Critical patent/JP2014039886A/ja
Application granted granted Critical
Publication of JP5963736B2 publication Critical patent/JP5963736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】3次元超音波画像化における空間的関係を伝達する。
【解決手段】一つの視野から他の視野へボリュームレンダリングを移動させるために、移動が動画化され(28)、回転を表示する。例えば、ユーザは、一つの診断用視野を検査する(24)が、他の診断用視野を検査する(30)ことを決定する。他の診断用視野の選択の際に、ボリュームレンダリング画像が回転して見える。一つの視野から他の視野への回転は、各視野の間の空間的関係を明らかにする。そこで、ユーザは、先行して検査した静止視野との関係の認識を持って、所望の視野における静止ボリュームレンダリングを検査し得る。
【選択図】図2

Description

関連出願
本件特許出願は、2008年6月6日に出願され、参照することによりここに組み込まれる仮米国特許出願第61/059,648号の合衆国法典第35巻第119条(e)の下での出願日の利益を主張する。
本実施の形態は、医療診断用画像、特に、異なる3次元視野(3次元対象の異なる視野の2次元画像が示される)に関する。
超音波又は他の医療用画像様式は、患者を走査するために使用され得る。例えば、超音波心臓検査法(心臓エコー検査法)は、多平面再構成(MPR:multi-planar reconstruction)を用いて心臓の構造を視覚化するために通例使用される画像様式である。エコー(反響)は、しばしば、3次元人間心臓の2次元投影であるので、標準視野は、心臓の構造をより良好に視覚化するために捕捉される。例えば、心尖部四腔像(apical four-chamber (A4C) view)においては、全四つの空洞、即ち、左心室及び右心室並びに左心房及び右心房、が存在している。心尖部二腔像(apical two-chamber (A2C) view)においては、左心室及び左心房のみが存在している。他の例は、胎児の頭蓋内構造の画像化である。小脳、大槽及び側脳室の視覚化のために、三つの標準平面が、異なる方向で捕捉される。
超音波データは、3次元超音波画像化をリアルタイムで可能にするために、十分な速度(rate)で取得され得る。例えば、3次元ボリューム(3次元体積)と、ユーザ選択可能視野方向からのデータの視野の3次元描写を示すボリュームレンダリング(VR:volume rendering)とを通じた特定平面の画像を示す一つ又はそれ以上のMPRの組合せが提供される。非リアルタイム3次元超音波画像化も提供され得る。他の例においては、VRは、MPRなしで提供される。
異なる視野化選択肢が、VRについて利用可能である。例えば、切り取り平面(clip plane)の前のデータをボリュームレンダリングから除去するためにMPRスライスの位置に配置された切り取り平面を伴う任意のMPRスライスに対して直交する視野方向において、VRは、レンダリングされ得る。ユーザは、VRを調査する。ユーザは、診断を可能とする異なる視野を創作するために、視野方向及び切り取り平面位置を変えることができる。異なる視野間での移動のために、VRは、新たなユーザ選択に従って、新たな視野方向及び切り取り平面位置へジャンプする。このジャンプは、ユーザを混乱させ又は方向を見失わせることになり得る。代替的に、ユーザは、切り取り平面位置又は視野方向を変更するために漸増的に適用される回転を制御するトラックボール又は他のユーザインタフェースを使用し得る。切り取り平面又は視野方向を漸増的に変更するユーザ変更は再現性に欠けることがあり、それは、所望の視野をユーザが一貫して達成することを妨げる。
開示のために後述される好適な実施の形態は、3次元医療用画像における空間的関係を伝達するための方法、コンピュータ読出可能な記録媒体及びシステムを含む。VRを一つの視野から他の視野へ移動させるために、VRは、動画化されて、新たな視野方向へ滑らかに回転する。例えば、ユーザは、一つの診断用視野を検査するが、他の診断用視野を検査することを決定する。他の診断用視野の選択の際に、VR画像は、回転して見える。一つの視野から他の視野への漸進的な回転は、各視野の間の空間的関係を明らかにする。そこで、ユーザは、先行して検査した静止視野との関係の認識を持って、所望の視野における静止VRを検査し得る。
第1の観点においては、方法が、3次元医療用画像における空間的関係を伝達するために提供される。取得されたデータセットの少なくとも一部分の第1の診断用視野の第1の3次元描写が表示される。第1の3次元描写は、第1の視角におけるものである。当該部分の第2の診断用視野の表示が受信される。第1の診断用視野から第2の診断用視野への移動は、動画化される。当該移動は、上記取得されたデータセットの当該部分の複数の中間3次元描写を含む。当該部分の各中間3次元描写は、それぞれ異なる中間の視角に対応している。上記取得されたデータセットの当該部分の第2の診断用視野の第2の3次元描写は、移動後に表示される。第2の3次元描写は、第1の視角とは異なる第2の視角におけるものであり、異なる中間の視角は、それぞれ第1及び第2の視角とは異なる。
第2の観点においては、システムが、3次元医療用画像における空間的関係を伝達するために提供される。メモリは、患者のボリューム(体積)を描写するデータを蓄積するために動作可能である。プロセッサは、当該データからボリュームの複数の3次元描写を生成するために動作可能である。3次元描写の各々は、ボリュームに関して異なる視角を有している。タイマは、上記複数の3次元描写のうちの初期の3次元描写を第1の期間に亘って静止表示させ、上記複数の3次元描写のうちの最終の3次元描写を第2の期間に亘って静止表示させるために動作可能である。タイマは、上記複数の3次元描写のうちの初期の3次元描写と最終の3次元描写との間の一連の3次元描写を表示させるために動作可能である。一連の3次元描写の各々は、上記第1及び第2の期間より短い時間に亘って表示される。ディスプレイは、初期の3次元描写、一連の3次元描写及び最終の3次元描写を表示するために動作可能である。
第3の観点においては、コンピュータ読出可能な記録媒体が、3次元医療用画像における空間的関係を伝達するための命令であって、プログラム制御されるプロセッサにより実行可能な命令を表すデータを格納している。上記記録媒体は、3次元レンダリング画像の第1の視野から第2の視野への変化を指示するユーザ入力を受信するための命令と、3次元レンダリング画像が第1の視野から第2の視野へ直接にジャンプするのではなく漸進的に移動して見えるように、3次元レンダリング画像の第1の視野から第2の視野への変化を動画化するための命令と、を含む。
本発明は、随伴する請求項によって画定され、発明の詳細な説明のいかなる事項も、それらの請求項についての限定と解釈すべきではない。本発明の更なる観点及び利点は、好適な実施の形態に関連して以下に論述され、その後、独立して又は組合せにおいて権利として請求され得る。
構成要素及び図面は必ずしも一定の尺度では描かれておらず、その代わりに、本発明の原理の図示において強調が行われている。また、図面において、同様の参照番号は、異なる図面を通して、対応する要素を示している。
医療用画像システムの実施の一形態のブロック図である。 3次元医療用画像における空間的関係を伝達するための方法の実施の形態のフローチャートである。 実施の一形態における二つの視野間におけるボリュームレンダリングの回転の図形描写である。 他の実施の形態における二つの視野間におけるボリュームレンダリングの回転の図形描写である。 心臓の開口の動画を示す医療用画像である。 心臓の開口の動画を示す医療用画像である。 心臓の開口の動画を示す医療用画像である。 心臓の開口の動画を示す医療用画像である。 心臓の開口の動画を示す医療用画像である。
本発明によって、超音波若しくは他の医療用画像システム又はオフライン検査ワークステーションのユーザは、3次元データの種々の視野間の空間的関係をより良く理解し得る。3次元ボリュームの一つの視野方向から他の視野への移動の際に、3次元ボリュームレンダリングをゆっくり回転させ又は傾けるために動画を用いることによって、観察者は、異なる視野方向間の空間的関係をより容易に理解し得る。動画の開始は、単一のボタン押下又は他の起動動作によりトリガされることが可能であり、手動回転と比較してユーザ制御が簡素化され、切り取り平面がリセットされる。
図1は、3次元医療用画像における空間的関係を伝達するための医療診断用画像システム10を示している。システム10は医療診断用超音波画像システムであるが、コンピュータ、ワークステーション、データベース、サーバ又は他の画像システムであり得る。コンピュータ断層撮影又は磁気共鳴システム等の他の医療用画像システムが使用され得る。
システム10は、プロセッサ12、メモリ14、ディスプレイ16、トランスデューサ18、タイマ20及びユーザ入力22を含む。追加の構成要素、異なる構成要素、又は、より少ない構成要素が備えられ得る。例えば、システム10は、送信ビーム形成器、受信ビーム形成器、Bモード検出器、ドップラ検出器、周波数応答検出器、コントラスト剤検出器、走査変換器、フィルタ、それらの組合せ、又は、他の現在知られている若しくは今後開発される医療診断用超音波システム構成要素を含む。他の例として、システム10は、トランスデューサ18を含まない。タイマ20は、別個に示されているが、プロセッサ12の一部であり得る。
トランスデューサ18は、音響エネルギと電気エネルギとの間の変換を行うために動作可能な圧電性装置又は容量性装置である。トランスデューサ18は、多次元アレイ又は2次元アレイ等の素子のアレイ(配列)である。代替的に、トランスデューサ18は、一次元における機械的走査及び他の次元における電気的走査のためのウォブラ(wobbler)である。
システム10は、ボリューム(体積)を走査するためにトランスデューサ18を使用する。電気的及び/又は機械的操舵は、ボリューム内の異なる走査ラインに沿った送信及び受信を可能にする。任意の走査パターンが使用され得る。実施の一形態において、送信ビームは、各送信について20又はそれ以上の受信ラインに達するグループの受信のような、複数の走査ラインに沿った受信のために、十分に幅が広い。他の実施の形態においては、複数の、多数の又は総ての走査ラインに沿った受信のために、平坦送信波形、平行送信波形又は発散送信波形が提供される。
ボリュームを描写する超音波データは、走査に応じて供給される。超音波データは、ビーム形成され、検出され、及び/又は、走査変換される。超音波データは、極座標若しくはデカルト座標、平面間に極座標間隔を有するデカルト座標、又は、他の形式等の、任意の形式(フォーマット)であり得る。他の実施の形態においては、超音波データは、着脱式記録媒体からの又はネットワークを介する等の、転送によって取得される。ボリュームを描写する医療用データの他の型(タイプ)も、取得され得る。
メモリ14は、バッファ、キャッシュ、RAM、着脱式記録媒体、ハードディスク装置、磁気、光学又は他の現在知られている若しくは今後開発されるメモリである。メモリ14は、単一の装置、又は、二つ若しくはそれ以上の装置のグループであり得る。メモリ14は、システム10内部に示されているが、システム10の外部にあってもよく、又は、システム10の他の構成要素から離隔していてもよい。
メモリ14は、超音波データを蓄積する。例えば、メモリ14は、流動成分(例えば、速度、エネルギ又はそれらの両方)及び/又はBモード超音波データを蓄積する。医療用画像データは、3次元データセット、又は、そのようなセットの連続配列(シーケンス)である。例えば、心臓の心拍周期の一部、一周期又はそれ以上の周期に亘るセットのシーケンスが蓄積される。異なる角度又は位置からの同一の人物、器官又は部位の画像化に関連するような複数のセットが供給され得る。データは、心臓の一部又は全部の描写のように、患者のボリュームを描写する。
リアルタイム画像化のために、超音波データは、メモリ14をバイパスし、メモリ14に一時的に蓄積され、又は、メモリ14からロードされる。リアルタイム画像化は、データの取得と画像化との間の、秒の分数の遅延又は秒の遅延でさえも許容し得る。例えば、リアルタイム画像化は、走査によるデータの取得と実質的に同時に画像を生成することによって提供される。次の又は後続のデータセットを取得するために走査を行うと同時に、先行するデータセットに対して画像が生成される。画像化は、データを取得するために用いられるのと同一の画像化セッションの間に起こる。多平面再構成の初期に配置する平面におけるより大きい遅延と後続の画像化におけるより小さい遅延のように、リアルタイム動作のための取得及び画像化の間の遅延の量は、変化し得る。代替的な実施の形態において、超音波データは、先行する画像化セッションからメモリ14に蓄積されており、同時の取得なしに画像化に使用される。
追加的に又は代替的に、メモリ14は、命令の処理を伴うコンピュータ読出可能な記録媒体である。メモリ14は、3次元医療用画像における空間的関係を伝達するための命令であって、プログラム制御されるプロセッサ12により実行可能な命令を表すデータを格納している。ここで論述されているプロセス、方法及び/又は技術を実施するための命令は、キャッシュ、バッファ、RAM、着脱式記録媒体、ハードディスク装置又は他のコンピュータ読出可能な記録媒体等の、コンピュータ読出可能な記録媒体又はメモリ上に備えられる。コンピュータ読出可能な記録媒体は、種々の種類の揮発性及び不揮発性記録媒体を含む。図面に図示され又はここに記載される機能、動作又はタスクは、コンピュータ読出可能な記録媒体内に又はコンピュータ読出可能な記録媒体上に格納されている一つ又はそれ以上の命令セットに応じて実行される。機能、動作又はタスクは、特定の種類の命令セット、記録媒体、プロセッサ又は処理戦略(プロセッシング・ストラテジ)には依存せず、単独で又は組合せで動作するソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコード等により実行され得る。同様に、処理戦略(プロセッシング・ストラテジ)は、多重処理(マルチプロセッシング)、多重タスク処理(マルチタスキング)、並列処理(パラレルプロセッシング)等を含み得る。実施の一形態において、命令は、局所(ローカル)システム又は遠隔(リモート)システムによる読み出しのために着脱式記録媒体に格納される。他の実施の形態において、命令は、コンピュータネットワークを介して又は電話線を通じた転送のために遠隔(リモート)ロケーションに格納される。さらに他の実施の形態において、命令は、所定のコンピュータ、CPU、GPU又はシステム内に格納される。
プロセッサ12は、汎用プロセッサ、ディジタル信号プロセッサ、3次元データプロセッサ、グラフィック処理ユニット、特定用途向け集積回路(ASIC)、現場プログラム可能な論理列(フィールド・プログラマブル・ロジック・アレイ)、ディジタル回路、アナログ回路、それらの組合せ、又は、医療用画像データを処理するための他の現在知られている若しくは今後開発される装置である。プロセッサ12は、単一の装置、複数の装置、又は、ネットワークである。二つ以上の装置については、処理の並列分割又は順次(逐次)分割が用いられ得る。プロセッサ12を構成する別個の各装置は、別個に動作する走査コントローラ及び画像生成器等の、異なる機能を実行し得る。実施の一形態において、プロセッサ12は、医療診断用超音波画像システムプロセッサ等の、医療診断用画像システムの制御プロセッサ又は他のプロセッサである。他の実施の形態において、プロセッサ12は、画像検査ワークステーション又はPACSシステムのプロセッサである。プロセッサ12は、データの取得、3次元描写(即ち、ボリューム情報からレンダリングされる視野の2次元画像)の生成、視野間の移動の動画化、及び/又は、画像化の制御等の、ここに記載される種々の動作を実行するために、格納された命令に従って動作する。
プロセッサ12は、ボリュームの複数の3次元描写をデータから生成する。表面レンダリング又は投影レンダリング等の、任意の種類のレンダリングが用いられることが可能である。例えば、視野方向は、ボリュームに関して確立される。射線は、平行に又は仮想観察者から拡散してボリュームを通して延長する。各射線に沿ったデータは、一つ又はそれ以上のピクセル値を決定するために用いられる。例えば、各射線に沿った最初のデータであって閾値を超えるデータは、その射線について選択され、用いられる。ボリュームの内部の部分を見るために、ボリュームは、切り取られ得る。切り取り平面の後方のボリュームの部分におけるデータは、レンダリングに用いられる。切り取り平面と視野方向とは、独立している。切り取り平面は、ボリュームデータの一部分をボリュームレンダリング計算から除外するために用いられる。視野方向は、切り取り平面位置を変更することなく調整され得る。視野方向の変化は、切り取り平面におけるいかなる変化からも独立して動画化される。アルファ合成(アルファブレンディング)、切り取りボックス(clip boxes)、平行切り取り平面、及び/又は、断面(fragment)及び頂点(vertex)処理等の、他のレンダリング及び/又は切り取りが用いられ得る。
各3次元描写は、ボリュームに関して視角を有する。動画については、初期のレンダリング、最終のレンダリング、及び、それらの中間の一連のレンダリングの各々が、異なる視角を有している。回転を表示するために、視角は、一つ又はそれ以上の軸に沿って漸増させられる。連続するレンダリング間の任意の大きさの回転増分及び任意の量の時間が、用いられ得る。例えば、表示された3次元ボリュームは、モニタの表示速度(rate)、例えば60Hzに達するまでの速度で再レンダリングされる。視野方向の変化の速度(rate)に依存して、レンダリングされるボリュームの視野方向は、表示速度に達するまでの速度で変化させられ得る。視角は、動画のために均等に分散させられ得るが、動画の一つ又はそれ以上の局面におけるより大きい段階進行の大きさ(ステップサイズ)を通じたより急速な回転描写のように、不規則分散も用いられ得る。視野方向の変化における一時停止も、特定の視野を強調するために用いられ得る。視角は、ボリュームを直接に取り巻く最短経路に沿ったものであり得る。初期及び最終の視角は、所定の視野方向又は標準視野方向に関連するようにして、既知である。代替的な実施の形態において、視角を二つ又はそれ以上の異なる軸に沿って連続的に動かすように、回転は間接的である。
3次元描写の各々は、同一のデータ(固定された場合)又は異なるデータ(動作中の場合又は連続的な再生の場合)からレンダリングされる。例えば、初期の3次元描写は、ボリュームの半分を描写するデータ(例えば、切り取り平面としてA4C切り取り平面が用いられる場合の心臓の後部半分)からレンダリングされる。最終の3次元描写は、当該ボリュームの異なる半分を描写するデータ(例えば、切り取り平面としてA2C切り取り平面が用いられる場合の心臓の左部半分)からレンダリングされる。視角における各中間レンダリング又は変化に伴って最終のサブボリュームのいくらかを付加し且つ初期のサブボリュームのいくらかを除去するように、初期のレンダリングから最終のレンダリングへのサブボリューム間の移動は漸進的である。他の実施の形態において、全ボリュームは、当該ボリュームの外観視野を提供する、初期の3次元描写に対する視野方向からレンダリングされる。回転は、その後に発生する。一度回転すると、その後は最終のサブボリュームが使用される。回転のための初期のサブボリュームと全ボリュームとの間のジャンプ、及び、回転のための全ボリュームと最終のサブボリュームとの間のジャンプを回避するために、複数のレンダリングは、各レンダリングに対するデータの垂直層の付加等の、データにおける漸進的な増加又は減少と共に実行され得る。ジャンプ、データ、又は、サブボリューム増大若しくは縮小の任意の組合せが、初期の視野から最終の視野への移動に使用され得る。
MPR同期動画については、変化する二つの構成要素−切り取り平面及び視野方向がある。例えば、切り取り平面は直ちに又は初めに変化させられ、視野方向は、新たな視野方向への変化の速度(rate)を制御するタイマと共に漸進的に変化する。
一つの例示的な実施の形態において、プロセッサ12は、心臓のもの等の、多平面再構成、及び、ボリュームデータのボリュームレンダリングを生成する。三つのMPR(multi plane reconstruction:多平面再構成)画像が生成される。ディスプレイの第4のウィンドウ又は部分が、ボリュームの3次元描写のために使用される。3次元描写は、MPRのうちの一つの位置における切り取り平面の配置に対応する視野等の、任意の所望の視野についてレンダリングされ得る。ボリュームレンダリングのための視野方向は、ボリュームデータ内におけるMPRの位置に配置された切り取り平面に対して垂直であるか又は垂直に対してわずかにオフセットされている(例えば、5°乃至10°)。切り取り平面は、ユーザ視点からの切り取り平面の後方のデータからレンダリングされた描写を伴う切り取り平面として使用される。一実施例において、初期及び最終の3次元描写は、特定の多平面再構成の位置に同期した異なる切り取り平面に関連する視角からの3次元レンダリングである。アイコンが、各切り取り平面又は標準視野に関連する。アイコンは、切り取り平面を特定のMPRに同期させ且つ動画連続配列(動画シーケンス)を開始するためのトリガである。この制御入力は、制御パネルボタン等の任意の他の種類のユーザインタフェース制御において実現され得る。異なるアイコンの選択に応じて、プロセッサ12は、選択された視野に関連するレンダリングへの移動を3次元描写に引き起こす。その移動は、3次元描写に対する視角を複数の段階で回転させて、一つの視野から他の視野への動画化された回転又は移動として実行される。
他の例示的な実施の形態において、プロセッサ12は、心臓の外部からの心臓の全視野としての初期の3次元描写を生成する。切り取られたレンダリングを表示し、また、視野を切り替える指示に応じて全視野へジャンプし又は移動するようにして、一つ又はそれ以上の先行する3次元描写が供給され得る。それから、全視野は、一つは心臓の後部半分、一つは心臓の前部半分のように、二つの分離したレンダリングに分割される。A4C視野に沿って中央で心臓を分割するような、ボリュームの中心を通る切り取り平面は、初期には全視野としての同一視角からレンダリングされる二つのサブボリュームを画定する。3次元描写は、回転を表示するために各半分について順次レンダリングされる。視角は、相互から離隔して移動させられ、前部半分及び後部半分の内部が見えるように心臓が切開(開口)されて見えるようにさせる。各サブボリュームは、動画化された一連の場面(連続配列)を通じて約90度回転させられる。各半分の回転は他方と同時に引き起こされ、又は、各半分の回転は連続的に実行される。最終の視野は、心臓の各半分の内部の視野である。
タイマ20は、時間セグメントを区分化するためのクロック、プロセッサ、カウンタ、又は、他の回路である。実施の一形態において、タイマ20は、プロセッサ12である。タイマ20は、プログラム可能であり、又は、固定された周期を用いて動作し得る。
タイマ20は、プロセッサ12に初期の3次元描写を静止して表示させる。診断のために、ユーザは、静止して表示されたレンダリングを検分する。ユーザが移動を指示するまでのように、静止表示の任意の期間が用いられ得る。同様に、タイマ20は、プロセッサに最終の3次元描写を任意の期間に亘って静止して表示させる。「最終」は、レンダリングが移動させられた視野に反映させるために用いられる。最終の視野は、別の動画又は移動にとっての初期の視野であり得る。動画は、初期の視野から開始することも開始しないこともあり、最終の視野で終了することも終了しないこともある。ユーザが認識し得るジャンプは、一つもないこともあり、一つ又はそれ以上あることもある。
動画に関して、タイマ20は、プロセッサ12に一連(連続配列)の3次元描写を表示のために生成させる。その連続配列(シーケンス)は、初期及び最終の3次元描写の間のレンダリングを描写する。タイマ20に基づいて、一連の3次元描写の各々は、初期の視野及び/又は最終の視野の静止表示より短い時間に亘って表示される。動画における各3次元描写の間の時間は、1秒の1/10又はそれ未満等の、秒の分数であり得る。タイマ20は、一つの視野方向から他の視野方向への移動の際に、視野方向における変化の速度を部分的に制御する。視角移動の段階進行の大きさ(ステップサイズ)は、移動の速度(rate)にも作用し得る。タイマ20は、視野方向における回転の速度(speed)を制御する。このタイミングは、動画がリアルタイムで回転しているようにユーザに見えるようにすることを可能にする。いずれの所与のレンダリングも、診断のために十分に長くは表示されないかもしれないが、各視野の間の空間的移動を明確に表示する。視野方向における変化を把握し且つ迅速に新たな解剖学的構造の眺望を判断することをユーザに可能とするために、速度(speed)は十分に遅い。より長い期間が提供され得る。例えば、開始視野方向から終了視野方向までの動画のための合計時間が設定される。クラムシェル(二枚貝)動画に関して、複数のタイマが、視野方向の変化の速度(rate)及び初期の位置における一時停止の継続時間の両方を制御する。視野方向の変化の速度(rate)は、いくつかの関数のうちの一つを選択することによって制御される(即ち、視野方向の変化の速度は、一定の関数、線形の関数又は幾分非線形の関数であり得る)。
ディスプレイ16は、CRT、LCD、プラズマディスプレイ、モニタ、プロジェクタ、プリンタ、又は、他の現在知られている若しくは今後開発される表示装置である。ディスプレイ16は、初期の3次元描写、一連の3次元描写、及び、最終の3次元描写を表示する。3次元描写等の画像は、単独で又はグループで表示される。切り取り平面及びレンダリング等の複数の画像は、ディスプレイ16のスクリーンの、異なるウィンドウ等の異なる部分に表示され得る。
ユーザ入力22は、ボタン、スライダ、ノブ、キーボード、マウス、トラックボール、タッチスクリーン、タッチパッド、それらの組合せ、又は、他の現在知られている若しくは今後開発されるユーザ入力装置である。ユーザは、タイマ20をプログラムし、レンダリング値を設定し(例えば、切り取り平面を画定し、レンダリングの種類を選択し、オフセット角を設定し、又は、動画の段階進行の大きさ(ステップサイズ)若しくは速度(speed)を設定する)、又は、システム10を操作するために、ユーザ入力22を操作し得る。プロセッサ12は、ユーザ入力22のユーザ起動に応じて、初期の3次元描写から一連の3次元描写を経て最終の3次元描写まで、動画における移動をさせる。例えば、ユーザは、ユーザ入力22により、アイコンを選択し、切り取り平面画像を選択し、及び/又は、そうでなければ視野方向を規定する。それに応じて、プロセッサ12は、動画を通して指示された視野への移動をさせる。移動を引き起こすために、単一の入力が用いられてもよく(例えば、アイコンの選択)、又は、複数の入力が用いられてもよい(例えば、切り取り平面又は視野方向の変換又はそうでなければ画定)。
図2は、3次元医療用画像における空間的関係を伝達するための方法を示している。当該方法は、医療診断用画像システム、検査(review)ステーション、ワークステーション、コンピュータ、PACSステーション、サーバ、それらの組合せ、又は、医療用超音波若しくは他の種類のボリュームデータを画像処理するための他の装置によって実施される。例えば、図1に示されているシステム10又はコンピュータ読出可能な記録媒体14と、プロセッサ12とが当該方法を実施するが、他のシステムが使用され得る。当該方法は、示された順序で又は異なる順序で実施される。付加的な、異なる、又は、より少ない過程が実行され得る。例えば、過程26は、任意選択である。他の実施例として、走査は、表示のために用いられるデータを取得するために、過程26において実行される。
過程24乃至30は、走査の間等にリアルタイムで実行される。ユーザは、走査の間に画像を見ることが可能である。画像は、同一の画像化セッションにおける過程だが異なるボリュームデータを伴う過程24乃至30の先行する動作と関連し得る。例えば、過程24乃至30は、初期の走査のために実行される。過程24乃至30は、同一の画像化セッションの間に後続の走査のために実行される。リアルタイムの画像化のために、任意の所与のレンダリングのために用いられるボリュームデータは、より最近取得されたデータと置き換えられ得る。例えば、初期のレンダリングは、データの一セットと共に実行される。最終のレンダリングは、同一又は類似(例えば、トランスデューサ又は患者の動きのために)のボリュームを描写するデータの別のセットと共に実行される。動画は、一つ又はそれ以上のデータセットに基づき得る。代替的な実施の形態において、同一のデータセットは、走査と同時のリアルタイムでの場合又は走査後の検分における場合のいずれにおいても過程24乃至30の総てにおいて用いられ得る。
走査のために、超音波トランスデューサは、患者に近接して、患者の上に、又は、患者の内部に配置される。ボリューム走査トランスデューサは、機械式ウォブラ(wobbler)又は多次元アレイのように配置される。患者に近接する又は患者の上の配置に関しては、トランスデューサは、皮膚の上に直接に配置され、又は、患者の皮膚に音響的に結合される。患者の内部の配置に関しては、手術中の、腔内の、カテーテルの、経食道の、又は、患者の内部に配置可能な他のトランスデューサが、患者の内部からの走査のために使用される。
ユーザは、手持ち形プローブの使用又はステアリングワイヤの操作のように、トランスデューサを手動で配置し得る。代替的に、ロボット機構又は機械式機構が、トランスデューサを配置する。
心臓全体若しくは心臓の一部を食道から又は他の音響窓を通じて走査する等、患者のボリューム部位が走査される。患者の他の器官又は部位が、走査され得る。ウォブラ又は多次元アレイは、音響エネルギを発生し、応答エコーを受信する。代替的な実施の形態において、1次元アレイが、ボリュームを走査するために手動で移動させられる。
一つ又はそれ以上のデータセットが取得される。超音波データは、表示された画像(例えば、検出され且つ走査変換された超音波データ)、ビーム形成されたデータ、検出されたデータ、及び/又は、走査変換されたデータに対応する。超音波データは、患者の部位を描写する。多平面スライスに対するデータは、ボリューム部位を描写し得る。代替的に、ボリューム走査が用いられる。部位は、組織、流体(体液)又は他の構造を含む。異なる構造又は構造の異なる種類は、超音波に対し異なって反応する。例えば、心臓筋肉組織は動作するが、流体に比較すると遅い。時間上の反応から、異なる速度又は流れデータが結果として生じ得る。構造又は空間的外観の形状は、Bモードデータに反映され得る。心臓、器官(臓器)、管、流体心室、固まり、損傷(病変)、筋肉、及び/又は、組織等の、一つ又はそれ以上の対象が部位に含まれる。データは、部位を描写する。
過程24において、初期の3次元描写が表示される。初期は、後続の描写との関係における最初の描写を表示する。初期の描写は、所与の画像化セッションの間に又は所与のボリュームについて表示された原始の描写である場合があり又はそうでない場合がある。
初期の3次元描写は、診断用視野のものである。診断用視野は、医療専門家又は他のユーザによる詳細な検討のための視野である。診断用視野は、所与の診断のために用いられる場合があり又はそうでない場合がある。診断用視野は、2秒又はそれ以上に亘る静止視野である等、短くはなく、詳細な検討を可能にする。診断用視野は、鼓動する心臓のリアルタイム画像が提供される場合等、複数のレンダリングに対応し得る。視野が変化しなくても、ボリュームレンダリングに用いられるデータは、時間とともに変化する。視野は、視角に対応する。視角は、レンダリングされるべきボリュームに対するユーザ又はスクリーンの相対的な位置である。例えば、視角は、多平面再構成切り取り平面に対して実質的に垂直であるものとしてもよい。
データは、また静的であり得る。描写は、静止視角及び/又は静止データを有することにより、静的である。他の実施の形態において、初期の3次元描写は、短く、無作為に選択されていてもいなくても、又は、ユーザ選択されていてもいなくても、診断用ではない。
診断用視野の実施の一形態において、3次元描写は、標準診断用視野のためのものである。レンダリング又は切り取り平面は、標準2次元視野に対して平行又は実質的に平行(例えば、弁又は他の内部構造を見るためのオフセットを実質的に考慮に入れて)である。例えば、切り取り平面は、A4C視野、A2C視野、LAX、又は、他の標準視野に相当し、視野方向は、オフセットを伴う又は伴わない切り取り平面に対して垂直に相当する。表示された視野は、分類され(例えば、A4C)及び/又は注釈を付けられる(例えば、弁が強調表示されている)ものとしてもよい。
初期の3次元描写は、患者の少なくとも一部のものである。ボリュームは、患者全体、又は、器官(例えば、心臓)等の患者の一部を表し得る。描写は、全ボリューム、又は、ある部分が切り取られている場合等の全ボリュームの一部から形成され得る。
過程26において、患者の一部の第2の診断用視野の表示が受信される。表示は、ユーザ入力不要とする場合のように、自動的に生成され得る。例えば、一連の異なる視野が、ユーザに提供される。各視野は、所定の時間、又は、プログラム可能な時間に亘って表示される。当該時間の後、視野は、他の視野へ移動する。プロセッサ又はタイマが、次の視野が提供されるべきことを指示する。
当該指示は、ユーザ入力からのものであり得る。ユーザは、現在表示されている視野とは異なる他の視野を選択する。例えば、ユーザは、ボリュームレンダリングの視野方向を異なる多平面再構成視野に同期させ得る。その選択は、特定の切り取り平面に隣接して表示されたアイコン、メニュー選択、切り取り平面画像の選択、又は、他のユーザ入力によるものであり得る。ユーザは、異なる診断用視野を選択する。それに応じて、信号が発生させられ、受信される。信号は、視野の選択を指示する。信号は、次の視野の選択又は特定の視野の選択を指示し得る。単一ボタンの操作又はアイコンのクリック等の単一入力が、移動をトリガし得る。複数入力が、他の実施の形態において用いられ得る。
過程28において、各視野の間の移動が、動画化される。一つの視野から次の視野へジャンプするのではなく、少なくとも一つの中間3次元描写が生成される。中間の視野は、一つの診断用視野から他の診断用視野への移動を動画化する。3次元レンダリング画像は、第1の視野から第2の視野への漸進的な移動に見える。
実施の一形態において、動画又は漸進的移動は、当該部分の複数の中間の3次元描写である。当該部分の中間の3次元描写並びに初期及び最終の視野の各々は、異なる視角に対応する。心臓等の画像化された部分は、現在の視野と選択された視野との間で回転させられる。初期、中間及び最終の3次元描写は、一連の場面(連続配列)として生成され、表示される。一連の場面は、初期の視角から最終の視角への漸進的に変化する異なる視角の段階を描写する。図3は、一実施例を示している。ボリューム42の3次元描写が、回転させられている。矢印44は、所与の視角を示している。ボリューム42及び矢印44の回転が、3次元描写の回転を示している。左端のボリューム42に関して、矢印44は、描写のレンダリングのために用いられる視角を示している(ボリュームに対する相対的なユーザ視野は、下向きである)。右端のボリューム42は、ユーザの視野位置に向かって上向きに向けられたボリューム42の異なる面を示している。矢印44は、初期の視角がユーザの下向きの視角に対して今では直角であることを示している。中間の三つのボリューム42は、ユーザの視点に対するボリューム42の三つ又はそれ以上の中間の回転量を示している。
任意の段階進行の大きさ(ステップサイズ)、空間的な道筋若しくは経路、各描写の表示の時間、又は、描写間の時間が用いられ得る。実施の一形態において、中間の3次元描写の各々は、当該部分が回転しているように見えるようにするために、短時間の間だけ表示される。例えば、五つ又はそれ以上の描写が、毎秒ごとに表示される。わずか2,3度等の、視角における比較的小さいステップサイズを有することにより、3次元描写は滑らかに回転しているように見える。代替的な実施の一形態において、動画は、視角間で変化する移動の速度(speed)又はステップサイズを有する。例えば、各々においてある時間(例えば、1乃至10秒)だけ一時停止しながら、移動が一つ又はそれ以上の他の診断用視野へ進行し、その後、選択された視野へ進行する。他の実施例として、移動は、動画の最後よりも開始及び/又は中間においてより急速に移動する。
他の実施の形態において、ぎくしゃく動く又は滑らかでない回転が提供される。例えば、A2C視野の3次元描写が表示される。ユーザは、A4C視野を選択する。これらの視野は相互に直角であり、データの異なるサブセットからレンダリングされるので(例えば、心臓ボリュームの左部半分に対して後部半分)、3次元描写は、心臓の断面内部A2Cレンダリングではなく心臓の外部を表す、完全なデータセットからのレンダリングへ最初にジャンプする。視角は同一である。中間描写は、断面データセットから完全なデータセットへの移動にデータ層を付加する等、ボリュームの漸進的に増加する量又は部位からレンダリングされ得る。3次元描写は、その後、次の視野(A4C)のための断面データセットへ視角の変化を伴わずにジャンプし又は漸進的に移動する。図4は、所望の診断用視野への動画化前の心臓のA4Cサブボリュームとしての例示的な3次元描写50を示している。視角の変化を伴う動画化はその後実行され、3次元描写を所望の視野へ回転させる。図4は、初期の描写50及び最終の描写56(例えば、初期の視角から90度)に対して中間の二つの例示的な3次元描写52、54(例えば、初期の視角から15度及び初期の視角から75度)を示している。異なる角度におけるより多い又はより少ない中間の描写52、54が提供され得る。
他の実施の形態において、動画は、最初に角度を回転させ、それから、所与の視野に対して適当なデータセット又はサブボリュームへ移動する。さらに他の実施の形態において、動画は、視角及びサブボリュームの両方を、同時に、又は、相互に交互配置(インターリーブ)された段階で、移動する。他の実施の形態において、全ボリューム又は同一サブボリュームが、初期、中間及び最終の3次元描写に用いられる。
過程30において、最終の3次元描写が表示される。「最終」は、選択された視野又は動画が移動して行く視野を表すために用いられる。異なる視野及び/又はデータセットからの異なる3次元描写は、さらに後で提供され得る。
最終の3次元描写は、観察されている体の同一の器官又は部位のものである。観察されている部位は、同一の患者の組織のものであるが、異なるデータに依存し得る。例えば、動画は、心臓の後部半分の視野から心臓の左側へ移動する。ボリュームデータセットの切り取りは、動画の一部として移動する。最終の描写は、初期及び/又は中間の描写と同一又は異なるデータを使用する。例えば、切り取り平面は、ボリュームデータセットに対してではなく、動画の間は観察者に対して一定に留まる。ボリュームが切り取り平面に対して相対的に回転するに従って、視野が切り取り平面の前方を動くときはデータが視野から除去され、視野が切り取り平面の後方を動くときはデータが視野に付加される。
最終の3次元描写は、動画における最後の段階とする等、移動後に表示される。最終の描写は、中間及び初期の視角とは異なる視角によってレンダリングされる。各視角は、初期、中間及び最終のレンダリングの総ての他の視角と異なっている。代替的な実施の形態において、動画は、ボリュームの周囲を観察した後に最終の視角へ移動することと関連するような、同一の視角における描写を通じて移動する。
最終の3次元描写は、静止表示される。例えば、同一の視角が、少なくとも2秒間等、数秒間に亘って用いられる。一つ又はそれ以上のレンダリングが、静止表示の間に実行される。例えば、同一のデータセットが用いられ、そのため、ただ一つのレンダリングが生成され、結果として生ずる3次元描写が、全時間に亘って表示される。他の実施例においては、データは、心臓の鼓動を示すため等、時間の関数として変化する。3次元描写は同一の視角のものであるが、データは、診断用視野から心臓の変化を時間と共に示すために、変化する。タイマ又はユーザ入力から等の、他の視野の指示が受信されるまで、3次元描写は、選択された視野において維持される。代替的な実施の形態において、最終の3次元描写は、より大きい動画の範囲内のものとされる等、非静止であり、それにより、最終の3次元描写は、動画の範囲内の中間の視野と同程度の時間に亘って表示される。
最終の3次元描写は、診断用視野又は他の視野である。診断用視野は、診断における補助のための、医療専門家による調査のためのものである。診断用視野は、A4C、A2C又は他の正準(canonical)心臓視野等の標準(standard)視野に対応し得る。例えば、診断用視野は、A4Cのものであるが、弁のより良好な観察のために、A4C切り取り平面に対して垂直から角度を形成するオフセット(例えば、5乃至15度)を伴う。代替的に、診断用視野は、医療専門家が優先する視野又は実験的な視野に対応し得る。非診断用の最終の描写は、診断上重要な視野を識別するための活動における機械学習での異なる視野の検査に関連する等の、視角の無作為な又は試験的な選択によって提供され得る。MPRのデフォルト位置は、標準(standard)視野である。ユーザは、ボリュームに対するMPRの相対的な位置を動かすことが可能となり、それにより、ユーザがボリュームレンダリングにおける切り取り平面をMPR平面の一つに同期させる場合、ユーザは、標準視野だけでなく、任意の視野方向へ動画化し得る。
一つの例示的な実施の形態は、多平面再構成に関連する3次元描写のための動画の使用である。超音波走査ボリュームを通る切り取り平面を表す複数の2次元画像が、表示される。それらの画像は同時に表示されるが、連続して順次表示され得る。例えば、心臓に関して標準位置にある実質的に垂直な切り取り平面に対応する3次元画像は、スクリーン又はディスプレイ装置の三つの異なる象限に表示される。この超音波心臓検査法(心臓エコー検査法)の実施例において、心尖部四腔像(apical four-chamber (A4C) view)及び心尖部二腔像(apical two-chamber (A2C) view)等の正準(canonical)スライス又は平面は、ボリュームを表すデータから抽出される。それらの解剖学的平面は、ボリューム超音波データの取得において用いられるトランスデューサの方向付けに拘わらず連続的に表示される。各画像は、全ウィンドウ若しくは背景の一部であり、又は、各画像は、個々のウィンドウ若しくは背景の一部である。
全ディスプレイの第4象限又は他の区画は、3次元描写を含む。3次元描写は、切り取り平面が通過して配置されている超音波走査ボリュームの少なくとも一部のものである。例えば、3次元描写は、心臓の外観視野を表す、全ボリュームに対するデータからレンダリングされる。描写は、動画化され(例えば、外観心臓視野をゆっくり回転させる)又は静的であり得る。他の実施例として、3次元描写は、心臓の後部半分等のサブボリュームに対するデータからレンダリングされる。レンダリングは、A4C切り取り平面(例えば、図4の3次元描写56)に対するオフセット角を伴う又は伴わない垂直等の、所定の若しくは選択された視野に対応する視角に対するものである。
ユーザは、3次元描写のための異なる視野を選択する。例えば、ユーザは、表示された切り取り平面画像、その切り取り平面に対するアイコン、又は、視野のリストからのメニュー項目を選択する。ユーザは、仮想レンダリング又は3次元描写視野方向を切り取り平面(例えば、MPR A、B又はC)の一つに同期させるために、三つのボタンのうちの一つを選択し得る。レンダリング生成構成は、各MPRウィンドウ内の同期アイコンをサポートし、表示する。同期アイコンは、3次元描写レンダリング平面及び/又は切り取り平面を、対応する同期アイコンが選択されたMPR切り取り平面に同期させるために、選択される。
ユーザ入力選択の受信に応じて、3次元描写は、現在の視角から、選択された視野に対する視角へ移動する。例えば、移動は、一つの多平面再構成視野(例えば、A4C)のレンダリングから他の多平面再構成視野(例えば、A2C又はLAX)のレンダリングへのものである。レンダリング視野方向を切り取り平面の一つに同期させる時、システムは、3次元描写視野方向のXYZ座標を新たな所望の方向へゆっくりと回転させる。MPR Cボタンを選択すると、MPR Cに対応する切り取り平面が適用され、いかなる先行の切り取り平面も、3次元レンダリングのために用いられるボリュームデータセットから除去される。3次元描写は、その後、新たな視野配向(viewing orientation)へゆっくりと回転させられる。3次元描写は、切り取り平面(選択されたMPRに現在同期している)がスクリーンに対してほぼ平行になる配向へ回転させられる。回転は、プログラム可能な回転継続時間及び加速度及び最終傾斜角度オフセットと共に動画化され、それにより、VR切り取り平面は、スクリーンに対して完全には平行にならない。
3次元描写の動画は、2次元MPR画像に沿って表示される。初期、中間及び最終の3次元描写は、ディスプレイの一つの象限又は他の区画に、MPR画像と実質的に同時に、表示される。動画は、一つの視野から他の視野への空間的移動を明確化し、MPR画像は、特定の視野に関する詳細を提供する。
他の実施の形態においては、二つ又はそれ以上の3次元描写が、実質的に同時に表示される。移動は、一つの視野から二つの異なる視野へのものである。例えば、初期の視野は、側面からの心臓全体の外観視野である。他の実施例として、初期の視野は、切り取り平面に沿って切り取られたボリュームに関する診断用視野である。移動又はジャンプのいずれかを用いて、診断用視野は、心臓全体の外観視野へ切り替わる。動画は、心臓全体のボリュームレンダリングから、ボリュームを二つの半分へゆっくりと開裂させて、本を開くのと同様にボリュームを開口させるために、用いられる。代替的な実施の形態において、利用可能なデータが心臓全体を表していない場合等には、心臓の一部のみが開裂させられる。レンダリングに用いられるデータセットは、心臓全体のリアルタイム走査のように、継続的に更新され得る。双方の3次元描写表示の「開口」の動画化は、どのように超音波データの二つの半分が相互に空間的に合わさるのかをユーザに示す。
一度開口された、一つ又は双方の半分の3次元描写は、診断用視野を表す。各描写は、心臓の下位部分(sub-portion)からレンダリングされる。例えば、開裂は、ボリュームの半分への分割、及び、分割されたサブボリュームからの描写の別個のレンダリングに相当する。分割されたサブボリュームの3次元描写は、その後、回転させるために動画化される。各視角は、ボリュームに関して異なる方向へ回転させられ、それにより、各描写は、正反対の又は異なる方向へ回転する。各視角は、同一の又は異なる移動速度(rate)及び/又は視角ステップサイズを以て、別個に変化させられる。心臓の実施例においては、心臓は、前部半分と後部半分とに分割される。図4の描写50は、一つのそのような半分を示している。二つの描写は、その後、ボリュームの後部半分については、側面視野から前面視野へ回転させられ、ボリュームの前部半分については、側面視野から背面視野へ回転させられる。図4は、前部半分についてのそのような動画を示している。3次元描写は、心臓の内部を眺めるように回転する。図5A乃至図5Eは、この移動の医療用画像レンダリングを示している。
前部及び後部半分の3次元描写は、初期の全体視野に関するボリュームに沿った後方中央鉛直線における共通軸から回転させられるようにして、並行して表示される。二つの異なる3次元描写は、初期的に、動画の間、及び、最終的に、同一の又は異なるウィンドウ内に表示され得る。
一つの例示的な実施の形態において、3次元描写は、MPRレンダリングに関連する等、初期的には標準切り取り平面に基づいて観察される。ユーザは、クラムシェル(二枚貝)モード即ち双方視野(デュアルビュー)モードを選択する。この視野モードを使用可能にすると、3次元描写は、回転するようにして動画化され、それにより、視野方向は、スクリーンの上端の方を向いているボリュームの頂部を伴う距離方位平面(range-azimuth plane)にほぼ平行になる。視野は、スクリーンの上端における心臓の頂部及びスクリーンの下端における心臓の底部を伴う心臓の左側のものである。3次元描写は、一つ又は二つの軸に沿って10乃至15度のように、プログラム可能な傾斜角度を伴ってわずかに傾斜し得る。代替的な実施の形態において、描写は、この配向へジャンプする。完全な(切り取られていない)ボリュームは、その後、プログラム可能な継続時間に亘って全体表示される。描写は、サブボリュームレンダリングから全ボリュームへジャンプし又は漸進的に移動する。描写は、その後、二つの描写に分離する。分離した描写は、その後、プログラム可能な継続時間の間にプログラム可能な角度範囲まで開口して見えるように、異なる視角へ回転させられるように動画化される。二つのサブボリュームは、観察者に関してボリュームの後方中心に位置する鉛直軸を中心として旋回する(本を開くように)。
心臓学のためには、心臓の正反対の各半分が、同時に示される。この構成は、他の応用にも用いることができる。例えば、胆嚢は、胆石の近傍で開裂して開口するように動画化される。診断に有用な内部視野を有し得る他の器官(臓器)も同様に、開口するように動画化され得る。体の他の部位は、開裂して異なる方向から観察するように動画化され得る。
各視野の間の動画は、任意の器官(臓器)を画像化するため等の、任意の応用に用いられ得る。初期及び最終の視野は、外観視野であり得る。実施の一形態において、ユーザは、切断又は切り取り平面を手動で操作する。当該平面に基づく2次元画像又は3次元描写を観察した後、視野は、デフォルト視野又は他の視野へリセットされる。手動視野と所定の又は先行する視野との間の移動は、動画化される。異なる視野の選択によるいかなる移動も、動画化され得る。
種々の実施の形態を参照することにより本発明は以上に説明されているが、本発明の範囲から逸脱することなく多くの変更及び変形が可能であることは理解されるべきである。従って、上述の詳細な説明は限定ではなくむしろ例示的なものとして考慮され、且つ、総ての等価物を含む後述の請求項が本発明の精神及び範囲を画定することを意図していることが理解される、ということが意図されている。

Claims (14)

  1. 3次元医療用画像における空間的関係を伝達するための方法であって、
    患者の少なくとも一部分の第1の診断用視野の第1の3次元描写を表示し(24)、前記第1の3次元描写は第1の視角におけるものであり、
    前記一部分の第2の診断用視野の指示を受信し(26)、
    前記第1の診断用視野から前記第2の診断用視野への移動を動画化し(28)、前記移動は前記一部分の複数の中間の3次元描写を含み、前記一部分の前記中間の3次元描写の各々は、異なる中間の視角に対応し、
    前記移動後の前記一部分の前記第2の診断用視野の第2の3次元描写を表示し(30)、前記第2の3次元描写は、前記第1の視角とは異なる第2の視角におけるものであり、前記異なる中間の視角は、前記第1の視角及び前記第2の視角とは異なるものである、
    方法において
    前記第1の診断用視野の第1の3次元描写を表示する(24)ことが、第1の標準2次元視野のために第1の切り取り平面を用いて表示することを含み、
    前記第2の診断用視野の第2の3次元描写を表示する(30)ことが、第2の標準2次元視野のために第2の切り取り平面を用いて表示することを含み、
    前記動画化する(28)ことが、前記第1および第2の3次元描写をレンダリングするために使用されるボリュームに対し、前記第1の切り取り平面を除去し、前記第2の切り取り平面を付加することを含む
    ことを特徴とする方法。
  2. 前記指示の受信(26)は、前記第2の診断用視野を選択するユーザ入力を受信すること(26)を含むことを特徴とする請求項1に記載の方法。
  3. 前記第1の診断用視野の前記第1の3次元描写及び前記第2の診断用視野の前記第2の3次元描写の表示(24、30)は、標準診断用視野を表示することを含むことを特徴とする請求項1に記載の方法。
  4. 前記動画化(28)は、前記複数の中間の3次元描写を連続配列として生成することを含み、前記連続配列は、前記第1の視角から前記第2の視角へ漸進的に変化する前記異なる中間の視角における段階進行を描写し、前記中間の3次元描写の各々は、前記一部分が前記第1の3次元描写から前記第2の3次元描写へ回転して見えるように、短時間だけ表示されることを特徴とする請求項1に記載の方法。
  5. 前記動画化(28)は、前記第1の診断用視野と前記第2の診断用視野との間を回転する前記一部分を表示することを含むことを特徴とする請求項1に記載の方法。
  6. 前記一部分は心臓を含み、前記移動は、第1の多平面再構成視野から第2の多平面再構成視野へのものであることを特徴とする請求項1に記載の方法。
  7. 前記第1の多平面再構成視野及び前記第2の多平面再構成視野を含む少なくとも三つの多平面再構成視野を同時に表示し、前記第1の3次元描写、前記第2の3次元描写及び前記中間の3次元描写を前記少なくとも三つの多平面再構成視野と共に表示することをさらに含むことを特徴とする請求項6に記載の方法。
  8. 前記移動は、前記第1の診断用視野から、前記第2の診断用視野を含む少なくとも一対の視野へのものであり、前記第2の診断用視野は、前記第1の診断用視野により描写された前記一部分の第1の下位部分を描写することを特徴とする請求項1に記載の方法。
  9. 前記移動は、前記第1の3次元描写を前記第1の下位部分と第2の下位部分とに分割し、前記第1の下位部分及び前記第2の下位部分に関連する視角を別個に変化させることを含むことを特徴とする請求項8に記載の方法。
  10. 前記一部分は心臓を含み、前記第1の3次元描写は心臓の外部の側面視野であり、前記第1の下位部分は心臓の前部であり、前記第2の下位部分は心臓の後部であり、前記移動は、前記第2の3次元描写及び第3の3次元描写が前記前部の内部の視野及び前記後部の内部の視野を含むように、前記前部及び前記後部を回転させることを含むことを特徴とする請求項9に記載の方法。
  11. 3次元医療用画像における空間的関係を伝達するためのシステムであって、
    患者のボリュームを描写するデータを蓄積するために動作可能なメモリ(14)と、
    前記データから前記ボリュームの複数の3次元描写を生成するために動作可能なプロセッサであって、前記3次元描写の各々は、前記ボリュームに関して異なる視角を有している、プロセッサ(12)と、
    前記複数の3次元描写のうちの初期の3次元描写を第1の期間に亘って静止表示させ、前記複数の3次元描写のうちの最終の3次元描写を第2の期間に亘って静止表示させるために動作可能、且つ、前記複数の3次元描写のうちの前記初期の3次元描写と前記最終の3次元描写との間の一連の3次元描写を表示させるために動作可能なタイマであって、前記一連の3次元描写の各々は、前記第1の期間及び前記第2の期間より短い時間に亘って表示される、タイマ(20)と、
    前記初期の3次元描写、前記一連の3次元描写及び前記最終の3次元描写を表示するために動作可能なディスプレイ(16)と、
    を備えている、システムにおいて
    前記プロセッサは、第1の標準2次元視野のために第1の切り取り平面を用いて表示し、第2の標準2次元視野のために第2の切り取り平面を用いて表示し、かつ、前記第1および第2の3次元描写をレンダリングするために使用されるボリュームに対し、前記第1の切り取り平面を除去し、前記第2の切り取り平面を付加する、ように構成されている、
    ことを特徴とするシステム。
  12. ユーザ入力(22)をさらに備え、前記プロセッサ(12)は、前記ユーザ入力のユーザ起動に応じて、前記初期の3次元描写から前記一連の3次元描写を経て前記最終の3次元描写まで、動画における移動をさせるために動作可能であることを特徴とする請求項11に記載のシステム。
  13. 前記プロセッサ(12)は、前記ボリュームの多平面再構成を生成するために動作可能であり、前記初期の3次元描写及び前記最終の3次元描写は、前記多平面再構成の第1の平面及び第2の平面に関連する各視角からの3次元レンダリングを含み、前記一連の3次元描写は、当該各視角の間の回転を含むことを特徴とする請求項11に記載のシステム。
  14. 前記プロセッサ(12)は、外部からの心臓の全視野としての前記初期の3次元描写と、心臓の第1の半分の内部視野を含む前記最終の3次元描写と、心臓を開口するように見える、少なくとも一つの軸に沿った約90度の回転を含む前記一連の3次元描写とを生成するために動作可能であることを特徴とする請求項11に記載のシステム。
JP2013250367A 2008-06-06 2013-12-03 3次元医療用画像における空間的関係を伝達するための動画 Active JP5963736B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US5964808P 2008-06-06 2008-06-06
US61/059,648 2008-06-06
US12/351,638 US8494250B2 (en) 2008-06-06 2009-01-09 Animation for conveying spatial relationships in three-dimensional medical imaging
US12/351,638 2009-01-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009090669A Division JP5502359B2 (ja) 2008-06-06 2009-04-03 3次元医療用画像における空間的関係を伝達するためのシステム

Publications (2)

Publication Number Publication Date
JP2014039886A true JP2014039886A (ja) 2014-03-06
JP5963736B2 JP5963736B2 (ja) 2016-08-03

Family

ID=41268974

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009090669A Active JP5502359B2 (ja) 2008-06-06 2009-04-03 3次元医療用画像における空間的関係を伝達するためのシステム
JP2013250367A Active JP5963736B2 (ja) 2008-06-06 2013-12-03 3次元医療用画像における空間的関係を伝達するための動画

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009090669A Active JP5502359B2 (ja) 2008-06-06 2009-04-03 3次元医療用画像における空間的関係を伝達するためのシステム

Country Status (3)

Country Link
US (1) US8494250B2 (ja)
JP (2) JP5502359B2 (ja)
DE (1) DE102009019983A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4358262B2 (ja) * 2007-07-02 2009-11-04 ザイオソフト株式会社 医療画像処理装置およびプログラム
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
JP5661453B2 (ja) * 2010-02-04 2015-01-28 株式会社東芝 画像処理装置、超音波診断装置、及び画像処理方法
KR101286401B1 (ko) * 2010-11-11 2013-07-15 삼성메디슨 주식회사 미리 보기 영상을 제공하는 초음파 시스템 및 방법
US20120245465A1 (en) * 2011-03-25 2012-09-27 Joger Hansegard Method and system for displaying intersection information on a volumetric ultrasound image
US20130054319A1 (en) * 2011-08-29 2013-02-28 United Video Properties, Inc. Methods and systems for presenting a three-dimensional media guidance application
US9196091B2 (en) * 2012-01-24 2015-11-24 Kabushiki Kaisha Toshiba Image processing method and system
US20140358004A1 (en) * 2012-02-13 2014-12-04 Koninklijke Philips N.V. Simultaneous ultrasonic viewing of 3d volume from multiple directions
EP2677347A3 (en) * 2012-06-02 2014-05-14 Schlumberger Technology B.V. Spatial data services
US9196092B2 (en) * 2012-06-11 2015-11-24 Siemens Medical Solutions Usa, Inc. Multiple volume renderings in three-dimensional medical imaging
BR112015011804B1 (pt) * 2012-11-23 2022-02-15 Cadens Medical Imaging Inc Método e sistema para exibir a um usuário uma transição, e, meio de armazenamento legível por computador
US9772764B2 (en) * 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
US9460538B2 (en) 2013-08-07 2016-10-04 Siemens Medical Solutions Usa, Inc. Animation for conveying spatial relationships in multi-planar reconstruction
KR101654674B1 (ko) * 2013-11-28 2016-09-06 삼성전자주식회사 탄성 영상 제공 방법 및 이를 위한 초음파 장치
WO2017165566A1 (en) 2016-03-25 2017-09-28 The Regents Of The University Of California High definition, color images, animations, and videos for diagnostic and personal imaging applications
CN109069110B (zh) * 2016-05-06 2022-08-09 皇家飞利浦有限公司 具有简化的3d成像控制的超声成像系统
US10722210B2 (en) * 2017-12-14 2020-07-28 Siemens Healthcare Gmbh Method for memorable image generation for anonymized three-dimensional medical image workflows
CN114052777A (zh) * 2020-08-03 2022-02-18 通用电气精准医疗有限责任公司 图像显示方法以及超声成像系统
US20220409172A1 (en) * 2021-06-24 2022-12-29 Biosense Webster (Israel) Ltd. Reconstructing a 4d shell of a volume of an organ using a 4d ultrasound catheter

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228145A (ja) * 1991-08-26 1993-09-07 Toshiba Corp 超音波診断装置
JP2001128975A (ja) * 1999-08-20 2001-05-15 Toshiba Corp 超音波診断装置
JP2004313651A (ja) * 2003-04-21 2004-11-11 Aloka Co Ltd 超音波診断装置
WO2006104959A2 (en) * 2005-03-25 2006-10-05 Eastern Virginia Medical School System, method and medium for acquiring and generating standardized operator independent ultrasound images of fetal, neonatal and adult organs
JP2007038016A (ja) * 2006-10-05 2007-02-15 Toshiba Corp 3次元超音波診断装置
WO2007025608A1 (de) * 2005-09-01 2007-03-08 Tomtec Imaging Systems Gmbh Verfahren und vorrichtung zur navigation und messung in einem mehrdimensionalen bilddatensatz
WO2007067323A2 (en) * 2005-12-02 2007-06-14 Abbott Cardiovascular Systems Inc. Image-guidance in medical image processing
JP2007312880A (ja) * 2006-05-24 2007-12-06 Toshiba Corp 医用画像形成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1057370A (ja) * 1996-08-21 1998-03-03 Shimadzu Corp 医用3次元画像表示装置
CA2267981C (en) * 1996-11-29 2004-10-19 Life Imaging Systems Inc. Enhanced image processing for a three-dimensional imaging system
JP2001276066A (ja) * 2000-03-29 2001-10-09 Toshiba Corp 三次元画像処理装置
JP2004173910A (ja) * 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
US7033320B2 (en) * 2003-08-05 2006-04-25 Siemens Medical Solutions Usa, Inc. Extended volume ultrasound data acquisition
US20050228280A1 (en) * 2004-03-31 2005-10-13 Siemens Medical Solutions Usa, Inc. Acquisition and display methods and systems for three-dimensional ultrasound imaging
US8021300B2 (en) * 2004-06-16 2011-09-20 Siemens Medical Solutions Usa, Inc. Three-dimensional fly-through systems and methods using ultrasound data
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
US20070083099A1 (en) * 2005-09-29 2007-04-12 Henderson Stephen W Path related three dimensional medical imaging
US20080009722A1 (en) * 2006-05-11 2008-01-10 Constantine Simopoulos Multi-planar reconstruction for ultrasound volume data
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US8502821B2 (en) * 2008-02-04 2013-08-06 C Speed, Llc System for three-dimensional rendering of electrical test and measurement signals

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05228145A (ja) * 1991-08-26 1993-09-07 Toshiba Corp 超音波診断装置
JP2001128975A (ja) * 1999-08-20 2001-05-15 Toshiba Corp 超音波診断装置
JP2004313651A (ja) * 2003-04-21 2004-11-11 Aloka Co Ltd 超音波診断装置
WO2006104959A2 (en) * 2005-03-25 2006-10-05 Eastern Virginia Medical School System, method and medium for acquiring and generating standardized operator independent ultrasound images of fetal, neonatal and adult organs
WO2007025608A1 (de) * 2005-09-01 2007-03-08 Tomtec Imaging Systems Gmbh Verfahren und vorrichtung zur navigation und messung in einem mehrdimensionalen bilddatensatz
WO2007067323A2 (en) * 2005-12-02 2007-06-14 Abbott Cardiovascular Systems Inc. Image-guidance in medical image processing
JP2007312880A (ja) * 2006-05-24 2007-12-06 Toshiba Corp 医用画像形成装置
JP2007038016A (ja) * 2006-10-05 2007-02-15 Toshiba Corp 3次元超音波診断装置

Also Published As

Publication number Publication date
JP2009291596A (ja) 2009-12-17
US8494250B2 (en) 2013-07-23
JP5963736B2 (ja) 2016-08-03
DE102009019983A1 (de) 2009-12-10
US20090304250A1 (en) 2009-12-10
JP5502359B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5963736B2 (ja) 3次元医療用画像における空間的関係を伝達するための動画
US8079957B2 (en) Synchronized three or four-dimensional medical ultrasound imaging and measurements
EP0920639B1 (en) System and method for the dynamic display of three-dimensional image data
US20070046661A1 (en) Three or four-dimensional medical imaging navigation methods and systems
US6951543B2 (en) Automatic setup system and method for ultrasound imaging systems
US9460538B2 (en) Animation for conveying spatial relationships in multi-planar reconstruction
US9196092B2 (en) Multiple volume renderings in three-dimensional medical imaging
JP7150800B2 (ja) 医用4dイメージングにおける動き適応型可視化
JP2013536720A (ja) 2次元超音波画像の3次元表示
JP4855926B2 (ja) 旋回3次元超音波表示の振動対象との同期化
US20130328874A1 (en) Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
JP7177870B2 (ja) 簡素化された3dイメージング制御を有する超音波イメージングシステム
JP2001276066A (ja) 三次元画像処理装置
JP2021102064A (ja) 超音波画像のシーケンスを視覚化する方法、コンピュータプログラム製品及び超音波システム
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2009506808A (ja) 多次元画像データセットにおけるナビゲーションと測定の方法及びその装置
Buck et al. Three-dimensional echocardiography
US11521345B2 (en) Method and system for providing rotation previews for three-dimensional and four-dimensional ultrasound images
JP5498090B2 (ja) 画像処理装置及び超音波診断装置
US11123043B2 (en) Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method
Martens et al. The EchoPAC-3D software for 3D image analysis
Lin et al. Evaluation of complex congenital heart diseases with real-time three-dimensional echocardiography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141218

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160628

R150 Certificate of patent or registration of utility model

Ref document number: 5963736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250