JP2010082374A - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP2010082374A
JP2010082374A JP2008257680A JP2008257680A JP2010082374A JP 2010082374 A JP2010082374 A JP 2010082374A JP 2008257680 A JP2008257680 A JP 2008257680A JP 2008257680 A JP2008257680 A JP 2008257680A JP 2010082374 A JP2010082374 A JP 2010082374A
Authority
JP
Japan
Prior art keywords
viewpoint
image
tubular structure
movement
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008257680A
Other languages
English (en)
Other versions
JP5238440B2 (ja
Inventor
Michito Nakayama
道人 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008257680A priority Critical patent/JP5238440B2/ja
Priority to US12/553,277 priority patent/US9214139B2/en
Priority to CN2009102044643A priority patent/CN101711664B/zh
Publication of JP2010082374A publication Critical patent/JP2010082374A/ja
Application granted granted Critical
Publication of JP5238440B2 publication Critical patent/JP5238440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Abstract

【課題】両方向から管状構造物内部を観察することにより、突起部によって死角が生じないようにし、病変部等を容易かつ確実に発見可能な画像表示装置及び画像表示方法を提供する。
【解決手段】管状構造物の移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、第1視点の移動位置毎に第1視点から第1視点の移動先の管状構造物内部を観察したときの第1画像と、管状構造物の移動線に沿って、予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、第2視点の移動位置毎に第2視点から第2視点の移動先の管状構造物内部を観察したときの第2画像とを、モニタに同時に表示させる。
【選択図】図1

Description

この発明は、画像表示装置及び画像表示方法に関し、特に、管状構造物を含む被検体の撮影により取得されたボリュームデータから管状構造物のデータを抽出し、管状構造物内部を観察したときの画像をサーフェイスレンダリングにより作成し、作成された管状構造物内部の画像をモニタに表示させる画像表示装置及び画像表示方法に関する。
この種の画像表示装置としては、管状構造物内部に視点を常に置くように設定し、その視点を管状構造物の一端側から他端側の一方向に移動させ、視点の移動位置毎に視点から移動先(一方向)の管状構造物内部を観察したときの画像を作成し、作成した画像を記憶部に記憶させる。操作部により視点の指定を受けて、その視点の移動位置に対応する一方向の管状構造物内部の画像を記憶部から読み出し、読み出した画像をモニタに表示させる技術がある(例えば、特許文献1)。
このような技術は、仮想内視鏡システム(Virtualized Endoscope System;VES)と呼ばれる。VESは、様々な医療現場で利用されるが、その中の一つとして大腸検査に利用される。
特開2007ー195685号公報
しかしながら、上記特許文献に記載された画像表示装置では、視点から移動先(一方向)の管状構造物内部の画像を観察したときの画像をモニタに表示させる技術(VES)である。
上記する技術(VES)を大腸検査に利用した場合、大腸内部である管状構造物内部には襞(ハウストラ)などの突起部が存在する。視点から移動先(一方向)の管状構造物内部を観察したときに、突起部によって死角が生じ、病変部等を容易に発見することができない場合が生じるという問題点があった。
この発明は、上記の問題を解決するものであり、両方向から管状構造物内部を観察することにより、突起部によって死角が生じないようにし、病変部等を容易かつ確実に発見可能な画像表示装置及び画像表示方法を提供することを目的とする。
上記課題を解決するため、この発明は、管状構造物の一端側と他端側との両方向から管状構造物内部を観察すると、管状構造物内部に突起部が存在する場合でも、突起部によって死角が生じないことに着目した。
具体的に、この発明の第1の形態は、管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定する移動線決定部と、前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成部と、前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を作成する第2画像作成部と、操作部と、モニタと、表示制御部とを備え、前記移動線上の点を前記操作部により指定すると、前記表示制御部が、前記指定された点に対応させた前記第1画像、及び前記指定された点に対応させた前記第2画像を前記モニタに同時に表示させるユーザーインターフェースと、を有することを特徴とする画像表示装置である。
また、この発明の第2の形態は、管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定する移動線決定部と、前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成部と、前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を、作成する第2画像作成部と、操作部と、モニタと、表示制御部とを備え、前記表示制御部が、前記操作部による前記第1視点の移動位置の指定を受けて、前記第1視点の移動位置に対応付けられた前記第1画像、及び前記操作部による前記第2視点の移動位置の指定を受けて、前記第2視点の移動位置に対応付けられた前記第2画像を前記モニタに表示させるユーザーインターフェースと、を有することを特徴とする画像表示装置である。
さらに、この発明の第5の形態は、管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定するステップと、前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成ステップと、前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を、作成する第2画像作成ステップと、前記移動線上の点を前記操作部により指定すると、表示制御部が、前記操作部により指定された点に対応させた前記第1画像、及び前記操作部により指定された点に対応させた前記第2画像を前記モニタに同時に表示させるステップと、前記操作部による前記モニタに表示される前記管状構造物内部の所定幅の変更の指示を受けて、前記所定幅を変更し、該変更された前記所定幅に基づき前記第1画像を作成する前記第1画像作成ステップと、前記操作部による前記所定幅の変更の指示を受けて、前記所定幅を変更し、該変更された前記所定幅に基づき前記第2画像を作成する前記第2画像作成ステップと、前記表示制御部が、前記操作部による前記第1視点の移動位置の指定を受けて、前記第1視点の移動位置に対応付けられた前記第1画像及び前記操作部による前記第2視点の移動位置の指定を受けて、前記表示制御部が前記第2視点の移動位置に対応付けられた前記第2画像を前記モニタに表示させるステップと、前記表示制御部が、前記移動線上の位置の座標であって、前記第1視点の移動先の前記所定幅の間の中央位置及び前記第2視点の移動先の前記所定幅の間の中央位置の各座標をモニタに表示させるステップと、を有することを特徴とする画像表示方法である。
この発明の第1の形態によると、第1視点を管状構造物の始端側から終端側の一方向に移動しながら観察したときの第1画像と、第2視点を管状構造物の終端側から始端側の他方向に移動しながら観察したときの第2画像とをモニタに同時に表示させたので、管状構造物内部に存在する突起部によって死角が生じないようにした。それにより、病変部等の発見が容易かつ確実になる。
また、操作部により移動線上の点を指定すると、指定された点に対応させた第1画像及び第2画像をモニタに表示させたので、移動線上の点を指定するという一度の操作により、管状構造物内部の一方向からの第1画像、及び管状構造物内部の他方向の第2画像を表示可能となり、操作性が良い。
また、この発明の第2の形態によると、例えば、操作部により第1視点の移動位置を指定すると、その第1視点の移動位置に対応付けられた、一方向から管状構造物内部を観察したときの第1画像を表示させる。このとき、他方向(第1画像とは反対側の方向)から管状構造物内部を観察したときの第2画像を表示させる場合は、操作部により第2視点の移動位置を指定すれば良いので、簡単な操作により、管状構造物内部を両方向から観察可能となる。
さらに、この発明の第5の形態によると、所定幅を調整したので、病変部等のある位置を徐々に特定可能となる。また、所定幅の中央位置の座標を表示させたので、所定幅の中央位置に病変部等を表示させるようにすれば、病変部等のある位置を特定可能となる。
(構成)
この発明の一実施形態に係る画像表示装置の構成について図1から図6を参照して説明する。
図1は、画像表示装置の機能ブロック図である。図2はモニタに表示された第1画像及び第2画像を示す図、図3はユーザーインターフェースの機能ブロック図である。
管状構造物を含む被検体の撮影により取得されたボリュームデータは、記憶部40の画像データ記憶部43に記憶されている。画像表示のアプリケーションを実行すると、モニタ12にメニューが表示され、メニューの中から移動線決定を選定すると、移動線決定部54が、ボリュームデータに対して、予め定められた閾値に基づき管状構造物を示すデータを抽出し、管状構造物の内部を通るようにした移動線を決定する。表示制御部20は、モニタ12に環状構造物と移動線とを表示させる。
メニューの中から観察対象の設定を選定すると、表示制御部20は、モニタ12に始点点マーク(図示省略)と終点マーク(図示省略)を表示させる。マウスである操作部11により、始点マークを移動線上の任意の位置に移動させ、マウスクリックにより、観察対象の始端を指定する。同じように、操作部11により、終点マークを移動線上の任意の位置に移動させ、マウスクリックにより、観察対象の終端を指定する。なお、始点マーク又は終点マークの操作部11による移動をせず、単にマウスクリックすることにより、観察対象の始端の初期値として移動線の一端を指定し、観察対象の終端の初期値として移動線の他端を指定する。このとき、移動線の一端から他端までが観察対象となる。
移動線の始端及び終端が指定されると、画像作成部50が、移動線の始端から終端までの全長Lを算出し、全長Lを所定ピッチΔSで除算し、移動線上の第1視点の個数nを求める。それにより、移動線上の始端の位置S及び終端の位置Sを定める。所定ピッチΔSの初期値を1(mm)とする。メニューの中からピッチ変更を選定し、キーボードである操作部11の指定を受けて、画像作成部50が所定ピッチΔSを変更する。例えば、所定ピッチΔSを0.2mm〜5mmの間で変更する。
メニューの中から、画像作成を選定すると、第1画像作成部51が、移動線に沿って、予め定められた始端の位置Sから予め定められた終端の位置Sに向かって第1視点を移動させながら、第1視点の移動位置毎に第1視点から第1視点の移動先の所定幅Wにわたり管状構造物内部を観察したときの第1画像を、サーフェイスレンダリングにより作成し、第1画像を第1視点の移動位置に対応付けて第1画像記憶部41に記憶させる。
所定幅Wの初期値を20(mm)とする。メニューの中から所定幅変更を選定し、キーボードである操作部11の指定を受けて、幅変更部53が所定幅Wを変更する。例えば、所定幅Wを5mm〜50mmの間で変更する。なお、所定幅Wを所定ピッチΔS以上に設定する(W>=ΔS)。
また、第2画像作成部52が、移動線に沿って、予め定められた始端の位置Sから予め定められた終端の位置Sに向かって第2視点を移動させながら第2視点の移動位置毎に第2視点から第2視点の移動先の所定幅Wにわたり管状構造物内部を観察したときの第2画像を、サーフェイスレンダリングにより作成し、第2画像を第2視点の移動位置に対応付けて第2画像記憶部42に記憶させる。観察点の移動位置は、第1視点と第2視点との中央位置であり、所定幅Wの移動位置でもある。
なお、第1画像及び第2画像を、ボリュームレンダリングで、例えば血管壁は不透明度を高め、内腔部分は不透明度を低くすることにより作成しても良い。また、視点の移動位置に基づき第1画像及び第2画像を即時に作成可能な場合は、第1画像を第1視点の移動位置に対応付けて第1画像記憶部41に記憶させる必要性はなく、第2画像を第2視点の移動位置に対応付けて第2画像記憶部42に記憶させる必要性はない。
画像作成部50は、始端の位置Sで移動線の傾きを求め、その傾きで移動線を延長し、延長した移動線上にS−1からS−20を付す。また、画像作成部50は、終端の位置Sで移動線の傾きを求め、その傾きで移動線を延長し、延長した移動線上にSn+1からSn+20を付す。
第1視点の移動位置をS−20からSn−20で示す。また、第2視点の移動位置をS+20からSn+20で示す。さらに、観察点の移動位置をSからSで示す。
この実施形態では、第1画像作成部51が、第1視点の移動位置(S−20からSn−20)毎に第1視点から第1視点の移動先の所定幅Wにわたり管状構造物内部を観察したときの第1画像を作成する。また、第2画像作成部52が、第2視点の移動位置(S+20からSn+20)毎に第2視点から第2視点の移動先の所定幅Wにわたり管状構造物内部を観察したときの第2画像を作成する。
次に、記憶部40のデータ構造について、図4を参照にして説明する。図4は、記憶部40のデータ構造の説明図である。
記憶部40にはデータが配列で記憶されている。観察点の移動位置(中央位置)、第1視点、第2視点、第1画像のアドレス、第2画像のアドレスの各データの配列を図4に示す。観察点の移動位置(中央位置)S〜Sのデータと、第1視点、第2視点、第1画像のアドレス及び第2画像のアドレスとが対応付けられて記憶部40に記憶されている。なお、アドレスをポインタとしてもよい。
配列でデータを記憶したことにより、以下のように第1画像及び第2画像を読み出すことが可能となる。
操作部11により図1に示す連動ボタン31及び移動ボタン33を指定すると、ユーザーインターフェース10の観察点位置指定部111が観察点の移動位置(中央位置)S〜Sを順番に指定する。観察点の移動位置(中央位置)S〜Sの指定を受けて、表示制御部20は、第1画像のアドレスP1−20〜P1n−20を求め、第1画像のアドレスから、第1画像記憶部41に記憶された第1画像のデータを読み出す。また、観察点の移動位置(中央位置)S〜Sのデータを受けて、第2画像のアドレスP2+20〜P1n+20を求め、第2画像のアドレスから、第2画像記憶部42に記憶された第2画像のデータを読み出す。
上記の連動ボタン31を指定することにより、観察点の移動位置に応じた第1画像及び第2画像をモニタに同時に表示させることが可能なる。なお、第1画像及び第2画像をモニタに同時に表示させることについては後述する。
以上は、表示制御部20が観察点の移動位置に基づき、記憶部40から読み出された第1画像及び第2画像を説明した。
次に、表示制御部20が第1視点の移動位置又は第2視点の移動位置に基づき、記憶部40から読み出される第1画像及び第2画像を説明する。
操作部11により図1に示す独立ボタン32及び移動ボタン33を指定し、操作部11により第1視点を指定すると、ユーザーインターフェース10の視点位置生成部112が第1視点の移動位置S−20〜Sn−20を順番に指定する。第1視点の移動位置S−20〜Sn−20の指定を受けて、表示制御部20は、第1画像のアドレスP1−20〜P1n−20を求め、第1画像のアドレスから、第1画像記憶部41に記憶された第1画像のデータを読み出す。
上記の独立ボタン32を指定することにより、第1視点の移動位置に応じた第1画像をモニタに表示させることが可能となる。このとき、第2画像を変化させることなくモニタに表示させる。なお、第1画像をモニタに表示させることについては後述する。
一方、操作部11により図1に示す独立ボタン32及び移動ボタン33を指定し、操作部11により第2視点を指定すると、ユーザーインターフェース10の視点位置生成部112が第2視点の移動位置S+20〜Sn+20を順番に指定する。第2視点の移動位置S+20〜Sn+20の指定を受けて、表示制御部20は、第2画像のアドレスP2+20〜P2n+20を求め、第2画像のアドレスから、第2画像記憶部42に記憶された第2画像のデータを読み出す。
上記の独立ボタン32を指定することにより、第2視点の移動位置に応じた第2画像をモニタに表示させることが可能となる。このとき、第1画像を変化させることなくモニタに表示させる。なお、第2画像をモニタに表示させることについては後述する。
以上により、表示制御部20は、観察点の移動位置(中央位置)、第1視点の移動位置、第2視点の移動位置のそれぞれに基づき、第1画像及び第2画像のデータを記憶部40から読み出し可能となる。
操作部11と、モニタ12と、表示制御部20とを備えたユーザーインターフェース10を図1から図3に示す。
移動線上にあって所定幅W毎に対応させた観察点を操作部11により指定すると、表示制御部20が、観察点に対応させた所定幅Wにわたり観察したときの第1画像を第1画像記憶部41から読み出し、また観察点に対応させた所定幅Wにわたり観察したときの第2画像を第2画像記憶部42から読み出し、読み出した第1画像及び第2画像をモニタ12に同時に表示させる。
次に、モニタ12に表示させた第1画像及び第2画像について、図5及び図6を参照にして説明する。図5は、観察点、所定幅及び視点との位置関係を示した図、図6は、観察点、所定幅及び視点との位置関係を概念的に示した図である。
観察点の移動位置Sk+20、第1視点の移動位置S、第2視点の移動位置Sk+40及び所定幅Wを図5に示す。観察点の移動位置Sk+20、第1視点の移動位置S、第2視点の移動位置Sk+40、所定幅W、及び観察対象となる所定幅Wの中に含まれる管状構造物を図6に概念的に示す。
第1画像は、観察点の移動位置Sk+20に対応させた所定幅Wにわたり第1視点の移動位置Skから観察したときの画像である。また、第2画像は、観察点の移動位置Sk+20に対応させた所定幅Wにわたり第2視点の移動位置Sk+40から観察したときの画像である。つまり、第1画像と第2画像とは、同じ所定幅Wを両方向から観察したときの画像である。
画像作成部50は、所定幅Wを以下のように設定する。第1視点と第2視点との間は、所定ピッチΔS(1mm)で所定個数分だけ離間させる。ここでは所定個数を偶数個の40個とし、第1視点の移動位置Skと第2視点の移動位置Sk+40とし、観察点の移動位置Sk+20を、第1視点の移動位置Skと第2視点の移動位置Sk+40との間の中央位置とする。
以上のように、観察点の移動位置、第1視点の移動位置、第2視点の移動位置及び所定幅Wの各位置を対応付ける。なお、観察点の移動位置を第1視点の移動位置、第2視点の移動位置と対応付けておけば良く、第1視点の移動位置と第2視点の移動位置との間の中央位置に限らず、所定個数を奇数個としても良い。また、観察点の移動位置を第1視点の移動位置と第2視点の移動位置との間から外れた位置であっても良い。
次に、第1視点の移動位置Sと第2視点の移動位置Sk+40とを結ぶ直線に対して、直交する平面であって、観察点の移動位置Sk+20を含む平面を作る。直交する平面を図5でハッチングをして示す。この直交する平面に対して平行な平面であって、直交する平面から第1視点側と第2視点側とにそれぞれ10mm離れた2つの平行な面を作る。この2つの平行な面の間が、初期値20mmの所定幅Wとなる。
操作画面30の連動ボタン31及び移動ボタン33を操作部11により指定すると、観察点位置指定部111が観察点の移動位置を連続して順番に指定していく。観察点位置指定部111が観察点の移動位置(中央位置)S〜Sを指定すると、観察点の移動位置(中央位置)の指定を受けて、表示制御部20の第1表示制御部21は、観察点の移動位置に対応する第1画像を第1画像記憶部41から順番に読み出し、第1画像を順番にモニタ12に表示させる。また、第2表示制御部22は、観察点の移動位置に対応する第2画像を第2画像記憶部42から読み出し、第2画像を順番にモニタ12に表示させる。
表示制御部20は、S−20から単位時間(例えば0.5秒)当たりΔS(1mm)ずつ移動した第1視点から観察した所定幅Wの第1画像をモニタ12に表示させる。また、表示制御部20は、S+20から単位時間(例えば0.5秒)当たりΔS(1mm)ずつ移動した第2視点から観察した所定幅Wの第2画像をモニタ12に表示させる。
したがって、操作部11により、連動ボタン31を指定した場合、第1視点から観察する所定幅Wと第2視点から観察した所定幅Wとは、同じ所定幅Wとなる。
なお、第1画像及び第2画像の表示の切り替え時間である単位時間を0.5秒としたが、変更可能としても良い。また、観察点位置指定部111が観察点の移動位置を連続して順番に指定せずに、観察点の移動位置を所定個(1個又は複数個)おきに指定しても良い。
このように、表示制御部20が、単位時間毎に第1画像又は第2画像をモニタ12に切替え表示しているとき、操作部11により図1に示す停止ボタン34を指定すると、表示制御部20は、停止の指示を受けたときの第1画像又は第2画像をモニタ12に表示させる。
以上のように、連動ボタン31及び移動ボタン33を操作部11で指定することにより、管状構造物の同じ所定幅Wを第1視点(始端側)から観察した第1画像と、第2視点(終端側)から観察した第2画像とを表示制御部20がモニタ12に同時に表示させたので、管状構造物内部に存在する突起部によって死角が生じないようになり、病変部等の発見が容易かつ確実になる。操作部11による観察点の一度の指定により、第1画像及び第2画像を表示可能となり、操作性が良い。
次に、独立ボタン32及び移動ボタン33を操作部11で指定した場合について説明する。
操作画面30の独立ボタン32及び移動ボタン33を操作部11により指定し、また、例えば第1視点を操作部11により指定すると、視点位置生成部112が第1視点の移動位置を連続して順番に指定していく。視点位置生成部112が第1視点の移動位置S−20〜Sn−20を指定すると、第1視点の移動位置の指定を受けて、表示制御部20は、第1視点の移動位置に対応する第1画像を第1画像記憶部41から順番に読み出し、読み出した第1画像を順番にモニタ12に表示させる。なお、視点位置生成部112が第1視点の移動位置を連続して順番に指定せずに、第1視点の移動位置を所定個(1個又は複数個)おきに指定しても良い。
表示制御部20は、S−20から単位時間(例えば0.5秒)当たりΔS(1mm)ずつ移動した第1視点から観察した所定幅Wの第1画像をモニタ12に表示させる。この間、表示制御部20は、初期値である第2視点の移動位置S+20に対応付けられた第2画像を第2画像記憶部42から読み出し、第2画像をモニタ12に表示させる。
したがって、操作部11により独立ボタン32を指定した場合、第1視点から観察する所定幅Wと第2視点から観察した所定幅Wとは、別の所定幅Wとなる。
一方で、操作画面30の独立ボタン32及び移動ボタン33を操作部11により指定し、また、例えば第2視点を操作部11により指定すると、視点位置生成部112が第2視点の移動位置を連続して順番に指定していく。視点位置生成部112が第2視点の移動位置S+20〜Sn+20を指定すると、第2視点の移動位置の指定を受けて、表示制御部20は、第2視点の移動位置に対応する第2画像を第2画像記憶部42から順番に読み出し、読み出した第2画像を順番にモニタ12に表示させる。なお、視点位置生成部112が第2視点の移動位置を連続して順番に指定せずに、第2視点の移動位置を所定個(1個又は複数個)おきに指定しても良い。
表示制御部20は、S+20から単位時間(例えば0.5秒)当たりΔS(1mm)ずつ移動した第2視点から観察した所定幅Wの第2画像をモニタ12に表示させる。この間、表示制御部20は、初期値である第1視点の移動位置S−20に対応付けられた第1画像を第1画像記憶部41から読み出し、第2画像をモニタ12に表示させる。
以上のように、操作部により第1視点の移動位置又は第2視点の移動位置を指定すれば良いので、簡単な操作により、管状構造物内部を両方向から選択的に観察可能となる。
(動作)
次に、病変部の座標位置を求めるときの画像表示装置の動作について、図7を参照にして説明する。図7は画像表示装置を用いて、病変部の位置を特定するときのフロー図である。
先ず、アプリケーションを実行し、移動線決定部54が、ボリュームデータを画像データ記憶部43から読み出し、ボリュームデータに対して、予め定められた閾値に基づき管状構造物を示すデータを抽出し、管状構造物の内部を通るようにした移動線を決定する
(ステップS101)。表示制御部20は、管状構造物の画像及び移動線の画像をモニタ12に表示させる。
次に、操作部11により、移動線上の始端の位置S及び終端の位置Sを指定する。第1画像作成部51は、移動線上の始端の位置Sから終端の位置Sに移動した第1視点から所定幅Wを観察したときの第1画像をサーフェイスレンダリングにより作成する。同じようにして、第2画像作成部52は、移動線上の終端の位置Sから始端の位置Sに移動した第2視点から所定幅Wを観察したときの第2画像をサーフェイスレンダリングにより作成する(ステップS102)。
第1画像作成部51は、作成した第1画像のデータを第1画像記憶部41に記憶させる。また、第2画像作成部52は、作成した第2画像のデータを第2画像記憶部42に記憶させる(ステップS103)。
観察点位置指定部111は、初期値の観察点の移動位置Sを指定する(ステップS104)。表示制御部20は、初期値の観察点の移動位置Sに対応付けられた第1画像P1−20及び第2画像P2+20をモニタ12に表示させる(ステップS105)。
また、このとき、表示制御部20は、第1画像における所定幅Wの中央位置の座標情報(x1,y1)、及び、第2画像における所定幅Wの中央位置の座標情報(x2,y2)を、共に観察点の移動位置Sの座標情報(x,y)としてモニタ12に表示させる(ステップS106)。モニタ12に表示させた第1視点の座標位置情報(x1,y1)及び第2視点の座標位置情報(x2,y2)を図2に示す。
次に、操作部11による所定幅Wの変更の指示を受けたか否かをユーザーインターフェース10が判断する(ステップS107)。所定幅Wの変更の指示を受けた場合(ステップS107;Y)、画像作成部50が、幅変更部53からの所定幅Wの変更情報を受けて、第1画像及び第2画像を作成する(ステップS102)に戻る。所定幅Wを減少させた場合、その所定幅Wの第1画像及び第2画像を作成し、モニタ12に表示させる。第1画像又は第2画像のいずれかに病変部を含ませるようにして、所定幅Wを徐々に減少させていくと、モニタ12に表示された所定幅Wの中央位置の座標情報に基づき、病変部等のある位置を徐々に特定可能となる。また、減少させた所定幅Wの中央位置に、病変部等を表示させるようにすれば、病変部のある位置を特定可能となる。また、所定幅Wの中央位置の座標情報をモニタ12に表示させたので、病変部のある座標位置を明確にすることが可能となる。
一方で、所定幅Wを増加させた場合、その所定幅Wの第1画像及び第2画像を作成し、モニタ12に広めの所定幅Wの第1画像及び第2画像を表示させる。それにより、管状構造物を広範囲で観察可能となる。
所定幅Wの変更の指示を受けない場合(ステップS107;N)、操作部11による連動ボタン31及び移動ボタン33の指示を受け、観察点を移動する否かをユーザーインターフェース10が判断をする(ステップS108)。観察点を移動する場合(ステップS108;Y)、表示制御部20が第1画像及び第2画像をモニタ12に表示させる(ステップS105)に戻る。表示制御部20は、観察点位置指定部111による観察点の移動位置の指定を受けて、観察点の移動位置に対応付けられた第1画像を第1画像記憶部41から読み出し、また、観察点の移動位置に対応付けられた第2画像を第2画像記憶部42から読み出し、読み出した第1画像及び第2画像をモニタ12に表示させる。
観察点を一方向(移動線の始端側から終端側)へ移動させながら、又は他方向(移動線の終端側から始端側)へ移動させながら、第1視点により一方向から管状構造物の所定幅Wを観察したときの第1画像、及び第2視点により、他方向から管状構造物の所定幅Wを観察したときの第2画像をモニタ12に表示させたので、突起部による死角が生ぜず、病変部を確実に発見可能となる。
観察点を移動しない場合(ステップS108;N)、第1視点又は第2視点を移動するか否かをユーザーインターフェース10が判断する(ステップS109)。第1視点又は第2視点を移動する場合(ステップS109;Y)、第1画像及び第2画像をモニタ12に表示させる(ステップS105)に戻る。表示制御部20は、視点位置生成部112により生成された第1視点の移動位置の情報を受けて、第1画像記憶部41から第1画像を読み出し、読み出した第1画像をモニタ12に表示させる。または、第2画像記憶部42から第2画像を読み出し、読み出した第2画像をモニタ12に表示させる。
第1視点又は第2視点を移動しない場合(ステップS109;N)、画像表示の終了かを判断し(ステップS110)、画像表示の終了でなければ(ステップS110;N)、所定幅を変更したか否かの判断(ステップS107)に戻る。画像表示の終了であれば(ステップS110;Y)、終了する。
なお、前記実施形態では、第1画像作成部51が第1画像を第1画像記憶部41に書き込み、また、第2画像作成部52が第2画像を第2画像記憶部42に書き込むようにしたが、これに限らない。例えば、第1画像作成部51が第1画像を表示制御部20のバッファに書き込み、第2画像作成部52が第2画像を表示制御部20に書き込むようにしても良い。この場合、第1画像記憶部41及び第2画像記憶部42は、表示制御部20のバッファとなる。
この発明の一実施形態に係る画像表示装置の機能ブロック図である。 モニタに表示された第1画像及び第2画像を示した図である。 ユーザーインターフェースの機能ブロック図である。 第1画像及び第2画像等のデータ構造の説明図である。 観察点、所定幅及び視点との位置関係を示した図である。 観察点、所定幅及び視点との位置関係を概念的に示した図である。 画像表示装置を用いて、病変部の位置を特定するときのフロー図である。
符号の説明
10 ユーザーインターフェース 11 操作部 12 モニタ
20 表示制御部 21 第1表示制御部 22 第2表示制御部
30 操作画面 31 連動ボタン 32 独立ボタン 33 移動ボタン
34 停止ボタン 40 記憶部 41 第1画像記憶部 42 第2画像記憶部
43 画像データ記憶部 50 画像作成部 51 第1画像作成部
52 第2画像作成部 53 幅変更部 54 移動線決定部
111 観察点位置指定部 112 視点位置生成部

Claims (5)

  1. 管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定する移動線決定部と、
    前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成部と、
    前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を作成する第2画像作成部と、
    操作部と、モニタと、表示制御部とを備え、前記移動線上の点を前記操作部により指定すると、前記表示制御部が、前記指定された点に対応させた前記第1画像、及び前記指定された点に対応させた前記第2画像を前記モニタに同時に表示させるユーザーインターフェースと、
    を有する
    ことを特徴とする画像表示装置。
  2. 管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定する移動線決定部と、
    前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成部と、
    前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を、作成する第2画像作成部と、
    操作部と、モニタと、表示制御部とを備え、前記表示制御部が、前記操作部による前記第1視点の移動位置の指定を受けて、前記第1視点の移動位置に対応付けられた前記第1画像、及び前記操作部による前記第2視点の移動位置の指定を受けて、前記第2視点の移動位置に対応付けられた前記第2画像を前記モニタに表示させるユーザーインターフェースと、
    を有する
    ことを特徴とする画像表示装置。
  3. 前記操作部の指定を受けて、前記モニタに表示される前記管状構造物内部の所定幅を変更する幅変更部を有することを特徴とする請求項1又は請求項2のいずれかに記載の画像表示装置。
  4. 前記表示制御部は、前記第1視点の移動先の前記所定幅の中央位置及び前記第2視点の移動先の前記所定幅の中央位置の各座標を前記モニタに表示させたことを特徴とする請求項2又は請求項3のいずれかに記載の画像表示装置。
  5. 管状構造物を含む被検体の撮影により取得されたボリュームデータに対して、予め定められた閾値に基づき前記管状構造物を示すデータを抽出し、該管状構造物の内部を通るようにした移動線を決定するステップと、
    前記移動線に沿って、予め定められた始端から予め定められた終端に向かって第1視点を移動させながら、該第1視点の移動位置毎に該第1視点から該第1視点の移動先の前記管状構造物内部の第1画像を、作成する第1画像作成ステップと、
    前記移動線に沿って、前記予め定められた終端から前記予め定められた始端に向かって第2視点を移動させながら、該第2視点の移動位置毎に該第2視点から該第2視点の移動先の前記管状構造物内部の第2画像を、作成する第2画像作成ステップと、
    前記移動線上の点を前記操作部により指定すると、表示制御部が、前記操作部により指定された点に対応させた前記第1画像、及び前記操作部により指定された点に対応させた前記第2画像を前記モニタに同時に表示させるステップと、
    前記操作部による前記モニタに表示される前記管状構造物内部の所定幅の変更の指示を受けて、前記所定幅を変更し、該変更された前記所定幅に基づき前記第1画像を作成する前記第1画像作成ステップと、
    前記操作部による前記所定幅の変更の指示を受けて、前記所定幅を変更し、該変更された前記所定幅に基づき前記第2画像を作成する前記第2画像作成ステップと、
    前記表示制御部が、前記操作部による前記第1視点の移動位置の指定を受けて、前記第1視点の移動位置に対応付けられた前記第1画像及び前記操作部による前記第2視点の移動位置の指定を受けて、前記表示制御部が前記第2視点の移動位置に対応付けられた前記第2画像を前記モニタに表示させるステップと、
    前記表示制御部が、前記移動線上の位置の座標であって、前記第1視点の移動先の前記所定幅の間の中央位置及び前記第2視点の移動先の前記所定幅の間の中央位置の各座標をモニタに表示させるステップと、
    を有する
    ことを特徴とする画像表示方法。
JP2008257680A 2008-10-02 2008-10-02 画像表示装置及び画像表示方法 Active JP5238440B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008257680A JP5238440B2 (ja) 2008-10-02 2008-10-02 画像表示装置及び画像表示方法
US12/553,277 US9214139B2 (en) 2008-10-02 2009-09-03 Image display apparatus and image display method
CN2009102044643A CN101711664B (zh) 2008-10-02 2009-09-29 图像显示装置以及图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008257680A JP5238440B2 (ja) 2008-10-02 2008-10-02 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2010082374A true JP2010082374A (ja) 2010-04-15
JP5238440B2 JP5238440B2 (ja) 2013-07-17

Family

ID=42075394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008257680A Active JP5238440B2 (ja) 2008-10-02 2008-10-02 画像表示装置及び画像表示方法

Country Status (3)

Country Link
US (1) US9214139B2 (ja)
JP (1) JP5238440B2 (ja)
CN (1) CN101711664B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378007A1 (en) 2010-03-31 2011-10-19 Kobelco Construction Machinery Co. Ltd. Working machine with equipment room
WO2012176854A1 (ja) * 2011-06-23 2012-12-27 株式会社 東芝 医用画像処理装置及び医用画像診断装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866698B2 (en) * 2008-10-01 2014-10-21 Pleiades Publishing Ltd. Multi-display handheld device and supporting system
AU2014200505B2 (en) * 2010-09-08 2015-06-11 Kpr U.S., Llc Catheter with imaging assembly
EP2613687B1 (en) 2010-09-08 2016-11-02 Covidien LP Catheter with imaging assembly
EP3543958B1 (en) * 2010-09-13 2020-11-11 Barry Lynn Jenkins System and method of delivering and controlling streaming interactive media comprising predetermined packets of geometric, texture, lighting and other data which are rendered on a receiving device
JP2012200532A (ja) 2011-03-28 2012-10-22 Terumo Corp 画像診断装置及び表示方法
JP5215483B1 (ja) * 2012-02-24 2013-06-19 株式会社東芝 医用画像処理装置
JP6103827B2 (ja) * 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
CN105686803B (zh) * 2016-01-08 2019-06-14 上海伴诚医疗科技有限公司 扫描数据处理方法及装置
US11278377B1 (en) 2021-06-02 2022-03-22 Oxilio Ltd System and method for performing digital separation of teeth

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131429A (ja) * 1994-11-11 1996-05-28 Toshiba Corp 管状体像再生方法およびその装置
WO2005011501A1 (ja) * 2003-08-01 2005-02-10 Hitachi Medical Corporation 医用画像診断支援装置及び方法
JP2006068301A (ja) * 2004-09-02 2006-03-16 Ziosoft Inc 画像処理方法及び画像処理プログラム
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP2007275258A (ja) * 2006-04-05 2007-10-25 Hitachi Medical Corp 画像表示装置
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
JP3996359B2 (ja) * 2001-07-12 2007-10-24 株式会社日立メディコ 磁気共鳴イメージング装置
CN100405973C (zh) * 2002-03-14 2008-07-30 Netkisr有限公司 分析和显示计算机体层摄影术数据的方法
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
JP4920260B2 (ja) 2006-01-25 2012-04-18 株式会社東芝 画像診断装置、画像表示装置及び画像データ生成方法
US20090309874A1 (en) * 2008-06-11 2009-12-17 Siemens Medical Solutions Usa, Inc. Method for Display of Pre-Rendered Computer Aided Diagnosis Results

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131429A (ja) * 1994-11-11 1996-05-28 Toshiba Corp 管状体像再生方法およびその装置
WO2005011501A1 (ja) * 2003-08-01 2005-02-10 Hitachi Medical Corporation 医用画像診断支援装置及び方法
JP2006068301A (ja) * 2004-09-02 2006-03-16 Ziosoft Inc 画像処理方法及び画像処理プログラム
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP2007275258A (ja) * 2006-04-05 2007-10-25 Hitachi Medical Corp 画像表示装置
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2378007A1 (en) 2010-03-31 2011-10-19 Kobelco Construction Machinery Co. Ltd. Working machine with equipment room
WO2012176854A1 (ja) * 2011-06-23 2012-12-27 株式会社 東芝 医用画像処理装置及び医用画像診断装置
JP2013027697A (ja) * 2011-06-23 2013-02-07 Toshiba Corp 医用画像処理装置及び医用画像診断装置
US9375132B2 (en) 2011-06-23 2016-06-28 Kabushiki Kaisha Toshiba Medical image processing apparatus and medical image diagnosis apparatus

Also Published As

Publication number Publication date
US9214139B2 (en) 2015-12-15
CN101711664B (zh) 2012-05-23
JP5238440B2 (ja) 2013-07-17
CN101711664A (zh) 2010-05-26
US20100085273A1 (en) 2010-04-08

Similar Documents

Publication Publication Date Title
JP5238440B2 (ja) 画像表示装置及び画像表示方法
JP6438545B2 (ja) プランニングシステム及び方法
US11269173B2 (en) Systems and methods for displaying medical video images and/or medical 3D models
JP6730938B2 (ja) 医学画像表示装置、医学画像表示システム、医学画像表示装置を動作させる方法
US10912924B2 (en) Systems and devices for catheter driving instinctiveness
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
EP2975995B1 (en) System for enhancing picture-in-picture display for imaging devices used for surgical procedures
EP2641561A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
WO2011102012A1 (ja) 医療機器
US20100030021A1 (en) Image Display Apparatus, Endoscope System Using the Same, and Image Display Method
JPH10192A (ja) 超音波画像診断装置
JP2006334297A (ja) 画像表示装置
WO2012108085A1 (ja) 医療機器
JP2011216122A (ja) 3次元画像の一部を視覚化する方法
JP4728456B1 (ja) 医療機器
JP2008173216A (ja) 超音波診断装置
JP2017108971A (ja) 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
JP2010148566A (ja) 超音波診断装置
CN110769731A (zh) 内窥镜系统、内窥镜系统的工作方法
JP4776954B2 (ja) 内視鏡挿入支援装置
JP6509374B2 (ja) 超音波観測装置、処理装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP4159396B2 (ja) 内視鏡形状検出装置
JP2005349215A (ja) 超音波画像診断装置
JP4160487B2 (ja) 挿入支援システム
JP4305991B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5238440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350