JP2014054358A - 医用画像表示装置、医用画像表示方法および医用画像表示プログラム - Google Patents

医用画像表示装置、医用画像表示方法および医用画像表示プログラム Download PDF

Info

Publication number
JP2014054358A
JP2014054358A JP2012200428A JP2012200428A JP2014054358A JP 2014054358 A JP2014054358 A JP 2014054358A JP 2012200428 A JP2012200428 A JP 2012200428A JP 2012200428 A JP2012200428 A JP 2012200428A JP 2014054358 A JP2014054358 A JP 2014054358A
Authority
JP
Japan
Prior art keywords
medical image
processing
dimensional medical
operation input
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012200428A
Other languages
English (en)
Other versions
JP5747007B2 (ja
Inventor
Yoshinori Itai
善則 板井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012200428A priority Critical patent/JP5747007B2/ja
Priority to US14/020,713 priority patent/US20140071072A1/en
Publication of JP2014054358A publication Critical patent/JP2014054358A/ja
Application granted granted Critical
Publication of JP5747007B2 publication Critical patent/JP5747007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】簡易な構成でどこでも持ち運んで手術シミュレーションを行うことができ、かつ両手を用いた手術動作をシミュレーション可能な医用画像表示装置を提供する。
【解決手段】被検体の3次元医用画像を表示する表示画面10およびその表示画面10上への接触を検知することによって操作入力を受け付ける操作検知部13と、表示画面10上において順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルが予め設定された処理設定部14と、表示画面10上において操作入力が受け付けられた際、処理テーブルを参照して操作入力の順番に応じた処理を3次元医用画像に施す画像処理部15と、画像処理部15において処理の施された3次元医用画像を表示画面10に表示させる表示制御部16とを備える。
【選択図】図2

Description

本発明は、被検体の3次元医用画像を表示する医用画像表示装置、方法およびプログラムに関するものであり、特に、手術シミュレーションなどで用いられる3次元医用画像を表示し、その表示した3次元画像に対するユーザの操作入力を受け付ける医用画像表示装置、方法およびプログラムに関するものである。
従来、たとえばCT装置(Computed Tomography)やMRI装置(Magnetic Resonance Imaging)などを用いて被検体を撮影することによって被検体の3次元医用画像を取得し、その3次元医用画像をボリュームレンダリングといった表示方法でディスプレイに表示してユーザに提示することが行われている。
また、近年、上述したようなボリュームレンダリングによって表示された3次元医用画像を用いて手術シミュレーションを行う方法が提案されている。
たとえば、特許文献1においては、3次元医用画像に対して物理特性を設定して模擬生体を生成するとともに、現実世界において実際に術者が手術操作具を操作してその移動量を計測し、その術者が操作した手術操作具の位置と模擬生体との接触位置とに応じた反力を操作者に対して与えることによって実際の手術と同様の感覚を得ることができる装置が提案されている。
特開2008−134373号公報 特開2000−222130号公報
しかしながら、特許文献1に記載の手術シミュレーション装置は、装置が大掛かり過ぎて運用上の問題があり、使い勝手も良くない。そして、もっと簡易な構成で、たとえば病院等の医療施設内でどこでも利用できるような手術シミュレーション装置が望まれている。
また、上述したような3次元医用画像を用いた手術シミュレーションを行う方法としては、たとえばディスプレイに表示された3次元医用画像をユーザが観察しながら、マウスなどによって3次元医用画像の所定の部位を指定し、そのユーザによって指定された位置の3次元医用画像に対して変形処理や切断処理などを施すことが考えられる。
しかしながら、上述したようにマウスなどによって3次元医用画像の位置を指定し、さらにその位置に施す処理を選択するようにしたのでは、1つ1つの手術動作について、毎回マウスを移動させて3次元医用画像上の位置を指定するとともに、その位置に施す処理を選択する必要があるので操作性が良くなく、手間がかかる。また、実際の手術では両手を使用することが多いが、上述したようなマウスによる入力では一度に1入力しか受け付けることができないので一度に1つの手術動作しかシミュレーションすることができず、両手で行われる手術動作をシミュレーションすることができない。
なお、特許文献2においては、タッチパネルにおいて複数の指による入力を同時に受け付け、その受け付けた内容に応じて所定の処理を行うことが提案されているが、上述したような手術シミュレーションについては何も提案されていない。
本発明は、上記事情に鑑み、簡易な構成でどこでも持ち運んで手術シミュレーションを行うことができ、かつ両手を用いた手術動作をシミュレーションすることができる医用画像表示装置、方法およびプログラムを提供することを目的とするものである。
本発明の医用画像表示装置は、被検体の3次元医用画像を表示する表示画面およびその表示画面上への接触を検知することによって操作入力を受け付ける操作検知部を有する表示操作受付部と、表示操作受付部によって順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルが予め設定された処理設定部と、表示操作受付部において操作入力が受け付けられた際、処理テーブルを参照して操作入力の順番に応じた処理を3次元医用画像に施す画像処理部と、画像処理部において処理の施された3次元医用画像を表示画面に表示させる表示制御部とを備えたことを特徴とする。
また、上記本発明の医用画像表示装置においては、画像処理部を、表示操作受付部において予め設定された時間内に複数の操作入力が受け付けられた場合には、その複数の操作入力を同一順番の操作入力とみなしてその順番に対応した処理を3次元医用画像に施すものとできる。
また、3次元医用画像に対する処理として、回転処理、平行移動処理、変形処理、切断処理、削除処理、マーキング処理のうちのいずれかを用いることができる。
また、処理設定部を、複数種類の処理テーブルを有するものとし、画像処理部を、複数種類の処理テーブルのうち、選択されたいずれか1つの処理テーブルを参照して3次元医用画像に処理を施すものとできる。
また、表示制御部を、複数種類の処理テーブルのうちのいずれかを選択するための選択画面を表示画面に表示させるものとできる。
また、表示制御部を、複数種類の処理テーブルのそれぞれに対応するアイコンを表示画面に表示させるものとできる。
また、変形処理として非剛体変形処理を用いることができる。
また、生体の3次元医用画像を取得する画像取得部と、画像取得部によって取得された生体の3次元医用画像から解剖学的組織の3次元医用画像を抽出する画像抽出部とを設け、画像処理部を、解剖学的組織の3次元医用画像に対して処理を施すものとできる。
また、解剖的組織を、頭、肺、肝臓、大腸、血管のいずれかとすることができる。
本発明の医用画像表示方法は、被検体の3次元医用画像を表示画面に表示し、その表示画面上への接触を検知することによって操作入力を受け付け、その操作入力の受け付けに応じて3次元医用画像に対して処理を施し、その処理後の3次元医用画像を表示画面に表示する医用画像表示方法において、順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルを予め設定し、操作入力が受け付けられた際、処理テーブルを参照して操作入力の順番に応じた処理を3次元医用画像に施し、その処理の施された3次元医用画像を表示画面に表示させることを特徴とする。
本発明の医用画像表示プログラムは、コンピュータに、被検体の3次元医用画像を表示画面に表示する手順と、その表示画面上への接触を検知することによって操作入力を受け付ける手順と、その操作入力の受け付けに応じて3次元医用画像に対して処理を施す手順と、その処理後の3次元医用画像を表示画面に表示する手順とを実行させるための医用画像表示プログラムにおいて、操作入力が受け付けられた際、順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルを参照する手順と、その処理テーブルの参照によって操作入力の順番に応じた処理を3次元医用画像に施す手順と、その処理の施された3次元医用画像を表示画面に表示させる手順とを実行させることを特徴とする。
本発明の医用画像表示装置および方法並びにプログラムによれば、被検体の3次元医用画像を表示する表示画面およびその表示画面上への接触を検知することによって操作入力を受け付ける操作検知部を有する表示操作受付部を用い、かつその表示操作受付部において順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルを予め設定し、表示操作受付部おいて操作入力が受け付けられた際には、上記処理テーブルを参照して操作入力の順番に応じた処理を3次元医用画像に施し、その処理の施された3次元医用画像を表示画面に表示するようにしたので、ユーザが表示操作受付部の表示画面上において所定の操作入力を行うだけで、その操作入力の内容と順番に応じた処理を3次元医用画像に施してこれを表示することができる。
したがって、上述したようなマウスによる3次元医用画像上の位置の指定と、その位置に施される処理内容の選択を1つの手術動作毎に必要がなく、簡易に手術シミュレーションを行うことができる。
また、上述した表示操作受付部としてたとえばタッチパネルを有するタブレット端末などを利用するようにすれば、両手による操作入力を受け付けることができるので、その操作入力に応じた処理を3次元医用画像に同時に施すことができ、実際の手術に近い感覚でシミュレーションすることができる。
また、上述した処理テーブルを複数種類設定するようにし、その複数種類の処理テーブルのうち、選択されたいずれか1つの処理テーブルを参照して3次元医用画像に処理を施すようにした場合には、手術シミュレーションのバリエーションを増やすことができる。
また、複数種類の処理テーブルのそれぞれに対応するアイコンを表示画面に表示させ、そのアイコンを選択することによって処理テーブルを選択するようにすれば、より簡単な操作で処理テーブルを選択することができる。
本発明の医用画像表示装置の一実施形態を用いたタブレット端末の外観を示す斜視図 図1に示すタブレット端末の内部構成を示すブロック図 処理テーブルの一例を示す図 本発明の医用画像表示装置の一実施形態を用いたタブレット端末の作用を説明するためのフローチャート 図3に示す処理テーブルを用いた手術シミュレーションの一例を説明するための図 2本の指で操作入力して非剛体変形処理を施す一例を説明するための図 処理テーブルのその他の例を示す図 図7に示す処理テーブルを用いた手術シミュレーションの一例を説明するための図 処理テーブルのその他の例を示す図 複数種類の処理テーブルに対応するアイコンを表示した例を示す図
以下、本発明の医用画像表示装置および方法並びにプログラムの一実施形態について、図面を参照しながら詳細に説明する。図1は、本実施形態の医用画像表示装置の一実施形態を備えたタブレット端末の斜視図であり、図2は、図1に示すタブレット端末の内部構成を示すブロック図である。
本実施形態のタブレット端末1は、図1に示すように、入力された被検体の3次元医用画像を表示する表示画面10を備えている。表示画面10は、タッチパネルを構成する液晶画面であり、この表示画面10にユーザが触れることによって所定の操作入力が行われる。表示画面10上へのユーザの接触は、後述する操作検知部13によって検知され、この検知によってユーザによる操作入力が受け付けられる。なお、上記表示画面10と操作検知部13によって請求項における表示操作受付部が構成される。
また、本実施形態のタブレット端末1は、本発明の医用画像表示プログラムの一実施形態がインストールされたものである。医用画像表示プログラムは、DVD,CD−ROM等の記録媒体や、ネットワークに接続された外部からアクセス可能なサーバコンピュータのなどに記憶されるものであり、医師などからの要求に応じて、上記記録媒体やサーバコンピュータから読み出されてタブレット端末1にダウンロードされてインストールされる。
本実施形態のタブレット端末1は、中央処理装置(CPU)および半導体メモリや、上述した医用画像表示プログラムがインストールされたハードディスクなどのストレージデバイスを備えている。そして、これらのハードウェアによって、図2に示すような画像取得部11、画像抽出部12、操作検知部13、処理設定部14、画像処理部15および表示制御部16が構成されている。そして、ハードディスクにインストールされた医用画像表示プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ機能する。
画像取得部11は、予め撮影された被検体の3次元医用画像を取得するものである。具体的には、CT検査やMRI検査において被検体を撮影した3次元医用画像を取得するものである。このような3次元医用画像は、たとえばデータサーバなどに予め保存されており、このデータサーバとタブレット端末1とを無線または有線を介して接続することによって3次元医用画像が取得される。
画像抽出部12は、画像取得部11によって取得された3次元医用画像から解剖学的組織の3次元医用画像を抽出するものである。本実施形態においては、肝臓の3次元医用画像を抽出するものとするが、その他、頭、肺、大腸または血管などを抽出するようにしてもよい。なお、これらの解剖学的組織の抽出処理については、既に公知な技術であるので詳細な説明は省略する。
操作検知部13は、表示画面10上へのユーザの接触を検知するセンサを備え、そのセンサの検知結果に基づいてユーザの操作入力を受け付けるものである。操作検知部13において受け付けられる操作入力としては、たとえばドラッグ操作やドラッグ&ドロップ操作やタップ操作などがあるが、その他一般的なタッチパネルの操作入力を受け付けることができる。
処理設定部14は、操作検知部13によって順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルが予め設定されたものである。
3次元医用画像に対する処理としては、回転処理、平行移動処理、非剛体変形処理、剛体変形処理、切断処理、削除処理、マーキング処理などがある。本実施形態においては、これらの処理のうちの非剛体変形処理と切断処理とを処理テーブルに設定する。具体的には、処理設定部14には、図3に示すように、最初の第1操作入力に対して非剛体変形処理が対応づけられ、2番目の第2操作入力に対して切断処理が対応づけられた処理テーブルが予め設定されている。なお、本実施形態においては、第1操作入力はドラッグ操作であり、第2操作入力はドラッグ&ドロップ操作である。
また、上述したマーキング処理とは、たとえば肝臓の3次元医用画像に対して所定のマーキング画像を付ける処理であり、たとえば、肝臓の3次元医用画像における腫瘤の部分を囲むようにユーザがドラッグ&ドロップ操作した際に、その範囲に円や楕円の画像を付ける処理や、肝臓の3次元医用画像において切断する箇所をユーザがドラッグ&ドロップ操作した際に、そのドラッグした箇所に線画像を付ける処理などである。
画像処理部15は、操作検知部13において操作入力が受け付けられた際、処理設定部14に設定されている処理テーブルを参照し、操作入力の順番に応じた処理を3次元医用画像に施すものである。本実施形態においては、具体的には、操作検知部13によって最初のドラッグ操作が第1操作入力として受け付けられた場合には、画像抽出部12において抽出された肝臓の3次元医用画像に対してそのドラッグの方向および量に応じた非剛体変形処理を施すものである。そして、次に、操作検知部13によって2番目のドラッグ&ドロップ操作が第2操作入力として受け付けられた場合には、非剛体変形処理の施された肝臓の3次元医用画像に対して、そのドラッグの方向および量に応じた切断処理を施すものである。なお、非剛体変形処理および切断処理については、後で詳述する。
表示制御部16は、画像抽出部12において抽出された肝臓の3次元画像を表示画面10に表示させ、その後、ユーザによる操作入力によって画像処理部15において非剛体変形処理および切断処理が施された肝臓の3次元医用画像を表示画面10に表示させるものである。
次に、本実施形態のタブレット端末1の作用を、図4に示すフローチャートを参照しながら説明する。
まず、タブレット端末1の表示画面10に表示されたアイコンなどがタップされて手術シムレーションプログラムが起動し、これにより本実施形態の医用画像表示プログラムが起動する(S10)。
次に、被検体の3次元医用画像を取得するようユーザによって指示入力がされ、これによりデータサーバなどから被検体の3次元医用画像が読み出され、画像取得部11によって取得される(S12)。
画像取得部11によって取得された3次元医用画像は画像抽出部12に出力され、画像抽出部12は、入力された3次元医用画像から肝臓の3次元医用画像を抽出する(S14)。
画像抽出部12において抽出された肝臓の3次元医用画像は表示制御部16に出力され、表示制御部16は、タブレット端末1の表示画面10に肝臓の3次元医用画像を表示させる(S16)。なお、肝臓だけでなく、肝臓周辺の血管の3次元医用画像も別途抽出し、肝臓の3次元医用画像とともに表示画面10に表示するようにしてもよい。
そして、まず、肝臓の3次元医用画像が表示された表示画面10上において、ユーザによって肝臓上の所望の点がタッチされた後、ドラッグ操作が行われ、これが第1操作入力として操作検知部13によって受け付けられる(S18)。
操作検知部13によって第1操作入力が受け付けられると、画像処理部15が、処理設定部14に設定された処理テーブルを参照し、第1操作入力に対応する非剛体変形処理を肝臓の3次元医用画像に施す(S20)。
具体的には、たとえば、図5の上図に示すように、まず、ユーザが左手の指で肝臓下端をタッチし、その指を下方向にドラッグした場合には、肝臓下端が下方向に引っ張られて延びるような非剛体変形処理が肝臓の3次元医用画像に対して施される。非剛体変形処理は、具体的には、以下のようにして行われる。まず、肝臓の3次元医用画像内に均一に制御点を配置し、その制御点のうちユーザがタッチした点近傍の制御点を注目制御点とする。そして、その注目制御点をユーザがドラッグした位置まで移動させ、かつこれに伴って注目制御点近傍の制御点も同様に移動させる。そして、その移動後の制御点の位置情報を元に非剛体変形処理が肝臓の3次元医用画像に施され、非剛体変形処理後の肝臓の3次元医用画像が生成される。なお、非剛体変形処理については、既に公知な画像位置合わせにおける非剛体変形処理を用いることができる。画像位置合わせにおける非剛体変形処理については、たとえば「W R CRUM, T HARTKENS and D L G HILL, “Non-rigid image registration: theory and practice ”, The British Journal of Radiology, 77(2004), S140-S153」などに記載されている手法を用いることができる。
次に、非剛体変形処理後の肝臓の3次元医用画像が表示された表示画面10上において、図5の下図に示すように、ユーザの右手によってドラッグ&ドロップ操作が行われ、これが第2操作入力として操作検知部13によって受け付けられる(S22)。なお、このときユーザの左手は肝臓の下端を引っ張った状態であり、すなわち第1操作入力が受け付けられている状態で第2操作入力を受け付けることができる。
操作検知部13によって第2操作入力が受け付けられると、画像処理部15が、処理設定部14に設定された処理テーブルを参照し、第2操作入力に対応する切断処理を肝臓の3次元医用画像に施す(S24)。
そして、表示制御部16は、画像処理部15において切断処理の施された肝臓の3次元医用画像を表示画面10に表示させる。なお、切断処理後の肝臓の3次元医用画像については、たとえば肝臓が2つに切断された場合には、そのいずれか一方の切片を消去した3次元医用画像を表示するようにしてもよいし、2つの切片の間に間隔を空けるようにして表示するようにしてもよい。もしくは、2つの切片のうちのいずれか一方を消去するとともに、その消去された方の肝臓領域の血管画像のみを残して表示するようにしてもよい。
上記実施形態のタブレット端末1によれば、タブレット端末1において順次受け付けられる各操作入力と、その各操作入力の順番に対応した3次元医用画像に対する処理とが対応付けられた処理テーブルを予め設定しておき、タブレット端末1おいて操作入力が受け付けられた際には、上記処理テーブルを参照して操作入力の順番に応じた処理を3次元医用画像に施し、その処理の施された3次元医用画像を表示画面10に表示するようにしたので、ユーザがタブレット端末1の表示画面10上において所定の操作入力を行うだけで、その操作入力の内容と順番に応じた処理を3次元医用画像に施してこれを表示することができる。
したがって、上述したようなマウスによる3次元医用画像上の位置の指定と、その位置に施される処理内容の選択を1つの手術動作毎に必要がなく、簡易に手術シミュレーションを行うことができる。
また、タブレット端末1の表示画面10において両手による操作入力を受け付けることができるので、その操作入力に応じた処理を3次元医用画像に同時に施すことができ、実際の手術に近い感覚でシミュレーションすることができる。また、どこでも持ち運んで手術シミュレーションを行うことができる。
なお、上記実施形態の説明においては、第1操作入力としてユーザの一本の指でのドラッグ操作を受け付けるようにしたが、一本の指に限らず、図6に示すように、2本の指でのドラッグ操作を受け付け、その2本の指のドラッグ操作に応じた非剛体変形処理を肝臓の3次元医用画像に施すようにしてもよい。
なお、このように2本の指のドラッグ操作を受け付ける場合、一方の指(たとえば人差し指)のドラッグ操作と、他方の指(たとえば親指)のドラッグ操作とが全く同じタイミングで行われた場合には、画像処理部15は、この2本の指のドラッグ操作を第1操作入力として認識することができるが、たとえば一方の指のタッチのタイミングと他方の指のタッチのタイミングとがずれるような場合には、画像処理部15は、最初のタッチによるドラッグ操作を第1操作入力として認識し、次のタッチによるドラッグ操作を第2操作入力として認識してしまうことになり、3次元医用画像に対する処理が指によって異なることになってしまう。
そこで、このような問題が生じないように、画像処理部15は、予め設定された時間内に操作検知部13によって複数の操作入力が受け付けられた場合には、その複数の操作入力を同一順番の操作入力とみなしてその順番に対応した処理を3次元医用画像に施すようにする。すなわち、上述した2本の指での操作入力の場合、最初の指の操作入力と次の指の操作入力とが予め設定された時間内で行われた場合には、画像処理部15は、その2本の指の操作入力をともに第1操作入力として認識し、2本の指のドラッグ操作に対応する処理として非剛体変形処理を施すようにする。
上述した予め設定された時間としては、たとえば0.5〜1秒程度とすることができるが、ユーザが任意の時間を設定入力できるようにしてもよい。
また、上記実施形態においては、処理設定部14に、図3に示すような処理テーブルを設定するようにしたが、これに限らず、図7に示すような処理テーブルを設定するようにしてもよい。図7に示す処理テーブルは、第1操作入力に対応する処理として回転処理が設定され、第2操作入力に対応する処理として切断処理が設定されたものである。以下、処理設定部14に図7に示す処理テーブルが設定された場合の作用について説明する。
まず、肝臓の3次元医用画像が表示された表示画面10上において、図8に示すように、ユーザによって肝臓上の所望の点がタッチされた後、ドラッグ操作が行われ、これが第1操作入力として操作検知部13によって受け付けられる。
操作検知部13によって第1操作入力が受け付けられると、画像処理部15が、処理設定部14に設定された処理テーブルを参照し、第1操作入力に対応する回転処理を肝臓の3次元医用画像に施す。具体的には、図8に示すように上方向にドラッグ操作が行われた場合には、肝臓内において左右方向に延びる軸を回転軸として肝臓に対して回転処理が施される。図8における中段の図は、回転処理によって肝臓の裏側が見えている図を示すものである。なお、ここでは上方向にドラッグ操作を行った場合の回転処理について説明したが、たとえば左右方向にドラッグ操作が行われた場合には、肝臓内において上下方向に延びる軸を回転軸として肝臓に対して回転処理を施すようにすればよい。すなわち、回転処理は、肝臓内においてドラッグの方向に直交する方向に延びる軸を回転軸として行うようにすればよい。
次に、上述したような回転処理後の肝臓の3次元医用画像が表示された表示画面10上において、図8に示すように、ユーザの右手によってドラッグ&ドロップ操作が行われ、これが第2操作入力として操作検知部13によって受け付けられる。
操作検知部13によって第2操作入力が受け付けられると、画像処理部15が、処理設定部14に設定された処理テーブルを参照し、第2操作入力に対応する切断処理を肝臓の3次元医用画像に施す。なお、切断処理後の肝臓の3次元医用画像については、上述したとおりである。
また、上記実施形態においては、処理テーブルに2つの操作入力(第1および第2操作入力)に対応する処理を設定するようにしたが、3つ以上の操作入力に対応する処理を設定し、各操作入力の順にその操作入力に対応する処理を3次元医用画像に施すようにしてもよい。具体的には、たとえば、図9に示すように、第1操作入力に対応する処理として回転処理を設定し、第2操作入力に対応する処理として切断処理を設定し、第2操作入力に対応する処理として平行移動処理を設定するようにしてもよい。図9に示す処理テーブルを設定した場合、第2操作入力に対応する切断処理までの作用については、上記と同様である。そして、第3操作入力としてユーザによってドラッグ操作が行われた場合には、切断された肝臓の2つの切片のうちのドラッグ操作された方の切片を、そのドラッグ方向について平行移動する処理が施される。
また、上記実施形態においては、処理設定部14に1つの処理テーブルを設定する場合について説明したが、これに限らず、互いに操作入力の内容や処理の内容が異なる複数種類の処理テーブルを設定するようにしてもよい。そして、その複数種類の処理テーブルの中からユーザがいずれか1つの処理テーブルを選択し、その選択された処理テーブルを用いて画像処理部15が3次元医用画像に処理を施すようにしてもよい。
処理テーブルを選択する方法としては、たとえば表示制御部16によって表示画面10に複数種類の処理テーブルのうちのいずれかを選択するための選択画面を表示し、ユーザがその選択画面上でいずれか1つの処理テーブルを選択するようにすればよい。処理テーブルを選択する画面としては、たとえば、図10に示すように、複数種類の処理テーブル1〜3のそれぞれに対応するアイコンIC1〜IC3を表示制御部16によって表示画面10に表示させるようにしてもよい。
1 タブレット端末
10 表示画面
11 画像取得部
12 画像抽出部
13 操作検知部
14 処理設定部
15 画像処理部
16 表示制御部

Claims (11)

  1. 被検体の3次元医用画像を表示する表示画面および該表示画面上への接触を検知することによって操作入力を受け付ける操作検知部を有する表示操作受付部と、
    該表示操作受付部によって順次受け付けられる各操作入力と、該各操作入力の順番に対応した前記3次元医用画像に対する処理とが対応付けられた処理テーブルが予め設定された処理設定部と、
    前記表示操作受付部において操作入力が受け付けられた際、前記処理テーブルを参照して前記操作入力の順番に応じた処理を前記3次元医用画像に施す画像処理部と、
    該画像処理部において処理の施された前記3次元医用画像を前記表示画面に表示させる表示制御部とを備えたことを特徴とする医用画像表示装置。
  2. 前記画像処理部が、前記表示操作受付部において予め設定された時間内に複数の操作入力が受け付けられた場合には、該複数の操作入力を同一順番の操作入力とみなして該順番に対応した処理を前記3次元医用画像に施すものであることを特徴とする請求項1記載の医用画像表示装置。
  3. 前記3次元医用画像に対する処理が、回転処理、平行移動処理、変形処理、切断処理、削除処理、マーキング処理のうちのいずれかであることを特徴とする請求項1または2記載の医用画像表示装置。
  4. 前記処理設定部が、複数種類の前記処理テーブルを有し、
    前記画像処理部が、前記複数種類の前記処理テーブルのうち、選択されたいずれか1つの処理テーブルを参照して前記3次元医用画像に処理を施すものであることを特徴とする請求項1から3いずれか1項記載の医用画像表示装置。
  5. 前記表示制御部が、前記複数種類の処理テーブルのうちのいずれかを選択するための選択画面を前記表示画面に表示させるものであることを特徴とする請求項4記載の医用画像表示装置。
  6. 前記表示制御部が、前記複数種類の処理テーブルのそれぞれに対応するアイコンを前記表示画面に表示させるものであることを特徴とする請求項5記載の医用画像表示装置。
  7. 前記変形処理が、非剛体変形処理であることを特徴とする請求項3記載の医用画像表示装置。
  8. 生体の前記3次元医用画像を取得する画像取得部と、
    該画像取得部によって取得された生体の3次元医用画像から解剖学的組織の3次元医用画像を抽出する画像抽出部とを備え、
    前記画像処理部が、前記解剖学的組織の3次元医用画像に対して処理を施すものであることを特徴とする請求項1から7いずれか1項記載の医用画像表示装置。
  9. 前記解剖的組織が、頭、肺、肝臓、大腸、血管のいずれかであることを特徴とする請求項8記載の医用画像表示装置。
  10. 被検体の3次元医用画像を表示画面に表示し、該表示画面上への接触を検知することによって操作入力を受け付け、該操作入力の受け付けに応じて前記3次元医用画像に対して処理を施し、該処理後の3次元医用画像を前記表示画面に表示する医用画像表示方法において、
    順次受け付けられる前記各操作入力と、該各操作入力の順番に対応した前記3次元医用画像に対する処理とが対応付けられた処理テーブルを予め設定し、
    前記操作入力が受け付けられた際、前記処理テーブルを参照して前記操作入力の順番に応じた処理を前記3次元医用画像に施し、
    該処理の施された前記3次元医用画像を前記表示画面に表示させることを特徴とする医用画像表示方法。
  11. コンピュータに、
    被検体の3次元医用画像を表示画面に表示する手順と、該表示画面上への接触を検知することによって操作入力を受け付ける手順と、該操作入力の受け付けに応じて前記3次元医用画像に対して処理を施す手順と、該処理後の3次元医用画像を前記表示画面に表示する手順とを実行させるための医用画像表示プログラムにおいて、
    前記操作入力が受け付けられた際、順次受け付けられる前記各操作入力と、該各操作入力の順番に対応した前記3次元医用画像に対する処理とが対応付けられた処理テーブルを参照する手順と、
    該処理テーブルの参照によって前記操作入力の順番に応じた処理を前記3次元医用画像に施す手順と、
    該処理の施された前記3次元医用画像を前記表示画面に表示させる手順とを実行させることを特徴とする医用画像表示プログラム。
JP2012200428A 2012-09-12 2012-09-12 医用画像表示装置、医用画像表示方法および医用画像表示プログラム Active JP5747007B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012200428A JP5747007B2 (ja) 2012-09-12 2012-09-12 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
US14/020,713 US20140071072A1 (en) 2012-09-12 2013-09-06 Medical image display apparatus, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012200428A JP5747007B2 (ja) 2012-09-12 2012-09-12 医用画像表示装置、医用画像表示方法および医用画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2014054358A true JP2014054358A (ja) 2014-03-27
JP5747007B2 JP5747007B2 (ja) 2015-07-08

Family

ID=50232780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012200428A Active JP5747007B2 (ja) 2012-09-12 2012-09-12 医用画像表示装置、医用画像表示方法および医用画像表示プログラム

Country Status (2)

Country Link
US (1) US20140071072A1 (ja)
JP (1) JP5747007B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011489A (ko) * 2014-07-22 2016-02-01 삼성전자주식회사 의료 영상 처리 장치 및 방법
JP2016123584A (ja) * 2014-12-26 2016-07-11 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP2018175096A (ja) * 2017-04-06 2018-11-15 コニカミノルタ株式会社 動態画像処理システム
JP2019103818A (ja) * 2014-12-26 2019-06-27 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP2021006261A (ja) * 2020-09-15 2021-01-21 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
KR20210048644A (ko) * 2019-10-23 2021-05-04 경북대학교 산학협력단 의료영상 기반 스마트 ui 제공방법 및 장치
JP2021121337A (ja) * 2015-08-26 2021-08-26 株式会社根本杏林堂 医用画像処理装置および医用画像処理プログラム
WO2022064712A1 (ja) * 2020-09-28 2022-03-31 株式会社Kompath 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、及び手術支援システム
US11657547B2 (en) 2019-09-18 2023-05-23 Ziosoft, Inc. Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747007B2 (ja) * 2012-09-12 2015-07-08 富士フイルム株式会社 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
CN107847289A (zh) 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
CN105194749B (zh) * 2015-08-10 2018-01-23 天津理工大学 一种减少异物沉积血管壁的间歇式双脉动流灌注方法
CN106202247B (zh) * 2016-06-30 2017-10-13 哈尔滨理工大学 一种基于经纬度的碰撞检测方法
CN106202642B (zh) * 2016-06-30 2017-10-13 哈尔滨理工大学 一种基于瞬态显示延迟处理的计算机切割模拟方法
US11557012B2 (en) * 2016-09-22 2023-01-17 Patient Advocacy and Education, LLC Systems and methods for inducing behavior change
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048602A (ja) * 2010-08-30 2012-03-08 Fujifilm Corp 医療情報表示装置および方法、並びにプログラム
US20140071072A1 (en) * 2012-09-12 2014-03-13 Fujifilm Corporation Medical image display apparatus, method and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048602A (ja) * 2010-08-30 2012-03-08 Fujifilm Corp 医療情報表示装置および方法、並びにプログラム
US20140071072A1 (en) * 2012-09-12 2014-03-13 Fujifilm Corporation Medical image display apparatus, method and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6014040428; 杉本真樹、東健: '「3D画像ナビゲーションと臓器立体モデルによる手術支援・シミュレーション」' 臨床外科 第67巻第8号, 20120820, p1022-p1030, 株式会社医学書院 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599890B1 (ko) 2014-07-22 2016-03-04 삼성전자주식회사 의료 영상 처리 장치 및 방법
US10185805B2 (en) 2014-07-22 2019-01-22 Samsung Electronics Co., Ltd. Medical image processing apparatus and method
KR20160011489A (ko) * 2014-07-22 2016-02-01 삼성전자주식회사 의료 영상 처리 장치 및 방법
JP2016123584A (ja) * 2014-12-26 2016-07-11 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP2019103818A (ja) * 2014-12-26 2019-06-27 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP7229569B2 (ja) 2015-08-26 2023-02-28 株式会社根本杏林堂 医用画像処理装置および医用画像処理プログラム
JP2021121337A (ja) * 2015-08-26 2021-08-26 株式会社根本杏林堂 医用画像処理装置および医用画像処理プログラム
JP2018175096A (ja) * 2017-04-06 2018-11-15 コニカミノルタ株式会社 動態画像処理システム
US11657547B2 (en) 2019-09-18 2023-05-23 Ziosoft, Inc. Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
KR20210048644A (ko) * 2019-10-23 2021-05-04 경북대학교 산학협력단 의료영상 기반 스마트 ui 제공방법 및 장치
KR102422712B1 (ko) 2019-10-23 2022-07-19 경북대학교 산학협력단 의료영상 기반 스마트 ui 제공방법 및 장치
JP2021006261A (ja) * 2020-09-15 2021-01-21 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP7107590B2 (ja) 2020-09-15 2022-07-27 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
WO2022064712A1 (ja) * 2020-09-28 2022-03-31 株式会社Kompath 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、及び手術支援システム

Also Published As

Publication number Publication date
JP5747007B2 (ja) 2015-07-08
US20140071072A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
JP5747007B2 (ja) 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
US10679417B2 (en) Method and system for surgical planning in a mixed reality environment
CA2717085C (en) Twin-monitor electronic display system
JP5309187B2 (ja) 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
CN106569673B (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
CN112740285A (zh) 在虚拟环境中对医学图像的叠加和操纵
JP2021191429A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
JP2012048602A (ja) 医療情報表示装置および方法、並びにプログラム
JP2009230304A (ja) 医用レポート作成支援システム、プログラム及び方法
JP2015506002A (ja) 3次元オブジェクト・データセットとの相互作用
JP6941145B2 (ja) 2次元画像上の3次元画像データの可視化
JP2014178458A (ja) 携帯型医療画像表示装置
JP6276529B2 (ja) 読影支援装置、その方法、及びプログラム
US20140055448A1 (en) 3D Image Navigation Method
US10185805B2 (en) Medical image processing apparatus and method
JP2020081280A (ja) 画像表示制御システム、画像表示システム及び画像解析装置
Marti et al. Biopsy navigator: a smart haptic interface for interventional radiological gestures
WO2018209515A1 (zh) 显示系统及方法
Herniczek et al. Feasibility of a touch-free user interface for ultrasound snapshot-guided nephrostomy
KR101194294B1 (ko) 화면을 통해 사용자 인터페이스를 제공하는 초음파 진단 방법 및 장치
Fujii et al. A touchless visualization system for medical volumes based on kinect gesture recognition
CN110895966A (zh) 医疗设备的虚拟展示系统、方法、装置
JP6902012B2 (ja) 医用画像表示端末および医用画像表示プログラム
JP6968950B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018094421A (ja) 医療映像表示方法及び医療映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150511

R150 Certificate of patent or registration of utility model

Ref document number: 5747007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250