JP2015104447A - 顕微鏡用映像処理装置、および医療用顕微鏡システム - Google Patents
顕微鏡用映像処理装置、および医療用顕微鏡システム Download PDFInfo
- Publication number
- JP2015104447A JP2015104447A JP2013246968A JP2013246968A JP2015104447A JP 2015104447 A JP2015104447 A JP 2015104447A JP 2013246968 A JP2013246968 A JP 2013246968A JP 2013246968 A JP2013246968 A JP 2013246968A JP 2015104447 A JP2015104447 A JP 2015104447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope
- surgical instrument
- surgical
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000001000 micrograph Methods 0.000 claims description 100
- 238000000034 method Methods 0.000 description 24
- 230000015654 memory Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 210000004004 carotid artery internal Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 210000002551 anterior cerebral artery Anatomy 0.000 description 1
- 210000001841 basilar artery Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000003388 posterior cerebral artery Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】手術用顕微鏡から入力される映像を３次元映像に変換すること。【解決手段】顕微鏡用映像処理装置１００は、手術用顕微鏡２００から顕微鏡映像を取得する顕微鏡映像取得手段と、顕微鏡映像取得手段によって取得された顕微鏡映像を３次元映像に変換する映像変換手段と、映像変換手段によって変換された３次元映像内における手術器具の位置を特定する手術器具位置特定手段と、あらかじめ設定された患者の手術対象部位と、手術器具位置特定手段によって特定された手術器具の位置との距離を算出する距離算出手段と、距離算出手段によって算出された距離を表す距離情報を３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備える。【選択図】図１
Description
本発明は、顕微鏡用映像処理装置、および医療用顕微鏡システムに関する。
次のような手術用顕微鏡が知られている。この手術用顕微鏡は、撮像素子を用いた電子画像実体顕微鏡において、自然な立体感が得られるように観察画像を画像処理する（例えば、特許文献１）。
しかしながら、従来の手術用顕微鏡では、顕微鏡による観察対象を立体的な画像で表示することはできるが、顕微鏡画像を見ながらの手術においては、表示されている画像内において、患者の手術対象部位と、医師が把持している手術器具との距離感が把握し辛いという問題があった。
本発明による顕微鏡用映像処理装置は、手術用顕微鏡から顕微鏡映像を取得する顕微鏡映像取得手段と、顕微鏡映像取得手段によって取得された顕微鏡映像を３次元映像に変換する映像変換手段と、映像変換手段によって変換された３次元映像内における手術器具の位置を特定する手術器具位置特定手段と、あらかじめ設定された患者の手術対象部位と、手術器具位置特定手段によって特定された手術器具の位置との距離を算出する距離算出手段と、距離算出手段によって算出された距離を表す距離情報を３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備えることを特徴とする。
本発明による医療用顕微鏡システムは、上記の顕微鏡用映像処理装置と、顕微鏡用映像処理装置と接続され、顕微鏡用映像処理装置へ顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする。
本発明による医療用顕微鏡システムは、上記の顕微鏡用映像処理装置と、顕微鏡用映像処理装置と接続され、顕微鏡用映像処理装置へ顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする。
本発明によれば、３次元映像内に患者の手術対象部位と手術器具の位置との距離を表す距離情報を表示するようにしたので、手術を行う医師は、患者の手術対象部位と自身が把持している手術器具との距離を正確に把握することができる。
図１は、本実施の形態における医療用顕微鏡システム１０の一実施の形態の構成を示すブロック図である。医療用顕微鏡システム１０は、顕微鏡用映像処理装置１００と、手術用顕微鏡２００とで構成される。本実施の形態では、顕微鏡用映像処理装置１００と手術用顕微鏡２００とは、例えば接続ケーブルを介して、または無線通信により接続される。なお、無線通信の場合は、例えば無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の公知の通信技術を用いればよい。
手術用顕微鏡２００は、アームを備えた架台部と、アームの先端に取り付けられ、被写体を拡大撮影する顕微鏡部とで構成される。アームは、水平、垂直、回転の各方向に所定の可動範囲を有しており、顕微鏡部の位置を任意に変更することができる構造となっている。顕微鏡部は、撮像素子やレンズ等で構成される撮像部を備え、ズームレンズを駆動させて観察対象像を拡大させるとともに、フォーカスレンズを駆動させて観察対象に合焦させ、観察対象の画像を取得する。本実施の形態では、顕微鏡部は、所定のフレームレートで画像を取得することにより、観察対象を撮影した映像を出力することができる。なお、手術用顕微鏡の構造や手術用顕微鏡が備える機能は公知のため、ここでは詳細な説明を省略する。
顕微鏡用映像処理装置１００は、手術用顕微鏡２００から入力される映像を処理する装置である。この顕微鏡用映像処理装置１００としては、例えば、パソコンやサーバ装置などの情報処理装置が用いられ、これらの情報処理装置に手術用顕微鏡２００から入力される映像を処理するためのソフトウェアがインストールされることにより、後述する処理を実行する。
図２は、本実施の形態における顕微鏡用映像処理装置１００としてパソコンを用いた場合の一実施の形態の構成を示すブロック図である。顕微鏡用映像処理装置１００は、接続ＩＦ（インターフェース）１０１と、制御装置１０２と、記録装置１０３と、表示装置１０４とを備えている。
接続ＩＦ１０１は、顕微鏡用映像処理装置１００を手術用顕微鏡２００と接続するためのインターフェースであり、例えば、手術用顕微鏡２００と有線接続するためのインターフェースや、無線接続するためのインターフェースが用いられる。
制御装置１０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、顕微鏡用映像処理装置１００の全体を制御する。なお、制御装置１０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続ＩＦ１０１を介して読み込まれたデータは、バッファメモリに一時的に記録される。
記録装置１０３は、顕微鏡用映像処理装置１００が蓄える種々のデータや、制御装置１０２が実行するためのプログラムのデータ等を記録するための記録装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。上述した手術用顕微鏡２００から入力される映像を処理するためのソフトウェアのプログラムデータは、この記録装置１０３に記録される。なお、記録装置１０３に記録されるプログラムデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムデータを記録装置１０３にインストールすることによって、制御装置１０２がプログラムを実行できるようになる。
表示装置１０４は、制御装置１０２から出力された情報が表示される表示装置であって、例えば液晶モニタ等が用いられる。
表示装置１０４は、制御装置１０２から出力された情報が表示される表示装置であって、例えば液晶モニタ等が用いられる。
本実施の形態における医療用顕微鏡システム１０では、顕微鏡用映像処理装置１００の制御装置１０２は、接続ＩＦ１０１を介して手術用顕微鏡２００から入力される映像を対象として、以下に説明する処理を行う。
本実施の形態では、手術用顕微鏡２００を使用して手術を行う場合には、顕微鏡用映像処理装置１００を操作する操作者は、あらかじめ手術前に撮影された患者の手術対象部位のＣＴのスライス画像と、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像と、手術対象部位の３次元モデル画像とを記録装置１０３に記録しておく。
手術対象部位のＣＴのスライス画像は、患者の手術対象部位周辺を対象として、その断面を所定のスライス厚で撮影した複数のＣＴ画像からなる。手術対象部位のＭＲＩのスライス画像は、患者の手術対象部位周辺を対象として、その断面を所定のスライス厚で撮影した複数のＭＲＩ画像からなる。手術対象部位の３次元モデル画像は、患者の手術対象部位に対応する位置周辺を３次元モデル化した画像であって、該当部位の一般的な３次元モデル画像が公知の作成方法により作成されたものである。
制御装置１０２は、接続ＩＦ１０１を介して手術用顕微鏡２００から顕微鏡映像の入力が開始されると、入力された顕微鏡映像を構成する各コマを画像処理して３次元画像を作成して、顕微鏡映像を３次元映像に変換する。以下、制御装置１０２によって実行される顕微鏡映像を３次元映像に変換するための処理について説明する。
制御装置１０２は、記録装置１０３から、患者の手術対象部位のＣＴのスライス画像を読み出して、ＣＴのスライス画像を重ね合せて、患者の手術対象部位の３次元ＣＴ画像を作成する。また、制御装置１０２は、記録装置１０３から、患者の手術対象部位のＭＲＩのスライス画像を読み出して、ＭＲＩのスライス画像を重ね合せて、患者の手術対象部位の３次元ＭＲＩ画像を作成する。
制御装置１０２は、記録装置１０３から、手術対象部位の３次元モデル画像を読み出して、作成した３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成する。３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像との位置合わせは、各画像に対して２値化処理やラベリング処理といった公知の画像処理を施して各画像から特徴的な形状を抽出し、この特徴的な形状同士を重ね合せることにより行う。
ここで重ね合せに用いる特徴的な形状としては、各画像内に含まれる血管の形状などとすればよい。具体例を挙げると、脳のシルブウス溝を切り開く手術を行う場合、内頸動脈はＹ字型の特徴的な形状をしているため、あらかじめ一般的な内頸動脈の形状をテンプレート画像として登録しておき、制御装置１０２は、３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像のそれぞれからテンプレート画像として登録された内頸動脈の形状と近似する形状を抽出する。制御装置１０２は、このように抽出した特徴的な形状である内頸動脈の形状が互いに重なるように位置合わせを行って、３次元ＣＴ画像と３次元ＭＲＩ画像と３次元モデル画像とを重ね合せることにより、ＸＹＺ座標系で表される３次元画像を作成する。なお、これはあくまでも一例であって、大脳縦列裂を切り開く手術を行う場合には、前大脳動脈の形状のような特徴的な形状を抽出する、側頭葉底面を切り開く手術を行う場合には、脳底動脈の形状や後大脳動脈の形状といった特徴的な形状を抽出するといったように、位置合わせに用いる特徴的な形状は、患者の手術対象部位に応じて選択すればよい。
制御装置１０２は、手術用顕微鏡２００からの顕微鏡映像の入力が開始された場合には、所定のフレームレートで入力される顕微鏡映像の各コマと、上述した処理で作成した患者の手術対象部位の３次元画像とを位置合わせして重畳することにより、２次元の顕微鏡映像を３次元映像に変換する。ここでの３次元画像と顕微鏡映像の各コマの位置合わせも、上述した処理と同様に、３次元画像と顕微鏡映像の各コマから血管の形状などの特徴的な形状を抽出し、この特徴的な形状同士を重ね合せることにより行えばよい。
制御装置１０２は、変換した３次元映像を表示装置１０４へ出力して表示させる。これによって、医師等は、手術対象部位を立体的に把握して手術を行うことができる。
本実施の形態における顕微鏡用映像処理装置１００は、手術用顕微鏡２００から入力される顕微鏡映像内に写っている手術器具の３次元映像内における位置を特定し、患者の手術対象部位と手術器具の位置との間の距離を３次元映像内に表示する機能を有している。以下、患者の手術対象部位と手術器具の位置との間の距離を３次元映像内に表示するために、制御装置１０２が実行する処理について説明する。なお、本実施の形態では、手術器具の位置として、手術器具の先端位置を特定する場合について説明する。
まず、制御装置１０２は、３次元映像内における手術器具の先端位置を特定するために、手術用顕微鏡２００から入力される顕微鏡映像における顕微鏡座標系と、表示装置１０４へ出力する３次元映像における表示座標系とを位置合わせするためのキャリブレーション処理を行う。キャリブレーション処理においては、図３に示すように、位置ｔ０における手術用顕微鏡２００の光軸３ｂと垂直な顕微鏡像面３ａにおいて、光軸３ｂと顕微鏡像面３ａとが交わる点Ｐ０を原点として、顕微鏡像面３ａにｘ軸３ｃとｙ軸３ｄをとり、手術用顕微鏡２００の光軸３ｂ方向にｚ軸３ｅをとった３次元座標系を顕微鏡座標系として設定する。
本実施の形態では、表示座標系における原点Ｐ０の座標値ｖＰ０（ｖＸ０，ｖＹ０，ｖＺ０）、表示座標系における原点Ｐ０の方向ベクトルｖＶ０（ｖＶｘ０，ｖＶｙ０，ｖＶｚ０）、表示座標系における原点Ｐ０の表示倍率ｖＭ０と、顕微鏡座標系における原点Ｐ０の座標値ｒＰ０（ｒＸ０，ｒＹ０，ｒＺ０）、顕微鏡座標系における原点Ｐ０の方向ベクトルｒＶ０（ｒＶｘ０，ｒＶｙ０，ｒＶｚ０）、顕微鏡座標系における原点Ｐ０の表示倍率ｒＭ０とに対して、表示座標系における原点Ｐ０の（ｖＰ０，ｖＶ０，ｖＭ０）と、顕微鏡座標系における原点Ｐ０の（ｒＰ０，ｒＶ０，ｒＭ０）とを対応付けることにより、両座標系の位置合わせを行う。具体的には、顕微鏡座標系における原点Ｐ０の（ｒＰ０，ｒＶ０，ｒＭ０）は、表示座標系における原点Ｐ０の（ｖＰ０，ｖＶ０，ｖＭ０）＝（（０，０，０），（０，０，１），１）に対応する。
顕微鏡用映像処理装置１００の操作者は、キャリブレーション処理を行うとともに、観察対象面３ａ上に手術器具を置き、キャリブレーション処理時における顕微鏡映像内での手術器具の長さを特定する。本実施の形態では、図４に示すように、手術器具には複数のマーキング４ａ〜４ｆが施されている。これらのマーキングは、手術器具の持ち手部分に等間隔に施されており、各マーキングは、手術器具の先端側と後端側を判別可能なように色分けがされている。例えば、最も後端側に位置するマーキング４ａを薄い色とし、最も先端側に位置するマーキング４ｆを濃い色として、その間に位置するマーキング４ｂ〜４ｅは、マーキング４ｂからマーキング４ｅに向けて徐々に濃くなるようにし、全体として、マーキング４ａ〜４ｆに向けて色が濃くなるようなグラデーション配色とする。
制御装置１０２は、顕微鏡映像内から観察対象面３ａ上に置かれた手術器具のマーキングを抽出し、色が一番薄いマーキング４ａから色が一番濃いマーキング４ｆまでの長さを手術器具の長さＬとして特定する。制御装置１０２は、特定した手術器具の長さＬをメモリに記録する。これにより、キャリブレーション処理と手術器具の長さ特定処理が完了する。なお、ここで特定する手術器具の長さＬは、持ち手部分に付されたマーキング４ａからマーキング４ｆまでの長さであって、実際の手術器具の全長とは異なるが、本実施の形態では、上記処理で特定した長さＬを手術器具の長さとみなすこととする。
次に、手術時に顕微鏡映像内に写っている手術器具の先端位置を特定するための処理について説明する。ここでは、図３において、手術用顕微鏡２００が位置ｔ１へ移動した場合の処理を例にして説明を行う。なお、ここでは、手術用顕微鏡２００の撮影倍率は、キャリブレーション処理時と同一であるものとして説明するが、撮影倍率が変化した場合には、制御装置１０２は、撮影倍率の変化を加味して処理を行う。
この場合、制御装置１０２は、位置ｔ１における手術用顕微鏡２００の光軸３ｇと垂直な顕微鏡像面３ｆにおいて、光軸３ｇと顕微鏡像面３ｆとが交わる点Ｐ１を原点として、顕微鏡像面３ｆにｘ軸とｙ軸をとり、手術用顕微鏡２００の光軸３ｇ方向にｚ軸をとった座標系において、原点Ｐ１の座標値ｒＰ１（ｒＸ１，ｒＹ１，ｒＺ１）を特定する。また、制御装置１０２は、顕微鏡映像内に写っている手術器具のうち、最も濃い色が付されたマーキングの位置を手術器具の先端位置として特定し、該先端位置ｔＰ´の座標値ｒｔＰ´（ｒｔＸ´，ｒｔＹ´，ｒｔＺ´）を特定する。これにより、図５に示すように、顕微鏡像面３ｆにおけるｒＰ１とｒｔＰ´の位置関係が明らかになる。
なお、この場合、顕微鏡映像内に手術器具の先端部分が映っていれば、制御装置１０２は、最も濃い色が付されたマーキングの位置を特定することができるが、手術器具の一部が医師の手などに隠れている場合等、最も濃い色が付されたマーキングの位置を特定することができず、手術器具の先端位置を特定できない場合もある。この場合は、制御装置１０２は、以下のようにして手術器具の先端位置を推定する。
まず、制御装置１０２は、顕微鏡映像内に写っている手術器具に付されているマーキングの色に基づいて、色の変化方向を特定する。これにより、制御装置１０２は、マーキングの色が薄い色から濃い色に変化している方向が手術器具の先端方向であることを特定することができ、特定した先端方向に手術器具の先端位置が隠れていると判定することができる。
さらに、制御装置１０２は、顕微鏡映像内に写っている手術器具の長さを特定し、特定した長さと、上述した処理でメモリに記録しておいた手術器具の長さＬとに基づいて、顕微鏡映像内における手術器具の先端位置を推定する。すなわち、顕微鏡映像内に写っている手術器具の長さが、上述した処理でメモリに記録しておいた手術器具の長さＬと一致するまで、顕微鏡映像内に写っている手術器具を先端方向へ伸ばした位置が顕微鏡映像内における手術器具の先端位置であると推定することができる。これにより、顕微鏡映像内で手術器具の先端部分が隠れている場合であっても、手術器具の先端位置を特定することができる。
制御装置１０２は、特定した手術器具の先端位置ｔＰ´の座標値ｒｔＰ´（ｒｔＸ´，ｒｔＹ´，ｒｔＺ´）を、上述した顕微鏡座標系における座標値ｒｔＰ（ｒｔＸ，ｒｔＹ，ｒｔＺ）に変換する。その後、制御装置１０２は、上述したキャリブレーション処理による顕微鏡座標系と表示座標系の位置合わせ結果に基づいて、顕微鏡座標系における座標値ｒｔＰ（ｒｔＸ，ｒｔＹ，ｒｔＺ）を表示座標系における座標値ｖｔＰ（ｖｔＸ，ｖｔＹ，ｖｔＺ）に変換する。これによって、表示座標系における手術器具の先端位置を特定することができる。
制御装置１０２は、あらかじめ設定されている表示座標系における手術対象部位の座標値と、上記処理で特定した表示座標系における手術器具の先端位置の座標値ｖｔＰ（ｖｔＸ，ｖｔＹ，ｖｔＺ）との間の距離を算出して、表示装置１０４へ出力する３次元映像上に算出した距離情報を表示する。なお、表示座標系における手術対象部位の座標値は、手術前に決定された患者の手術対象部位の座標値が顕微鏡用映像処理装置１００の操作者によってあらかじめ登録されているものとする。
これによって、３次元映像上には、図６に示すように、手術対象部位６ａと手術器具の先端位置６ｂとの間の距離情報として、両座標間の直線距離６ｃと、深度方向、すなわち表示座標系におけるＺ軸方向の距離６ｄと、左右方向、すなわち表示座標系におけるＸ軸方向の距離６ｅと、上下方向、すなわち表示座標系におけるＹ軸方向の距離６ｆとが表示される。また、図６に示すように、３次元映像上に手術対象部位６ａを明示する。これによって、手術を行う医師は、３次元映像上で手術対象部位、および現在の手術器具の先端位置から手術対象部位までの距離情報を把握することができる。
また、本実施の形態では、手術対象部位の３次元モデル画像に対して、手術時に注意が必要な危険部位の位置を示す情報が登録されている。例えば、手術対象部位が脳内である場合には、危険部位の位置を示す情報として、視神経、聴覚連合野、体性感覚野といった手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を特定するための領域情報が登録される。制御装置１０２は、登録されている危険部位の位置を示す情報に基づいて、表示座標系における危険部位領域を特定し、特定した領域を３次元映像に表示する。例えば、図６に示す例では、視神経に対応する領域６ｇと体性感覚野に対応する領域６ｈとが表示されている。これにより、手術を行う医師は、手術対象部位の周囲に存在する危険部位を把握することができるため、手術時のリスクを低減することができる。
図７は、本実施の形態における顕微鏡用映像処理装置１００で実行される処理の流れを示すフローチャートである。図７に示す処理は、手術用顕微鏡２００から顕微鏡映像の入力が開始されると起動するプログラムとして、制御装置１０２によって実行される。なお、本実施の形態では、上述した３次元ＣＴ画像と３次元ＭＲＩ画像の作成処理、および３次元ＣＴ画像、３次元ＭＲＩ画像、３次元モデル画像を用いた患者の手術対象部位の３次元画像の作成処理は既に完了しているものとする。
ステップＳ１０において、制御装置１０２は、上述したように、所定のフレームレートで入力される顕微鏡映像の各コマと、患者の手術対象部位の３次元画像とを位置合わせして重畳することにより、２次元の顕微鏡映像を３次元映像に変換する。その後、ステップＳ２０へ進む。
ステップＳ２０では、制御装置１０２は、ステップＳ１０で変換して得た３次元映像を表示装置１０４へ出力して表示させる。その後、ステップＳ３０へ進む。
ステップＳ３０では、制御装置１０２は、上述したように、３次元映像内における手術器具の先端位置を特定する。その後、ステップＳ４０へ進む。
ステップＳ４０では、制御装置１０２は、図６に示したように、手術対象部位６ａと手術器具の先端位置６ｂとの間の距離情報を３次元映像内に表示する。このとき、制御装置１０２は、手術対象部位６ａと手術対象部位の周囲に存在する危険部位を特定するための情報６ｇ、６ｈも３次元映像内に表示する。その後、処理を終了する。
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０２は、手術用顕微鏡２００から顕微鏡映像を取得し、取得した顕微鏡映像を３次元映像に変換し、３次元映像内における手術器具の先端位置を特定し、あらかじめ設定された患者の手術対象部位と、特定した手術器具の先端位置との距離を算出し、算出した距離を表す距離情報を３次元映像内に表示した出力映像を表示装置１０４へ出力するようにした。これによって、３次元映像内に患者の手術対象部位と手術器具の位置との距離を表す距離情報を表示するようにしたので、手術を行う医師は、患者の手術対象部位と自身が把持している手術器具との距離を正確に把握することができる。また、医師が患者の手術対象部位と医師が把持している手術器具との距離感をつかめないと、手術対象部位の周辺に位置する他の部位を傷つけてしまうなどの重大なミスにつながる可能性があるが、本発明によれば、このような手術時のリスクを低減することができる。
（１）制御装置１０２は、手術用顕微鏡２００から顕微鏡映像を取得し、取得した顕微鏡映像を３次元映像に変換し、３次元映像内における手術器具の先端位置を特定し、あらかじめ設定された患者の手術対象部位と、特定した手術器具の先端位置との距離を算出し、算出した距離を表す距離情報を３次元映像内に表示した出力映像を表示装置１０４へ出力するようにした。これによって、３次元映像内に患者の手術対象部位と手術器具の位置との距離を表す距離情報を表示するようにしたので、手術を行う医師は、患者の手術対象部位と自身が把持している手術器具との距離を正確に把握することができる。また、医師が患者の手術対象部位と医師が把持している手術器具との距離感をつかめないと、手術対象部位の周辺に位置する他の部位を傷つけてしまうなどの重大なミスにつながる可能性があるが、本発明によれば、このような手術時のリスクを低減することができる。
（２）制御装置１０２は、手術前に撮影された患者の手術対象部位のＣＴのスライス画像を重ね合せた３次元ＣＴ画像を作成するとともに、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像を重ね合せた３次元ＭＲＩ画像を作成し、３次元ＣＴ画像と、３次元ＭＲＩ画像と、あらかじめ用意された手術対象部位の３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成し、患者の手術対象部位の３次元画像と、手術用顕微鏡２００から取得した顕微鏡映像の各コマを位置合わせして重畳することにより、顕微鏡映像を３次元映像に変換するようにした。このように、ＣＴのスライス画像、ＭＲＩのスライス画像、および３次元モデル画像を用いることにより精度の高い３次元画像を作成して、顕微鏡映像を３次元映像に変換することができる。
（３）制御装置１０２は、手術器具の先端位置の顕微鏡座標系における座標値を特定し、これを表示座標系における座標値に変換することにより、３次元映像内における手術器具先端位置を特定するようにした。これによって、顕微鏡映像内に写っている手術対象器具の先端位置を３次元映像内においても特定することができる。
（４）制御装置１０２は、３次元映像内におけるあらかじめ設定された手術対象部位の座標値と、特定した手術器具の先端位置の座標値とに基づいて、手術対象部位と手術器具の先端位置との直線距離、深度方向、すなわち奥行き方向の距離と、左右方向、すなわち水平方向の距離と、上下方向、すなわち垂直方向の距離とを算出するようにした。これによって、手術を行う医師は、３次元映像上で現在の手術器具の先端位置から手術対象部位までの距離情報を把握することができる。
（５）制御装置１０２は、３次元映像内に、手術対象部位の位置を示す情報を表示するようにした。これによって、手術を行う医師は、３次元映像上で手術対象部位を把握することができる。
（６）制御装置１０２は、３次元映像内に、手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を示す情報を表示するようにした。これによって、手術を行う医師は手術対象部位の周囲に存在する危険部位を把握することができ、手術時のリスクを低減することができる。
―変形例―
なお、上述した実施の形態の医療用顕微鏡システム１０は、以下のように変形することもできる。
（１）上述した実施の形態では、キャリブレーション処理を行うとともに、観察対象面３ａ上に手術器具を置き、キャリブレーション処理時における顕微鏡映像内での手術器具の長さＬを特定するようにし、手術器具の先端位置を特定する際に、手術器具に付された最も濃い色が付されたマーキングの位置を特定することができない場合には、手術器具の長さＬに基づいて、顕微鏡映像内における手術器具の先端位置を推定する例について説明した。上述した実施の形態では、手術器具の長さＬは、キャリブレーション処理時に観察対象面３ａ上に置かれた手術器具を対象として算出したものであるが、手術時には、必ずしも観察対象面に対して水平に手術器具が映るとは限らない。仮に、手術器具が観察対象面に対して傾きを持って顕微鏡映像に映った場合には、顕微鏡映像内の手術器具の長さは、キャリブレーション処理時に計測した手術器具の長さＬとは異なることになる。この場合、手術器具に等間隔に付されたマーキングは、顕微鏡映像内では光軸から離れるに従って狭く映ることになる。また、マーキングの幅、すなわち図４に示したマーキングの縦方向の長さは、顕微鏡映像内では光軸から離れるに従って細く映ることになる。このため、制御装置１０２は、このマーキング間隔の変化とマーキング幅の変化に基づいて、顕微鏡映像内における手術器具の長さを補正するようにすればよい。
なお、上述した実施の形態の医療用顕微鏡システム１０は、以下のように変形することもできる。
（１）上述した実施の形態では、キャリブレーション処理を行うとともに、観察対象面３ａ上に手術器具を置き、キャリブレーション処理時における顕微鏡映像内での手術器具の長さＬを特定するようにし、手術器具の先端位置を特定する際に、手術器具に付された最も濃い色が付されたマーキングの位置を特定することができない場合には、手術器具の長さＬに基づいて、顕微鏡映像内における手術器具の先端位置を推定する例について説明した。上述した実施の形態では、手術器具の長さＬは、キャリブレーション処理時に観察対象面３ａ上に置かれた手術器具を対象として算出したものであるが、手術時には、必ずしも観察対象面に対して水平に手術器具が映るとは限らない。仮に、手術器具が観察対象面に対して傾きを持って顕微鏡映像に映った場合には、顕微鏡映像内の手術器具の長さは、キャリブレーション処理時に計測した手術器具の長さＬとは異なることになる。この場合、手術器具に等間隔に付されたマーキングは、顕微鏡映像内では光軸から離れるに従って狭く映ることになる。また、マーキングの幅、すなわち図４に示したマーキングの縦方向の長さは、顕微鏡映像内では光軸から離れるに従って細く映ることになる。このため、制御装置１０２は、このマーキング間隔の変化とマーキング幅の変化に基づいて、顕微鏡映像内における手術器具の長さを補正するようにすればよい。
具体的には、制御装置１０２は、顕微鏡映像内で連続する３つのマーキングを対象として、隣り合う２つのマーキングの間の間隔を特定し、これらの間隔の比を算出する。例えば、図４に示したマーキング４ｂ、４ｃ、４ｄの連続する３つのマーキングを対象として、マーキング４ｂとマーキング４ｃとの間の間隔Ａと、マーキング４ｃとマーキング４ｄとの間の間隔Ｂを特定し、間隔Ａと間隔Ｂの比を算出する。この比は、顕微鏡座標系におけるＺ軸方向の傾き幅を表すため、顕微鏡映像内の手術器具の長さを、キャリブレーション処理時に計測した手術器具の長さＬと該傾き幅とに基づいて、三角関数により算出して、補正をすることができる。
あるいは、制御装置１０２は、隣り合う２つのマーキングを対象として、マーキング幅の比を算出する。例えば、図４に示したマーキング４ｂと４ｃを対象として、マーキング４ｂのマーキング幅とマーキング４ｃのマーキング幅の比を算出する。この比も顕微鏡座標系におけるＺ軸方向の傾き幅を表すため、顕微鏡映像内の手術器具の長さを、キャリブレーション処理時に計測した手術器具の長さＬと該傾き幅とに基づいて、三角関数により算出して補正するようにしてもよい。
（２）上述した実施の形態では、手術器具には複数のマーキング４ａ〜４ｆが施されており、各マーキングは、手術器具の先端側と後端側を判別可能なように色分けがされている例について説明した。しかしながら、手術器具の先端側と後端側を判別とすれば、手術器具に施すものはマーキングに限定されない。例えば、図４に示したマーキング４ａ〜４ｆの位置に、手術器具の先端側と後端側を判別するために番号を付しても良いし、先端側を示す方向を向く矢印を付すようにしてもよい。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
１０ 医療用顕微鏡システム
１００ 顕微鏡用映像処理装置
１０１ 接続ＩＦ
１０２ 制御装置
１０３ 記録装置
１０４ 表示装置
２００ 手術用顕微鏡
１００ 顕微鏡用映像処理装置
１０１ 接続ＩＦ
１０２ 制御装置
１０３ 記録装置
１０４ 表示装置
２００ 手術用顕微鏡
本発明による顕微鏡用映像処理装置は、手術用顕微鏡から所定のフレームレートで出力される顕微鏡映像を取得する顕微鏡映像取得手段と、顕微鏡映像取得手段によって取得された顕微鏡映像を３次元映像に変換する映像変換手段と、顕微鏡映像取得手段によって取得された顕微鏡映像の中から、持ち手部分に、手術器具の先端側と後端側を判別可能なように色分けがされたマーキングが等間隔に施された手術器具について、最も先端側の位置を判別するために付されたマーキングの位置を手術器具の先端位置として特定し、特定した先端位置の顕微鏡映像における座標値を、３次元映像内における座標値に変換することにより、映像変換手段によって変換された３次元映像内における手術器具の先端位置を特定する手術器具位置特定手段と、あらかじめ設定された患者の手術対象部位と、手術器具位置特定手段によって特定された手術器具の先端位置との距離を算出する距離算出手段と、記距離算出手段によって算出された距離を表す距離情報を３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備えることを特徴とする。
本発明による医療用顕微鏡システムは、上記の顕微鏡用映像処理装置と、顕微鏡用映像処理装置と接続され、顕微鏡用映像処理装置へ所定のフレームレートで顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする。
本発明による医療用顕微鏡システムは、上記の顕微鏡用映像処理装置と、顕微鏡用映像処理装置と接続され、顕微鏡用映像処理装置へ所定のフレームレートで顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする。
Claims (8)
- 手術用顕微鏡から顕微鏡映像を取得する顕微鏡映像取得手段と、
前記顕微鏡映像取得手段によって取得された前記顕微鏡映像を３次元映像に変換する映像変換手段と、
前記映像変換手段によって変換された３次元映像内における手術器具の位置を特定する手術器具位置特定手段と、
あらかじめ設定された患者の手術対象部位と、前記手術器具位置特定手段によって特定された前記手術器具の位置との距離を算出する距離算出手段と、
前記距離算出手段によって算出された距離を表す距離情報を前記３次元映像内に表示した出力映像を表示装置へ出力する映像出力手段とを備えることを特徴とする顕微鏡用映像処理装置。 - 請求項１に記載の顕微鏡用映像処理装置において、
前記映像変換手段は、手術前に撮影された患者の手術対象部位のＣＴのスライス画像を重ね合せた３次元ＣＴ画像を作成するとともに、手術前に撮影された患者の手術対象部位のＭＲＩのスライス画像を重ね合せた３次元ＭＲＩ画像を作成し、前記３次元ＣＴ画像と、前記３次元ＭＲＩ画像と、あらかじめ用意された手術対象部位の３次元モデル画像とを位置合わせして重畳することにより患者の手術対象部位の３次元画像を作成し、前記患者の手術対象部位の３次元画像と、前記顕微鏡映像取得手段によって取得された前記顕微鏡映像の各コマを位置合わせして重畳することにより、前記顕微鏡映像を前記３次元映像に変換することを特徴とする顕微鏡用映像処理装置。 - 請求項１または２に記載の顕微鏡用映像処理装置において、
前記手術器具位置特定手段は、前記顕微鏡映像取得手段によって取得された前記顕微鏡映像における前記手術器具の位置の座標値を特定し、特定した前記手術器具の位置の座標値を前記３次元映像内における座標値に変換することにより、前記３次元映像内における前記手術器具の位置を特定することを特徴とする顕微鏡用映像処理装置。 - 請求項３に記載の顕微鏡用映像処理装置において、
前記手術器具位置特定手段は、前記顕微鏡映像取得手段によって取得された前記顕微鏡映像における前記手術器具の一部が隠れていることにより、前記手術器具の位置の座標値が特定できない場合には、前記顕微鏡映像に写っている前記手術器具の一部と、あらかじめ特定した前記手術器具の長さとに基づいて、前記手術器具の位置の座標値を推定することを特徴とする顕微鏡用映像処理装置。 - 請求項３または４に記載の顕微鏡用映像処理装置において、
前記距離算出手段は、前記３次元映像内におけるあらかじめ設定された手術対象部位の座標値と、前記手術器具位置特定手段によって特定された前記手術器具の位置の座標値とに基づいて、前記手術対象部位と前記手術器具の位置との直線距離、水平方向の距離、垂直方向の距離、および奥行き方向の距離を算出することを特徴とする顕微鏡用映像処理装置。 - 請求項１〜５のいずれか一項に記載の顕微鏡用映像処理装置において、
前記３次元映像内に、前記手術対象部位の位置を示す手術対象部位位置情報を表示する手術対象部位位置情報表示手段をさらに備えることを特徴とする顕微鏡用映像処理装置。 - 請求項１〜６のいずれか一項に記載の顕微鏡用映像処理装置において、
前記３次元映像内に、前記手術対象部位の周囲に存在する損傷リスクが伴う危険部位の位置を示す危険部位位置情報を表示する危険部位位置情報表示手段をさらに備えることを特徴とする顕微鏡用映像処理装置。 - 請求項１〜７のいずれかに記載の顕微鏡用映像処理装置と、前記顕微鏡用映像処理装置と接続され、前記顕微鏡用映像処理装置へ顕微鏡映像を入力する手術用顕微鏡とを備えることを特徴とする医療用顕微鏡システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013246968A JP5611441B1 (ja) | 2013-11-29 | 2013-11-29 | 顕微鏡用映像処理装置、および医療用顕微鏡システム |
| EP14866443.6A EP3075342B1 (en) | 2013-11-29 | 2014-11-21 | Microscope image processing device and medical microscope system |
| PCT/JP2014/080894 WO2015080042A1 (ja) | 2013-11-29 | 2014-11-21 | 顕微鏡用映像処理装置、および医療用顕微鏡システム |
| US15/038,612 US9736464B2 (en) | 2013-11-29 | 2014-11-21 | Microscope video processing device and medical microscope system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013246968A JP5611441B1 (ja) | 2013-11-29 | 2013-11-29 | 顕微鏡用映像処理装置、および医療用顕微鏡システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5611441B1 JP5611441B1 (ja) | 2014-10-22 |
| JP2015104447A true JP2015104447A (ja) | 2015-06-08 |
Family
ID=52574631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013246968A Active JP5611441B1 (ja) | 2013-11-29 | 2013-11-29 | 顕微鏡用映像処理装置、および医療用顕微鏡システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9736464B2 (ja) |
| EP (1) | EP3075342B1 (ja) |
| JP (1) | JP5611441B1 (ja) |
| WO (1) | WO2015080042A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11638000B2 (en) | 2018-08-06 | 2023-04-25 | Sony Olympus Medical Solutions Inc. | Medical observation apparatus |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6880606B2 (ja) * | 2016-08-30 | 2021-06-02 | 株式会社ニデック | 眼科用手術顕微鏡 |
| CN113395595B (zh) * | 2020-03-12 | 2023-03-24 | 平湖莱顿光学仪器制造有限公司 | 一种密度相关的智能二维视频播放方法及其视频装置 |
| US11928834B2 (en) | 2021-05-24 | 2024-03-12 | Stryker Corporation | Systems and methods for generating three-dimensional measurements using endoscopic video data |
| DE102021118400A1 (de) * | 2021-07-16 | 2023-01-19 | Aesculap Ag | Medizinisches System und Verfahren zum Prüfen einer Kompatibilität von Implantaten und Instrumenten eines medizinischen Systems |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007007041A (ja) * | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援装置 |
| JP2009542362A (ja) * | 2006-06-29 | 2009-12-03 | インテュイティブ サージカル インコーポレイテッド | コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標 |
| WO2013145730A1 (ja) * | 2012-03-29 | 2013-10-03 | パナソニック株式会社 | 手術支援装置および手術支援プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5417210A (en) * | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
| US6466815B1 (en) * | 1999-03-30 | 2002-10-15 | Olympus Optical Co., Ltd. | Navigation apparatus and surgical operation image acquisition/display apparatus using the same |
| CA2486520A1 (en) * | 2001-06-13 | 2002-12-19 | Volume Interactions Pte. Ltd. | Guide systems for interacting with a subject, and methods therefor |
| JP4832679B2 (ja) * | 2001-09-11 | 2011-12-07 | オリンパス株式会社 | 顕微鏡システム |
| JP2004151490A (ja) | 2002-10-31 | 2004-05-27 | Olympus Corp | 手術用顕微鏡 |
| US7774044B2 (en) * | 2004-02-17 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | System and method for augmented reality navigation in a medical intervention procedure |
-
2013
- 2013-11-29 JP JP2013246968A patent/JP5611441B1/ja active Active
-
2014
- 2014-11-21 EP EP14866443.6A patent/EP3075342B1/en active Active
- 2014-11-21 WO PCT/JP2014/080894 patent/WO2015080042A1/ja active Application Filing
- 2014-11-21 US US15/038,612 patent/US9736464B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007007041A (ja) * | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援装置 |
| JP2009542362A (ja) * | 2006-06-29 | 2009-12-03 | インテュイティブ サージカル インコーポレイテッド | コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標 |
| WO2013145730A1 (ja) * | 2012-03-29 | 2013-10-03 | パナソニック株式会社 | 手術支援装置および手術支援プログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11638000B2 (en) | 2018-08-06 | 2023-04-25 | Sony Olympus Medical Solutions Inc. | Medical observation apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3075342A1 (en) | 2016-10-05 |
| EP3075342A4 (en) | 2017-11-01 |
| WO2015080042A1 (ja) | 2015-06-04 |
| US20160295199A1 (en) | 2016-10-06 |
| EP3075342B1 (en) | 2020-02-12 |
| US9736464B2 (en) | 2017-08-15 |
| JP5611441B1 (ja) | 2014-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Badiali et al. | Augmented reality as an aid in maxillofacial surgery: validation of a wearable system allowing maxillary repositioning | |
| JP5476036B2 (ja) | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 | |
| US11707340B2 (en) | Image processing device, image processing method, and surgical navigation system | |
| McJunkin et al. | Development of a mixed reality platform for lateral skull base anatomy | |
| Suenaga et al. | Vision-based markerless registration using stereo vision and an augmented reality surgical navigation system: a pilot study | |
| JP5611441B1 (ja) | 顕微鏡用映像処理装置、および医療用顕微鏡システム | |
| BR102018077046A2 (pt) | Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos | |
| US20050203380A1 (en) | System and method for augmented reality navigation in a medical intervention procedure | |
| JP2016533832A (ja) | 手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム | |
| WO2014120909A1 (en) | Apparatus, system and method for surgical navigation | |
| CN107854177A (zh) | 一种基于光学定位配准的超声与ct/mr图像融合手术导航系统及其方法 | |
| US20170231718A1 (en) | System and Method for Guiding Medical Instruments | |
| JP2017102927A (ja) | ３ｄ画像から２ｄ画像へのマッピング | |
| JP2010274044A (ja) | 手術支援装置、手術支援方法及び手術支援プログラム | |
| JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| JP2016007277A (ja) | 手術支援装置および手術支援システム | |
| JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| KR20210121050A (ko) | 치과 치료를 제안 및 시각화하기 위한 방법 및 시스템 | |
| CN108629845A (zh) | 手术导航方法、装置、设备、系统和可读存储介质 | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| KR20160121740A (ko) | 수술 관련 해부정보 제공 방법 및 장치 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| WO2016054775A1 (zh) | 超声虚拟内窥成像系统和方法及其装置 | |
| JP6461024B2 (ja) | 画像位置合せ装置、方法およびプログラム | |
| JP6285618B1 (ja) | ３ｄ超音波画像ボリュームにマーカーを配置するためのデバイス及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5611441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |