JP2015020012A

JP2015020012A - 術部撮像装置

Info

Publication number: JP2015020012A
Application number: JP2013152634A
Authority: JP
Inventors: 直秦野; Sunao Hatano; 育史有田; Ikushi Arita
Original assignee: MEDIAEDGE; MEDIAEDGE CORP
Current assignee: MEDIAEDGE; MEDIAEDGE CORP
Priority date: 2013-07-23
Filing date: 2013-07-23
Publication date: 2015-02-02

Abstract

【課題】術部の動画を安定して撮像できる術部撮像装置を提供する。【手段】術者の頭部２に、頭部バンド４によって、カメラ６が固定されている。術部１２の周りには、開口１４の設けられた覆布１６が被せられる。術者は、この開口１４を通じて、術部１２を見ることができる。開口１４の周囲には、マーカー１８が印刷されている。カメラ６によって撮像された動画は、補正手段２０に入力される。補正手段２０においては、撮像された動画中のマーカー１８に基づいてブレの補正を行う。記録手段２２は、補正された動画を記録部２４に記録する。このようにして、ブレのない動画が記録部２４に記録される。再生手段２６は、記録部２４に記録されている動画を読み出して、表示部２８において表示する。【選択図】図１

Description

この発明は、手術中の術部をカメラで撮像する術部撮像装置に関するものである。

手術中の状況を動画として録画し、教育用に用いることが行われている。たとえば、手術室の天井に固定したカメラにて、術部を撮像して記録することが行われている。

また、特許文献１には、内視鏡手術のための処置具の先端部にマーカを設け、撮像した画像中からこのマーカを基準に、処置部近傍の拡大画像を生成する点が開示されている。

特開２００５−１３５５７

しかしながら、手術室の天井に固定したカメラによる撮像では、画像のブレが無く安定しているという利点はあるものの、術者の頭部などが邪魔をして、術部の画像を得ることができないという問題があった。

これを解決するため、術者の頭部にカメラを設けて撮像するという方法が考えられる。しかし、かかる方法では、カメラの撮像箇所が常に移動して揺れるため、記録された動画が安定しないという問題があった。つまり、撮像箇所が術部に対して上下左右に移動するだけでなく、回転したり、距離が変わったりすることが生じ、再生された動画を見ると気分が悪くなったりした。

なお、特許文献１のものは、マーカーによって撮像箇所を固定するようにしているが、上述の問題を解決するものではなかった。

この発明は、上記のような問題点を解決して、術部の動画を安定して撮像できる術部撮像装置を提供することを目的とする。

(1)(2)この発明に係る術部撮像装置は、患者の術部を動画撮像するため、術者の視線方向と同様の動きをするように術者に取り付けられた動画撮像部と、患者の術部近傍に設けられたマーカーと、動画撮像部によって撮像した動画のブレを、撮像された前記マーカーによって補正する補正手段と、補正手段によってブレの補正された動画を出力する出力手段とを備えている。

したがって、術者に妨げられることが少なく、しかも安定した画像を出力することができる。

(3)この発明に係る術部撮像装置は、動画撮像部が、撮像部固定具によって、術者の額部に固定されていることを特徴としている。

したがって、術者の視線とほぼ等しい方向を撮像することができる。

(4)この発明に係る術部撮像装置は、マーカーが、覆布の開口部近傍に設けられていることを特徴としている。

したがって、術部近傍を撮像した際に、マーカーを撮像することができる。

(5)この発明に係る術部撮像装置は、マーカーが、開創器に設けられていることを特徴としている。

したがって、開創器を用いることで適切な位置にマーカーが配置されることになる。

(6)この発明に係る術部撮像装置は、補正手段による補正が適切に行えない場合、出力手段は、当該補正を適切に行えない期間、当該期間の前の補正を適切に行えた際の画像を出力することを特徴としている。

したがって、画像を途切れることなく表示することができる。

(7)この発明に係る術部撮像装置は、出力手段が、補正を適切に行えない期間と補正を適切に行えた期間とで、画像の色を変えることを特徴としている。

したがって、再生時に、補正を適切に行えない画像であるか、補正を適切に行えた画像であるかを区別することができる。

(8)この発明に係る術部撮像装置は、補正手段による補正が適切に行えない部分がある場合、出力手段は、当該補正が適切に行えない部分については、当該期間の前の補正を適切に行えた際の画像を出力し、当該補正が適切に行えた部分については、補正された動画を出力することを特徴としている。

したがって、全体の動画を途切れることなく出力することができる。

(9)この発明に係る術部撮像装置は、出力手段が、補正を適正に行えない部分と補正を適切に行えた部分とで、画像の色を変えることを特徴としている。

したがって、再生時に、補正を適切に行えない部分であるか、補正を適切に行えた部分であるかを区別することができる。

(10)この発明に係る術部撮像装置は、動画撮像部に取り付けられた移動検出手段をさらに設け、前記補正手段は、マーカーによる補正が困難な場合、移動検出手段によって検出された撮像部の位置変化に基づいて、補正を行うことを特徴としている。

したがって、

(11)この発明に係る術部撮像装置は、出力手段が、処理後の動画を記録部に記録するか、表示部に表示するか、あるいはその双方を行うよう構成されていることを特徴としている。

したがって、修正画像を記録したり表示したりすることができる。

(12)この発明に係る覆布は、手術のための開口を有する覆布であって、開口の周縁部にマーカーを有することを特徴としている。

したがって、マーカを用いた術部撮像に適した覆布を提供することができる。

「補正手段」は、実施形態においては、図４のステップＳ４がこれに対応する。

「出力手段」は、実施形態においては、図４のステップＳ５がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の術部記録装置の機能ブロック図である。カメラ６を示す図である。ハードウエア構成を示す図である。術部記録プログラムのフローチャートである。撮像された画像の一例である。マーカーの認識を説明するための図である。マーカーの所定位置５２を示す図である。図５の画像に基づく修正画像の例である。他の例によるマーカを示す図である。図９のマーカーの使用例を示す図である。撮像された画像の一例である。図１１に対応する修正画像の例である。他の実施形態における修正画像である。画像記録範囲の初期設定を示す図である。

１．機能ブロック図
図１に、この発明の一実施形態による術部撮像装置の機能ブロック図を示す。術者の頭部２に、頭部バンド４によって、カメラ６が固定されている。このカメラ８の撮像方向８は、術者の目線方向１０に対して、ほぼ並行である。また、カメラ８の撮像方向８は、術者の頭部２の移動・回転に伴って移動するので、目線方向１０と同じ方向を向くことになる。これにより、術者が術部１２を見ていれば、術部１２が撮像されることになる。

術部１２の周りには、開口１４の設けられた覆布１６が被せられる。術者は、この開口１４を通じて、術部１２を見ることができる。開口１４の周囲には、マーカー１８が印刷されている。マーカー１８は、覆布とは異なる色であり、かつ、手術中に通常見られる色ではない色とすることが好ましい。つまり、青色ではなく、血の色の赤や、皮膚の色の肌色ではない色（たとえば、緑色）などとすることが好ましい。この実施形態では、緑色とした。マーカー１８は、図１に示すように、開口１４の周囲４カ所に設けられている。

カメラ６によって撮像された動画は、補正手段２０に入力される。補正手段２０においては、撮像された動画中のマーカー１８に基づいてブレの補正を行う。記録手段２２は、補正された動画を記録部２４に記録する。このようにして、ブレのない動画が記録部２４に記録される。再生手段２６は、記録部２４に記録されている動画を読み出して、表示部２８において表示する。

２．ハードウエア構成
図２に、頭部バンド４を有するカメラ６の外観を示す。この実施形態では、カメラ６としてＣＣＤカメラを用いた。頭部バンド４は、伸長性のある部材で構成されており、頭部に装着する際に伸長するようになっている。

図３に、ハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、ハードディスク３６、ＤＶＤ−ＲＯＭドライブ３８、カメラ４０が接続されている。ハードディスク３６には、オペレーティングシステム（マイクロソフト社のWINDOWS（商標）など）４２、術部撮像プログラム４４が記録されている。術部撮像プログラム４４は、オペレーティングシステム４２と協働してその機能を発揮するものである。オペレーティングシステム４２、術部撮像プログラム４４は、ＤＶＤディスク４６に記録されていたものを、ＤＶＤ−ＲＯＭドライブ３８を介して、ハードディスク３６にインストールしたものである。

３．術部撮像プログラムの処理
図４に、術部撮像プログラム４４のフローチャートを示す。カメラ４０によって撮像された動画データ（たとえば、ＭＰＥＧデータ）は、順次、メモリ３２に記録されていく。ＣＰＵ３０は、メモリ３２に記録された動画データの１フレームを読み込む（ステップＳ１）。なお、ＪＰＥＧなどの型式にて記録されている場合には、圧縮を解凍して、フレーム毎の画像に変換する必要がある。

続いて、ＣＰＵ３０は、１フレームの画像中から、マーカーを抽出する（ステップＳ２）。たとえば、図５のような画像であれば、覆布１６に印刷された４つのマーカー１８を検出するため、ＣＰＵ３０は次のような処理を行う。まず、ＣＰＵ３０は、マーカー１８の色（ここでは緑色とする）と同色の部分を、画像中から抽出する。この時の抽出画像を、図６に示す。ここで、ＣＰＵ３０は、微小な領域５０については削除する。所定の大きさを有する領域をマーカであると判断する。

次に、ＣＰＵ３０は、このようにして認識されたマーカーの数を計数し、３つ以上認識できたか否かを判断する。図６のような抽出画像の場合であれば、４つのマーカーを認識したことになる。したがって、ＣＰＵ３０は、ステップＳ４に処理を進める。

ステップＳ４において、ＣＰＵ３０は、マーカーが所定の位置にくるように図５の画像を修正する。この実施形態では、４つのマーカーのそれぞれの所定位５２置を、画面端部から５０画素の位置にしている。ＣＰＵ３０は、図５のマーカー１８が、それぞれ、所定位置５２に合致するように、画像を変形する。

たとえば、図５において、上部の２つのマーカー１８、１８を結ぶ直線は、角度θだけ傾いている。これに対して、下部の２つのマーカー１８、１８を結ぶ直線は傾いていない。したがって、マーカ−１８が所定位置５２に合致するように画像を変形することにより、上部において傾き角度θがゼロとなるように、画像の傾きが修正される。また、下部に行くにしたがって徐々に傾き補正が小さくなり、下部の２つのマーカー１８、１８においては傾き補正はゼロとなる。また、これと同じようにして、垂直方向の傾きも補正される。さらに、同様にして、幅や高さも補正される。

上記のような補正の結果、図８に示すような修正画像を得ることができる。ＣＰＵ３０は、この修正画像をハードディスク３６に動画として記録する（ステップＳ５）。

以上のように、ハードディスク３６には、位置および大きさが固定された動画が記録されるので、術者の頭の移動により、撮像した動画自体がぶれていたとしても、位置の固定された見やすい動画を得ることができる。

なお、ステップＳ３において、マーカーを３点以上認識できない場合には、ＣＰＵ３０は、上記の画像修正を行うことができない。この場合には、ＣＰＵ３０は、直近（最新）の修正画像（マーカーに基づいて修正した画像の内、最新のもの）を代替画像としてハードディスク３６に記録する（ステップＳ６）。このようにすることで、途切れることなく画像を表示することができる。

なお、この実施形態においては、ＣＰＵ３０は、代替画像を記録する際には、通常の修正画像とは異なる色（たとえば、全体色を赤にするなど）にして記録するようにしている。これにより、再生時に、代替画像であることを知ることができる。

４．その他の実施形態
(1)上記実施形態においては、覆布にマーカーを印刷するようにしている。しかし、シール、反射板、クリップ、ＬＥＤなどの光源などを設けるようにしてもよい。また、マーカーは点だけでなく、線や模様としてもよい。さらに、３個以上のマーカーの組みを複数個設けるようにしてもよい。

(2)上記実施形態では、覆布にマーカーを設けている。しかし、開創器にマーカーを設けるようにしてもよい。

(3)上記実施形態では、カメラによって撮像したマーカーに基づいて画像の修正を行うようにしている。しかし、カメラとは別に、カメラと同じ位置から同じ方向に向けて赤外線を照射する光源と赤外線カメラを別途設けるようにしてもよい。この場合、たとえば再帰反射板をマーカーにし、赤外画像に基づいてマーカーの位置を決定し、これに基づいて通常のカメラの画像を修正する。

(4)上記実施形態では、マーカーは、術部に近い位置に設けるようにしている。しかし、少し離れた位置にマーカーを設けるようにしてもよい。これにより、術者の腕などによって画像が隠されるおそれが少なくなる。

(5)上記実施形態では、記録したい画像の大きさ内にマーカー１８の所定位置５２を設定している。これにより、記録される動画の大きさは、マーカー１８よりも少し大きくなる。しかしながら、マーカー１８の所定位置５２を、記録される動画の大きさよりも外側に設定するようにしてもよい。この場合、記録される動画の大きさは、マーカー１８よりも少し小さくなる。

(6)上記実施形態では、４つのマーカーを設けるようにしている。しかし、３つのマーカを設けてもよいし、５つ以上のマーカーを設けるようにしてもよい。また、複数マーカー１８の位置を識別できるような形状としてもよい。たとえば、図９に示すような形状とすることによって、右上マーカー１８ａ、右下マーカー１８ｂ、左上マーカー１８ｃ、左下マーカー１８ｄを区別することができる。これにより、マーカーが２つだけしか検出されない場合であっても、修正画像を生成することができる。

たとえば、図１０のように、マーカー１８ｃ、１８ｄのみが検出されたとする。この時、その形状から、左上マーカー１８ｃ、左下マーカー１８ｄであると判断することができる。ＣＰＵ３０は、マーカー１８ｃ、１８ｄの間の距離Ｌ1と、マーカー１８ｃの縦長さＬ2、横長さＬ4とに基づいて右上マーカー１８ａの位置を推定する。位置推定は、以下の式に基づいて行う。

Ｌx=Ｌrx・（Ｌr1／Ｌ1）・（Ｌ2／Ｌ4）
ここで、Ｌr1は実際のマーカー１８ｃ、１８ｄ間の距離、Ｌrxは実施のマーカー１８ｃ、１８ａ間の距離である。Ｌ2は、左上マーカー１８ｃと右上マーカー１８ａとの距離である。

実際のマーカー１８ｃ、１８ａ間の距離Ｌrxに、（Ｌr1／Ｌ1）を乗じることにより、カメラの光軸が撮像面に対して垂直に位置する場合の、画像上のマーカー１８ｃ、１８ａの距離を得ることができる。このようにして算出した距離に、（Ｌ2／Ｌ4）を乗じることにより、カメラの光軸が撮像面に対して傾いている場合の傾きを考慮して、画像上のマーカー１８ｃ、１８ａの距離Ｌxを得ることができる。

ＣＰＵ３０は、左上マーカー１８ｃの図形に基づいて右上マーカー１８ａの方向を推定し、算出した距離Ｌxに基づいて位置を推定する（図１０の破線参照）。上記度同様にして、右下マーカー１８ｂの位置も推定する。

以上のようにして、４つのマーカー１８ａ、１８ｂ、１８ｃ、１８ｄの位置を決定し、これに基づいて修正画像を得ることができる。

なお、形状ではなく、色によってマーカーを区別するようにしてもよい。

(7)上記実施形態では、修正画像を得ることができた場合にはこれを記録し、修正画像を得ることができなかった場合には、直近の修正画像を代替画像として記録するようにしている。

なお、修正画像を得ることができた場合であっても、所定の領域全体を画像として記録できない場合がある。たとえば、図１１に示すような画像である場合には、マーカーが３つ検出できており、修正画像を生成することができる。ただし、画像の右上部分８０が欠落した修正画像となってしまう。

欠落部分８０をそのまま記録することもできる。しかし、図１３に示すように、欠落部分８０についてのみ、直近の画像を代替画像として用いるようにしてもよい。また、この際、代替画像であることを示すため、欠落部分８０の色を変えるようにしてもよい。

さらに、図１０に示すような画像に対しても、上記のように、一部のみを代替画像として記録するようにしてもよい。

(8)上記実施形態では、マーカーに基づいて画像を修正し修正画像を得ている。しかし、マーカーに加えて、カメラに取り付けたジャイロセンサ、加速度計などの出力に基づいて補正を行うようにしてもよい。たとえば、カメラの直交するＸ軸、Ｙ軸、Ｚ軸方向の回転を検出するジャイロセンサを設け、カメラがどのように移動したかを検出するようにしてもよい。たとえば、図１０のように３つ未満のマーカーしか検出できなくなったときに、最後にマーカーを３つ以上検出できたときのカメラの位置を基準として、ジャイロセンサによってカメラの移動を検出する。このカメラの視点移動に基づいて、画像を修正することができる。加速度計を用いる場合には、Ｘ軸、Ｙ軸、Ｚ軸方向への移動を検出することで、同様の処理を行うことができる。

(9)また、内視鏡手術などにおいては、マーカーを体内に設置することで、同様の画像安定処理を行うことができる。体内へのマーカー設置方法としては、マーカーを付した器具を体内に置く等すればよい。

(10)また、マーカー１８と記録画像（表示画像）との関係を、初期的に設定するようにしてもよい。図１４に、ディスプレイ３４に表示された初期設定画面を示す。この図では、マーカー１８の内側に画像記録領域を示す線７０が表示されている。この設定では、画像記録領域内の画像が記録されることになる。

また、ユーザは、マウス（図示せず）等の操作によっ、この画像記録流域を自由に移動させることができる。このようにして、画像記録領域を設定することができる。

(11)上記実施形態では、修正画像をハードディスク３６に記録するようにしている。しかし、これに代えて、あるいは加えて、ディスプレイ３４において表示するようにしてもよい。

Claims

患者の術部を動画撮像するため、術者の視線方向と同様の動きをするように術者に取り付けられた動画撮像部と、
患者の術部近傍に設けられたマーカーと、
動画撮像部によって撮像した動画のブレを、撮像された前記マーカーによって補正する補正手段と、
補正手段によってブレの補正された動画を出力する出力手段と、
を備えた術部撮像装置。
コンピュータによって術部撮像装置を実現するためのプログラムであって、コンピュータを、
術者の視線方向と同様の動きをするように術者に取り付けられた動画撮像部によって撮像した患者の術部を含む動画を記録部に記録する記録手段と、
前記動画撮像部によって撮像した動画のブレを、患者の術部近傍に設けられたマーカーの撮像画像よって補正する補正手段と、
補正手段によってブレの補正された動画を出力する出力手段と、
して機能させるための術部撮像プログラム。
請求項１の術部撮像装置または請求項２の術部撮像プログラムにおいて、
前記動画撮像部は、撮像部固定具によって、術者の額部に固定されていることを特徴とする装置またはプログラム。
請求項１〜３のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記マーカーは、覆布の開口部近傍に設けられていることを特徴とする装置またはプログラム。
請求項１〜３のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記マーカーは、開創器に設けられていることを特徴とする装置またはプログラム。
請求項１〜５のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記補正手段による補正が適切に行えない場合、前記出力手段は、当該補正を適切に行えない期間、当該期間の前の補正を適切に行えた際の画像を出力することを特徴とする装置またはプログラム。
請求項６の術部撮像装置または術部撮像プログラムにおいて、
前記出力手段は、補正を適切に行えない期間と補正を適切に行えた期間とで、画像の色を変えることを特徴とする装置またはプログラム。
請求項１〜７のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記補正手段による補正が適切に行えない部分がある場合、前記出力手段は、当該補正が適切に行えない部分については、当該期間の前の補正を適切に行えた際の画像を出力し、当該補正が適切に行えた部分については、補正された動画を出力することを特徴とする装置またはプログラム。
請求項８の術部撮像装置または術部撮像プログラムにおいて、
前記出力手段は、補正を適正に行えない部分と補正を適切に行えた部分とで、画像の色を変えることを特徴とする装置またはプログラム。
請求項１〜９のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記動画撮像部に取り付けられた移動検出手段をさらに設け、
前記補正手段は、マーカーによる補正が困難な場合、移動検出手段によって検出された撮像部の位置変化に基づいて、補正を行うことを特徴とする装置またはプログラム。
請求項１〜１０のいずれかの術部撮像装置または術部撮像プログラムにおいて、
前記出力手段は、処理後の動画を記録部に記録するか、表示部に表示するか、あるいはその双方を行うよう構成されていることを特徴とする装置またはプログラム。
手術のための開口を有する覆布であって、
当該開口の周縁部にマーカーを有することを特徴とする覆布。