JP2012110490A

JP2012110490A - 内視鏡装置

Info

Publication number: JP2012110490A
Application number: JP2010261617A
Authority: JP
Inventors: Hidehiro Miyayashiki; 英弘宮屋敷
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-11-24
Filing date: 2010-11-24
Publication date: 2012-06-14

Abstract

【課題】重力方向の鉛直(真下)又は垂直(真上)を示すインジケータをそれ以外の方向のインジケータと明確に識別して表示可能な内視鏡装置を提供することである。
【解決手段】内視鏡装置２０は、内視鏡挿入部の先端部５に設けられた撮像素子による撮像信号に画像処理をし、内視鏡画像を生成する画像処理部８と、先端部の重力方向の情報を検出する重力方向検出部７と、重力方向検出部によって検出された重力方向の情報の信号に所定の信号処理をし、重力情報を生成する重力信号処理部９と、重力情報に基づいて、重力方向を示すインジケータを生成するグラフィック生成部１０と、画像処理部で生成された内視鏡画像とグラフィック生成部で生成されたインジケータとを合成し、表示装置３に出力する画像合成部１１と、を具備し、グラフィック生成部１０は、重力方向に応じて重力方向を示す前記インジケータの表示形態を変更する?
【選択図】図１

Description

本発明は、映像と共に重力方向を示す情報を画面上に表示する内視鏡装置に関する。

一般に、内視鏡画像と共に重力方向を示す情報を表示装置の画面上に表示する内視鏡装置が開発されている。このような重力方向の表示は、内視鏡挿入部の先端部(以下、内視鏡先端部又は単に先端部と記す)に配設された撮像部の撮像面を回転させるときの基準を与える。内視鏡の映像表示では、重力方向のうちでも鉛直(真下)又は垂直(真上)方向を基準とするものが開示されている(例えば特開２００７−２７５２５７号公報参照)。

映像と共に重力方向に関する情報を画面上に表示する内視鏡装置において、従来は、映像表示領域の縁に常に重力方向の下を示すインジケータを表示したり、表示画面の一部（例えば右下）に重力方向を示すインジケータを表示したりする。

いずれの重力方向表示においても、内視鏡先端部の重力方向が観察面(撮像面)に対して直交する方向になったときに、先端部が鉛直(真下)を向いているのか、垂直(真上)を向いているのかの区別をインジケータで表現しにくい。

また、近年、内視鏡のシステム小型化に伴い、ＬＣＤなどの表示デバイスの大きさが小さくなる傾向にあるが、従来のシステムでは、インジケータの表示に対して表示デバイスの大きさを考慮していない。

特開２００７−２７５２５７号公報

上述の特開２００７−２７５２５７号公報には、重力方向の鉛直(真下)又は垂直(真上)を示すインジケータをそれ以外の方向のインジケータと明確に識別できる表示形態については具体的に示されていなく、術者にとって内視鏡先端部を操作する上で不便である。

また、小さい表示デバイス上で、従来と同じ大きさのインジケータを表示するのでは、ユーザにとって最も重要な映像表示を邪魔しかねない。そのためインジケータのサイズを小さくした場合には、視認性が悪くなり、素早く重力方向を判断できないという問題がある。

本発明は上記の問題に鑑み、重力方向の例えば鉛直(真下)又は垂直(真上)方向を示すインジケータをそれ以外の方向のインジケータと明確に識別して表示することができる内視鏡装置を提供することを目的とするものである。

本発明による内視鏡装置は、内視鏡挿入部の先端部に設けられた撮像素子により撮像された撮像信号に画像処理を施し、内視鏡画像を生成する画像処理部と、
前記先端部の重力方向に関する情報を検出する重力方向検出部と、
前記重力方向検出部によって検出された前記重力方向に関する情報の信号に所定の信号処理を施し、重力情報を生成する重力信号処理部と、
前記重力情報に基づいて、重力方向を示すインジケータを生成するグラフィック生成部と、
前記画像処理部で生成された内視鏡画像と前記グラフィック生成部で生成されたインジケータとを合成し、表示装置に合成した画像情報を出力する画像合成部と、を具備し、
前記グラフィック生成部は、前記重力方向に応じて該重力方向を示す前記インジケータの表示形態を変更することを特徴とする。

本発明によれば、映像と共に重力方向を示す情報を画面上に表示する場合に、重力方向の例えば鉛直(真下)又は垂直(真上)方向を示すインジケータをそれ以外の方向を示すインジケータと明確に識別して表示することが可能な内視鏡装置を実現することができる。

本発明の一実施形態の内視鏡装置の構成を示すブロック図。図１における重力方向表示動作のフローチャート。図３乃至図５は、図２の重力方向表示の動作フローで使用される、重力方向表示についての複数種類の表示形態例を示し、図３は第１の表示形態Ａを示す図。第２の表示形態Ｂを示す図。第３の表示形態Ｃを示す図。図２のフローにおけるステップＳ8での重畳表示設定の有無の判定に基づくステップＳ9又はステップＳ10での表示動作を説明する図。

以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明の一実施形態の内視鏡装置の構成を示すブロック図である。
図１において、内視鏡装置２０は、挿入部１と、本体部２と、表示装置３と、操作部４と、記録媒体１４とを備えて構成されている。

挿入部１は、体腔内に挿入可能な長尺の筒状体で構成され、先端部５と、重力方向検出部７と、を備えている。
先端部５は、被写体像を光電変換し撮像信号を生成するＣＣＤ等の撮像素子６を備える。本体部２は、画像処理部８と、重力信号処理部９と、グラフィック生成部１０と、画像合成部１１と、記録媒体読み書き部１２と、メイン制御部１３とを備えている。

画像処理部８には、挿入部１の先端部５に内蔵されている撮像素子６から出力された撮像信号が入力される。画像処理部８は、この撮像信号に対し、例えば、ガンマ補正処理、エッジ強調処理及びデジタルズーム処理等の画像処理を施し、内視鏡画像を生成する。画像処理部８は、この生成した内視鏡画像を画像合成部１１に供給する。

また、挿入部１は、先端部５の基端付近に、先端部５の重力方向に関する情報を検出する重力方向検出部７を備える。
重力方向検出部７は、例えば、３軸加速度センサーを用いた重力センサであり、検出した先端部５の重力方向に関する情報に応じた信号、即ち、先端部５の重力方向に関する情報信号を本体部２の重力信号処理部９に出力する。なお、３軸加速度センサーは、ｘ軸、ｙ軸、ｚ軸の各検出軸を互いに直交させた形の３つのセンサーを用いることによって、３次元空間内における加速度の大きさと向きを得、それらをベクトル成分として合成して重力加速度がかかっている向きと大きさを検出できるようになっている。

重力信号処理部９には、重力方向検出部７から出力された先端部５の重力方向に関する情報信号が入力される。重力信号処理部９は、この情報信号に関し、例えば鉛直(真下)方向又は垂直(真上)方向からの傾斜角度等を表す重力情報に変換し、変換した重力情報をメイン制御部１３に供給する。

この重力情報は、メイン制御部１３からグラフィック生成部１０に供給される。グラフィック生成部１０は、メイン制御部１３から供給された重力情報に基づいて、重力方向を示すインジケータを生成し、生成したインジケータを画像合成部１１に供給する。このインジケータは、動画像に合成されて記録される。
グラフィック生成部１０は、重力方向に応じて、方向を変えたインジケータを生成する一方、重力方向が所定の方向(例えば、鉛直(真下)方向又は垂直(真上)方向)を示すインジケータについては表示形態を変更させることにより、それ以外の他の方向のときよりもその所定の方向のインジケータを強調して表示できるようにする。例えば、鉛直(真下)方向又は垂直(真上)方向の重力方向を示すインジケータについては、インジケータの色を他方向の色とは異なった色に変更したり或いはインジケータの形状自体を他方向の形状とは異なった形状に変更する。

画像合成部１１は、画像処理部８から供給された内視鏡画像と、グラフィック生成部１０から供給されたインジケータとを１枚の映像データとして合成し、合成した合成画像を表示装置３に出力する。これにより、表示装置３に合成画像が表示される。

また、この画像合成部１１は、メイン制御部１３による制御に応じて、内視鏡画像を表示装置３に単独で表示するための処理を行うことも可能である。そのため、表示装置３には、内視鏡画像、あるいは内視鏡画像とインジケータとの合成画像等が表示される。

記録媒体読み書き部１２は、例えば、フラッシュメモリカード等の記録媒体１４が着脱自在に接続されるようになっている。記録媒体読み書き部１２に記録媒体１４が装着された状態において、検査者が操作部４を操作して記録操作を指示すると、記録媒体読み書き部１２は、メイン制御部１３からの制御に従って、画像合成部１１に供給される内視鏡画像のデータ及び重力情報のデータを読み出し、記録媒体１４に供給して記録する。このような記録処理において、記録媒体読み書き部１２は、内視鏡画像のデータ及び重力情報のデータを１つの動画ファイル、例えば、Motion JPEG形式のＡＶＩファイルとして記録媒体１４に記録する。

また、記録媒体読み書き部１２は、メイン制御部１３による制御に従って、記録媒体１４に記録されている内視鏡画像のデータ及び重力情報のデータを読み出すことができる。このとき、記録媒体読み書き部１２は、内視鏡画像のデータを画像合成部１１に供給し、重力情報のデータをメイン制御部１３に供給する。メイン制御部１３に供給された重力情報のデータは、グラフィック生成部１０に供給され、重力方向を示すインジケータが生成される。この重力方向を示すインジケータは、画像合成部１１に供給される。画像合成部１１は、内視鏡画像のデータとインジケータのデータとを合成した合成画像を生成する。これにより、表示装置３に合成画像が表示される。

操作部４には、先端部５の湾曲操作及び上述した記録媒体１４への記録操作等を行うための図示しない操作スイッチ等が設けられており、検査者は、操作部４の操作スイッチを操作し、湾曲操作及び記録操作等の所望の操作を行う。操作部４は、検査者の操作に応じた操作信号をメイン制御部１３に供給する。
メイン制御部１３は、操作部４からの操作信号に応じた処理を行うように各回路部等を制御し、内視鏡装置２０全体の動作制御を行う。

次に、図２を参照して重力方向表示動作を説明する。
図２は図１における重力方向表示動作のフローチャートを示している。
重力方向表示の動作処理が開始されると、まず、重力センサで構成される重力方向検出部７は、重力方向の変化の有無を判定する(ステップＳ1)。ただし、重力センサが重力方向の変化有りを検出するためには、センサ感度のしきい値を超える重力方向変化のレベルであることが必要である。従って、重力方向検出部７のしきい値は使用する重力センサの感度に応じて設定する必要がある。

ステップＳ1で重力方向検出部７が重力方向の変化有りを検出すると、その変化量から重力方向(角度)を検出し、その角度をメイン制御部１３内のメモリ(図示略)にセットし(ステップＳ2)、次のステップＳ4に進む。ステップＳ1で、重力方向の変化有りを検出しない場合はステップＳ3に進み、ユーザーの操作が有るか否かの判定を行う(ステップＳ3)。

ステップＳ3で操作有りを判定すると、次のステップＳ4に進み、またステップＳ3で操作有りを判定しないときは、重力方向表示の動作処理は終了する。ただし、この動作処理を行っているときには、図示していないが、動作処理終了に至る前に連続的又は間欠的に最初のステップＳ1にリターンしステップＳ1から再度動作開始することになる。

ステップＳ4では、重力方向の表示設定がオンしているか否かを確認する。ステップＳ4でオンしているならば、ステップＳ2でセットされている重力方向が真上(垂直)又は真下(鉛直)かを判定する(ステップＳ5)。ステップＳ4で表示設定がオンしていなければ、動作処理を終了する。

そして、ステップＳ5で重力方向が真上(垂直)又は真下(鉛直)であれば、真上(垂直)又は真下(鉛直)を強調した重力方向を示すインジケータ(以下、重力方向GUIと記すことがある)の矢印(例えば色を変えた矢印)又は矢印とは異なった形状の表示形態(マーク)を作成して表示する(ステップＳ6)。ステップＳ5で重力方向が真上(垂直)又は真下(鉛直)でなかったならば、通常の重力方向GUIの矢印を作成する(ステップＳ7)。

ステップＳ6又はＳ7で重力方向GUIの矢印等を作成した後、重力方向GUIの矢印等を内視鏡画像に対して重畳表示をする設定になっているか否かを確認する(ステップＳ8)。
ステップＳ8で重畳表示が設定されていれば、内視鏡画像に重力方向GUIの矢印等を画面上に重畳表示し(ステップＳ9)、重畳表示が設定されていなければ重力方向GUIの矢印等のみを画面上に表示する(ステップＳ10)。

そして、予め設定されている表示時間が経過したか否かを判定し(ステップＳ11)、経過していなければ表示時間が経過するのを待ち、経過していれば、動作処理を終了する。

図３乃至図５は、図２の重力方向表示の動作フローで使用される、重力方向表示についての複数(ここでは３つ)種類の表示形態例を示すものである。表示形態Ａ，Ｂの例は、重力方向を表示するためのインジケータの矢印を立体表示する。即ち、重力方向を示すインジケータの矢印をｘ軸、ｙ軸、ｚ軸の３軸を用いた３次元空間に立体的に表示する。

図３は第１の表示形態Ａであり、３軸の表示付きのパターンを示している。３次元空間を表すためのｘ軸、ｙ軸、ｚ軸は内視鏡先端部の体腔内への挿入方向(挿入軸方向)をｚ軸、この挿入軸であるｚ軸に垂直なｘ-ｙ平面(ｘ軸とｙ軸とで形成される平面)は先端部に配設されている撮像素子の撮像面(横縦面又は縦横面)に対応(相当)するものである。ここで、ｚ軸の矢頭の方向を鉛直(真下)方向に対応させ、ｘ−ｙ平面を水平面に対応させる。

図３で示されている立体表示のインジケータの矢印の向きに関しては、内視鏡先端部が体腔内等に挿入された際の先端部の実際の状況(向き)は、代表的なものとして図３に示す６つのパターンＡ-1〜Ａ-6 を示してある。

パターンＡ-1 は内視鏡先端部の重力方向が鉛直(真下)以外の方向であることを表し、パターンＡ-2 は垂直(真上)以外の方向であることを表し、パターンＡ-3 は画面上下方向であることを表し、パターンＡ-4 は画面左右方向であることを表し、パターンＡ-5 は鉛直(真下)方向であることを表し、パターンＡ-6 は垂直(真上)方向であることを表している。

ここで、パターンＡ-5 の鉛直(真下)方向を表すインジケータの矢印と、パターンＡ-6 の垂直(真上)方向を表すインジケータの矢印とは、重力方向がｚ軸方向(真下)又はその逆方向(真上)に一致した場合を示しているので、インジケータの矢印の色を例えば赤色に変えるなどして強調表示(図で梨地にて示す)することにより、内視鏡先端部が真下或いは真上の方向を向いていることを操作者或いは術者に明確にかつ分かり易く示すことができる。

図４は第２の表示形態Ｂであり、図３の重力方向表示から３軸表示を取り去ったパターンを示している。
図４で示されている立体表示のインジケータの矢印の向きに関しては、内視鏡先端部が体腔内等に挿入された際の先端部の実際の状況(向き)は、代表的なものとして図４に示す６つのパターンＢ-1〜Ｂ-6 を示してある。図３から３軸の表示を取り去ったものとなっている。

パターンＢ-1 は内視鏡先端部の重力方向が鉛直(真下)以外の方向であることを表し、パターンＢ-2 は垂直(真上)以外の方向であることを表し、パターンＢ-3 は画面上下方向であることを表し、パターンＢ-4 は画面左右方向であることを表し、パターンＢ-5 は鉛直(真下)方向であることを表し、パターンＢ-6 は垂直(真上)方向であることを表している。

３軸表示を取り去った重力方向表示であっても、パターンＢ-5 の鉛直(真下)方向を表すインジケータの矢印と、パターンＢ-6 の垂直(真上)方向を表すインジケータの矢印とは、例えば赤色に強調表示(図で梨地にて示す)されているので、内視鏡先端部が真下或いは真上の方向を向いていることを操作者或いは術者に明確にかつ分かり易く示すことができる。

図５は第３の表示形態Ｃであり、内視鏡先端部の重力方向がｘ軸、ｙ軸、ｚ軸の３軸のいずれかの軸方向に一致している場合の重力方向表示のパターンを示している。
図５で示されている重力方向表示のインジケータの矢印の向きに関しては、内視鏡先端部が体腔内等に挿入された際の先端部の実際の状況(向き)は、代表的なものとして図５に示す４つのパターンＣ-1〜Ｃ-4 を示してある。

表示形態ＣのパターンＣ-1は重力方向が鉛直(真下)方向であることを示すものであって、重力方向を示すインジケータが平面的なマーク◎で表してある。
表示形態ＣのパターンＣ-2は重力方向が垂直(真上)方向であることを示すものであって、重力方向を示すインジケータが○と・とを組合せた平面的なマークで表してある。

表示形態ＣのパターンＣ-3は重力方向が画面上下方向であることを示すものであって、表示形態ＡのパターンＡ-3または表示形態ＢのパターンＢ-3と同じマークで表してある。

表示形態ＣのパターンＣ-4は重力方向が画面左右方向であることを示すものであって、表示形態ＡのパターンＡ-4または表示形態ＢのパターンＢ-4と同じマークで表してある。

第３の表示形態Ｃは、鉛直(真下)以外の方向及び垂直(真上)以外の方向の表示パターンを除外してあり、重力方向が鉛直(真下)方向、垂直(真上)方向、画面上下方向及び画面左右方向の４つの方向に一致したのみにこれら４つのパターンのいずれかを画面上に表示するものである。いずれの表示パターンも、３次元的な立体表示ではなく、２次元の平面的な表示となっている。

なお、上述した表示形態Ａ，Ｂ，Ｃのそれぞれの形態に含まれるパターンを種々組み合わせて新たな表示形態のグループとして設けることも可能である。例えば、表示形態ＡにおけるパターンＡ-5及びＡ-6を、表示形態ＣのパターンＣ-1及びＣ-2と置き替えて新たな表示形態Ａ’を作成してもよいし、或いは、表示形態ＢにおけるパターンＢ-5及びＢ-6を、表示形態ＣのパターンＣ-1及びＣ-2と置き替えて新たな表示形態Ｂ’を作成してもよい。

表示形態Ａ，Ｂでは、パターンＡ-5及びＡ-6、パターンＢ-5及びＢ-6を色を変えることにより、強調表示しているが、新たな表示形態Ａ’及びＢ’を用いれば、鉛直(真下)方向及び垂直(真上)方向については表示形態のパターンが鉛直方向以外又は垂直方向以外の重力方向のときとは大きく異なった形状の表示形態に変更されるので、ユーザーは内視鏡先端部の重力方向が鉛直(真下)方向又は垂直(真上)方向に一致したことをより明確に識別することが可能となる。

すなわち、表示形態ＡのパターンＡ-5又はＡ-6は、重力方向が鉛直(真下)方向又は垂直(真上)方向に一致したときに表示形態ＣのパターンＣ-1又はＣ-2に表示が切り替わるように構成してもよい。同様に、表示形態ＢのパターンＢ-5又はＢ-6は、重力方向が鉛直(真下)方向又は垂直(真上)方向に一致したときに表示形態ＣのパターンＣ-1又はＣ-2に表示が切り替わるように構成してもよい。

図６は、図２のフローにおけるステップＳ8での重畳表示設定の有無の判定に基づくステップＳ9又はステップＳ10での表示動作を説明する図である。
図２のフローにおいて、ステップＳ8で重畳表示が設定されていれば、表示装置３に内視鏡画像が表示されている状態(符号６-1に示す状態)から、内視鏡画像に重力方向GUIの矢印等(例えば図３〜図５のいずれかに示した表示形態のインジケータ)を重畳して表示する(符号６-2に示す状態)。また、内視鏡装置に重畳表示が設定されていなければ、重力方向GUIの矢印等のみを単独で表示画面上に表示する(符号６-3に示す状態)。

映像表示に重力方向表示を重畳して表示する重畳表示のオン／オフ(設定又は非設定)は、ユーザの操作に基づいて映像表示のみの画面と重畳表示の画面とを切り替えて表示する構成としてもよいし、或いは、映像表示のみの画面と重畳表示の画面との切り替えを、重力方向の変化が発生したことに基づいて行う構成としてもよい。

なお、上記の実施形態では、表示画面上で内視鏡画像に内視鏡先端部の重力方向を示すインジケータを合成表示する方法として、重畳表示する場合について説明したが、表示画面の領域を２分割し、第１の表示領域には画像処理部で生成された内視鏡画像を表示し、第２の表示領域には重力方向を示すインジケータを表示する２画像並行表示を行う構成としてもよい。映像表示のみの画面と２画像並行表示の画面との切り替えについても、ユーザ操作のタイミングに基づいて行ってもよいし或いは重力方向の変化が発生したタイミングに基づいて行ってもよい。

以上述べた本発明の実施形態によれば、映像と共に重力方向を示す情報を画面上に表示する場合に、重力方向の鉛直(真下)又は垂直(真上)を示すインジケータをそれ以外の方向を示すインジケータと明確に識別して表示することが可能となる。
また、重力方向を示すインジケータを内視鏡画像上に重畳する重畳表示等への表示切り替えをすることによって、小さい表示デバイス上であっても、映像表示を邪魔せず、さらに、インジケータサイズも大きく表示できるので、ユーザーは視認性が悪くなることはなく、素早く重力方向を判断することができる。

１…挿入部、２…本体部、３…表示装置、４…操作部、５…先端部、６…撮像素子、７…重力方向検出部、８…画像処理部、９…重力信号処理部、１０…グラフィック生成部、１１…画像合成部。

Claims

内視鏡挿入部の先端部に設けられた撮像素子により撮像された撮像信号に画像処理を施し、内視鏡画像を生成する画像処理部と、
前記先端部の重力方向に関する情報を検出する重力方向検出部と、
前記重力方向検出部によって検出された前記重力方向に関する情報の信号に所定の信号処理を施し、重力情報を生成する重力信号処理部と、
前記重力情報に基づいて、重力方向を示すインジケータを生成するグラフィック生成部と、
前記画像処理部で生成された内視鏡画像と前記グラフィック生成部で生成されたインジケータとを合成し、表示装置に合成した画像情報を出力する画像合成部と、を具備し、
前記グラフィック生成部は、前記重力方向に応じて該重力方向を示す前記インジケータの表示形態を変更することを特徴とする内視鏡装置。
前記グラフィック生成部は、前記重力方向が鉛直方向又は垂直方向となったときに、前記重力方向を示す前記インジケータの表示形態を鉛直方向以外又は垂直方向以外の重力方向のときとは異なった表示形態に変更することを特徴とする請求項１に記載の内視鏡装置。
前記重力情報は、鉛直方向又は垂直方向に対する傾斜角度を含む情報であることを特徴とする請求項１又は２に記載の内視鏡装置。
前記画像合成部は、前記画像処理部で生成された内視鏡画像に前記重力方向を示す前記インジケータを重畳して表示することを特徴とする請求項１乃至３のいずれか１つに記載の内視鏡装置。
前記画像合成部は、前記画像処理部で生成された内視鏡画像と前記重力方向を示す前記インジケータをユーザの操作により切り替えて表示させることを特徴とする請求項１乃至３のいずれか１つに記載の内視鏡装置。
前記画像合成部は、前記画像処理部で生成された内視鏡画像と前記重力方向を示す前記インジケータを重力方向の変化が発生したことに基づき切り替えて表示することを特徴とする請求項１乃至３のいずれか１つに記載の内視鏡装置。
前記画像合成部は、表示画面の領域を２分割し、第１の表示領域には前記画像処理部で生成された内視鏡画像を表示し、第２の表示領域には前記重力方向を示す前記インジケータを表示することを特徴とする請求項１乃至３のいずれか１つに記載の内視鏡装置。
前記重力方向を示す前記インジケータをｘ軸、ｙ軸、ｚ軸の３軸による３次元空間に立体的に表示することを特徴とする請求項１乃至７のいずれか１つに記載の内視鏡装置。