JP2005013409A - 内視鏡装置または内視鏡システム - Google Patents
内視鏡装置または内視鏡システム Download PDFInfo
- Publication number
- JP2005013409A JP2005013409A JP2003181112A JP2003181112A JP2005013409A JP 2005013409 A JP2005013409 A JP 2005013409A JP 2003181112 A JP2003181112 A JP 2003181112A JP 2003181112 A JP2003181112 A JP 2003181112A JP 2005013409 A JP2005013409 A JP 2005013409A
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- information
- description language
- file
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】過去の患者情報を容易に閲覧可能であり、かつ拡張性に優れた内視鏡装置を提供する。
【解決手段】内視鏡撮像手段30で撮像された内視鏡映像は、映像処理手段31において処理され、オーバレイ手段32に送られる。また、記憶手段35あるいは、通信手段36を介して接続された外部装置から得られた患者の情報等は、ハイパーテキスト取得手段34において取得され、ハイパーテキスト解読手段により解読される。画面展開手段38により画面が組み立てられ、オーバレイ制御手段39がオーバレイ手段32を制御して、内視鏡映像と、患者等の情報の表示を画面上で重ね合わせて表示する。重ね合わせの際に、上になる表示を半透明とすると、下の画像などを見ながら上の情報も診ることができる。
【選択図】 図3
【解決手段】内視鏡撮像手段30で撮像された内視鏡映像は、映像処理手段31において処理され、オーバレイ手段32に送られる。また、記憶手段35あるいは、通信手段36を介して接続された外部装置から得られた患者の情報等は、ハイパーテキスト取得手段34において取得され、ハイパーテキスト解読手段により解読される。画面展開手段38により画面が組み立てられ、オーバレイ制御手段39がオーバレイ手段32を制御して、内視鏡映像と、患者等の情報の表示を画面上で重ね合わせて表示する。重ね合わせの際に、上になる表示を半透明とすると、下の画像などを見ながら上の情報も診ることができる。
【選択図】 図3
Description
【0001】
【発明の属する技術分野】
本発明は、ハイパーテキスト形式による情報表示および記録機能を備えた内視鏡装置または内視鏡システムに関する。
【0002】
【従来の技術】
近年、電荷結合素子(CCD)等の撮像素子を用いた内視鏡装置について種々の提案がある。
この内視鏡装置は、細長の挿入部内に被写体を撮像するための撮像素子および照明光学系を設けた内視鏡本体と、前記固体撮像素子に駆動信号を供給すると共に、前記固体撮像素子からの撮像信号を取り込み、映像信号を処理するビデオプロセッサ部と、前記内視鏡本体の照明光学系を介して被写体を照明するための光源部とを備え、このビデオプロセッサ部からの映像信号をモニターに表示させるようにしたものである。
【0003】
また、被写体から得られた映像、および患者名など映像に関連する情報を記録するためのファイリング装置、印刷装置なども種々提案されており、これらと内視鏡装置を組み合わせた内視鏡システムとして普及している。
図1は、従来の内視鏡システムの一例を示す図である。
【0004】
このシステム1は、内視鏡本体4、ビデオプロセッサ6、光源装置5、モニター7、キーボード9からなる内視鏡装置と、ビデオプリンター8、ファイリング装置10から構成されている。
図2は、図1の内視鏡システムの内部構成を示す図である。
【0005】
図2において、光源装置20のランプ20−1により発せられた光は、ファイバーバンドルにより構成された内視鏡本体21のライトガイド21−1および先端部の照明用レンズ21−2を介して体腔内の被写体を照明する。被写体の画像は、内視鏡本体先端部の対物レンズ21−3を介して撮像素子21−4のCCD面上に結像する。CCD21−4は、ビデオプロセッサ22の駆動回路22−1により駆動され、画像信号を発生する。この画像信号は、内視鏡先端部のアンプ21−5により増幅された後、ビデオプロセッサ22へと導かれる。
【0006】
ビデオプロセッサ22では、CCD21−4から得られた画像信号をA/D変換回路22−2によりデジタル信号に変換し、前段映像処理回路22−3により、色分離などの前段映像処理を行った後、アイソレーション回路22−4により絶縁した上で後段の映像処理回路22−5へと送る。後段映像処理回路22−5では、γ変換、輪郭強調や拡大縮小などの映像処理を行い、さらにCPU回路22−6からの文字情報を重畳して出力する。出力信号はD/A変換回路22−7によりアナログ化される。
【0007】
画素数など駆動条件の異なる複数のCCDを駆動するため、内視鏡本体内にはメモリー素子などを用いたCCDの識別情報21−6があり、これにより駆動条件や後段映像処理の処理パラメータを変更している。
被写体の照明状態を最適に保つため、光源装置20内には絞り羽根等による調光器20−3が設けられており、ビデオプロセッサ22内の調光制御回路22−30および光源装置20内の調光制御回路20−2により照明光の強度が調整される。
【0008】
ビデオプロセッサ22には、ビデオプリンタ23や画像ファイル装置24などと接続するためのコネクタ22−9が設けられており、内視鏡画像はセレクタ22−8により外部からの映像入力と切り替えた後に観察モニター25へと出力される。
【0009】
CPU回路22−6はビデオプロセッサ22内部の制御および外部機器との通信を行う。ユーザーはキーボード26からデータ入力を行うことにより、患者名などの情報を内視鏡画像に付加することが出来る。また、画像ファイル装置24やビデオプリンタ23など外部機器と通信を行い、画像およびデータをこれらの機器で記録することが出来る。記録の指示は、内視鏡本体21に設けられたスイッチ21−7またはキーボード26により行われる。
【0010】
ビデオプロセッサ22からの映像信号を受信するため、画像ファイル装置24のコンピュータにはビデオ入出力ボード27が備えられている。
特許文献1には、内視鏡システムにおいて、内視鏡装置の映像と画像ファイル装置からの映像を、必要に応じて切り替えて表示する技術が開示されている。
【0011】
【特許文献1】
特許第2598560号公報
【0012】
【発明が解決しようとする課題】
以上述べた従来の内視鏡システムにおいて、画像ファイル装置に保存された過去の患者情報は通常画像ファイル装置のモニターで閲覧可能であるが、これを内視鏡装置の観察モニターでも見たいというニーズがある。
【0013】
ところが、内視鏡装置の観察モニターは通常NTSC方式などの所謂テレビモニターであり、画像ファイルのコンピュータ用モニターとは解像度など信号形式が異なる。このため、画像ファイル装置にテレビモニター用の映像出力を設け、さらに、内視鏡装置には画像の入出力端子および選択回路を設ける必要があった。
【0014】
また、患者の検索など、モニターに表示する情報の選択を内視鏡装置から行うために、画像ファイルと内視鏡装置で通信を行い、内視鏡装置のキーボードから入力された情報を画像ファイルに転送する必要があった。この通信は従来RS−232Cなどのシリアル通信上に専用のプロトコルを構築することにより行われていたが、これは1対1接続であるため、複数の内視鏡装置が存在する場合には画像ファイルを複数用意するか、1台の画像ファイルに複数の通信用端子を設ける必要があった。
【0015】
これらは、内視鏡システムのコストアップの要因となっていた。また、専用プロトコルを使用することにより、製品をバージョンアップする場合に互換性を保つのが困難であり、拡張性の点でも問題があった。
また、近年NTSC/PALに代表されるテレビ信号の他に、HDTVやXGA/SXGAなど種々の映像フォーマットが存在している。内視鏡装置においてこれらの映像フォーマットに対応するためには、それらフォーマット毎に専用の制御プログラムを用意する必要があり、プログラム容量の増大を招いていた。
【0016】
本発明は、以上の問題点に鑑みてなされたもので、過去の患者情報を容易に閲覧可能であり、かつ拡張性に優れた内視鏡装置を提供することを目的とする。
本発明の別の目的は、画像ファイル装置のビデオ入出力ボードを不要とすることにより、コストダウンを実現することである。
【0017】
本発明の別の目的は、種々の映像フォーマットの出力に容易に対応可能な内視鏡装置を提供することである。
【0018】
【課題を解決するための手段】
本発明の請求項1の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、制御手段とを有し、該制御手段は、ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、該記述言語ファイルを解読する解読手段と、解読した記述言語を画面表示可能な形式に展開する展開手段と、展開された記述言語を表示する表示制御手段とを備えることを特徴とする。
【0019】
本発明の請求項2の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該映像処理手段の出力信号に対し画像または文字情報を重畳するオーバレイ手段と、少なくとも該オーバレイ手段を制御する制御手段とを有し、該制御手段は、ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、該記述言語ファイルを解読する解読手段と、解読した記述言語を画面表示可能な形式に展開する展開手段と、該オーバレイ手段を制御して展開された記述言語を表示する表示制御手段とを備えることを特徴とする。
【0020】
本発明の請求項12の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、記憶手段と、少なくとも該情報入力手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段とを備えることを特徴とする。
【0021】
本発明の請求項14の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、ネットワークに接続するための接続手段と、少なくとも該情報入力手段および該接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成しネットワーク上の記憶領域に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成しネットワーク上の記憶領域に格納する手段とを備えることを特徴とする。
【0022】
本発明の請求項15の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、ネットワークに接続するための接続手段と、少なくとも該接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成する手段と、ネットワーク上のクライアントに対して該画像ファイルを送信するためのファイルサーバー手段とを備えることを特徴とする。
【0023】
本発明の請求項16の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、ネットワークに接続するための接続手段と、少なくとも該接続手段を制御する制御手段とを有し、該制御手段は、少なくとも該制御手段の内部情報を含むハイパーテキスト形式の記述言語ファイルを生成する手段と、ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段とを備えることを特徴とする。
【0024】
本発明の請求項17の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、記憶手段と、ネットワークに接続するための接続手段と、少なくとも該記憶手段および接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段と、ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段とを備えることを特徴とする。
【0025】
【発明の実施の形態】
図3及び図4は、本発明による内視鏡装置の概念図を示す図である。
図3において、内視鏡撮像手段30および映像処理手段31により得られた内視鏡映像は、オーバレイ手段32に入力される。
【0026】
一方、制御手段33内のハイパーテキスト取得手段34は、記憶手段35から、または外部機器から通信手段36を介してハイパーテキスト情報を取得する。取得されたハイパーテキストからは、ハイパーテキスト解読手段37によって必要なデータが取り出される。このデータは、画面展開手段38により画面表示可能な形式へと展開される。
【0027】
画面に展開されたデータは、オーバレイ制御手段39に入力され、内視鏡映像と重畳するための制御情報に変換されオーバレイ手段32へ送られる。
以上の構成により、ハイパーテキスト情報が内視鏡映像と重畳され、観察モニタへ出力される。
【0028】
図4において、内視鏡撮像手段30および映像処理手段31により得られた内視鏡映像は、制御手段33内の画像ファイル生成手段41に入力され、画像ファイルへと変換され、記憶手段35、または通信手段36を介して外部機器へ記録される。
【0029】
一方、データ入力手段40から、または通信手段36を介して外部機器から入力された情報は、ハイパーテキスト生成手段42によりハイパーテキスト情報に変換され、記憶手段35、または通信手段36を介して外部機器へ記録される。
以上の構成により、画像ファイルとこれに関連する情報を格納したハイパーテキストファイルが記録される。
【0030】
以下、図面を参照して本発明の一実施の形態について説明する。
図5は、本発明の第1の実施形態における内視鏡装置のビデオプロセッサ部分の内部構成および外部機器との接続を示す図である。
なお、図5において、ビデオプロセッサ以外の内視鏡本体、光源装置、およびプロセッサの内アイソレーション回路より前段(すなわち内視鏡本体寄りの回路で、患者回路と称する)の部分については、従来の内視鏡装置である図2と同様であるため、記載を省略してある。
【0031】
本実施形態のビデオプロセッサ22には、従来の解像度即ちSDTV(Standard Definition TV)方式の観察モニター50と、高解像度即ちHDTV(High Definition TV)方式の2種類の観察モニター51が接続される。
患者回路からアイソレーション回路22−4を介して伝送された内視鏡映像信号は、後段映像処理回路22−5にてγ変換などの処理が行われる。その後、HDTV用およびSDTV用それぞれの映像処理回路22−31、22−32及び表示制御回路22−21、22−22に分配される。映像処理回路22−31、22−32では、輪郭強調などの処理が行われる。表示制御回路は後述するが、ここでは2種類の観察モニター毎に適した表示を行うための処理が行われ、D/A変換回路22−10にてアナログ信号として観察モニター50、51へ出力される。
【0032】
外部機器の映像を入力するための端子はA/D変換回路22−11に接続され、ディジタル化されてHDTV/SDTVの各映像処理回路へ入力される。
ビデオプロセッサ22内部の各回路を制御するためのCPU22−6には、プログラムおよびデータを一時記憶するためのRAM22−12、プログラムおよびデータを電源OFF時も保持するフラッシュメモリ22−13、および各回路からの入出力信号を制御するI/Oポート22−14がバス接続される。I/Oポート22−14にはパネル22−15が接続される。パネル22−15には画質調整のスイッチやLEDが設けられており(不図示)、ユーザーからの入力を受け付けたりLED表示を制御する。
【0033】
また、CPUのバスにはPCIバスブリッジ22−15が接続され、CPU22−6のバスを汎用バスであるPCI(Peripheral Component Interconnect)バスに変換する。PCIバス上には、HDTV/SDTV用の各表示制御回路、USB(Universal Serial Bus)ホストコントローラ22−16、Ethernet(登録商標)コントローラ22−17、PCカードコントローラ22−18、およびUART(Universal Asynchronous Receiver/Transmitter)22−19が接続される。USBホストコントローラ22−16は外部のUSB機器を接続するための回路であり、本実施例ではキーボード52およびマウス53の所謂HID(Human Interface Device)が接続される。Ethernet(登録商標)コントローラ22−17は、ビデオプロセッサ22をIEEE802.3規格に定められるネットワークに接続するための回路であり、本実施形態では、ハブ54を介して画像ファイリング装置24および患者モニタリング装置と接続されている。PCカードコントローラ22−18は、ビデオプロセッサ22に設けられたPCカードスロット22−20に接続され、このスロットに着脱されるメモリーカードに対する制御を行う。UART22−19は、外部の機器とシリアル通信を行うための回路であり、図2で示したビデオプリンタ23などの機器と通信するために使用される。
【0034】
図6は、図5における表示制御回路の内部構成を示す図である。
図5では、HDTVおよびSDTV用に2系統の表示制御回路があるが、これらは解像度など画面表示の形式は異なるものの、表示制御回路の構成としてはどちらも同様であるため、図6で代表して示してある。
【0035】
表示制御部60は、2系統の映像入力61、62と1系統の映像出力63、およびCPU回路とのインターフェース64を有する。映像入力は、内視鏡映像と外部入力映像の2種類に対応する。それぞれの映像入力は、キャプチャ部65−1、65−2、リサイズ部66−1、66−2、マスク部67−1、67−2を経てオーバレイ部68に入力される。キャプチャ部65−1、65−2は、入力された映像を記憶し、CPUに送信する。リサイズ部66−1、66−2は、映像信号を拡大および縮小し、観察モニターに適した大きさに変更して出力する。マスク部67−1、67−2は、映像信号の縁部に存在する映像不良部分や、光学系で生ずる暗部などの不要部分を削除する。マスク描画部69は、CPU部に記憶された形状データおよび描画プログラムによりマスク形状を発生しマスク部67−1、67−2に出力する。オーバレイ部68には、2系統の映像信号に加えてグラフィック描画部70が接続される。グラフィック描画部70では、CPUからの制御により、文字や図形などのグラフィックを発生する。オーバレイ部68で2系統の映像信号とグラフィックが重畳処理され、1系統の映像として出力される。これら各部の詳細については公知であるため説明を省略する。
【0036】
内視鏡映像および外部入力映像において、単に画面全体を内視鏡映像と外部入力映像で切り替えることも可能であるが、リサイズ部66−1、66−2によりそれぞれの映像の大きさを適当に変更し、切り替えを画面内で行うことにより、所謂Picture in Picture(子画面)表示を行わせることも可能である。
【0037】
図7および図8は、上記オーバレイ部の動作概念を説明するための図である。図7は、オーバレイ部に入力される3系統の映像、即ち内視鏡映像、外部入力映像、グラフィックのデータ形式を示している。本実施形態では、それぞれの映像はRGB各8bitの情報を有している。また、グラフィックデータについては、RGBに加えて透明度を表すα値を含んでいる。図8は、オーバレイ部の演算内容を示している。内視鏡映像または外部入力映像の赤・青・緑の値をそれぞれR1・G1・B1、グラフィックの赤・青・緑の値をそれぞれR2・G2・B2、1で正規化したα値をα、出力の赤・青・緑の値をそれぞれR・G・Bとするとき、
R = R1×α + R2×(1−α)
G = G1×α + G2×(1−α)
B = B1×α + B2×(1−α)
となり、内視鏡映像または外部入力映像に対し、αで指定される任意の透明度で文字や図形が重畳処理される。
【0038】
図9は、本実施形態におけるCPU上で動作するソフトウェアの構成および動作を示す図である。
以後説明するソフトウェアの各要素は、所謂OS(Operating System)80と呼ばれる基本ソフトウェア上に構築されており、OSが提供するタイミング制御やソフトウェア間通信機能を利用して相互に関連動作する。
【0039】
まず、ハードウェアに最も近いソフトウェアとして、ドライバ群、即ち通信ドライバ81、ディスクドライバ82、グラフィックドライバ83、キャプチャドライバ84、およびI/Oドライバ85が設けられており、図5に示した各ハードウェアの制御を行う。通信ドライバ81はEthernet(登録商標)ドライバ、UARTドライバ、USBドライバから成り、それぞれ対応する通信用ハードウェアの制御機能を提供する。ディスクドライバ82は、CPUを介してフラッシュメモリーやRAMの読み書き機能を提供する。また、PCカードコントローラを制御し、メモリーカードに対する読み書き機能を提供する。グラフィックドライバ83およびキャプチャドライバ84は表示制御回路を制御し、それぞれグラフィック描画機能および画像取り込み機能を提供する。I/Oドライバ85はI/Oポートの制御機能を提供する。
【0040】
各通信手段において所定の通信手順(プロトコル)で通信を行うためにプロトコルスタック86が実装され、例えばEthernet(登録商標)上のTCP/IPプロトコルはプロトコルスタックとEthernet(登録商標)ドライバが通信することにより実現される。ディスクドライバ82に対してはファイルシステム87が実装され、上位層のソフトウェアからCPUバス上のメモリーまたはPCカードスロットに着脱されるメモリーカードをファイルとして扱う。グラフィックドライバ83に対しては描画API(Application Program Interface)88が実装され、グラフィック描画機能を提供する。グラフィック描画には文字描画も含まれるため、フォントデータが備えられる。フォントデータの実体は、CPUバス上のメモリーまたはメモリーカード上に存在する。キーボードやマウスなどのHIDは、本実施形態ではUSBを用いて接続されており、HIDドライバ89とUSB通信ドライバとが連携動作することにより、HIDからの入力を受け付ける。
【0041】
次に、ドライバより上位層のソフトウェアの構成および動作について説明する。これらのソフトウェアは、機能毎にプロセスという単位に分割されて実装される。
UI(User Interface)プロセス90は、HIDおよびパネルからの入力データを処理するプロセスであり、これらを用いてユーザーが入力する情報に応じて関連する他のプロセスへデータ通信を行う。以下にその一例を述べる。
・キーボードから患者データ入力が行われた場合には、後述のデータ管理プロセスにデータを送信する。
・パネルから画質調整のキー入力が行われた場合には、後述の映像制御プロセスにそれを通知する。
・内視鏡本体のスイッチにより画像記録が指示された場合には、後述のデータ管理プロセスにそれを通知する。
【0042】
UIプロセス90はまた、描画API88を使用して画面表示を制御する。例えば、マウスカーソルの表示を行う。
映像制御プロセス91は、UIプロセス90からの情報即ちユーザー入力に基づき、画像の表示状態を制御する。即ち、
・前段および後段映像処理回路を制御し、画質を調整する。
・表示制御回路を制御し、内視鏡画像の表示サイズや外部入力映像の表示状態を切り替える。
【0043】
ブラウザプロセス92は、UIプロセス90からの情報即ちユーザー入力に基づき、HTML(Hyper Text Markup Language)ファイルを取得する(92−1)。HTMLファイルの実体がビデオプロセッサ外のネットワーク上に存在する場合はファイルシステムからプロトコルスタック86を経由して取得し、プロセッサ内に存在する場合はファイルシステムからディスクドライバ82を経由して取得する。取得されたHTMLファイルは、HTMLパーサ92−2により解読される。例えば、
・テキスト(文字)を示すタグが付加された情報は、その属性データと共に描画API88へ送信し、文字を画面表示する。
・画像を示すタグが付加された情報は、画像ファイルを取得し、復号化(92−4)した後に描画API88へ送信し、画像を画面表示する(92−5)。
・Java(登録商標)(TM)アプレットを示すタグが付加された情報は、アプレットビューア92−3により画面表示する。アプレットビューア92−3内に表示される内容は、Java(登録商標)(TM)仮想マシン93がネットワーク経由で取得したJava(登録商標)(TM)プログラムを実行することにより決定される。
【0044】
さらに、HTMLファイルに内視鏡独自の制御記述を追加することが可能である。例えば、通常ブラウザの表示動作に影響を与えないコメントタグ<!−−(コメント内容)−−>を用いて内視鏡画面の表示サイズや表示位置を指定しておき、この情報をHTMLパーサ92−2から映像制御プロセス91へ送信する。これにより、HTMLファイルの記述により内視鏡画像の表示形態を変更できる。また、同様にコメントタグを用いて患者情報を指定しておき、この情報をHTMLパーサ92−2で取り出して,後述するデータ管理プロセス94へ送信することにより、患者情報をHTMLファイルから取得することが可能である。
【0045】
データ管理プロセス94は、患者情報など、内視鏡画像に関連する情報の管理を行う。情報としては
・UIプロセス90から受信した、即ちユーザー入力による情報
・プロトコルスタック86から受信した、即ち外部からの通信により入力される情報
・ブラウザプロセス92から受信した、即ちメモリーカードあるいはネットワーク上のHTMLファイルから取得した情報
が挙げられる。
【0046】
また、得られた各情報は、プロトコルスタック86経由で外部へ出力するか、後述する記録プロセス95へ出力する。
記録プロセス95は、データ管理プロセス94からの指示により、画像および関連情報を記録する制御を行う。即ち、
・データ管理プロセス94から受信した、患者名など画像に関連する情報から、HTMLファイルを生成する(95−1)。また、画像ファイルを指定する場合には、そのファイル名をHTMLファイル中に埋め込む。
・キャプチャドライバ84から受信した、画像データに対し、符号化処理95−2を行って画像ファイルを生成する(95−3)。画像ファイル名は、HTMLファイルで指定する名前と同じとする。
【0047】
上記各ファイルの記録先としては、メモリーカード上でも良いし、ネットワーク上の記録領域でも良い。例えば、ネットワークに接続している時は外部のサーバーに記録し、接続されていない時はメモリーカード上に記録する様に制御することも可能である。
【0048】
記録プロセス95の起動は、UIプロセス90からデータ管理プロセス94を経由して指示される。例えば、内視鏡本体のスイッチによりユーザーが記録を指示すると、UIプロセス90はデータ管理プロセス94にそれを通知する。データ管理プロセス94は、その時点で入力されている患者データを記録プロセス95に送信し、HTMLファイルおよび画像ファイルが作成される。
【0049】
サーバープロセス96は、ファイルシステム上のファイルを所謂FTP(File Transfer Protocol)やHTTP(Hyper Text Transfer Protocol)、あるいは医療用のDICOM(Digital Imaging and COmmunications for Medicine)といった通信手順(プロトコル)に従って外部ネットワークに公開する制御を行う。FTPの場合には外部のFTPクライアントと、HTTPの場合には外部のWebブラウザと通信を行いファイルを転送する。これにより、外部の画像ファイル装置に画像および関連情報を送信する。また、画像ファイル装置以外の、例えばWebブラウザを備えたコンピュータに対してファイルを公開することも可能である。
【0050】
図10は、本実施形態における、画面表示およびその遷移の一例を示す図である。
本実施形態のビデオプロセッサは、観察画面、検査選択画面、ビューア画面の3つの表示モードを有する。さらに観察画面には、スタンドアロンモード、およびネットワークモードの2種類がある。
【0051】
各画面に共通の表示として、マウスポインタ100と、画面を切り替えるためのボタン101があり、ユーザーは画面間の遷移を指示することが出来る。
スタンドアロンモードの観察画面は、ネットワークに接続しない状態で内視鏡観察を行うための画面である。
【0052】
この画面には、内視鏡映像102、外部入力映像103、患者情報を入力・表示するためのフィールド104、メモリーカードの使用状況を表すグラフ105、観察者の情報およびコメントを入力するフィールド106が表示されている。
内視鏡および外部入力の所謂リアルタイム映像以外のグラフィック表示は、内部のフラッシュメモリーに記憶されたHTMLファイルに記述されており、ブラウザプロセスによって描画される。患者情報や観察者情報、コメントの各フィールドはHTMLで記述され、メモリーカードの使用状況を表すグラフはJava(登録商標)アプレットとして描画される。
【0053】
患者情報などのデータ表示については、上述のHTMLファイルにより、R、G,B、αからなる描画色を指定できる。図7および図8で示した重畳を行うことにより、背景となる内視鏡または外部入力映像に対して透過(半透明)状態で表示を行っている。これにより、データと内視鏡または外部入力映像が重なる場合でも映像を見やすく表示できるという利点を有している。
【0054】
ネットワークモードの観察画面は、画像ファイル装置と接続した状態で内視鏡観察を行うための画面である。
この画面には、スタンドアロンモードの観察画面で示した表示項目に加えて、画像ファイル装置に記録された内視鏡画像107、患者モニタリング装置から受信した心拍数等のモニタリングデータ108が表示される。
【0055】
スタンドアロンモードと同様に、リアルタイム映像以外の表示はブラウザプロセスによって描画される。ただし、表示するためのHTMLファイルは、外部の画像ファイル装置からネットワーク経由で取得する。上記に示した、スタンドアロンモードに対して追加表示される各要素は、画像ファイル装置から受信するHTMLファイルに記述されている。画像ファイル装置に記録された内視鏡画像は、HTMLファイル中に画像ファイルを記述することにより、ブラウザプロセスにより画像ファイルがダウンロードされ表示される。モニタリングデータの表示は、Java(登録商標)アプレットとして実装されている。即ち、モニタリング装置との通信を行い取得したデータを、アプレット上にグラフィック表示するものである。
【0056】
スタンドアロンモードに対して追加の表示を行うため、内視鏡画像の位置および大きさはネットワークモードとスタンドアロンモードで異なっている。これは、既に述べたようにHTMLファイルに内視鏡用の制御記述を追加することによって実現している。
【0057】
検査選択画面は、事前に登録された患者データを検索し呼び出すための画面である。
この画面も、実体はHTMLファイルに記述されている。画面上部にはタブ109が表示されており、ユーザーはこのタブを選択することにより、内部(フラッシュメモリまたはメモリーカード)、あるいは外部(画像ファイル装置)から検査選択画面に相当するHTMLファイルを取得する。観察画面と同様、HTML表示を透過(半透明)表示とすることが可能で、この場合は検査選択中も内視鏡画像110を確認できる利点を有する。
【0058】
検査日、検査の種類、検査部位、検査者などを指定するフィールド111と、これらのフィールドで指定された患者のリストを表示するフィールド112で構成される。患者を選択すると、患者データを呼び出した後観察画面に移行する。この機能は、図9に述べたようにブラウザプロセスとデータ管理プロセスが通信することにより実現している。
【0059】
ビューア画面は、内部(フラッシュメモリまたはメモリーカード)、あるいは外部(画像ファイル装置)に記録された画像を表示するための画面である。検査選択画面と同様、実体はHTMLファイルに記述されており、画面上部のタブにより内部または外部を選択してHTMLファイルの取得を行う。
【0060】
患者名の一覧を表示するフィールド113と、患者の詳細データを表示するフィールド114、画像の一覧表示115、画像情報を表示するフィールド116から構成される。
ユーザーが患者名一覧から一人の患者名を指定すると、その患者名に対応するID、生年月日、年齢、性別データが詳細データフィールドに表示されると同時に、その患者の記録画像を一覧表示する。ユーザーがマウスポインタにより画像の一覧表示115から一枚の画像を選択すると、選択画像が太枠表示になり、そのファイル名、容量、記録時間など画像ファイルの情報を画像情報フィールド116に表示する。これらの動作は、HTMLファイルの記述により実現可能である。
【0061】
図11は、図10のビューア画面を例に、観察モニター毎の表示内容を示す図である。
図5で述べたように、本実施形態のビデオプロセッサでは、複数のモニターを接続可能となっている。このため、画面表示に係るソフトウェアについては、モニター毎に専用のプロセスやドライバを設けている。例えば、ブラウザプロセスには、HDTV用とSDTV用の2種類があり、それぞれが独立して動作することにより、モニター毎に適した表示を行っている。表示のために使用するHTMLファイルも、HDTV用とSDTV用に異なるファイルを用意する。
【0062】
HDTVモニターとSDTVモニターでは解像度が異なるが、表示される文字の大きさを略同一にするために、それぞれのブラウザプロセスでは異なるフォントサイズを使用する。これは、それぞれのHTMLファイル中に記述することでも実現できるし、ブラウザプロセス毎に使用するフォントを予め指定しておくことでも実現可能である。
【0063】
また、HTMLファイル中で画像サイズを指定することにより、画像一覧表示において、それぞれのモニターの解像度に適した大きさで表示を行う。
さらに、HDTVモニターとSDTVモニターでは画面の縦横比(アスペクト比)も異なる。このため、各フィールドの表示幅や画像一覧の表示個数を変える必要がある。これも、HTMLファイルの記述をモニター毎に変えることにより対応している。
【0064】
単一のキーボードおよびマウスにより2種類の観察モニターを操作するため、UIプロセスおよび描画プロセスは以下に述べる方法で制御を行う。
マウスの操作位置を示すポインタ100は、2つのモニターで1つだけ表示される。一方のモニターの特定の端面117にポインタが達すると、ポインタを他方のモニターに移動する。患者名など、キーボードからの情報入力は、ポインタにより指定されたフィールドに対して行われるため、ポインタにより操作対象となるモニターを指定することが可能となる。なお、この場合、2つのモニターで共通の表示項目については、一方のモニターで入力した値を他方のモニターに反映させることも可能である。
【0065】
図12は、メモリーカードのファイル構造を示す図である。
本実施形態のビデオプロセッサにおけるメモリーカードへの記録形式は、所謂デジタルカメラ等で用いられている、DCF(Design rule for Camera File system)規格に準拠した構造となっている。これにより、DCF規格対応の機器やソフトウェアで記録画像を読み取り可能としている。
【0066】
また、患者情報など内視鏡独自の情報を記録するため、以下に述べる拡張を行っている。
新たな患者情報が入力されると、患者一覧を記録したHTMLファイルを生成し、メモリーカードのルートディレクトリに記録する。また、新たな画像を記録すると、患者1名ごとの画像情報、患者情報を記録したHTMLファイルを生成し、患者毎のディレクトリに生成する。これにより、DCF規格で定められている、画像のヘッダに情報を挿入する方法ではデータ量が不足する場合でも、HTMLファイルに情報を記録することによりDCF規格に準拠したままで対応できる。さらに、メモリーカードを他のコンピュータで読み取る場合には、ルートディレクトリのHTMLファイルをコンピュータのWebブラウザで読み取ることにより、専用ソフトを使用せずとも画像およびデータを閲覧することが可能である。
【0067】
以上述べた本実施形態によれば、
内視鏡映像と外部入力映像に対して、フラッシュメモリーまたはメモリーカードに保存されたHTML形式の情報を重畳させることにより、過去の患者情報を容易に閲覧可能である。
【0068】
また、内視鏡映像と外部入力映像に対して、ネットワーク経由で取得したHTML形式の情報を重畳させることにより、画像ファイル装置とネットワークのみで接続することが可能となり、ビデオ入出力ボードや専用の通信用端子を設ける必要がない。
【0069】
また、HTML形式の情報を透過表示させることにより、観察中の映像を妨げることなく情報を閲覧可能である。
また、HTMLファイルを変更することにより、種々の画像フォーマットの表示や表示項目の変更に対して容易に対応可能である。
【0070】
また、Java(登録商標)アプレットを用いることにより、HTMLでは表現不可能なグラフィック表示やネットワーク上の他の機器との通信を実現可能である。
また、フラッシュメモリーまたはメモリーカードに保存された画像および情報をFTP、HTTP、またはDICOMプロトコルを用いて公開することにより、ネットワークを介して他の機器と画像および情報を容易に交換可能である。
【0071】
また、メモリーカードにDCF形式の画像とHTML形式の情報を記録することにより、様々な機器で画像と情報を読み取り可能である。
次に、他の実施形態について以下に述べる。
観察モニターとしてSDTVとHDTVを挙げているが、これ以外の映像形式、例えばコンピュータ用ディスプレイで使用されるXGAやSXGAなどの形式で出力することも、同様の構成で実現可能である。その場合、SDTVやHDTVはインターレース方式、XGA/SXGAはノンインターレース方式と走査形式が異なるため、HDTV用表示制御回路内に走査変換手段を設ければ良い。走査変換手段については公知の技術であるため説明を省略する。
【0072】
映像の入出力はアナログ信号となっているが、DVI(Digital Visual Interface)やSDI(Serial Digital Interface)等のディジタル信号で入出力することも可能である。その場合は、D/A変換回路やA/D変換回路に代えてそれぞれのディジタル信号形式で入出力するためのインターフェース回路を設ければ良い。これらの回路についても公知であり説明を省略する。
【0073】
図6に示す表示制御回路の構成要素は、回路として記載したが、これらはFPGAなどプログラム可能なハードウェアや、CPUやDSPなどの演算手段およびその制御ソフトウェアによっても実現可能である。
図7では、映像信号のデータ形式としてRGB各8bitを示したが、輝度−色差であるYUV形式でも使用可能であるし、ビット数も任意に変更可能である。
【0074】
図9において、画像の符号化はソフトウェアで実現する様記載したが、図5の表示制御部内に符号化手段を設けることにより、これをハードウェアやDSPなどCPU以外の手段により処理することも可能である。
図9の記録プロセスについて、生成する画像ファイルの種類については触れていないが、静止画でも動画でも生成可能である。また、JPEG等の圧縮フォーマットか、非圧縮フォーマットを選択することも可能である。
【0075】
本実施形態では、ハイパーテキストとしてHTMLを使用しているが、この他の形式、例えばXML(eXtensible Markup Language)などを用いることが可能であることも容易に推測可能であろう。
【0076】
【発明の効果】
以上述べたように、本発明によれば、内視鏡映像とハイパーテキストによる情報を重畳表示することにより、過去の患者情報を容易に閲覧可能であり、かつ拡張性に優れた内視鏡装置を提供することが可能である。
【0077】
また、内視鏡映像とハイパーテキスト情報を記録することにより、内視鏡装置以外の機器でもこれらの情報を用意に閲覧可能である。
また、内視鏡検査を行いながらでも観察を妨げることなく情報閲覧が可能である。
【0078】
また、画像ファイル装置のビデオ入出力ボードを不要とすることにより、コストダウンを実現可能である。
また、画面表示をハイパーテキストにより行うことにより、種々の映像フォーマットの出力に容易に対応可能な内視鏡装置を提供することが可能である。
【図面の簡単な説明】
【図1】従来の内視鏡システムを示す図である。
【図2】図1の内視鏡システムの内部構成を示す図である。
【図3】本発明による内視鏡装置の概念図(表示)である。
【図4】本発明による内視鏡装置の概念図(記録)である。
【図5】本発明の第1の実施形態における内視鏡装置のビデオプロセッサ部分の内部構成及び外部機器との接続を表す図である。
【図6】図5における表示制御回路の内部構成図である。
【図7】図5におけるオーバレイ部の動作概念(データ形式)を示す図である。
【図8】図5におけるオーバレイ部の動作概念(演算内容)を示す図である。
【図9】本発明の第1の実施形態におけるソフトウェアの構成及び動作を示す図である。
【図10】本発明の第1の実施形態における画面表示及びその遷移を示す図である。
【図11】本発明の第1の実施形態における観察モニタ毎の表示内容を示す図である。
【図12】本発明の第1の実施形態におけるメモリカードのファイル構造を示す図である。
【符号の説明】
30 内視鏡撮像手段
31 映像処理手段
32 オーバレイ手段
33 制御手段
34 ハイパーテキスト取得手段
35 記憶手段
36 通信手段
37 ハイパーテキスト解釈手段
38 画面展開手段
39 オーバレイ制御手段
【発明の属する技術分野】
本発明は、ハイパーテキスト形式による情報表示および記録機能を備えた内視鏡装置または内視鏡システムに関する。
【0002】
【従来の技術】
近年、電荷結合素子(CCD)等の撮像素子を用いた内視鏡装置について種々の提案がある。
この内視鏡装置は、細長の挿入部内に被写体を撮像するための撮像素子および照明光学系を設けた内視鏡本体と、前記固体撮像素子に駆動信号を供給すると共に、前記固体撮像素子からの撮像信号を取り込み、映像信号を処理するビデオプロセッサ部と、前記内視鏡本体の照明光学系を介して被写体を照明するための光源部とを備え、このビデオプロセッサ部からの映像信号をモニターに表示させるようにしたものである。
【0003】
また、被写体から得られた映像、および患者名など映像に関連する情報を記録するためのファイリング装置、印刷装置なども種々提案されており、これらと内視鏡装置を組み合わせた内視鏡システムとして普及している。
図1は、従来の内視鏡システムの一例を示す図である。
【0004】
このシステム1は、内視鏡本体4、ビデオプロセッサ6、光源装置5、モニター7、キーボード9からなる内視鏡装置と、ビデオプリンター8、ファイリング装置10から構成されている。
図2は、図1の内視鏡システムの内部構成を示す図である。
【0005】
図2において、光源装置20のランプ20−1により発せられた光は、ファイバーバンドルにより構成された内視鏡本体21のライトガイド21−1および先端部の照明用レンズ21−2を介して体腔内の被写体を照明する。被写体の画像は、内視鏡本体先端部の対物レンズ21−3を介して撮像素子21−4のCCD面上に結像する。CCD21−4は、ビデオプロセッサ22の駆動回路22−1により駆動され、画像信号を発生する。この画像信号は、内視鏡先端部のアンプ21−5により増幅された後、ビデオプロセッサ22へと導かれる。
【0006】
ビデオプロセッサ22では、CCD21−4から得られた画像信号をA/D変換回路22−2によりデジタル信号に変換し、前段映像処理回路22−3により、色分離などの前段映像処理を行った後、アイソレーション回路22−4により絶縁した上で後段の映像処理回路22−5へと送る。後段映像処理回路22−5では、γ変換、輪郭強調や拡大縮小などの映像処理を行い、さらにCPU回路22−6からの文字情報を重畳して出力する。出力信号はD/A変換回路22−7によりアナログ化される。
【0007】
画素数など駆動条件の異なる複数のCCDを駆動するため、内視鏡本体内にはメモリー素子などを用いたCCDの識別情報21−6があり、これにより駆動条件や後段映像処理の処理パラメータを変更している。
被写体の照明状態を最適に保つため、光源装置20内には絞り羽根等による調光器20−3が設けられており、ビデオプロセッサ22内の調光制御回路22−30および光源装置20内の調光制御回路20−2により照明光の強度が調整される。
【0008】
ビデオプロセッサ22には、ビデオプリンタ23や画像ファイル装置24などと接続するためのコネクタ22−9が設けられており、内視鏡画像はセレクタ22−8により外部からの映像入力と切り替えた後に観察モニター25へと出力される。
【0009】
CPU回路22−6はビデオプロセッサ22内部の制御および外部機器との通信を行う。ユーザーはキーボード26からデータ入力を行うことにより、患者名などの情報を内視鏡画像に付加することが出来る。また、画像ファイル装置24やビデオプリンタ23など外部機器と通信を行い、画像およびデータをこれらの機器で記録することが出来る。記録の指示は、内視鏡本体21に設けられたスイッチ21−7またはキーボード26により行われる。
【0010】
ビデオプロセッサ22からの映像信号を受信するため、画像ファイル装置24のコンピュータにはビデオ入出力ボード27が備えられている。
特許文献1には、内視鏡システムにおいて、内視鏡装置の映像と画像ファイル装置からの映像を、必要に応じて切り替えて表示する技術が開示されている。
【0011】
【特許文献1】
特許第2598560号公報
【0012】
【発明が解決しようとする課題】
以上述べた従来の内視鏡システムにおいて、画像ファイル装置に保存された過去の患者情報は通常画像ファイル装置のモニターで閲覧可能であるが、これを内視鏡装置の観察モニターでも見たいというニーズがある。
【0013】
ところが、内視鏡装置の観察モニターは通常NTSC方式などの所謂テレビモニターであり、画像ファイルのコンピュータ用モニターとは解像度など信号形式が異なる。このため、画像ファイル装置にテレビモニター用の映像出力を設け、さらに、内視鏡装置には画像の入出力端子および選択回路を設ける必要があった。
【0014】
また、患者の検索など、モニターに表示する情報の選択を内視鏡装置から行うために、画像ファイルと内視鏡装置で通信を行い、内視鏡装置のキーボードから入力された情報を画像ファイルに転送する必要があった。この通信は従来RS−232Cなどのシリアル通信上に専用のプロトコルを構築することにより行われていたが、これは1対1接続であるため、複数の内視鏡装置が存在する場合には画像ファイルを複数用意するか、1台の画像ファイルに複数の通信用端子を設ける必要があった。
【0015】
これらは、内視鏡システムのコストアップの要因となっていた。また、専用プロトコルを使用することにより、製品をバージョンアップする場合に互換性を保つのが困難であり、拡張性の点でも問題があった。
また、近年NTSC/PALに代表されるテレビ信号の他に、HDTVやXGA/SXGAなど種々の映像フォーマットが存在している。内視鏡装置においてこれらの映像フォーマットに対応するためには、それらフォーマット毎に専用の制御プログラムを用意する必要があり、プログラム容量の増大を招いていた。
【0016】
本発明は、以上の問題点に鑑みてなされたもので、過去の患者情報を容易に閲覧可能であり、かつ拡張性に優れた内視鏡装置を提供することを目的とする。
本発明の別の目的は、画像ファイル装置のビデオ入出力ボードを不要とすることにより、コストダウンを実現することである。
【0017】
本発明の別の目的は、種々の映像フォーマットの出力に容易に対応可能な内視鏡装置を提供することである。
【0018】
【課題を解決するための手段】
本発明の請求項1の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、制御手段とを有し、該制御手段は、ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、該記述言語ファイルを解読する解読手段と、解読した記述言語を画面表示可能な形式に展開する展開手段と、展開された記述言語を表示する表示制御手段とを備えることを特徴とする。
【0019】
本発明の請求項2の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該映像処理手段の出力信号に対し画像または文字情報を重畳するオーバレイ手段と、少なくとも該オーバレイ手段を制御する制御手段とを有し、該制御手段は、ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、該記述言語ファイルを解読する解読手段と、解読した記述言語を画面表示可能な形式に展開する展開手段と、該オーバレイ手段を制御して展開された記述言語を表示する表示制御手段とを備えることを特徴とする。
【0020】
本発明の請求項12の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、記憶手段と、少なくとも該情報入力手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段とを備えることを特徴とする。
【0021】
本発明の請求項14の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、ネットワークに接続するための接続手段と、少なくとも該情報入力手段および該接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成しネットワーク上の記憶領域に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成しネットワーク上の記憶領域に格納する手段とを備えることを特徴とする。
【0022】
本発明の請求項15の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、ネットワークに接続するための接続手段と、少なくとも該接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成する手段と、ネットワーク上のクライアントに対して該画像ファイルを送信するためのファイルサーバー手段とを備えることを特徴とする。
【0023】
本発明の請求項16の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、ネットワークに接続するための接続手段と、少なくとも該接続手段を制御する制御手段とを有し、該制御手段は、少なくとも該制御手段の内部情報を含むハイパーテキスト形式の記述言語ファイルを生成する手段と、ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段とを備えることを特徴とする。
【0024】
本発明の請求項17の内視鏡装置は、内視鏡撮像手段と、該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、記憶手段と、ネットワークに接続するための接続手段と、少なくとも該記憶手段および接続手段を制御する制御手段とを有し、該制御手段は、該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段と、ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段とを備えることを特徴とする。
【0025】
【発明の実施の形態】
図3及び図4は、本発明による内視鏡装置の概念図を示す図である。
図3において、内視鏡撮像手段30および映像処理手段31により得られた内視鏡映像は、オーバレイ手段32に入力される。
【0026】
一方、制御手段33内のハイパーテキスト取得手段34は、記憶手段35から、または外部機器から通信手段36を介してハイパーテキスト情報を取得する。取得されたハイパーテキストからは、ハイパーテキスト解読手段37によって必要なデータが取り出される。このデータは、画面展開手段38により画面表示可能な形式へと展開される。
【0027】
画面に展開されたデータは、オーバレイ制御手段39に入力され、内視鏡映像と重畳するための制御情報に変換されオーバレイ手段32へ送られる。
以上の構成により、ハイパーテキスト情報が内視鏡映像と重畳され、観察モニタへ出力される。
【0028】
図4において、内視鏡撮像手段30および映像処理手段31により得られた内視鏡映像は、制御手段33内の画像ファイル生成手段41に入力され、画像ファイルへと変換され、記憶手段35、または通信手段36を介して外部機器へ記録される。
【0029】
一方、データ入力手段40から、または通信手段36を介して外部機器から入力された情報は、ハイパーテキスト生成手段42によりハイパーテキスト情報に変換され、記憶手段35、または通信手段36を介して外部機器へ記録される。
以上の構成により、画像ファイルとこれに関連する情報を格納したハイパーテキストファイルが記録される。
【0030】
以下、図面を参照して本発明の一実施の形態について説明する。
図5は、本発明の第1の実施形態における内視鏡装置のビデオプロセッサ部分の内部構成および外部機器との接続を示す図である。
なお、図5において、ビデオプロセッサ以外の内視鏡本体、光源装置、およびプロセッサの内アイソレーション回路より前段(すなわち内視鏡本体寄りの回路で、患者回路と称する)の部分については、従来の内視鏡装置である図2と同様であるため、記載を省略してある。
【0031】
本実施形態のビデオプロセッサ22には、従来の解像度即ちSDTV(Standard Definition TV)方式の観察モニター50と、高解像度即ちHDTV(High Definition TV)方式の2種類の観察モニター51が接続される。
患者回路からアイソレーション回路22−4を介して伝送された内視鏡映像信号は、後段映像処理回路22−5にてγ変換などの処理が行われる。その後、HDTV用およびSDTV用それぞれの映像処理回路22−31、22−32及び表示制御回路22−21、22−22に分配される。映像処理回路22−31、22−32では、輪郭強調などの処理が行われる。表示制御回路は後述するが、ここでは2種類の観察モニター毎に適した表示を行うための処理が行われ、D/A変換回路22−10にてアナログ信号として観察モニター50、51へ出力される。
【0032】
外部機器の映像を入力するための端子はA/D変換回路22−11に接続され、ディジタル化されてHDTV/SDTVの各映像処理回路へ入力される。
ビデオプロセッサ22内部の各回路を制御するためのCPU22−6には、プログラムおよびデータを一時記憶するためのRAM22−12、プログラムおよびデータを電源OFF時も保持するフラッシュメモリ22−13、および各回路からの入出力信号を制御するI/Oポート22−14がバス接続される。I/Oポート22−14にはパネル22−15が接続される。パネル22−15には画質調整のスイッチやLEDが設けられており(不図示)、ユーザーからの入力を受け付けたりLED表示を制御する。
【0033】
また、CPUのバスにはPCIバスブリッジ22−15が接続され、CPU22−6のバスを汎用バスであるPCI(Peripheral Component Interconnect)バスに変換する。PCIバス上には、HDTV/SDTV用の各表示制御回路、USB(Universal Serial Bus)ホストコントローラ22−16、Ethernet(登録商標)コントローラ22−17、PCカードコントローラ22−18、およびUART(Universal Asynchronous Receiver/Transmitter)22−19が接続される。USBホストコントローラ22−16は外部のUSB機器を接続するための回路であり、本実施例ではキーボード52およびマウス53の所謂HID(Human Interface Device)が接続される。Ethernet(登録商標)コントローラ22−17は、ビデオプロセッサ22をIEEE802.3規格に定められるネットワークに接続するための回路であり、本実施形態では、ハブ54を介して画像ファイリング装置24および患者モニタリング装置と接続されている。PCカードコントローラ22−18は、ビデオプロセッサ22に設けられたPCカードスロット22−20に接続され、このスロットに着脱されるメモリーカードに対する制御を行う。UART22−19は、外部の機器とシリアル通信を行うための回路であり、図2で示したビデオプリンタ23などの機器と通信するために使用される。
【0034】
図6は、図5における表示制御回路の内部構成を示す図である。
図5では、HDTVおよびSDTV用に2系統の表示制御回路があるが、これらは解像度など画面表示の形式は異なるものの、表示制御回路の構成としてはどちらも同様であるため、図6で代表して示してある。
【0035】
表示制御部60は、2系統の映像入力61、62と1系統の映像出力63、およびCPU回路とのインターフェース64を有する。映像入力は、内視鏡映像と外部入力映像の2種類に対応する。それぞれの映像入力は、キャプチャ部65−1、65−2、リサイズ部66−1、66−2、マスク部67−1、67−2を経てオーバレイ部68に入力される。キャプチャ部65−1、65−2は、入力された映像を記憶し、CPUに送信する。リサイズ部66−1、66−2は、映像信号を拡大および縮小し、観察モニターに適した大きさに変更して出力する。マスク部67−1、67−2は、映像信号の縁部に存在する映像不良部分や、光学系で生ずる暗部などの不要部分を削除する。マスク描画部69は、CPU部に記憶された形状データおよび描画プログラムによりマスク形状を発生しマスク部67−1、67−2に出力する。オーバレイ部68には、2系統の映像信号に加えてグラフィック描画部70が接続される。グラフィック描画部70では、CPUからの制御により、文字や図形などのグラフィックを発生する。オーバレイ部68で2系統の映像信号とグラフィックが重畳処理され、1系統の映像として出力される。これら各部の詳細については公知であるため説明を省略する。
【0036】
内視鏡映像および外部入力映像において、単に画面全体を内視鏡映像と外部入力映像で切り替えることも可能であるが、リサイズ部66−1、66−2によりそれぞれの映像の大きさを適当に変更し、切り替えを画面内で行うことにより、所謂Picture in Picture(子画面)表示を行わせることも可能である。
【0037】
図7および図8は、上記オーバレイ部の動作概念を説明するための図である。図7は、オーバレイ部に入力される3系統の映像、即ち内視鏡映像、外部入力映像、グラフィックのデータ形式を示している。本実施形態では、それぞれの映像はRGB各8bitの情報を有している。また、グラフィックデータについては、RGBに加えて透明度を表すα値を含んでいる。図8は、オーバレイ部の演算内容を示している。内視鏡映像または外部入力映像の赤・青・緑の値をそれぞれR1・G1・B1、グラフィックの赤・青・緑の値をそれぞれR2・G2・B2、1で正規化したα値をα、出力の赤・青・緑の値をそれぞれR・G・Bとするとき、
R = R1×α + R2×(1−α)
G = G1×α + G2×(1−α)
B = B1×α + B2×(1−α)
となり、内視鏡映像または外部入力映像に対し、αで指定される任意の透明度で文字や図形が重畳処理される。
【0038】
図9は、本実施形態におけるCPU上で動作するソフトウェアの構成および動作を示す図である。
以後説明するソフトウェアの各要素は、所謂OS(Operating System)80と呼ばれる基本ソフトウェア上に構築されており、OSが提供するタイミング制御やソフトウェア間通信機能を利用して相互に関連動作する。
【0039】
まず、ハードウェアに最も近いソフトウェアとして、ドライバ群、即ち通信ドライバ81、ディスクドライバ82、グラフィックドライバ83、キャプチャドライバ84、およびI/Oドライバ85が設けられており、図5に示した各ハードウェアの制御を行う。通信ドライバ81はEthernet(登録商標)ドライバ、UARTドライバ、USBドライバから成り、それぞれ対応する通信用ハードウェアの制御機能を提供する。ディスクドライバ82は、CPUを介してフラッシュメモリーやRAMの読み書き機能を提供する。また、PCカードコントローラを制御し、メモリーカードに対する読み書き機能を提供する。グラフィックドライバ83およびキャプチャドライバ84は表示制御回路を制御し、それぞれグラフィック描画機能および画像取り込み機能を提供する。I/Oドライバ85はI/Oポートの制御機能を提供する。
【0040】
各通信手段において所定の通信手順(プロトコル)で通信を行うためにプロトコルスタック86が実装され、例えばEthernet(登録商標)上のTCP/IPプロトコルはプロトコルスタックとEthernet(登録商標)ドライバが通信することにより実現される。ディスクドライバ82に対してはファイルシステム87が実装され、上位層のソフトウェアからCPUバス上のメモリーまたはPCカードスロットに着脱されるメモリーカードをファイルとして扱う。グラフィックドライバ83に対しては描画API(Application Program Interface)88が実装され、グラフィック描画機能を提供する。グラフィック描画には文字描画も含まれるため、フォントデータが備えられる。フォントデータの実体は、CPUバス上のメモリーまたはメモリーカード上に存在する。キーボードやマウスなどのHIDは、本実施形態ではUSBを用いて接続されており、HIDドライバ89とUSB通信ドライバとが連携動作することにより、HIDからの入力を受け付ける。
【0041】
次に、ドライバより上位層のソフトウェアの構成および動作について説明する。これらのソフトウェアは、機能毎にプロセスという単位に分割されて実装される。
UI(User Interface)プロセス90は、HIDおよびパネルからの入力データを処理するプロセスであり、これらを用いてユーザーが入力する情報に応じて関連する他のプロセスへデータ通信を行う。以下にその一例を述べる。
・キーボードから患者データ入力が行われた場合には、後述のデータ管理プロセスにデータを送信する。
・パネルから画質調整のキー入力が行われた場合には、後述の映像制御プロセスにそれを通知する。
・内視鏡本体のスイッチにより画像記録が指示された場合には、後述のデータ管理プロセスにそれを通知する。
【0042】
UIプロセス90はまた、描画API88を使用して画面表示を制御する。例えば、マウスカーソルの表示を行う。
映像制御プロセス91は、UIプロセス90からの情報即ちユーザー入力に基づき、画像の表示状態を制御する。即ち、
・前段および後段映像処理回路を制御し、画質を調整する。
・表示制御回路を制御し、内視鏡画像の表示サイズや外部入力映像の表示状態を切り替える。
【0043】
ブラウザプロセス92は、UIプロセス90からの情報即ちユーザー入力に基づき、HTML(Hyper Text Markup Language)ファイルを取得する(92−1)。HTMLファイルの実体がビデオプロセッサ外のネットワーク上に存在する場合はファイルシステムからプロトコルスタック86を経由して取得し、プロセッサ内に存在する場合はファイルシステムからディスクドライバ82を経由して取得する。取得されたHTMLファイルは、HTMLパーサ92−2により解読される。例えば、
・テキスト(文字)を示すタグが付加された情報は、その属性データと共に描画API88へ送信し、文字を画面表示する。
・画像を示すタグが付加された情報は、画像ファイルを取得し、復号化(92−4)した後に描画API88へ送信し、画像を画面表示する(92−5)。
・Java(登録商標)(TM)アプレットを示すタグが付加された情報は、アプレットビューア92−3により画面表示する。アプレットビューア92−3内に表示される内容は、Java(登録商標)(TM)仮想マシン93がネットワーク経由で取得したJava(登録商標)(TM)プログラムを実行することにより決定される。
【0044】
さらに、HTMLファイルに内視鏡独自の制御記述を追加することが可能である。例えば、通常ブラウザの表示動作に影響を与えないコメントタグ<!−−(コメント内容)−−>を用いて内視鏡画面の表示サイズや表示位置を指定しておき、この情報をHTMLパーサ92−2から映像制御プロセス91へ送信する。これにより、HTMLファイルの記述により内視鏡画像の表示形態を変更できる。また、同様にコメントタグを用いて患者情報を指定しておき、この情報をHTMLパーサ92−2で取り出して,後述するデータ管理プロセス94へ送信することにより、患者情報をHTMLファイルから取得することが可能である。
【0045】
データ管理プロセス94は、患者情報など、内視鏡画像に関連する情報の管理を行う。情報としては
・UIプロセス90から受信した、即ちユーザー入力による情報
・プロトコルスタック86から受信した、即ち外部からの通信により入力される情報
・ブラウザプロセス92から受信した、即ちメモリーカードあるいはネットワーク上のHTMLファイルから取得した情報
が挙げられる。
【0046】
また、得られた各情報は、プロトコルスタック86経由で外部へ出力するか、後述する記録プロセス95へ出力する。
記録プロセス95は、データ管理プロセス94からの指示により、画像および関連情報を記録する制御を行う。即ち、
・データ管理プロセス94から受信した、患者名など画像に関連する情報から、HTMLファイルを生成する(95−1)。また、画像ファイルを指定する場合には、そのファイル名をHTMLファイル中に埋め込む。
・キャプチャドライバ84から受信した、画像データに対し、符号化処理95−2を行って画像ファイルを生成する(95−3)。画像ファイル名は、HTMLファイルで指定する名前と同じとする。
【0047】
上記各ファイルの記録先としては、メモリーカード上でも良いし、ネットワーク上の記録領域でも良い。例えば、ネットワークに接続している時は外部のサーバーに記録し、接続されていない時はメモリーカード上に記録する様に制御することも可能である。
【0048】
記録プロセス95の起動は、UIプロセス90からデータ管理プロセス94を経由して指示される。例えば、内視鏡本体のスイッチによりユーザーが記録を指示すると、UIプロセス90はデータ管理プロセス94にそれを通知する。データ管理プロセス94は、その時点で入力されている患者データを記録プロセス95に送信し、HTMLファイルおよび画像ファイルが作成される。
【0049】
サーバープロセス96は、ファイルシステム上のファイルを所謂FTP(File Transfer Protocol)やHTTP(Hyper Text Transfer Protocol)、あるいは医療用のDICOM(Digital Imaging and COmmunications for Medicine)といった通信手順(プロトコル)に従って外部ネットワークに公開する制御を行う。FTPの場合には外部のFTPクライアントと、HTTPの場合には外部のWebブラウザと通信を行いファイルを転送する。これにより、外部の画像ファイル装置に画像および関連情報を送信する。また、画像ファイル装置以外の、例えばWebブラウザを備えたコンピュータに対してファイルを公開することも可能である。
【0050】
図10は、本実施形態における、画面表示およびその遷移の一例を示す図である。
本実施形態のビデオプロセッサは、観察画面、検査選択画面、ビューア画面の3つの表示モードを有する。さらに観察画面には、スタンドアロンモード、およびネットワークモードの2種類がある。
【0051】
各画面に共通の表示として、マウスポインタ100と、画面を切り替えるためのボタン101があり、ユーザーは画面間の遷移を指示することが出来る。
スタンドアロンモードの観察画面は、ネットワークに接続しない状態で内視鏡観察を行うための画面である。
【0052】
この画面には、内視鏡映像102、外部入力映像103、患者情報を入力・表示するためのフィールド104、メモリーカードの使用状況を表すグラフ105、観察者の情報およびコメントを入力するフィールド106が表示されている。
内視鏡および外部入力の所謂リアルタイム映像以外のグラフィック表示は、内部のフラッシュメモリーに記憶されたHTMLファイルに記述されており、ブラウザプロセスによって描画される。患者情報や観察者情報、コメントの各フィールドはHTMLで記述され、メモリーカードの使用状況を表すグラフはJava(登録商標)アプレットとして描画される。
【0053】
患者情報などのデータ表示については、上述のHTMLファイルにより、R、G,B、αからなる描画色を指定できる。図7および図8で示した重畳を行うことにより、背景となる内視鏡または外部入力映像に対して透過(半透明)状態で表示を行っている。これにより、データと内視鏡または外部入力映像が重なる場合でも映像を見やすく表示できるという利点を有している。
【0054】
ネットワークモードの観察画面は、画像ファイル装置と接続した状態で内視鏡観察を行うための画面である。
この画面には、スタンドアロンモードの観察画面で示した表示項目に加えて、画像ファイル装置に記録された内視鏡画像107、患者モニタリング装置から受信した心拍数等のモニタリングデータ108が表示される。
【0055】
スタンドアロンモードと同様に、リアルタイム映像以外の表示はブラウザプロセスによって描画される。ただし、表示するためのHTMLファイルは、外部の画像ファイル装置からネットワーク経由で取得する。上記に示した、スタンドアロンモードに対して追加表示される各要素は、画像ファイル装置から受信するHTMLファイルに記述されている。画像ファイル装置に記録された内視鏡画像は、HTMLファイル中に画像ファイルを記述することにより、ブラウザプロセスにより画像ファイルがダウンロードされ表示される。モニタリングデータの表示は、Java(登録商標)アプレットとして実装されている。即ち、モニタリング装置との通信を行い取得したデータを、アプレット上にグラフィック表示するものである。
【0056】
スタンドアロンモードに対して追加の表示を行うため、内視鏡画像の位置および大きさはネットワークモードとスタンドアロンモードで異なっている。これは、既に述べたようにHTMLファイルに内視鏡用の制御記述を追加することによって実現している。
【0057】
検査選択画面は、事前に登録された患者データを検索し呼び出すための画面である。
この画面も、実体はHTMLファイルに記述されている。画面上部にはタブ109が表示されており、ユーザーはこのタブを選択することにより、内部(フラッシュメモリまたはメモリーカード)、あるいは外部(画像ファイル装置)から検査選択画面に相当するHTMLファイルを取得する。観察画面と同様、HTML表示を透過(半透明)表示とすることが可能で、この場合は検査選択中も内視鏡画像110を確認できる利点を有する。
【0058】
検査日、検査の種類、検査部位、検査者などを指定するフィールド111と、これらのフィールドで指定された患者のリストを表示するフィールド112で構成される。患者を選択すると、患者データを呼び出した後観察画面に移行する。この機能は、図9に述べたようにブラウザプロセスとデータ管理プロセスが通信することにより実現している。
【0059】
ビューア画面は、内部(フラッシュメモリまたはメモリーカード)、あるいは外部(画像ファイル装置)に記録された画像を表示するための画面である。検査選択画面と同様、実体はHTMLファイルに記述されており、画面上部のタブにより内部または外部を選択してHTMLファイルの取得を行う。
【0060】
患者名の一覧を表示するフィールド113と、患者の詳細データを表示するフィールド114、画像の一覧表示115、画像情報を表示するフィールド116から構成される。
ユーザーが患者名一覧から一人の患者名を指定すると、その患者名に対応するID、生年月日、年齢、性別データが詳細データフィールドに表示されると同時に、その患者の記録画像を一覧表示する。ユーザーがマウスポインタにより画像の一覧表示115から一枚の画像を選択すると、選択画像が太枠表示になり、そのファイル名、容量、記録時間など画像ファイルの情報を画像情報フィールド116に表示する。これらの動作は、HTMLファイルの記述により実現可能である。
【0061】
図11は、図10のビューア画面を例に、観察モニター毎の表示内容を示す図である。
図5で述べたように、本実施形態のビデオプロセッサでは、複数のモニターを接続可能となっている。このため、画面表示に係るソフトウェアについては、モニター毎に専用のプロセスやドライバを設けている。例えば、ブラウザプロセスには、HDTV用とSDTV用の2種類があり、それぞれが独立して動作することにより、モニター毎に適した表示を行っている。表示のために使用するHTMLファイルも、HDTV用とSDTV用に異なるファイルを用意する。
【0062】
HDTVモニターとSDTVモニターでは解像度が異なるが、表示される文字の大きさを略同一にするために、それぞれのブラウザプロセスでは異なるフォントサイズを使用する。これは、それぞれのHTMLファイル中に記述することでも実現できるし、ブラウザプロセス毎に使用するフォントを予め指定しておくことでも実現可能である。
【0063】
また、HTMLファイル中で画像サイズを指定することにより、画像一覧表示において、それぞれのモニターの解像度に適した大きさで表示を行う。
さらに、HDTVモニターとSDTVモニターでは画面の縦横比(アスペクト比)も異なる。このため、各フィールドの表示幅や画像一覧の表示個数を変える必要がある。これも、HTMLファイルの記述をモニター毎に変えることにより対応している。
【0064】
単一のキーボードおよびマウスにより2種類の観察モニターを操作するため、UIプロセスおよび描画プロセスは以下に述べる方法で制御を行う。
マウスの操作位置を示すポインタ100は、2つのモニターで1つだけ表示される。一方のモニターの特定の端面117にポインタが達すると、ポインタを他方のモニターに移動する。患者名など、キーボードからの情報入力は、ポインタにより指定されたフィールドに対して行われるため、ポインタにより操作対象となるモニターを指定することが可能となる。なお、この場合、2つのモニターで共通の表示項目については、一方のモニターで入力した値を他方のモニターに反映させることも可能である。
【0065】
図12は、メモリーカードのファイル構造を示す図である。
本実施形態のビデオプロセッサにおけるメモリーカードへの記録形式は、所謂デジタルカメラ等で用いられている、DCF(Design rule for Camera File system)規格に準拠した構造となっている。これにより、DCF規格対応の機器やソフトウェアで記録画像を読み取り可能としている。
【0066】
また、患者情報など内視鏡独自の情報を記録するため、以下に述べる拡張を行っている。
新たな患者情報が入力されると、患者一覧を記録したHTMLファイルを生成し、メモリーカードのルートディレクトリに記録する。また、新たな画像を記録すると、患者1名ごとの画像情報、患者情報を記録したHTMLファイルを生成し、患者毎のディレクトリに生成する。これにより、DCF規格で定められている、画像のヘッダに情報を挿入する方法ではデータ量が不足する場合でも、HTMLファイルに情報を記録することによりDCF規格に準拠したままで対応できる。さらに、メモリーカードを他のコンピュータで読み取る場合には、ルートディレクトリのHTMLファイルをコンピュータのWebブラウザで読み取ることにより、専用ソフトを使用せずとも画像およびデータを閲覧することが可能である。
【0067】
以上述べた本実施形態によれば、
内視鏡映像と外部入力映像に対して、フラッシュメモリーまたはメモリーカードに保存されたHTML形式の情報を重畳させることにより、過去の患者情報を容易に閲覧可能である。
【0068】
また、内視鏡映像と外部入力映像に対して、ネットワーク経由で取得したHTML形式の情報を重畳させることにより、画像ファイル装置とネットワークのみで接続することが可能となり、ビデオ入出力ボードや専用の通信用端子を設ける必要がない。
【0069】
また、HTML形式の情報を透過表示させることにより、観察中の映像を妨げることなく情報を閲覧可能である。
また、HTMLファイルを変更することにより、種々の画像フォーマットの表示や表示項目の変更に対して容易に対応可能である。
【0070】
また、Java(登録商標)アプレットを用いることにより、HTMLでは表現不可能なグラフィック表示やネットワーク上の他の機器との通信を実現可能である。
また、フラッシュメモリーまたはメモリーカードに保存された画像および情報をFTP、HTTP、またはDICOMプロトコルを用いて公開することにより、ネットワークを介して他の機器と画像および情報を容易に交換可能である。
【0071】
また、メモリーカードにDCF形式の画像とHTML形式の情報を記録することにより、様々な機器で画像と情報を読み取り可能である。
次に、他の実施形態について以下に述べる。
観察モニターとしてSDTVとHDTVを挙げているが、これ以外の映像形式、例えばコンピュータ用ディスプレイで使用されるXGAやSXGAなどの形式で出力することも、同様の構成で実現可能である。その場合、SDTVやHDTVはインターレース方式、XGA/SXGAはノンインターレース方式と走査形式が異なるため、HDTV用表示制御回路内に走査変換手段を設ければ良い。走査変換手段については公知の技術であるため説明を省略する。
【0072】
映像の入出力はアナログ信号となっているが、DVI(Digital Visual Interface)やSDI(Serial Digital Interface)等のディジタル信号で入出力することも可能である。その場合は、D/A変換回路やA/D変換回路に代えてそれぞれのディジタル信号形式で入出力するためのインターフェース回路を設ければ良い。これらの回路についても公知であり説明を省略する。
【0073】
図6に示す表示制御回路の構成要素は、回路として記載したが、これらはFPGAなどプログラム可能なハードウェアや、CPUやDSPなどの演算手段およびその制御ソフトウェアによっても実現可能である。
図7では、映像信号のデータ形式としてRGB各8bitを示したが、輝度−色差であるYUV形式でも使用可能であるし、ビット数も任意に変更可能である。
【0074】
図9において、画像の符号化はソフトウェアで実現する様記載したが、図5の表示制御部内に符号化手段を設けることにより、これをハードウェアやDSPなどCPU以外の手段により処理することも可能である。
図9の記録プロセスについて、生成する画像ファイルの種類については触れていないが、静止画でも動画でも生成可能である。また、JPEG等の圧縮フォーマットか、非圧縮フォーマットを選択することも可能である。
【0075】
本実施形態では、ハイパーテキストとしてHTMLを使用しているが、この他の形式、例えばXML(eXtensible Markup Language)などを用いることが可能であることも容易に推測可能であろう。
【0076】
【発明の効果】
以上述べたように、本発明によれば、内視鏡映像とハイパーテキストによる情報を重畳表示することにより、過去の患者情報を容易に閲覧可能であり、かつ拡張性に優れた内視鏡装置を提供することが可能である。
【0077】
また、内視鏡映像とハイパーテキスト情報を記録することにより、内視鏡装置以外の機器でもこれらの情報を用意に閲覧可能である。
また、内視鏡検査を行いながらでも観察を妨げることなく情報閲覧が可能である。
【0078】
また、画像ファイル装置のビデオ入出力ボードを不要とすることにより、コストダウンを実現可能である。
また、画面表示をハイパーテキストにより行うことにより、種々の映像フォーマットの出力に容易に対応可能な内視鏡装置を提供することが可能である。
【図面の簡単な説明】
【図1】従来の内視鏡システムを示す図である。
【図2】図1の内視鏡システムの内部構成を示す図である。
【図3】本発明による内視鏡装置の概念図(表示)である。
【図4】本発明による内視鏡装置の概念図(記録)である。
【図5】本発明の第1の実施形態における内視鏡装置のビデオプロセッサ部分の内部構成及び外部機器との接続を表す図である。
【図6】図5における表示制御回路の内部構成図である。
【図7】図5におけるオーバレイ部の動作概念(データ形式)を示す図である。
【図8】図5におけるオーバレイ部の動作概念(演算内容)を示す図である。
【図9】本発明の第1の実施形態におけるソフトウェアの構成及び動作を示す図である。
【図10】本発明の第1の実施形態における画面表示及びその遷移を示す図である。
【図11】本発明の第1の実施形態における観察モニタ毎の表示内容を示す図である。
【図12】本発明の第1の実施形態におけるメモリカードのファイル構造を示す図である。
【符号の説明】
30 内視鏡撮像手段
31 映像処理手段
32 オーバレイ手段
33 制御手段
34 ハイパーテキスト取得手段
35 記憶手段
36 通信手段
37 ハイパーテキスト解釈手段
38 画面展開手段
39 オーバレイ制御手段
Claims (18)
- 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
制御手段とを有し、
該制御手段は、
ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、
該記述言語ファイルを解読する解読手段と、
解読した記述言語を画面表示可能な形式に展開する展開手段と、
展開された記述言語を表示する表示制御手段と
を備えることを特徴とする、内視鏡装置。 - 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
該映像処理手段の出力信号に対し画像または文字情報を重畳するオーバレイ手段と、
少なくとも該オーバレイ手段を制御する制御手段とを有し、
該制御手段は、
ハイパーテキスト形式の記述言語ファイルを取得する取得手段と、
該記述言語ファイルを解読する解読手段と、
解読した記述言語を画面表示可能な形式に展開する展開手段と、
該オーバレイ手段を制御して展開された記述言語を表示する表示制御手段と
を備えることを特徴とする、内視鏡装置。 - 該取得手段は、ネットワークに接続するための手段である
ことを特徴とする、請求項1または請求項2に記載の内視鏡装置。 - 該取得手段は、着脱自在な記憶媒体を接続するための手段である
ことを特徴とする、請求項1または請求項2に記載の内視鏡装置。 - 該映像処理手段および該オーバレイ手段はそれぞれ、
少なくとも解像度の異なる第1および第2の画面に対応する出力を有する
ことを特徴とする、請求項1または請求項2に記載の内視鏡装置。 - 該展開手段は、少なくとも
解読された記述言語を第1の画面に表示可能な形式に展開する第1の展開手段と、
解読された記述言語を第2の画面に表示可能な形式に展開する第2の展開手段とから成ることを特徴とする、請求項5に記載の内視鏡装置。 - 該制御手段において、
第1の展開手段と第2の展開手段で異なる記述言語ファイルを使用する
ことを特徴とする、請求項6に記載の内視鏡装置。 - 該制御手段において、
第1の展開手段と第2の展開手段で異なるフォントデータを使用する
ことを特徴とする、請求項6に記載の内視鏡装置。 - 画面に対して情報を入力するための情報入力手段を備え、
該制御手段は、
該情報入力手段からの入力に対応して、入力が有効となる画面を選択する手段を備える
ことを特徴とする、請求項5に記載の内視鏡装置。 - 該制御手段は、
アプレットの実行および表示手段を備える
ことを特徴とする、請求項1または請求項2に記載の内視鏡装置。 - 該制御手段は、
ハイパーテキストの記述言語から映像表示に関する制御パラメータを抽出する手段と、
抽出した制御パラメータに基づき該映像処理を制御する手段とを備える
ことを特徴とする、請求項1または請求項2に記載の内視鏡装置。 - 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、
記憶手段と、
少なくとも該情報入力手段を制御する制御手段とを有し、
該制御手段は、
該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、
該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段と
を備えることを特徴とする内視鏡装置。 - 該記憶手段は、着脱可能な記憶媒体であることを特徴とする、請求項12に記載の内視鏡装置。
- 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、
ネットワークに接続するための接続手段と、
少なくとも該情報入力手段および該接続手段を制御する制御手段とを有し、
該制御手段は、
該映像処理手段の出力から画像ファイルを生成しネットワーク上の記憶領域に格納する手段と、
該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成しネットワーク上の記憶領域に格納する手段と
を備えることを特徴とする内視鏡装置。 - 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
ネットワークに接続するための接続手段と、
少なくとも該接続手段を制御する制御手段とを有し、
該制御手段は、
該映像処理手段の出力から画像ファイルを生成する手段と、
ネットワーク上のクライアントに対して該画像ファイルを送信するためのファイルサーバー手段と
を備えることを特徴とする内視鏡装置。 - 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
ネットワークに接続するための接続手段と、
少なくとも該接続手段を制御する制御手段とを有し、
該制御手段は、
少なくとも該制御手段の内部情報を含むハイパーテキスト形式の記述言語ファイルを生成する手段と、
ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段と
を備えることを特徴とする内視鏡装置。 - 内視鏡撮像手段と、
該内視鏡撮像手段からの信号に対する信号処理を行う映像処理手段と、
該内視鏡撮像手段で得られた画像に関連する情報を入力する情報入力手段と、
記憶手段と、
ネットワークに接続するための接続手段と、
少なくとも該記憶手段および接続手段を制御する制御手段とを有し、
該制御手段は、
該映像処理手段の出力から画像ファイルを生成し該記憶手段に格納する手段と、
該情報入力手段からの情報および該画像ファイルへのリンク情報を含むハイパーテキスト形式の記述言語ファイルを生成し該記憶手段に格納する手段と
ネットワーク上のクライアントに対して該記述言語ファイルを送信するためのWebサーバー手段と
を備えることを特徴とする内視鏡装置。 - 請求項1〜17のいずれか1項に記載の内視鏡装置を備えた内視鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181112A JP2005013409A (ja) | 2003-06-25 | 2003-06-25 | 内視鏡装置または内視鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181112A JP2005013409A (ja) | 2003-06-25 | 2003-06-25 | 内視鏡装置または内視鏡システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005013409A true JP2005013409A (ja) | 2005-01-20 |
Family
ID=34181901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003181112A Pending JP2005013409A (ja) | 2003-06-25 | 2003-06-25 | 内視鏡装置または内視鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005013409A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255109A (ja) * | 2005-03-16 | 2006-09-28 | Olympus Corp | 内視鏡装置 |
JP2006340856A (ja) * | 2005-06-08 | 2006-12-21 | Olympus Medical Systems Corp | 内視鏡画像表示装置及びその制御方法 |
JP2007152790A (ja) * | 2005-12-06 | 2007-06-21 | Sony Corp | プリンタ装置及び印刷方法 |
WO2010081094A2 (en) * | 2009-01-09 | 2010-07-15 | The Johns Hopkins University | A system for registration and information overlay on deformable surfaces from video data |
WO2015056701A1 (ja) * | 2013-10-18 | 2015-04-23 | オリンパスメディカルシステムズ株式会社 | 画像出力装置 |
US10491814B2 (en) | 2015-06-12 | 2019-11-26 | Olympus Corporation | Image processing apparatus |
JP2019213755A (ja) * | 2018-06-14 | 2019-12-19 | オリンパス株式会社 | 表示画面生成装置、表示画面生成方法、及び表示画面生成プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01297040A (ja) * | 1988-05-25 | 1989-11-30 | Toshiba Corp | 電子内視鏡装置 |
JPH07141498A (ja) * | 1993-09-24 | 1995-06-02 | Olympus Optical Co Ltd | 医療用画像ファイル装置 |
JPH07302268A (ja) * | 1994-05-02 | 1995-11-14 | Olympus Optical Co Ltd | 画像記録制御装置 |
JPH10179586A (ja) * | 1996-11-21 | 1998-07-07 | Atl Ultrasound Inc | 医療診断超音波装置 |
JPH1145217A (ja) * | 1997-07-25 | 1999-02-16 | Olympus Optical Co Ltd | 画像伝送システム |
JP2000259486A (ja) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | Html/mheg変換方法、及びその変換装置 |
JP2002073820A (ja) * | 2000-08-28 | 2002-03-12 | A & I System Kk | 医療診断情報提供装置、医療診断情報提供システム、および医療診断情報提供方法 |
JP2002189806A (ja) * | 2000-08-21 | 2002-07-05 | Ge Marquette Medical Systems Inc | 広域ネットワークに基づき医療データの転送と見直しを行う方法とシステム |
JP2003024273A (ja) * | 2001-07-13 | 2003-01-28 | Olympus Optical Co Ltd | 画像処理装置 |
-
2003
- 2003-06-25 JP JP2003181112A patent/JP2005013409A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01297040A (ja) * | 1988-05-25 | 1989-11-30 | Toshiba Corp | 電子内視鏡装置 |
JPH07141498A (ja) * | 1993-09-24 | 1995-06-02 | Olympus Optical Co Ltd | 医療用画像ファイル装置 |
JPH07302268A (ja) * | 1994-05-02 | 1995-11-14 | Olympus Optical Co Ltd | 画像記録制御装置 |
JPH10179586A (ja) * | 1996-11-21 | 1998-07-07 | Atl Ultrasound Inc | 医療診断超音波装置 |
JPH1145217A (ja) * | 1997-07-25 | 1999-02-16 | Olympus Optical Co Ltd | 画像伝送システム |
JP2000259486A (ja) * | 1999-03-05 | 2000-09-22 | Jisedai Joho Hoso System Kenkyusho:Kk | Html/mheg変換方法、及びその変換装置 |
JP2002189806A (ja) * | 2000-08-21 | 2002-07-05 | Ge Marquette Medical Systems Inc | 広域ネットワークに基づき医療データの転送と見直しを行う方法とシステム |
JP2002073820A (ja) * | 2000-08-28 | 2002-03-12 | A & I System Kk | 医療診断情報提供装置、医療診断情報提供システム、および医療診断情報提供方法 |
JP2003024273A (ja) * | 2001-07-13 | 2003-01-28 | Olympus Optical Co Ltd | 画像処理装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006255109A (ja) * | 2005-03-16 | 2006-09-28 | Olympus Corp | 内視鏡装置 |
JP2006340856A (ja) * | 2005-06-08 | 2006-12-21 | Olympus Medical Systems Corp | 内視鏡画像表示装置及びその制御方法 |
JP2007152790A (ja) * | 2005-12-06 | 2007-06-21 | Sony Corp | プリンタ装置及び印刷方法 |
JP4684094B2 (ja) * | 2005-12-06 | 2011-05-18 | ソニー株式会社 | プリンタ装置及び印刷方法 |
US8488180B2 (en) | 2005-12-06 | 2013-07-16 | Sony Corporation | Printer and printing method that prevents intermixing of different image data on recording medium |
WO2010081094A2 (en) * | 2009-01-09 | 2010-07-15 | The Johns Hopkins University | A system for registration and information overlay on deformable surfaces from video data |
WO2010081094A3 (en) * | 2009-01-09 | 2010-10-21 | The Johns Hopkins University | A system for registration and information overlay on deformable surfaces from video data |
WO2015056701A1 (ja) * | 2013-10-18 | 2015-04-23 | オリンパスメディカルシステムズ株式会社 | 画像出力装置 |
JP5851656B2 (ja) * | 2013-10-18 | 2016-02-03 | オリンパス株式会社 | 画像信号出力装置及び画像信号送受信システム |
US10491814B2 (en) | 2015-06-12 | 2019-11-26 | Olympus Corporation | Image processing apparatus |
JP2019213755A (ja) * | 2018-06-14 | 2019-12-19 | オリンパス株式会社 | 表示画面生成装置、表示画面生成方法、及び表示画面生成プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1787574B1 (en) | Image display device, image display method, and image display program | |
EP1849401B1 (en) | Endoscope device | |
US20120200683A1 (en) | System for recording and reproducing images | |
JP4435029B2 (ja) | 内視鏡装置 | |
JP5331948B2 (ja) | 内視鏡システム | |
WO2004104921A2 (en) | System and method for automatic processing of endoscopic images | |
JP2001340292A (ja) | 電子内視鏡装置 | |
EP3534620A1 (en) | Signal processing device and method, and program | |
KR102650616B1 (ko) | 표시 제어 장치, 표시 제어 방법 및 표시 제어 프로그램 | |
JP5259032B2 (ja) | 画像処理装置 | |
JP2005211159A (ja) | 電子内視鏡装置 | |
JP5164310B2 (ja) | 内視鏡装置 | |
JP2005013409A (ja) | 内視鏡装置または内視鏡システム | |
JP4931189B2 (ja) | 電子内視鏡用プロセッサ | |
JP2006255108A (ja) | 内視鏡装置 | |
JP2001070241A (ja) | 画像処理装置 | |
JP2007111358A (ja) | ネットワーク接続装置 | |
JP4459564B2 (ja) | 画像信号処理装置を有する内視鏡システム | |
JP6045794B2 (ja) | 電子内視鏡システム | |
JP5832281B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、およびプログラム | |
JPH1199125A (ja) | 内視鏡画像ファイリングシステム | |
JP2001157200A (ja) | 内視鏡システム | |
JP2009112507A (ja) | 情報制御方法及び装置、並びに内視鏡システム | |
JP4827414B2 (ja) | 電子内視鏡システムとファイリングシステム | |
JP2006061628A (ja) | データ生成装置、データ閲覧システム、データ生成方法およびデータ生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |