JP2004016282A

JP2004016282A - Image processor for endoscope

Info

Publication number: JP2004016282A
Application number: JP2002171592A
Authority: JP
Inventors: Nobuaki Akui; 安久井　伸章; Hiroyuki Kuroda; 黒田　宏之; Masahiro Kudo; 工藤　正宏; Shingo Nogami; 野上　慎吾; Kazuo Masu; 萬壽　和夫; Takashi Shioda; 塩田　敬司; Takechiyo Nakamitsu; 中満　竹千代; Susumu Takahashi; 高橋　進; Kazuo Morita; 森田　和雄; Takahiro Ogasaka; 小賀坂　高宏
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-06-12
Filing date: 2002-06-12
Publication date: 2004-01-22

Abstract

PROBLEM TO BE SOLVED: To realize an image processor for an endoscope which can reduce unnatural feeling of an observer in using an FMD. SOLUTION: The image processor (for the endoscope) 30 is provided with: an image memory 31 for storing endoscope image data; a head direction detection part 32 for detecting a direction of the head from an origin position set previously to the observer mounted with the FMD (face or head mounted display) 6; a variation determination part 33 for determining the variation in the direction of the head from the original position detected by this head direction detection part 32; an image segmenting position control part 34 for segmenting a part of image data stored in the image memory 31 in an area set in advance; an image magnification part 35 for magnify-processing the image data segmented by this image segmenting position control part 34; and an image switching part 36 which switches a video signal of the image data magnify-processed by the image magnification part 35 and a video signal of an endoscopic image obtained by the endoscope 2 based on the determined result of the variation determination part 33 for outputting it to the FMD 36. COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡用画像処理装置、更に詳しくは、内視鏡で得た内視鏡画像を顔面装着型映像表示装置に表示させる内視鏡用画像処理装置に関する。
【０００２】
【従来の技術】
近年、顔面に装着する顔面装着型映像表示装置は、ＦＭＤ（　Ｆａｃｅ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；ＨＭＤ（　Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ　）とも呼ばれる）と呼ばれ、ゴーグル型、眼鏡型の装置を使用者の顔面に装着し、ケーブルを介して送られてくる映像、音響を視聴するものであり、若年層を中心に使用されている。
【０００３】
また、上記ＦＭＤは、医療分野でも利用されている。これは、外科手術等の医療現場で、医師が患者の手術、治療部位に関する映像情報を見たり、内視鏡下外科手術等において、内視鏡画像をテレビモニタのかわりにＦＭＤでみることを目的としている。
【０００４】
一方、これに対して、上記ＦＭＤを用いない従来の内視鏡装置は、例えば、特開平９−２８６６３号公報に記載されているように、顔の移動量を検知し、顔の移動量に応じて内視鏡を移動制御する電動マニピュレータを用いたものが提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記ＦＭＤを備えた従来の内視鏡装置は、内視鏡で得た内視鏡画像を上記ＦＭＤの表示画面に表示させて内視鏡下外科手術等を行うと、使用中に顔を動かしても内視鏡が動いてなければ、上記ＦＭＤの表示画面に表示されている内視鏡画像が動かない。このため、上記ＦＭＤを備えた従来の内視鏡装置は、上記ＦＭＤ使用時の観察者に違和感が生じ、長時間の使用に適さない。
【０００６】
一方、上記特開平９−２８６６３号公報に記載の内視鏡装置は、上記電動マニピュレータを駆動する大掛かりな駆動機構と、この駆動機構を制御する制御装置が必要となる。このため、上記特開平９−２８６６３号公報に記載の内視鏡装置は、全体的に装置が大型化すると共に、高価になってしまう。
また、上記特開平９−２８６６３号公報に記載の内視鏡装置は、装置類の接続など、そのセットアップが煩雑であり、実際上、使い勝手が悪いものであった。
【０００７】
更にまた、上記特開平９−２８６６３号公報に記載の内視鏡装置は、顔の移動に伴い、内視鏡で得られる内視鏡画像の一部を切り出して拡大表示するようになっているが、元々の撮像手段に充分高画質のものを用いないと拡大表示した時の画質が劣るという問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたもので、ＦＭＤ使用時の観察者の違和感を軽減可能な内視鏡用画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明の内視鏡用画像処理装置は、内視鏡画像データを記憶する画像メモリと、顔面装着型映像表示装置を装着した観察者に対して予め設定した原点位置からの頭部方向を検知する頭部方向検知手段と、前記頭部方向検知手段で検知した原点位置からの頭部方向の変化量を判断する変化量判断手段と、前記画像メモリに記憶された画像データの一部を予め設定した領域で切り出す画像切出位置制御手段と、前記画像切出位置制御手段で切り出された画像データを画像処理する画像処理手段と、前記変化量判断手段の判断結果に基づき、前記画像処理手段で画像処理された画像データの映像信号と、内視鏡で得た内視鏡画像の映像信号とを切り換えて前記顔面装着型映像表示装置に出力する画像切換手段と、を具備したことを特徴としている。
この構成により、ＦＭＤ使用時の観察者の違和感を軽減可能な内視鏡用画像処理装置を実現する。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図４は、本発明の第１の実施の形態に係り、図１は本発明の第１の実施の形態を備えた内視鏡装置を示す全体構成図、図２は図１の頭部方向検知部を示す説明図、図３は図１の内視鏡用画像処理装置の動作を示すフローチャート、図４は図３のフローチャートに従ってＦＭＤの表示画面に表示される内視鏡画像を示す説明図であり、図４（ａ）はＦＭＤの表示画面に表示される内視鏡画像を示す説明図、図４（ｂ）はＦＭＤの表示画面に表示される拡大処理した内視鏡画像を示す説明図である。
【００１１】
図１に示すように本発明の第１の実施の形態を備えた内視鏡装置１は、光学式の硬性内視鏡（以下、単に内視鏡）２と、前記内視鏡２に照明光を供給する光源装置３と、前記内視鏡２に着脱自在に取り付けられ、この内視鏡２で得た内視鏡像を撮像する後述の撮像手段を内蔵する外付けテレビカメラ（以下、ＴＶカメラ）４と、このＴＶカメラ４の撮像手段から供給される撮像信号を信号処理して映像信号を生成する映像信号処理部５と、この映像信号処理部５で生成した映像信号を供給されて内視鏡画像を表示する顔面装着型映像表示装置であるＦＭＤ６とを有して構成される。
【００１２】
内視鏡２は、細長の挿入部１１と、この挿入部１１の後端に設けられた把持部１２と、この把持部１２の後端に設けられた接眼部１３とを有する。
【００１３】
内視鏡挿入部１１（内視鏡２の挿入部１１のこと）は、照明光を伝達するライトガイド１４が挿通されている。このライトガイド１４は、把持部１２に設けられたライトガイド口金１５に接続されるライトガイドケーブル１６を介して光源装置３に接続される。
【００１４】
そして、この光源装置３は、図示しない光源で発生した照明光をライトガイドケーブル１６の入射端面に入射する。そして、光源装置３からの照明光は、ライトガイドケーブル１６からライトガイド口金１５を経て内視鏡２内のライトガイド１４に伝達され、挿入部１１の先端部の照明窓に取り付けられたライトガイド先端面から体腔内患部の被検対象部位を照明する。
【００１５】
内視鏡挿入部１１の先端部は、照明窓に隣接して設けられた図示しない観察窓に対物光学系１７が取り付けられている。この対物光学系１７から取り込まれた被写体像は、像伝達手段であるリレーレンズ群１８によりその後端面側に伝達される。そして、リレーレンズ群１８で伝達された被写体像は、接眼部１３に設けた接眼光学系１９により拡大されて内視鏡像として観察可能になっている。尚、内視鏡２は、像伝達手段としてリレーレンズ群１８をイメージガイドに置き変えた軟性な挿入部１１を有する軟性内視鏡でも良い。
【００１６】
前記ＴＶカメラ４は、先端側にマウント部２０を有して内視鏡２の接眼部１３に着脱自在に装着できると共に、この後端に延出するカメラケーブル２１が前記映像信号処理部５に着脱自在に接続されるようになっている。このＴＶカメラ４は、内視鏡２の接眼部１３から供給される内視鏡像を結像する結像光学系２３と、この結像光学系の結像位置に撮像面を配置したＣＣＤ２４とが設けられている。
【００１７】
ＣＣＤ２４は、カメラケーブル２１に挿通される信号線が接続されている。前記ＴＶカメラ４のＣＣＤ２４と前記映像信号処理部５とは、カメラケーブル２１がＣＣＵ５に接続されると、信号線を介して電気的に接続される。
【００１８】
そして、ＴＶカメラ４は、内視鏡２の接眼部１３に着脱自在に取り付けられると、この内視鏡接眼部１３から供給される内視鏡像をＣＣＤ２４が撮像して光電変換し、撮像信号を生成する。生成された撮像信号は、信号線を介して前記映像信号処理部５に出力され、この映像信号処理部５で信号処理されて標準的な映像信号が生成される。生成された映像信号は、前記ＦＭＤ６に出力され、このＦＭＤ６で内視鏡画像として表示される。
【００１９】
ここで、従来の内視鏡装置は、内視鏡で得た内視鏡画像を前記ＦＭＤ６の表示画面に表示させて内視鏡下外科手術等を行うと、使用中に顔を動かしても内視鏡を動かさない限り、前記ＦＭＤ６の表示画面に表示されている内視鏡画像が動かない。このため、前記ＦＭＤ６を備えた従来の内視鏡装置は、前記ＦＭＤ６使用時の観察者に違和感が生じ、長時間の使用に適さない。
そこで、本実施の形態では、ＦＭＤ使用時の観察者の違和感を軽減可能な内視鏡用画像処理装置（以下、単に画像処理装置）３０を設ける。
【００２０】
即ち、この画像処理装置３０は、前記映像信号処理部５からの前記内視鏡２で得た内視鏡画像データを記憶する画像メモリ３１と、前記ＦＭＤ６を装着した観察者に対して予め設定した原点位置からの頭部方向を検知する頭部方向検知部３２と、この頭部方向検知部３２で検知した原点位置からの頭部方向の変化量を算出すると共に、この算出した変化量の絶対値が所定の閾値を超えたか否かを判断する変化量判断部３３と、前記頭部方向検知部３２で検知した原点位置からの頭部方向に基づき、前記画像メモリ３１に記憶された画像データの一部を予め設定した領域で切り出す画像切出位置制御部３４と、この画像切出位置制御部３４で切り出された画像データを画像処理として拡大処理する画像拡大部３５と、前記変化量判断部３３の判断結果に基づき、前記画像拡大部３５で拡大処理された画像データの映像信号と、前記映像信号処理部５からの前記内視鏡２で得た内視鏡画像の映像信号とを切り換えて前記ＦＭＤ６に出力する画像切換部３６とから構成される。
【００２１】
前記画像メモリ３１は、前記映像信号処理部５からの前記内視鏡２で得た被検体部位の最新の内視鏡画像データを常時更新・記憶するようになっている。
前記頭部方向検知部３２は、図２に示すように前記ＦＭＤ６に固定されるセンスコイル３２ａと、定位置に固定されるソースコイル３２ｂとが設けられている。これらセンスコイル３２ａ及びソースコイル３２ｂは、３つの直交する軸（Ｘ軸、Ｙ軸、Ｚ軸）回りに巻いたコイルにより形成されている。これらセンスコイル３２ａ及びソースコイル３２ｂは、相互インダクタンスにより三次元的位置関係を検出可能に構成されている。
【００２２】
従って、前記ソースコイル３２ｂは、センスコイル３２ａの三次元的位置を検知することで、観察者の頭部方向を検知することが可能となっている。このソースコイル３２ｂで検知したセンスコイル３２ａの三次元的位置データは、頭部方向の位置データとして前記変化量判断部３３に出力されるようになっている。
【００２３】
ここで、頭部方向は、例えば、内視鏡の軸方向に顔を向けたときを原点位置として予め設定し、この原点座標軸のＸ軸，Ｙ軸，Ｚ軸に対する軸回りの回転方向を表すものとする。例えば、Ｚ軸回りの回転方向は、頭部の左右方向を表し、Ｙ軸回りの回転方向は、頭部の上下方向を表し、Ｘ軸回りの回転方向は、頭部の傾き方向を表している。
本実施の形態では、頭部方向として特に、Ｙ軸・Ｚ軸回りの回転方向である頭部の上下左右方向を用いて説明する。
【００２４】
前記変化量判断部３３は、前記頭部方向検知部３２からの頭部方向の位置データに基づき、頭部方向の原点位置からの変化量を算出するようになっている。そして、前記変化量判断部３３は、算出した頭部方向の原点位置からの変化量データを前記画像切出位置制御部３４に出力するようになっている。
【００２５】
また、前記変化量判断部３３は、算出した頭部方向の原点位置からの変化量の絶対値が所定の閾値を超えたか否かを判断すると共に、この判断結果を前記画像切換部３６に出力するようになっている。尚、本実施の形態では、前記変化量判断部３３は、所定の閾値として１５°を設定している。
【００２６】
前記画像切出位置制御部３４は、前記頭部方向検知部３２で検知した原点位置からの頭部方向の変化量に応じて予め設定した、前記画像メモリ３１に記憶されている画像データの一部の領域を切り出すようになっている。
【００２７】
尚、前記画像切出位置制御部３４は、図示しない領域設定入力手段により、予め設定した領域を設定入力するようになっている。このことにより、前記画像切出位置制御部３４は、例えば、観察者が頭部を左右方向に回動させることによって、予め設定した領域が前記画像メモリ３１に記憶されている画像データから切り出されるようになっている。また、前記画像切出位置制御部３４は、図示しない領域設定入力手段を設けずとも、予め製造側で切り出す領域を設定するようにしても良い。
【００２８】
尚、このとき切り出される画像データは、領域の大きさが例えば、縦横比（アスペクト比）を内視鏡画像と同じで且つ内視鏡画像の１５分の１の大きさに設定されている。また、この領域の大きさ設定は、図示しないキーボード等の入力手段により変更可能である。
そして、画像切出位置制御部３４は、切り出した内視鏡画像の画像データを前記画像拡大部３５に出力するようになっている。
【００２９】
前記画像拡大部３５は、前記画像切出位置制御部３４からの内視鏡画像の画像データを補間伸張して、前記ＦＭＤ６の表示画面いっぱいに表示可能な大きさとなるように前記ＦＭＤ６の表示画面の縦横比と同じ縦横比に拡大処理するようになっている。そして、画像拡大部３５は、拡大処理した画像データの映像信号を前記画像切換部３６に出力するようになっている。
【００３０】
前記画像切換部３６は、前記変化量判断部３３の判断結果に基づき、頭部方向の変化量の絶対値が所定の閾値以下のとき、前記映像信号処理部５からの前記内視鏡２で得た内視鏡画像の映像信号に切り換え、頭部方向の変化量の絶対値が所定値を超えるとき、前記画像拡大部３５で拡大処理された映像信号に切り換えるようになっている。
【００３１】
このように構成される画像処理装置３０を設けた内視鏡装置１を用いて、内視鏡検査等を行う。観察者は、図１で説明したように内視鏡装置１を構成し、内視鏡２の把持部１２を把持してこの内視鏡挿入部１１を患者の体腔内に挿入して内視鏡画像を得る。このとき、観察者は、顔面にＦＭＤ６を装着して、ＦＭＤ６の表示画面に表示される被検対象部位の内視鏡画像を見ながら内視鏡検査等を行う。
【００３２】
内視鏡装置１は、映像信号処理部５で信号処理された映像信号がＦＭＤ６に出力され、図４（ａ）に示すようにこのＦＭＤ６の表示画面に内視鏡画像４１として表示される。そして、図３に示すフローチャートに従って、画像処理装置３０は頭部方向の画像制御を行う。
【００３３】
図３に示すようにＦＭＤ６を装着した観察者は、先ず原点位置としての頭部方向を内視鏡挿入部の挿入方向に合わせて頭部方向検知部３２に設定（セット）し、記憶させる（ステップＳ１）。そして、画像メモリ３１は、映像信号処理部５からの内視鏡２で得た内視鏡画像データを常時更新・記憶する。
【００３４】
そして、術中に観察者が頭部を上下左右方向に動かすと、頭部方向検知部３２は、ソースコイル３２ｂがセンスコイル３２ａの三次元的位置を検知することで、観察者の頭部方向（上下左右方向）を検知する。そして、このソースコイル３２ｂで検知したセンスコイル３２ａの三次元的位置データは、頭部方向の位置データとして変化量判断部３３に出力される。
【００３５】
変化量判断部３３は、頭部方向検知部３２からの頭部方向の位置データに基づき、頭部方向の変化量を検出する（ステップＳ２）。そして、変化量判断部３３は、頭部方向の変化量の絶対値が所定の閾値、例えば、１５°を超えたか否かを判断する（ステップＳ３）。そして、変化量判断部３３は、判断結果を画像切換部３６に出力する。
【００３６】
一方、画像切出位置制御部３４は、前記頭部方向検知部３２で検知した原点位置からの頭部方向の変化量に応じて予め設定した、前記画像メモリ３１に記憶されている画像データの一部の領域、例えば、縦横比が内視鏡画像４１と同じで且つ内視鏡画像４１の１５分の１の大きさで、小画像部分４２の位置の画像データを切り取り（ステップＳ４）、この切り出した小画像部分４２の画像データを画像拡大部３５に出力する。
【００３７】
そして、画像拡大部３５は、画像切出位置制御部３４からの小画像部分４２の画像データを補間伸張して、図４（ｂ）に示すようにＦＭＤ６の表示画面いっぱいに表示可能な大きさとなるようにＦＭＤ６の表示画面の縦横比と同じ縦横比に拡大処理する（ステップＳ５）。そして、画像拡大部３５は、拡大処理した画像データの映像信号を画像切換部３６に出力する。
【００３８】
画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向の変化量の絶対値が１５°より大きくなると画像拡大部３５で拡大処理された映像信号に切り換えてＦＭＤ６に出力する（ステップＳ６）。すると、図４（ｂ）に示すようにＦＭＤ６は、この表示画面に拡大処理された拡大画像４３が表示される。
【００３９】
一方、画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向の変化量の絶対値が１５°以下である場合、映像信号処理部５からの内視鏡２で得た内視鏡画像の映像信号に切り換えてＦＭＤ６に出力する（ステップＳ７）。すると、上述した図４（ａ）に示すようにＦＭＤ６は、表示画面に内視鏡画像４１が表示される。
尚、頭部の変化方向は、画像切出位置の移動方向と等しいとして、頭部方向の変化量と画像切出位置の移動量との関係は違和感の無いように任意に決めることができる。
【００４０】
この結果、本実施の形態の画像処理装置３０は、ＦＭＤ６を装着した観察者が顔（頭部）を大きく動かすと、このＦＭＤ６の表示画面に表示される内視鏡画像が予め設定された領域の拡大画像を表示し、再び顔を正しい方向に向ければ通常の内視鏡画像が観察できる。
【００４１】
従って、本実施の形態の画像処理装置３０は、ＦＭＤ使用時の観察者の違和感を軽減することが可能である。
これにより、本実施の形態の画像処理装置３０は、内視鏡２やＴＶカメラ４を従来のものがそのまま使用できるので、コストを抑えることができる。
【００４２】
尚、本実施の形態の内視鏡装置１は、光学式の内視鏡２を用いて構成しているが、撮像素子を内蔵した電子内視鏡を用いて構成した内視鏡装置に本発明を適用しても構わない。
【００４３】
（第２の実施の形態）
図５ないし図８は、本発明の第２の実施の形態に係り、図５は本発明の第２の実施の形態を備えた内視鏡装置を示す全体構成図、図６は図５の内視鏡用画像処理装置の動作を示すフローチャート、図７は図６のフローチャートに従ってＦＭＤの表示画面に表示される内視鏡画像を示す説明図であり、図７（ａ）はＦＭＤの表示画面に表示される内視鏡画像を示す説明図、図７（ｂ）はＦＭＤの表示画面に表示される表示処理及び黒信号処理した内視鏡画像を示す説明図、図８は本実施の形態の変形例を示すＦＭＤの表示画面に表示される内視鏡画像を示す説明図であり、図８（ａ）はＦＭＤの表示画面に表示される内視鏡画像を示す説明図、図８（ｂ）はＦＭＤの表示画面に表示される頭部傾きに応じた表示処理及び黒信号処理した内視鏡画像を示す説明図である。
【００４４】
上記第１の実施の形態は、前記画像切出位置制御部３４で切り出された画像データを画像処理として拡大処理する画像拡大部３５を設けて構成しているが、本第２の実施の形態は、前記画像切出位置制御部３４で切り出された画像データを頭部方向に応じた表示位置にする表示処理及びこの表示処理による画像部分の周囲を黒信号で覆う黒信号処理を行うように構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００４５】
即ち、図５に示すように本発明の第２の実施の形態を備えた内視鏡装置１Ｂは、前記画像拡大部３５の代わりに表示位置制御部及び黒信号合成部５１を設けた画像処理装置３０Ｂを有して構成される。
【００４６】
前記表示位置制御部及び黒信号合成部５１は、前記画像切出位置制御部３４Ｂで切り出された画像データを頭部方向に応じた表示位置にする表示処理及びこの表示処理による画像部分の周囲を黒信号で覆う黒信号処理を行うようになっている。
【００４７】
更に、具体的に説明すると、頭部方向を右下に向けた場合、前記表示位置制御部及び黒信号合成部５１は、前記画像切出位置制御部３４Ｂで切り出された画像データを倍率の変更無く、ＦＭＤ６の表示画面の左辺と上辺とに、切り出し線、つまり、前記画像切出位置制御部３４Ｂで切り出された画像データの左辺と上辺とがそれぞれ接するように表示処理すると共に、且つこの表示処理をした画像において、切り出し線で切り出された画像部分の周囲を黒信号で覆う黒信号処理を行うようになっている。
それ以外の頭部方向検知部３２、変化量判断部３３、画像切換部３６は、上記第１の実施の形態で説明したのと同様である。
【００４８】
このように構成される内視鏡用画像処理装置を設けた内視鏡装置１Ｂを用いて、上記第１の実施の形態で説明したのと同様に観察者は、顔面にＦＭＤ６を装着し、ＦＭＤ６の表示画面に表示される被検対象部位の内視鏡画像を見ながら内視鏡検査等を行う。
【００４９】
内視鏡装置１Ｂは、映像信号処理部５で信号処理された映像信号がＦＭＤ６に出力され、図７（ａ）に示すようにこのＦＭＤ６の表示画面に内視鏡画像４１として表示される。そして、図６に示すフローチャートに従って、画像処理装置３０Ｂは頭部方向の画像制御を行う。
【００５０】
図６に示すようにＦＭＤ６を装着した観察者は、先ず原点位置としての頭部方向を内視鏡挿入部の挿入方向に合わせて頭部方向検知部３２に設定（セット）し、記憶させる（ステップＳ１１）。このとき、画像メモリ３１は、映像信号処理部５からの内視鏡２で得た最新の内視鏡画像データを常時更新・記憶する。
そして、術中に観察者が頭部を左右方向に動かすと、頭部方向検知部３２は、観察者の頭部方向（左右方向）を検知して、頭部方向の位置データを変化量判断部３３に出力する。
【００５１】
変化量判断部３３は、頭部方向検知部３２からの頭部方向の位置データに基づき、頭部方向の変化量を検出する（ステップＳ１２）。そして、変化量判断部３３は、頭部方向の変化量の絶対値が所定の閾値、例えば、１５°を超えたか否かを判断する（ステップＳ１３）。そして、変化量判断部３３は、判断結果を画像切換部３６に出力する。
【００５２】
一方、画像切出位置制御部３４Ｂは、前記頭部方向検知部３２で検知した原点位置からの頭部方向の変化量に応じて予め設定した、前記画像メモリ３１に記憶されている画像データの一部の領域である、小画像部分５２の位置の画像データを切り取り（ステップＳ１４）、この切り出した小画像部分５２の位置の画像データを表示位置制御部及び黒信号合成部５１に出力する。
【００５３】
そして、表示位置制御部及び黒信号合成部５１は、図７（ｂ）に示すように、頭部方向を右下に向けた場合は、画像切出位置制御部３４Ｂからの小画像部分５２の画像データを倍率の変更無く、ＦＭＤ６の表示画面の左辺と上辺とに、切り出し線、つまり、前記画像切出位置制御部３４Ｂで切り出された画像データの左辺と上辺とがそれぞれ接するように表示処理する。この際の表示処理は、一般的には、切り出された画像の切り出し線に対応する表示画像の同じ側の辺に、切り出し線が接するようにしている。そして、これと共に、この表示処理をした画像部分の周囲を黒信号で覆う黒信号処理を行う（ステップＳ１５）。そして、表示位置制御部及び黒信号合成部５１は、表示処理及び黒信号処理した画像データの映像信号を画像切換部３６に出力する。
【００５４】
画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向の変化量の絶対値が１５°より大きくなると表示位置制御部及び黒信号合成部５１で表示処理及び黒信号処理された映像信号に切り換えてＦＭＤ６に出力する（ステップＳ１６）。すると、図７（ｂ）に示すようにＦＭＤ６は、この表示画面の画面枠と重なる位置に倍率の変更無く、その他の部分は黒画像に覆われた処理画像５３が表示される。
【００５５】
一方、画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向の変化量の絶対値が１５°以下である場合、映像信号処理部５からの内視鏡２で得た内視鏡画像の映像信号に切り換えてＦＭＤ６に出力する（ステップＳ１７）。すると、上述した図７（ａ）に示すようにＦＭＤ６は、表示画面に内視鏡画像４１が表示される。
尚、頭部方向の変化量と切り出し線の移動量との関係は、違和感のないように任意に決めることができる。
【００５６】
この結果、本実施の形態の画像処理装置３０Ｂは、上記第１の実施の形態とほぼ同様な効果を得ることに加え、切り換わった画像の倍率が変わらないので良好な処理画像がＦＭＤ６の表示画面に表示可能である。
【００５７】
尚、上記第１，第２の実施の形態では、頭部方向としてＹ軸・Ｚ軸回りの回転方向である頭部の上下左右方向を用いて説明しているが、前記頭部方向検知部３２の検出により、Ｘ軸回りの回転方向である頭部の傾き方向も検知できる。このため、画像処理装置３０Ｂは、頭部方向として前記頭部方向検知部３２で検出した頭部の傾き方向をも用いて表示処理を行うように構成しても良い。
【００５８】
即ち、前記変化量判断部３３は、前記頭部方向検知部３２からの頭部の傾き方向の位置データに基づき、傾きの変化量の絶対値が所定の閾値を超えたか否かを判断するようになっている。
【００５９】
前記画像切出位置制御部３４Ｂは、前記頭部方向検知部３２で検知した原点位置からの頭部傾き方向の変化量に応じて予め設定した、前記画像メモリ３１に記憶されている画像データの一部の領域を切り出すようになっている。尚、この切り出す領域は、例えば、縦横比（アスペクト比）及び大きさが内視鏡画像と同じに設定されている。
【００６０】
前記表示位置制御部及び黒信号合成部５１は、前記画像切出位置制御部３４Ｂで切り出された画像データを倍率の変更無く、更に頭の傾いた角度と同じ角度だけ傾けてＦＭＤ６の表示画面の４辺に切り出し線がそれぞれ接するように表示処理すると共に、且つこの表示処理をした画像において、切り出し線で切り出された画像部分の周囲を黒信号で覆う黒信号処理を行うようになっている。
【００６１】
前記画像切換部３６は、前記変化量判断部３３の判断結果に基づき、頭部の傾き方向の変化量の絶対値が所定の閾値以下のとき、前記映像信号処理部５からの前記内視鏡２で得た内視鏡画像の映像信号に切り換え、頭部の傾き方向の変化量の絶対値が所定値を超えるとき、前記表示位置制御部及び黒信号合成部５１で黒信号処理された映像信号に切り換えるようになっている。
【００６２】
このように構成される内視鏡用画像処理装置を設けた内視鏡装置１Ｂを用いて、観察者は、顔面にＦＭＤ６を装着し、ＦＭＤ６の表示画面に表示される被検対象部位の内視鏡画像を見ながら内視鏡検査等を行う。
【００６３】
内視鏡装置１Ｂは、映像信号処理部５で信号処理された映像信号がＦＭＤ６に出力され、図８（ａ）に示すようにこのＦＭＤ６の表示画面に内視鏡画像４１として表示される。
【００６４】
上記第２の実施の形態で説明したのと同様にＦＭＤ６を装着した観察者は、先ず原点位置としての頭部方向を内視鏡挿入部の挿入方向に合わせて頭部方向検知部３２に設定（セット）し、記憶させる。
そして、術中に観察者が頭部を傾かせると、頭部方向検知部３２は、観察者の頭部方向（傾き方向）を検知して、頭部方向（傾き方向）の位置データを変化量判断部３３に出力する。
【００６５】
変化量判断部３３は、頭部方向検知部３２からの頭部方向（傾き方向）の位置データに基づき、頭部方向（傾き方向）の変化量を検出する。そして、変化量判断部３３は、頭部方向（傾き方向）の変化量の絶対値が所定の閾値、例えば、１５°を超えたか否かを判断する。そして、変化量判断部３３は、判断結果を画像切換部３６に出力する。
【００６６】
一方、画像切出位置制御部３４Ｂは、前記頭部方向検知部３２で検知した原点位置からの頭部方向（傾き方向）の変化量に応じて予め傾きを切り出し線５４で囲まれた位置の、前記画像メモリ３１に記憶されている画像データの一部の領域である画像データを切り取り、この切り出し線５４で切り出された画像データを表示位置制御部及び黒信号合成部５１に出力する。尚、切り出し線５４で切り出される画像には、内視鏡画像４１からはみ出る領域が仮想的に設定される。
【００６７】
そして、表示位置制御部及び黒信号合成部５１は、図８（ｂ）に示すように画像切出位置制御部３４Ｂからの画像部分５４の画像データを倍率の変更無く、ＦＭＤ６の表示画面の４辺に切り出し線５４の４辺がそれぞれ接するように、画像を頭部方向（傾き方向）に応じた角度の分だけ回転させて表示処理すると共に、且つこの表示処理をした画像において、切り出し線５４で切り出された画像部分の周囲を黒信号で覆う黒信号処理を行う。そして、表示位置制御部及び黒信号合成部５１は、表示処理及び黒信号処理した画像データの映像信号を画像切換部３６に出力する。
【００６８】
画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向（傾き方向）の変化量の絶対値が１５°より大きくなると表示位置制御部及び黒信号合成部５１で表示処理及び黒信号処理された映像信号に切り換えてＦＭＤ６に出力する。すると、ＦＭＤ６には、図８（ｂ）に示すような処理画像５５が表示される。
【００６９】
一方、画像切換部３６は、変化量判断部３３の判断結果に基づき、頭部方向傾き方向）の変化量の絶対値が１５°以下である場合、映像信号処理部５からの内視鏡２で得た内視鏡画像の映像信号に切り換えてＦＭＤ６に出力する。すると、上述した図８（ａ）に示すようにＦＭＤ６は、表示画面に内視鏡画像４１が表示される。
尚、図８（ｂ）に示すＦＭＤ６の表示画面は、術中に観察者が頭部を例えば、右に傾けて閾値１５°を超えた際に、表示位置制御部及び黒信号合成部５１からの映像信号に切り換わったときの画像を示している。
【００７０】
この結果、本変形例の画像処理装置３０Ｂは、上記第２の実施の形態の効果に加え、更に違和感無く良好な観察画像がＦＭＤ６の表示画面に表示可能である。
また、本発明は、以上述べた実施の形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【００７１】
［付記］
（付記項１）　内視鏡画像データを記憶する画像メモリと、
顔面装着型映像表示装置を装着した観察者に対して予め設定した原点位置からの頭部方向を検知する頭部方向検知手段と、
前記頭部方向検知手段で検知した原点位置からの頭部方向の変化量を判断する変化量判断手段と、
前記画像メモリに記憶された画像データの一部を予め設定した領域で切り出す画像切出位置制御手段と、
前記画像切出位置制御手段で切り出された画像データを画像処理する画像処理手段と、
前記変化量判断手段の判断結果に基づき、前記画像処理手段で画像処理された画像データの映像信号と、内視鏡で得た内視鏡画像の映像信号とを切り換えて前記顔面装着型映像表示装置に出力する画像切換手段と、
を具備したことを特徴とする内視鏡用画像処理装置。
【００７２】
（付記項２）　前記画像切換手段は、頭部方向の変化量の絶対値が所定値以下のとき、前記内視鏡で得た内視鏡画像の映像信号に切り換え、頭部方向の変化量の絶対値が所定値を超えるとき、前記画像処理手段で画像処理された画像データの映像信号に切り換えることを特徴とする付記項１に記載の内視鏡用画像処理装置。
【００７３】
（付記項３）　前記画像切出位置制御手段は、前記頭部方向検知手段で検知した原点位置からの頭部方向に基づき、前記画像メモリに記憶された画像データの一部を予め設定した領域で切り出すことを特徴とする付記項１に記載の内視鏡用画像処理装置。
【００７４】
（付記項４）　前記画像処理手段は、前記画像切出位置制御手段で切り出された画像データを拡大処理することを特徴とする付記項１又は２又は３に記載の内視鏡用画像処理装置。
【００７５】
（付記項５）　前記画像処理手段は、前記画像切出位置制御手段で切り出された画像データを頭部方向に応じた表示位置にする表示処理及びこの表示処理による画像部分の周囲を黒信号で覆う黒信号処理を行うことを特徴とする付記項１又は２又は３に記載の内視鏡用画像処理装置。
【００７６】
（付記項６）　前記画像処理手段は、前記拡大処理を前記顔面装着型映像表示装置の表示画面の縦横比と同じ縦横比にすることを特徴とする付記項４に記載の内視鏡用画像処理装置。
【００７７】
（付記項７）　体腔内に挿入される内視鏡と、
前記内視鏡からの撮像信号を信号処理して内視鏡画像を得る映像信号処理手段と、
内視鏡画像データを記憶する画像メモリと、
顔面装着型映像表示装置を装着した観察者に対して予め設定した原点位置からの頭部方向を検知する頭部方向検知手段と、
前記頭部方向検知手段で検知した原点位置からの頭部方向の変化量を判断する変化量判断手段と、
前記画像メモリに記憶された画像データの一部を予め設定した領域で切り出す画像切出位置制御手段と、
前記画像切出位置制御手段で切り出された画像データを画像処理する画像処理手段と、
前記変化量判断手段の判断結果に基づき、前記画像処理手段で画像処理された画像データの映像信号と、内視鏡で得た内視鏡画像の映像信号とを切り換えて前記顔面装着型映像表示装置に出力する画像切換手段と、
を具備したことを特徴とする内視鏡装置。
【００７８】
（付記項８）　前記画像切換手段は、頭部方向の変化量の絶対値が所定値以下のとき、前記内視鏡で得た内視鏡画像の映像信号に切り換え、頭部方向の変化量の絶対値が所定値を超えるとき、前記画像処理手段で画像処理された画像データの映像信号に切り換えることを特徴とする付記項７に記載の内視鏡装置。
【００７９】
（付記項９）　前記画像切出位置制御手段は、前記頭部方向検知手段で検知した原点位置からの頭部方向に基づき、前記画像メモリに記憶された画像データの一部を予め設定した領域で切り出すことを特徴とする付記項７に記載の内視鏡装置。
【００８０】
（付記項１０）　前記画像処理手段は、前記画像切出位置制御手段で切り出された画像データを拡大処理することを特徴とする付記項７又は８又は９に記載の内視鏡装置。
【００８１】
（付記項１１）　前記画像処理手段は、前記画像切出位置制御手段で切り出された画像データを頭部方向に応じた表示位置にする表示処理及びこの表示処理による画像部分の周囲を黒信号で覆う黒信号処理を行うことを特徴とする付記項７又は８又は９に記載の内視鏡装置。
【００８２】
（付記項１２）　前記画像処理手段は、前記拡大処理を前記顔面装着型映像表示装置の表示画面の縦横比と同じ縦横比にすることを特徴とする付記項１０に記載の内視鏡装置。
【００８３】
【発明の効果】
以上説明したように本発明によれば、ＦＭＤ使用時の観察者の違和感を軽減可能な内視鏡用画像処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を備えた内視鏡装置を示す全体構成図
【図２】図１の頭部方向検知部を示す説明図
【図３】図１の内視鏡用画像処理装置の動作を示すフローチャート
【図４】図３のフローチャートに従ってＦＭＤの表示画面に表示される内視鏡画像を示す説明図
【図５】本発明の第２の実施の形態を備えた内視鏡装置を示す全体構成図
【図６】図５の内視鏡用画像処理装置の動作を示すフローチャート
【図７】図６のフローチャートに従ってＦＭＤの表示画面に表示される内視鏡画像を示す説明図
【図８】本実施の形態の変形例を示すＦＭＤの表示画面に表示される内視鏡画像を示す説明図
【符号の説明】
１…内視鏡装置
２…内視鏡
４…ＴＶカメラ
５…映像信号処理部
６…ＦＭＤ（顔面装着型映像表示装置）
３０…内視鏡用画像処理装置
３１…画像メモリ
３２…頭部方向検知部
３３…変化量判断部
３４…画像切出位置制御部
３５…画像拡大部
３６…画像切換部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device for an endoscope, and more particularly, to an image processing device for an endoscope that displays an endoscope image obtained by an endoscope on a face-mounted video display device.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a face-mounted image display device mounted on a face is called an FMD (Face Mounted Display; also referred to as an HMD (Head Mounted Display)), and a goggle-type or glasses-type device is mounted on a user's face, and a cable is mounted. It is used to watch video and sound transmitted via the Internet, and is used mainly by young people.
[0003]
The FMD is also used in the medical field. This means that doctors can view video information on patients' operations and treatment sites at medical sites such as surgical operations, and see endoscope images on FMD instead of TV monitors in endoscopic surgical operations. The purpose is.
[0004]
On the other hand, a conventional endoscope apparatus that does not use the FMD detects a face movement amount, for example, as described in Japanese Patent Application Laid-Open No. 9-28663. An apparatus using an electric manipulator that controls the movement of an endoscope in response to the request has been proposed.
[0005]
[Problems to be solved by the invention]
However, the conventional endoscope apparatus provided with the above-mentioned FMD displays an endoscope image obtained by the endoscope on the display screen of the above-mentioned FMD and performs a surgical operation under the endoscope. If the endoscope does not move even if is moved, the endoscope image displayed on the display screen of the FMD does not move. For this reason, the conventional endoscope apparatus provided with the above-mentioned FMD gives a sense of incongruity to the observer when using the above-mentioned FMD, and is not suitable for long-time use.
[0006]
On the other hand, the endoscope device described in JP-A-9-28663 requires a large-scale drive mechanism for driving the electric manipulator, and a control device for controlling the drive mechanism. For this reason, the endoscope device described in Japanese Patent Application Laid-Open No. 9-28663 is bulky and expensive as a whole.
In addition, the endoscope device described in the above-mentioned Japanese Patent Application Laid-Open No. 9-28663 has a complicated setup such as connection of devices, and is actually inconvenient.
[0007]
Furthermore, the endoscope apparatus described in Japanese Patent Application Laid-Open No. 9-28663 is configured to cut out a part of an endoscope image obtained by the endoscope and display it in an enlarged manner as the face moves. However, there is a problem that the image quality at the time of enlarged display is inferior unless an original image pickup means having a sufficiently high image quality is used.
[0008]
The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an endoscope image processing apparatus capable of reducing an uncomfortable feeling of an observer when using an FMD.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus for an endoscope according to the present invention includes: an image memory for storing endoscope image data; and an origin position preset for an observer wearing a face-mounted image display device. A head direction detecting means for detecting a head direction from the head, a change amount determining means for determining a change amount in the head direction from the origin position detected by the head direction detecting means, and a change amount stored in the image memory. Image cutout position control means for cutting out a part of the image data in a preset area; image processing means for performing image processing on the image data cut out by the image cutout position control means; Image switching means for switching between a video signal of image data image-processed by the image processing means and a video signal of an endoscope image obtained by an endoscope and outputting the video signal to the face-mounted video display device. With It is characterized in that.
With this configuration, an image processing apparatus for an endoscope that can reduce the discomfort of the observer when using the FMD is realized.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
1 to 4 relate to a first embodiment of the present invention. FIG. 1 is an overall configuration diagram showing an endoscope apparatus provided with the first embodiment of the present invention, and FIG. FIG. 3 is a flowchart showing the operation of the image processing apparatus for an endoscope in FIG. 1, and FIG. 4 is a diagram showing an endoscope image displayed on a display screen of an FMD according to the flowchart in FIG. 4A is an explanatory diagram showing an endoscope image displayed on the FMD display screen, and FIG. 4B is an enlarged endoscope image displayed on the FMD display screen. FIG.
[0011]
As shown in FIG. 1, an endoscope apparatus 1 having a first embodiment of the present invention includes an optical rigid endoscope (hereinafter simply referred to as an endoscope) 2 and illumination of the endoscope 2. A light source device 3 for supplying light, and an external television camera (hereinafter referred to as a TV) which is detachably attached to the endoscope 2 and incorporates an image pickup unit to be described later for picking up an endoscope image obtained by the endoscope 2. Camera) 4, a video signal processing unit 5 that processes an image signal supplied from an imaging unit of the TV camera 4 to generate a video signal, and a video signal generated by the video signal processing unit 5. And an FMD 6 which is a face-mounted image display device for displaying an endoscope image.
[0012]
The endoscope 2 has an elongated insertion portion 11, a grip portion 12 provided at a rear end of the insertion portion 11, and an eyepiece portion 13 provided at a rear end of the grip portion 12.
[0013]
A light guide 14 that transmits illumination light is inserted through the endoscope insertion section 11 (the insertion section 11 of the endoscope 2). The light guide 14 is connected to the light source device 3 via a light guide cable 16 that is connected to a light guide base 15 provided on the grip 12.
[0014]
Then, the light source device 3 causes illumination light generated by a light source (not shown) to be incident on the incident end face of the light guide cable 16. The illumination light from the light source device 3 is transmitted from the light guide cable 16 to the light guide 14 in the endoscope 2 via the light guide base 15, and is attached to the illumination window at the distal end of the insertion section 11. The distal end surface illuminates the target site of the affected part in the body cavity.
[0015]
At the distal end of the endoscope insertion section 11, an objective optical system 17 is attached to an observation window (not shown) provided adjacent to the illumination window. The subject image captured from the objective optical system 17 is transmitted to the rear end face side by a relay lens group 18 which is an image transmission means. The subject image transmitted by the relay lens group 18 is enlarged by an eyepiece optical system 19 provided in the eyepiece unit 13 and can be observed as an endoscope image. Note that the endoscope 2 may be a flexible endoscope having a flexible insertion portion 11 in which the relay lens group 18 is replaced with an image guide as an image transmission unit.
[0016]
The TV camera 4 has a mount section 20 on the distal end side and can be detachably mounted on the eyepiece section 13 of the endoscope 2. A camera cable 21 extending to the rear end is connected to the video signal processing section 5. It is designed to be detachably connected to The TV camera 4 includes an imaging optical system 23 for imaging an endoscope image supplied from the eyepiece unit 13 of the endoscope 2, a CCD 24 having an imaging surface arranged at an imaging position of the imaging optical system, and Is provided.
[0017]
The CCD 24 is connected to a signal line inserted into the camera cable 21. When the camera cable 21 is connected to the CCU 5, the CCD 24 of the TV camera 4 and the video signal processing unit 5 are electrically connected via a signal line.
[0018]
When the TV camera 4 is detachably attached to the eyepiece 13 of the endoscope 2, the CCD 24 picks up an endoscope image supplied from the endoscope eyepiece 13 and performs photoelectric conversion on the image. Generate a signal. The generated image signal is output to the video signal processing unit 5 via a signal line, and is processed by the video signal processing unit 5 to generate a standard video signal. The generated video signal is output to the FMD 6 and displayed on the FMD 6 as an endoscope image.
[0019]
Here, the conventional endoscope apparatus displays an endoscope image obtained by the endoscope on the display screen of the FMD 6 and performs an endoscopic surgery or the like. Unless the endoscope is moved, the endoscope image displayed on the display screen of the FMD 6 does not move. For this reason, the conventional endoscope apparatus provided with the FMD6 causes an uncomfortable feeling to the observer when using the FMD6, and is not suitable for long-time use.
Therefore, in the present embodiment, an image processing device for an endoscope (hereinafter, simply referred to as an image processing device) 30 capable of reducing the discomfort of the observer when using the FMD is provided.
[0020]
That is, the image processing apparatus 30 has an image memory 31 for storing the endoscope image data obtained by the endoscope 2 from the video signal processing unit 5 and a preset memory for the observer wearing the FMD 6. A head direction detecting unit 32 for detecting the head direction from the origin position thus calculated, and a change amount in the head direction from the origin position detected by the head direction detecting unit 32 is calculated. An image stored in the image memory 31 based on a change amount determining unit 33 that determines whether an absolute value exceeds a predetermined threshold value and a head direction from an origin position detected by the head direction detecting unit 32. An image cutout position control unit 34 for cutting out a part of the data in a preset area, an image enlargement unit 35 for enlarging the image data cut out by the image cutout position control unit 34 as image processing; Judgment of judgment part 33 On the basis of the result, the video signal of the image data enlarged by the image enlargement unit 35 and the video signal of the endoscope image obtained by the endoscope 2 from the video signal processing unit 5 are switched and the FMD 6 And an image switching unit 36 that outputs the image data to
[0021]
The image memory 31 is configured to constantly update and store the latest endoscope image data of the subject region obtained by the endoscope 2 from the video signal processing unit 5.
As shown in FIG. 2, the head direction detection unit 32 includes a sense coil 32a fixed to the FMD 6, and a source coil 32b fixed at a fixed position. The sense coil 32a and the source coil 32b are formed by coils wound around three orthogonal axes (X axis, Y axis, Z axis). The sense coil 32a and the source coil 32b are configured to be able to detect a three-dimensional positional relationship by mutual inductance.
[0022]
Therefore, the source coil 32b can detect the head direction of the observer by detecting the three-dimensional position of the sense coil 32a. The three-dimensional position data of the sense coil 32a detected by the source coil 32b is output to the change amount determination unit 33 as head-direction position data.
[0023]
Here, the head direction is, for example, preset when the face is turned in the axial direction of the endoscope as an origin position, and represents a rotation direction around the X-axis, Y-axis, and Z-axis of the origin coordinate axes. Shall be. For example, the direction of rotation about the Z axis represents the horizontal direction of the head, the direction of rotation about the Y axis represents the vertical direction of the head, and the direction of rotation about the X axis represents the direction of tilt of the head. I have.
In the present embodiment, a description will be given using the top, bottom, left, and right directions of the head, which are rotation directions about the Y axis and the Z axis, as the head direction.
[0024]
The change amount determination unit 33 calculates a change amount from the origin position in the head direction based on the head direction position data from the head direction detection unit 32. The change amount determining section 33 outputs the calculated change amount data from the origin position in the head direction to the image cutout position control section 34.
[0025]
The change amount determination unit 33 determines whether the calculated absolute value of the change amount from the origin position in the head direction exceeds a predetermined threshold value, and outputs the determination result to the image switching unit 36. It is supposed to. In the present embodiment, the change amount determination unit 33 sets 15 ° as a predetermined threshold.
[0026]
The image cutout position control unit 34 is configured to set one of the image data stored in the image memory 31 and set in advance according to the amount of change in the head direction from the origin position detected by the head direction detection unit 32. The area of the part is cut out.
[0027]
The image cutout position control unit 34 is configured to set and input a preset area by an area setting input unit (not shown). Accordingly, the image cutout position control unit 34 cuts out a preset region from the image data stored in the image memory 31 by, for example, turning the head in the left-right direction by the observer. It has become. Further, the image cutout position control unit 34 may set an area to be cut out in advance on the manufacturing side without providing an area setting input unit (not shown).
[0028]
The size of the region of the image data cut out at this time is set, for example, to have the same aspect ratio (aspect ratio) as that of the endoscope image and one-fifteenth of the endoscope image. The size setting of this area can be changed by input means such as a keyboard (not shown).
Then, the image cutout position control unit 34 outputs the image data of the cutout endoscope image to the image enlargement unit 35.
[0029]
The image enlargement unit 35 interpolates and expands the image data of the endoscopic image from the image cutout position control unit 34, and displays the display screen of the FMD 6 so as to have a size that can be displayed on the entire display screen of the FMD 6. Is enlarged to the same aspect ratio as the aspect ratio. The image enlargement unit 35 outputs a video signal of the image data subjected to the enlargement processing to the image switching unit 36.
[0030]
When the absolute value of the amount of change in the head direction is equal to or smaller than a predetermined threshold based on the determination result of the change amount determining unit 33, the image switching unit 36 controls the endoscope 2 from the video signal processing unit 5 The image signal is switched to the video signal of the obtained endoscope image, and when the absolute value of the amount of change in the head direction exceeds a predetermined value, the image signal is switched to the video signal enlarged by the image enlargement unit 35.
[0031]
An endoscope inspection or the like is performed using the endoscope apparatus 1 provided with the image processing apparatus 30 configured as described above. The observer configures the endoscope apparatus 1 as described with reference to FIG. 1, grasps the grasping portion 12 of the endoscope 2, inserts the endoscope insertion portion 11 into a body cavity of a patient, and performs endoscopic observation. Obtain a mirror image. At this time, the observer wears the FMD 6 on his / her face, and performs an endoscopy or the like while viewing an endoscopic image of the test target site displayed on the display screen of the FMD 6.
[0032]
In the endoscope apparatus 1, the video signal processed by the video signal processing unit 5 is output to the FMD 6, and is displayed as an endoscope image 41 on the display screen of the FMD 6, as shown in FIG. Then, according to the flowchart shown in FIG. 3, the image processing device 30 performs image control in the head direction.
[0033]
As shown in FIG. 3, the observer wearing the FMD 6 first sets (sets) the head direction as the origin position in the head direction detection unit 32 in accordance with the insertion direction of the endoscope insertion unit, and stores it ( Step S1). Then, the image memory 31 constantly updates and stores the endoscope image data obtained by the endoscope 2 from the video signal processing unit 5.
[0034]
Then, when the observer moves the head in the up, down, left, and right directions during the operation, the head direction detection unit 32 detects the three-dimensional position of the sense coil 32a by the source coil 32b, and thereby the head direction of the observer ( (Up, down, left, and right directions). Then, the three-dimensional position data of the sense coil 32a detected by the source coil 32b is output to the change amount determining unit 33 as position data in the head direction.
[0035]
The change amount determination unit 33 detects the change amount in the head direction based on the head direction position data from the head direction detection unit 32 (Step S2). Then, the change amount determining unit 33 determines whether the absolute value of the change amount in the head direction exceeds a predetermined threshold value, for example, 15 ° (step S3). Then, the change amount determining unit 33 outputs the determination result to the image switching unit 36.
[0036]
On the other hand, the image cut-out position control unit 34 sets the image data stored in the image memory 31 in advance in accordance with the amount of change in the head direction from the origin position detected by the head direction detection unit 32. Part of the area, for example, the image data at the position of the small image portion 42 having the same aspect ratio as the endoscope image 41 and having a size of 1/15 of the endoscope image 41 is cut out (step S4), The image data of the extracted small image portion 42 is output to the image enlargement unit 35.
[0037]
Then, the image enlargement unit 35 interpolates and expands the image data of the small image portion 42 from the image cutout position control unit 34 to have a size that can be displayed on the full display screen of the FMD 6 as shown in FIG. The enlargement process is performed so that the aspect ratio is the same as the aspect ratio of the display screen of the FMD 6 (step S5). Then, the image enlargement unit 35 outputs a video signal of the image data subjected to the enlargement processing to the image switching unit 36.
[0038]
When the absolute value of the change amount in the head direction becomes larger than 15 ° based on the determination result of the change amount determination unit 33, the image switching unit 36 switches to the video signal enlarged by the image enlargement unit 35 and outputs it to the FMD 6. (Step S6). Then, as shown in FIG. 4B, the FMD 6 displays an enlarged image 43 that has been enlarged on this display screen.
[0039]
On the other hand, when the absolute value of the head-direction change amount is equal to or smaller than 15 ° based on the determination result of the change amount determination unit 33, the image switching unit 36 obtains the image by the endoscope 2 from the video signal processing unit 5. The video signal of the endoscope image is switched and output to the FMD 6 (step S7). Then, the endoscope image 41 is displayed on the display screen of the FMD 6 as shown in FIG.
In addition, assuming that the change direction of the head is equal to the movement direction of the image cutout position, the relationship between the change amount of the head direction and the movement amount of the image cutout position can be arbitrarily determined so as not to make the user feel uncomfortable.
[0040]
As a result, when the observer wearing the FMD 6 moves his face (head) greatly, the image processing apparatus 30 according to the present embodiment displays an endoscope image displayed on the display screen of the FMD 6 in a preset area. Is displayed, and if the face is turned in the correct direction again, a normal endoscopic image can be observed.
[0041]
Therefore, the image processing device 30 according to the present embodiment can reduce an uncomfortable feeling of the observer when using the FMD.
As a result, the image processing apparatus 30 according to the present embodiment can use the endoscope 2 and the TV camera 4 as they are, thereby reducing costs.
[0042]
Although the endoscope apparatus 1 according to the present embodiment is configured using the optical endoscope 2, the endoscope apparatus according to the present embodiment is configured using an electronic endoscope having a built-in image sensor. The invention may be applied.
[0043]
(Second embodiment)
5 to 8 relate to a second embodiment of the present invention, FIG. 5 is an overall configuration diagram showing an endoscope apparatus provided with the second embodiment of the present invention, and FIG. FIG. 7 is a flowchart showing the operation of the image processing apparatus for an endoscope, FIG. 7 is an explanatory diagram showing an endoscope image displayed on the display screen of the FMD according to the flowchart of FIG. 6, and FIG. FIG. 7B is an explanatory view showing an endoscope image displayed on the FMD display screen, and FIG. 8B is an explanatory view showing an endoscope image subjected to black signal processing, and FIG. FIG. 8A is an explanatory diagram showing an endoscope image displayed on an FMD display screen showing a modified example of FIG. 8A, and FIG. 8A is an explanatory diagram showing an endoscope image displayed on an FMD display screen; b) an endoscope image subjected to display processing and black signal processing according to the head tilt displayed on the display screen of the FMD. It is an explanatory view showing a.
[0044]
In the first embodiment, an image enlarging unit 35 for enlarging the image data cut out by the image cutout position control unit 34 as image processing is provided. Performs a display process for setting the image data cut out by the image cutout position control unit 34 to a display position corresponding to the head direction and a black signal process for covering the periphery of the image portion with a black signal by the display process. Constitute. The other configuration is the same as that of the first embodiment, and thus the description is omitted, and the same configuration is denoted by the same reference numeral and described.
[0045]
That is, as shown in FIG. 5, an endoscope apparatus 1B having the second embodiment of the present invention is an image processing apparatus in which a display position control unit and a black signal synthesis unit 51 are provided instead of the image enlargement unit 35. It is configured to have the device 30B.
[0046]
The display position control unit and the black signal synthesizing unit 51 perform a display process of setting the image data cut out by the image cutout position control unit 34B to a display position corresponding to the head direction, and the periphery of an image portion by the display process. Black signal processing for covering with black signals is performed.
[0047]
More specifically, when the head direction is turned to the lower right, the display position control unit and the black signal synthesis unit 51 change the magnification of the image data cut out by the image cutout position control unit 34B. In addition, display processing is performed so that the left side and the upper side of the display screen of the FMD 6 are in contact with the cutout line, that is, the left side and the upper side of the image data cut out by the image cutout position control unit 34B, respectively. In the processed image, black signal processing is performed to cover the periphery of the image portion cut out by the cutout line with a black signal.
Other than that, the head direction detecting unit 32, the change amount determining unit 33, and the image switching unit 36 are the same as those described in the first embodiment.
[0048]
Using the endoscope apparatus 1B provided with the endoscope image processing apparatus configured as described above, the observer wears the FMD 6 on the face in the same manner as described in the first embodiment, An endoscopic examination or the like is performed while viewing an endoscopic image of a target site displayed on the display screen of the FMD 6.
[0049]
In the endoscope apparatus 1B, the video signal processed by the video signal processing unit 5 is output to the FMD 6, and displayed on the display screen of the FMD 6 as an endoscope image 41 as shown in FIG. Then, in accordance with the flowchart shown in FIG. 6, the image processing device 30B performs image control in the head direction.
[0050]
As shown in FIG. 6, the observer wearing the FMD 6 first sets (sets) the head direction as the origin position in the head direction detection unit 32 in accordance with the insertion direction of the endoscope insertion unit, and stores it ( Step S11). At this time, the image memory 31 constantly updates and stores the latest endoscope image data obtained by the endoscope 2 from the video signal processing unit 5.
Then, when the observer moves the head in the left-right direction during the operation, the head direction detection unit 32 detects the head direction (left-right direction) of the observer and converts the position data in the head direction into the change amount determination unit. 33.
[0051]
The change amount determination unit 33 detects the change amount in the head direction based on the position data in the head direction from the head direction detection unit 32 (Step S12). Then, the change amount determination unit 33 determines whether or not the absolute value of the change amount in the head direction has exceeded a predetermined threshold value, for example, 15 ° (step S13). Then, the change amount determining unit 33 outputs the determination result to the image switching unit 36.
[0052]
On the other hand, the image cutout position control unit 34 B is configured to set the image data stored in the image memory 31 in advance according to the amount of change in the head direction from the origin position detected by the head direction detection unit 32. The image data at the position of the small image portion 52, which is a partial area, is cut out (step S14), and the image data at the position of the cut out small image portion 52 is output to the display position control unit and the black signal synthesizing unit 51.
[0053]
Then, as shown in FIG. 7B, when the head direction is directed to the lower right, the display position control unit and the black signal combining unit 51 generate the small image portion 52 from the image cutout position control unit 34B. Display processing is performed on the image data without changing the magnification so that the left side and the upper side of the display screen of the FMD 6 are cut out lines, that is, the left side and the upper side of the image data cut out by the image cut out position control unit 34B are in contact with each other. I do. In the display processing at this time, generally, the cutout line is in contact with the side on the same side of the display image corresponding to the cutout line of the cut out image. At the same time, black signal processing for covering the periphery of the image portion subjected to the display processing with the black signal is performed (step S15). Then, the display position control unit and the black signal synthesizing unit 51 output the video signal of the image data subjected to the display processing and the black signal processing to the image switching unit 36.
[0054]
When the absolute value of the amount of change in the head direction becomes larger than 15 °, the image switching unit 36 performs display processing and black signal processing by the display position control unit and the black signal synthesis unit 51 based on the determination result of the change amount determination unit 33. The video signal is switched and output to the FMD 6 (step S16). Then, as shown in FIG. 7B, the FMD 6 displays the processed image 53 in which the magnification is not changed and the other portions are covered with the black image at the position overlapping the screen frame of the display screen.
[0055]
On the other hand, when the absolute value of the head-direction change amount is equal to or smaller than 15 ° based on the determination result of the change amount determination unit 33, the image switching unit 36 obtains the image by the endoscope 2 from the video signal processing unit 5. The video signal of the endoscope image is switched and output to the FMD 6 (step S17). Then, the endoscope image 41 is displayed on the display screen of the FMD 6 as shown in FIG.
Note that the relationship between the amount of change in the head direction and the amount of movement of the cutout line can be arbitrarily determined so as not to make the user feel uncomfortable.
[0056]
As a result, the image processing apparatus 30B according to the present embodiment obtains substantially the same effects as the first embodiment, and furthermore, since the magnification of the switched image does not change, a good processed image is displayed on the FMD 6. It can be displayed on the screen.
[0057]
In the first and second embodiments, the head direction is described using the upper, lower, left, and right directions of the head, which are rotation directions around the Y axis and the Z axis. By the detection of 32, the tilt direction of the head, which is the rotation direction around the X axis, can also be detected. For this reason, the image processing device 30B may be configured to perform the display processing using the head inclination direction detected by the head direction detection unit 32 as the head direction.
[0058]
That is, the change amount determining unit 33 determines whether the absolute value of the change amount of the tilt exceeds a predetermined threshold based on the position data of the head tilt direction from the head direction detecting unit 32. It has become.
[0059]
The image cut-out position control unit 34 B is configured to set the image data stored in the image memory 31 in advance in accordance with the amount of change in the head tilt direction from the origin position detected by the head direction detection unit 32. Some areas are cut out. The area to be cut out has, for example, the same aspect ratio and size as the endoscope image.
[0060]
The display position control unit and the black signal synthesizing unit 51 further tilt the image data cut out by the image cutout position control unit 34B by the same angle as the tilted head without changing the magnification, and display the display screen of the FMD6. Display processing is performed so that the cutout lines are in contact with the four sides, and black signal processing is performed on the image subjected to the display processing so as to cover the periphery of the image portion cut out by the cutout lines with black signals.
[0061]
When the absolute value of the amount of change in the tilt direction of the head is equal to or smaller than a predetermined threshold, the image switching unit 36 determines whether the endoscope from the video signal processing unit 5 is based on the determination result of the change amount determination unit 33. When the absolute value of the amount of change in the tilt direction of the head exceeds a predetermined value, the image is subjected to black signal processing by the display position control unit and the black signal synthesizing unit 51. It is designed to switch to a signal.
[0062]
Using the endoscope apparatus 1B provided with the endoscope image processing apparatus configured as described above, the observer wears the FMD 6 on his / her face, and selects a part of the subject to be examined displayed on the display screen of the FMD 6. Endoscopy is performed while viewing the endoscope image.
[0063]
In the endoscope apparatus 1B, the video signal processed by the video signal processing unit 5 is output to the FMD 6, and displayed on the display screen of the FMD 6 as an endoscope image 41 as shown in FIG.
[0064]
As described in the second embodiment, the observer wearing the FMD 6 first sets the head direction as the origin position in the head direction detection unit 32 according to the insertion direction of the endoscope insertion unit. (Set) and memorize.
When the observer tilts the head during the operation, the head direction detecting unit 32 detects the observer's head direction (inclination direction) and changes the position data in the head direction (inclination direction) by the amount of change. Output to the judgment unit 33.
[0065]
The change amount determination unit 33 detects a change amount in the head direction (tilt direction) based on the position data in the head direction (tilt direction) from the head direction detection unit 32. Then, the change amount determination unit 33 determines whether the absolute value of the change amount in the head direction (inclination direction) exceeds a predetermined threshold value, for example, 15 °. Then, the change amount determining unit 33 outputs the determination result to the image switching unit 36.
[0066]
On the other hand, the image cutout position control unit 34 B determines the position of the position previously enclosed by the cutout line 54 in accordance with the amount of change in the head direction (tilt direction) from the origin position detected by the head direction detection unit 32. The image data, which is a partial area of the image data stored in the image memory 31, is cut out, and the image data cut out by the cutout line 54 is output to the display position control unit and the black signal synthesizing unit 51. It should be noted that a region that protrudes from the endoscope image 41 is virtually set in the image cut out by the cutout line 54.
[0067]
Then, as shown in FIG. 8B, the display position control unit and the black signal combining unit 51 convert the image data of the image portion 54 from the image cutout position control unit 34B into the 4 The image is rotated by an angle corresponding to the head direction (inclination direction) so that the four sides of the cutout line 54 are in contact with the sides, respectively, and the display processing is performed. Performs black signal processing for covering the periphery of the image portion cut out with the black signal. Then, the display position control unit and the black signal synthesizing unit 51 output the video signal of the image data subjected to the display processing and the black signal processing to the image switching unit 36.
[0068]
When the absolute value of the amount of change in the head direction (tilt direction) becomes larger than 15 ° based on the determination result of the change amount determination unit 33, the image switching unit 36 performs display processing and black signal synthesis by the display position control unit and the black signal synthesis unit 51. The signal is switched to the video signal subjected to the black signal processing and output to the FMD 6. Then, a processed image 55 as shown in FIG. 8B is displayed on the FMD 6.
[0069]
On the other hand, when the absolute value of the amount of change in the head direction (tilt direction) is 15 ° or less based on the determination result of the change amount determining unit 33, the image switching unit 36 sends the endoscope 2 from the video signal processing unit 5 Is switched to the video signal of the endoscope image obtained in step (1) and output to the FMD 6. Then, as shown in FIG. 8A described above, the FMD 6 displays the endoscope image 41 on the display screen.
Note that the display screen of the FMD 6 shown in FIG. 8B is displayed from the display position control unit and the black signal synthesizing unit 51 when the observer tilts his / her head, for example, rightward during the operation and exceeds a threshold of 15 °. This shows an image when switching to a video signal.
[0070]
As a result, in addition to the effects of the above-described second embodiment, the image processing device 30B of the present modification can display a favorable observation image on the display screen of the FMD 6 without further discomfort.
Further, the present invention is not limited to only the above-described embodiments, and various modifications can be made without departing from the spirit of the invention.
[0071]
[Appendix]
(Additional Item 1) An image memory for storing endoscope image data,
Head direction detecting means for detecting a head direction from a preset origin position for an observer wearing a face-mounted video display device,
Change amount determining means for determining a change amount in the head direction from the origin position detected by the head direction detecting means,
Image cutout position control means for cutting out a part of the image data stored in the image memory in a preset area,
Image processing means for performing image processing on the image data cut out by the image cutout position control means,
The face-mounted video display is switched by switching between a video signal of image data image-processed by the image processing unit and a video signal of an endoscope image obtained by an endoscope based on a determination result of the change amount determination unit. Image switching means for outputting to the device;
An image processing apparatus for an endoscope, comprising:
[0072]
(Additional Item 2) When the absolute value of the amount of change in the head direction is equal to or less than a predetermined value, the image switching means switches to a video signal of an endoscope image obtained by the endoscope, and changes the amount of change in the head direction. 2. The endoscope image processing apparatus according to claim 1, wherein when the absolute value of the image data exceeds a predetermined value, the image signal is switched to a video signal of image data image-processed by the image processing means.
[0073]
(Additional Item 3) The image cutout position control means is configured to store a part of the image data stored in the image memory in advance based on the head direction from the origin position detected by the head direction detection means. 2. The image processing apparatus for an endoscope according to claim 1, wherein the image processing apparatus is configured to cut out the image.
[0074]
(Additional Item 4) The image processing apparatus for an endoscope according to Additional Item 1, 2 or 3, wherein the image processing means enlarges the image data clipped by the image clipping position control means. .
[0075]
(Additional Item 5) The image processing means performs display processing for setting the image data cut out by the image cutout position control means to a display position corresponding to the head direction, and a black signal around the image portion by the display processing. 4. The image processing apparatus for an endoscope according to claim 1, wherein black signal processing for covering is performed.
[0076]
(Additional Item 6) The image for an endoscope according to Additional Item 4, wherein the image processing means sets the enlargement process to the same aspect ratio as the aspect ratio of the display screen of the face-mounted video display device. Processing equipment.
[0077]
(Appendix 7) An endoscope inserted into a body cavity,
Video signal processing means for performing signal processing on an imaging signal from the endoscope to obtain an endoscope image,
An image memory for storing endoscope image data;
Head direction detecting means for detecting a head direction from a preset origin position for an observer wearing a face-mounted video display device,
Change amount determining means for determining a change amount in the head direction from the origin position detected by the head direction detecting means,
Image cutout position control means for cutting out a part of the image data stored in the image memory in a preset area,
Image processing means for performing image processing on the image data cut out by the image cutout position control means,
The face-mounted video display is switched by switching between a video signal of image data image-processed by the image processing unit and a video signal of an endoscope image obtained by an endoscope based on a determination result of the change amount determination unit. Image switching means for outputting to the device;
An endoscope apparatus comprising:
[0078]
(Additional Item 8) The image switching means switches to a video signal of an endoscope image obtained by the endoscope when the absolute value of the change amount in the head direction is equal to or less than a predetermined value. 8. The endoscope apparatus according to claim 7, wherein when the absolute value of exceeds a predetermined value, the video signal is switched to a video signal of image data processed by the image processing means.
[0079]
(Additional Item 9) The image cutout position control means is configured to store a part of the image data stored in the image memory in advance based on the head direction from the origin position detected by the head direction detection means. 8. The endoscope apparatus according to claim 7, wherein the endoscope device is cut out by using the following.
[0080]
(Additional Item 10) The endoscope apparatus according to additional item 7, 8 or 9, wherein the image processing means enlarges the image data extracted by the image extraction position control means.
[0081]
(Additional Item 11) The image processing means performs a display process of setting the image data cut out by the image cutout position control means to a display position corresponding to a head direction, and a black signal around the image portion by the display process. 10. The endoscope apparatus according to additional item 7, 8 or 9, wherein the covering black signal is processed.
[0082]
(Additional Item 12) The endoscope apparatus according to additional item 10, wherein the image processing unit sets the enlargement process to the same aspect ratio as the aspect ratio of the display screen of the face-mounted video display device.
[0083]
【The invention's effect】
As described above, according to the present invention, it is possible to realize an endoscope image processing apparatus capable of reducing an uncomfortable feeling of an observer when using an FMD.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram showing an endoscope apparatus provided with a first embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a head direction detecting unit in FIG. 1;
FIG. 3 is a flowchart showing the operation of the endoscope image processing apparatus of FIG. 1;
4 is an explanatory diagram showing an endoscope image displayed on the display screen of the FMD according to the flowchart of FIG. 3;
FIG. 5 is an overall configuration diagram showing an endoscope apparatus provided with a second embodiment of the present invention.
FIG. 6 is a flowchart showing the operation of the endoscope image processing apparatus of FIG. 5;
7 is an explanatory diagram showing an endoscope image displayed on the display screen of the FMD according to the flowchart of FIG. 6;
FIG. 8 is an explanatory diagram showing an endoscope image displayed on an FMD display screen showing a modification of the present embodiment.
[Explanation of symbols]
1. Endoscope device
2. Endoscope
4: TV camera
5. Video signal processing unit
6. FMD (Face-mounted image display device)
30 ... endoscope image processing device
31 ... Image memory
32 ... Head direction detector
33: Change amount judgment unit
34: Image cutout position control unit
35 ... Image enlargement unit
36 ... Image switching unit

Claims

An image memory for storing endoscope image data;
Head direction detecting means for detecting a head direction from a preset origin position for an observer wearing a face-mounted video display device,
Change amount determining means for determining a change amount in the head direction from the origin position detected by the head direction detecting means,
Image cutout position control means for cutting out a part of the image data stored in the image memory in a preset area,
Image processing means for performing image processing on the image data cut out by the image cutout position control means,
The face-mounted video display is switched by switching between a video signal of image data image-processed by the image processing unit and a video signal of an endoscope image obtained by an endoscope based on a determination result of the change amount determination unit. Image switching means for outputting to the device;
An image processing apparatus for an endoscope, comprising: