JP2016220839A - 内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法 - Google Patents

Abstract

【課題】カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システムを提供する。
【解決手段】内視鏡システムは、無線部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、無線部、カメラ部及び表示部を有するスマートグラスとを含む。例えば、スマートフォンは、カメラ部において取得されたスマートグラス画像に基づいて、スマートグラスの表示部に表示される内視鏡画像の表示制御を行う表示制御部を有する。
【選択図】図２

Description

本発明は、内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法に関する。

従来、内視鏡が工業分野及び医療分野で広く利用されている。内視鏡は、先端部に観察窓が設けられた細長の挿入部を有しており、検査者は、挿入部を被検体内に挿入して、被検体の内部を観察することができる。

また、近年は、特開２０１４−１５５２０７号公報に開示のように、カメラ付きのスマートグラスが提案されている。スマートグラスは、所謂ウェアラブルデバイスであり、眼鏡のように、ユーザの頭部に装着されるカメラ付き頭部装着型表示装置である。よって、例えば、スマートグラスを利用することにより、ユーザが実際に見ている光景に、情報を重畳して表示させることができる。
内視鏡検査にこのようなスマートグラスを利用して、検査者であるユーザがスマートグラスを装着し、スマートグラスに内視鏡画像、検査マニュアルなどの検査時に見る必要のあるものを表示させるようにすれば、検査者は、視線を移動させないで、内視鏡画像などを見ることができるので便利であると、想定することができる。

特開２０１４−１５５２０７号公報

しかし、スマートグラスに所望の画像を表示させるためには、ユーザは、所定の指示をスマートグラスに与えなければならず、表示されている画像の表示をさせないようにする場合にも、ユーザは、その画像の表示を消すための所定の指示をスマートグラスに与えなければならない。

よって、上述したようにスマートグラスを内視鏡検査に利用することができるが、検査者は、状況に応じて、所望の画像の表示及び非表示の切り替え指示をスマートグラスへ与えるための操作をしなければならず、内視鏡検査において繁雑な操作が必要となる。

そこで、本発明は、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を提供することを目的とする。

本発明の一態様の内視鏡システムは、第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う表示制御部と、を有する。
本発明の一態様の内視鏡システムにおける内視鏡画像の表示切替方法は、第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、を有する内視鏡システムにおける内視鏡画像の表示切替方法であって、前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う。

本発明によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を提供することができる。

本発明の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の実施の形態に係わる、スマートフォン１２のCPU部４２によるスマートグラス１３の表示制御処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、検査対象内に挿入部１１ａを挿入する前のスマートグラス画像６１の例を示す図である。 本発明の実施の形態に係わる、検査対象内に挿入部１１ａを挿入した状態のスマートグラス画像の例を示す図である。 本発明の実施の形態に係わる、時間経過に伴う、メモリ部４５に記録される画像の変化を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。
（システム構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。

内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３と、サーバ１４とを含んで構成される。
内視鏡１１は、被検体の内部を観察するための内視鏡装置である。スマートフォン１２は、無線によるデータ通信が可能な携帯端末である。スマートグラス１３は、ユーザが眼鏡をかけるように頭部に装着可能なカメラ付き頭部装着型表示装置である。

内視鏡１１、スマートフォン１２及びスマートグラス１３の各々は、無線通信機能を有し、バッテリで駆動される機器であり、互いに画像データも含めて各種データを送受信することができる。
（内視鏡の構成）
内視鏡１１は、細長の挿入部１１ａと本体部１１ｂとを有する。挿入部１１ａは、例えば外径が４〜６ｍｍで、先端側から、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３が順に連接されている。

挿入部１１ａの先端部には、光学アダプタ１０が装着されている。光学アダプタ１０は、挿入部１１ａの先端部に着脱自在に装着することができる。光学アダプタ１０は、対物レンズ部１０ａと、照明レンズ部１０ｂとを有している。光学アダプタ１０には、対物レンズ部１０ａの光学特性及び観察方向（直視又は側視）が異なる複数種類のアダプタがある。検査者であるユーザは、必要であれば、検査対象及び検査内容に応じた光学アダプタ１０を選択して、挿入部１１ａの先端部に装着する。

よって、光学アダプタ１０が挿入部１１ａの先端部に装着されているときは、挿入部１１ａは、先端側から、光学アダプタ１０、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３が順に連接されて構成される。

挿入部１１ａの先端硬性部１１ａ１には、図示しない観察窓に配置された対物レンズ部２１と、対物レンズ部２１の焦点位置に設けられた撮像素子２２と、図示しない照明窓に配置された照明部２３とが設けられている。

撮像素子２２は、例えばCCDイメージセンサ、CMOSイメージセンサである固体撮像装置である。撮像素子２２の撮像面に、対物レンズ部２１を透過した光が集光し、撮像素子２２は、光電変換して生成した撮像信号を出力する。

照明部２３は、例えば発光ダイオード（LED）である発光素子を有する。照明部２３は、発光素子の出射する光を照明光として、照明窓を通して出射する。
挿入部１１ａの先端部に光学アダプタ１０が装着されている場合は、対物レンズ部１０ａと２１を透過した光を光電変換して生成された撮像信号が、撮像素子２２から出力される。また、挿入部１１ａの先端部に光学アダプタ１０が装着されている場合は、照明部２３からの照明光は、照明レンズ部１０ｂを透過して被写体に照射される。

挿入部１１ａの先端部の湾曲部１１ａ２には、湾曲機構２４が設けられている。湾曲機構２４は、複数の湾曲駒を含み、所定の湾曲駒に先端が固定された湾曲ワイヤの牽引と弛緩により、挿入部１１ａの先端部は、上下左右方向に湾曲可能となっている。

挿入部１１ａの可撓管部１１ａ３は、細長くかつ可撓性を有する。可撓管部１１ａ３の基端部は、本体部１１ｂに接続されている。
本体部１１ｂは、撮像素子駆動部２５と、撮像信号処理部２６と、制御部２７と、入力部２８と、照明駆動部２９と、湾曲操作部３０と、無線部３１と、バッテリ制御部３２と、バッテリ部３３とを含む。

撮像素子駆動部２５は、撮像素子２２を駆動する駆動回路である。
撮像信号処理部２６は、制御部２７により制御され、撮像素子駆動部２５を制御すると共に、撮像素子駆動部２５からの各種信号に基づいて、撮像素子２２からの撮像信号を受信して画像信号を生成する回路である。

制御部２７は、中央処理装置（以下、CPUという）と、ROM、RAM、書き換え可能な不揮発性メモリを含む回路であり、内視鏡１１内の各回路の制御を行う。ROMには、各種機能に応じた各種プログラムが格納されている。CPUは、ROMに記憶されたプログラムを読み出して実行することにより、各機能に応じた処理を実行する。また、制御部２７は、撮像信号処理部２６からの画像信号を不揮発性メモリに記録することができる。
なお、不揮発性メモリは、メモリカードなどの内視鏡１１に対して脱着可能な記憶装置でもよい。

入力部２８は、ユーザが操作する操作ボタンなどの入力操作部材を有する。入力部２８に対するユーザの操作に応じた操作信号は、入力部２８から制御部２７へ供給される。操作信号は、例えば、静止画取得、画像記録、照明部２３の光量、撮像信号処理部２６のゲイン、等の操作信号である。制御部２７は、操作信号に応じて、撮像信号処理部２６、照明駆動部２９、無線部３１及びバッテリ制御部３２へ、各種制御信号を出力する。
照明駆動部２９は、制御部２７からの照明制御信号に応じて、照明部２３への駆動信号を出力する。

湾曲操作部３０は、例えばジョイスティックなどの湾曲操作部材であり、ユーザが湾曲操作部３０を操作することにより、各湾曲ワイヤなどの牽引と弛緩が行われて、挿入部１１ａの先端部の湾曲部１１ａ２が湾曲する。
なお、湾曲制御は、電動モータなどを用いて電気的制御で行ってもよく、その場合は、スマートフォン１２からの湾曲操作指示によっても、湾曲部１１ａ２の湾曲制御が可能となる。

無線通信部である無線部３１は、無線LAN等により無線通信を行うための回路である。内視鏡１１は、無線部３１を利用して、スマートフォン１２、スマートグラス１３及びサーバ１４との無線通信を行うことができる。

また、無線部３１は、制御部２７の制御の下、撮像素子２２で撮像して得られた画像情報、入力部２８に入力された操作指示についての操作信号、バッテリ制御部３２の保有するバッテリ部３３のバッテリ残量やバッテリ温度、等の情報を、スマートフォン１２あるいはサーバ１４へ送信可能である。

無線部３１は、スマートフォン１２からの照明制御コマンドを受信すると、照明駆動部２９へ出力する。すなわち、照明部２３は、スマートフォン１２からの指示に応じて制御可能となっている。

バッテリ制御部３２は、バッテリ部３３の放電及び充電を制御すると共に、バッテリ部３３のバッテリの残量及びバッテリ部３３の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。

さらに、バッテリ制御部３２は、バッテリ部３３の使用中における、単位時間当たり消費される標準的な電力（以下、標準消費電力という）の情報も有している。
以上のように、内視鏡１１は、無線通信部である無線部３１及び挿入部１１ａを有し、検査対象内の内視鏡画像を取得し、内視鏡画像をスマートグラス１３などに送信することができる。
（スマートフォンの構成）
スマートフォン１２は、無線部４１と、CPU部４２と、タッチパネル部４３と、表示部４４と、メモリ部４５と、カメラ部４６と、バッテリ制御部４７と、バッテリ部４８とを有する。

無線通信部である無線部４１は、無線LAN等により無線通信を行うための回路である。スマートフォン１２は、無線部４１を利用して、内視鏡１１、スマートグラス１３及びサーバ１４との、無線通信を行うことができる。
すなわち、スマートフォン１２は、内視鏡１１及びスマートグラス１３及びサーバ１４と無線通信可能な端末装置である。

CPU部４２は、CPUを含む回路である。CPU部４２は、カメラ部４６で撮像して得られた画像データ、内視鏡１１からの内視鏡画像データ及びスマートグラス１３からの画像データに対して所定の画像処理を行うと共に、メニュー表示などのグラフィック画像データを生成して、内視鏡画像などに重畳した画像を生成して、表示部４４に出力する回路である。

CPU部４２は、カメラ部４６の動作を制御すると共に、カメラ部４６からの画像データを取得する。
CPU部４２において実行される画像処理は、例えば、表示部４４の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。

また、CPU部４２は、カメラ部４６で取得された画像中の人の顔を認識する顔認識機能も有し、そのための顔認識処理プログラムも実行可能である。
また、CPU部４２は、ユーザからの指示に応じて、各種処理を実行するが、特に、内視鏡１１へのコマンド、例えば、照明制御、撮像素子制御、等の制御データを生成して、無線部４１を介して内視鏡１１へ送信する処理も行うことができる。

さらに、CPU部４２は、スマートグラス１３への各種コマンド等の制御データを生成して、無線部４１を介してスマートグラス１３へ送信すると共に、内視鏡１１で得られた内視鏡画像データ、カメラ部４６で得られた画像データ、メニュー画面などの画像データなどをスマートグラス１３へ送信する処理も行うことができる。

タッチパネル部４３は、表示部４４の表示画面上に配置され、ユーザがタッチして各種操作を行うための装置である。タッチパネル部４３に入力された各種操作指示、例えば照明操作、撮像操作などの操作指示信号、は、無線部４１を介して、内視鏡１１あるいはスマートグラス１３へも送信可能である。
表示部４４は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。

表示部４４の表示面上に表示されたコマンドボタンの部分を、ユーザが指などで触れると、タッチパネル部４３のタッチされた領域の位置座標が検出されて、CPU部４２は、検出された位置座標から、表示されているボタンのいずれがタッチされたのかを判定することができる。

メモリ部４５は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部４２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。メモリ部４５には、後述する表示制御プログラムも格納されている。不揮発性メモリには、内視鏡画像などを記録することもできる。
カメラ部４６は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部４２の制御の下で動作が制御される。カメラ部４６は、撮像して得られた画像データを、CPU部４２へ出力する。

バッテリ制御部４７は、バッテリ部４８の放電及び充電を制御すると共に、バッテリ部４８のバッテリの残量及びバッテリ部４８の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。

さらに、バッテリ制御部４７は、バッテリ部４８のバッテリの残量及び温度のデータを、CPU部４２へ出力する。
（スマートグラスの構成）
スマートグラス１３は、無線部５１と、CPU部５２と、表示部５３と、メモリ部５４と、カメラ部５５と、バッテリ制御部５６と、バッテリ部５７とを有する。

無線通信部である無線部５１は、無線LAN等により無線通信を行うための回路である。スマートグラス１３は、無線部５１を利用して、内視鏡１１、スマートフォン１２及びサーバ１４との無線通信を行うことができる。

CPU部５２は、CPUを含む回路である。CPU部５２は、カメラ部５５で撮像して得られた画像データ、及びスマートフォン１２からの画像データに対して所定の画像処理を行い、表示部５３に表示する画像データを生成し、生成した画像データを、表示部５３に出力する回路である。

CPU部５２は、カメラ部５５の動作を制御すると共に、カメラ部５５からの画像データを取得する。そして、CPU部５２は、カメラ部５５で得られた画像データを、無線部５１を介して、スマートフォン１２へ送信することができる。
CPU部５２において実行される画像処理は、例えば、表示部５３の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。

また、CPU部５２は、ユーザからの指示に応じて、各種処理を実行する。ユーザからの指示は、例えば、カメラ部５５による画像処理により、ユーザの指の動きに応じたコマンドを検出する方法、スマートグラス１３に設けられたボタン（図示せず）への操作を検出する方法、等により、行うことができる。CPU部５２は、ユーザからの指示、すなわちコマンド、に応じた処理を実行する。

同様に、CPU部５２は、スマートフォン１２への各種コマンド等の制御データを生成して、無線部５１を介してスマートフォン１２へ送信する処理も行う。
表示部５３は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。表示部５３に表示された画像は、スマートグラス１３を装着したユーザが見ることができる。
メモリ部５４は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部５２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。不揮発性メモリには、内視鏡画像などを記録することができる。

カメラ部５５は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部５２の制御の下で動作が制御される。カメラ部５５は、撮像して得られた画像データを、CPU部５２へ出力する。

バッテリ制御部５６は、バッテリ部５７の放電及び充電を制御すると共に、バッテリ部５７のバッテリの残量及びバッテリ部５７の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。バッテリ制御部５６は、バッテリ部５７のバッテリの残量及び温度のデータを、CPU部５２へ出力する。

スマートグラス１３の表示部５３に表示される画像は、カメラ部５５により取得された画像であるが、スマートフォン１２からの指示により、変更可能である。
具体的には、スマートグラス１３の表示部５３の表示変更は、スマートフォン１２からの表示制御信号によっても行うことができ、後述するように、スマートフォン１２からの表示制御信号により、スマートグラス１３の表示部５３には、スマートグラス１３のカメラ部５５において取得された画像、又は内視鏡１１の撮像素子２２で撮像して得られた内視鏡画像が、表示可能である。
以上のように、スマートグラス１３は、無線通信部である無線部５１、カメラ部５５及び表示部５３を有する頭部装着型の表示装置である。
（サーバの構成）
サーバ１４は、インターネット１５に接続された、コンピュータ装置である。サーバ１４は、インターネット１５を介して、内視鏡１１、スマートフォン１２及びスマートグラス１３と、通信可能な外部装置である。サーバ１４は、例えば無線LAN等の無線通信可能なパーソナルコンピュータである。

サーバ１４は、大容量のメモリ１４ａを有し、ユーザは、内視鏡１１に記憶された内視鏡画像データをサーバ１４へ送信してメモリ１４ａに記憶させたり、サーバ１４のメモリ１４ａに記憶された検査結果情報などを読み出すことができる。

以上のように、内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３とを含んで構成され、内視鏡１１と、スマートフォン１２と、スマートグラス１３は、図１において二点鎖線で示すように互いに通信可能である。内視鏡１１と、スマートフォン１２と、スマートグラス１３の各々は、さらにサーバ１４とも通信可能である。ユーザは、スマートグラス１３を眼鏡をかけるように頭部に装着し、スマートフォン１２を携帯して、内視鏡１１を用いて内視鏡検査を行う。
（作用）
スマートフォン１２における内視鏡画像の表示切替処理について説明する。

検査者であるユーザは、内視鏡検査を行うとき、スマートフォン１２を携帯しかつスマートグラス１３を頭部に装着する。そして、ユーザは、例えば、内視鏡１１の挿入部を片手で把持し、他方の手で内視鏡１１の本体部を把持しながら、検査対象の内部へ挿入部１１ａを挿入して、検査対象の内部を観察する。

例えば、検査開始の指示が、スマートフォン１２に入力されると、スマートフォン１２のCPU部４２は、図２に示すプログラムをメモリ部４５のROMから読み出して実行する。内視鏡１１は電源がオンされて、撮像信号処理部２６で生成された画像の無線部３１からスマートフォン１２への送信を開始する。スマートグラス１３も電源がオンされて、カメラ部５５で取得された画像の無線部５１からスマートフォン１２への送信を開始する。

スマートグラス１３の表示は、スマートフォン１２からの指示により制御されるが、スマートグラス１３は、電源がオンされたとき、カメラ部５５の画像が、表示部５３に表示され、ユーザは、スマートグラス１３の表示部５３に表示された画像であるスマートグラス１３を頭部にかけた状態でカメラ部５５の画像を見ることができる。なお、スマートグラス１３が、片眼式などの所謂シースルー型である場合、すなわちユーザがスマートグラス１３越しに検査対象を見ることができる場合は、CPU部５２は、カメラ部５５の画像を表示部５３に表示しないようにしてもよい。
よって、ユーザは、スマートグラス１３の表示部５３に表示された、検査対象を含む画像を見ながら、検査対象への挿入部１１ａの挿入操作を開始することができる。

図２は、スマートフォン１２のCPU部４２によるスマートグラス１３の表示制御処理の流れの例を示すフローチャートである。

検査開始が、スマートフォン１２に指示されると、スマートフォン１２のCPU部４２は、スマートグラス１３のカメラ部５５において取得された画像（以下、スマートグラス画像という）の記録を開始する（S1）。スマートグラス画像の動画は、スマートフォン１２のメモリ部４５に記録される。

上述したように、スマートグラス１３は、電源がオンされると（あるいは所定コマンドを入力すると）、スマートグラス画像をスマートフォン１２へリアルタイムで送信する。

スマートフォン１２のCPU部４２は、スマートグラス１３からのスマートグラス画像に対して所定の画像処理をリアルタイムで行い、その画像処理による、挿入部１１ａの先端部の検出処理を実行する（S2）。挿入部１１ａの先端部の検出処理では、スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定が行われる。

スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定は、挿入部１１ａの先端部を検出する画像処理の処理結果に基づいて行うことができる。例えば、先端硬性部１１ａ１、湾曲部１１ａ２及び可撓管部１１ａ３は、それぞれ所定の形状を有しており、さらに、先端硬性部１１ａ１は、表面が金属製で光沢を有し、湾曲部１１ａ２及び可撓管部１１ａ３は、表面が網状であるため、画像処理により、挿入部１１ａを認識し、先端硬性部１１ａ１がスマートグラス画像中にあるか否かを判定することにより、スマートグラス画像中に挿入部１１ａの先端部が含まれるかの判定を行うことができる。

なお、ここでは、挿入部１１ａの先端部の検出を、先端硬性部１１ａ１の検出により行っているが、光学アダプタ１０の検出により行ってもよい。
さらになお、ここでは、挿入部１１ａの先端部、例えば先端硬性部１１ａ１、の外周面あるいは光学アダプタ１０の外周面に、所定の、色、マークあるいは文字を設け、その所定の色、所定のマークあるいは所定の文字の有無の検出により、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。
さらになお、可撓管部１１ａ３の先端硬性部１１ａ１（あるいは光学アダプタ１０）の外周面上に所定のマーク等を設け、その所定のマーク等の検出を行うことにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。

さらになお、挿入部１１ａの先端部の検出は、先端部から出射される照明光の有無に基づいて行うことにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。

さらに、可撓管部１１ａ３の先端側部分の外周面上に、軸方向に沿って所定の間隔を持って所定のマークを複数設け、画像処理により、複数の所定のマークの数が減っていくように消えていくか否かを検出することにより、スマートグラス画像中の、挿入部１１ａの先端部の検出を行うようにしてもよい。 図３と図４は、スマートグラス１３の表示部５３に表示されるスマートグラス画像６１の例を示す。図３は、検査対象内に挿入部１１ａを挿入する前のスマートグラス画像６１の例を示す図である。図４は、検査対象内に挿入部１１ａを挿入した状態のスマートグラス画像の例を示す図である。図３及び図４に示すスマートグラス画像６１は、スマートグラス１３をかけたユーザの視界の全体あるいは一部に現れて、ユーザにより見ることができる。

図３に示すように、検査対象６２は、開口部６３を有し、開口部６３は、挿入部１１ａが開口部６３に挿入可能なサイズを有する。
ユーザが挿入部１１ａを開口部６３の外側の位置で保持して、ユーザの顔が検査対象６２の方向に向いているとき、スマートグラス１３のカメラ部５５は、図３に示すようなスマートグラス画像６１を取得する。よって、ユーザは、図３に示すようなスマートグラス画像を見ることができる。

上述したように、図３に示すスマートグラス画像６１の画像データは、スマートグラス１３からスマートフォン１２へリアルタイムで送信されているので、スマートフォン１２のCPU部４２は、上述した挿入部１１ａの先端部の検出処理において、受信したスマートグラス画像６１をリアルタイムで画像処理して、上述したような先端硬性部１１ａ１を検出する。

しかし、ユーザが挿入部１１ａを開口部６３から、検査対象６２内に挿入部１１ａの先端部を挿入すると、スマートグラス１３のカメラ部５５は、図４に示すようなスマートグラス画像６１を取得する。図４に示すスマートグラス画像６１では、先端硬性部１１ａ１は検出されない。

よって、CPU部４２は、S2の検出処理の結果に基づいて、挿入部１１ａの先端部は見えているかの判定を行う（S3）。S3の判定は、S2におけるスマートグラス画像６１中に挿入部１１ａの先端部があるかの検出結果に基づいて、行われる。

ユーザが、挿入部１１ａの先端部を開口部６３の外側の位置で保持しているときには、S2においてスマートグラス画像６１中に挿入部１１ａの先端部が認識されるので、挿入部１１ａの先端部は見えていると判定される（S3:YES）。

挿入部１１ａの先端部は見えていると判定されると（S3:YES）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S4）。挿入部１１ａは検査対象６２内に挿入されているかは、所定の状態フラグにより示される。初期状態では、状態フラグは、挿入部１１ａが検査対象６２内に挿入されていないことを示す値、例えば「０」に設定されており、挿入部１１ａが検査対象６２内に挿入されたことが検出されると、その状態フラグは、挿入部１１ａが検査対象６２内に挿入されていることを示す値、例えば「１」に設定される。このような状態フラグを設定し、設定された状態フラグを参照することにより、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定することができる（S4）。

挿入部１１ａは検査対象６２内にそれまで挿入されていなかったと判定されると（S4:NO）、処理は、S2に戻る。
S3において、挿入部１１ａの先端部は見えていると判定されないと（S3:NO）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S5）。S5の判定は、上述したS4の判定と同様に行うことができる。

なお、S2の挿入部１１ａの先端部の検出処理において、互いに異なる検出方法の複数の検出処理を行い、複数の検出処理の全てにおいて、挿入部１１ａの先端部が検出されたと判定されたときに、S3において、挿入部１１ａの先端部は見えていると判定するようにしてもよい。複数の検出処理は、例えば、上述した先端硬性部１１ａ１の検出、先端硬性部１１ａ１の外周面上の所定のマークの検出、及び先端部から出射される照明光の検出であり、３つの検出処理の全てにおいて、検出がされたときに、挿入部１１ａの先端部は見えていると判定される。
さらになお、複数の検出処理の各検出結果に重み付けをして、重み付けされた各検出結果に基づいて、挿入部１１ａの先端部は見えていると判定するようにしてもよい。

さらになお、スマートグラス画像に加えて、内視鏡画像の画像変化の情報も加えて、挿入部１１ａの先端部は見えていると判定するようにしてもよい。例えば、検査対象が配管などの場合、挿入部１１ａが配管内に挿入されているとき、内視鏡画像において、中心から離れた画像領域では、画面の中央から外径方向に画像が移動する。よって、内視鏡画像の所定の複数（例えば２つ）の領域において、画面の中央から外径方向に向かって画像が移動するような変化があるか否かを判定し、その判定結果も加味して、挿入部１１ａの先端部は見えているかを判定するようにしてもよい。

挿入部１１ａが検査対象６２内にそれまで挿入されていなかったと判定されると（S5:NO）、CPU部４２は、スマートグラス画像から内視鏡画像への表示切替の処理を行う（S6）。S6の表示切替処理により、スマートグラス１３の表示部５３には、それまで表示されていたスマートグラス画像に代わって、内視鏡１１からの内視鏡画像が表示される。

S3でNOかつS5でNOとなるときは、スマートグラス画像６１が例えば図３から図４に変化したとき、すなわち挿入部１１ａの先端部が検査対象６２内に挿入されたとき、である。
以上のように、S2〜S6の処理は、カメラ部５５において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス１３の表示部５３に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
具体的には、S2〜S6の処理では、スマートグラス画像中における挿入部１１ａの先端部の検出処理を行い、その検出処理の結果、スマートグラス画像中に挿入部１１ａの先端部の画像があるか否かに基づいて表示制御が行われる。そして、S3とS5において、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されないとき、スマートグラス１３の表示部５３に、内視鏡画像を表示するように表示制御が行われる。

CPU部４２は、S6の後、内視鏡画像の記録を開始する（S7）。例えば、CPU部４２は、S1においてスマートグラス画像の動画の画像データのメモリ部４５への記録を開始したが、S7では、スマートグラス画像の動画に代えて、内視鏡１１から受信した内視鏡画像の動画の記録を開始する。よって、ユーザは、内視鏡画像の記録開始の指示をスマートフォン１２へ与えなくてもよい。
すなわち、S7の処理は、記憶装置であるメモリ部４５への内視鏡画像の記録制御を行う記録制御部を構成する。挿入部１１ａの先端部の画像がスマートグラス画像中に検出されないとき（S3）、S7において、記憶装置であるメモリ部４５への内視鏡画像の記録が行われる。
S7の後、処理は、S2へ戻る。

その後、内視鏡１１による検査対象６２内の検査が行われ、挿入部１１ａの先端部が開口部６３から引き出されない限り、S3でNOかつS5でYESとなって、処理は、S2に戻って繰り返される。

内視鏡検査が終了し、ユーザが挿入部１１ａを検査対象内から引き出して、挿入部１１ａの先端部が開口部６３から引き抜かれると、S3において、挿入部１１ａの先端部は見えていると判定され（S3:YES）、CPU部４２は、挿入部１１ａは検査対象６２内にそれまで挿入されていたかを判定する（S4）。

検査が終わって挿入部１１ａを検査対象内から引き出されたときは、挿入部１１ａは検査対象６２内にそれまで挿入されていたと判定され（S4:YES）、CPU部４２は、内視鏡画像からスマートグラス画像への表示切替の処理を行う（S8）。

S3でYESの後にS4でYESとなるときは、スマートグラス画像６１が例えば図４から図３に変化したとき、すなわち挿入部１１ａの先端部が検査対象６２内から引き抜かれたとき、である。
以上のように、S2,S3,S4,S8の処理は、カメラ部５５において取得されたカメラ画像であるスマートグラス画像に基づいて、スマートグラス１３の表示部５３に表示される内視鏡画像の表示制御を行う表示制御部を構成する。
そして、S2,S3,S4,S8の処理では、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されると、スマートグラス１３の表示部５３に内視鏡画像を表示しないように表示制御が行われる。具体的には、内視鏡画像を表示しないとき、スマートグラス１３の表示部５３にスマートグラス画像を表示するように表示制御が行われる。

CPU部４２は、S8の後、スマートグラス画像の記録へ切り替える（S9）。例えば、CPU部４２は、それまで内視鏡画像の動画の画像データのメモリ部４５への記録をしていたが、S9では、内視鏡画像の動画に代えて、スマートグラス１３から受信したスマートグラス画像の動画の記録を行うように、記録対象の切り替えが行われる。よって、ユーザは、スマートグラス画像の記録開始の指示をスマートフォン１２へ与えなくてもよい。
すなわち、S9の処理は、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されなくなった後、挿入部１１ａの先端部の画像がスマートグラス画像中に検出されると、記憶装置であるメモリ部４５へのスマートグラス画像の記録を行う記録制御部を構成する。
S9の後、処理は、S2へ戻る。

その後、内視鏡１１による検査対象６２内の検査が再開されれば、S3でNOとなって、上述した処理が実行される。

内視鏡検査の終了が指示されると、CPU部４２は、図２の処理を終了する。

図５は、時間経過に伴う、メモリ部４５に記録される画像の変化を示す図である。図５に示すように、時間tの軸上の時刻t1において、検査開始と共にスマートグラス画像の記録が開始される。時刻t2において、挿入部１１ａが検査対象内に挿入されると、内視鏡画像の記録が開始される。

時刻t3において、挿入部１１ａが検査対象内から引き抜かれて、挿入部１１ａの先端部が検査対象の外部に見えると、内視鏡画像の記録が終了して、スマートグラス画像の記録が開始され、時刻t4において、検査の終了が指示されると、スマートグラス画像の記録も終了する。
時刻t1からt4までの動画が１つの動画ファイルとしてメモリ部４５に記録される。

以上のように、上述した実施の形態によれば、カメラ付き頭部装着型表示装置の表示部に表示する画像の表示切り替えのための操作を不要とする内視鏡システム及び内視鏡システムにおける内視鏡画像の表示切替方法を実現することができる。

なお、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、スマートグラス１３のCPU部５２により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、スマートグラス１３に設けてもよい。

例えば、スマートグラス１３は、内視鏡１１の無線部３１から、直接あるいはスマートフォン１２を介して、無線部５１において内視鏡画像を受信し、CPU部５２が図２の処理を実行する。

さらになお、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、内視鏡１１の制御部２７により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、内視鏡１１に設けてもよい。
その場合、スマートグラス１３は、スマートグラス画像を無線部５１から内視鏡１１へ直接あるいはスマートフォン１２を介してリアルタイムで送信する。また、スマートグラス１３において、内視鏡画像を表示するときは、内視鏡１１から内視鏡画像は無線部５１を介して受信される。

ここでも、例えば、内視鏡１１の制御部２７は、直接あるいはスマートフォン１２を介して、無線部３１においてスマートグラス１３からスマートグラス画像を受信し、制御部２７が図２の処理を実行して、スマートグラス１３へ表示制御信号を送信する。

また、上述した実施の形態では、図２に示すスマートグラス１３の表示部５３の表示制御は、スマートフォン１２のCPU部４２により行われているが、サーバ１４により行うようにしてもよい。すなわち、上述した実施の形態では、図２における内視鏡画像の表示制御を行う表示制御部は、スマートフォン１２に設けられているが、サーバ１４に設けてもよい。
その場合、スマートグラス１３は、スマートグラス画像を無線部５１からサーバ１４へ直接あるいはスマートフォン１２を介してリアルタイムで送信する。さらに、内視鏡１１も、内視鏡画像を無線部３１を介してサーバ１４へリアルタイムで送信する。

ここでも、例えば、スマートグラス１３は、内視鏡１１の無線部３１から、直接あるいはスマートフォン１２を介して、無線部５１において内視鏡１１の内視鏡画像を受信し、サーバ１４が、図２の処理を実行して、スマートグラス１３へ制御信号を送信するようにしてもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１ 内視鏡システム、１０ 光学アダプタ、１０ａ 対物レンズ部、１０ｂ 照明レンズ部、１１ 内視鏡、１１ａ 挿入部、１１ａ１ 先端硬性部、１１ａ２ 湾曲部、１１ａ３ 可撓管部、１１ｂ 本体部、１２ スマートフォン、１３ スマートグラス、１４ サーバ、１４ａ メモリ、１５ インターネット、２１ 対物レンズ部、２２ 撮像素子、２３ 照明部、２４ 湾曲機構、２５ 撮像素子駆動部、２６ 撮像信号処理部、２７ 制御部、２８ 入力部、２９ 照明駆動部、３０ 湾曲操作部、３１ 無線部、３２ バッテリ制御部、３３ バッテリ部、４１ 無線部、４２ CPU部、４３ タッチパネル部、４４ 表示部、４５ メモリ部、４６ カメラ部、４７ バッテリ制御部、４８ バッテリ部、５１ 無線部、５２ CPU部、５３ 表示部、５４ メモリ部、５５ カメラ部、５６ バッテリ制御部、５７ バッテリ部、６１ スマートグラス画像、６２ 検査対象、６３ 開口部。

Claims (17)

1. 第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、
   第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、
   前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う表示制御部と、
   を有することを特徴とする内視鏡システム。
2. 前記表示制御部は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があるか否かに基づいて前記表示制御を行うことを特徴とする請求項１に記載の内視鏡システム。
3. 前記表示制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記表示装置の前記表示部に、前記内視鏡画像を表示するように前記表示制御を行うことを特徴とする請求項２に記載の内視鏡システム。
4. 前記表示制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記表示装置の前記表示部に前記内視鏡画像を表示しないように前記表示制御を行うことを特徴とする請求項３に記載の内視鏡システム。
5. 前記表示制御部は、前記内視鏡画像を表示しないとき、前記表示装置の前記表示部に前記カメラ画像を表示するように前記表示制御を行うことを特徴とする請求項４に記載の内視鏡システム。
6. 前記表示制御部は、前記表示装置に設けられていることを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
7. 第３無線通信部を有する端末装置と、
   を有し、
   前記表示制御部は、前記端末装置に設けられていることを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
8. 前記表示制御部は、前記内視鏡に設けられていることを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
9. 前記表示制御部は、通信可能な外部装置に設けられていることを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
10. 記憶装置への前記内視鏡画像の記録制御を行う記録制御部を有することを特徴とする請求項１から９のいずれか１つに記載の内視鏡システム。
11. 前記記録制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記記憶装置への前記内視鏡画像の記録を行うことを特徴とする請求項１０に記載の内視鏡システム。
12. 前記記録制御部は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記記憶装置への前記カメラ画像の記録を行うことを特徴とする請求項１１に記載の内視鏡システム。
13. 第１無線通信部及び挿入部を有し、検査対象内の内視鏡画像を取得する内視鏡と、
    第２無線通信部、カメラ部及び表示部を有する頭部装着型の表示装置と、
    を有する内視鏡システムにおける内視鏡画像の表示切替方法であって、
    前記カメラ部において取得されたカメラ画像に基づいて、前記表示装置の前記表示部に表示される前記内視鏡画像の表示制御を行う、
    を有することを特徴とする内視鏡システムにおける内視鏡画像の表示切替方法。
14. 前記内視鏡画像の表示制御は、前記カメラ画像中における前記挿入部の先端部の検出処理を行い、前記検出処理の結果、前記カメラ画像中に前記挿入部の先端部の画像があるか否かに基づいて行われることを特徴とする請求項１３に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
15. 前記内視鏡画像の表示制御は、前記挿入部の先端部の画像が前記カメラ画像中に検出されないとき、前記表示装置の前記表示部に、前記内視鏡画像を表示するように行われることを特徴とする請求項１４に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
16. 前記内視鏡画像の表示制御は、前記挿入部の先端部の画像が前記カメラ画像中に検出されなくなった後、前記挿入部の先端部の画像が前記カメラ画像中に検出されると、前記表示装置の前記表示部に前記内視鏡画像を表示しないように行われることを特徴とする請求項１５に記載の内視鏡システムにおける内視鏡画像の表示切替方法。
17. 前記内視鏡画像の表示制御は、前記内視鏡画像を表示しないとき、前記表示装置の前記表示部に前記カメラ画像を表示するように行われることを特徴とする請求項１６に記載の内視鏡システムにおける内視鏡画像の表示切替方法。

Images