JP2016202708A - 内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法 - Google Patents

Abstract

【課題】内視鏡とカメラ付き頭部装着型表示装置とを利用して内視鏡検査を行うときに、検査におけるバッテリ切れを防止することができる内視鏡システムを提供する。【解決手段】内視鏡システム１は、無線通信機能を有してバッテリ駆動される内視鏡１１と、スマートフォン１２と、無線通信機能を有してバッテリ駆動されるスマートグラス１３とを含む。スマートフォン１２では、内視鏡１のバッテリ残量を含むバッテリ情報の取得が行われ、バッテリ情報から推定した内視鏡１及びスマートグラス１３の各使用可能時間が所定値以下であるか否かかの判定を行い、各使用可能時間が所定値以下である場合、所定の情報をスマートグラス１３に表示させる。【選択図】図１

Description

本発明は、内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法に関し、特に、内視鏡検査に用いられる機器の検査中におけるバッテリ切れを防止する内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法に関する。

従来、内視鏡が工業分野及び医療分野で広く利用されている。内視鏡は、先端部に観察窓を有する、細長の挿入部を有しており、検査者は、挿入部を被検体内に挿入して、被検体の内部を観察することができる。

また、近年は、特開２０１４−１５５２０７号公報に開示のように、カメラ付きのスマートグラスが提案されている。スマートグラスは、所謂ウェアラブルデバイスであり、眼鏡のように、ユーザの頭部に装着されて、ユーザが実際に見ている光景に、情報を重畳して表示するカメラ付き頭部装着型表示装置である。

内視鏡検査においても、このようなスマートグラスを利用することが考えられ、例えば、スマートグラスで内視鏡画像などが見ることができれば、便利である。

特開２０１４−１５５２０７号公報

しかし、内視鏡検査は、電源をとることができない場所で行われる場合がある。その場合、内視鏡はバッテリ駆動されるが、内視鏡と共に、バッテリ駆動されるスマートグラスのような表示装置を用いて内視鏡検査を行う場合、内視鏡とスマートグラスのいずれか一方が、検査中にバッテリ切れになると、スマートグラスを利用した内視鏡検査ができなくなる。

バッテリ切れになると、検査者であるユーザは、バッテリの予備があれば、バッテリ交換をして、現場で内視鏡検査を続行できるが、バッテリの予備がなければ、ユーザは、バッテリの予備がある場所までバッテリを取りに行かなければならず、内視鏡検査は中断される。

また、検査者は、検査前に内視鏡とスマートグラスのバッテリ残量をチェックして、これから行う検査において、バッテリ切れが発生する虞があるか否かを判断することは容易ではない。

そこで、本発明は、内視鏡とカメラ付き頭部装着型表示装置とを利用して内視鏡検査を行うときに、検査におけるバッテリ切れを防止することができる内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法を提供することを目的とする。

本発明の一態様の内視鏡システムは、無線通信機能を有し、バッテリ駆動される内視鏡と、無線通信機能を有し、バッテリ駆動される、カメラ付き頭部装着型表示装置と、前記内視鏡の第１のバッテリ残量及び前記表示装置の第２のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部と、前記バッテリ情報から推定した前記内視鏡及び前記表示装置の各使用可能時間又は前記第１及び前記第２のバッテリ残量が所定値以下であるか否かかの判定を行う判定部と、前記判定の結果、前記各使用可能時間又は前記第１及び前記第２のバッテリ残量が前記所定値以下である場合、所定の情報を、前記表示装置において表示させる処理を行う表示処理部と、を有する。

本発明の一態様の内視鏡検査時に用いられる機器のバッテリチェック方法は、無線通信機能を有してバッテリ駆動される内視鏡と、無線通信機能を有してバッテリ駆動されるカメラ付き頭部装着型表示装置とを用いて内視鏡検査を行うときにおけるバッテリチェック方法において、前記内視鏡の第１のバッテリ残量及び前記表示装置の第２のバッテリ残量を含むバッテリ情報の取得を行い、前記バッテリ情報から推定した前記内視鏡及び前記表示装置の各使用可能時間又は前記第１及び前記第２のバッテリ残量が所定値以下であるか否かかの判定を行い、前記判定の結果、前記各使用可能時間又は前記第１及び前記第２のバッテリ残量が前記所定値以下である場合、所定の情報を、前記表示装置の表示部により表示する。

本発明によれば、内視鏡とカメラ付き頭部装着型表示装置とを利用して内視鏡検査を行うときに、検査中におけるバッテリ切れを防止することができる内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法を実現することができる。

本発明の第１の実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の第１の実施の形態に係わる、バッテリチェックプログラムの処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に係わる、スマートグラス１３の表示部５３に表示された警告表示画面６１の表示例を示す図である。 本発明の第２の実施の形態に係わる、バッテリチェックプログラムの処理の流れの例を示すフローチャートである。 本発明の第３の実施の形態に係わる、バッテリチェックプログラムの処理の流れの例を示すフローチャートである。 本発明の第３の実施の形態に係わる、各機器の残量状態の表示例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
（システム構成）
図１は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。

内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３と、サーバ１４とを含んで構成される。
内視鏡１１は、被検体の内部を観察するための内視鏡装置である。スマートフォン１２は、無線によるデータ通信が可能な携帯端末である。スマートグラス１３は、ユーザが眼鏡をかけるように頭部に装着可能であり、実際に見ている光景に情報を重畳するように表示して、両眼あるいは片眼でユーザが見ることができるカメラ付き頭部装着型表示装置である。

内視鏡１１、スマートフォン１２及びスマートグラス１３の各々は、無線通信機能を有し、バッテリで駆動される機器である。
（内視鏡の構成）
内視鏡１１は、細長の挿入部１１ａと本体部１１ｂとを有する。

挿入部１１ａの先端部には、図示しない観察窓に配置された対物レンズ部２１と、対物レンズ部２１の焦点位置に設けられた撮像素子２２と、図示しない照明窓に配置された照明部２３とが設けられている。

撮像素子２２は、例えばCCDイメージセンサ、CMOSイメージセンサである固体撮像装置である。撮像素子２２の撮像面に、対物レンズ部２１を透過した光が集光し、撮像素子２２は、光電変換して生成した撮像信号を出力する。

照明部２３は、例えば発光ダイオード（LED）である発光素子を有する。照明部２３は、発光素子の出射する光を照明光として、照明窓を通して出射する。
挿入部１１ａの先端部には、湾曲部２４が設けられている。湾曲部２４は、複数の湾曲駒を含み、所定の湾曲駒に先端が固定された湾曲ワイヤの牽引と弛緩により、挿入部１１ａの先端部は、上下左右方向に湾曲可能となっている。

本体部１１ｂは、撮像素子駆動部２５と、撮像信号処理部２６と、制御部２７と、入力部２８と、照明駆動部２９と、湾曲操作部３０と、無線部３１と、バッテリ制御部３２と、バッテリ部３３とを含む。

撮像素子駆動部２５は、撮像素子２２を駆動する駆動回路である。
撮像信号処理部２６は、制御部２７により制御され、撮像素子駆動部２５を制御すると共に、撮像素子号駆動部２５からの各種信号に基づいて、撮像素子２２からの撮像信号を受信して画像信号を生成する回路である。

制御部２７は、中央処理装置（以下、CPUという）と、ROM、RAM、書き換え可能な不揮発性メモリを含む回路であり、内視鏡１１内の各回路の制御を行う。ROMには、各種機能に応じた各種プログラムが格納されている。CPUは、ROMに記憶されたプログラムを読み出して実行することにより、各機能に応じた処理を実行する。また、制御部２７は、撮像信号処理部２６からの画像信号を不揮発性メモリに記録する。
なお、不揮発性メモリは、メモリカードなどの内視鏡１１に対して脱着可能な記憶装置でもよい。

入力部２８は、ユーザが操作する操作ボタンなどの入力操作部材を有する。入力部２８に対するユーザの操作に応じた操作信号は、入力部２８から制御部２７へ供給される。操作信号は、例えば、照明部２３の光量、撮像信号処理部２６のゲイン、等の操作信号である。制御部２７は、操作信号に応じて、撮像信号処理部２６、照明駆動部２９、無線部３１及びバッテリ制御部３２へ、各種制御信号を出力する。
照明駆動部２９は、制御部２７からの照明制御信号に応じて、照明部２３への駆動信号を出力する。

湾曲操作部３０は、例えばジョイスティックなどの湾曲操作部材であり、ユーザが湾曲操作部３０を操作することにより、各湾曲ワイヤなどの牽引と弛緩が行われて、挿入部１１ａの先端部の湾曲部２４が湾曲する。
なお、湾曲制御は、電動モータなどを用いて電気的制御で行ってもよく、その場合は、スマートフォン１２からの湾曲操作指示によっても、湾曲部２４の湾曲制御が可能となる。

無線部３１は、無線LAN等により無線通信を行うための回路である。内視鏡１１は、無線部３１を利用して、スマートフォン１２、スマートグラス１３及びサーバ１４との無線通信を行うことができる。

また、無線部３１は、制御部２７の制御の下、撮像素子２２で撮像して得られた画像情報、入力部２８に入力された操作指示についての操作信号、バッテリ制御部３２の保有するバッテリ部３３のバッテリ残量やバッテリ温度、等の情報を、スマートフォン１２あるいはサーバ１４へ送信可能である。

無線部３１は、スマートフォン１２からの照明制御コマンドを受信すると、照明駆動部２９へ出力する。すなわち、照明部２３は、スマートフォン１２からの指示に応じて制御可能となっている。

バッテリ制御部３２は、バッテリ部３３の放電及び充電を制御すると共に、バッテリ部３３のバッテリの残量及びバッテリ部３３の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。

さらに、バッテリ制御部３２は、バッテリ部３３の使用中における、単位時間当たり消費される標準的な電力（以下、標準消費電力という）の情報も有している。
（スマートフォンの構成）
スマートフォン１２は、無線部４１と、CPU部４２と、タッチパネル部４３と、表示部４４と、メモリ部４５と、カメラ部４６と、バッテリ制御部４７と、バッテリ部４８とを有する。

無線部４１は、無線LAN等により無線通信を行うための回路である。スマートフォン１２は、無線部４１を利用して、内視鏡１１、スマートグラス１３及びサーバ１４との、無線通信を行うことができる。
すなわち、スマートフォン１２は、内視鏡１１及びスマートグラス１３及びサーバ１４と無線通信可能な端末装置である。

CPU部４２は、CPUを含む回路である。CPU部４２は、カメラ部４６で撮像して得られた画像データ、内視鏡１１からの内視鏡画像データ及びスマートグラス１３からの画像データに対して所定の画像処理を行うと共に、メニュー表示などのグラフィック画像データを生成して、内視鏡画像などに重畳した画像を生成して、表示部４４に出力する回路である。

CPU部４２は、カメラ部４６の動作を制御すると共に、カメラ部４６からの画像データを取得する。
CPU部４２において実行される画像処理は、例えば、表示部４４の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。

また、CPU部４２は、カメラ部４６で取得された画像中の人の顔を認識する顔認識機能も有し、そのための顔認識処理プログラムも実行可能である。
また、CPU部４２は、ユーザからの指示に応じて、各種処理を実行するが、特に、内視鏡１１へのコマンド、例えば、照明制御、撮像素子制御、等の制御データを生成して、無線部４１を介して内視鏡１１へ送信する処理も行うことができる。

さらに、CPU部４２は、スマートグラス１３への各種コマンド等の制御データを生成して、無線部４１を介してスマートグラス１３へ送信すると共に、内視鏡１１で得られた内視鏡画像データ、カメラ部４６で得られた画像データ、メニュー画面などの画像データなどをスマートグラス１３へ送信する処理も行うことができる。

タッチパネル部４３は、表示部４４の表示画面上に配置され、ユーザがタッチして各種操作を行うための装置である。タッチパネル部４３に入力された各種操作指示、例えば照明操作、撮像操作などの操作指示信号、は、無線部４１を介して、内視鏡１１あるいはスマートグラス１３へも送信可能である。
表示部４４は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。

表示部４４の表示面上に表示されたコマンドボタンの部分を、ユーザが指などで触れると、タッチパネル部４３のタッチされた領域の位置座標が検出されて、CPU部４２は、検出された位置座標から、表示されているボタンのいずれがタッチされたのかを判定することができる。

メモリ部４５は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部４２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。メモリ部４５には、後述するバッテリチェックプログラムも格納されている。不揮発性メモリには、内視鏡画像などを記録することもできる。
さらに、メモリ部４５には、後述する使用可能推定時間の予め決められた閾値の情報も格納されている。

カメラ部４６は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部４２の制御の下で動作が制御される。カメラ部４６は、撮像して得られた画像データを、CPU部４２へ出力する。

バッテリ制御部４７は、バッテリ部４８の放電及び充電を制御すると共に、バッテリ部４８のバッテリの残量及びバッテリ部４８の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。

さらに、バッテリ制御部４７は、バッテリ部４８の標準消費電力の情報も有している。バッテリ制御部４７は、バッテリ部４８のバッテリの残量及び温度のデータを、CPU部４２へ出力する。
（スマートグラスの構成）
スマートグラス１３は、無線部５１と、CPU部５２と、表示部５３と、メモリ部５４と、カメラ部５５と、バッテリ制御部５６と、バッテリ部５７とを有する。

無線部５１は、無線LAN等により無線通信を行うための回路である。スマートグラス１３は、無線部５１を利用して、内視鏡１１、スマートフォン１２及びサーバ１４との無線通信を行うことができる。

CPU部５２は、CPUを含む回路である。CPU部５２は、カメラ部５５で撮像して得られた画像データ、及びスマートフォン１２からの画像データに対して所定の画像処理を行い、表示部５３に表示する画像データを生成し、生成した画像データを、表示部５３に出力する回路である。

CPU部５２は、カメラ部５５の動作を制御すると共に、カメラ部５５からの画像データを取得する。そして、CPU部５２は、カメラ部５５で得られた画像データを、無線部５１を介して、スマートフォン１２へ送信することができる。
CPU部５２において実行される画像処理は、例えば、表示部５３の仕様に応じた色空間変換、インターレース／プログレッシブ変換、ガンマ補正、等の処理である。

また、CPU部５２は、ユーザからの指示に応じて、各種処理を実行する。ユーザからの指示は、例えば、カメラ部５５による画像処理により、ユーザの指の動きに応じたコマンドを検出する方法、スマートグラス１３に設けられたボタン（図示せず）への操作を検出する方法、等により、行うことができる。CPU部５２は、ユーザからの指示、すなわちコマンド、に応じた処理を実行する。

同様に、CPU部５２は、スマートフォン１２への各種コマンド等の制御データを生成して、無線部５１を介してスマートフォン１２へ送信する処理も行う。
表示部５３は、液晶表示パネルのような表示器であり、内視鏡画像、メニュー画像などを表示する。

メモリ部５４は、ROM、RAM、書き換え可能な不揮発性メモリを含み、ROMには、CPU部５２の動作する各種処理プログラムが格納されおり、RAMは、実行中のワークエリアとして利用される。不揮発性メモリには、内視鏡画像などを記録することができる。

カメラ部５５は、CCDイメージセンサ、CMOSイメージセンサ等の撮像素子を含み、CPU部５２の制御の下で動作が制御される。カメラ部５５は、撮像して得られた画像データを、CPU部５２へ出力する。

バッテリ制御部５６は、バッテリ部５７の放電及び充電を制御すると共に、バッテリ部５７のバッテリの残量及びバッテリ部５７の温度（すなわちバッテリ温度）の情報を収集し記憶する回路である。さらに、バッテリ制御部５６は、バッテリ部５７の標準消費電力の情報も有している。バッテリ制御部５６は、バッテリ部５７のバッテリの残量及び温度のデータを、CPU部５２へ出力する。
（サーバの構成）
サーバ１４は、インターネット１５に接続された、コンピュータ装置である。サーバ１４は、インターネット１５を介して、内視鏡１１、スマートフォン１２及びスマートグラス１３と、通信可能となっている。サーバ１４は、例えば無線LAN等の無線通信可能なパーソナルコンピュータである。

サーバ１４は、大容量のメモリ１４ａを有し、ユーザは、内視鏡１１に記憶された内視鏡画像データをサーバ１４へ送信してメモリ１４ａに記憶させたり、サーバ１４のメモリ１４ａに記憶された検査結果情報などを読み出すことができる。

以上のように、内視鏡システム１は、内視鏡１１と、スマートフォン１２と、スマートグラス１３とを含んで構成され、内視鏡１１と、スマートフォン１２と、スマートグラス１３は、図１において二点鎖線で示すように互いに通信可能であり、さらにサーバ１４とも通信可能である。ユーザは、スマートグラス１３を眼鏡をかけるように頭部に装着し、スマートフォン１２を携帯して、内視鏡１１を用いて内視鏡検査を行う。
（作用）
次に、内視鏡検査に用いられる内視鏡１１、スマートフォン１２及びスマートグラス１３のバッテリチェック方法につき説明する。
ユーザは、検査を開始する前に、内視鏡１１、スマートフォン１２及びスマートグラス１３の電源をオンにする。

ユーザは、スマートフォン１２を操作して、バッテリチェックプログラムの実行指示を、スマートフォン１２へ与える。
図２は、バッテリチェックプログラムの処理の流れの例を示すフローチャートである。

スマートフォン１２のCPU部４２は、バッテリチェックプログラムの実行が指示されると、メモリ部４５のROMからバッテリチェックプログラムを読み出して実行する。例えば、バッテリチェックプログラムの実行は、スマートフォン１２の画面上の実行ボタンのタッチ操作により指示される。

なお、バッテリチェックプログラムの実行は、スマートグラス１３におけるカメラ部５５により得られた画像に対する顔認識処理により、顔が認識されると、スマートグラス１３から認識されたことを示す信号がスマートフォン１２へ送信され、その認識信号の受信により指示されるようにしてもよい。すなわち、スマートグラス１３における顔認識処理により、人の顔が認識されたことをトリガーとして、バッテリチェックプログラムの実行が指示されるようにしてもよい。

CPU部４２は、内視鏡１１及びスマートグラス１３のそれぞれから、バッテリ残量と標準消費電力の情報を取得する（S1）。すなわち、S1の処理は、内視鏡１１のバッテリ残量及びスマートグラス１３のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部を構成する。
CPU部４２が、バッテリ情報要求コマンドを無線部４１から内視鏡１１へ送信し、バッテリ情報要求コマンドは、内視鏡１１の無線部３１において受信される。内視鏡１１の制御部２７は、受信したバッテリ情報要求コマンドに応じて、バッテリ制御部３２のバッテリ残量と標準消費電力のデータを読み出してスマートフォン１２へ送信するように、無線部３１を制御する。
その結果、スマートフォン１２のCPU部４２は、内視鏡１１のバッテリ部３３のバッテリ残量と標準消費電力の情報を取得することができる。

同様に、CPU部４２が、バッテリ情報要求コマンドを無線部４１からスマートグラス１３へ送信し、バッテリ情報要求コマンドは、スマートグラス１３の無線部５１において受信される。スマートグラス１３のCPU部５２は、受信したバッテリ情報要求コマンドに応じて、バッテリ制御部５６のバッテリ残量と標準消費電力のデータを読み出してスマートフォン１２へ送信するように、無線部５１を制御する。

その結果、スマートフォン１２のCPU部４２は、スマートグラス１３のバッテリ部５７のバッテリ残量と標準消費電力の情報を取得することができる。
CPU部４２は、スマートフォン１２に内蔵されたバッテリ制御部４７からバッテリ残量と標準消費電力の情報を読み出して取得する（S2）。

CPU部４２は、各機器の使用可能推定時間を算出する（S3)。
内視鏡１１の使用可能推定時間は、内視鏡１１から取得したバッテリ部３３のバッテリ残量をバッテリ部３３の標準消費電力で除算した値である。スマートグラス１３の使用可能推定時間は、スマートグラス１３から取得したバッテリ部５７のバッテリ残量をバッテリ部５７の標準消費電力で除算した値である。スマートフォン１２の使用可能推定時間は、スマートフォン１２のバッテリ制御部４７から取得したバッテリ部４８のバッテリ残量をバッテリ部４８の標準消費電力で除算した値である。

CPU部４２は、スマートグラス１３の表示部５３に表示させるために、各機器のバッテリ残量及び使用可能推定時間の情報を、スマートグラス１３へ送信する（S4）。
スマートグラス１３のCPU部５２は、受信した各機器のバッテリ残量及び使用可能推定時間の情報を表示部５３に出力する。その結果、スマートグラス１３の表示部５３には、各機器のバッテリ残量及び使用可能推定時間の情報が表示され、スマートグラス１３をかけたユーザは、その情報を見ることができる。

CPU部４２は、各機器の使用可能推定時間が、メモリ部４５に記憶された所定の閾値以下であるかを判定する（S5）。所定の閾値は、ユーザにより予め設定された値であり、例えば１（時間）という値である。例えば、どのような検査においても少なくとも掛かるであろうとされる時間として１（時間）が、この所定の閾値として設定されて登録される。

なお、メモリ部４５に複数の閾値を記憶しておき、ユーザがいずれかの閾値を選択して設定しておき、その選択された閾値を、S5において使用するようにしてもよい。
さらになお、ユーザがタッチパネル部４３から入力されて設定した閾値を、S5において使用するようにしてもよい。
すなわち、スマートフォン１２が、バッテリ情報の取得を行い（S1）、かつS5の判定を行う。そして、S5の処理は、バッテリ情報から推定した内視鏡１１及びスマートグラス１３の各使用可能時間が所定値である閾値以下であるか否かかの判定を行う判定部を構成する。

いずれかの機器の使用可能推定時間が、メモリ部４５に記憶された所定の閾値以下である場合（S5:YES）、CPU４２は、その所定の閾値以下となった使用可能推定時間の機器についての警告表示情報を生成して、スマートグラス１３へ送信する（S6）。

例えば、内視鏡１１の使用可能推定時間が、所定の閾値以下であるときは、内視鏡１１が充電あるいはバッテリ交換が必要である旨のメッセージ及びマーク表示が生成されて、スマートグラス１３へ送信される。

その結果、スマートグラス１３の表示部５３には、使用可能推定時間が所定の閾値以下機器に所定のマークが重畳され、かつバッテリの充電あるいは交換が必要な旨のメッセージが表示され、スマートグラス１３をかけたユーザは、その情報を見ることができる。
よって、S6の処理は、S5の判定の結果、各使用可能時間が所定の閾値以下である場合、所定の情報を、スマートグラス１３において表示させる処理を行う表示処理部を構成する。

なお、いずれの機器の使用可能推定時間も、メモリ部４５に記憶された所定の閾値以下でなければ（S5:NO）、CPU４２は、処理を何もしない。
図３は、スマートグラス１３の表示部５３に表示された警告表示画面６１の表示例を示す図である。

警告表示画面６１は、所定の情報を表示するメッセージ表示部６２と、残量及び使用可能推定時間表示部６３とを有する。
警告表示画面６１は、ユーザが実際に見ている光景に重畳して見えるように表示される。

メッセージ表示部６２は、ポップアップウインドウ内に、「警告」という文字と、「１時間の検査時間に対して、スマートグラスのバッテリ残量が不足しています。充電又はバッテリ交換をして下さい」のメッセージを表示している。すなわち、図３は、スマートグラス１３のバッテリが残量不足であり、充電あるいは交換をユーザに促す画面表示の例である。

さらに、メッセージ表示部６２は、表示された警告内容をユーザが認識したことを入力させるための「OK」ボタン６２ａの表示を含んでいる。「OK」ボタン６２ａは、ユーザが所定のメニュー表示に対するジェスチャなどにより、操作可能である。

残量及び使用可能推定時間表示部６３は、内視鏡１１のアイコン表示６４ａと、スマートフォン１２のアイコン表示６５ａと、スマートグラス１３のアイコン表示６６ａと、内視鏡１１のバッテリ残量と使用可能推定時間を表示する残量及び時間表示６４ｂと、スマートフォン１２のバッテリ残量と使用可能推定時間を表示する残量及び時間表示６５ｂと、スマートグラス１３のバッテリ残量と使用可能推定時間を表示する残量及び時間表示６６ｂと、を含んでいる。

各機器に対応して、バッテリ残量と使用可能推定時間が表示される。
よって、いずれかの機器の使用可能推定時間が所定の閾値以下であると判定されると、ユーザに使用可能推定時間が所定の閾値以下の機器と、バッテリの充電あるいは交換が、ユーザに促される。

以上のように、上述した実施の形態によれば、ユーザは、内視鏡検査を始める前に、バッテリチェックを行うことにより、検査の途中におけるバッテリ切れの発生を防止することができ、検査効率を向上させることができる。
（変形例１）
上記の実施の形態の内視鏡システムは、内視鏡１１とスマートフォン１２とスマートグラス１３とを有しているが、本変形例１として、内視鏡システムは、スマートフォン１２を含まずに内視鏡１１とスマートグラス１３を有するものでもよい。

本変形例１の場合、スマートグラス１３が、内視鏡１１からバッテリ残量の情報を無線で取得して、内視鏡１１とスマートグラス１３の使用可能推定時間を算出し（S3）、各機器の使用可能推定時間が閾値以下であるかの判定を行う（S5）。すなわち、内視鏡１１と無線通信可能なスマートグラス１３が、バッテリ情報の取得を行い（S1）、かつS5の判定を行う。そして、スマートグラス１３において、警告表示が行われる。

本変形例１によっても、上述した実施の形態と同様の効果を得ることができる。
（変形例２）
上記の実施の形態では、スマートフォン１２が内視鏡１１とスマートグラス１３のそれぞれからバッテリ残量と標準消費電力の情報を得て、内視鏡１１とスマートグラス１３についてのS5の判定を行っているが、図３における内視鏡１１とスマートグラス１３についてのS5の判定を、内視鏡１１とスマートグラス１３において行うようにしてもよい。

すなわち、内視鏡１１の制御部２７がバッテリ制御部３２からバッテリ残量と標準消費電力の情報を取得し（S1）、上記の判定を行い（S5）、その判定結果をバッテリ残量の情報と共にスマートフォン１２へ送信し、同様に、スマートグラス１３のCPU部５２がバッテリ制御部５６からバッテリ残量と標準消費電力の情報を取得し（S1）、上記の判定を行い（S5）、その判定結果をバッテリ残量の情報と共にスマートフォン１２へ送信するようにしてもよい。
その場合、スマートフォン１２のCPU部４２が、受信した情報に基づいて警告表示画面６１を生成してスマートグラス１３へ送信して、表示部５３に表示する。

本変形例２によっても、上述した実施の形態と同様の効果を得ることができる。
（変形例３）
上記の実施の形態の内視鏡システムは、スマートフォン１２が、内視鏡１１とスマートグラス１３からバッテリ残量と標準消費電力の情報を取得して、内視鏡１１とスマートグラス１３のそれぞれの使用可能推定時間を算出し、各使用可能推定時間が閾値以下であるかの判定を行っているが、本変形例３として、サーバ１４が、内視鏡１１とスマートフォン１２とスマートグラス１３の各々からバッテリ残量と標準消費電力の情報を取得して、内視鏡１１とスマートフォン１２とスマートグラス１３の各々の使用可能推定時間を算出し、各使用可能推定時間が閾値以下であるかの判定を行い、その判定結果をバッテリ残量の情報と共にスマートグラス１３へ送信するようにしてもよい。

すなわち、本変形例の場合、サーバ１４が、内視鏡１１、スマートフォン１２及びスマートグラス１３の各々からバッテリ残量と標準消費電力の情報を取得して（S1）、内視鏡１１、スマートフォン１２及びスマートグラス１３の各々の使用可能推定時間を算出し（S3）、各使用可能推定時間が閾値以下であるかの判定を行う（S5）。すなわち、内視鏡１１、スマートフォン１２及びスマートグラス１３と無線通信可能なサーバ１４が、バッテリ情報の取得を行い（S1）、かつS5の判定を行う。さらに、サーバ１４が、判定結果を、各機器のバッテリ残量及び使用可能推定時間の情報と共にスマートグラス１３へ送信するようにしてもよい。
その場合、スマートグラス１３のCPU部５２が、受信した情報に基づいて警告表示画面６１を生成して表示部５３に表示する。

本変形例３によっても、上述した実施の形態と同様の効果を得ることができる。
（変形例４）
上述した実施の形態では、各機器のバッテリ残量から各機器の使用可能推定時間を算出し、各機器の使用可能推定時間と所定の閾値とを比較し、各機器の使用可能推定時間が所定の閾値以下であるかが、判定されているが、変形例４として、各機器の使用可能推定時間を算出せずに、各機器のバッテリ残量と各機器のバッテリ残量についての閾値とを比較し、各機器のバッテリ残量が所定の閾値以下であるかを判定するようにしてもよい。
その場合、各機器のバッテリ残量についての閾値は、各機器の使用可能推定時間の閾値に対応し、複数の機器間においてバッテリ残量についての閾値は、互いに異なる。

本変形例４によっても、上述した実施の形態と同様の効果を得ることができる。
（第２の実施の形態）
第１の実施の形態では、内視鏡検査に用いる内視鏡、スマートフォン及びスマートグラスのバッテリ残量から算出した使用可能推定時間が、所定の閾値以下になるかに基づいて、バッテリ切れの警告表示を行うようにしているが、本実施の形態は、その所定の閾値として、被検体の過去の検査に掛かった検査時間の実績データを利用して、バッテリ切れの警告表示を行うようにしている。

本実施の形態の内視鏡システムの構成は、第１の実施の形態の内視鏡システム１と同様であるので、本実施の形態において同じ構成要素については同じ符号を用いて説明し、ここでは説明を省略する。

本実施の形態では、サーバ１４のメモリ１４ａには、複数の被検体の画像情報と、被検体毎の実際に検査に掛かった検査時間の情報、すなわち過去の検査時間の実績情報、及び各機器（すなわち内視鏡１１、スマートフォン１２及びスマートグラス１３）の検査時の標準消費電力の情報が記憶されている。

そして、サーバ１４は、与えられた画像情報に基づいて、その画像の被検体と同一あるいは類似する被検体を、メモリ１４ａに記憶された複数の被検体の画像情報から検索して抽出する検索機能を有している。

さらに、サーバ１４は、被検体毎に、過去に行われた内視鏡検査の検査時間の情報と、検査中における各機器（すなわち内視鏡１１、スマートフォン１２及びスマートグラス１３）の消費電力情報から算出した検査時の標準消費電力の情報とを有している。

図４は、本実施の形態に係るバッテリチェックプログラムの処理の流れの例を示すフローチャートである。
まず、スマートフォン１２のCPU部４２は、バッテリチェックプログラムの実行が指示されると、ROMからバッテリチェックプログラムを読み出して実行する。ユーザは、内視鏡検査を開始する前に、スマートグラス１３のカメラ部５５で被検体を撮像し、得られた画像データをスマートフォン１２へ送信する。

スマートフォン１２のCPU部４２は、スマートグラス１３から被検体の画像情報を取得する（S11）。
CPU部４２は、サーバ１４へ被検体の画像情報を送信して、被検体の過去の検査時間の情報、及び各機器（すなわち内視鏡１１、スマートフォン１２及びスマートグラス１３）の標準消費電力の情報を取得する（S12）。

CPU部４２は、内視鏡１１及びスマートグラス１３のそれぞれから、バッテリ残量の情報を取得する（S13）。すなわち、S13の処理は、内視鏡１１のバッテリ残量及びスマートグラス１３のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部を構成する。
CPU部４２は、スマートフォン１２に内蔵されたバッテリ制御部４７からバッテリ残量の情報を読み出して取得する（S14）。

CPU部４２は、スマートグラス１３の表示部５３に表示させるために、各機器のバッテリ残量の情報を、スマートグラス１３へ送信する（S15）。
その結果、スマートグラス１３の表示部５３には、各機器のバッテリ残量の情報が表示され、スマートグラス１３をかけたユーザは、その情報を見ることができる。

CPU部４２は、各機器の使用可能推定時間を算出する（S16)。
内視鏡１１の使用可能推定時間は、内視鏡１１から取得したバッテリ部３３のバッテリ残量をサーバ１４から取得したバッテリ部３３の標準消費電力で除算した値である。スマートグラス１３の使用可能推定時間は、スマートグラス１３から取得したバッテリ部４８のバッテリ残量をサーバ１４から取得したバッテリ部４８の標準消費電力で除算した値である。スマートフォン１２の使用可能推定時間は、スマートフォン１２のバッテリ制御部４７から取得したバッテリ残量をサーバ１４から取得したバッテリ部５７の標準消費電力で除算した値である。

CPU部４２は、各機器の使用可能推定時間が、無線通信により外部であるサーバ１４から取得した被検体についての過去の検査時間以下であるかを判定する（S17）。過去の検査時間は、例えば、サーバ１４において算出された複数の過去の検査時間の平均値、最大値等である。よって、検査実績時間は、被検体毎に異なっている。
すなわち、S17の処理は、バッテリ情報から推定した内視鏡１１、スマートフォン１２及びスマートグラス１３の各使用可能時間が所定値である過去の検査時間以下であるか否かかの判定を行う判定部を構成する。

いずれかの機器の使用可能推定時間が、過去の検査時間以下である場合（S17:YES）、CPU４２は、その過去の検査時間以下となった使用可能推定時間の機器についての警告表示情報を生成して、スマートグラス１３へ送信する（S18）。
以上のように、所定値としての過去の検査時間は、内視鏡検査の被検体についての過去の検査時間に基づいて決定された値である。
スマートグラス１３に表示される警告表示画面は、上述した図３のような画面である。
よって、S18の処理は、S17の判定の結果、各使用可能時間が所定値である過去の検査時間以下である場合、所定の情報を、スマートグラス１３において表示させる処理を行う表示処理部を構成する。

なお、いずれの機器の使用可能推定時間も、過去の検査時間以下でなければ（S5:NO）、CPU４２は、処理を何もしない。
以上のように、上述した実施の形態によれば、ユーザは、内視鏡検査を始める前に、バッテリチェックを行うことにより、検査の途中におけるバッテリ切れの発生を防止することができ、検査効率を向上させることができる。

なお、本実施の形態においても、第１の実施の形態の変形例１〜４は、適用可能である。
（変形例１）
上述した第２の実施の形態では、サーバ１４が与えられた画像から被検体を特定しているが、サーバ１４において類似する被検体画像が複数ある場合は、抽出された複数の被検体画像を、スマートフォン１２へ送信して、ユーザに被検体を選択させるようにしてもよい。

スマートフォン１２は、ユーザが選択した被検体の情報をサーバ１４へ送信し、サーバ１４は、選択された被検体についての過去の検査時間情報などをメモリ１４ａから取得する。

本変形例１によっても、第２の実施の形態と同様の効果を得ることができる。
（第３の実施の形態）
第１及び第２の実施の形態では、検査に使用しようとする内視鏡とスマートフォンが特定されているときに、内視鏡、スマートフォン及びスマートグラスのバッテリが検査中に切れないかを判定しているが、本実施の形態では、複数の内視鏡、複数のスマートフォン及び複数のスマートグラスがあるときに、どの内視鏡、どのスマートフォン、及びどのスマートグラスなら、バッテリが検査中に切れないかが判定される。

本実施の形態の内視鏡システムの構成は、第１の実施の形態の内視鏡システム１と同様であるので、本実施の形態において同じ構成要素については同じ符号を用いて説明し、ここでは説明を省略する。

図５は、本実施の形態に係るバッテリチェックプログラムの処理の流れの例を示すフローチャートである。本実施の形態では、スマートグラス１３のCPU部５２が図５の処理を実行する。ユーザは、スマートグラス１３を付けた状態で、バッテリチェックプログラムを実行させる。

バッテリチェックプログラムの実行の指示は、ユーザがスマートグラス１３に対して所定のコマンドを入力することによって、行われる。
まず、スマートグラス１３のCPU部５２は、バッテリチェックプログラムの実行が開始すると、カメラ部５５により撮像して得られた画像の取得をして、表示部５３に表示する（S21）。

ユーザが、検査に使用する内視鏡１１とスマートフォン１２を選択できるようにするために、スマートグラス１３で内視鏡候補である複数の内視鏡とスマートフォン候補である複数のスマートフォン１２をユーザにカメラ部５５で撮像させて、画像の取得が行われる。カメラ部５５で撮像された画像は、スマートグラス１３の表示部５３に表示される。

CPU部５２は、カメラ部５５で撮像して得られた画像から、内視鏡とスマートフォンの画像領域を抽出し、抽出した画像領域に対して画像認識処理を実行させて、画像に含まれる各内視鏡と各スマートフォンを個体認識する（S22）。
すなわち、S22の処理が、スマートグラス１３において取得された画像から内視鏡１１及びスマートフォン１２を画像処理により識別する識別部を構成する。

例えば、各内視鏡及び各スマートフォンに、バーコードシールを貼り付け、CPU部５２が、画像に含まれるバーコード画像の領域画像を抽出し、抽出した領域画像からバーコードデータを認識することによって、CPU部５２は、各機器の個体を認識する。

なお、バーコード以外でも、文字、識別コード等が印刷されたシールを各機器に貼り付けておき、CPU部５２がシールに印刷された文字などを文字認識あるいは識別コード認識により、各機器の個体を認識するようにしてもよい。

CPU部５２は、認識されて特定された複数の内視鏡１１及び複数のスマートフォン１２のそれぞれから、バッテリ残量と標準消費電力の情報を取得する（S23）。よって、内視鏡１１及びスマートフォン１２のバッテリ情報は、無線通信機能により識別された内視鏡１１とスマートフォン１２から取得される。
すなわち、S23の処理は、内視鏡１１のバッテリ残量及びスマートフォン１２のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部を構成する。CPU５２は、無線通信により、個体認識された各内視鏡と各スマートフォン１２からバッテリ残量と標準消費電力の情報を取得することができる。

CPU部５２は、スマートグラス１３に内蔵されたバッテリ制御部５６からバッテリ残量と標準消費電力の情報を読み出して取得する（S24）。すなわち、S24の処理は、スマートグラス１３のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部を構成する。
CPU部５２は、各機器の使用可能推定時間を算出する（S25)。

内視鏡１１の使用可能推定時間は、各内視鏡１１から取得したバッテリ部３３のバッテリ残量をバッテリ部３３の標準消費電力で除算した値である。スマートフォン１２の使用可能推定時間は、スマートフォン１２から取得したバッテリ部４８のバッテリ残量をバッテリ部４８の標準消費電力で除算した値である。スマートグラス１３の使用可能推定時間は、スマートグラス１３のバッテリ制御部５６から取得したバッテリ部５７のバッテリ残量をバッテリ部５７の標準消費電力で除算した値である。

CPU部５２は、各機器のバッテリ残量と使用可能推定期間の情報を、各機器画像に重畳して表示する（S26）。
CPU部５２は、各機器の使用可能推定時間が、メモリ部４５に記憶された所定の閾値以下であるかを判定する（S27）。所定の閾値は、ユーザにより予め設定された値であり、例えば１（時間）という値である。例えば、どのような検査においても少なくとも掛かるであろうとされる時間が、この所定の閾値として設定されて登録される。
すなわち、S27の処理は、バッテリ情報から推定した内視鏡１１、スマートフォン１２及びスマートグラス１３の各使用可能時間が所定値である所定の閾値以下であるか否かかの判定を行う判定部を構成する。

CPU部５２は、各機器についての使用可能推定時間が所定の閾値以下であるか否かの判定結果に応じて、各機器の残量状態を表示する（S28）。
S28では、使用可能推定時間が所定の閾値以下である機器については、バッテリ不足になることを示すマークを機器画像に重畳した表示所定の表示を行い、使用可能推定時間が所定の閾値以下でない機器については、バッテリ不足にならないことを示すマークを機器画像に重畳して表示する。
よって、S28の処理は、S27の判定の結果、各使用可能時間が所定の閾値以下である場合、所定の情報を、スマートグラス１３において表示させる処理を行う表示処理部を構成する。

図６は、各機器の残量状態の表示例を示す図である。
図６は、カメラ部５５により撮像された２つの内視鏡１１A、１１Bと、２つのスマートフォン１２A、１２Bの各機器画像を含む機器画像表示画面７１の例を示す図である。

ユーザは、スマートグラス１３により、これら４つの機器を机等の上に載置して撮影する。撮影して得られた画像は、機器画像表示画面７１として、ユーザは、スマートグラス１３において見ることができるように、表示部５３に出力される（S21）。
図６に示すように、表示部５３に表示された機器画像表示画面７１は、スマートグラス１３のアイコンに加えて、４つの機器画像、ここでは、内視鏡１１A、１１Bと、スマートフォン１２A、１２Bの４つの画像を含む。

さらに、S26で算出された各機器のバッテリ残量と使用可能推定時間が、各機器画像に重畳するように表示される（S26）。
そして、上記の例では、使用可能推定時間が所定の閾値以下でない機器については、図６において点線で示すように、バッテリ不足になる虞がないことを示すマーク、例えば「○」印が重畳表示される（S28）。

さらに、使用可能推定時間が所定の閾値以下である機器については、図６において点線で示すように、バッテリ不足になる虞があることを示すマーク、例えば「×」印を重畳表示される（S28）。

なお、「○」や「×」のマークあるいはアイコンの代わりに、文字表示を行うようにしてもよい。
さらになお、使用可能推定時間が所定の閾値以下である機器については、何も表示しなくてもよい。
すなわち、内視鏡１１、スマートフォン１２及びスマートグラス１３についての所定の情報は、S22において識別された内視鏡１１、スマートフォン１２及びスマートグラス１３の画像に関連付けて表示される。

以上のように、上述した実施の形態によれば、ユーザは、内視鏡検査を始める前に、バッテリチェックを行うことにより、検査の途中におけるバッテリ切れの発生を防止することができ、検査効率を向上させることができる。
なお、本実施の形態においても、第１の実施の形態の変形例１〜４は、適用可能である。

以上のように、上述した各実施の形態及び各変形例によれば、内視鏡とカメラ付き頭部装着型表示装置とを利用して内視鏡検査を行うときに、検査中におけるバッテリ切れを防止することができる内視鏡システム及び内視鏡検査に用いられる機器のバッテリチェック方法を実現することができる。

なお、上述した各実施の形態及び各変形例では、スマートフォン１２が使用されているが、スマートフォン１２に代えてタブレットPC等の端末装置を用いてもよい。
さらに、なお、上述した各実施の形態及び各変形例では、各機器のバッテリ残量の情報が取得されているが、バッテリ部の出力電圧と温度のデータを取得して、出力電圧と温度からバッテリ残量を推定するようにしてもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１ 内視鏡システム、１１、１１Ａ、１１Ｂ 内視鏡、１１ａ 挿入部、１１ｂ 本体部、１２、１２A、１２B スマートフォン、１３ スマートグラス、１４ サーバ、１４ａ メモリ、１５ インターネット、２１ 対物レンズ部、２２ 撮像素子、２３ 照明部、２４ 湾曲部、２５ 撮像素子駆動部、２６ 撮像信号処理部、２７ 制御部、２８ 入力部、２９ 照明駆動部、３０ 湾曲操作部、３１ 無線部、３２ バッテリ制御部、３３ バッテリ部、４１ 無線部、４２ CPU部、４３ タッチパネル部、４４ 表示部、４５ メモリ部、４６ カメラ部、４７ バッテリ制御部、４８ バッテリ部、５１ 無線部、５２ CPU部、５３ 表示部、５４ メモリ部、５５ カメラ部、５６ バッテリ制御部、５７ バッテリ部、６１ 警告表示画面、６２ メッセージ表示部、６２ａ ボタン、６３ 使用可能推定時間表示部、６４ａ アイコン表示、６４ｂ 時間表示、６５ａ アイコン表示、６５ｂ 時間表示、６６ａ アイコン表示、６６ｂ 時間表示、７１ 機器画像表示画面。

Claims (10)

1. 無線通信機能を有し、バッテリ駆動される内視鏡と、
   無線通信機能を有し、バッテリ駆動される、カメラ付き頭部装着型表示装置と、
   前記内視鏡の第１のバッテリ残量及び前記表示装置の第２のバッテリ残量を含むバッテリ情報の取得を行うバッテリ情報取得部と、
   前記バッテリ情報から推定した前記内視鏡及び前記表示装置の各使用可能時間又は前記第１及び前記第２のバッテリ残量が所定値以下であるか否かかの判定を行う判定部と、
   前記判定の結果、前記各使用可能時間又は前記第１及び前記第２のバッテリ残量が前記所定値以下である場合、所定の情報を、前記表示装置において表示させる処理を行う表示処理部と、
   を有することを特徴とする内視鏡システム。
2. 前記所定値は、予め決められている、選択された、あるいは入力された値であることを特徴とする請求項１に記載の内視鏡システム。
3. 前記内視鏡及び前記表示装置と無線通信可能な端末装置を有し、
   前記端末装置が、前記バッテリ情報の取得を行い、かつ前記判定を行うことを特徴とする請求項１又は２に記載の内視鏡システム。
4. 前記表示装置は、前記内視鏡と無線通信可能であり、
   前記表示装置が、前記バッテリ情報の取得を行い、かつ前記判定を行うことを特徴とする請求項１又は２に記載の内視鏡システム。
5. 前記内視鏡及び前記表示装置と無線通信可能なサーバを含み、
   前記サーバが、前記バッテリ情報の取得を行い、かつ前記判定を行うことを特徴とする請求項１又は２に記載の内視鏡システム。
6. 前記所定値は、前記内視鏡検査の被検体についての過去の検査時間に基づいて決定された値であることを特徴とする請求項１から５のいずれか１つに記載の内視鏡システム。
7. 前記被検体についての前記過去の検査時間の情報は、前記無線通信により外部から取得されることを特徴とする請求項６に記載の内視鏡システム。
8. 前記表示装置において取得された画像から前記内視鏡を画像処理により識別する識別部と、を有し、
   前記第１のバッテリ残量を含む前記バッテリ情報は、前記無線通信機能により識別された前記内視鏡から取得されることを特徴とする請求項１又は２に記載の内視鏡システム。
9. 前記所定の情報は、前記識別部において識別された前記内視鏡の画像に関連付けて表示されることを特徴とする請求項８に記載の内視鏡システム。
10. 無線通信機能を有してバッテリ駆動される内視鏡と、無線通信機能を有してバッテリ駆動されるカメラ付き頭部装着型表示装置とを用いて内視鏡検査を行うときにおけるバッテリチェック方法において、
    前記内視鏡の第１のバッテリ残量及び前記表示装置の第２のバッテリ残量を含むバッテリ情報の取得を行い、
    前記バッテリ情報から推定した前記内視鏡及び前記表示装置の各使用可能時間又は前記第１及び前記第２のバッテリ残量が所定値以下であるか否かかの判定を行い、
    前記判定の結果、前記各使用可能時間又は前記第１及び前記第２のバッテリ残量が前記所定値以下である場合、所定の情報を、前記表示装置の表示部により表示する、
    ことを特徴とする内視鏡検査時に用いられる機器のバッテリチェック方法。

Images