JP2016218322A

JP2016218322A - 内視鏡システム

Info

Publication number: JP2016218322A
Application number: JP2015104788A
Authority: JP
Inventors: 正裕廣澤; Masahiro Hirosawa
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-05-22
Filing date: 2015-05-22
Publication date: 2016-12-22

Abstract

【課題】ユーザのキー操作及び階層化されたフォルダを予め作成することなく、検査データの分類を簡略化することができる内視鏡システムを提供する。
【解決手段】内視鏡システム１は、被検体の検査画像を取得する撮像素子１０と、被検体の外観画像を取得する頭部装着型ディスプレイ端末６と、頭部装着型ディスプレイ端末６により取得した外観画像に関連したフォルダを作成し、作成されたフォルダに検査画像を紐付けて記憶部４に記憶する制御部と、を有する。
【選択図】図２

Description

本発明は、内視鏡システムに関する。

従来より、内視鏡装置は、工業分野及び医療分野において広く利用されている。内視鏡装置は、観察対象物内に挿入する挿入部と、対象物内を撮像して得られた観察画像である内視鏡画像を表示する表示部を有する本体部とを備えて構成されたものが一般的である。内視鏡装置は、工業分野においては、その細長の挿入部をボイラ、エンジン等の内部に挿入して、内部の傷や腐食を観察、検査するために使用される。

工業分野の内視鏡は、エンジン内部のタービンブレード等のように、同形状の画像を複数枚撮影することが多いため、検査後の検査データを利用してレポート化を行う、あるいは、検査後の検査データを編集する際に、どこの画像を撮影したのかが画像から判別することが困難となる。

そこで、従来では、検査データにキー入力したコメントを付加して検査データを保存し、検査結果を別途編集していた。キー入力操作は、例えばリモートコントローラ（操作部）の十字キー等を用いて行うため、コメントの入力作業が煩雑で使用しないユーザも多かった。

そのため、例えば、特許文献１には、検査対象や検査日等の分類に応じて階層化されたフォルダを予め作成し、検査画像を決められた階層のフォルダに保存することで、検査対象の時系列変化の確認を容易に行うことができる内視鏡画像管理装置が開示されている。

特開２０１４−１６１３７９号公報

しかしながら、特許文献１の内視鏡画像管理装置では、予め分類を決め、フォルダの階層化を行う必要がいる。そのため、検査前に予め検査対象を把握してフォルダの階層を作成する必要があり、検査現場で突発的に発生した追加検査等を分類することができなかった。

そこで、本発明は、ユーザのキー操作及び階層化されたフォルダを予め作成することなく、検査データの分類を簡略化することができる内視鏡システムを提供することを目的とする。

本発明の一態様の内視鏡システムは、被検体の検査画像を取得する撮像素子と、前記被検体の外観画像を取得する画像取得装置と、前記画像取得装置により取得した前記外観画像に関連したフォルダを作成するフォルダ作成部と、前記フォルダ作成部により作成された前記フォルダに前記検査画像を紐付けて記憶部に記憶する制御部と、を有する。

本発明の内視鏡システムによれば、ユーザのキー操作及び階層化されたフォルダを予め作成することなく、検査データの分類を簡略化することができる。

一実施形態に係る内視鏡システムの全体構成の一例を示す図である。内視鏡システム１を用いて検査対象を検査する検査状況の一例を説明するための図である。フォルダの作成及び画像の記録の例について説明するための図である。ＬＣＤ５に表示されるライブ画像に外観画像を重畳表示した例を説明するための図である。ＬＣＤ５に表示されるフォルダに外観画像を重畳表示した例を説明するための図である。フォルダ作成及び画像記録処理の流れの例を示すフローチャートである。熱交換器を検査する際の状態を説明するめの図である。頭部装着型ディスプレイ端末６のカメラ２０で取得した被検体の外観画像の例を示す図である。頭部装着型ディスプレイ端末６のカメラ２０で取得した被検体の外観画像をエリア分割した例を説明するための図である。識別したアクセスポートＡＰの特徴付けの例を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。

まず、図１を用いて、一実施の内視鏡システムの全体構成について説明する。図１は、一実施形態に係る内視鏡システムの全体構成の一例を示す図である。

図１に示すように、内視鏡システム１は、可撓性を有する細長の挿入部２と、挿入部２が接続される本体部３と、内視鏡画像等を記憶する記憶部４と、内視鏡画像や操作メニュー等が表示される表示部としての液晶パネル（以下、ＬＣＤと略す）５と、検査者（ユーザ）が頭部に装着する頭部装着型ディスプレイ端末６とを有して構成されている。なお、ＬＣＤ５にタッチパネルが設けられていてもよい。また、記憶部４及びＬＣＤ５は、本体部３の外に設けられているが、本体部３に設けられていてもよい。

挿入部２の先端部７には、ＣＣＤまたはＣＭＯＳ等の撮像素子１０が設けられている。なお、撮像素子１０の撮像面側には、図示しない対物レンズが配置されている。また、挿入部２の先端部７の基端側には、先端部７を所望の方向に湾曲させる図示しない湾曲部が設けられている。

また、挿入部２の先端部７には、視野方向や視野角特性等の光学特性を変換する図示しない光学アダプタが取り付け可能になっている。検査者は、検査箇所あるいは検査状況等に合わせて、視野方向や視野角特性が異なる光学アダプタを選択し、先端部７に取り付けることができる。

本体部３は、各種操作を行うための操作部１１を有する。操作部１１は、各種操作を行うための操作ボタンや湾曲部を湾曲させる湾曲ジョイスティック等を含んで構成されている。なお、操作部１１は、本体部３に設けられているが、本体部３と電気的に接続され、操作者が本体部３から離れた場所で操作することができるリモートコントローラ等であってもよい。

また、本体部３は、頭部装着型ディスプレイ端末６からの画像データ（例えば、被検体の外観画像）を受信するアンテナ１２と、アンテナ１２を介して頭部装着型ディスプレイ端末６からの被検体の外観画像を受信する無線モジュール１３と、撮像素子１０からの撮像信号に所定の画像処理を施すカメラコントロールユニット（以下、ＣＣＵという）１４と、撮像素子１０からの内視鏡画像を保存するためのフォルダと、頭部装着型ディスプレイ端末６からの被検体の外観画像とを紐付けて、記憶部４に記憶する制御部１５とを有する。制御部１５は、内視鏡画像を保存するためのフォルダに被検体の外観画像を重畳してＬＣＤ５に表示させるＯＳＤ（On Screen Display）１６を備える。

画像取得装置としての頭部装着型ディスプレイ端末６は、スマートグラスあるいはグーグルグラス（登録商標）等のメガネ型ウエアラブル端末である。この頭部装着型ディスプレイ端末６は、検査者の視点の画像を撮影するカメラ２０と、カメラ２０により撮影された画像を表示するディスプレイ２１と、検査者の音声を検出するマイク２２と、検査者の目の動きを検出するアイセンサ２３とを有する。また、頭部装着型ディスプレイ端末６は、カメラ２０により撮影した動画あるいは静止画を無線送信により本体部３のアンテナ１２に送信することができる。

マイク２２は、検査者の所定の音声を検出し、カメラ２０に出力する。検査者が例えば「キャプチャ」と発声すると、マイク２２がこの所定の音声を検出し、検出結果をカメラ２０に出力する。カメラ２０は、マイク２２の検出結果に応じて静止画を撮影し、無線によりアンテナ１２に撮影した静止画を送信する。

なお、頭部装着型ディスプレイ端末６での静止画の取得は、音声に限定されるものではない。例えば、検査者の所定の目の動きをアイセンサ２３で検出し、静止画を取得するようにしてもよい。また、図示しない操作ボタンを操作し、ディスプレイ２１にメニュー表示を行い、表示されたメニューから静止画取得操作を行い、静止画を取得するようにしてもよい。

アイセンサ２３は、作業者の所定の目の動きを検出し、カメラ２０に出力する。検査者が例えば「ウィンク」すると、アイセンサ２３がこの所定の目の動きを検出し、検出結果をカメラ２０に出力する。カメラ２０は、アイセンサ２３の検出結果に応じて静止画を撮影し、無線によりアンテナ１２に撮影した静止画を送信する。

頭部装着型ディスプレイ端末６により取得された静止画（被検体の外観画像）は、アンテナ１２を介して無線モジュール１３により受信される。無線モジュール１３は、受信した頭部装着型ディスプレイ端末６からの被検体の外観画像を制御部１５に出力する。なお、被検体の外観画像は、頭部装着型ディスプレイ端末６で取得しているが、これに限定されることなく、例えば、無線送信機能を有したデジタルカメラで取得し、本体部３に無線送信するようにしてもよい。

フォルダ作成部としての制御部１５は、無線モジュール１３から被検体の外観画像が入力されると、後述するように、第１階層にフォルダを作成し、作成したフォルダに頭部装着型ディスプレイ端末６から被検体の外観画像を紐付けて記憶部４に記憶する。そして、制御部１５は、ＣＣＵ１４から撮像素子１０により撮像された内視鏡画像が入力されると、作成したフォルダに内視鏡画像を保存する。

ここで、内視鏡システム１を用いて検査対象を検査する検査状況と、フォルダの作成及び画像の記録について説明する。図２は、内視鏡システム１を用いて検査対象を検査する検査状況の一例を説明するための図であり、図３は、フォルダの作成及び画像の記録の例について説明するための図である。

図２（ａ）は、検査対象のエンジンＥの外観を示している。エンジンＥには、挿入部２を挿入するためのアクセスポートＡＰが設けられている。アクセスポートＡＰには、検査対象を識別するために、例えば「アクセスポート」及び「ＡＰ０１」という文字列が隣接して設けられている。

図２（ｂ）に示すように、エンジンＥ内には、ブレードＢ１〜Ｂ７が配置されている。検査者は、アクセスポートＡＰに挿入部２を挿入し、エンジンＥ内のブレードＢ１〜Ｂ７の内視鏡検査を行う。

検査者は、検査を開始する際に、頭部装着型ディスプレイ端末６のカメラ２０により検査対象であるエンジンＥの外観画像を取得する。この際、どこのアクセスポートＡＰを検査するのかを認識することができるように、アクセスポートＡＰに隣接して設けられている文字列等も合わせて撮影する。静止画を取得する場合、上述したように、検査者が「キャプチャ」等の所定の音声を発声することで、頭部装着型ディスプレイ端末６のカメラ２０が撮影している外観画像（例えば図２（ａ）の疎破線２４の範囲の静止画像）を取得する。このように取得された被検体の外観画像は、本体部３に無線送信され、アンテナ１２及び無線モジュール１３を介して制御部１５に入力される。

制御部１５は、頭部装着型ディスプレイ端末６から被検体の外観画像が入力されると、入力された被検体の外観画像が記憶部４に記憶されているか否かを判断する。すなわち、制御部１５は、「ＡＰ０１」のアクセスポートＡＰが既に検査済みか否かを判断している。制御部１５は、入力された被検体の外観画像が記憶部４に記憶されていないと判断した場合、第１階層にフォルダを作成するとともに、入力された被検体の外観画像と作成したフォルダとを紐付けて記憶部４に記憶する。

検査者がアクセスポートＡＰに挿入部２を挿入し、撮像素子１０によりブレードＢ１〜Ｂ７の内視鏡画像（検査画像）を取得すると、取得した内視鏡画像がＣＣＵ１４を介して制御部１５に入力される。制御部１５は、図３（ａ）に示すように、作成した第１階層のフォルダ３０の下に検査画像（ここでは、ブレードＢ１.jpeg〜ブレードＢ７.jpeg）を保存する。

一方、制御部１５は、入力された被検体の外観画像が記憶部４に記憶されていると判断した場合、第１階層のフォルダ３０の下に第２階層にフォルダを作成し、作成した第２階層のフォルダの下に内視鏡画像を保存する。より具体的には、制御部１５は、図３（ｂ）に示すように、既に検査済みの検査画像（ここでは、ブレードＢ１.jpeg〜ブレードＢ７.jpeg）を第２階層に作成した「１回目」のフォルダ３２に保存し、新たに検査した検査画像（ここでは、ブレードＢ６.jpeg及びブレードＢ７.jpeg）を第２階層に作成した「２回目」のフォルダ３３に保存する。なお、ファイル名は、第１階層のフォルダ３０、あるいは、第２階層のフォルダ３２及び３３に内視鏡画像を保存する際に、制御部１５が自動的に付加する。

また、ＯＳＤ１６は、ＬＣＤ５に表示されるライブ画像に頭部装着型ディスプレイ端末６で取得した被検体の外観画像を重畳表示することができる。

図４は、ＬＣＤ５に表示されるライブ画像に外観画像を重畳表示した例を説明するための図である。ＬＣＤ５には、撮像素子１０で撮像されているブレードＢ１のライブ画像が表示されている。ＯＳＤ１６は、このライブ画像に頭部装着型ディスプレイ端末６で取得したエンジンＥの外観画像３１を重畳してＬＣＤ５に表示する。この結果、図４に示すように、ライブ画像（内視鏡画像）に頭部装着型ディスプレイ端末６で取得した被検体の外観画像３１を重畳した画像をＬＣＤ５に表示することができる。

なお、ライブ画像に重畳する被検体の外観画像３１は、記憶部４に記憶されている画像に限定されることなく、例えば、頭部装着型ディスプレイ端末６で取得しているライブ画像を撮像素子１０で取得しているライブ画像に重畳し、ＬＣＤ５に表示するようにしてもよい。また、頭部装着型ディスプレイ端末６で取得した被検体の外観画像３１をライブ画像に重畳するか否かは、ユーザが操作部１１を操作して切り替えることができる。

また、ＯＳＤ１６は、ＬＣＤ５に表示されるフォルダに頭部装着型ディスプレイ端末６で取得した被検体の外観画像を重畳表示することができる。

図５は、ＬＣＤ５に表示されるフォルダに外観画像を重畳表示した例を説明するための図である。図５に示すように、ＯＳＤ１６は、フォルダ３０のアイコンをＬＣＤ５に表示する際に、フォルダ３０に紐付けられている外観画像３１を重畳して表示する。また、検査者が「ＡＰ０２」のアクセスポートＡＰの外観画像を頭部装着型ディスプレイ端末６で取得した場合、制御部１５により新たにフォルダ３４が作成される。ＯＳＤ１６は、新たに作成されたフォルダ３４のアイコンに「ＡＰ０２」のアクセスポートＡＰの外観画像３５を重畳して表示する。

次に、このように構成された内視鏡システムのフォルダ作成及び画像記録処理について説明する。図６は、フォルダ作成及び画像記録処理の流れの例を示すフローチャートである。

まず、制御部１５は、画像データを取得したか否かを判定する（ステップＳ１）。画像データを取得していないと判定した場合、ＮＯとなり、ステップＳ１に戻り、同様の処理を繰り返す。一方、画像データを取得したと判定した場合、ＹＥＳとなり、制御部１５は、頭部装着型ディスプレイ端末６で取得した画像か否かを判定する（ステップＳ２）。

制御部１５は、無線モジュール１３から入力された画像かＣＣＵ１４から入力された画像を判定することで、頭部装着型ディスプレイ端末６で取得した画像か否かを判定している。すなわち、制御部１５は、無線モジュール１３から入力された画像の場合、頭部装着型ディスプレイ端末６で取得した画像と判定し、ＣＣＵ１４から入力された画像の場合、頭部装着型ディスプレイ端末６で取得した画像でないと判定する。

頭部装着型ディスプレイ端末６で取得した画像と判定した場合、ＹＥＳとなり、制御部１５は、取得済みの画像か否かを判定する（ステップＳ３）。本実施形態では、記憶部４に記憶されている画像と頭部装着型ディスプレイ端末６で取得した画像とを比較する画像処理を行い、取得済みのアクセスポートＡＰの画像か否かを判定する。なお、頭部装着型ディスプレイ端末６で取得する画像（被検体の外観画像）はアクセスポートＡＰの画像に限定されるものではなく、他の画像であってもよい。

取得済みの画像でないと判定した場合、ＮＯとなり、制御部１５は、第１階層でフォルダを作成し、記録先フォルダに設定する（ステップＳ４）。そして、制御部１５は、作成したフォルダに頭部装着型ディスプレイ端末６で取得した画像を紐付けて記憶部４に保存する（ステップＳ５）。次に、ＯＳＤ１６は、作成されたフォルダのアイコンに頭部装着型ディスプレイ端末６で取得した画像を重畳してＬＣＤ５に表示し（ステップＳ６）、ステップＳ１に戻る。

一方、ステップＳ３において、取得済みの画像であると判定した場合、ＹＥＳとなり、制御部１５は、第２階層でフォルダを作成し、記録先フォルダに設定し（ステップＳ７）、ステップＳ１に戻り、同様の処理を繰り返す。

また、ステップＳ２において、頭部装着型ディスプレイ端末６で取得した画像でないと判定した場合、ＮＯとなり、制御部１５は、設定された記録先フォルダにファイル名を付けて内視鏡画像を保存し（ステップＳ８）、ステップＳ１に戻り、同様の処理を繰り返す。

以上の処理により、頭部装着型ディスプレイ端末６で被検体の外観画像を取得すると、制御部１５は、階層化したフォルダを作成し、フォルダに頭部装着型ディスプレイ端末６で取得した被検体の外観画像を紐付けて記憶部４に記憶する。さらに、制御部１５は、階層化したフォルダの下に撮像素子１０で撮影した検査画像を保存する。検査者は、フォルダに紐付けられた画像、すなわち、頭部装着型ディスプレイ端末６で取得した被検体の外観画像を確認することで、そのフォルダに紐付けて保存されている内視鏡画像がどの被検体の画像であるのかを容易に認識することができる。

よって、本実施形態の内視鏡システムによれば、ユーザのキー操作及び階層化されたフォルダを予め作成することなく、検査データの分類を簡略化することができる。

（変形例）
次に、上述した実施形態の変形例について説明する。

変形例では、被検体として熱交換器を検査する場合について説明する。図７は、熱交換器を検査する際の状態を説明するめの図である。図８は、頭部装着型ディスプレイ端末６のカメラ２０で取得した被検体の外観画像の例を示す図であり、図９は、頭部装着型ディスプレイ端末６のカメラ２０で取得した被検体の外観画像をエリア分割した例を説明するための図である。

熱交換器４０は、図７に示すように、複数、ここでは、８つのアクセスポートＡＰを有して構成されている。このように複数のアクセスポートＡＰが存在する場合、エンジンＥのアクセスポートＡＰと異なり、アクセスポートＡＰを識別するための文字列等が付けられていない。そのため、検査者は、これから検査を行うアクセスポートＡＰを指差しする。

頭部装着型ディスプレイ端末６のカメラ２０は、図８に示すように、検査者が指差しした熱交換器４０の外観画像を取得する。そして、頭部装着型ディスプレイ端末６は、図９に示すように、エリア分割した外観画像から検査者が指差ししたアクセスポートＡＰを識別し、特徴付けを行う。

図１０は、識別したアクセスポートＡＰの特徴付けの例を説明するための図である。

頭部装着型ディスプレイ端末６は、識別したアクセスポートＡＰに枠４１、あるいは、色４２を付加する。なお、頭部装着型ディスプレイ端末６は、識別したアクセスポートＡＰに隣接して、所定の文字列（ここでは「ＡＰ０２」）を付加するようにしてもよい。これにより、頭部装着型ディスプレイ端末６は、被検体の外観画像に複数存在するアクセスポートＡＰから検査者が指差ししたアクセスポートＡＰを特徴付けし、どこのアクセスポートに挿入部２を挿入したかを一目で判別可能にする。

頭部装着型ディスプレイ端末６は、このように特徴付けを行った被検体の外観画像を本体部３に無線送信する。本体部３の制御部１５は、頭部装着型ディスプレイ端末６から被検体の外観画像が送信されると、上述した実施形態と同様に、第１階層にフォルダを作成し、作成したフォルダと被検体の外観画像を紐付ける。検査者は、挿入部２を検査対象のアクセスポートＡＰに挿入して検査を行うと、制御部１５は、撮像素子１０により撮影された内視鏡画像を作成したフォルダに保存する。

この結果、変形例の内視鏡システム１によれば、上述した実施形態と同様に、ユーザのキー操作及び階層化されたフォルダを予め作成することなく、検査データの分類を簡略化することができる。

なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１…内視鏡システム、２…挿入部、３…本体部、４…記憶部、５…ＬＣＤ、６…頭部装着型ディスプレイ端末、７…先端部、１０…撮像素子、１１…操作部、１２…アンテナ、１３…無線モジュール、１４…ＣＣＵ、１５…制御部、１６…ＯＳＤ、２０…カメラ、２１…ディスプレイ、２２…マイク、２３…アイセンサ、３０，３２〜３４…フォルダ。

Claims

被検体の検査画像を取得する撮像素子と、
前記被検体の外観画像を取得する画像取得装置と、
前記画像取得装置により取得した前記外観画像に関連したフォルダを作成するフォルダ作成部と、
前記フォルダ作成部により作成された前記フォルダに前記検査画像を紐付けて記憶部に記憶する制御部と、
を有することを特徴とする内視鏡システム。
前記制御部は、前記フォルダに前記外観画像を紐付けて前記記憶部に記憶することを特徴とする請求項１に記載の内視鏡システム。
前記検査画像を表示する表示部を更に有することを特徴とする請求項１又は請求項２に記載の内視鏡システム。
前記検査画像に前記外観画像を重畳して前記表示部に表示する重畳部を更に有することを特徴とする請求項３に記載の内視鏡システム。
前記重畳部は、前記外観画像を前記フォルダのアイコンに重畳して前記表示部に表示することを特徴とする請求項４に記載の内視鏡システム。
前記制御部は、前記画像取得装置で取得した前記外観画像が前記記憶部に存在する場合、作成された前記フォルダの下に新たなフォルダを作成し、前記新たなフォルダに前記検査画像を紐付けて記憶することを特徴とする請求項１から請求項５のいずれか１つに記載の内視鏡システム。
前記画像取得装置は、ユーザ視点のカメラを有した頭部装着型ディスプレイ端末であることを特徴とする請求項１から請求項６のいずれか１つに記載の内視鏡システム。
前記頭部装着型ディスプレイ端末は、ユーザの所定の音声を検出するマイクを有し、
前記マイクが前記所定の音声を検出した際に、前記外観画像を取得することを特徴とする請求項７に記載の内視鏡システム。
前記頭部装着型ディスプレイ端末は、ユーザの所定の目の動きを検出するアイセンサを有し、
前記アイセンサが前記所定の目の動きを検出した際に、前記外観画像を取得することを特徴とする請求項７に記載の内視鏡システム。