JP2012120706A - 内視鏡装置、内視鏡画像再生装置及びデータ構造 - Google Patents

Abstract

【課題】検査画像を記録した動画から所望の検査部位を素早く検出することができる内視鏡装置を提供する。
【解決手段】内視鏡装置１は、先端部２ａに設けられた撮像素子８により撮像された撮像信号に画像処理を施し、内視鏡画像を生成する画像処理部１１と、先端部２ａを検査対象に挿入した挿入長に関する情報を検出する挿入長検出部７と、挿入長に関する情報に所定の信号処理を施し、挿入長情報を検出する挿入長信号処理部１３と、内視鏡画像のデータに挿入長情報のデータを対応付けて１つのＡＶＩファイル２０に格納し、記録媒体１９に記録する記録媒体読み書き部１６と、再生ウィンドウ４０でＡＶＩファイル２０を再生中に、挿入長を指定する挿入長指定エディットボックス４９で挿入長が指定された場合、指定された挿入長に対応付けられた最初のフレームから再生を開始させる制御を行うメイン制御部１８とを有する。
【選択図】図１

Description

本発明は、内視鏡装置、内視鏡画像再生装置及びデータ構造に関し、特に、検査画像を記録した動画から所望の検査部位を素早く検出することができる内視鏡装置、内視鏡画像再生装置及びデータ構造に関する。

従来、内視鏡装置は、検査対象に挿入部を挿入して検査対象画像を得る内視鏡と、この検査対象画像を表示する表示手段を備えて構成したものが一般的に使用されている。内視鏡は、管路に挿入する挿入部あるいはその先端部に、管路内の検査対象画像を得るための対物光学系及びイメージガイドファイバ等を内蔵している。また、内視鏡は、挿入部の先端部の向きを自在に所望する方向へ指向させるための湾曲部を挿入部の先端部に有している。このような構成を有する内視鏡は、湾曲部を湾曲動作させて挿入部の先端部を所望とする様々な方向に指向させたり、あるいは、挿入部にひねりを与えたりしながら、複雑な形状の管路に挿入していくことができるようになっている。

このような内視鏡装置では、検査映像を静止画あるいは動画として記録する機能を備えており、検査部位の静止画あるいは検査中の映像の動画を記録して検査報告書に貼り付けたり、検査の証拠として残したりする。

特に、近年では、記録メディアの大容量化が進んでおり、内視鏡装置で動画の記録を行い、記録後に内視鏡装置あるいはパーソナルコンピュータ等で動画を再生し、詳細な検査を行うことが多くなってきている。

しかしながら、この場合、記録されている動画は、検査対象であるパイプ等の単調な映像となるため、検査者は、動画の中から、確認したい検査部位を探し出すのに苦労するという問題があった。

そこで、例えば、内視鏡の検査対象への挿入長を基に、基準となる挿入長情報と、検査中のライブ画像を比較する内視鏡装置が提案されている（例えば、特許文献１参照）。

特許第４４３６６３８号公報

しかしながら、特許文献１の内視鏡装置は、検査現場でのライブ画像において所望の検査部位を検出することはできるが、検査画像を記録した動画から所望の検査部位を検出することはできなかった。

そこで、本発明は、検査画像を記録した動画から所望の検査部位を素早く検出することができる内視鏡装置を提供することを目的とする。

本発明の一態様によれば、内視鏡挿入部の先端部に設けられた撮像素子により撮像された撮像信号に画像処理を施し、内視鏡画像を生成する画像処理部と、前記先端部を検査対象に挿入した挿入長に関する情報を検出する挿入長検出部と、前記挿入長検出部によって検出された前記挿入長に関する情報に所定の信号処理を施し、挿入長情報を検出する挿入長信号処理部と、記録媒体が着脱可能であって、前記内視鏡画像のデータに前記挿入長情報のデータを対応付けて１つの動画ファイルに格納し、前記記録媒体に記録する記録媒体読み書き部と、前記動画ファイルの再生が指示されると、再生ウィンドウで動画ファイルを再生するとともに、前記再生ウィンドウに設けられた、挿入長を指定する挿入長指定ボックスで挿入長が指定された場合、前記指定された挿入長に対応付けられた最初のフレームから再生を開始させる制御を行う制御部と、を有することを特徴とする内視鏡装置を提供することができる。

また、本発明の一態様によれば、記録媒体が着脱可能であって、前記記録媒体に記録された動画ファイルを読み出す記録媒体読み書き部と、前記動画ファイルの再生が指示されると、再生ウィンドウで動画ファイルを再生するとともに、前記再生ウィンドウに設けられた、挿入長を指定する挿入長指定ボックスで挿入長が指定された場合、前記指定された挿入長に対応付けられた最初のフレームから再生を開始させる制御を行う制御部と、を有することを特徴とする内視鏡画像再生装置を提供することができる。

また、本発明の一態様によれば、単位時間毎に区切られた複数のストリームデータ領域と、前記複数のストリームデータ領域のそれぞれに設けられた複数の画像格納領域と、
を備え、前記複数の画像格納領域毎に同一の挿入長の内視鏡画像のデータが格納されていることを特徴とする動画ファイルのデータ構造を提供することができる。

本発明の内視鏡装置によれば、検査画像を記録した動画から所望の検査部位を素早く検出することができる。

本発明の第１の実施の形態に係る内視鏡装置の構成を示す図である。 ＡＶＩファイルの構造の例について説明するための図である。 再生ウィンドウの例を説明するための図である。 挿入長が指定された際の再生ウィンドウの例を説明するための図である。 ＡＶＩファイルを再生する内視鏡画像再生装置の構成の例を示す図である。 挿入長が指定された場合の処理の流れの例を説明するためのフローチャートである。 第２の実施の形態に係る再生ウィンドウの例を説明するための図である。 第２の実施の形態に係る再生ウィンドウの例を説明するための図である。 再生バーの単位を挿入長とした場合のＡＶＩファイルの構造の例を説明するための図である。 再生単位切り換えボタンが押下された場合の処理の流れの例を説明するためのフローチャートである。 図１０のステップＳ１３の処理の流れの例について説明するためのフローチャートである。 図１０のステップＳ１５の処理の流れの例について説明するためのフローチャートである。 第３の実施の形態に係る再生ウィンドウの例を説明するための図である。 重力方向を一致させる処理の流れの例を説明するためのフローチャートである。 検査マニュアルファイルの例を説明するための図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）

まず、図１に基づき、本発明の第１の実施の形態に係る内視鏡装置の構成について説明する。

図１は、本発明の第１の実施の形態に係る内視鏡装置の構成を示す図である。

図１に示すように、内視鏡装置１は、先端部２ａを有する長尺な挿入部２と、本体部３と、表示部４ａを有する表示装置４と、内視鏡装置１に対して所望の操作を行う操作部５とを備えて構成されている。また、内視鏡装置１は、挿入部２の根元に、挿入部２を検査対象に挿入した長さ、即ち、挿入長を検出する挿入長検出部７を有する根元部６を備えて構成されている。

先端部２ａは、被写体像を光電変換し撮像信号を生成するＣＣＤ等の撮像素子８を備える。また、挿入部２は、先端部２ａの基端付近に、先端部２ａの重力方向に関する情報を検出する重力方向検出部９を備える。

重力方向検出部９は、例えば、重力センサであり、検出した先端部２ａの重力方向に関する情報に応じた信号、即ち、先端部２ａの重力方向に関する情報信号を本体部３に出力する。

挿入長検出部７は、例えば、挿入部２を挟み込む２つのローラと、光学式のロータリーエンコーダとを備え、この光学式のロータリーエンコーダでローラの回転数を検出する。挿入長検出部７は、検出したローラの回転数、即ち、挿入長に関する情報信号を本体部３に出力する。

本体部３は、画像処理部１１と、重力信号処理部１２と、挿入長信号処理部１３と、グラフィック生成部１４と、画像合成部１５と、記録媒体読み書き部１６と、記憶部１７と、メイン制御部１８とを備えて構成されている。

画像処理部１１には、挿入部２の先端部２ａに内蔵されている撮像素子８から出力された撮像信号が入力される。画像処理部１１は、この撮像信号に対し、例えば、ガンマ補正処理、エッジ強調処理及びデジタルズーム処理等の画像処理を施し、内視鏡画像を生成する。画像処理部１１は、この生成した内視鏡画像を画像合成部１５に供給する。

重力信号処理部１２には、重力方向検出部９から出力された先端部２ａの重力方向に関する情報信号が入力される。重力信号処理部１２は、この情報信号に対し、例えば鉛直下方向からの傾斜角度等の重力情報に変換し、変換した重力情報をメイン制御部１８に供給する。

挿入長信号処理部１３には、挿入長検出部７から出力されたローラの回転数に関する情報信号が入力される。挿入長信号処理部１３は、この回転数に関する情報信号から挿入部２の挿入長に変換し、変換した挿入長情報をメイン制御部１８に供給する。

これらの重力情報及び挿入長情報は、メイン制御部１８からグラフィック生成部１４に供給される。グラフィック生成部１４は、メイン制御部１８から供給された重力情報及び挿入長情報に基づいて、挿入部２の重力方向及び挿入長を示すインジケータを生成し、生成したインジケータを画像合成部１５に供給する。

画像合成部１５は、画像処理部１１から供給された内視鏡画像と、グラフィック生成部１４から供給されたインジケータとを１枚の映像データとして合成し、合成した合成画像を表示装置４に出力する。これにより、表示装置４の表示部４ａに合成画像が表示される。

また、この画像合成部１５は、メイン制御部１８による制御に応じて、内視鏡画像を表示装置４の表示部４ａに単独で表示するための処理を行うことも可能である。そのため、表示装置４の表示部４ａには、内視鏡画像、あるいは内視鏡画像とインジケータとの合成画像等が表示される。

記録媒体読み書き部１６は、例えば、フラッシュメモリカード等の記録媒体１９が着脱自在に接続されるようになっている。記録媒体読み書き部１６に記録媒体１９が装着された状態において、検査者が操作部５を操作して記録操作を指示すると、記録媒体読み書き部１６は、メイン制御部１８からの制御に従って、画像合成部１５に供給される内視鏡画像のデータ、挿入長情報のデータ及び重力情報のデータを読み出し、記録媒体１９に供給して記録する。このような記録処理において、記録媒体読み書き部１６は、内視鏡画像のデータ、挿入長情報のデータ及び重力情報のデータを１つの動画ファイル、例えば、Motion JPEG形式のＡＶＩファイルとして記録媒体１９に記録する。

また、記録媒体読み書き部１６は、メイン制御部１８による制御に従って、記録媒体１９に記録されている内視鏡画像のデータ、重力情報のデータ、及び挿入長情報のデータを読み出すことができる。このとき、記録媒体読み書き部１６は、内視鏡画像のデータを画像合成部１５に供給し、重力情報及び挿入長情報のデータをメイン制御部１８に供給する。メイン制御部１８に供給された重力情報及び挿入長情報のデータは、グラフィック生成部１４に供給され、重力方向及び挿入長を示すインジケータが生成される。この重力方向及び挿入長を示すインジケータは、画像合成部１５に供給され、内視鏡画像とインジケータとを合成した合成画像が生成される。これにより、表示装置４の表示部４ａに合成画像が表示される。

記憶部１７は、例えば、ＲＯＭ等であり、メイン制御部１８によってデータの書き込み及び読み出しが行われる。また、記憶部１７は、記憶部１７には、動画ファイルの再生を行うための再生ソフトが記憶されている。

操作部５には、先端部２ａの湾曲操作及び上述した記録媒体１９への記録操作等を行うための図示しない操作スイッチ等が設けられており、検査者は、操作部５の操作スイッチを操作し、湾曲操作及び記録操作等の所望の操作を行う。操作部５は、検査者の操作に応じた操作信号をメイン制御部１８に供給する。

メイン制御部１８は、後述するように、挿入長指定エディットボックスで挿入長が指定されると、指定された挿入長が対応付けられた最初のフレームからＡＶＩファイルを再生する。また、メイン制御部１８は、操作部５からの操作信号に応じた処理を行うように各回路部等を制御し、内視鏡装置１全体の動作制御を行う。さらに、メイン制御部１８は、動画ファイルの再生が指示されると、記憶部１７に記憶されている再生ソフトを読み出し実行するとともに、記憶部１７へのデータの書き込み、あるいは、記憶部１７からデータの読み出しを行う。

次に、記録媒体１９に記録されるＡＶＩファイルの構造について説明する。

図２は、ＡＶＩファイルの構造の例について説明するための図である。

図２に示すように、ＡＶＩファイル２０は、ＲＩＦＦ（Resource Interchange File Format）というフォーマットであり、ファイルの先頭から順に、ＬＩＳＴ“ｈｄｒｌ”で示すヘッダ部２１と、ＪＵＮＫで示すダミーチャンク２２と、ＬＩＳＴ“ｍｏｖｉ”で示すストリームデータ部２３と、ｉｄｘ１で示すインデックス２４とを有した構造となっている。

このヘッダ部２１は、Ａｖｉｈで示すＡＶＩメインヘッダ２５と、ＬＩＳＴ“ｓｔｒｌ”で示すビデオデータ用のストリームリスト２６と、ＬＩＳＴ“ｓｔｒｌ”で示すオーディオデータ用のストリームリスト２７とを有した構造となっている。

このオーディオデータ用のストリームリスト２７は、ｓｔｒｈで示すＡＶＩストリームヘッダ２８と、ｓｔｒｆで示すストリームフォーマット２９、ｓｔｒｎで示すオプションデータ３０とを有した構造となっている。

本実施の形態では、ヘッダ部２１のオプションデータ３０のオプションデータ内容に付加情報フラグが追加されている。この付加情報フラグは、ＡＶＩファイル２０に重力情報及び挿入長情報のデータが格納されているか否かを示すフラグである。ＡＶＩファイル２０に重力情報及び挿入長情報のデータが格納されていない場合、付加情報フラグのフラグ情報は０に設定され、ＡＶＩファイル２０に重力情報及び挿入長情報のデータが格納されている場合、付加情報フラグのフラグ情報は１に設定される。この付加情報フラグのフラグ情報の設定は、メイン制御部１８によって実行される。

また、ストリームデータ部２３は、単位時間毎に区切られた複数、ここでは２つのストリームデータ２３ａ及び２３ｂを有した構造となっている。なお、図２では、２つのストリームデータ２３ａ及び２３ｂのみを記載しているが、動画像の撮影時間に応じたストリームデータがストリームデータ部２３に格納される。即ち、ＡＶＩファイル２０に６０秒の動画像を記録する場合、ストリームデータ部２３は、６０個のストリームデータを有することになる。なお、各ストリームデータの構成は同一のため、以下では、ストリームデータ２３ａの構成を例に説明する。

ストリームデータ領域としてのストリームデータ２３ａは、画像格納領域としての３０個の画像ストリーム３１ａと、１つの音声ストリーム３２ａとにより構成され、さらに、重力情報及び挿入長情報のデータを付加する場合、情報格納領域としての情報ストリーム３３ａの領域が確保される。そして、重力情報及び挿入長情報のデータを付加する場合、この情報ストリーム３３ａの領域に重力情報及び挿入長情報のデータが格納される。この画像格納領域としての３０個の画像ストリーム３１ａには、内視鏡画像のデータが格納され、音声ストリーム３２ａには、その内視鏡画像のデータに対応付けられた音声情報のデータが格納され、情報ストリーム３３ａには、その内視鏡画像のデータに対応付けられた重力情報及び挿入長情報のデータが格納される。

なお、単位時間あたりのストリームデータ２３ａには、３０個の画像ストリーム３１ａが格納されているが、即ち、フレームレートが３０となっているが、フレームレートは３０に限定されることなく、例えば、２４であってもよい。

また、音声記録を行なわない場合、音声ストリーム３２ａの領域を設けないようにしてもよい。または、音声ストリーム３２ａの領域に重力情報及び挿入長情報のデータを格納し、情報ストリーム３３ａを設けないようにしてもよい。これにより、ＡＶＩファイル２０のファイルサイズを小さくすることができる。

また、本実施の形態では、１つのＡＶＩファイル２０に内視鏡画像、重力情報及び挿入長情報のデータを格納して保存している。例えば、動画ファイルが大量にある場合、内視鏡画像のデータと、重力情報及び挿入長情報のデータとを別のファイルに保存していると、ファイルのコピー及び移動等が煩わしい。また、動画ファイルが大量にある場合、内視鏡画像のデータと、重力情報及び挿入長情報のデータとを別のファイルに保存していると、ファイルのコピー及び移動等の漏れが発生することがある。即ち、内視鏡画像のデータのファイルと、重力情報及び挿入長情報のデータのファイルとのいずれか一方にコピー漏れ等があると、詳細な検査ができなくなる。これに対し、本実施の形態では、１つのＡＶＩファイル２０に内視鏡画像、重力情報及び挿入長情報のデータを記録するので、ファイルのコピー漏れ等の発生を防ぐことができ、ファイルの管理が容易になる。

なお、動画ファイルの形式は、ＡＶＩファイル２０に限定されることなく、ＭＯＶファイル等であってもよい。ＭＯＶファイルは、トラック単位で構成されており、動画、音声に加え、テキストトラック、チャプタトラック等を含むことできる。例えば、このテキストトラックまたはチャプタトラックに重力情報及び挿入長情報のデータを記録することができる。

次に、ＡＶＩファイル２０の再生が指示された際の再生ウィンドウについて説明する。

図３は、再生ウィンドウの例を説明するための図であり、図４は、挿入長が指定された際の再生ウィンドウの例を説明するための図である。

再生ウィンドウ４０は、検査者がＡＶＩファイル２０の再生を指示した際に最初に表示されるウィンドウであり、表示部４ａに表示される。

この再生ウィンドウ４０は、メイン制御部１８が記憶部１７から再生ソフトを読み出し、実行することで表示部４ａに表示される。メイン制御部１８は、検査者よってＡＶＩファイル２０の再生が指示されると、再生ウィンドウ４０の生成をグラフィック生成部１４に指示する。グラフィック生成部１４は、メイン制御部１８の指示に応じて、再生ウィンドウ４０を表示するためのグラフィック画像信号を生成し、画像合成部１５に出力する。画像合成部１５は、このグラフィック画像信号に内視鏡画像及び挿入長を示すインジケータ等を合成して表示部４ａに出力することにより、再生ウィンドウ４０が表示部４ａに表示される。以下、再生ウィンドウ４０のグラフィカルユーザインターフェイス（ＧＵＩ）の機能について説明する。

画像表示ボックス４１は、内視鏡画像を表示するためのボックスであり、再生ソフトが実行されると、画像表示ボックス４１にＡＶＩファイル２０に格納されている内視鏡画像が順次表示される。画像表示ボックス４１に表示される内視鏡画像には、挿入長を示す挿入長インジケータ４２が合成される。なお、重力方向を示すインジケータを内視鏡画像に合成して表示してもよい。

再生バー４３は、動画ファイル、ここでは、再生が指示されたＡＶＩファイル２０の総再生時間を表すためのバーであり、再生バー４３の右端の下には、ＡＶＩファイル２０の総再生時間が表示される。このように、再生バー４３の単位は時間となっている。

再生ポインタ４４は、再生バー４３内に設けられ、総再生時間に対してどの程度を再生したのかを表すためのポインタであり、ＡＶＩファイル２０を再生中は、再生ポインタ４４が右へと移動していく。再生ポインタ４４の下には、現在の再生時間が表示される。なお、検査者は、操作部５を用いて図示しないカーソル等により再生ポインタ４４をドラッグすることで、ＡＶＩファイル２０を再生中に早送りまたは巻き戻しをすることも可能である。

再生ボタン４５は、動画の停止中にＡＶＩファイル２０を再生させるためのボタンであり、停止ボタン４６は、ＡＶＩファイル２０の再生中に動画を停止させるためのボタンである。また、巻き戻しボタン４７は、ＡＶＩファイル２０の再生中の巻き戻しをさせるためのボタンであり、早送りボタン４８は、ＡＶＩファイル２０の再生中に早送りをさせるためのボタンである。

挿入長指定エディットボックス４９は、挿入長を指定するためのボックスである。検査者が挿入長指定エディットボックス４９に特定の挿入長を入力すると、メイン制御部１８は、ＡＶＩファイル２０から指定された挿入長が対応付けられた先頭のフレームを検索する。そして、メイン制御部１８は、図４に示すように、指定された挿入長が対応付けられた先頭のフレームからＡＶＩファイル２０を再生する。さらに、メイン制御部１８は、挿入長が指定された場合、再生時間の下に挿入長を表示する。この場合、画像表示ボックス４１に表示される内視鏡画像に挿入長インジケータ４２を合成しないようにしてもよい。

このような記録媒体１９に記録されたＡＶＩファイル２０は、内視鏡装置１で再生することも可能であるが、検査者が記録媒体１９を会社等に持ち帰り、詳細な検査を行う場合、重量のある内視鏡装置１も持ち運ぶことは面倒である。そこで、検査者は、記録媒体１９のみを会社等に持ち帰り、記録媒体１９に記録されたＡＶＩファイル２０を図５に示す再生装置で再生し、詳細な検査を行うことができる。

図５は、ＡＶＩファイルを再生する内視鏡画像再生装置の構成の例を示す図である。

内視鏡画像再生装置１００は、例えば、パーソナルコンピュータであり、本体部１０１と、ＬＣＤ等の表示部１０２ａを備えた表示装置１０２と、キーボートあるいはマウス等の各種操作を行うための操作部１０３とを有して構成されている。

本体部１０１は、記録媒体読み書き部１１１と、記憶部１１２と、メイン制御部１１３と、グラフィック生成部１１４と、画像合成部１１５と有して構成されている。

検査者が操作部１０３を用いて再生処理を指示すると、その操作信号がメイン制御部１１３に供給される。記憶部１１２には、上述した再生ソフトが記憶されている。メイン制御部１１３は、この操作信号に応じて、記憶部１１２から再生ソフトを読み出して実行するとともに、記録媒体読み書き部１１１にＡＶＩファイル２０に記録されているデータの読み出しを指示する。記録媒体読み書き部１１１は、メイン制御部１１３の制御により、装着された記録媒体１９に記録されているＡＶＩファイル２０を読み出す。

記録媒体読み書き部１１１は、ＡＶＩファイル２０から読み出した内視鏡画像のデータを画像合成部１１５に出力し、挿入長情報をメイン制御部１１３に出力する。そして、メイン制御部１１３は、再生ウィンドウ４０の生成及び挿入長インジケータ４２の生成をグラフィック生成部１１４に指示する。グラフィック生成部１１４は、メイン制御部１１３からの指示に応じて、再生ウィンドウ４０を表示するためのグラフィック画像信号及び挿入長を示す挿入長インジケータ４２を生成して画像合成部１１５に出力する。

画像合成部１１５は、再生ウィンドウ４０に内視鏡画像のデータ及び挿入長を示す挿入長インジケータ４２を合成し、表示装置１０２に出力する。これにより、表示部１０２ａ上に図３に示す再生ウィンドウ４０が表示され、ＡＶＩファイル２０に記録された動画が再生される。メイン制御部１１３は、挿入長指定エディットボックス４９で挿入長が指定されると、指定された挿入長が対応付けられた最初のフレームからＡＶＩファイル２０を再生する。この結果、検査者は、検査現場から動画像データを持ち帰った後、ＡＶＩファイル２０を再生し、詳細な検査を行う際に、再生ウィンドウ４０の挿入長指定エディットボックス４９で挿入長を指定し、検査画像を記録したＡＶＩファイル２０から所望の検査部位を素早く検出することができる。

ここで、挿入長指定エディットボックス４９で挿入長が指定された場合の処理について説明する。

図６は、挿入長が指定された場合の処理の流れの例を説明するためのフローチャートである。

まず、挿入長が指定されたか否かが判定される（ステップＳ１）。挿入長が指定されていない場合、ＮＯとなり、処理を終了する。一方、挿入長が指定された場合、ＹＥＳとなり、指定された挿入長（距離）が記憶部１７に記憶される（ステップＳ２）。再生中のＡＶＩファイル２０から、記憶部１７に記憶されている挿入長が対応付けられた最初のフレームが検索される（ステップＳ３）。検索して得られたフレームから再生が開始され（ステップＳ４）、処理を終了する。

以上のように、内視鏡装置１は、挿入長指定エディットボックス４９で挿入長が指定されると、メイン制御部１８の制御によって、指定された挿入長が対応付けられた最初のフレームからＡＶＩファイル２０を再生するようにした。

よって、本実施の形態の内視鏡装置１によれば、検査画像を記録した動画から所望の検査部位を素早く検出することができる。
（第２の実施の形態）

次に、第２の実施の形態について説明する。

本実施の形態では、再生バー４３の単位を切り換えることができる内視鏡装置について説明する。なお、本実施の形態の内視鏡装置１ａの構成は、第１の実施の形態の内視鏡装置１と同様のため、説明を省略する。

図７及び図８は、第２の実施の形態に係る再生ウィンドウの例を説明するための図である。

検査者が記録媒体１９に記録したＡＶＩファイル２０の再生を指示すると、メイン制御部１８は、図７に示す再生バー４３の単位が時間の状態の再生ウィンドウ４０ａの生成をグラフィック生成部１４に指示する。再生ウィンドウ４０ａは、図３の再生ウィンドウ４０と略同じであり、挿入長指定エディットボックス４９に代わり、再生の単位を切り換える再生単位切り換えボタン５０を有して構成される。

再生単位切り換えボタン５０の表示は、再生バー４３の単位が時間の状態では、「meter」となっている。検査者が、ＡＶＩファイル２０を再生中に詳細な検査を実施したい検査部位の内視鏡画像を確認するために、図７の右下にある再生単位切り換えボタン５０を押下すると、メイン制御部１８は、図８に示す再生ウィンドウ４０ｂの生成をグラフィック生成部１４に指示する。

再生ウィンドウ４０ｂは、再生の単位が時間である再生バー４３に代わり、再生の単位が挿入長である再生バー５１を用いて構成される。この再生バー５１の右端の下には、総挿入長が表示される。また、再生ウィンドウ４０ｂでは、再生ポインタ４４の下に現在の挿入長が表示され、挿入長インジケータ４２が表示されないようになっている。さらに、再生の単位が挿入長に変更されると、再生単位切り換えボタン５０の表示は、メイン制御部１８の制御により、「meter」から「time」に変更される。検査者が再生単位切り換えボタン５０をもう一度押下すると、再生の単位が時間である再生ウィンドウ４０ａに切り換わる。

このような再生ウィンドウ４０ｂでは、再生バー５１の単位が挿入長となっているため、検査者は、再生ポインタ４４をドラッグし、挿入長の位置を素早く指定して再生することができる。

検査者が記録媒体１９に記録されているＡＶＩファイル２０の再生操作を行うと、メイン制御部１８は、再生バー５１の単位を挿入長とするＡＶＩファイル２０ａ（図８参照）を生成し、記憶部１７に記憶する。そして、検査者が再生バー４３の単位を時間としている場合は、一般的な動画再生と同様にＡＶＩファイル２０を再生し、検査者が再生バー５１の単位を挿入長に指定した場合は、記憶部１７に記憶されているＡＶＩファイル２０ａを再生する。

図９は、再生バーの単位を挿入長とした場合のＡＶＩファイルの構造の例を説明するための図である。

図９に示すＡＶＩファイル２０ａは、再生バー４３の単位が時間のＡＶＩファイル２０と構造自体は略同じであるが、ストリームデータ２３ａ及び２３ｂに代わり、ストリームデータ５２ａ及び５３ａを有した構造となっている。

ストリームデータ領域としてのストリームデータ５２ａは、画像格納領域としての３０個の画像ストリーム５４ａと、１つの音声ストリーム５５ａとにより構成され、ストリームデータ５３ａは、３０個の画像ストリーム５４ｂと、１つの音声ストリーム５５ｂとにより構成されている。なお、図２と同様に、情報ストリームの領域を設け、重力情報のデータを格納するようにしてもよい。

３０個の画像ストリーム５４ａ及び５４ｂには、特定の挿入長毎の内視鏡画像のデータが格納される。例えば、３０個の画像ストリーム５４ａには、挿入長が０ｍの内視鏡画像のデータが格納され、３０個の画像ストリーム５４ｂには、挿入長が０．１ｍの内視鏡画像のデータが格納される。ＡＶＩファイル２０には、内視鏡画像のデータに挿入長情報が対応付けられているため、ＡＶＩファイル２０から同じ挿入長の内視鏡画像のデータが３０個読み出され、３０個の画像ストリーム５４ａに格納される。

このとき、ＡＶＩファイル２０において同じ挿入長に対応する内視鏡画像のデータが１秒分のフレーム数以上、即ち、本実施の形態では３０フレーム以上ある場合、画像ストリーム５４ａに収まらない３１フレーム以降の内視鏡画像のデータは破棄する。また、ＡＶＩファイル２０において同じ挿入長に対応する内視鏡画像のデータが３０フレーム以下の場合、内視鏡画像のデータが格納されていない画像ストリーム５４ａには、その挿入長での最後のフレームの内視鏡画像のデータを格納する。

なお、再生バー５１が挿入長の場合のＡＶＩファイル２０ａは、記憶部１７に記憶せずに、他のハードディスク等の記憶媒体に一時的に記憶してもよい。また、ＡＶＩファイル２０ａは、ＡＶＩファイル２０を再生するときに生成されるが、例えば、ＡＶＩファイル２０を記録媒体１９に記録するときに生成してもよいし、ＡＶＩファイル２０を再生する前に、別途、生成指示を出すことにより生成してもよい。

検査者が再生単位切り換えボタン５０を押下し、再生バー５１の単位を挿入長に指定した場合、メイン制御部１８は、ＡＶＩファイル２０から生成され、記憶部１７に記憶されたＡＶＩファイル２０ａを読み出して再生する。

次に、再生単位切り換えボタン５０が押下された場合の処理について説明する。

図１０は、再生単位切り換えボタンが押下された場合の処理の流れの例を説明するためのフローチャートである。

まず、再生単位切り換えボタン５０が押下されたか否かが判定される（ステップＳ１１）。再生単位切り換えボタン５０が押下されていない場合、ＮＯとなり、処理を終了する。再生単位切り換えボタン５０が押下された場合、ＹＥＳとなり、現在の再生バー４３の単位（モード）が時間か否かが判定される（ステップＳ１２）。現在の再生バー４３の単位（モード）が時間の場合、ＹＥＳとなり、再生中のＡＶＩファイル２０と対となる再生バー５１の単位が挿入長のＡＶＩファイル２０ａを、現在の時間に対応する挿入長の最初のフレームから再生が開始され（ステップＳ１３）、処理を終了する。一方、現在の再生バー４３の単位（モード）が時間でない場合、ＮＯとなり、現在の再生バー４３の単位（モード）が挿入長か否かが判定される（ステップＳ１４）。現在の再生バー４３の単位（モード）が挿入長でない場合、ＮＯとなり、処理を終了する。一方、現在の再生バー４３の単位（モード）が挿入長の場合、ＹＥＳとなり、再生中のＡＶＩファイル２０ａと対となる再生バー４３の単位が時間のＡＶＩファイル２０を、現在の挿入長に対応する時間の最初のフレームから再生が開始され（ステップＳ１５）、処理を終了する。

図１１は、図１０のステップＳ１３の処理の流れの例について説明するためのフローチャートである。

まず、再生中のＡＶＩファイル２０の時間が記憶部１７に記憶される（ステップＳ２１）。再生中のＡＶＩファイル２０が一時停止され、非表示にされる（ステップＳ２２）。再生中のＡＶＩファイル２０と対となる再生バー５１の単位（モード）が挿入長のＡＶＩファイル２０ａが開かれる（ステップＳ２３）。再生バー５１の単位（モード）が挿入長のＡＶＩファイル２０ａから、記憶部１７で記憶されている時間に対応する挿入長の最初のフレームが検索される（ステップＳ２４）。最後に、検索して得られたフレームから再生が開始され（ステップＳ２５）、処理を終了する。

図１２は、図１０のステップＳ１５の処理の流れの例について説明するためのフローチャートである。

まず、再生中のＡＶＩファイル２０ａの挿入長が記憶部１７に記憶される（ステップＳ３１）。再生中のＡＶＩファイル２０ａが一時停止され、非表示にされる（ステップＳ３２）。再生中のＡＶＩファイル２０ａと対となる再生バー４３の単位（モード）が時間のＡＶＩファイル２０が開かれる（ステップＳ３３）。再生バー４３の単位（モード）が時間のＡＶＩファイル２０から、記憶部１７で記憶されている挿入長に対応する時間の最初のフレームが検索される（ステップＳ３４）。最後に、検索して得られたフレームから再生が開始され（ステップＳ３５）、処理を終了する。

以上のように、内視鏡装置１ａは、ＡＶＩファイル２０の再生が指示された際に、再生バー４３の単位を挿入長とするＡＶＩファイル２０ａを生成する。そして、内視鏡装置１は、再生単位切り換えボタン５０が押下されると、ＡＶＩファイル２０を再生するようにした。

よって、内視鏡装置１ａは、第１の実施の形態と同様に、検査画像を記録した動画から所望の検査部位を素早く検出することができる。
（第３の実施の形態）

次に、第３の実施の形態について説明する。

従来、工業用の内視鏡装置では、発電プラントあるいは航空機のエンジン等の定期検査に使用されるが、この場合、同じ検査部位の前回の検査結果と今回の検査結果とを比較して、クラック等の欠陥の進み具合を評価するために利用したりする。しかし、２つの動画を同時に再生した場合でも、時間の経過に伴う検査部位は、検査時毎で異なるため、同じ検査部位を並べて表示しての比較ができない。

そこで、本実施の形態では、２つの動画を比較する、例えば、同じ検査対象の１年前の定期検査で記録された動画と、この定期検査の１年後に記録された動画とを比較することができる内視鏡装置について説明する。なお、本実施の形態の内視鏡装置１ｂの構成は、第１の実施の形態の内視鏡装置１と同様のため、説明を省略する。

図１３は、第３の実施の形態に係る再生ウィンドウの例を説明するための図である。

図１３に示す再生ウィンドウ４０ｃは、２つの画像表示ボックス６０ａ及び６０ｂを有し、再生の単位が挿入長である再生バー５１を用いた構成である。その他の構成は、再生ウィンドウ４０と同様のため、説明を省略する。なお、再生ウィンドウ４０ｃは、２つの画像表示ボックス６０ａ及び６０ｂを有しているが、これに限定されることなく、３つ以上の画像表示ボックスを有していてもよい。

検査者が、例えば、記録媒体１９に記録されている２つのＡＶＩファイル２０を選択し、比較再生操作をした場合、メイン制御部１８は、２つのＡＶＩファイル２０のそれぞれについて、再生バー５１の単位が挿入長であるＡＶＩファイル２０ａを生成し、生成した２つのＡＶＩファイル２０ａを同時に再生し、画像表示ボックス６０ａ及び６０ｂに内視鏡画像を表示する制御を行う。なお、再生バー５１の単位を挿入長としたＡＶＩファイル２０ａを生成し、再生する方法は、第２の実施の形態と同様のため説明を省略する。

従来、同じ検査対象を記録したＡＶＩファイル２０を同時に再生した場合、２つの検査で検査対象に挿入部２を挿入する速度が違うため、検査対象の同じ検査部位を表示しながら再生することはできない。

これに対し、内視鏡装置１ｂは、２つのＡＶＩファイル２０のそれぞれから再生バー５１の単位を挿入長としたＡＶＩファイル２０ａを生成し、同時に再生するため、画像表示ボックス６０ａ及び６０ｂには、同じ挿入長の内視鏡画像が表示される。このため、検査者は、２つの動画の比較を容易に行うことができる。

よって、本実施の形態の内視鏡装置１ｂによれば、２つの動画の比較を容易に行うことができる。

なお、２つのＡＶＩファイル２０ａを同時に並べて再生する際に、ＡＶＩファイル２０ａに格納されている重力情報に基づいて、一方の内視鏡画像を他方の内視鏡画像と重力方向が一致するように回転させて表示してもよい。

図１４は、重力方向を一致させる処理の流れの例を説明するためのフローチャートである。

まず、図１３に向かって左側の画像表示ボックス６０ａで現在再生中のフレームに対応付けられている重力方向のロール角（重力方向に対する画像の回転角度）が取得される（ステップＳ４１）。次に、図１３に向かって右側の画像表示ボックス６０ｂで現在再生中のフレームに対応付けられている重力方向のロール角が取得される（ステップＳ４２）。最後に、取得したロール角の差分が算出され、算出された回転角度分だけ右側の内視鏡画像を回転させて表示させる（ステップＳ４３）。以上の処理により、検査者は、内視鏡画像同士の比較をさらに容易にすることができる。

また、２つの動画を比較する場合、以下の使用方法をしてもよい。

一般的に、先端部２ａには、交換式の光学アダプタ（レンズ）を取り付けて検査を行うが、その際に、同じ検査対象を視野方向が異なる光学アダプタで撮影した複数の動画同士を比較再生する。このとき、重力方向を内視鏡画像に合成して表示する。これにより、検査者は、同じ検査部位を異なる視野方向で撮像した内視鏡画像を並べて確認することができる。

また、工業用の内視鏡検査において、検査対象における検査部位の検査を定期的に行うことがマニュアル化されていることがある。そこで、メイン制御部１８は、動画を記録時に検査マニュアルファイルを用いて、ＡＶＩファイル２０にチャプタを入れるようにしてもよい。

図１５は、検査マニュアルファイルの例を説明するための図である。

図１５に示す検査マニュアルファイル６１では、検査箇所に相当する挿入長がリスト化されている。検査者は、ＡＶＩファイル２０または２０ａの再生を指示する際に、検査マニュアルファイル６１を指定する。メイン制御部１８は、検査マニュアルファイル６１で指定されている挿入長にチャプタを設定する。

なお、検査者は、操作部５を操作して記録操作を指示する際に、この検査マニュアルファイル６１を指定するようにしてもよい。メイン制御部１８は、ＡＶＩファイル２０として記録しているときに、検査マニュアルファイル６１で指定されている挿入長にチャプタを設定する。また、挿入長が所定の時間変化がなかった場合、あるいは、重力方向に大きな変化があった場合等に、チャプタを設定するようにしてもよい。

これにより、検査者は、ＡＶＩファイル２０または２０ａを再生時に、チャプタが設定された挿入長に対応付けられた内視鏡画像の頭出しを容易に行うことができる。

さらに、メイン制御部１８は、再生バー５１の単位を挿入長としたＡＶＩファイル２０ａ同士を比較する際に、２つのＡＶＩファイル２０ａで同じ挿入長の内視鏡画像の差分の有無を検出するようにしてもよい。そして、メイン制御部１８は、検出した差分が所定以上のレベルになった場合、差分が所定以上のレベルになった挿入長をチャプタとして自動設定する。また、メイン制御部１８は、差分が所定以上のレベルになった挿入長を検査マニュアルファイル６１に検査箇所として自動設定するようにしてもよい。これにより、次回の検査から、差分が所定以上のレベルになった挿入長の内視鏡画像の頭出しを容易に行うことができる。

なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１，１ａ，１ｂ…内視鏡装置、２…挿入部、２ａ…先端部、３…本体部、４…表示装置、４ａ…表示部、５…操作部、６…根元部、７…挿入長検出部、８…撮像素子、９…重力方向検出部、１１…画像処理部、１２…重力信号処理部、１３…挿入長信号処理部、１４…グラフィック生成部、１５…画像合成部、１６…記録媒体読み書き部、１７…記憶部、１８…メイン制御部、１９…記録媒体、２０，２０ａ…ＡＶＩファイル、４０，４０ａ，４０ｂ，４０ｃ…再生ウィンドウ、４１…画像表示ボックス、４２…挿入長インジケータ、４３…再生バー、４４…再生ポインタ、４５…再生ボタン、４６…停止ボタン、４７…巻き戻しボタン、４８…早送りボタン、４９…挿入長指定エディットボックス、５０…再生単位切り換えボタン、５１…再生バー、６０ａ，６０ｂ…画像表示ボックス、６１…検査マニュアルファイル、１００…内視鏡画像再生装置、１０１…本体部、１０２…表示装置、１０２ａ…表示部、１０３…操作部、１１１…記録媒体読み書き部、１１２…記憶部、１１３…メイン制御部、１１４…グラフィック生成部、１１５…画像合成部。

Claims (9)

1. 内視鏡挿入部の先端部に設けられた撮像素子により撮像された撮像信号に画像処理を施し、内視鏡画像を生成する画像処理部と、
   前記先端部を検査対象に挿入した挿入長に関する情報を検出する挿入長検出部と、
   前記挿入長検出部によって検出された前記挿入長に関する情報に所定の信号処理を施し、挿入長情報を検出する挿入長信号処理部と、
   記録媒体が着脱可能であって、前記内視鏡画像のデータに前記挿入長情報のデータを対応付けて１つの動画ファイルに格納し、前記記録媒体に記録する記録媒体読み書き部と、
   前記動画ファイルの再生が指示されると、再生ウィンドウで動画ファイルを再生するとともに、前記再生ウィンドウに設けられた、挿入長を指定する挿入長指定ボックスで挿入長が指定された場合、前記指定された挿入長に対応付けられた最初のフレームから再生を開始させる制御を行う制御部と、
   を有することを特徴とする内視鏡装置。
2. 前記動画ファイルに含まれる前記挿入長情報のデータから前記内視鏡挿入部の前記先端部の挿入長を示す挿入長インジケータを生成するグラフィック生成部と、
   前記動画ファイルに含まれる内視鏡画像のデータと、前記グラフィック生成部で生成された前記挿入長を示す挿入長インジケータとを合成した合成画像を前記再生ウィンドウに表示させる画像合成部とをさらに有することを特徴とする請求項１に記載の内視鏡装置。
3. 前記制御部は、前記動画ファイルの再生が指示されると、前記動画ファイルから再生バーの単位を挿入長とする動画ファイルを生成して記憶部に記憶するとともに、前記再生ウィンドウに設けられた、前記再生バーの単位を切り換える再生単位切り換えボタンが押下された場合、前記再生バーの単位を挿入長とする動画ファイルの現在の時間に対応する挿入長の最初のフレームから再生を開始することを特徴とする請求項１に記載の内視鏡装置。
4. 前記制御部は、同一の検査対象を撮像して得られた複数の動画ファイルのそれぞれから前記再生バーの単位を挿入長とする動画ファイルを生成し、生成した複数の前記再生バーの単位を挿入長とする動画ファイルを前記再生ウィンドウで再生させることを特徴とする請求項１に記載の内視鏡装置。
5. 記録媒体が着脱可能であって、前記記録媒体に記録された動画ファイルを読み出す記録媒体読み書き部と、
   前記動画ファイルの再生が指示されると、再生ウィンドウで動画ファイルを再生するとともに、前記再生ウィンドウに設けられた、挿入長を指定する挿入長指定ボックスで挿入長が指定された場合、前記指定された挿入長に対応付けられた最初のフレームから再生を開始させる制御を行う制御部と、
   を有することを特徴とする内視鏡画像再生装置。
6. 前記動画ファイルに含まれる前記挿入長情報のデータから前記内視鏡挿入部の前記先端部の挿入長を示す挿入長インジケータを生成するグラフィック生成部と、
   前記動画ファイルに含まれる内視鏡画像のデータと、前記グラフィック生成部で生成された前記挿入長を示す挿入長インジケータとを合成した合成画像を前記再生ウィンドウに表示させる画像合成部とをさらに有することを特徴とする請求項５に記載の内視鏡画像再生装置。
7. 前記制御部は、前記動画ファイルの再生が指示されると、前記動画ファイルから再生バーの単位を挿入長とする動画ファイルを生成して記憶部に記憶するとともに、前記再生ウィンドウに設けられた、前記再生バーの単位を切り換える再生単位切り換えボタンが押下された場合、前記再生バーの単位を挿入長とする動画ファイルの現在の時間に対応する挿入長の最初のフレームから再生を開始することを特徴とする請求項５に記載の内視鏡画像再生装置。
8. 前記制御部は、同一の検査対象を撮像して得られた複数の動画ファイルのそれぞれから前記再生バーの単位を挿入長とする動画ファイルを生成し、生成した複数の前記再生バーの単位を挿入長とする動画ファイルを前記再生ウィンドウで再生させることを特徴とする請求項５に記載の内視鏡画像再生装置。
9. 単位時間毎に区切られた複数のストリームデータ領域と、
   前記複数のストリームデータ領域のそれぞれに設けられた複数の画像格納領域と、
   を備え、
   前記複数の画像格納領域毎に同一の挿入長の内視鏡画像のデータが格納されていることを特徴とする動画ファイルのデータ構造。

Images