JP2017093996A - 内視鏡システム及びその表示方法 - Google Patents

Abstract

【課題】過去の画像を確認する場合の操作性を向上させ、術者の医療行為を確実に支援する内視鏡システムを提供する。【解決手段】内視鏡システムは、内視鏡により撮像された内視鏡画像を表示する表示部３０と、内視鏡画像を記録すると共に、被検体を処置する処置具の処置タイミングに関する信号が与えられると、記録する内視鏡画像の時間軸上の記録位置に関連付けて頭出し情報を記録する記録部２２と、ユーザ操作を検出すると、頭出し情報に関連する記録位置を起点として記録部に記録された内視鏡画像をタイムシフト再生すると共に、表示部を制御して、内視鏡により撮像中の内視鏡画像をライブ画像とする１画面表示から前記ライブ画像と前記タイムシフト再生によるタイムシフト再生画像との２画面表示に切換える制御部２４とを具備する。【選択図】図１

Description

本発明は、内視鏡によって得られる画像を記録すると共に表示する内視鏡システム及びその表示方法に関する。

近年、内視鏡は医療用分野等において広く採用されるようになった。内視鏡によって得られる医療画像は、診断や症例の記録のために、種々のメディアに記録される。また、記録媒体の大容量化に伴って、内視鏡からの動画像の記録も行われるようになってきた。このような医療画像の録画処理はデジタル化されており、医療画像はコンピュータによって読み出し可能なファイル形式にて保存されることがある。

ところで、記録される医療画像のうち、例えば症例記録動画として必要なシーンは、その一部であることが一般的である。例えば、内視鏡では、安全、安心な手術を行うことが最優先であり、このため症例記録動画として重要なシーンとしては、例えば、切除や剥離処置、止血処置等が考えられる。しかしながら、医療画像の再生時において、このような重要なシーンの記録位置を確認する作業は容易ではなく、重要なシーンを見るための再生操作は煩雑である。

そこで、特許文献１においては、記録時において特徴点を検出し、この特徴点の情報を内視鏡画像に同期して記憶させておくことで、再生時において特徴点に対応した内視鏡動画の位置から再生を開始することができる技術が開示されている。これにより、特許文献１の装置においては、例えば手術の状況を録画し、録画した過去の画像を確認する場合において、操作者が再生をスタートさせる地点（時間）を検索することなく、特徴点から再生を開始することができる。

特開２０１１−３６３７０号公報

しかしながら、特許文献１の提案では、録画した過去の画像を確認する場合の操作性を向上させ、短時間かつ簡単な操作で有益な動画を表示または再生することを目的としたものであり、手術等の医療行為の途中において、確実な医療行為を必ずしも支援することができるものではない。

例えば、内視鏡下外科手術の最中において、手術領域から予期しない出血が生じることがある。出血によって手術領域が覆い隠されてしまうこともあり、術者は血液を手術領域から取り去ると共に、出血位置を確認して止血処理を行う必要がある。しかしながら、出血によって観察範囲内の組織が血液によって覆い隠くされてしまうことから、術者が出血位置や出血の程度を確認することは容易ではない。この場合、術者は、記録されている観察画像を再生させることで、出血位置を確認することが考えられる。特許文献１の提案においても、過去に記録した内視鏡画像から出血時の画像部分を表示させることが可能である。しかしながら、特許文献１の提案だけでは、過去の画像と現在のライブ画像とを同一のモニタ上で同時に確認することができず、術者の医療行為を確実に支援することはできない。

本発明は、医療行為の途中において現在のライブ画像と術者が希望する再生位置からの追っかけ再生（タイムシフト再生）画像とを簡単な操作で同時に表示可能とすることにより、術者の医療行為を確実に支援することができる内視鏡システム及びその表示方法を提供することを目的とする。

本発明に係る内視鏡システムは、内視鏡により撮像された内視鏡画像を表示する表示部と、前記内視鏡画像を記録すると共に、被検体を処置する処置具の処置タイミングに関する信号が与えられると、記録する前記内視鏡画像の時間軸上の記録位置に関連付けて頭出し情報を記録する記録部と、ユーザ操作を検出すると、前記頭出し情報に関連する前記記録位置を起点として前記記録部に記録された内視鏡画像をタイムシフト再生すると共に、前記表示部を制御して、前記内視鏡により撮像中の内視鏡画像をライブ画像とする１画面表示から前記ライブ画像と前記タイムシフト再生によるタイムシフト再生画像との２画面表示に切換える制御部とを具備する。

また、本発明に係る内視鏡システムの表示方法は、内視鏡により撮像された内視鏡画像をライブ画像として表示部に表示すると共に、前記内視鏡画像を記録部に記録する表示記録ステップと、被検体を処置する処置具の処置タイミングに関する信号が与えられると、前記表示記録ステップにおける前記内視鏡画像の時間軸上の記録位置に関連付けて頭出し情報を記録する情報記録ステップと、ユーザ操作を検出すると、前記頭出し情報に関連する前記記録位置を起点として前記記録部に記録された内視鏡画像をタイムシフト再生すると共に、前記表示部を制御して、前記内視鏡により撮像中の内視鏡画像をライブ画像とする１画面表示から前記ライブ画像と前記タイムシフト再生によるタイムシフト再生画像との２画面表示に切換える再生表示ステップとを具備する。

本発明によれば、医療行為の途中において現在のライブ画像と術者が希望する再生位置からのタイムシフト再生画像とを簡単な操作で同時に表示可能とすることにより、術者の医療行為を確実に支援することができるという効果を有する。

本発明の第１の実施の形態に係る内視鏡システムを示すブロック図。 頭出し情報の記録を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 通常観察モードにおける画面表示の一例を示す説明図。 タイムシフト観察モードにおける画面表示の一例を示す説明図。 図７は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。 第２の実施の形態の動作を説明するための説明図。 第２の実施の形態の動作を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る内視鏡システムを示すブロック図である。

図１において、内視鏡システム１０は、内視鏡１１及び電気メスシザース１４を有している。内視鏡１１は、被検体内に挿入されるとともに、当該被検体内における生体組織等の被写体を撮像して撮像信号として出力するように構成されている。内視鏡１１は、被検体内に挿入される細長の挿入部１１ａと、挿入部１１ａの基端部に設けられた操作部１１ｂとを有して構成されており、操作部１１ｂにはスイッチ１２を含む複数の操作部が設けられている。内視鏡１１によって得られた撮像信号はビデオプロセッサ２１に供給される。

ビデオプロセッサ２１は、内視鏡１１を駆動すると共に、内視鏡１１から撮像信号を取り込んで画像信号処理を行い、内視鏡画像を生成する。ビデオプロセッサ２１は、内視鏡画像を記録再生装置２２及びモニタ３０に出力することができるようになっている。

電気メスシザース１４は、電気メス装置２３に接続される。電気メス装置２３には、フットスイッチ１５が接続されている。フットスイッチ１５は、ユーザ操作に基づいて、電気メス装置２３に対して、高周波電流出力のオンオフを指示する。電気メス装置２３は、フットスイッチ１５によるオンオフの指示に基づいて、高周波電流を発生する。この高周波電流は、電気メスシザース１４に供給されるようになっている。

電気メスシザース１４は、供給された高周波電流を、先端処置部から生体組織に伝達する。これにより、電気メスシザース１４は、生体組織に対して、焼灼、凝固等の電気メス処置を施すことができるようになっている。

制御部としてのコントローラ２４は、ビデオプロセッサ２１、記録再生装置２２、電気メス装置２３及びモニタ３０に接続されて、これらを集中制御することができるようになっている。コントローラ２４は、図示しない操作パネルを有しており、コントローラ２４とこれらの装置との間で通信が行われている場合、操作パネルの表示画面上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示することができるようになっている。さらに、コントローラ２４は、所望の操作スイッチが触れられて所定領域のタッチパネルが操作されることによって設定値の変更等の操作入力が行えるようになっている。なお、コントローラ２４としては、図示しないメモリに格納されたプログラムに従って動作して各部を制御する図示しないＣＰＵ等のプロセッサによって構成されるものを採用してもよい。

表示部としてのモニタ３０は、ビデオプロセッサ２１から内視鏡画像が入力され、入力された内視鏡画像を表示画面３０ａ上に表示することができるようになっている。記録再生装置２２は、ビデオプロセッサ２１から内視鏡画像が入力され、入力された内視鏡画像を所定の記録媒体に記録することができるようになっている。記録再生装置２２は、記録した内視鏡画像を再生することもできる。記録再生装置２２は再生した内視鏡画像をモニタ３０に出力することができる。モニタ３０は、記録再生装置２２から与えられた内視鏡画像を表示画面３０ａ上に表示することもできるようになっている。

本実施の形態においては、記録部としての記録再生装置２２は、コントローラ２４に制御されて、記録及び再生が制御される。記録再生装置２２は、録画中の内視鏡画像の記録終了を待たずに記録されている画像を再生する、所謂タイムシフト再生が可能に構成されている。また、記録再生装置２２は、コントローラ２４に制御されて、記録途中の内視鏡画像に対して任意のタイミングで頭出し情報を付加して記録することができるようになっている。

即ち、記録再生装置２２は、頭出し情報を記録する時間と、内視鏡画像の記録時に管理される時間とを関連付けて記録する。これにより、記録再生装置２２は、頭出し情報が指定されることで、指定された頭出し情報を記録した時間に対応する時間に記録された内視鏡画像の時間軸上の位置（記録位置）から再生を行うことができるようになっている。なお、記録再生装置２２において、頭出し情報の記録タイミングに対応するタイミングにおいて記録された内視鏡画像を起点として再生可能であれば、頭出し情報と内視鏡画像とをどのように関連付けて記録してもよい。

本実施の形態においては、コントローラ２４は、内視鏡システム１０内の所定の機器からの状態信号に基づくタイミングで、記録再生装置２２に頭出し情報の記録を指示することができるようになっている。例えば、コントローラ２４は、フットスイッチ１５によるオンの指示が電気メス装置２３に供給されるタイミングで頭出し情報を記録させるように記録再生装置２２を制御してもよく、また、電気メス装置２３から電気メスシザース１４に対して高周波電流の供給が開始されるタイミングで、頭出し情報を記録させるように記録再生装置２２を制御してもよい。即ち、コントローラ２４は、電気メスシザース１４による処置が開始されるタイミングに対応して頭出し情報を記録させるように記録再生装置２２を制御することができる。

なお、図１の例では、頭出し情報の記録タイミングを決定する機器として電気メスシザース１４の処置が開始されるタイミングを決定する機器を採用する例について説明したが、内視鏡システム１０内に採用可能な各種機器、例えば超音波処置具等の所定の機器の状態を検出して、頭出し情報の記録タイミングを決定してもよい。

図２は頭出し情報の記録を説明するための説明図である。図２は四角の枠によって、記録再生装置２２によって記録媒体に記録される内視鏡画像４１に含まれる一連の各フレーム４２を示している。図２の三角印は、頭出し情報Ｈ１〜Ｈ３を示している。即ち、図２の例では、フレームｆ２の直前のタイミングで頭出し情報Ｈ１が記録され、フレームｆｎ＋２の直前のタイミングで頭出し情報Ｈ２が記録され、フレームｆｍ＋２の直前のタイミングで頭出し情報Ｈ３が記録されたことを示している。

記録再生装置２２は、記録途中の内視鏡画像４１の任意の位置からタイムシフト再生を行うことができるようになっている。更に、本実施の形態においては、記録再生装置２２は、コントローラ２４によって制御されて、頭出し情報の記録タイミングに記録される内視鏡画像の記録位置を起点としてタイムシフト再生を開始させることができるようになっている。図２の例では、例えば、頭出し情報Ｈ１〜Ｈ３の記録タイミングに対応するフレームｆ２，ｆｎ＋２，ｆｍ＋２の位置からタイムシフト再生を開始させることができる。なお、頭出し情報の記録タイミングに記録される内視鏡画像の記録位置よりも所定時間前のタイミングのフレームの位置からタイムシフト再生を開始させるようになっていてもよい。

コントローラ２４は、ユーザ操作に基づいてタイムシフト再生の開始タイミングを判定すると共に、タイムシフト再生時には、頭出し情報の記録タイミングに対応する内視鏡画像の記録位置を再生開始位置としてタイムシフト再生を開始させるように、記録再生装置２２を制御することができるようになっている。

本実施の形態においては、タイムシフト再生の開始タイミング及び再生開始位置を規定する頭出し情報を選択する操作を、共通の操作部を用いて設定することができるようになっている。例えば、図１においてスイッチ１２をこのような操作部に設定することができる。例えば、コントローラ２４は、内視鏡画像の記録途中において、スイッチ１２が操作されると、直近に記録された頭出し情報の記録タイミングに関連する内視鏡画像の記録位置から内視鏡画像のタイムシフト再生を開始する。また、例えば、コントローラ２４は、スイッチ１２の操作から所定の時間以内にスイッチ１２が操作されると、スイッチ１２の操作回数に応じて遡って選択する頭出し情報を決定し、決定した頭出し情報の記録タイミングに関連する内視鏡画像の記録位置から内視鏡画像のタイムシフト再生を開始するようになっている。

また、コントローラ２４は、タイムシフト再生の再生時間をユーザ操作又はシステムに規定された時間に設定することができるようになっている。例えば、タイムシフト再生を３秒間等の規定時間だけ行うように設定することもでき、また、ユーザがスイッチ１２を操作したタイミングに対応する内視鏡画像の記録位置までタイムシフト再生を継続するように設定することもできる。また、コントローラ２４は、所定時間のタイムシフト再生を繰り返す繰り返し再生を実行させるように、記録再生装置２２を制御してもよい。また、コントローラ２４は、タイムシフト再生として、通常再生だけでなく、スロー再生、早送り再生、逆方向再生等を採用するようになっていてもよい。

コントローラ２４はモニタ３０の表示を制御することができるようになっている。コントローラ２４は、ビデオプロセッサ２１からの内視鏡画像を記録再生装置２２及びモニタ３０に同時に与えることで、内視鏡画像を記録しながら記録中のライブ画像をモニタ３０に表示させる通常観察モードを実行することができるようになっている。例えば、コントローラ２４は、通常観察モードでは、ライブ画像をモニタ３０の表示画面３０ａの全域に表示させる１画面表示を行う。

本実施の形態においては、コントローラ２４は、タイムシフト再生を行うタイムシフト観察モード時には、ビデオプロセッサ２１からの内視鏡画像、即ち、ライブ画像を表示させると同時に、記録再生装置２２によってタイムシフト再生された内視鏡画像であるタイムシフト再生画像を表示させるようになっている。例えば、コントローラ２４は、タイムシフト観察モード時には、ライブ画像を表示画面３０ａのライブ画像表示領域３１に表示させ、タイムシフト再生画像を表示画面３０ａのタイムシフト再生画像表示領域３２に表示させる２画面表示を行う。

即ち、ライブ画像を表示画面３０ａの全域に表示する通常観察モードの観察途中において、術者がスイッチ１２を操作するとタイムシフト観察モードに移行し、スイッチ１２の操作タイミング直近の頭出し情報の記録位置からタイムシフト再生が開始され、ライブ画像とタイムシフト再生画像とが表示画面３０ａ上の各領域３１，３２に同時に表示される２画面表示に移行するようになっている。なお、例えば内視鏡１１の操作部１１ｂには、タイムシフト再生を停止させるスイッチが設けられていてもよい。

次に、このように構成された実施の形態の動作について図３乃至図６を参照して説明する。図３は本実施の形態の動作を説明するためのフローチャートであり、図４は本実施の形態の動作を説明するための説明図である。また、図５は通常観察モードにおける画面表示の一例を示す説明図であり、図６はタイムシフト観察モードにおける画面表示の一例を示す説明図である。

内視鏡１１の挿入部１１ａを被検体に挿入して、内視鏡観察を行うものとする。内視鏡１１は取得した撮像信号をビデオプロセッサ２１に出力する。ビデオプロセッサ２１は、撮像信号に対する信号処理によって内視鏡画像を生成する。コントローラ２４は、ビデオプロセッサ２１、記録再生装置２２及びモニタ３０を制御して、ビデオプロセッサ２１によって生成された内視鏡画像を記録再生装置２２に与えて記録させると共に、この内視鏡画像をモニタ３０に与えて表示させる。

図５のこの場合（通常観察モード）の画面表示の表示例を示しており、コントローラ２４は、モニタ３０の表示画面３０ａの略全域のライブ画像表示領域３０ｂに内視鏡画像を表示させる。術者は、ライブ画像表示領域３０ｂに表示された内視鏡画像、即ち、現在撮影中のライブ画像により、被検体内を観察することができる。このライブ画像は、表示画面３０ａの略全域に表示されており、視認性に優れており、術者は被検体内の確認が容易である。

ここで、術者がフットスイッチ１５を操作して、電気メスシザース１４による処置を行うものとする。図３は内視鏡１１による観察モード時におけるコントローラ２４の制御を示している。コントローラ２４は、ステップＳ１において、スイッチ１２の操作によりタイムシフト再生が指示されたか否かを判定している。この場合にはスイッチ１２の操作は行われておらず、コントローラ２４は、処理をステップＳ７に移行して状態信号が発生したか否かを判定する。術者がフットスイッチ１５をオンにすると、電気メス装置２３は、電気メスシザース１４に高周波電流を通電して、電気メスシザース１４による処置可能な状態にすると共に、電気メスシザース１４に高周波電流を通電したことを示す状態信号を発生してコントローラ２４に出力する。コントローラ２４は、状態信号が発生したことを検出すると、ステップＳ８において記録再生装置２２に頭出し情報の記録を指示する。

図４は図２と同様の手法によって、記録再生装置２２に記録される内視鏡画像４１の各フレーム４２に対する頭出し情報Ｈ１〜Ｈ３の記録位置を示している。即ち、図４の例は、時間順に、フレームｆ１，ｆ２，…ｆｎ＋１，ｆｎ＋２，…，ｆｍ＋１，ｆｍ＋２，…，ｆｒ＋１，ｆｒ＋２，ｆｒ＋３，…が順次記録されることを示しており、フレームｆ２の直前のタイミングで頭出し情報Ｈ１が記録され、フレームｆｎ＋２の直前のタイミングで頭出し情報Ｈ２が記録され、フレームｆｍ＋２の直前のタイミングで頭出し情報Ｈ３が記録されたことを示している。

記録再生装置２２は、コントローラ２４によって頭出し情報の記録が指示されると、指示されたタイミングにおいて記録している内視鏡画像４１のフレームに関連付けて、頭出し情報を記録する。即ち、ユーザがフットスイッチ１５を操作したタイミングにおいて記録されている内視鏡画像４１のフレームに関連付けて図４の頭出し情報Ｈ１〜Ｈ３等が記録される。

なお、記録再生装置２２は、頭出し情報を用いて、ユーザがフットスイッチ１５を操作したタイミングにおいて記録している内視鏡画像のフレームからタイムシフト再生を開始することができればよい。従って、記録再生装置２２は、例えば、内視鏡画像の記録開始からの時間情報に同期した時間情報を、各頭出し情報の記録指示のタイミングで記録保持しておくようにしてもよく、頭出し情報としては種々の記録方法が考えられる。

いま、例えば、被検体の患部を内視鏡画像により観察している途中において、術者がフットスイッチ１５を操作して電気メスシザース１４の処置を行ったことにより、被検体から出血が生じたものとする。この場合には、術者は、内視鏡画像によって出血を確認すると、出血位置の同定を行うために、内視鏡１１のスイッチ１２を操作する。コントローラ２４は、スイッチ１２の操作をタイムシフト観察モードへの移行操作であるものと判定し、処理をステップＳ１からステップＳ２に移行する。コントローラ２４は、ステップＳ２においてスイッチ１２の操作回数を判定し、ステップＳ３において所定時間が経過したか否かを判定することで、術者がスイッチ１２を連続して何回操作したかを判定する。例えば、所定時間として０．５秒を設定している場合には、前回のスイッチ操作から０．５秒以内に操作された回数がカウントされる。コントローラ２４は、カウントされた回数だけ遡った頭出し情報を選択し、選択結果を図示しないメモリに記憶させる（ステップＳ４）。

コントローラ２４は、ステップＳ５において、選択した頭出し情報を記録再生装置２２に指定すると共に、記録再生装置２２におけるタイムシフト再生の再生方法を指定する。例えば、コントローラ２４は、再生方法として、３秒間の繰り返し再生を指定するものとする。また、コントローラ２４は、モニタ３０に対して、ライブ画像とタイムシフト再生画像の２画面表示を指示する（ステップＳ６）。

いま、通常観察モードにおいて、図４のフレームｆｒ＋１が記録されるタイミングにおいて、術者によりスイッチ１２が１回だけ操作されるものとする。この場合には、コントローラ２４は、スイッチ１２が操作されたタイミングの直近に記録された頭出し情報Ｈ３を選択する。なお、例えば、術者がスイッチ１２を所定時間以内に２回操作した場合には、コントローラ２４は、スイッチ１２が操作されたタイミングの直近から２回前に記録された頭出し情報Ｈ２を選択する。

選択されて指定された頭出し情報がＨ３である場合には、記録再生装置２２は、頭出し情報Ｈ３に対応するタイミングのフレームｆｍ＋２からタイムシフト再生を開始する。記録再生装置２２が再生したタイムシフト再生画像はモニタ３０に供給される。こうして、モニタ３０には、ビデオプロセッサ２１からのライブ画像と記録再生装置２２からのタイムシフト再生画像とが供給されて、２画面表示される。

例えば、術者のスイッチ１２の操作がフレームｆｒ＋１のタイミングで行われ、ライブ画像とタイムシフト再生画像との２画面表示が１フレーム期間遅延して表示されるものとする。この場合には、図５に示すように、ライブ画像表示領域３０ｂに表示されていたフレームｆｒ＋１のライブ画像は、図６に示すように、次のフレームｆｒ＋２の期間においてライブ画像表示領域３１に縮小表示され、同時にタイムシフト再生画像表示領域３２にフレームｆｍ＋２のタイムシフト再生画像が縮小表示される。タイムシフト再生画像は、３秒間動画表示された後、フレームｆｍ＋２に戻って繰り返し再生表示される。

この繰り返し再生表示は、ユーザがフットスイッチ１５を操作したタイミング、即ち、電気メスシザース１４の処置によって出血が発生したタイミングから開始されて、例えば数秒間繰り返し再生されるものであり、術者はタイムシフト再生画像を参照することで、出血位置の同定が容易となる。なお、上述したように、フットスイッチ１５を操作したタイミングに対応するフレームよりも所定時間前のフレームをタイムシフト再生の起点としてもよい。例えば、この所定時間を２秒に設定すると、出血が発生する２秒程度前の内視鏡画像を起点としたタイムシフト再生も可能である。また、このタイムシフト再生画像と同時にライブ画像も表示されるようになっており、術者は、タイムシフト再生画像とライブ画像とを比較することが可能である。これにより、術者は、出血位置等の確認が更に一層容易となる。

なお、タイムシフト観察モード時において、術者がスイッチ１２を操作すると、ステップＳ３において操作回数が判定され、記憶されている頭出し情報を基準に、新たに頭出し情報が選択される（ステップＳ４）。例えば、頭出し情報Ｈ３に対応したフレームｆｍ＋２から繰り返し再生が行われている場合においてスイッチ１２が１回操作されると、コントローラ２４は頭出し情報Ｈ２を指定する（ステップＳ５）。これにより、頭出し情報Ｈ２に対応したフレームｆｎ＋２から繰り返し再生が行われて、タイムシフト再生画像表示領域３２に表示される。

このように本実施の形態においては、ユーザがスイッチを操作するという極めて簡単な操作によって、ライブ画像を全画面表示していた通常観察モードから、ライブ画像とタイムシフト再生画像とを同時に２画面で表示するタイムシフト観察モードに移行することができる。これにより、手術中等において内視鏡システム内の機器の状態の変化により出血等が発生した場合でも、術者は、簡単な操作によって、出血タイミングに対応した位置の内視鏡画像を、ライブ画像と共に観察することができ、術者の医療行為を確実に支援することができる。例えば、出血位置の同定だけでなく、電気メスシザースへの通電時に生じやすい電気メスシザースの破損等に対しても、その確認を容易にすることができる。

（第２の実施の形態）
図７は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。図７において図３と同一の手順には同一符号を付して説明を省略する。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。

特許文献１の提案においては、電気メス装置を用いた時点等の特徴点から再生を開始することはできるが、それ以外の再生位置からの再生のためには煩雑な操作が必要である。本実施の形態においては、術者は、単一の操作部の操作のみによって、術者が希望する再生位置からの再生を可能にすることができる。

第１の実施の形態においては、術者がスイッチ１２を操作する毎に、頭出し情報の記録位置に対応するフレームが指定されて、当該フレームから内視鏡画像のタイムシフト再生が行われた。しかし、電気メスシザース１４による処置時間と関連しないタイミングであっても、内視鏡画像を確認したい場合がある。例えば、経年劣化で小さなクラックが入っていた電気メスシザースの歯先が欠落する場合や、鉗子等で血管を傷付けて出血させる場合等のタイミングは、電気メスシザース１４による処置時間とは無関係な場合がある。この場合において、頭出し情報の記録位置に対応する再生位置からの再生を指示するスイッチ１２と異なるスイッチに、任意の再生位置からの再生を指示するための操作を割当てた場合には、術者は頭出しのために複数のスイッチを操作する必要が生じ、操作が煩雑となる。

そこで、本実施の形態においては、所定の閾値時間を設定し、頭出し情報の記録時間から所定の閾値時間が経過した場合には、コントローラ２４は、当該スイッチ１２の操作は、頭出し情報の記録位置に遡ってタイムシフト再生を行うための指示ではなく、操作から所定時間前に記録された内視鏡画像をタイムシフト再生するための指示であるものと判定するようになっている。

図７のフローは、図３のステップＳ３とステップＳ６との間に、ステップＳ１１〜Ｓ１４の処理を追加した点が図３のフローと異なる。ステップＳ１１は、コントローラ２４において、頭出し情報の記録時間から所定の閾値時間が経過したか否かを判定する処理である。コントローラ２４は、記録再生装置２２に頭出し情報の記録を指示すると共に、指示を行う時間の情報を図示しないメモリに記憶させている。コントローラ２４は、直近に頭出し情報の記録を指示した時間からスイッチ１２の操作が行われた時間までに所定の閾値時間が経過したか否かを判定する。経過していない場合には、コントローラ２４は処理をステップＳ４に移行する。経過している場合には、術者の操作は頭出し情報の記録位置からの再生を指示するための操作ではなく、所定時間前に記録された内視鏡画像をタイムシフト再生するための指示であるものと判定して、処理をステップＳ１２に移行する。

コントローラ２４は、ステップＳ１２において現在既にタイムシフト再生中であるか否かを判定する。コントローラ２４は、タイムシフト再生中でない場合には、ステップＳ１３において、ステップＳ２の回数判定に基づく所定時間前の再生開始時間を求めて記録再生装置２２に指示を与えると共に、当該指定した時間の情報を図示しないメモリに記憶させる。

また、コントローラ２４は、ステップＳ１２において、既にタイムシフト再生中であるものと判定した場合には、ステップＳ１４において、記憶されている時間を基準にして、ステップＳ２の回数判定に基づく所定時間前の再生開始時間を求めて記録再生装置２２に指示を与えると共に、当該指定した時間の情報を図示しないメモリに記憶させるようになっている。

次に、このように構成された実施の形態の動作について図８Ａ及び図８Ｂの説明図を参照して説明する。図８Ａ及び図８Ｂは図４と同様の手法によって記載したものであり、図８Ａは直近の頭出し情報の記録からスイッチ１２が操作されるまでの時間が所定の閾値時間以内である場合の例を示し、図８Ｂは直近の頭出し情報の記録からスイッチ１２が操作されるまでの時間が所定の閾値時間を超えている場合の例を示している。

いま、フットスイッチ１５等の操作によって、電気メス装置２３から状態信号がコントローラ２４に出力された結果、図８Ａに示すタイミングで頭出し情報が記録されると共に、スイッチ１２が操作されたものとする。コントローラ２４はステップＳ２，Ｓ３においてスイッチ１２の操作回数を判定した後、ステップＳ１１において、直近の頭出し情報の記録からスイッチ１２が操作されるまでの時間が所定の閾値時間を超えているか否かを判定する。いま、所定の閾値時間として３０秒が設定されているものとする。なお、所定の閾値時間の情報は、図示しないメモリに記憶されており、ユーザはコントローラ２４の操作パネルによる入力操作によって、所定の閾値時間を適宜設定することができるようになっている。

図８Ａの例では、直近の頭出し情報Ｈ２の記録からスイッチ１２が操作されるまでの時間Ｔ０は１０秒であり、この時間Ｔ０は所定の閾値時間である３０秒を超えていない。この場合には、コントローラ２４は処理をステップＳ１１からステップＳ４に移行して、スイッチ１２の操作回数に応じた頭出し情報の選択及び記憶を行う。即ち、この場合には、第１の実施の形態と同様に、スイッチ１２の操作に応じて頭出し情報の記録タイミングに対応するフレームからタイムシフト再生が開始される。こうして、この場合にも、スイッチ１２の操作が行われることにより、モニタ３０の表示画面３０ａの略全域に表示されていたライブ画像の１画面表示から、ライブ画像とタイムシフト再生画像との２画面表示に切換る。

次に、フットスイッチ１５等の操作によって、電気メス装置２３から状態信号がコントローラ２４に出力された結果、図８Ｂに示すタイミングで頭出し情報が記録されると共に、スイッチ１２が操作されたものとする。図８Ｂの例では、直近の頭出し情報Ｈ１の記録からスイッチ１２が操作されるまでの時間Ｔ０は５分であり、所定の閾値時間である３０秒を超えている。この場合には、コントローラ２４は処理をステップＳ１１からステップＳ１２に移行して、既にタイムシフト操作が行われているか否かを判定する。

スイッチ１２の操作の時点でタイムシフト再生が行われていない場合には、処理はステップＳ１３に移行する。この場合には、コントローラ２４は、回数に応じた所定時間Ｔ１前の再生開始時間を記録再生装置２２に指定すると共に、指定時間の情報をメモリに記憶させる。例えば、コントローラ２４は、回数に応じた所定時間Ｔ１として、Ｔ１＝所定時間Ｔ１ｆ（例えば５秒）×回数を設定する。なお、この所定時間Ｔ１ｆは、コントローラ２４の操作パネルによって変更可能である。例えば、ステップＳ２，Ｓ３において、術者が１回のみスイッチ１２を操作したことが検出された場合には、コントローラ２４はステップＳ１３において、スイッチ１２の操作時点から５秒前の時間に記録された内視鏡画像のフレームからタイムシフト再生を開始する。図８の例では５秒前に記録されたフレームはフレームｆｍ＋１であり、このフレームｆｍ＋１以降の内視鏡画像がタイムシフト再生される。

例えば、術者のスイッチ１２の操作がフレームｆｐ＋１のタイミングで行われ、ライブ画像とタイムシフト再生画像との２画面表示が１フレーム期間遅延して表示されるものとする。この場合には、ライブ画像表示領域３０ｂに表示されていたフレームｆｐ＋１のライブ画像は、次のフレームｆｐ＋２の期間においてライブ画像表示領域３１に縮小表示され、同時にタイムシフト再生画像表示領域３２にフレームｆｍ＋１のタイムシフト再生画像が縮小表示される。タイムシフト再生画像は、例えば、３秒間動画表示された後フレームｆｍ＋１に戻って繰り返し再生表示される。なお、再生方法については、別途指定可能に構成されていてもよい。

一方、スイッチ１２の操作の時点でタイムシフト再生が行われている場合には、ステップＳ１２からステップＳ１４に処理が移行する。この場合には、コントローラ２４は、記憶されている時間を基準にして、回数に応じた所定時間Ｔ２前の再生開始時間を記録再生装置２２に指定すると共に、指定時間の情報をメモリに記憶させる。例えば、コントローラ２４は、この場合の回数に応じた所定時間Ｔ２として、Ｔ２＝所定時間Ｔ２ｆ（例えば３秒）×回数を設定する。なお、この所定時間Ｔ２ｆは、コントローラ２４の操作パネルによって変更可能である。例えば、ステップＳ２，Ｓ３において、術者が１回のみスイッチ１２を操作したことが検出された場合には、コントローラ２４はステップＳ１４において、前回のタイムシフト再生の再生開始位置として記録された時間より３秒前の時間に記録された内視鏡画像のフレームからタイムシフト再生を開始する。図８の例では３秒前に記録されたフレームはフレームｆｎ＋２であり、このフレームｆｎ＋２以降の内視鏡画像がタイムシフト再生される。

例えば、術者が２回目のスイッチ１２の操作を１回行うと、ライブ画像表示領域３１には現在のライブ画像が表示され、同時にタイムシフト再生画像表示領域３２にはフレームｆｎ＋２を起点とするタイムシフト再生画像が縮小表示される。タイムシフト再生画像は、例えば３秒間動画表示された後、フレームｆｎ＋２に戻って繰り返し再生表示される。なお、再生方法については、別途指定可能に構成されていてもよい。

他の作用は第１の実施の形態と同様である。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、直近の頭出し情報の記録からタイムシフト再生を指定するスイッチが操作されるまでの時間が所定の閾値時間を超えている場合には、術者は、頭出し情報の記録位置以外の位置からの再生を望んでいるものと判定して、スイッチ操作に応じた所定時間前からタイムシフト再生を行うようになっている。これにより、術者は所望の再生位置からの再生が可能である。しかも、本実施の形態においては、頭出し情報の記録位置に対応する位置からタイムシフト再生を行う場合と所望の位置からタイムシフト再生を行う場合とで、共通の操作部を操作すればよく、操作性に優れているという利点を有する。

なお、第１の実施の形態においては、通常観察モード時にライブ画像を１画面表示し、タイムシフト観察モードに移行すると、ライブ画像とタイムシフト再生画像との２画面表示を行う例を示したが、第２の実施の形態においては、タイムシフト観察モードへの移行によって必ずしもライブ画像とタイムシフト再生画像との２画面表示を行う場合だけでなく、タイムシフト観察モードにおいてもタイムシフト再生画像の１画面表示を行うようにしてもよい。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０…内視鏡システム、１１…内視鏡、１１ａ…挿入部、１１ｂ…操作部、１２…スイッチ、１４…電気メスシザース、１５…フットスイッチ、２１…ビデオプロセッサ、２２…記録再生装置、２３…電気メス装置、２４…コントローラ、３０…モニタ、３０ａ…表示画面、３１…ライブ画像表示領域、３２…タイムシフト再生画像表示領域。

Claims (6)

1. 内視鏡により撮像された内視鏡画像を表示する表示部と、
   前記内視鏡画像を記録すると共に、被検体を処置する処置具の処置タイミングに関する信号が与えられると、記録する前記内視鏡画像の時間軸上の記録位置に関連付けて頭出し情報を記録する記録部と、
   ユーザ操作を検出すると、前記頭出し情報に関連する前記記録位置を起点として前記記録部に記録された内視鏡画像をタイムシフト再生すると共に、前記表示部を制御して、前記内視鏡により撮像中の内視鏡画像をライブ画像とする１画面表示から前記ライブ画像と前記タイムシフト再生によるタイムシフト再生画像との２画面表示に切換える制御部と
   を具備したことを特徴とする内視鏡システム。
2. 前記制御部は、前記頭出し情報が複数記録されている場合に、ユーザ操作に基づいて複数記録されている前記頭出し情報の１つを選択して前記タイムシフト再生の起点を決定する
   ことを特徴とする請求項１に記載の内視鏡システム。
3. 前記タイムシフト再生への移行のためのユーザ操作と前記頭出し情報の１つを選択するためのユーザ操作とを行うための共通の操作部
   を具備したことを特徴とする請求項２に記載の内視鏡システム。
4. 前記制御部は、前記頭出し情報の記録タイミングと前記ユーザ操作のタイミングとの時間差が所定の閾値時間以内の場合には、前記頭出し情報に関連する前記記録位置を起点としてタイムシフト再生を行い、前記頭出し情報の記録タイミングと前記ユーザ操作のタイミングとの時間差が所定の閾値時間を超える場合には、前記ユーザ操作のタイミングより所定時間前のタイミングを起点としてタイムシフト再生を行う
   ことを特徴とする請求項１乃至３のいずれか１つに記載の内視鏡システム。
5. 前記制御部は、前記頭出し情報の記録タイミングと前記ユーザ操作のタイミングとの時間差が所定の閾値時間を超える場合には、前記ユーザ操作の回数に応じて前記タイムシフト再生の起点を決定する
   ことを特徴とする請求項４に記載の内視鏡システム。
6. 内視鏡により撮像された内視鏡画像をライブ画像として表示部に表示すると共に、前記内視鏡画像を記録部に記録する表示記録ステップと、
   被検体を処置する処置具の処置タイミングに関する信号が与えられると、前記表示記録ステップにおける前記内視鏡画像の時間軸上の記録位置に関連付けて頭出し情報を記録する情報記録ステップと、
   ユーザ操作を検出すると、前記頭出し情報に関連する前記記録位置を起点として前記記録部に記録された内視鏡画像をタイムシフト再生すると共に、前記表示部を制御して、前記内視鏡により撮像中の内視鏡画像をライブ画像とする１画面表示から前記ライブ画像と前記タイムシフト再生によるタイムシフト再生画像との２画面表示に切換える再生表示ステップと
   を具備したことを特徴とする内視鏡システムの表示方法。

Images