以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1実施の形態に係る画像記録再生装置を示すブロック図である。また、図2は図1の画像記録再生装置を含む内視鏡システムの全体構成を示す説明図である。
本実施の形態は、複数の映像信号の検知結果を用いた論理演算によって、複数の映像信号に対する記録を制御することにより、術者等による操作を要することなく、また、記録領域を無駄に消費することなく、自動的に入力画像を記録することを可能にするものである。
まず、図2を用いて手術室に配置される内視鏡システム1の全体構成を説明する。図2に示すように、手術室内には、患者10が横たわる患者ベッド11及びカート9に搭載された各種医療機器が配置される。図2に示すように本実施形態の内視鏡システム1は、外科内視鏡21による外科内視鏡システム2と、消化器内視鏡31による消化器内視鏡システム3とを備えている。
外科内視鏡21は、例えば挿入部が硬性の硬性内視鏡により構成されており、基端側に内視鏡用カメラ24を有する。外科内視鏡システム2は、外科内視鏡21の外に、カート9上に載置された第1光源装置22及び第1のカメラコントロールユニット(以下、第1CCUという)23により構成されている。
外科内視鏡21の挿入部(不図示)は、第1トラカール14に挿通され、腹腔内に配置される。挿入部内には被写体像を伝送するリレーレンズ(不図示)等によって構成される観察光学系やライトガイド(不図示)等によって構成される照明光学系が設けられている。挿入部の基端部には観察光学系によって伝送された光学像を観察する接眼部25が設けられている。接眼部25には内視鏡用カメラ24が着脱自在に配設される。内視鏡用カメラ24の内部には撮像素子(不図示)が備えられている。
第1光源装置22は、ライトガイドケーブル26を介して外科内視鏡21に照明光を供給する。被写体からの反射光は、被写体光学像として内視鏡用カメラ24の撮像素子の結像面に結像する。内視鏡用カメラ24は、撮像ケーブル27を介して被写体光学像に基づく撮像信号を第1CCU23に供給する。第1CCU23は、内視鏡用カメラ24からの撮像信号に対する所定の映像信号処理によって内視鏡画像(外科画像)を得て、画像記録再生装置50、モニタ6及び集中表示パネル7にその映像信号を出力する。モニタ6又は集中表示パネル7の画面上には、外科内視鏡21で捕らえた被写体の内視鏡画像が表示される。
軟性鏡である消化器内視鏡31は、大腸等の管腔内に挿入される軟性な挿入部34と、操作部35と、ユニバーサルコード36とを備えて構成されている。操作部35には送気送水スイッチ35a及び吸引スイッチ35b、図示しない湾曲部を湾曲動作させる湾曲操作ノブ37、図示しない処置具チャンネルに連通する処置具挿通口38が設けられている。ユニバーサルコード36の基端部には光源コネクタ36aが設けられている。
消化器内視鏡システム3は、消化器内視鏡31の外に、カート9上に載置された第2光源装置32及び第2のカメラコントロールユニット(以下、第2CCUという)33により構成されている。第2光源装置32には、光源コネクタ36aが着脱自在に接続される。光源コネクタ36aを介して、第2光源装置32から消化器内視鏡31に照明光が供給される。消化器内視鏡31内において、照明光は図示しないライトガイドファイバを伝送されて挿入部34の図示しない先端部に設けられている照明窓から出射される。
被写体からの反射光は、被写体光学像として挿入部34の先端部に設けられた撮像素子の結像面に結像する。この撮像素子は、被写体光学像を電気信号に変換して、撮像信号をユニバーサルコード36から電気コネクタ36b及びケーブル39を介して第2CCU33に供給する。第2CCU33は、消化器内視鏡31からの撮像信号に対して所定の映像信号処理を行って内視鏡画像を得て、画像記録再生装置50、モニタ6及び集中表示パネル7にその映像信号を出力する。モニタ6又は集中表示パネル7の画面上には、消化器内視鏡31で捕らえた被写体の内視鏡画像が表示される。
なお、内視鏡システム1には、送気システム4も設けられている。送気システム4は、送気装置41、炭酸ガス供給部である供給源のガスボンベ42及びシステムコントローラ5によって主に構成されている。ガスボンベ42には、炭酸ガスが液化した状態に貯留されている。
送気装置41には、第1の供給口金である腹腔供給用口金(以下、第1口金と記載する)41aと、第2の供給口金である管腔供給用口金(以下、第2口金と記載する)41bとが設けられている。第1口金41aには、第1のチューブである腹腔用チューブ45aの一端部が連結され、この腹腔用チューブ45aの他端部は第3トラカール16に連結される。
第2口金41bには、第2のチューブである管腔用チューブ45bの一端部が連結され、この管腔用チューブ45bの他端部は消化器内視鏡31に接続される。管腔用チューブ45bの他端部には、消化器内視鏡31の処置具チャンネル開口部に接続するコネクタ43の口金43aに接続されている。
すなわち、送気装置41からの炭酸ガスは、管腔用チューブ45b、コネクタ43を介して、消化器内視鏡31の処置具チャンネルを通って、管腔内へ供給される。なお、送気装置41とガスボンベ42とは高圧用ガスチューブ46によって連結されている。
電気メス装置12には、手術器具である電気メス13が接続される。第1トラカール14は、内視鏡を腹腔内に導くトラカールである。第2トラカール15は、組織の切除や処置を行う電気メス13等の処置具を腹腔内に導くトラカールである。第3トラカール16は、送気システム4を構成する送気装置41から供給される気腹用気体である、例えば生体に吸収され易い二酸化炭素ガス(以下、炭酸ガスと記載する)を腹腔内に導くためのトラカールである。なお、炭酸ガスを第1トラカール14又は第2トラカール15から腹腔内に導くようにしてもよい。
システムコントローラ5は、内視鏡システム1の全体を一括して制御を行う。システムコントローラ5には、図示しない通信回線を介して、集中表示パネル7、集中操作パネル8、内視鏡周辺装置である電気メス装置12、光源装置22、32、CCU23、33、画像記録再生装置50、送気装置41等が双方向通信を行えるように接続されている。
モニタ6の画面上には、第1CCU23及び第2CCU33から出力される映像信号を受けて、外科内視鏡21及び消化器内視鏡31で撮影された被写体の内視鏡画像が表示されるようになっている。
集中表示パネル7には液晶ディスプレイ等の表示画面が設けられている。集中表示パネル7はシステムコントローラ5に接続されていることにより、表示画面上に被写体の内視鏡画像とともに内視鏡周辺装置の動作状態の集中表示が可能になっている。
集中操作パネル8は、液晶ディスプレイ等の表示部と、この表示部の表示面上に一体的に設けられたタッチセンサ部とで構成されている。集中操作パネル8の表示部には、各内視鏡周辺装置の操作スイッチ等を設定画面として表示させる表示機能と共に、タッチセンサ部の所定領域を触れることによって操作スイッチを操作する操作機能とを有している。
集中操作パネル8は、システムコントローラ5に接続され、表示部に表示されているタッチセンサ部を適宜操作することによって、各内視鏡周辺装置にそれぞれ設けられている操作スイッチを直接操作したのと同様に、この集中操作パネル8上で遠隔的に各種操作、設定等を行える。
図1において、画像記録再生装置50は、2つの入力端子IN1,IN2を備えており、第1CCU23及び第2CCU33は図示しないケーブルによって入力端子IN1又はIN2に接続されるようになっている。第1CCU23及び第2CCU33から内視鏡21,31により取得された内視鏡画像に基づく映像信号が入力端子IN1又はIN2に供給される。なお、第1CCU23からの内視鏡画像と第2CCU33からの内視鏡画像とは2つの入力端子IN1,IN2のいずれに供給されるようになっていてもよい。また、第1CCU23及び第2CCU33は、映像信号を図示しない細径のケーブルを利用したシリアル伝送によって伝送するようになっていてもよい。
なお、図1では第1CCU23及び第2CCU33からの映像信号が画像記録再生装置50に供給される例を示しているが、画像記録再生装置50には映像信号を出力可能な各種撮像機器からの映像信号を入力端子IN1,IN2を介して供給するようになっていてもよい。
画像記録再生装置50の映像受信部52は、入力端子IN1,IN2を介して映像信号が入力される。なお、図1においては図面の簡略化のために画像記録再生装置50は2系統の映像信号のみを記録する例を示しているが、3つ以上の入力端子を備えて3系統以上の映像信号を取込んで同時に記録することができるようになっていてもよい。
映像受信部52は、シリアル・パラレル変換部52a,52bを有しており、各入力端子IN1,IN2を介して入力される入力信号(映像信号)を夫々取込み、パラレルデータに変換した後、記録処理部53に与えるようになっている。なお、入力信号がシリアル映像信号であって、このシリアル映像信号をシリアル信号のまま記録を行う場合には、シリアル・パラレル変換部52a,52bは不要である。
記録処理部53は、バッファ回路54a,54bを有している。バッファ回路54a,54bには、夫々シリアル・パラレル変換部52a,52bから医療画像(映像信号)が入力される。バッファ回路54a,54bは、それぞれ入力された医療画像を保持して、記録制御部56a,56bに出力する。
制御部51は、画像記録再生装置50の各部を制御することができるようになっている。制御部51は、図示しないCPU等のプロセッサにより構成されて、図示しないメモリに記憶されたプログラムに基づいて動作するものであってもよい。
記録制御部56a,56bは、制御部51に制御されて、それぞれ入力された内視鏡画像に基づく記録データを生成して記録部57に出力するようになっている。記録部57は、制御部51に制御されて、記録制御部56a,56bからの各医療画像の記録データをそれぞれチャンネルCH1,CH2の画像ファイルとして記録する。例えば、記録部57としては、ハードディスク装置等を採用することができる。
なお、図1では再生系については図示を省略しているが、図示しない再生画像生成部は、記録部57に記録された画像ファイルを読み出して再生し、再生画像を出力することができるようになっている。
ところで、画像記録再生装置50に電源が投入されて、入力端子IN1,IN2を介して入力される映像信号の記録が可能な状態であっても、内視鏡21,31に電源が投入されているとは限らず、第1CCU23及び第2CCU33から映像信号が出力されない無信号の状態の場合がある。また、内視鏡21,31に同時に電源が投入されるとは限らず、第1CCU23及び第2CCU33の一方から映像信号が出力されず、画像記録再生装置50の一方の入力が無信号となる場合もある。
本実施の形態においては、映像信号が入力されているか否かを検知し、検知結果の論理演算結果に基づいて記録を自動的に制御する。バッファ回路54a,54bの出力は映像信号検知回路55にも供給される。映像信号検知回路55は、バッファ回路54a,54bの出力から映像信号を検知する。映像信号検知回路55は、公知の種々の手法を採用して映像信号を検知することができる。例えば、映像信号検知回路55は、同期信号の有無を検出することで、映像信号を検知してもよい。また、例えば、映像信号検知回路55は、無信号の検知によって、映像信号の有無を検出してもよい。例えば、入力信号レベルに基づいて無信号を検出してもよく、デジタル映像信号入力については、映像信号部分がオール“0”の黒データであったり、復号処理におけるエラーレートが所定値を超えていたりすることによって無信号を検出してもよい。
映像信号検知回路55は、各入力についての映像信号の検知結果をそれぞれ制御部51に出力する。制御部51は論理判定部51aを有する。論理判定部51aは、映像信号検知回路55からの2つの検知結果の論理演算を行う。設定メモリ58には、論理判定部51aの論理演算結果に対して、記録処理の内容を示す記録設定情報が記憶されている。なお、操作パネル8を操作することで、設定メモリ58の記録設定情報を更新することができるようになっていてもよい。
図3は設定メモリ58に記憶されている記録設定情報の内容を説明するための説明図である。
記録設定情報としては、図3の「AND」,「OR」,「IND」のいずれか1つのみを設定可能である。ユーザによって、この設定を変更することができる。「AND」は、映像信号検知回路55の2つの検知結果のAND演算に従って記録を制御し、「OR」は、映像信号検知回路55の2つの検知結果のOR演算に従って記録を制御し、「IND」は、映像信号検知回路55の2つの検知結果を個々に用いて記録を制御することを意味する。
映像信号有りの検知結果を論理値“1”とし、映像信号無しの検知結果を論理値“0”とする。「AND」では、2つの検知結果のAND演算結果が“1”の場合に、2入力に対する記録が行われるように記録制御され、「OR」では、2つの検知結果のOR演算結果が“1”の場合に、2入力に対する記録が行われるように記録制御され、「IND」では、各検知結果が“1”の場合に、各入力がそれぞれ記録されるように記録制御される。
論理判定部51aは、設定メモリ58から記録設定情報を読み出し、2つの検知結果に対して、記録設定情報に従った論理演算を施し、論理演算結果に従って、記録制御部56a,56bの記録動作の判定を行い、判定結果に従って記録制御信号を発生して記録制御部56a,56bに出力ようになっている。
例えば、記録設定情報として「AND」を示す情報が記録されている場合には、論理判定部51aは、2入力の両方から映像信号が検知された場合にのみ、2入力の記録が行われるように記録制御部56a,56bを制御する。従って、この場合には、いずれか一方の入力のみに映像信号が検知された場合には、2入力とも記録されない。即ち、2入力は常に同期して記録される。
なお、「AND」の設定は、学会発表用に、内視鏡・腹腔鏡の両方を使ったシーンのみ記録する場合等に採用される。この設定を採用した場合には、必要なシーンのみ記録されるため、後から編集が不要になるという利点がある。
また、例えば、記録設定情報として「OR」を示す情報が記録されている場合には、論理判定部51aは、2入力のいずれか一方から映像信号が検知された場合には、2入力の記録が行われるように記録制御部56a,56bを制御する。従って、この場合には、いずれか一方の入力のみに映像信号が検知された場合でも、2入力とも記録される。即ち、2入力は常に同期して記録される。
なお、「OR」の設定は、学会発表用に、全ての動画を記録する場合等に採用される。この設定を採用した場合には、全ての動画を記録することで、編集時の頭合わせが簡単に行えるという利点がある。
また、例えば、記録設定情報として「IND」を示す情報が記録されている場合には、論理判定部51aは、2入力のうち映像信号が検知された入力について記録が行われるように記録制御部56a,56bを制御する。従って、この場合には、いずれか一方の入力のみに映像信号が検知された場合には、検知された入力のみについて記録が行われる。即ち、この場合には、無駄な記録が行われることはない。
なお、「IND」の設定は、学会発表用に、入力があった全ての動画を記録する場合等に採用される。この設定を採用した場合には、不要な動画(電源オフ時)を記録しないで済むことから、記録容量を節約できるという利点がある。
論理判定部51aは、2つの検知結果に対する記録設定情報に従った論理演算によって、記録制御部56a,56bの記録を制御する。いずれの記録設定情報を採用した場合でも、2つの検知結果に従って自動的に記録が行われることになり、医療行為の途中において、術者等が動画記録再生装置50の記録のための操作を行う必要は無い。また、ユーザが設定した記録設定情報に基づいて、ユーザの意志に沿った画像ファイルが記録されることになり、無駄に記録領域が消費されることはない。
次に、このように構成された実施の形態の動作について図4から図6を参照して説明する。図4から図6は第1の実施の形態の動作を説明するための説明図であり、それぞれ記録設定情報が「AND」、「OR」又は「IND」の場合の動作を示すものである。
いま、内視鏡21,31を用いた手術を行うものとする。この手術に先立って、ユーザは、操作パネル8等によって、患者ID、検査ID及び日時の設定を行う。操作パネル8は、患者ID、検査ID及び日時の情報を画像記録再生装置50に出力する。画像記録再生装置50は、患者IDや、検査ID及び日時情報等を、内視鏡画像と共に記録するようになっていてもよい。
手術の手順によっては、手術の開始時には、内視鏡21,31のうち硬性鏡である内視鏡21のみに電源が供給される場合がある。内視鏡21からの映像信号は第1CCU23に与えられて所定の画像信号処理が施される。第1CCU23からの映像信号は画像記録再生装置50に供給される。いま、手術開始から軟性鏡に電源が投入されるまでの期間をA期間とすると、このA期間には、第2CCU33からは映像信号は出力されない。
手術が経過してA期間が終了し、軟性鏡である内視鏡31にも電源が投入されるB期間に移行するものとする。内視鏡31からの映像信号は第2CCU33に与えられて所定の画像信号処理が施される。第2CCU33からの映像信号は画像記録再生装置50に供給される。B期間においては、第1CCU23及び第2CCU33の両方から映像信号が出力されている。
更に、手術が経過してB期間が終了し、再び軟性鏡である内視鏡31の電源が遮断されるC期間に移行するものとする。C期間においては、第2CCU33から画像記録再生装置50への映像信号の出力は停止し、画像記録再生装置50には第1CCU23からの映像信号のみが供給される。
映像受信部52のシリアル・パラレル変換部52a,52bは、入力されたシリアル映像信号をパラレル信号に変換して記録制御部56a,56b及び映像信号検知回路55に出力する。映像信号検知回路55は、2入力から映像信号を検知し、各入力に対応する2つの検知結果を論理判定部51aに出力する。
論理判定部51aは、設定メモリ58から記録設定情報を読み出し、2つの検知結果に対して、記録設定情報に従った論理演算を施し、論理演算結果に基づいて、記録制御部56a,56bの記録を制御するための記録制御信号をそれぞれ発生して記録制御部56a,56bに与える。
いま、記録設定情報によって、「AND」演算が指定されているものとする。この場合には、図4に示す記録制御が行われる。図4のA期間〜C期間は、上述したように、夫々硬性鏡のみから映像信号が出力される期間、硬性鏡及び軟性鏡の両方から映像信号が出力される期間又は硬性鏡のみから映像信号が出力される期間である。図4では入力信号IR1〜IR3によって、硬性鏡の出力に基づく第1CCU23からの映像信号を示し、入力信号IF1〜IF3によって、軟性鏡の出力に基づく第2CCU33からの映像信号を示しており、図中、入力信号IR1〜IR3,IF1〜IF3の矢印の記号は映像信号が入力されていることを示し、塗り潰しは映像信号が入力されていない無信号であることを示している。
画像記録再生装置50の電源投入からA期間が終了するまでは、第1CCU23の出力に基づく入力信号IR1は映像信号であり、第2CCU33の出力に基づく入力信号IF1は無信号である。論理判定部51aは、2つの検知結果のAND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を開始させない。即ち、A期間においては、図4に示すように、2入力に対する録画は停止したままとなる。
次に、内視鏡31の電源が投入されたB期間になると、第1CCU23の出力に基づく入力信号IR2及び第2CCU33の出力に基づく入力信号IF2はいずれも映像信号となる。論理判定部51aは、2つの検知結果のAND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を開始させる。即ち、B期間においては、図4に示すように、2入力に対する録画が同時に開始される。
次に、内視鏡31の電源が遮断されたC期間になると、第1CCU23の出力に基づく入力信号IR3は映像信号となり、第2CCU33の出力に基づく入力信号IF3は無信号となる。論理判定部51aは、2つの検知結果のAND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を停止させる。即ち、C期間においては、図4に示すように、2入力に対する録画は同時に停止し、2つの画像ファイルが生成される。
このように、記録設定情報が「AND」の場合には、2入力は同時に開始されると共に同時に終了する。従って、記録された2つの画像ファイルは同期している。従って、再生時において、記録された2つの画像ファイルを同時に再生開始すれば、同一タイミングで取得された2つの内視鏡画像を同期した状態で表示することができる。
次に、記録設定情報によって、「OR」演算が指定されているものとする。この場合には、図5に示す記録制御が行われる。図5のA期間〜C期間は、図4と同様に夫々硬性鏡のみから映像信号が出力される期間、硬性鏡及び軟性鏡の両方から映像信号が出力される期間又は硬性鏡のみから映像信号が出力される期間である。図4では入力信号IR11〜IR13によって、硬性鏡の出力に基づく第1CCU23からの映像信号を示し、入力信号IF11〜IF13によって、軟性鏡の出力に基づく第2CCU33からの映像信号を示しており、図中、入力信号IR11〜IR13,IF11〜IF13の矢印の記号は映像信号が入力されていることを示し、塗り潰しは映像信号が入力されていない無信号であることを示している。
画像記録再生装置50の電源投入からA期間が終了するまでは、第1CCU23の出力に基づく入力信号IR11は映像信号であり、第2CCU33の出力に基づく入力信号IF11は無信号である。論理判定部51aは、2つの検知結果のOR演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を指示する。即ち、A期間においては、図5に示すように、2入力に対する録画が同時に開始される。
次に、内視鏡31の電源が投入されたB期間になると、第1CCU23の出力に基づく入力信号IR12及び第2CCU33の出力に基づく入力信号IF12のいずれも映像信号となる。論理判定部51aは、2つの検知結果のOR演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を開始させる。即ち、B期間においては、図5に示すように、2入力に対する録画が継続される。
次に、内視鏡31の電源が遮断されたC期間になると、第1CCU23の出力に基づく入力信号IR13は映像信号となり、第2CCU33の出力に基づく入力信号IF13は無信号となる。論理判定部51aは、2つの検知結果OR演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力の記録を指示する。即ち、C期間においては、図5に示すように、2入力に対する録画は継続される。
なお、記録設定情報が「OR」の場合には、2入力のいずれも無信号となった場合には、2入力に対する録画が同時に停止して、画像ファイルが生成される。
このように、記録設定情報が「OR」の場合には、2入力は同時に開始されると共に同時に終了する。従って、記録された2つの画像ファイルは同期されている。このため、再生時において、記録された2つの画像ファイルを同時に再生開始すれば、同一タイミングで取得された2つの内視鏡画像を同期した状態で表示することができる。
次に、記録設定情報によって、「IND」演算が指定されているものとする。この場合には、図6に示す記録制御が行われる。図6のA期間〜C期間は、図4と同様に夫々硬性鏡のみから映像信号が出力される期間、硬性鏡及び軟性鏡の両方から映像信号が出力される期間又は硬性鏡のみから映像信号が出力される期間である。図6では入力信号IR21〜IR23によって、硬性鏡の出力に基づく第1CCU23からの映像信号を示し、入力信号IF21〜IF23によって、軟性鏡の出力に基づく第2CCU33からの映像信号を示しており、図中、入力信号IR21〜IR23,IF21〜IF23の矢印の記号は映像信号が入力されていることを示し、塗り潰しは映像信号が入力されていない無信号であることを示している。
画像記録再生装置50の電源投入からA期間が終了するまでは、第1CCU23の出力に基づく入力信号IR21は映像信号であり、第2CCU33の出力に基づく入力信号IF21は無信号である。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力のうちの映像信号入力に対する記録を開始させる。即ち、A期間においては、図6に示すように、第1CCU23からの映像信号に対する録画のみが開始される。
次に、内視鏡31の電源が投入されたB期間になると、第1CCU23の出力に基づく入力信号IR22及び第2CCU33の出力に基づく入力信号IF22のいずれも映像信号となる。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力を記録させる。即ち、B期間においては、図6に示すように、入力信号IR22に対する録画が継続されると共に、入力信号IF22に対する録画が開始される。
次に、内視鏡31の電源が遮断されたC期間になると、第1CCU23の出力に基づく入力信号IR23は映像信号となり、第2CCU33の出力に基づく入力信号IF23は無信号となる。論理判定部51aは、2つの検知結果IND演算結果に基づく記録制御信号によって、記録制御部56a,56bに入力のうちの無信号入力に対する記録を停止させる。即ち、C期間においては、図6に示すように、入力信号IR23に対する録画が継続されると共に、入力信号IF23に対する録画が停止されて、画像ファイルが生成される。
このように、記録設定情報が「IND」の場合には、映像信号入力が発生した場合に録画が行われ、無信号入力に対しては録画が行われない。従って、記録された2つの画像ファイルは同期されないが、各入力端子IN1,IN2を介して入力される映像信号の全てが自動的に記録される。
このように本実施の形態においては、複数の入力端子に映像信号が入力されているか否かを各入力端子毎に検知し、各入力に対応した複数の検知結果の論理演算結果に基づいて記録を自動的に制御する。従って、医療行為の途中において、術者等が記録操作又は記録終了操作を行う必要は無く、ユーザが希望する医療画像が自動的に記録される。また、ユーザの設定した記録設定情報に基づいて、ユーザの意志に沿った画像ファイルが記録されることになり、無駄に記録領域が消費されることはない。また、論理演算として、AND演算又はOR演算を採用した場合には、複数の入力を同期させた状態で記録を行うことができる。これにより、再生時において、記録された複数の画像ファイルを読み出して同期再生することも容易にできる。
(第2の実施の形態)
図7は本発明の第2の実施の形態を示すブロック図である。図7において図1と同一の構成要素には同一符号を付して説明を省略する。
第1の実施の形態においては、記録設定情報が「AND」又は「OR」の場合には、複数の入力は相互に同期した状態で記録された。記録設定情報が「IND」の場合には、入力される内視鏡画像の全てを自動的に記録することができるという利点がある反面、複数の入力は相互に同期することなく記録される。本実施の形態は、記録設定情報が「IND」の場合においても、記録された複数の画像ファイルを同期再生することを可能にしたものである。
本実施の形態においては、同一時間帯に入力された映像信号には、所定の同一タイミングで、イベント情報を入力画像に付随する情報として映像信号に追加するようになっている。なお、イベント情報は、画像ファイルに追加されるタイミングが異なる他のイベント情報との間で識別可能なものであればよい。従って、イベント情報としては、時間の情報を含んでいてもいなくてもよい。例えば、時刻情報をイベント情報としてもよく、また、手術中における各種手技に対応する内容を示す情報やシーンの切換りを示す情報をイベント情報としてもよく、単なる連続番号等であってもよい。なお、イベント情報には、患者ID等の患者に関する各種情報等を含んでいてもよい。
画像記録再生装置60は、制御部61を備えている。制御部61は、図示しないCPU等のプロセッサにより構成されて、図示しないメモリに記憶されたプログラムに基づいて動作するものであってもよい。画像記録再生装置60は、イベント情報生成部62及びタイマ63を有している。イベント情報生成部62は、制御部61に制御されて、所定のイベント情報を生成して制御部61に出力する。タイマ63は時間情報を制御部61に出力する。イベント情報生成部62は、例えばタイムコード等の時間情報を含むイベント情報を生成してもよい。
また、イベント情報生成部62は、外部からのイベント入力に従ってイベント画像を生成してもよい。受信部69は、外部機器からの信号、例えば、第1CCU23や第2CCU33の図示しない入力部の操作、操作パネル8の操作、内視鏡21,31の図示しないボタンの操作等によって発生した操作信号や外部機器からの設定情報等を受信してイベント情報生成部62に出力するようになっている。イベント情報生成部62は、受信部69からの信号に基づいて、イベント情報を生成するようになっていてもよい。
例えば、イベント情報生成部62は、上述したように、例えば、ユーザが指定した切離、剥離、リンパ節廓清等の各種手技を示すイベント情報を生成してもよい。また、例えば、イベント情報生成部62は、論理判定部61aから論理判定結果を用いて、2入力の記録が開始されたタイミングで、タイマ63からの時刻情報をイベント情報として生成するようになっていてもよい。
制御部61の論理判定部61aは、図1の論理判定部51aと同様に、設定メモリ58に記憶されている記録設定情報に基づいて、映像信号検知回路55からの2つの検知結果に対する論理演算によって、記録制御信号を発生して、記録制御部56a,56bに出力する。
本実施の形態においては、制御部61は、複数の入力映像信号を同時に記録する場合には、イベント情報生成部62からのイベント情報を、所定のタイミング、例えば2入力の記録を開始したタイミングでイベント情報付加部65に与える。イベント情報付加部65は、制御部61に制御されて、複数の入力映像信号の記録に際して、同一タイミングで画像ファイルにイベント情報を追加するように、記録再生制御部56a,56bにイベント情報を与えて記録を制御する。これにより、記録再生制御部56a,56bは、2つの画像ファイルに同一タイミングで、同一のイベント情報を付加するようになっている。なお、制御部61は、記録設定情報が「IND」の場合にのみイベント情報を追加記録するようにしてもよい。また、2つの画像ファイルに同一タイミングで付加されるイベント情報同士は、同一タイミングで付加されたことを判定できれば、必ずしも完全同一の情報でなくてもよい。
なお、イベント情報生成部62及びイベント情報付加部65は、制御部61に制御されて、2入力のうちの一方のみに映像信号が入力されて一方の映像信号が記録される場合でも、イベント情報を付加して記録させるようになっていてもよい。
図7においては図1において省略した再生系についても示してある。再生画像生成部67は、記録部57に記録されている画像ファイルを読み出して再生して、再生画像をパラレル・シリアル変換部68に出力する。パラレル・シリアル変換部68は、入力されたパラレルの映像信号をシリアル信号に変換して再生映像信号として出力する。
本実施の形態においては、再生画像生成部67は、記録部57から読み出した2つの画像ファイルの再生に際して、各画像に付随する対応するイベント情報同士の再生タイミングを一致させるように、2つの画像ファイルを同期再生するようになっている。例えば、再生画像生成部67は、2つの画像ファイルの所定のフレームに「切離」を示すイベント情報が付随している場合には、各画像ファイル中の「切離」のイベント情報が割当てられたフレーム同士の再生タイミングが一致するように、2つの画像ファイルを同期再生して再生データを出力する。
次にこのように構成された実施の形態の動作について図8の説明図を参照して説明する。図8は第2の実施の形態の動作を説明するための説明図であり、記録設定情報が「IND」の場合の動作を示すものである。
図8のA期間〜C期間は、図4と同様に夫々硬性鏡のみから映像信号が出力される期間、硬性鏡及び軟性鏡の両方から映像信号が出力される期間又は硬性鏡のみから映像信号が出力される期間である。図8では入力信号IR21〜IR23によって、硬性鏡の出力に基づく第1CCU23からの映像信号を示し、入力信号IF21〜IF23によって、軟性鏡の出力に基づく第2CCU33からの映像信号を示しており、図中、入力信号IR21〜IR23,IF21〜IF23の矢印の記号は映像信号が入力されていることを示し、塗り潰しは映像信号が入力されていない無信号であることを示している。
画像記録再生装置60の電源投入からA期間が終了するまでは、第1CCU23の出力に基づく入力信号IR21は映像信号であり、第2CCU33の出力に基づく入力信号IF21は無信号である。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力のうちの映像信号入力に対する記録を開始させる。即ち、A期間においては、図8に示すように、第1CCU23からの映像信号に対する録画のみが開始される。なお、図8の例では、イベント情報生成部62が生成したイベント情報Ii1が入力信号IR21に付随して記録されることを示している。イベント情報Ii1は、患者IDが10001であり、入力信号IR21の記録の開始時刻が実時間タイムコードにより2014年9月26日の14時00分00秒であることを示している。
次に、内視鏡31の電源が投入されたB期間になると、第1CCU23の出力に基づく入力信号IR22及び第2CCU33の出力に基づく入力信号IF22のいずれも映像信号となる。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力を記録させる。即ち、B期間においては、図8に示すように、入力信号IR22に対する録画が継続されると共に、入力信号IF22に対する録画が開始される。従って、第1CCU23からの映像信号の記録と第2CCU33からの映像信号の記録とは、同期していない。
イベント情報生成部62は、2入力の記録期間の所定タイミングにおいてイベント情報を画像ファイルに付随させて記録するようにイベント情報を発生する。例えば、イベント情報生成部62は、2入力の映像信号の記録が同時に行われる開始タイミングの時刻情報をイベント情報として発生する。
なお、図8の例では、イベント情報生成部62が生成したイベント情報Ii2が入力信号IR22,IF22に付随して記録されることを示している。イベント情報Ii2は、患者IDが10001であり、入力信号IF22の記録の開始時刻が2014年9月26日の15時00分00秒であることを示している。イベント情報付加部65は、記録制御部56a,56bを制御して、イベント情報Ii2を、例えば入力信号IR22,IF22の同一タイミングに記録されるフレームに対応して記録させる。
次に、内視鏡31の電源が遮断されたC期間になると、第1CCU23の出力に基づく入力信号IR23は映像信号となり、第2CCU33の出力に基づく入力信号IF23は無信号となる。論理判定部51aは、2つの検知結果IND演算結果に基づく記録制御信号によって、記録制御部56a,56bに入力のうちの無信号入力に対する記録を停止させる。即ち、C期間においては、図8に示すように、入力信号IR23に対する録画が継続されると共に、入力信号IF23に対する録画が停止されて、画像ファイルが生成される。図8の例では、イベント情報生成部62が生成したイベント情報Ii3が入力信号IR23に付随して記録されることを示している。イベント情報Ii3は、患者IDが10001であり、C期間の開始時刻が2014年9月26日の16時00分00秒であることを示している。
このように、記録設定情報が「IND」の場合には、少なくとも、2入力がいずれも映像信号である場合には、2入力の例えば記録の開始タイミングにおいて、同一タイミングに記録が行われることを示すイベント情報が、例えば記録フレームに対応して記録される。
再生画像生成部67は、記録部57に記録されている2つの内視鏡画像の画像データの再生に際して、イベント情報が付与されたフレーム同士が同一タイミングで同期再生されるように、各画像ファイルの読み出しを行う。再生画像生成部67は、読み出した画像ファイルをパラレル・シリアル変換部68に出力する。パラレル・シリアル変換部68は、入力されたパラレル映像信号をシリアル信号に変換して再生映像信号として出力する。
例えば、パラレル・シリアル変換部68からの2つの映像信号を同時に表示可能な表示装置に与えることで、これらの2つの映像信号に基づく2つの内視鏡画像を2画面表示することが可能である。この場合には、再生画像生成部67がイベント情報に基づいて同期再生を行っていることから、2画面表示される内視鏡画像は、相互の時間軸が記録時と一致した状態で表示される。
これにより、例えば、2入力の同時記録が開始されるタイミングにおいてイベント情報が各画像ファイルに付加されている場合には、2入力の同時記録の開始タイミングから同期再生することが可能である。また、例えば、2入力が同時に記録されている期間中において、手術のシーン等に対応したイベント情報が各画像ファイルに付加されている場合には、これらのシーンの再生タイミングから同期再生することが可能である。例えば、再生画像生成部67は、ユーザが指定したイベント情報のタイミングから画像ファイルを同期再生することも可能である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、2入力の記録が同期していない場合でも、記録される2つの画像ファイルに同一タイミングでイベント情報を付加するので、再生時にイベント情報に基づいて2つの画像ファイルを同期再生することにより、2つの医療画像を時間軸を一致させた状態で再生させることができる。また、記録画像の先頭から同期再生することや、イベントの発生時点に対応する再生位置から同期再生することが容易となる。
(第3の実施の形態)
図9は本発明の第3の実施の形態を示すブロック図である。図9において図1と同一の構成要素には同一符号を付して説明を省略する。
第2の実施の形態においては、同一時間帯に入力された映像信号に、所定の同一タイミングでイベント情報を追加することで、同期再生を可能にした。本実施の形態は、同一時間帯に入力された映像信号に、所定の同一タイミングで同一のイベント画像を追加することで、再生時において同一のタイミングに記録された画像であることを視覚的に認識できるようにしたものである。
なお、第2の実施の形態と組み合わせて、イベント情報及びイベント画像を画像ファイルに追加することにより、同期再生を可能にすると共に、再生画像が同一タイミングに記録された画像であることを再生画像によって視覚的に確認することが可能である。
イベント画像は、画像ファイルに追加するタイミングが異なる他のイベント画像との間で識別可能なものであればよい。従って、イベント画像としては、時間の情報を含んでいてもいなくてもよい。例えば、時刻の表示を含むイベント画像であってもよく、また、手術中における各種手技に対応する内容を示す画像やシーンの切換りを示す画像をイベント画像としてもよく、単なる連続番号の表示を含むイベント画像であってもよい。なお、イベント画像には、患者ID等の患者に関する各種情報等を示す画像を含んでいてもよい。
画像記録再生装置70は、イベント画像生成部72及びイベント情報メモリ73を有している。イベント画像生成部72は、制御部61に制御されて、所定のイベント画像を生成して制御部61に出力する。イベント画像生成部72は、時間を示す画像を含むイベント画像を生成してもよい。
また、イベント画像生成部72は、外部からのイベント入力に従ってイベント画像を生成してもよい。受信部69は、外部機器からの信号やユーザ操作に基づく操作信号を受信してイベント画像生成部72に出力するようになっている。イベント情報メモリ73は、ユーザ操作に対応する複数の画像情報を保持しており、イベント画像生成部72は、受信部69からの信号に基づいてイベント情報メモリ73に記憶された画像情報を読み出すことで、イベント画像を生成するようになっていてもよい。
例えば、イベント情報メモリ73には、所定の番号に対応して「切離」、「剥離」、「リンパ節廓清」等の処置が設定されたテーブルが記憶されている。この場合には、ユーザが上述した各種操作部により番号を入力することで、イベント画像生成部72は、入力された番号に対応する処置を示す文字列を含む画像をイベント画像として生成する。
また、例えば、イベント画像生成部72は、論理判定部61aからの論理判定結果を用いて、2入力の記録が開始されたタイミングで、タイマ63からの時刻を示す表示をイベント画像として生成するようになっていてもよい。
本実施の形態においては、制御部61は、複数の入力映像信号を同時に記録する場合には、イベント画像生成部72からのイベント画像を、所定のタイミング、例えば2入力の記録を開始したタイミングでイベント画像付加部65に与える。イベント画像付加部75は、制御部61に制御されて、複数の入力映像信号の記録に際して、同一タイミングで画像ファイルにイベント画像を追加するように、記録再生制御部56a,56bにイベント画像を与えて記録を制御する。これにより、記録再生制御部56a,56bは、2つの画像ファイルに同一タイミングで、同一のイベント画像を付加するようになっている。なお、制御部61は、記録設定情報が「IND」の場合にのみイベント画像を追加記録するようにしてもよい。また、2つの画像ファイルに同一タイミングで付加されるイベント画像同士は、同一タイミングで付加されたことを判定できれば、必ずしも完全同一の画像でなくてもよい。
また、イベント画像生成部72及びイベント画像付加部75は、制御部61に制御されて、2入力のうちの一方のみに映像信号が入力されて一方の映像信号が記録される場合でも、イベント画像を付加して記録させるようになっていてもよい。
次にこのように構成された実施の形態の動作について図10、図11A及び図11Bの説明図を参照して説明する。図10、図11A及び図11Bは第3の実施の形態の動作を説明するための説明図であり、記録設定情報が「IND」の場合の動作を示すものである。
図10のA期間〜C期間は、図4と同様に夫々硬性鏡のみから映像信号が出力される期間、硬性鏡及び軟性鏡の両方から映像信号が出力される期間又は硬性鏡のみから映像信号が出力される期間である。図10では入力信号IR21〜IR23によって、硬性鏡の出力に基づく第1CCU23からの映像信号を示し、入力信号IF21〜IF23によって、軟性鏡の出力に基づく第2CCU33からの映像信号を示しており、図中、入力信号IR21〜IR23,IF21〜IF23の矢印の記号は映像信号が入力されていることを示し、塗り潰しは映像信号が入力されていない無信号であることを示している。
画像記録再生装置70の電源投入からA期間が終了するまでは、第1CCU23の出力に基づく入力信号IR21は映像信号であり、第2CCU33の出力に基づく入力信号IF21は無信号である。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力のうちの映像信号入力に対する記録を開始させる。即ち、A期間においては、図10に示すように、第1CCU23からの映像信号に対する録画のみが開始される。なお、図10の例では、イベント画像生成部72が生成したイベント画像Pi1が入力信号IR21に付随して記録されることを示している。イベント画像Pi1は、入力信号IR21の記録の開始時刻が2014年9月26日の14時00分00秒であることを示している。
次に、内視鏡31の電源が投入されたB期間になると、第1CCU23の出力に基づく入力信号IR22及び第2CCU33の出力に基づく入力信号IF22のいずれも映像信号となる。論理判定部51aは、2つの検知結果のIND演算結果に基づく記録制御信号によって、記録制御部56a,56bに2入力を記録させる。即ち、B期間においては、図10に示すように、入力信号IR22に対する録画が継続されると共に、入力信号IF22に対する録画が開始される。従って、第1CCU23からの映像信号の記録と第2CCU33からの映像信号の記録とは、同期していない。
イベント画像生成部72は、2入力の記録期間の所定タイミングにおいてイベント画像を画像ファイルに追加して記録するようにイベント画像を発生する。例えば、イベント画像生成部72は、2入力の映像信号の記録が同時に行われる開始タイミングの時刻を示す文字画像をイベント画像として発生する。
なお、図10の例では、イベント画像生成部72が生成したイベント画像Pi2が入力信号IR22,IF22に追加記録されることを示している。イベント画像Pi2は、入力信号IF22の記録の開始時刻が2014年9月26日の15時00分00秒であることを示している。例えば、イベント画像Pi2は、記録制御部56a,56bによって、入力信号IR22,IF22の所定の同一タイミングのフレームとして記録される。
次に、内視鏡31の電源が遮断されたC期間になると、第1CCU23の出力に基づく入力信号IR23は映像信号となり、第2CCU33の出力に基づく入力信号IF23は無信号となる。論理判定部51aは、2つの検知結果IND演算結果に基づく記録制御信号によって、記録制御部56a,56bに入力のうちの無信号入力に対する記録を停止させる。即ち、C期間においては、図10に示すように、入力信号IR23に対する録画が継続されると共に、入力信号IF23に対する録画が停止されて、画像ファイルが生成される。
このように、記録設定情報が「IND」の場合には、少なくとも、2入力がいずれも映像信号である場合には、2入力の例えば記録の開始タイミングにおいて、同一タイミングに記録が行われることを示すイベント画像が記録される。
記録部57に記録された2つの画像ファイルは、再生画像生成部67によって再生される。再生画像生成部67によって読み出された画像ファイルはパラレル・シリアル変換部68に出力される。パラレル・シリアル変換部68は、入力されたパラレル映像信号をシリアル信号に変換して再生映像信号として出力する。
図11A及び図11Bはイベント画像の画面表示例を示している。図11Aは図10のイベント画像Pi2に基づく画面表示を示している。イベント画像Pi2は、中央に記録の開始時刻が2014年9月26日の14時00分00秒であることを示す文字表示を含む。
また、図11Bは、イベント画像Pi2として、患者情報等の各種情報を含む画像を採用した例を示している。この場合には、イベント画像Pi2は、記録の開始時刻が2014年9月26日の14時00分00秒であり、患者IDが12345678であり、患者の氏名及び年齢がヤマダタロウ、50歳であり、手技の内容がLADG(laparoscopic assisted distal gastrectomy(腹腔鏡補助下胃切除術))におけるリンパ節廓清であることを示す文字表示を含む。
パラレル・シリアル変換部68からの2つの映像信号は、同一のイベント画像が同一の記録タイミングで記録されている。従って、これらの2つの映像信号を表示した場合には、同一のイベント画像の再生位置が記録時の同一タイミングに対応することが分かる。従って、第2の実施の形態のイベント情報を利用して同期再生を行うことができない再生装置においても、イベント画像を確認して2つの映像信号の再生タイミングを調整することで、時間軸を略一致させた再生が可能である。
このように本実施の形態においては、第1の実施の形態と同様の効果が得られると共に、2入力の記録が同期していない場合でも、記録される2つの画像ファイルに同一タイミングでイベント画像を付加するので、再生時にイベント画像に基づいて2つの画像ファイルの記録時間や手技を一致させた再生が容易となる。再生時にイベント画像を視覚的に確認することで、術者等においてイベントの開始位置の認識が容易となる。パソコンを使って動画編集操作を行う場合においても、イベントの開始位置を合わせて、2つの動画ファイルを編集することが容易となる。
(変形例)
図12は変形例を示すブロック図である。図12において図9と同一の構成要素には同一符号を付して説明を省略する。
第2及び第3の実施の形態においては、受信部69からの信号や論理判定部61aからの論理判定結果に基づいてイベント情報又はイベント画像を生成した。これに対し、本変形例は入力される医療画像を画像解析することで、手技の内容等に応じたシーンを判定して、イベント情報又はイベント画像を自動生成するものである。
画像記録再生装置80の記録処理部81には、シーン判定部82が設けられている。シーン判定部82にはバッファ回路54a,54bから2入力の映像信号が与えられる。シーン判定部82は、各入力映像信号に対する画像解析によって、各医療画像のシーンを判定し、シーン判定結果をイベント画像生成部72に出力するようになっている。
イベント画像生成部72は、受信部69からの信号や論理判定部61aからの論理判定結果だけでなく、シーン判定結果に基づいてイベント画像を生成するようになっている。
これにより、本変形例においては、ユーザ操作等を必要とすることなく、自動的にイベント画像を生成して、記録する画像に付加することが可能である。
また、本変形例を第2の実施の形態に適用して、入力された医療画像のシーン判定結果に従って自動的にイベント情報を生成し、記録する画像に付随させて記録させることができることは明らかである。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
[付記項1]
第1の入力端子を介して入力される第1の映像信号の記録動作を制御する第1の記録制御部と
第2の入力端子を介して入力される第2の映像信号の記録動作を制御する第2の記録制御部と
所定のイベント情報を生成するものであって異なる時間には相互に異なるイベント情報を生成するイベント情報生成部と、
前記イベント情報生成部から前記イベント情報が与えられ、前記第1及び第2の記録制御部を制御して、前記イベント情報を前記第1及び第2の映像信号に同時に付加して記録させるイベント情報付加部と
を有することを特徴とする画像記録再生装置。
[付記項2]
第1の入力端子を介して入力される第1の映像信号の記録動作を制御する第1の記録制御部と
第2の入力端子を介して入力される第2の映像信号の記録動作を制御する第2の記録制御部と
所定のイベント画像を生成するものであって異なる時間には相互に異なるイベント画像を生成するイベント画像生成部と、
前記イベント画像生成部から前記イベント画像が与えられ、前記第1及び第2の記録制御部を制御して、前記イベント画像を前記第1及び第2の映像信号に同時に付加して記録させるイベント画像付加部と
を有することを特徴とする画像記録再生装置。