JP2016007444A - 画像記録装置 - Google Patents

Abstract

【課題】所望とするシーンの画像を簡単に抽出できる画像記録装置を提供する。【解決手段】入力される画像信号から画像の特徴量を抽出し、抽出された特徴量と予め用意した判別用特徴量とを比較して画像種別を判別し、画像種別が変化した場合、又は複数の周辺機器から取得したステータスが変化した場合に対して、画像を記録する記録データに編集ポイントと、画像の種別とステータスに関連するメタ情報を付加して統合記録データとして記録することにより、記録後の統合記録データから画像の種別やステータスを指定して、所望のシーンの画像を抽出し易くする。【選択図】図６

Description

本発明は、編集を行い易いように画像を記録する画像記録装置に関する。

近年、医療分野において内視鏡は広く用いられるようになっている。例えば第１の従来例としての特開２００６−６１４６９号公報は、カプセル内視鏡により患者の体腔内を時系列に撮像し、撮像された一連の画像の撮像期間を示す時間スケールが付されたタイムバーを表示すると共に、選択された所望の画像の撮像時刻に対応する時間スケール上の位置を示す指標を表示する。また、この公報は、画像の色分布を測定し、測定結果から画像が体外画像であるか否かを判定することと、体外画像の撮像期間を示すマークを表示することを開示している。
また、第２の従来例としての特開２００５−１２４８２４号公報は、手術シミュレーション画像を生成するための手術支援システムにおいて、手術動画データを、手術シミュレーション画像の構築に必要な、各手技ステップ毎の最適な手技ステップ動画データに分割すると共に、分割された手技ステップ動画データをデータベースに登録することを開示している。また、この公報は、手術中において、手術動画データを分割するマークを、内視鏡の操作ボタンなどの押下に基づいて、手術動画データ内にインデックスデータを付加することも開示している。

特開２００６−６１４６９号公報 特開２００５−１２４８２４号公報

通常、１回の手術を行う場合、手術の開始から終了まで、内視鏡画像を画像記録装置に記録するために、所望とするシーンの画像部分を効率良く抽出することが望まれる。第１の従来例は、時系列に沿って記録された一連の画像において、選択された画像の撮像位置を表示画面から容易に推定できるようにするものであり、所望とするシーンの画像部分を効率良く抽出することを開示していない。
また、第２の従来例は、手術中においてユーザの操作により、分割するマークを付けることを開示しているが、手術中においては、ユーザは手術に専念するために、この従来例では、ユーザに対して煩わしい操作を要求する欠点があると共に、分割するマークを付け忘れることが発生し易い欠点がある。
本発明は上述した点に鑑みてなされたもので、所望とするシーンの画像を簡単に抽出することができる画像記録装置を提供することを目的とする。

本発明の一態様の画像記録装置は、画像信号が入力される画像信号入力部と、前記画像信号入力部に入力された前記画像信号における画像の特徴量を抽出する画像解析部と、入力される前記画像信号の前記画像に対して予め手術の進行状況に応じた画像種別毎に判別用特徴量と関連付けた複数の画像種別のデータベースを蓄積する画像種別データベース部と、前記画像解析部により抽出された前記特徴量の画像に対して前記画像種別データベース部における該当する画像種別を判別する画像判別部と、前記画像判別部の判別結果により判別された前記画像種別の変化に対応して、変化したタイミングの前記画像信号を特定するための編集ポイント及び前記画像信号に関連する第１のメタ情報を、前記画像信号に付加して記録するための記録データを生成する記録データ生成部と、前記記録データ生成部により生成された前記画像信号、前記編集ポイント及び前記第１のメタ情報を含む前記記録データを記録する記録部と、前記手術の際に利用される複数の周辺機器の動作状態の情報が入力される情報入力部と、前記情報入力部に入力された情報から、該情報に該当する前記複数の周辺機器の各動作状態を判別する状態判別部と、前記状態判別部の判別結果の変化に対応した前記編集ポイント及び前記状態判別部の判別結果が変化したタイミングの前記複数の周辺機器に関連する第２のメタ情報を前記画像信号に付加して、前記記録部に記録するように制御する制御部と、を備える。

本発明によれば、所望とするシーンの画像を簡単に抽出することができる。

図１は本発明の第１の実施形態の画像記録装置を備えた内視鏡システムの全体構成を示す図。 図２は図１における画像記録装置の内部構成を示した内視鏡システムの全体構成を示す図。 図３は手術の際に使用される複数の周辺機器と、各周辺機器の主な動作状態（ステータス）を表形式で示す図。 図４は画像データ種別データベースに画像の種別毎に分類されて格納されているカテゴリ、サブカテゴリの画像を表形式で示す図。 図５は体腔内画像、体腔外画像、カラーバー画像における代表的な色平均値を示す図。 図６は第１の実施形態の画像記録装置の動作を示すフローチャート。 図７Ａは手術の際に録画を行った場合において手術の進行状況に応じて周辺機器のステータスや画像のカテゴリが変化し、変化する時間に編集ポイントとメタ情報とが作成される様子を示すタイミングチャート。 図７Ｂは図７Ａにおける編集ポイントと周辺機器のステータスの詳細を表形式で示す図。 図７Ｃは画像と共にメタ情報が記録される記録データの記録フォーマット例を示す図。 図７Ｄは図７Ｃにおけるメタ情報の具体例を示す図。 図８は図６における画像種別を判別する処理の詳細を示すフローチャート。 図９はエッジ処理により判別される３Ｄ画像を示す図。 図１０はエッジ処理により判別されるＰＩＰ（ピクチャーインピクチャー）の画像を示す図。 図１１はエッジ処理により判別されるＰＯＰ（ピクチャーアウトピクチャー）の画像を示す図。 図１２Ａは記録された記録データから抽出しようとするシーンの指定を行う前のメニュー画面を示す図。 図１２Ｂは図１２Ａにおいて体腔内のカテゴリの指定を行った場合に該当するシーンの画像の一覧が表示される画面を示す図。 図１２Ｃは図１２Ｂにおいて更に処置のサブカテゴリの指定を行った場合に該当するシーンの画像の一覧が表示される画面を示す図。 図１２Ｄは図１２Ｃにおいて更に周辺機器のステータスの指定を行った場合に該当するシーンの画像の一覧が表示される画面を示す図。 図１３は図６のフローチャートにおいて、周辺機器のステータスに関する処理を行わないで、画像種別に関する処理のみを行うようにした場合の処理内容を示すフローチャート。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の画像記録装置１０を備えた内視鏡システム１は、手術用ベッド（以下ベッド）２に載置される患者３に対して内視鏡４と、この内視鏡４と共に使用される複数の周辺機器としての照明光を発生する光源装置５、信号処理を行う信号処理装置としてのビデオプロセッサ（以下、プロセッサ）６、高周波電流により電気的処置を行う電気メス装置７、気腹を行う気腹装置８、内視鏡画像の表示を行う表示装置としてのモニタ９を備える。
画像記録装置１０、光源装置５、プロセッサ６、電気メス装置７、気腹装置８、モニタ９は、移動自在のトロリ１１に搭載されている。
内視鏡４は、細長の挿入部１２を有し、挿入部１２の基端（後端）から延出された信号ケーブル１３はプロセッサ６に接続される。また、挿入部１２の基端付近から延出されたライトガイドケーブル１４は、光源装置５に接続される。

図１に示すように手術を行う場合には、内視鏡４の挿入部１２は、患者３の体腔内としての例えば腹腔内に挿入される。また、腹腔内を観察し易くするために気腹装置８は、送気チューブ１５を介して、腹腔内に刺入されるトラカール１６に送気し、腹腔内を気腹する。
また、電気メス装置７は、ケーブル１８ａを介して腹腔内に挿入され、切開等の処置を行う電気メス１７に高周波電流を供給し、術者は、電気メス１７を用いて腹腔内の病変組織等を切開したり、出血した部分を凝固する処置を行う。なお、電気メス１７の先端が接触して病変組織側に流れた高周波電流は、患者３に広い面積で当接する対極板１９と、この対極板１９に接続されたリターン用ケーブル１８ｂを介して電気メス装置７に戻る。
また、術者は、切開した部位等を吻合糸で吻合する処置を行う場合もある。
図２は、図１における画像記録装置１０の内部構成と、複数の周辺機器の概略の構成を示す。

内視鏡４内にはライトガイド２１が挿通され、このライトガイド２１の基端は光源装置５に接続される。光源装置５は、照明光を発生し、ライトガイド２１に供給する。
また、内視鏡４の例えば先端部に配置された撮像素子２２は、信号線２３を介してプロセッサ６に接続される。
また、内視鏡４には、観察モードを切り替える操作を行う切替スイッチ２４が設けてあり、切替スイッチ２４の操作信号は、光源装置５とプロセッサ６に送られる。
切替スイッチ２４は、切替スイッチがＯＦＦとなる通常の状態においては、光源装置は、通常光観察（モード）に対応した白色光を照明光として出力し、切替スイッチ２４がＯＮされると特殊光観察（モード）に対応した特殊光を照明光として出力する状態に切り替わる。つまり、切替スイッチ２４は、特殊光観察のＯＮ／ＯＦＦを行う機能を持つ。
光源装置５は、白色光を発生するランプ５ａと、ランプ５ａに点灯用の電力を供給する電源回路５ｂと、光路から挿脱されるフィルタ５ｃと、集光レンズ５ｄと、電源スイッチ５ｅと、光源装置５を制御する制御回路５ｆとを有する。制御回路５ｆは、通信線２５ａを介して画像記録装置１０と接続される。

上記切替スイッチ２４が操作されない状態においては、フィルタ５ｃは、光路から退避した位置に配置される。切替スイッチ２４が操作されると制御回路５ｆは、フィルタ５ｃを、光路上の位置に配置するように制御し、光源装置５はフィルタ５ｃを通した特殊光、より具体的には狭帯域光をライトガイド２１に供給する。
プロセッサ６は、撮像素子２２に対する信号処理を行い、画像信号を生成する信号処理回路６ａと、電源スイッチ６ｂと、プロセッサ６を制御する制御回路６ｃとを有する。信号処理回路６ａにより生成された画像信号は、画像記録装置１０（の画像信号入力部３１）に入力される。
制御回路６ｃは、通信線２５ｂを介して画像記録装置１０と接続され、制御回路６ｃは、プロセッサ６の動作状態（ステータス）の情報を通信線２５ｂを介して画像記録装置１０に送信する。また、画像記録装置１０側から送信信号が制御回路６ｃに送信されると、制御回路６ｃは、送信信号に対応した制御動作を行う。

制御回路６ｃは、上記切替スイッチ２４が操作されない状態においては、信号処理回路６ａが白色光の照明のもとで撮像素子２２が撮像した状態の画像信号を生成するように制御する。また、制御回路６ｃは、切替スイッチ２４が操作された場合には、信号処理回路６ａが特殊光の照明のもとで撮像素子２２が撮像した状態の画像信号（より具体的には狭帯域の画像信号）を生成するように制御する。
また、制御回路６ｃは、プロセッサ６のステータスが切替スイッチ２４のＯＮ／ＯＦＦ、換言すると特殊光観察のＯＮ／ＯＦＦのいずれのステータスであるかの情報を画像記録装置１０に送信する。
なお、光源装置５の制御回路５ｆも切替スイッチ２４のＯＮ／ＯＦＦ、換言すると特殊光観察のＯＮ／ＯＦＦにおけるいずれのステータスであるかの情報を画像記録装置１０に送信する。画像記録装置１０は、光源装置５とプロセッサ６との両方から特殊光観察のＯＮ／ＯＦＦのいずれのステータスであるかの情報を取得することができる。

このため、一方の周辺機器のみから特殊光観察のＯＮ／ＯＦＦのいずれのステータスであるかの情報を取得するようにしても良い。図３においては、例えばプロセッサ６で特殊光観察のＯＮ／ＯＦＦのいずれのステータスであるかの情報を取得することを、プロセッサ（光源装置）と表記して示している。特殊光観察のＯＮ／ＯＦＦは、内視鏡４による特殊光観察と通常光観察の切替ステータスでもあるので、内視鏡４の特殊光観察のＯＮ／ＯＦＦのステータスと見なしても良い（図７Ｄ参照）。
なお、信号処理回路６ａは、実線で示すように内視鏡４から入力される第１の信号入力端の他に点線で示すように第２の信号入力端を有し、信号処理回路６ａは、ＰＩＰ（ピクチャーインピクチャー）の画像信号、ＰＯＰ（ピクチャーアウトピクチャー）、３Ｄの画像信号を生成する機能を有する。
図２においては、内視鏡４として１つの撮像素子２２を備えた２Ｄ内視鏡の場合を示しているが、図２において２点鎖線によりその一部を示すように２つの撮像素子２２ａ，２２ｂを備えた３Ｄ内視鏡４ｂが内視鏡システム１に使用される場合もある。

図２に示すように電気メス装置７は、高周波信号を発生する高周波発生回路７ａと、発生した高周波信号を出力する出力スイッチ７ｂと、高周波信号の出力モードを変更するモードスイッチ７ｃと、電気メス装置７を制御する制御回路７ｄとを有する。制御回路７ｄは、通信線２５ｃを介して画像記録装置１０と接続される。制御回路７ｄは、電気メス装置７における出力スイッチ７ｂによる高周波信号の出力ＯＮ／ＯＦＦ、モードスイッチ７ｃによる出力モードとしての切開モードと凝固モードとの選択に応じて高周波電力の波形を切開用と凝固用に切り替えを制御する。また、制御回路７ｄは、出力ＯＮ／ＯＦＦのステータスの情報と、出力モードのステータスの情報を画像記録装置１０に送信する。
図２に示すように気腹装置８は、気腹のために送気を行う送気装置８ａと、送気のＯＮ／ＯＦＦを行うスイッチ８ｂと、気腹装置８を制御する制御回路８ｃとを有する。また、送気装置８ａは、送気する場合の流量や送気した場合の腹腔内の圧力を検出するセンサ８ｄを有する。制御回路８ｃは、通信線２５ｄを介して画像記録装置１０と接続される。

制御回路８ｃは、気腹装置８における送気のＯＮ／ＯＦＦを行うスイッチ８ｂによる送気ＯＮ／ＯＦＦを制御する。また、制御回路７ｄは、気腹装置８における送気ＯＮ／ＯＦＦのステータスの情報を画像記録装置１０に送信する。
また、モニタ９は、液晶ディスプレイ等の表示部９ａと、画像を表示する場合の構造強調のＯＮ／ＯＦＦ、構造強調をＯＮにした場合の強度（モード）を変える構造強調スイッチ（図２では単に構造強調）９ｂと、フリップのＯＮ／ＯＦＦを行うフリップスイッチ（図２では単にフリップ）９ｃと、ＰＩＰ／ＰＯＰのＯＮ／ＯＦＦを行うＰＩＰ／ＰＯＰスイッチ（図２では単にＰＩＰ）９ｄと、モニタ９を制御する制御回路９ｅとを有する。制御回路９ｅは、通信線２５ｅを介して画像記録装置１０と接続される。なお、フリップをＯＮした場合には、モニタ９に表示される画像の上下を反転する。図２では、構造強調スイッチ９ｂ、フリップスイッチ９ｃのＯＮ／ＯＦＦによるステータスをモニタ９のステータスとして説明しているが、プロセッサ６のステータスに割り当てるようにしても良い。
制御回路９ｅは、モニタ９における構造強調スイッチ９ｂによる構造強調のＯＮ／ＯＦＦ、構造強調がＯＮの場合の構造強調の強度（モード）のステータス、フリップスイッチ９ｃによるフリップのＯＮ／ＯＦＦのステータス、ＰＩＰ／ＰＯＰスイッチ９ｄによるＰＩＰ／ＰＯＰのステータスの情報を画像記録装置１０に送信する。

また、図２では示していないが、手術を行う場合、図３に示すように超音波切開（凝固）装置を用いる場合もある。超音波切開装置は、電気メス装置７における、高周波発生回路７ａを超音波駆動信号を発生する超音波駆動信号発生回路に置換し、高周波信号を超音波駆動信号に読み替え、電気メス１７を超音波プローブに置換した構成とほぼ同様の機能を有する。
この場合には超音波切開装置の制御回路は、超音波出力のＯＮ／ＯＦＦのステータスと、出力モードのステータスとの情報を画像記録装置１０に送信する。
図２に示すように画像記録装置１０は、プロセッサ６からの画像信号が入力される画像信号入力部（又は画像信号入力回路）３１と、画像信号入力部３１に入力された画像信号における画像の特徴量を抽出するための画像解析を行う画像解析部（又は画像解析回路）３２と、画像解析部３２を通った画像信号から記録するための記録データを生成する記録データ生成部（又は記録データ生成回路）３３とを有する。

また、画像記録装置１０は、記録データ生成部３３により生成された記録データを記録するハードディスク３４と、ハードディスク３４に記録された記録データを読み出し、画像記録装置１０から画像信号として出力する画像信号出力部（又は画像信号出力回路）３５とを有する。画像信号出力部３５は、記録データから生成した画像信号を、外部のモニタ９に出力する他に、画像信号入力部３１に入力された画像信号を、モニタ９に出力することもできる。
また、画像記録装置１０は、前記画像解析部３２に入力される画像信号の画像に対して、予め手術の進行状況に応じた画像種別毎に、各画像種別の特徴量としての判別用特徴量と関連付けた（又は紐付けした）複数の画像種別のデータベースを蓄積する画像種別データベース部（又は画像種別データベース装置）３６と、画像解析部３２により抽出された特徴量の画像に対して、画像種別データベース部３６に蓄積された複数の画像種別における該当する画像種別を判別する画像判別部（又は画像判別回路）３７とを有する。

この画像判別部３７は、前の時間において判別した画像種別が、その後の時間において変化した場合（タイミング）に、記録データ生成部３３に通知し、記録データ生成部３３は、画像種別が変化したことを表す編集用（又は抽出用）ポイントとなる編集ポイント（又は抽出ポイント）の情報と、編集ポイントのタイミングにおける少なくとも画像種別に関連する情報としてのメタ情報（より具体的には第１のメタ情報）とを画像（信号）の記録データに付加する。
つまり、画像判別部３７により判別される画像種別が時間的に変化した場合、記録データ生成部３３は、画像の記録データに、編集ポイント及び（第１の）メタ情報とを付加した記録データ（統合記録データとも言う）を生成する。なお、編集ポイント及び（第１の）メタ情報とが付加された記録データ（統合記録データ）は、画像の記録データと一体化されたファイルでも良いし、画像のファイル（一般的には動画ファイル）に関連付け（又は付随）した別体のファイルとから構成されるものでも良い。
図４は、画像種別データベース部３６内に予め蓄積されている画像種別の情報を示す。画像種別の大まかな分類となるカテゴリ（又は大分類）と、カテゴリの分類におけるより詳細な分類となるサブカテゴリ（又は中分類）により画像種別を分類するようにしている。

カテゴリは、体腔内（画像）、体腔外（画像）、その他（画像）に分類する。また、体腔内（画像）、体腔外（画像）、その他（画像）には、それぞれの画像種別に対応する判別用特徴量が紐付け（関連付け）してある。つまり、画像種別データベース部３６は、体腔内（画像）、体腔外（画像）、その他（画像）を判別（特定）するための判別用特徴量（又は特定用特徴量）を、体腔内（画像）、体腔外（画像）、その他（画像）にそれぞれ関連付けて（紐付け）して格納している。
なお、以下の複数のサブカテゴリの画像に関しても同様に、各サブカテゴリの画像に対応する判別用特徴量が関連付け（紐付け）してある。そして、画像種別データベース部３６は、各サブカテゴリの画像に対応する判別用特徴量が関連付け（紐付け）して格納している。このため、画像種別データベース部３６は、カテゴリ及びサブカテゴリの画像に関連付け（紐付け）た判別用特徴量（の情報）を予め格納する判別用特徴量格納部３６ａを有する。そして、画像記録装置１０に入力される画像信号の画像の特徴量を抽出して、抽出した特徴量を判別用特徴量と比較することにより、抽出された画像がいずれのカテゴリ、サブカテゴリの画像種別の画像であるかを判別することができるようにしている。

また、カテゴリが体腔内（画像）の場合には、２Ｄ（画像）の場合における処置（画像）、合成（画像）、吻合（画像）、その他（画像）のサブカテゴリと、３Ｄ（画像）の場合における処置（画像）、合成（画像）、吻合（画像）、その他（画像）のサブカテゴリと、に分類している。なお、吻合（画像）は、吻合糸（画像）とも言う。
処置（画像）は、処置具、プローブを用いた画像であり、合成（画像）はＰＩＰ／ＰＯＰ画像であり、吻合（画像）は、吻合を行っている吻合糸の画像であり、その他（画像）は上記のサブカテゴリに該当しない画像である。
一方、カテゴリが体腔内（画像）の場合には、黒画、カラーバー、その他のサブカテゴリに分類している。黒画は、無信号時の画像であり、カラーバーは術前のテスト画像であり、その他（画像）は、上記のサブカテゴリに該当しない画像である。なお、上述した分類と異なる分類を採用しても良い。また、合成（画像）のサブカテゴリを、合成（画像）を用いないで、ＰＩＰ（画像）又はＰＯＰ（画像）のサブカテゴリを用いるようにしても良い。
上記画像解析部３２は、入力される画像信号（の画像）におけるＲ，Ｇ，Ｂ色成分画像（単にＲ，Ｇ，Ｂと略記）の画素ヒストグラム（単にヒストグラムと略記）を解析（算出）することにより画像の特徴量を抽出するヒストグラム解析回路３２ａと、画像のエッジを抽出することにより画像の特徴量を抽出するエッジ抽出回路３２ｂとを有する。なお、画像解析部３２は、例えば吻合（画像）を判別する場合、ヒストグラム解析回路３２ａとエッジ抽出回路３２ｂとの２つの回路の他に、後述するように、複数のフレームの画像におけるエッジ部分や、処置具の先端部分を抽出した画像部分が、予め登録された画像の特徴的な動きパターンに該当するか否かにより（吻合（画像）であるか否かを）判別するようにしても良い。

ヒストグラム解析回路３２ａにより解析したＲ，Ｇ，Ｂのヒストグラムの解析結果と、エッジ抽出回路３２ｂにより抽出されたエッジの抽出結果を、画像判別部３７に送る。
画像判別部３７は、画像解析部３２の解析により抽出された特徴量を、画像種別データベース部３６に蓄積された判別用特徴量と比較する等して、画像種別の判別対象となる特徴量の画像が複数の画像種別におけるいずれの画像種別に該当するか、又はいずれの画像種別に属するかを判別する。
画像判別部３７による画像判別の処理の詳細は図８を参照して後述するが、図５を参照して画像判別の概略を説明する。図５は体腔内と体腔外における代表的な画像例を示すと共に、１フレームの画像におけるＲ，Ｇ，Ｂの平均値も示す。図５（Ａ）と図５（Ｂ）は、体腔内における互いに異なる画像例を示し、それぞれの画像におけるＲ，Ｇ，Ｂの平均値に関して、Ｇ，Ｂ平均値に対して、Ｒ平均値はかなり大きくなるように、Ｒ，Ｇ，Ｂの平均値間のずれ量が大きい特徴を有する。

一方、図５（Ｃ）、図５（Ｄ）及び図５（Ｅ）は体腔外における代表的な画像例を示し、それぞれの画像におけるＲ，Ｇ，Ｂの平均値に関して、Ｒ，Ｇ，Ｂ平均値間のずれ量は小さい特徴を有する。このため、画像種別データベース部３６は、体腔内と体腔外とを判別する判別用特徴量として、Ｒ，Ｇ，Ｂの平均値間のずれ量が例えば閾値としての２０を格納し、画像判別部３７は閾値以上となる画像を体腔内の画像と判別し、閾値未満となる画像を体腔外の画像と判別する。なお、Ｇ，Ｂの平均値に対して、Ｒの平均値が閾値以上であるか否かを体腔内と体腔外とを判別する判別用特徴量とするようにしても良い。
図５（Ｅ）は、（体腔外における）カラーバーの画像を示し、所定のパターンでＲＧＢ以外の色成分も表示し、この場合には通常の体腔外の画像の場合に比較して、Ｒ，Ｇ，Ｂの平均値間のずれ量が例えば第２の閾値としての５以下で、異なるフレームにおいてＲ，Ｇ，Ｂの平均値が変動しないこと等を判別用特徴量とする。画像判別部３７は、抽出された特徴量がこのような判別用特徴量に該当するか否かを判別することにより、カラーバーの画像であるか否かを判別することができる。なお、図５において説明した内容の他に、図８において説明するような判別を行うようにしても良い。

また、本実施形態においては、画像判別部３７は、後述するステータス判別部３８ａによる複数の周辺機器のステータスの情報が画像判別する場合の付随的な情報として入力される。画像判別部３７は、特徴量を用いた画像種別の判別の精度が低くなるような場合には、更に複数の周辺機器のステータスの情報を参照することにより、特徴量のみを用いた画像種別の判別の精度を向上する（ことができる）。
本実施形態においては、判別された画像種別が時間的に変化した場合には、記録データ生成部３３は、画像の記録データに編集ポイントと、少なくとも画像種別の情報を含む第１のメタ情報を付加した（統合）記録データを生成し、ハードディスク３４は、画像の記録データに編集ポイントと少なくとも画像種別の情報を含む第１のメタ情報を付加した（統合）記録データを記録する記録部３４ａの機能を有する。なお、記録データ生成部３３は、判別された画像種別が時間的に変化していない場合には、所定のフォーマットで画像と各種のメタ情報（各種のメタ情報は、第１のメタ情報を含んでも、含まなくても良い）を付加して記録データを生成し、ハードディスク３４は、当該記録データを記録部３４ａに記録する。

なお、画像の記録を開始する場合には、画像種別又は後述するステータスが変化しない状態においても、記録データ生成部３３は、最初の編集ポイントＰ１と、画像種別及びステータスに関連するメタ情報（第１のメタ情報及び第２のメタ情報）を付加した（統合）記録データを生成し、ハードディスク３４は、（統合）記録データを記録する（後述する図７Ａ参照）。なお、最初の編集ポイントＰ１は、省略し、メタ情報のみを付加するようにしても良い。
また、画像記録装置１０は、複数の周辺機器と通信を行う通信部（又は通信回路）３８を有する。この通信部３８は、通信により複数の周辺機器における各周辺機器のステータス（動作状態）の情報を取得してステータスを判別するステータス判別部（ステータス判別回路）３８ａを有する。なお、図２においては、通信部３８の内部にステータス判別部３８ａを設けた場合の構成例を示しているが、通信部３８の外部にステータス判別部３８ａを設ける構成にしても良い。
また、画像記録装置１０は、画像記録装置１０の制御を行うと共に、通信部３８を介して複数の周辺機器の制御と、複数の周辺機器からの情報の取得等を行う制御部（又は制御回路）３９と、画像記録装置１０に対する操作を行うタッチ操作で行うタッチパネル４０と、ハードディスク３４に記録される記録データを外部に保存する場合における保存先の切替を行う保存先切替部（又は保存先切替回路）４１とを有する。

なお、タッチパネル４０は、タッチ操作による操作と表示する表示部との操作／表示部４０ａの機能を持つ。また、タッチパネル４０は、記録部３４ａを有するハードディスク３４に対して、所望とするシーンの画像部分を抽出又は検索するために、画像種別の指定と、複数の周辺機器における任意のステータスの指定とを行う指定部（指定入力装置）４０ｂの機能を有する。
また、制御部３９は、記録部３４ａに記録された記録データから指定部４０ｂにより指定された画像種別と指定された動作状態とに合致する条件のメタ情報を検索（又は抽出）するメタ情報検索部（又はメタ情報検索装置）３９ａを有する。メタ情報検索部３９ａは、検索したメタ情報、又は該メタ情報に該当する画像部分の情報を、例えばタッチパネル４０に送り、タッチパネル４０の例えば操作／表示部４０ａは上記メタ情報又は該メタ情報に該当する画像部分の情報を表示する。このため、操作／表示部４０ａは 検索されたメタ情報に該当する画像部分の情報を表示する表示部を形成する。
画像記録装置１０の外部の記録装置として、ＵＳＢメモリ４２ａ、光学メディア４２ｂ、ＰＣ／サーバ４２ｃ等を用いることができる。

上記制御部３９は、ステータス判別部３８ａにより判別された複数の周辺機器における各周辺機器のステータスの状態を監視し、そのステータスが変化したタイミングにおいて、変化したステータスを記録データ生成部３３に送信し、記録データ生成部３３がステータスの変化のタイミングにおける編集ポイントとメタ情報（第２のメタ情報）を付加した（統合）記録データを生成するように制御する。また、ハードディスク３４は、記録データ生成部３３により生成された（統合）記録データを記録する記録部３４ａの機能を有する。
記録データ生成部３３は、画像信号入力部３１から（画像解析部３２を通って）入力された画像信号から当該画像信号の画像を記録するための記録データを生成し、この記録データには画像判別部３７により判別された画像種別を含むメタ情報（第１のメタ情報）を付加し、画像種別が変化したタイミングで編集ポイントも付加する。更に、この記録データ生成部３３は、制御部３９から送信（入力）される複数の周辺機器におけるステータスの情報を含むメタ情報（第２のメタ情報）を、記録データに付加し、ステータスが変化したタイミングで編集ポイントも付加する。

本実施形態における画像記録装置１０は、画像信号が入力される画像信号入力部３１と、前記画像信号入力部３１に入力された前記画像信号における画像の特徴量を抽出する画像解析部３２と、入力される前記画像信号の前記画像に対して予め手術の進行状況に応じた画像種別毎に判別用特徴量と関連付けた複数の画像種別のデータベースを蓄積する画像種別データベース部と３６と、前記画像解析部３２により抽出された前記特徴量の画像に対して前記画像種別データベース部３６における該当する画像種別を判別する画像判別部３７と、前記画像判別部３７の判別結果により判別された前記画像種別の変化に対応して、変化したタイミングの前記画像信号を特定するための編集ポイント及び前記画像信号に関連する第１のメタ情報を、前記画像信号に付加して記録するための記録データを生成する記録データ生成部３３と、前記記録データ生成部３３により生成された前記画像信号、前記編集ポイント及び前記第１のメタ情報を含む前記記録データを記録する記録部を備えるハードディスク３４と、前記手術の際に利用される内視鏡の周辺装置としての複数の周辺機器の動作状態の情報が入力される情報入力部を構成する通信部３８と、前記情報入力部に入力された情報から、該情報に該当する前記複数の周辺機器の各動作状態を判別する状態判別部を形成するステータス判別部３８ａと、前記状態判別部の判別結果の変化に対応した前記編集ポイント及び前記状態判別部の判別結果が変化したタイミングの前記複数の周辺機器に関連する第２のメタ情報を前記画像信号に付加して、前記記録部に記録するように制御する制御部３９と、を備えることを特徴とする。

次に本実施形態の動作を説明する。図６は手術を行う場合における本実施形態の画像記録装置１０における代表的な動作に沿った処理を示す。
例えば図２に示すように内視鏡４と複数の周辺機器を設定した後、画像記録装置１０の電源スイッチをＯＮすることにより、画像記録装置１０は動作状態になる。
図６におけるステップＳ１に示すように画像記録装置１０の画像信号入力部３１には、プロセッサ６からの画像信号が入力され、また、ステップＳ２に示すように画像記録装置１０の通信部３８には、複数の周辺機器のステータスの情報が入力される。
図７Ａは手術を開始した後における手術の進行状況に応じて、画像種別が変化する例と、複数の周辺機器のステータスが変化する例と、編集ポイントが生成される様子を示す。また、図７Ｂは、図７Ａの場合における複数の周辺機器のステータスの詳細を表形式で示す。なお、図７Ａ等の具体例において示すように、画像種別及びステータスにおける一方のみが変化した場合においても第１のメタ情報と第２のメタ情報と付加して記録するようにしても良い。本実施形態においては、画像種別が変化した場合、又は複数の周辺機器におけるいずれかのステータスが変化した場合、共に画像種別に関する情報と複数の周辺機器の各ステータスの情報とを含むメタ情報を記録するようにしている（図７Ｄ参照）。

図７Ａに示すように手術開始の時間ｔ０においては、複数の周辺機器のステータスとして、気腹装置８は送気ＯＦＦ，電気メス装置７は、出力ＯＦＦ、出力モードは切開モード（図７Ａでは切開）、プロセッサ６は特殊光観察ＯＦＦ（図７Ａでは特殊光ＯＦＦ）、モニタ９は構造強調ＯＦＦに設定されている。
手術を開始した状態においては、内視鏡４は、患者３の腹部内に、まだ挿入されない状態であり、画像記録装置１０に入力される画像信号は、体腔外の画像信号となる。
この場合、画像記録装置１０内の画像判別部３７は、画像解析部３２により抽出された特徴量が、画像種別データベース部３６における判別用特徴量と比較して、体腔外のカテゴリに該当し、さらに黒画でもなく、カラーバーでもない、その他のサブカテゴリの画像であると判別する。画像判別部３７による画像判別の詳細は図８において説明する。
術者等のスタッフは、タッチパネル４０等から画像記録装置１０（のハードディスク３４等）に対して録画開始（記録開始）の指示操作を行う。

録画開始の指示操作を受けて、制御部３９は、画像信号入力部３１から入力される画像信号の画像を記録データ生成部３３等を経てハードディスク３４に記録（録画）するように制御する。ステップＳ３に示すように画像記録装置１０は、録画を開始する。
本実施形態においては、ステップＳ４に示すように録画が開始した時間を最初の編集ポイントＰ１に設定して、制御部３９は、画像の記録データにメタ情報（Ｐ１）を関連付けてハードディスク３４に記録するように制御する。なお、最初の編集ポイントＰ１の場合を含むｉ番目のメタ情報（Ｐｉ）は、編集ポイントＰｉの時点におけるメタ情報を表す。編集ポイントＰｉ及びメタ情報（Ｐｉ）は、例えば図７Ｃに示す例では、（Ｂ３で示す）ｍｄａｔに、画像の記録データにおける例えば録画開始からの時間情報に関連付けて記録される。
図７Ａに示すように録画開始の時間ｔ１においてプロセッサ６から画像記録装置１０内に入力される画像信号の画像は、記録データ生成部３３において（圧縮等されて）記録データに変換され、該記録データには録画開始の編集ポイントＰ１と、この編集ポイントＰ１におけるメタ情報（Ｐ１）としての画像種別の情報と、複数の周辺機器のステータスの情報と、本手術の患者情報とが付加（又は関連付け）されて記録される。

本実施形態においては、少なくとも画像種別の情報を含むメタ情報を第１のメタ情報と言い、また少なくとも複数の周辺機器のステータスの情報を含むメタ情報を第２のメタ情報と言う。
図７Ａに示す例では、記録データ（録画ファイル）には、編集ポイントＰ１において画像種別の情報として体腔外のカテゴリと、その他のサブカテゴリの情報が付加又は関連付けられ、更に複数の周辺機器のステータスの情報として、気腹装置８は送気ＯＦＦ，電気メス装置７は、出力ＯＦＦ、出力モードは切開モード、プロセッサ６は特殊光観察ＯＦＦ、モニタ９は構造強調ＯＦＦの情報が、メタ情報（Ｐ１）として付加又は関連付けて、ハードディスク３４に記録される。このメタ情報（Ｐ１）を図７Ａではメタ（Ｐ１）と略記する。
図６のステップＳ５に示すように画像記録装置１０の画像解析部３２は、画像記録装置１０に入力される画像信号の画像の特徴量を抽出し、ステップＳ６に示すように画像判別部３７は抽出された画像の特徴量を画像種別データベース部３６の判別用特徴量と比較する。比較結果により、ステップＳ７に示すように画像判別部３７は抽出された画像の画像種別を判別する。

次のステップＳ８において画像判別部３７は、画像判別部３７により判別した画像種別が変化したか否かを監視する。画像種別が変化した場合には、ステップＳ９に示すように画像種別が変化した時間において記録データに編集ポイントを付加し、第１のメタ情報を関連付ける。勿論、第１のメタ情報にステータスの情報を含めるようにしても良い。ハードディスク３４は、記録データに編集ポイントと第１のメタ情報が付加された（統合）記録データを記録する。そして、次のステップＳ１０の処理に移る。
一方、ステップＳ８において、画像種別が変化していない場合には、ステップＳ９の処理を行うことなく、ステップＳ１０の処理に移る。
ステップＳ１０において制御部３９は、ステータス判別部３８ａにより判別された複数の周辺機器のステータスの情報を取得し、判別されたステータスが変化したか否かを判別する。ステータスが変化した場合には、次のステップＳ１１において、記録データに編集ポイントを付加し、第２のメタ情報を関連付ける。勿論、第２のメタ情報に画像種別の情報を含めるようにしても良い。ハードディスク３４は、記録データに編集ポイントと第２のメタ情報が付加された記録データを記録する。そして、次のステップＳ１２の処理に移る。

図７Ａに示す例では、録画開始後において、例えば時間ｔ２において気腹装置８は、送気ＯＦＦの状態からＯＮの状態に変化する。そして、腹腔内が炭酸ガスの気体で気腹される。この時間ｔ２において編集ポイントＰ２が生成され、この編集ポイントＰ２において第２のメタ情報（Ｐ２）が生成される。第２のメタ情報（Ｐ２）は、少なくとも複数の周辺機器のステータスの情報を含む。
ステップＳ１１の処理の後、又はステップＳ１０においてステータスが変化しない判定結果の場合にはステップＳ１２において制御部３９は、一定時間（例えば数秒）経過待ちの処理を行った後、次のステップＳ１３において制御部３９は、録画停止の操作が行われたか否かを判定する。録画停止の操作が行われていない場合には、ステップＳ５の処理に戻る。そして、ステップＳ８において画像種別の変化を判定し、ステップＳ１０においてステータスの変化を判定し、変化した場合には編集ポイントとメタ情報を付加する処理を繰り返し行う。以下、図７Ａを参照して、ステップＳ８，Ｓ１０による処理の例を説明する。

一方、録画停止の操作が行われると、ステップＳ１４において、制御部３９は記録データ生成部３３により生成された記録データをハードディスク３４に記録する動作を停止させ、図６の処理を終了する。
図７Ａに示す例では、時間ｔ２において送気して、腹腔内を気腹した後の例えば時間ｔ３において、内視鏡４が体腔外から気腹された体腔（腹腔）内に挿入される。
すると、ステップＳ８において画像判別部３７は、画像解析部３２により抽出された特徴量から、抽出された特徴量の画像種別が体腔外から体腔内のカテゴリに変化したことを判別する。また、画像判別部３７は、抽出された特徴量から体腔内のカテゴリにおけるいずれのサブカテゴリに属するかの判別も行う。内視鏡４を挿入した状態において、内視鏡４の視野内に処置具が入っていないと、画像判別部３７は、抽出された特徴量の画像が図４におけるその他のサブカテゴリに属すると判別する。
この場合には、図７Ａに示すように時間ｔ３において、編集ポイントＰ３が生成され、この編集ポイントＰ３に画像種別の情報（体腔内のカテゴリ、その他のサブカテゴリ）を含む第１のメタ情報（Ｐ３）が生成される。ハードディスク３４は、記録データに編集ポイントＰ３と第１のメタ情報（Ｐ３）が付加された（統合）記録データを記録する。

また、図７Ａにおいては、術者は時間ｔ４において、モニタ９に対してモードＭ１の強度で構造強調を行う表示の操作を行っている。すると、図６におけるステップＳ１０の処理を行う際に、ステータス判別部３８ａは、このステータスの変化を判別し、判別したステータスの情報を制御部３９に送り、制御部３９は、時間ｔ４においてステータスが変化した判定に基づいて編集ポイントＰ４を生成し、また第２のメタ情報（Ｐ４）を付加するように制御する。
また、図７Ａにおいて術者が電気メス１７により、例えば病変部を切開する処置を行うために電気メス１７を内視鏡４の視野内に入れると、例えば時間ｔ５において画像判別部３７は電気メス１７を処置具として含む画像の特徴量が、その他のサブカテゴリから処置（画像）のサブカテゴリに変化したことを判別する。そして、画像判別部３７は時間ｔ５において編集ポイントＰ５を生成し、また第１のメタ情報（Ｐ５）を付加するように制御する。
また、術者が電気メス１７により病変部を切開するために時間ｔ６において出力ＯＮの操作を行うと、ステータス判別部３８ａは、電気メス装置７から電気メス１７への出力ＯＮのステータスを判別して、制御部３９に送り、制御部３９は電気メス装置７の出力ＯＦＦからＯＮへのステータス変化を判定し、編集ポイントＰ６と、第２のメタ情報（Ｐ６）を付加するように制御する。術者は、病変部を切開する処置を行った後、例えば時間ｔ７において電気メス装置７から電気メス１７への出力ＯＮを出力ＯＦＦにする操作を行う。

すると、制御部３９は、ステータス判別部３８ａによる判別結果から電気メス装置７の出力ＯＦＦへのステータスが変化したと判定をし、時間ｔ７において編集ポイントＰ７を生成し、第２のメタ情報（Ｐ７）を付加するように制御する。
また、術者は、凝固が必要か否かを判断する。凝固の処置が必要と判断した場合には、例えば時間ｔ８において電気メス装置７の出力モードを凝固モードに切り替える。
すると、制御部３９は、ステータス判別部３８ａによる判別結果から電気メス装置７の出力モードが凝固モードのステータスに変化したと判定をし、時間ｔ８において編集ポイントＰ８を生成し、第２のメタ情報（Ｐ８）を付加するように制御する。
また、術者は、粘膜の表層付近の血管の走行状態をより視認し易く、凝固の状態も確認し易い特殊光モードに切り替える操作を、例えば時間ｔ９に行う。
すると、制御部３９は、制御部３９は、ステータス判別部３８ａによる判別結果からプロセッサ６の画像処理モードが特殊光観察モードのステータスに変化したと判定し、時間ｔ９において編集ポイントＰ９を生成し、第２のメタ情報（Ｐ９）を付加するように制御する。
術者は、特殊光観察モードの状態で電気メス装置７から電気メス１７への出力ＯＮの操作を例えば時間ｔ１０において行うと、制御部３９は、ステータス判別部３８ａによる判別結果から電気メス装置７の出力ＯＮのステータスが変化したと判定し、時間ｔ１０において編集ポイントＰ１０を生成し、第２のメタ情報（Ｐ１０）を付加するように制御する。術者は、出血した部位を凝固する処置を行った後、例えば時間ｔ１１において電気メス装置７から電気メス１７への出力ＯＮを出力ＯＦＦにする操作を行う。

すると、制御部３９は、ステータス判別部３８ａによる判別結果から電気メス装置７の出力ＯＦＦへのステータスが変化したと判定し、時間ｔ１１において編集ポイントＰ１１を生成し、第２のメタ情報（Ｐ１１）を付加するように制御する。
また、術者は凝固の処置を行った部位を特殊光観察モードで確認した後は、特殊光観察モードをＯＦＦ、つまり通常光観察モードの状態に切り替える操作を、例えば時間ｔ１２に行う。また、図７Ａにおいては、構造強調もＯＦＦにしている。
すると、制御部３９は、ステータス判別部３８ａによる判別結果から特殊光観察モードがＯＦＦと、構造強調がＯＦＦとのステータスが変化したと判定し、時間ｔ１２において編集ポイントＰ１２を生成し、また第２のメタ情報（Ｐ１２）を付加するように制御する。
また、術者は、気腹装置８による送気をＯＦＦにする操作を例えば時間ｔ１３に行う。すると、制御部３９は、ステータス判別部３８ａによる判別結果から送気ＯＦＦのステータスが変化したことと判定し、時間ｔ１３において編集ポイントＰ１３を生成し、第２のメタ情報（Ｐ１３）を付加するように制御する。

術者は、その後、内視鏡４を体腔内から体腔外に引き抜く操作を例えば時間ｔ１４に行う。すると、画像判別部３７は、抽出された特徴量から体腔外のカテゴリであり、体腔外におけるその他のサブカテゴリに該当すると判別する。
この場合には、時間ｔ１４において、編集ポイントＰ１４が生成され、この編集ポイントＰ１４に画像種別の情報（体腔内のカテゴリ、その他のカテゴリ）を含む第１のメタ情報（Ｐ１４）が生成される。その後、例えば時間ｔ１５において録画停止の操作が行われると、録画が停止する。なお、録画停止の時間ｔ１５においても編集ポイントＰ１５とメタ情報（Ｐ１５）（第１のメタ情報及び第２のメタ情報）（Ｐ１５）を付加して記録するようにしても良いし、付加しないようにしても良い。図７Ａでは編集ポイントＰ１５とメタ情報（Ｐ１５）を付加しない例で示している。録画停止の時間ｔ１５の後の例えば時間ｔ１６において手術が終了する。
図７Ｂは、図７Ａにおけるステータス変化の詳細を表形式で示す。図７Ｂは、複数の周辺機器においてステータスが変化したステータスを斜線で示している。

また、図７Ｃは、ハードディスク３４に記録される（統合）記録データのフォーマット例を示す。
図７Ｃに示す例では、（統合）記録データは、動画、音声データ等を扱うのに適した、例えばＭＰ４ファイルフォーマットを採用し、このＭＰ４ファイルフォーマットは、図示のように３つのボックスと呼ばれるデータブロックで構成される。Ｂ１で示すｆｔｙｐは先頭に配置され、ファイルの種別を示すボックス、Ｂ２で示すｍｏｏｖは、各種のメタデータを格納するボックス、Ｂ３で示すｍｄａｔは動画や音声のデータを格納したボックスである。本実施形態においては、Ｂ３で示すｍｄａｔに画像の記録データを格納し、Ｂ２で示すｍｏｏｖに、編集ポイントＰ１，Ｐ２，…と、メタ情報（Ｐ１），メタ情報（Ｐ２），…を含むテキストファイルを格納している。
図７Ｄは、メタ情報（Ｐ１），メタ情報（Ｐ２），メタ情報（Ｐ３）の具体例を示す。メタ情報（Ｐ１）は、編集ポイントＰ１を示す記号又はデータＰ１（簡略化して編集ポイントＰ１と同じ符号で示すが異なる符号でも良い）と、このＭＰ４ファイルとして記録される手術の患者情報のデータとしてDate、Patient ID,Patient name,BOD,Age,Sexを含み、また１つ目の手術のタイトル１の項目と、最初の編集ポイントＰ１の録画開始時間00:00:00のデータを含み、更に画像種別のカテゴリ、カテゴリ、複数の周辺機器のステータス情報を含む。

メタ情報（Ｐ２）は、気腹装置８のステータスが変化した場合に該当するもので、編集ポイントＰ２を示す記号又はデータＰ２と、編集ポイントＰ２に対応する動画の記録時間と、編集ポイントＰ２における画像種別のカテゴリ、カテゴリ、複数の周辺機器のステータス情報を含む。
メタ情報（Ｐ３）は、カテゴリが変化した場合に該当するもので、メタ情報（Ｐ３）における編集ポイントＰ３示す記号又はデータＰ３と、編集ポイントＰ３に対応した動画の記録時間と、編集ポイントＰ３における画像種別のカテゴリ、カテゴリ、複数の周辺機器のステータス情報を含む。
メタ情報（Ｐ４）等も同様のフォーマットのデータとなる。図７Ｄに示す例では、複数の周辺機器におけるステータスが変化した場合においても、画像種別が変化した場合においても、編集ポイントと共に、複数の周辺機器におけるステータス（動作状態）と、画像種別に関するメタ情報を生成している。

このようにして、ハードディスク３４には、記録データを構成する動画ファイルを含むＭＰ４等のファイルが記録されると共に、当該ファイルは画像の特徴量により分類された画像種別の情報と、手術の進行状況に応じて変化する複数の周辺機器のステータスの情報とを、少なくとも画像種別が変化する時間の編集ポイントと、ステータスが変化する時間の編集ポイントとに対応付けて記録している。実際には、ハードディスク３４には、各編集ポイントに、画像の特徴量により分類された画像種別の情報と、複数の周辺機器のステータスの情報とを付加して記録するようにしている。
従って、ハードディスク３４に記録された記録データに対して、抽出又は編集したいシーンの情報を例えばパッチパネル４０から入力することにより、抽出又は編集したいシーンに該当する動画部分を簡単かつ短時間に抽出することができる。
抽出又は編集したいシーンを簡単に抽出する場合の動作に関しては、図１２Ａ〜図１２Ｄを用いて後述する。
なお、図６に示す処理においては、処理手順としてステップＳ８において画像種別が変化したか否かの判定を行い、その後におけるステップＳ１０においてステータスが変化したか否かの判定を行うようにしているが、ステータスが変化したか否かの判定を行った後に、画像種別が変化したか否かの判定を行うようにしても良い。

また、図８は図６におけるステップＳ７の処理の詳細を示す。
図８に示すように画像種別の判別処理が開始すると、最初のステップＳ２１において画像判別部３７は、画像解析部３２により抽出された特徴量を、体腔内と体腔外とを判別する判別用特徴量と比較する。具体的には、図５において説明したように画像判別部３７は、画像解析部３２のヒストグラム解析回路３２ａにより抽出されたＲ，Ｇ，Ｂの画像の平均値間のずれ量が閾値（２０）以上であるか否かの判定を行う。又は、画像判別部３７は、Ｒ，Ｇ，Ｂの画像の平均値間のずれ量が、Ｒの平均値の１／１０の値を閾値とした値以上であるか否かの判定を行う。又は、画像判別部３７は、Ｒの画像の平均値がＧ，Ｂの画像の平均値と比較して、Ｒの平均値の１／１０の値の閾値以上大きいか否かを判定する。
この判定結果に該当する場合には、ステップＳ２２に示すように画像判別部３７は、画像解析部３２により抽出された特徴量の画像が体腔内のカテゴリの画像であると判別する。

一方、上記判定結果が、閾値以上でなく、閾値未満となる場合には、ステップＳ２３に示すように画像判別部３７は、画像解析部３２により抽出された特徴量の画像が体腔外のカテゴリの画像であると判別する。
体腔外のカテゴリの画像であると判別された場合には、次のステップＳ２４において画像判別部３７は、画像解析部３２により抽出された特徴量の画像の画像信号が無信号レベルであるか否かを判定する。画像判別部３７は、当該画像信号が無信号レベルを判別するための０レベルより僅かに大きい閾値レベル以下か否かを判定する。そして、当該画像信号が閾値レベル以下の場合にはステップＳ２５において画像判別部３７は当該画像を黒画（像）のサブカテゴリであると判定し、図８の処理を終了する。
閾値レベル以下でない判定結果の場合には、ステップＳ２６において画像判別部３７は、当該画像の色分布の値が少なくとも数フレーム以上の期間において一定で変化しないか否か、又はＲ，Ｇ，Ｇ平均値のずれ量が３／１００以下で、少なくとも数フレーム以上の期間において一定で変化しないか否かを判定する。

この判定結果に該当する場合にはステップＳ２７において画像判別部３７は、当該画像がカラーバーのサブカテゴリであると判定し、図８の処理を終了する。また、この判定結果に該当しない場合にはステップＳ２８において画像判別部３７は、当該画像がその他のサブカテゴリであると判定し、図８の処理を終了する。
上記ステップＳ２２において体腔内のカテゴリと判別された場合には、ステップＳ２９において画像判別部３７は、画像解析部３２のエッジ抽出回路３２ｂにより抽出されたエッジが当該画像（当該画像全体）を左右又は上下に等分割するエッジ部分を含むか否かを判定する。
図９の（Ａ）と（Ｂ）は、３Ｄ画像の場合のパターンを示し、３Ｄ画像は、左目画像となる第１の画像Ｉ１と右目画像となる第２の画像Ｉ２とは（Ａ）のように左右、又は上下に隣接して画面（画像）全体を２等分するように同じサイズで表示される。

そのために図９の画像においてエッジを抽出した場合、左右方向又は上下方向に等分割する第１の画像Ｉ１と第２の画像Ｉ２の境界線部分がエッジとして抽出される規則邸なパターンとなる。
従って、ステップＳ２９において抽出されたエッジが当該画像全体を左右又は上下に等分割するエッジを含む規則的なパターンを含む判定結果の場合には、次のステップＳ３０において画像判別部３７は、当該画像が３Ｄ（画像）のサブカテゴリに該当すると判定する。一方、等分割するエッジを含まない判定結果の場合には、ステップＳ３１において画像判別部３７は、当該画像が２Ｄ（画像）のサブカテゴリに該当すると判定する。
ステップＳ３０又はＳ３１の処理後のステップＳ３２において画像判別部３７は、当該画像が直線的なエッジを含むか否かを判定する。直線的なエッジを含む片低結果の場合には、更に次のステップＳ３３において画像判別部３７は、規則的な一定パターンのエッジを含むか否かを判定する。この場合の規則的な一定パターンは、図１０又は図１１に示すように水平方向及び／又は垂直方向に延びる枠状のパターンを有するエッジ含むか否かを判定する。

図１０の（Ａ）〜（Ｄ）は、合成画像を構成するＰＩＰの場合の画像を示し、親画面となる第１の画像Ｉ１と第１の画像Ｉ１より小さい子画面となる第２の画像Ｉ２とからなり、第２の画像Ｉ２は、右下、右上、左上、左下の各隅において、例えば第１の画像Ｉ１における水平方向及び垂直方向の長さの１／２程度（１／２の値に限定されるものでない）に設定される。
図１０の画像においてエッジを抽出した場合、画像における４隅のうちの１つの隅において第２の画像Ｉ２の水平方向及び垂直方向に延びる境界線部分がエッジとして抽出される。
また、図１１の（Ａ）〜（Ｃ）は、合成画像を構成するＰＯＰの場合の画像を示し、１画面分の画像Ｉ（斜線で示す）は、第１の画像Ｉ１と第２の画像Ｉ２を内部に含み、第１の画像Ｉ１と第２の画像Ｉ２とは、水平方向（左右方向）に隣接して同じサイズ（Ａ）、又は異なるサイズ（Ｂ）又は（Ｃ）で表示される。

図１１の画像においてエッジを抽出した場合、左右方向に隣接する第１の画像Ｉ１と第２の画像Ｉ２の境界線部分がエッジとして抽出される。
図１０と図１１とは明らかに境界部分のパターンが異なる。図１０及び図１１の境界部分のパターンの情報は、判別用特徴量（のエッジパターン）として判別用特徴量格納部３６ａに格納されており、画像判別部３７は、抽出されたエッジを判別用特徴量格納部３６ａに格納された判別用特徴量（のエッジパターン）と比較してＰＩＰ又はＰＯＰ等の判別を行う。
ステップＳ３３において規則的なパターンを有する判定結果の場合には、次のステップＳ３４において画像判別部３７は、規則的なパターンが４隅の１つを形成するものであるか否かを判定する。規則的なパターンが４隅の１つを形成する判定結果の場合には、ステップＳ３５において画像判別部３７は、規則的なパターンを有する当該画像がＰＩＰのサブカテゴリに該当すると判定する。

一方、規則的なパターンが４隅の１つを形成しない判定結果の場合には、ステップＳ３６において画像判別部３７は、規則的なパターンを有する当該画像がＰＯＰのサブカテゴリに該当すると判定する。
また、ステップＳ３３において規則的なパターンでない判定結果の場合には、ステップＳ３７において画像判別部３７は、直線的なエッジパターンを有する画像が処置具を含む処置画像のサブカテゴリに該当すると判定する。
また、ステップＳ３２において直線的なエッジを有しない判定結果の場合及び有する場合において、ステップＳ３８に示すように画像判別部３７は、当該画像が糸状のエッジを含む画像であるか否かの判定を行う。糸状のエッジを含む画像であると判定した場合には、ステップＳ３９において画像判別部３７は、当該画像が吻合（画像）のサブカテゴリに該当すると判別する。

なお、ステップＳ３８の処理の処理により当該画像が吻合（画像）であるか否かの判別を行う場合、吻合糸の吻合するための動きの特徴的なパターンを予め判別用特徴量として登録しておき、複数のフレームの画像における糸状のエッジが登録された判別用特徴量に該当するか否かにより当該画像が吻合（画像）であるか否かを判別するようにしても良い。また、吻合を行う際の処置具の先端の特徴的なパターンを予め判別用特徴量として登録しておき、複数のフレームの画像における処置具の先端の動きが登録された判別用特徴量に該当するか否かにより当該画像が吻合（画像）であるか否かを判別するようにしても良い。
一方、ステップＳ３８の処理において糸状のエッジを含まない画像の判別結果の場合にはステップＳ４０において画像判別部３７は、当該画像がその他（画像）のサブカテゴリに該当すると判別する。

上述した処置具、吻合糸の判別方法に限らず、例えばSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Feature)といった一般に知られる局所特徴量の抽出・認識技術等を用い、過去の症例画像から（手術用鉗子を含む）処置具、吻合糸等のデバイスがある画像を学習データとして、予め画像種別データベース部３６に判別用データベースを構築しておくようにしても良い。
そして、入力される判別対象となる画像から局所特徴量を抽出し、判別用データベースを用いた学習データとの比較を行うことで、処置具、吻合糸等のデバイスを判別するようにしても良い。また、上述したように判別の精度を向上するために、複数のフレームの画像に対する判別処理を行うようにしても良いし、画像種別を判別する場合に複数の周辺機器のステータスの情報を参照するようにしても良い。
ステップＳ３５，Ｓ３６，Ｓ３７，Ｓ３９、Ｓ４０の処理の後、図８の処理を終了する。

次に術者等のユーザが、ハードディスク３４に記録された記録データから所望とするシーンの画像部分を抽出（又は検索）する場合の動作を図１２Ａ〜図１２Ｄを用いて説明する。抽出する前のメニュー画面を図１２Ａに示す。このメニュー画面は、例えばタッチパネル４０の操作／表示部４０ａに表示される。このメニュー画面においては、抽出前又は抽出後の画像の一覧を表示する画像一覧表示エリアＡ１には、録画を開始した時の画像の例えばサムネイル画像が表示され、その横に配置されたシーン抽出項目指定エリアＡ２にはシーン抽出を行う場合の項目を指定する複数のシーン抽出項目、具体的には画像種別を表すカテゴリ、サブカテゴリの項目と、周辺機器ステータスの項目とが表示される。図１２Ａにおける画像一覧表示エリアＡ１での表示例においては、Ｐ１からＰ１４までの編集ポイントからなる１４個の画像であることを模式的に示す。なお、図１２Ａ〜図１２Ｄでは、編集ポイントＰｉを四角の枠で囲んで、その編集ポイントＰｉの画像であることを模式的に示している。
また、図１２Ａ〜図１２Ｄにおいては、１つの周辺機器ステータスの項目のみを表示しているが、複数の周辺機器ステータスの項目を表示して、複数の周辺機器における任意の１つ又は複数のステータスの項目を指定できるようにしても良い。

図１２Ａのメニュー表示の初期状態においては、複数のシーン抽出項目は、いずれも指定無しの状態であり、ユーザは、例えばカテゴリの項目に対して、シーン抽出の指定を行うために、各項目内の例えば右側に配置された選択ボタンを操作する。選択ボタンの操作に対して、制御部３９は、矢印で示すようにカテゴリにおいて指定可能な全指定項目を選択表示エリア（図１２Ａでは選択表示と略記）Ａ３に表示する。
ユーザが例えば、体腔内の項目を指定すると、制御部３９（のメタ情報検索部３９ａ）は、体腔内の項目に該当する画像を、ハードディスク３４に記録された記録データにおけるメタ情報から検索し、図１２Ｂに示すように画像一覧表示エリアＡ１に検索に該当する編集ポイントの時間の画像のサムネイル画像を表示するように制御する。図７Ａの例に適用した場合には、編集ポイントＰ３〜Ｐ１３（のタイミング又は時間）の１３個のサムネイル画像が表示される。なお、数が多い場合には一部を重ねる等して表示しても良い。

さらに、図１２Ｂの状態において、ユーザがサブカテゴリの項目として処置を指定すると、制御部３９は、カテゴリが体腔内で、更にサブカテゴリが処置に該当する画像を記録データにおけるメタ情報から検索し、図１２Ｃに示すように画像一覧表示エリアＡ１に検索に該当する編集ポイントの時間の画像のサムネイル画像を表示する。
図７Ａの例に適用した場合には、編集ポイントＰ５〜Ｐ１３のサムネイル画像が表示される。図１２Ｃの状態において、機器ステータスとして電気メス装置ＯＮの指定を行うと、制御部３９は、カテゴリが体腔内で、サブカテゴリが処置、電気メス装置ＯＮの機器ステータスに該当する画像を記録データにおけるメタ情報から検索し、図１２Ｄに示すように画像一覧表示エリアＡ１に検索に該当する編集ポイント（の時間）の画像のサムネイル画像を表示する。図７Ａの例に適用した場合には、編集ポイントＰ６、Ｐ１０のサムネイル画像が表示される。
図１２Ａ〜図１２Ｄで説明した場合に限らず、例えば、体腔内における電気メス１７により処置を行っているシーンを抽出しようとする場合には、電気メス装置７の出力ＯＮのステータスの情報を入力することにより、編集ポイントＰ６、Ｐ１０の動画ファイルを簡単に抽出することができる。更に、切開モードや凝固モードの情報を追加することにより、その一方の動画ファイルを抽出することもできる。

また、図７Ａにおいては、電気メス１７を用いて処置を行った例を示しているが、吻合糸を用いた吻合のサブカテゴリの場合や、ＰＩＰ／ＰＯＰの合成画像のサブカテゴリの場合も分類できるので、各種の手術を行った場合にも抽出又は編集したいシーンに該当する動画部分を簡単かつ短時間に抽出することができる。
このように動作する本実施形態によれば、所望とするシーンの画像を簡単に抽出することができる。より具体的には、ユーザが抽出（又は検索又は編集）しようと望むシーンに該当する画像種別や、当該シーンにおける複数の周辺機器のステータス（動作状態）の情報を指定することにより、指定された条件に合致する画像部分（の開始画像）を表示することができるようにしているので、所望とするシーンの画像を簡単に抽出することができる。

なお、図６においては、画像の種別の変化と、複数の周辺機器のステータス変化とを判定する処理を含むフローチャートを示しているが、例えばタッチパネル４０からの選択指示により、この場合には、図６におけるステップＳ２，ステップＳ１０〜Ｓ１１を省いた図１３に示す処理を行うようにしても良い。
また、図２に示す構成において、例えば画像判別部３７が制御部３９の機能を含む（又は兼ねる）構成にしたり、制御部３９が画像判別部３７の機能を含む（又は兼ねる）構成に変更しても良い。
また、本明細書において開示された範囲内の構成要素の中から、一部の構成要素、又は一部の開示内容を抽出して請求項を生成しても良い。

１…内視鏡システム、３…患者、４…内視鏡、５…光源装置、６…プロセッサ、７…電気メス装置、８…気腹装置、９…モニタ、１０…画像記録装置、１１…トロリ、１２…挿入部、１６…トラカール、１７…電気メス、２２…撮像素子、２４…切替スイッチ、２５ａ〜２５ｅ…通信線、３１…画像信号入力部、３２…画像解析部、３３…記録データ生成部、３４…ハードディスク、３５…画像信号出力部、３６…画像種別データベース部、３７…画像判別部、３８…通信部、３９…制御部、４０…タッチパネル、４１…保存先切替部

Claims (9)

1. 画像信号が入力される画像信号入力部と、
   前記画像信号入力部に入力された前記画像信号における画像の特徴量を抽出する画像解析部と、
   入力される前記画像信号の前記画像に対して予め手術の進行状況に応じた画像種別毎に判別用特徴量と関連付けた複数の画像種別のデータベースを蓄積する画像種別データベース部と、
   前記画像解析部により抽出された前記特徴量の画像に対して前記画像種別データベース部における該当する画像種別を判別する画像判別部と、
   前記画像判別部の判別結果により判別された前記画像種別の変化に対応して、変化したタイミングの前記画像信号を特定するための編集ポイント及び前記画像信号に関連する第１のメタ情報を、前記画像信号に付加して記録するための記録データを生成する記録データ生成部と、
   前記記録データ生成部により生成された前記画像信号、前記編集ポイント及び前記第１のメタ情報を含む前記記録データを記録する記録部と、
   前記手術の際に利用される複数の周辺機器の動作状態の情報が入力される情報入力部と、
   前記情報入力部に入力された情報から、該情報に該当する前記複数の周辺機器の各動作状態を判別する状態判別部と、
   前記状態判別部の判別結果の変化に対応した前記編集ポイント及び前記状態判別部の判別結果が変化したタイミングの前記複数の周辺機器に関連する第２のメタ情報を前記画像信号に付加して、前記記録部に記録するように制御する制御部と、
   を備えることを特徴とする画像記録装置。
2. 前記画像種別データベース部は、前記手術の進行状況に応じた画像種別が体腔内と体腔外のいずれの画像であるかの大分類に分類した大分類部を有することを特徴とする請求項１に記載の画像記録装置。
3. 前記画像種別データベース部は、前記大分類部における前記体腔内に属する画像種別が術中に処置具により処置を行っている処置画像、ＰＩＰ画像／ＰＯＰ画像、若しくは術中において吻合を行っている吻合画像のいずれの画像であるかの中分類に分類した中分類部を有することを特徴とする請求項２に記載の画像記録装置。
4. 前記画像解析部は、入力される前記画像信号のＲ，Ｇ，Ｂ色成分画像における画素ヒストグラムから前記画像の特徴量を抽出するヒストグラム解析回路と、前記画像のエッジを抽出するエッジ抽出回路と、を有し、
   前記画像判別部は、前記ヒストグラム解析回路により抽出された第１の特徴量と前記エッジ抽出回路により抽出された第２の特徴量が、予め前記画像種別データベース部に格納されている前記複数の画像種別に対応付けた判別用特徴量と比較することにより、該当する画像種別を判別することを特徴とする請求項１に記載の画像記録装置。
5. 前記状態判別部は、前記複数の周辺機器における各動作状態を判別し、前記制御部は、前記状態判別部による判別結果から前記複数の周辺機器における少なくとも１つの動作状態が変化したタイミングにおける前記複数の周辺機器の全ての動作状態の情報を前記第２のメタ情報として前記記録部に記録するように制御することを特徴とする請求項１に記載の画像記録装置。
6. 更に、前記記録部に対して、前記画像種別の指定と、前記複数の周辺機器における任意の動作状態の指定とを行う指定部と、
   前記記録部に記録された前記記録データから前記指定部により指定された画像種別と指定された動作状態に合致する条件のメタ情報を検索するメタ情報検索部と、
   検索された前記メタ情報に該当する画像部分の情報を表示する表示部と、
   を有することを特徴とする請求項１に記載の画像記録装置。
7. 前記状態判別部は、前記複数の周辺機器として少なくとも気腹装置と、電気メス装置又は超音波切開装置とにおけるそれぞれの動作状態を判別することを特徴とする請求項１に記載の画像記録装置。
8. 前記画像種別データベース部は、前記大分類部における前記体腔外に属する画像種別が、無信号の黒画像、テスト画像を表すカラーバー画像、又は両画像に該当しないその他の画像におけるいずれの画像であるかの中分類に分類した中分類部を有することを特徴とする請求項２に記載の画像記録装置。
9. 前記記録データ生成部は、前記第１のメタ情報として、該第１のメタ情報が生成されたタイミングにおける前記複数の周辺機器の各動作状態に関する情報を含む第３のメタ情報を生成し、前記記録部は、前記第３のメタ情報を記録し、
   更に、前記制御部は、前記状態判別部による判別結果が変化した場合、前記第２のメタ情報として、該第２のメタ情報が生成されたタイミングにおける前記画像判別部により判別された画像種別に関する情報を含む第４のメタ情報を前記記録部に記録するように制御することを特徴とする請求項１に記載の画像記録装置。
   
   

Images