JP2021121095A - コンピュータプログラム及び映像再生方法 - Google Patents

Abstract

【課題】手術中のイベントを理解しやすくすることができるようにする。【解決手段】コンピュータに、鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、取得した術野映像に基づき、所定量以上の出血の有無を判断し、所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する処理を実行させる。【選択図】図１

Description

本発明は、コンピュータプログラム及び映像再生方法に関する。

特許文献１では、手術動画の一部を再生することが提案されている。

特開２０１１−３６３７０号公報

特許文献１では、特徴点から再生を行うことで必要な部分を確認することが可能となるものの、出血などのインシデントが発生したシーンを単に再生しても、インシデントの原因となる部分を把握することは難しいことが多い。

本発明はこのような背景を鑑みてなされたものであり、手術中のイベントを理解しやすくする技術を提供することを目的とする。

本発明の一態様におけるコンピュータプログラムは、コンピュータに、鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、取得した術野映像に基づき、所定量以上の出血の有無を判断し、所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する処理を実行させる。

本発明によれば、手術中のイベントを理解しやすくすることができる。

本実施の形態に係る手術システムの概略を説明する概念図である。 本実施の形態に係る手術システムの概略を説明するブロック図である。 制御ユニット３０のハードウェア構成例を説明するブロック図である。 制御ユニット３０のソフトウェア構成例を説明するブロック図である。 内視鏡カメラ１３から取得する映像Ｍの構成の概略を説明するブロック図である。 イベントの発生を説明する図である。 イベント発生時のフレームＦ１を説明する図である。 イベント発生時点のフレームＦ１の一例を示す図である。 ワイプ画像Ｗが表示されたディスプレイ２１の例を示す図である。 本実施形態の手術システムにおいて実行される処理について説明する図である。 第２実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第２実施形態に係る処理の流れを示す図である。 第３実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第３実施形態に係る制御ユニット３０の処理の流れを説明する図である。 第４実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第４実施形態に係る制御ユニット３０の処理の流れを説明する図である。 第５実施形態に係る手術システム１の全体構成を示す図である。 第６実施形態に係る制御ユニット３０の処理の流れを説明する図である。 再生方式の一例を説明する図である。 第７実施形態に係る制御ユニット３０の処理の流れを説明する図である。 出血場面を示すサムネイルの表示例を示す図である。 第８実施形態に係る制御ユニット３０の処理の流れを説明する図である。 出血量の時系列変化を示すグラフの表示例を示す図である。 １０実施形態に係る制御ユニット３０の処理の流れを説明する図である。

＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
鏡視下手術の術野を撮影した動画像を取得する動画像取得部と、
前記動画像を解析して前記術野における所定のイベントを検出するイベント検出部と、
前記イベントの検出時点を含む期間の部分動画像を前記動画像から抽出する部分動画像抽出部と、
複数の再生方式のそれぞれにより前記部分動画像を再生するイベント再生部と、
を備えることを特徴とする動画再生システム。
［項目２］
項目１に記載の動画再生システムであって、
前記再生方式には、通常再生、スロー再生、繰り返し再生、及び逆再生の少なくとも２つを含むこと、
を特徴とする動画再生システム。
［項目３］
項目１に記載の動画再生システムであって、
前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記複数の再生方式の種類を選択すること、
を特徴とする動画再生システム。
［項目４］
項目１に記載の動画再生システムであって、
前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを選択すること、
を特徴とする動画再生システム。
［項目５］
項目１に記載の動画再生システムであって、
前記イベントは前記手術対象からの出血であり、
前記イベント検出部はさらに出血量を検出し、
前記再生方式には少なくとも前記スロー再生が含まれ、
前記イベント再生部は、少なくとも前記出血量に応じて前記スロー再生の再生速度を決定すること、
を特徴とする動画再生システム。
［項目６］
項目１に記載の手術支援システムであって、
前記イベント再生部は、前記期間である第１の期間中であって、前記第１の期間よりも短く、かつ、前記検出時点を含む第２の期間について、前記部分動画像の再生速度を他の期間よりも下げて再生すること、
を特徴とする手術支援システム。
［項目７］
項目１に記載の手術支援システムであって、
前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを設定する設定部をさらに備えること、
を特徴とする手術支援システム。
［項目８］
項目７に記載の手術支援システムであって、
前記設定部は、前記イベント再生部による再生開始後に、前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかの変更を行うこと、
を特徴とする手術支援システム。

＜システム概要＞
以下、本発明の一実施形態に係る手術システムについて説明する。本実施形態の手術支援システムは、鏡視下手術の支援を行うものであり、とくに術野を撮影した動画像を出力するとともに、例えば局所的な出血などのイベントが発生した場合に、そのイベント発生時を含むシーンを再生する動画再生システムでもありうる。

＜第１実施形態＞
図１は、本実施の形態に係る手術システムの概略を説明する概念図である。図示のように、手術システム１は、手術ユニット１０、操作ユニット２０、及び手術ユニット１０と操作ユニット２０とを制御する制御ユニット３０を備える。

図２は、本実施の形態に係る手術システムの概略を説明するブロック図である。

手術ユニット１０は、手術対象である患者１００に外科的処置を行うものであり、本実施の形態では、処置部であるインスツルメント部１１、同じく処置部であるセンサ部１２及び映像取得部である内視鏡カメラ１３を備える。

インスツルメント部１１は、可動アーム及び可動アームの先端に装着される手術器具によって構成される。手術器具としては、例えばメス（電気メス等）、剪刀、鉗子、持針器やピンセット等が想定されるが、用途に応じてこれら以外の各種の手術器具が装着される。

センサ部１２は、例えば、インスツルメント部１１の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ等の各種のセンサが採用される。

内視鏡カメラ１３の構成については、後述する。

操作ユニット２０は、手術ユニット１０に対するオペレータである執刀医１１０からの操作を受け付けるものであり、本実施の形態では、表示部であるディスプレイ２１、コントローラ部２２及びスピーカ２３を備える。また、操作ユニット２０は、執刀医１１０から音声指示を受付けるためのマイクロフォンを備えてもよい。

ディスプレイ２１は、執刀医１１０に各種の情報を提供するものであって、本実施の形態では、ＶＲ（Ｖｅｒｔｕａｌ Ｒｅａｌｉｔｙ）のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）を実装する技術が採用されており、執刀医１１０の両目による視差を利用して、視認する領域の立体視が可能である。

コントローラ部２２は、本実施の形態では、ジョイスティックやフットペダル等の入力機器によって実装され、スピーカ２３は、音声等によって執刀医１１０に各種の情報を提供する。

＜制御ユニット３０ハードウェア＞
図３は、制御ユニット３０のハードウェア構成例を説明するブロック図である。図示のように、制御ユニット３０は、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を主要構成として備え、これらが互いにバス３６を介して電気的に接続される。

プロセッサ３１は、制御ユニット３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。

このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラム等を実行して各処理を行う。

メモリ３２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。

このメモリ３２は、プロセッサ３１の作業領域として使用される一方、制御ユニット３０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。

ストレージ３３は、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。本実施の形態では、各種の処理を行う映像処理プログラムが格納されている。映像処理プログラムは、例えば、プログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。プロセッサ３１は、図に示していない読取装置を用いて、記録媒体ＲＭから所望のプログラムを読み取り、読み取ったプログラムをストレージ３３に記憶させればよい。この映像処理プログラムの詳細については、後述する。

送受信部３４は、制御ユニット３０をインターネットに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

本実施の形態では、この送受信部３４を介して、制御ユニット３０が手術ユニット１０及び操作ユニット２０と接続される。

入出力部３５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。

バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。

＜制御ユニット３０ソフトウェア＞
図４は、制御ユニット３０のソフトウェア構成例を説明するブロック図である。図示のように、制御ユニット３０は、操作入力部３１１、発生時点特定部３１２、部分動画抽出部３１３、再生部３１４、映像記録部３３１、パラメータ記憶部３３２、設定記憶部３３３を備える。

映像記録部３３１は、内視鏡カメラ１３で取得してディスプレイ２１に実時間で表示された映像Ｍを記録映像Ｍ１として記録する。

図５は、内視鏡カメラ１３から取得する映像Ｍの構成の概略を説明するブロック図である。図示のように、内視鏡カメラ１３は、インスツルメント部１１による患者１００に対する外科的措置Ｏを撮像して映像Ｍとして取得するものである。内視鏡カメラ１３で取得する映像Ｍは、複数のフレームＦによって構成され、取得する実時間において逐次、ディスプレイ２１に表示されるとともに、ディスプレイ２１に表示された映像Ｍが映像記録部３３１に記録映像Ｍ１として記録されることになる。

このような構成を有する本実施の形態に係る手術システム１は、患者１００の腹腔や胸腔に到達するように患者１００の身体に３ｍｍ〜１０ｍｍ程度の複数の小さな孔をあけて、身体を切開しないでその孔から内視鏡カメラ１３やインスツルメント部１１の手術器具を挿入して、内視鏡下において低侵襲で内視鏡外科手術を実行するものである。

操作入力部３１１は、執刀医１１０による操作ユニット２０から入力される各種の操作を受け付ける。

発生時点特定部３１２は、記録映像Ｍ１からイベントが発生した時点（以下、イベント発生時点という。）を特定する。発生時点特定部３１２は、たとえば、記録映像Ｍ１を構成する各フレームＦを画像解析し、イベントを示す画像の特徴量（たとえば、出血の赤色など）を抽出することにより、当該フレームにおいてイベントが発生しているか否かを判定し、一連の同一イベントが連続する期間の最先のフレームＦの時点をイベント発生時点として特定することができる。

発生時点特定部３１２は、たとえば、機械学習によってイベント関連フレームを自律的に特定する人工知能モジュールによって実装することができる。機械学習を行う手法としては、ニューラルネットワーク、ランダムフォレスト、ＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）等、各種のアルゴリズムが適宜用いられる。

図６は、イベントの発生を説明する図である。図７は、イベント発生時のフレームＦ１を説明する図である。

図６で示すように、発生時点特定部３１２は、手術ユニット１０のインスツルメント部１１の手術器具１１ａ、１１ｂで患者１００の患部Ｔに外科的処置を行っている際に患者１００に不測の事態（イベント）、例えば局所的な出血が発生して、ディスプレイ２１に実時間で表示される映像Ｍに出血Ｂが表示されたときに、図７で示すように、記録映像Ｍ１を構成するフレームＦから、出血Ｂの発生が記録されたイベントＦ１を特定することができる。イベントの発生したフレームＦ１には、血液が流出して出血Ｂが広がる前であって血液が滲み出したばかりの出血Ｂの初期の段階、すなわち出血Ｂが発生した直後の状態が記録されていることになる。

部分動画抽出部３１３は、イベント発生時点を含む期間の部分動画（当該期間に含まれるフレーム）を抽出する。図７の例では、部分動画抽出部３１３は、イベント発生時点ｔ０のフレームＦ１から時間ｉ１だけ前の時点のフレームＦＳの時点を開始フレームとし、イベント発生時点ｔ０のフレームＦ１から時間ｉ２だけ後の時点のフレームＦＥの時点を終了フレームとして、開始フレームから終了フレームまでの各フレームを部分動画として抽出することができる。すなわち、部分動画抽出部３１３は、記録映像Ｍ１から開始時点ｔ０−ｉ１から終了時点ｔ０＋ｉ２までの期間の部分動画を抽出することができる。

パラメータ記憶部３３２は、時間ｉ１及びｉ２などの各種パラメータを記憶する。図４の例では、パラメータ記憶部３３２は、前時間、後時間、再生スピード、再生回数などのパラメータを記憶している。例えば、前時間は、時間ｉ１であり、後時間は時間ｉ２である。再生スピードは、後述する再生部３１４により部分動画をスロー再生などする場合の再生スピードである。再生回数は後述する再生部３１４により部分動画を繰り返し再生する場合の繰り返し回数である。

再生部３１４は、部分動画を再生する。本実施形態では、再生部３１４は、複数の再生方式で部分動画を再生する。複数の再生方式には、通常再生、スロー再生、繰り返し再生、及び逆再生の少なくとも２つが含まれる。すなわち、再生部３１４は、イベント発生時点を含むシーンを再生方式を変えながら複数回再生することができる。再生方式に係る各種のパラメータ（例えば、スロー再生の再生スピード、繰り返し再生の再生回数など）はパラメータ記憶部３３２に記憶されている。

再生部３１４は、執刀医１１０が閲覧しているディスプレイ２１に部分画像をワイプ画像として表示することができる。図８は、イベント発生時点のフレームＦ１の一例を示す図である。図８では、出血Ｂの発生が認識された時点の例が示されている。図９は、ワイプ画像Ｗが表示されたディスプレイ２１の例を示す図である。図９の例では、イベント発生時点のフレームＦ１がワイプ画像Ｗとして表示されている。

また、再生部３１４は、インスツルメント部１１の手術器具の操作の種類に応じて異なる再生方式の組み合わせで部分動画を再生することができる。どのような再生方式で再生をするかは、後述する設定記憶部３３３に記憶される。

図４の例では、設定記憶部３３３は、操作種別に対応付けて、複数の再生方式（リスト）を記憶している。操作種別には、たとえば、切除、剥離、牽引、縫合、吸引などがあり、これらは、例えば、機械学習を用いた画像解析により特定することができる。また、インスツルメント部１１に取り付けられている手術器具の種類や、操作入力部３１１が受け付けた執刀医１１０の操作入力信号などにより特定するようにしてもよい。

＜処理＞
図１０は、本実施形態の手術システムにおいて実行される処理について説明する図である。同図には、制御ユニット３０の動作の流れが示されている。

発生時点特定部３１２は、記録映像Ｍ１からイベントの発生した時点（フレーム）を特定するとともに（Ｓ４０１）、インスツルメント部１１の手術器具の操作種別を特定する（Ｓ４０２）。例えば、発生時点特定部３１２は、画像を解析することにより操作種別を特定することができる。

部分動画抽出部３１３は、パラメータ及び再生方式リストをパラメータ記憶部３３２及び設定記憶部３３３から読み出し（Ｓ４０３）、読み出したパラメータの前時間（ｉ１）及び後時間（ｉ２）と、特定したイベント発生時点ｔ０とから抽出する期間（ｔ０−ｉ１〜ｔ０＋ｉ２）を計算し、計算した期間の部分動画を記録映像Ｍ１から抽出する（Ｓ４０４）。

再生部３１４は、再生方式リストに含まれている再生方式から次の再生方式を取り出し（Ｓ４０５）、次の再生方式があれば（Ｓ４０６：ＮＯ）、次の再生方式で部分動画を再生する（Ｓ４０７）。ここで再生方式のパラメータ（スロー再生の再生スピード、繰り返し再生の再生回数など）は、上記読み出したパラメータを用いる。再生部３１４は、図９に示すようなワイプ画像Ｗとして部分画像を内視鏡カメラ１３からのリアルタイム映像に重畳出力してもよいし、ディスプレイ２１とは異なるサブディスプレイなどを設け、サブディスプレイに部分画像を出力するようにしてもよい。

以上のようにして、本実施形態の手術システムによれば、手術対象の空間（例えば腹腔等）において発生したイベント（例えば出血等）を検出した場合に、イベント発生時点を含む期間の部分動画、すなわちイベント発生シーンを出力することができる。例えば、図６の例のように、出血Ｂが発生して広がっている状態において、出血Ｂが発生した初期の時点（イベント発生時点）を含む期間の部分動画を、図９に示すようにワイプ画像Ｗで確認することにより、執刀医１１０は、例えば出血Ｂが発生している出血部位を容易に特定することができる。また出血Ｂがどのように発生したかの原因を特定することも可能となり、適切な処置を講じることができる。これは、例えば出血の場合次のような理由による。すなわち、出血は体内の組織を切除器具ではさみ、アクティベイトして組織が破綻したあとに起こると仮定すると、はさむまでの動作やアクティベイト中の時間は通常の速度で把握可能であるものの、組織が破綻して出血点から出血が広がる過程は極めて短時間で起こる事象であるため、このシーンの再生速度を遅くすることにより、理解が容易になる。また逆再生することで広がった血液が一点に集約し、出血点の位置を把握することが容易になる。さらには、このように再生速度を部分的に遅くしたり、逆再生を行ったりすることにより、出血等のイベントの発生箇所や発生原因を特定することが容易になるのである。

また、本実施形態の手術システムによれば、複数の再生方式で出血Ｂ等のイベント発生時点を含む期間の部分動画を確認することができる。したがって、単に一度過去のシーンを確認する場合に比べて、本実施形態のように複数回の表示を行うことで、イベントの発生位置や発生原因を容易かつ確実に把握することができる。また、本実施形態のように異なる再生方式で同じシーンを再生することにより、同じイベントを異なる見方で確認することができるので、イベントの発生箇所（例えば出血箇所）やイベントの発生要因（例えば出血原因）をより容易かつ確実に把握することができる。

＜第２実施形態＞
図１１は、第２実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。上記第１実施形態では、スロー再生（又は早回し再生でもよい）の再生スピードはパラメータ記憶部３３２にパラメータとして設定されているものとしたが、第２実施形態では、出血量に応じて再生速度を変化させることができる。

第２実施形態に係る制御ユニット３０は、上述した第１実施形態の制御ユニット３０の構成（図４参照）に加えて、出血量検出部３１５を備える。出血量検出部３１５は、記録映像Ｍ１の各フレームＦの画像を解析し、画像に含まれている血の量を推定する。出血量検出部３１５は、例えば、画像に含まれている出血の色の画素の数に応じて出血量（又は出血面積、すなわち手術の対象領域において血が覆っている割合であってもよい。）などを計算することができる。また、第２実施形態の再生部３１４は、出血量に応じて再生スピードを変化させる。具体的には、再生部３１４は、出血量（又は出血面積）が多いほど再生スピードを下げるようにすることができる。また、再生部３１４は、出血量（又は出血面積）の時系列な変化（例えば、出血量の単位時間あたりの増加量）が大きい（出血の速度が速い）ほど再生スピードを下げるようにすることができる。

図１２は、第２実施形態に係る処理の流れを示す図である。第１実施形態の処理（図１０）との違いについて説明する。第２実施形態では、出血量検出部３１５は、部分動画から出血量（又は出血速度）を検出し（Ｓ４２１）、再生部３１４は、出血量（又は出血速度）が多い（又は速い）ほど再生スピードを下げることができる（Ｓ４２２）。そしてステップＳ４０７において、調整された再生スピードで部分動画が再生される。これにより、大量または高速な出血時には、出血時点（イベント発生時点）のシーンをよりゆっくりと再生することができるので、出血箇所や出血原因をより容易かつ確実に特定することが可能となる。

なお、再生部３１４は、再生方式がスロー再生の場合にのみ、再生スピードを変えるようにしてもよいし、全ての再生方式について再生スピードを変えるようにしてもよい。

＜第３実施形態＞
図１３は、第３実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。上記第１実施形態では、部分動画の再生スピードは一定であるものとしたが、第３実施形態では、部分動画の中でもイベント発生時点前後のより短い期間については、再生スピードを下げることができる。

第２実施形態に係る制御ユニット３０では、上述した第１実施形態の制御ユニット３０の構成（図４参照）に比べて、パラメータ記憶部３３２に記憶されるパラメータとして、前時間、後時間及び再生スピードのセットを２セット記憶する。図１３の例では、前時間１（ｉ１（１））、後時間１（ｉ２（１））及び再生スピード１の第１セットと、前時間２（ｉ１（２））、後時間２（ｉ２（２））及び再生スピード２の第２セットとがパラメータ記憶部３３２に登録されている。第１セットの期間よりも第２セットの期間が短く、第１セットの期間及び第２セットの期間のいずれにもイベント開示時点（フレームＦ１）が含まれる。また、第２セットの再生スピード２は、第１セットの再生スピード２よりも遅い。

図１４は、第３実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。第３実施形態では、ステップＳ４０７の再生処理に代えて、ステップＳ４４１ないしＳ４４３を実行する。ステップＳ４４１では、第１実施形態の開始時点ｔ０−ｉ１と同様の開始時点ｔ０−ｉ１（１）から、第２セットの開始時点ｔ０−ｉ１（２）までの期間を第１セットの再生速度１で再生し（Ｓ４４１）、第２セットの開始時点ｔ０−ｉ１（２）から第２セットの終了時点ｔ０＋ｉ２（２）までの期間を第２セットの再生速度２で再生し（Ｓ４４２）、第２セットの終了時点ｔ０＋ｉ２（２）から第１セットの終了時点ｔ０＋ｉ２（１）までの期間を第１セットの再生速度１で再生される（Ｓ４４３）。これにより、イベント発生時点を含む、第１セットの期間よりも短い第２セットの期間について、よりゆっくりとした速度で再生することができる。

なお、第３実施形態においても、第２実施形態と同様に出血量検出部３１５を備えるようにし、再生スピード２を出血量または出血速度に応じた速度で第２セットに係る期間を再生するようにしてもよい。

また、第１セットに係る再生スピード１を、通常速度（実時間）よりも速い速度に設定するようにして、イベント発生時点を含むシーン以外を早回しで再生することもできる。

＜第４実施形態＞
図１５は、第４実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。第４実施形態では、再生方式に係る各種のパラメータ（前時間、後時間、再生方向、再生スピード、再生回数等）を設定変更可能としている。第４実施形態では、パラメータ記憶部３３２’は、再生方式を示す再生方式ＩＤに対応付けて、各種のパラメータを記憶する。また、制御ユニット３０は、パラメータ記憶部３３２’に記憶されるパラメータの入力を受け付ける設定部３１６を備える。設定部３１６は、事前にパラメータの登録を行うことができ、また、手術中または動画の再生中にパラメータの変更を行うこともできる。

図１６は、第４実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。第４実施形態では、事前に設定部３１６が再生方式ごとのパラメータの入力を受け付けてパラメータ記憶部３３２’に登録を行う（Ｓ４６１）。そして、ステップＳ４０３では、再生方式リストのみを読み出し（Ｓ４０３’）、再生時のステップＳ４０７の前に、再生部３１４は、再生方式に対応するパラメータをパラメータ記憶部３３２’から読み出し（Ｓ４６２）、読み出したパラメータを用いて部分動画を再生する（Ｓ４０７’）。

これにより、再生方式に応じた再生速度や再生期間などを自由に設定することができる。

＜第５実施形態＞
図１７は、第５実施形態に係る手術システム１の全体構成を示す図である。第５実施形態では、遠隔操作ではなく、患者１００に執刀医１１０が直接手術器具を操作する状況を想定している。なお、開腹手術であってもよいし、腹腔鏡手術であってもよい。このような場合であっても、上述した各実施形態の制御ユニット３０を用いて、イベントの発生時点を含むシーンを、再生方式を変えながら複数回再生することが可能となる。

＜第６実施形態＞
第６実施形態では、所定量以上の出血を検出した場合、出血開始時点を含む所定時間範囲の部分動画を再生する構成について説明する。なお、制御ユニット３０のソフトウェア構成は第２実施形態と同様であるため、その説明を省略する。

図１８は、第６実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。ステップＳ４０１においてイベント（本実施形態では出血）が検出された場合、出血量検出部３１５は、内視鏡カメラ１３より得られるフレームＦの画像を解析して出血量を検出する（Ｓ４７１）。出血量検出部３１５は、実施の形態２において説明したように、出血に該当する色を持つ画素の数や領域の面積に応じて出血量を検出すればよい。出血量検出部３１５は、フレームＦの画像が入力される都度、出血量を検出し、予め設定した閾値と比較することによって所定量以上の出血の有無を判断する（Ｓ４７２）。所定量以上の出血がない場合（Ｓ４７２：ＮＯ）、制御ユニット３０は、処理をステップＳ４０１へ戻す。

所定量以上の出血ありと判断した場合（Ｓ４７２：ＹＥＳ）、制御ユニット３０は、ステップＳ４０２以降の処理を実行する。すなわち、制御ユニット３０は、切除、剥離、牽引、縫合、吸引などの操作種別に応じて、再生方式に係る各種のパラメータ（例えば、再生速度、繰り返し再生の再生回数など）や再生方式リストを読み出し、読み出したパラメータや再生方式リストに基づいて、記録映像Ｍ１から抽出した部分動画を再生する。部分動画の抽出方法は第１実施形態と同様である。すなわち、部分動画抽出部３１３は、映像記録部３３１に記録されている記録映像Ｍ１のうち、出血開始前の時点（ｔ０−ｉ１）から出血後の時点（ｔ０＋ｉ２）までの時間範囲に含まれるフレームＦを部分動画として抽出すればよい。本実施の形態において、ｔ０は出血開始時点を表す。時間ｉ１，ｉ２は、予め設定されてもよく、切除、剥離、牽引、縫合、吸引などの操作種別や撮像した場面などに応じて設定されてもよい。

再生部３１４は、通常再生、スロー再生、コマ送り再生、繰り返し再生、及び逆再生の少なくとも１つを含む再生方式に従って部分動画を再生する。再生部３１４は、部分動画を図９に示すようなワイプ画像Ｗとして、内視鏡カメラ１３からのリアルタイム映像（術野映像）に重畳して出力してもよいし、ディスプレイ２１とは異なるサブディスプレイなどを設け、サブディスプレイに部分動画を出力してもよい。また、再生部３１４は、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら、部分動画を繰り返し再生してもよい。更に、再生部３１４は、出血開始時点を含む場面の再生速度を、出血開始前後の場面の再生速度よりも低下させて再生してもよい。

図１９は、再生方式の一例を説明する図である。所定量以上の出血が検出された場面を含む記録映像Ｍ１において、時間ｔ＝ｔ０を出血開始時点とした場合、部分動画抽出部３１３は、時間ｔ＝ｔ０−ｉ１（１）からｔ＝ｔ０＋ｉ２（１）までの時間範囲のフレームＦを部分動画として抽出する。ｉ１（１）は、操作種別や場面などに応じて、例えば２〜６秒に設定される。ｉ２（１）は、例えば２秒など適宜の時間が設定される。

再生部３１４は、通常再生、部分スロー再生、部分スロー逆再生といったように、再生方式を順番に切り替えて、部分動画を再生する。再生部３１４は、部分スロー逆再生を行った後、通常再生、部分スロー再生、部分スロー逆再生を繰り返してよい。

通常再生では、例えば、ｉ１（１）を６秒、ｉ２（１）を２秒に設定する。すなわち、再生部３１４は、出血開始時点の６秒前から出血開始時点の２秒後までの合計８秒間の部分動画を通常の再生速度（再生速度１）で再生する。出血開始前に撮像された術野映像が少しだけ長く再生されることによって、術者は、出血に至る操作を把握することができる。

部分スロー再生では、例えば、ｉ１（１）を３秒、ｉ２（１）を２秒に設定し、ｉ１（２）及びｉ２（２）をそれぞれ０．２秒に設定する。すなわち、再生部３１４は、出血開始時点の３秒前から０．２秒前までの２．８秒間の部分動画を通常の再生速度（再生速度１）で再生し、出血開始時点の０．２秒前から０．２秒後までの０．４秒間の部分動画を通常の１／５倍の再生速度（再生速度２）でスロー再生する。なお、スロー再生における再生速度は１／５倍速に限らず、適宜設定されるとよい。スロー再生の後、再生部３１４は、出血開始時点の２秒後から２秒後までの１．８秒間の部分動画を通常の再生速度（再生速度１）で再生する。部分スロー再生では、出血の瞬間がスロー再生されるので、術者は、出血箇所を認識しやすいという利点を有する。また、出血の直前からスロー再生に変わるので、術者は、これから出血が起こるであろうことを予測できる。更に、部分的なスロー再生を採用することによって、再生時間を長時間化が避けられる。

部分スロー逆再生における時間設定は、部分スロー再生における時間設定と同様である。再生部３１４は、出血開始時点の０．２秒後から２秒後までの部分動画を通常の再生速度（再生速度１）で逆再生し、出血開始時点の０．２秒前から０．２秒後までの部分動画を通常の１／５倍の再生速度（再生速度２）でスロー逆再生する。なお、スロー逆再生における再生速度は１／５倍速に限らず、適宜設定されるとよい。スロー再生の後、出血開始時点の３秒前から０．２秒前までの部分動画を通常の再生速度（再生速度１）で逆再生する。部分スロー逆再生では、広がった出血が次第に一箇所に集束するように表示されるので、術者は、集束点を把握することによって出血箇所を容易に認識することができる。

図９では、通常再生、部分スロー再生、部分スロー逆再生の順で部分動画を再生する構成について説明した。このような再生順序及び再生方式は、デフォルトとして制御ユニット３０に設定されてもよい。また、制御ユニット３０は、操作ユニット２０を通じて、再生順序及び再生方式の変更を受け付けてもよい。再生順序及び再生方式は術者によって任意に設定されるとよい。例えば、術者は、部分スロー再生、部分スロー逆再生の順で部分動画を再生するように設定を変更してもよく、通常再生、部分スロー再生、逆再生、部分スロー逆再生の順で部分動画を再生するように設定を変更してもよい。制御ユニット３０は、再生順序及び再生方式の設定変更を受付けた場合、変更後の再生順序及び再生方式に従って部分動画の再生を行う。

以上のように、第６実施形態では、所定量以上の出血を検知した場合にのみ、出血の場面を動画表示するので、手術の妨げになることなく、術者が認識すべき出血の場面のみを表示することができる。

第６実施形態では、出血量に対する閾値は予め設定されているものとしたが、操作入力部３１１を通じて、執刀医などの術者による閾値の設定を受け付ける構成としてもよい。閾値の設定を受付けた場合、出血量検出部３１５は、画像から推定した出血量と設定後の閾値とを比較して、所定量以上の出血の有無を判断すればよい。

＜第７実施形態＞
第７実施形態では、撮像中に発生した閾値以上の出血を認識し、認識した出血の場面をサムネイルとしてディスプレイ２１に表示させる。制御ユニット３０は、サムネイルに対する選択を受付けた場合、対応する出血の場面の動画を再生する。

図２０は、第７実施形態に係る制御ユニット３０の処理の流れを説明する図である。第６実施形態の処理（図１８）との違いについて説明する。制御ユニット３０は、第６実施形態と同様の手順によって、所定量以上の出血を検出した場合（Ｓ４８１）、その出血の場面を表すサムネイルを生成し、生成したサムネイルを術野映像に重畳してディスプレイ２１に表示する（Ｓ４８２）。サムネイルには出血場面を代表するような静止画又は動画が表示されるとよい。また、制御ユニット３０は、出血場面を特定するための情報として、例えば出血開始時点ｔ０の情報をサムネイルに関連付けてパラメータ記憶部３３２に記憶させる（Ｓ４８３）。

図２１は、出血場面を示すサムネイルの表示例を示す図である。図２１は、２つのサムネイルＴＨ１，ＴＨ２を術野映像に重畳し、ディスプレイ２１に表示した例を示している。サムネイルＴＨ１，ＴＨ２は、処置部分の認識の妨げとならないように、術野映像の中央付近の領域を避けて配置されることが好ましい。このため、制御ユニット３０は、例えば、生成したサムネイルＴＨ１，ＴＨ２を術野映像の端部領域に配置して表示すればよい。代替的に、制御ユニット３０は、画像解析によって手術器具１１ａ、１１ｂの位置を把握し、把握した手術器具１１ａ，１１ｂの位置を避けてサムネイルＴＨ１，ＴＨ２を表示してもよい。また、制御ユニット３０は、所定量以上の出血を検出した検出時刻の情報を各サムネイルＴＨ１，ＴＨ２に対して付加してもよい。

制御ユニット３０は、操作入力部３１１を通じてサムネイルに対する選択を受付けたか否かを判断する（Ｓ４８４）。操作入力部３１１は、コントローラ部２２が備えるジョイスティックやフットペダルなどの入力機器を用いてサムネイルに対する選択を受付けてもよく、マイクロフォンを用いてサムネイルを選択するための音声指示を受け付けてもよい。選択を受け付けていない場合（Ｓ４８４：ＮＯ）、制御ユニット３０は、処理をステップＳ４８１へ戻す。

制御ユニット３０は、所定量以上の出血を検出する都度、術野映像に新たなサムネイルを追加する。なお、サムネイルの数が増え過ぎると、術野映像において患部Ｔを確認することが困難になるため、表示するサムネイルの数を制限してもよい。例えば、制御ユニット３０は、検出時刻が新しいものから順に所定数のサムネイルを選択して表示すればよい。また、サムネイルを術野映像上に重畳して表示する構成に代えて、術野映像をディスプレイ２１に表示し、サムネイルをサブディスプレイに別途表示する構成としてもよい。

サムネイルに対する選択操作を受付けた場合（Ｓ４８４：ＹＥＳ）、部分動画抽出部３１３は、選択されたサムネイルが示す出血場面について、パラメータ記憶部３３２及び設定記憶部３３３からパラメータ及び再生方式リストを読み出す（Ｓ４０３）。このとき、部分動画抽出部３１３は、サムネイルに関連付けられている出血開始時点ｔ０の情報を検索キーとして、必要なパラメータ及び再生方式リストを読み出すことができる。

パラメータ及び再生方式リストを読み出した後の処理は第６実施形態と同様であり、部分動画抽出部３１３において部分動画を抽出し、再生部３１４において再生方式リストに記述されている再生方式に従って部分動画を再生する。再生部３１４は、通常再生、スロー再生、コマ送り再生、繰り返し再生、及び逆再生の少なくとも１つを含む再生方式に従って部分動画を再生すればよい。再生部３１４は、部分動画を図９に示すようなワイプ画像Ｗとして、内視鏡カメラ１３からのリアルタイム映像（術野映像）に重畳して出力してもよいし、ディスプレイ２１とは異なるサブディスプレイなどを設け、サブディスプレイに部分動画を出力してもよい。また、再生部３１４は、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら、部分動画を繰り返し再生してもよい。更に、再生部３１４は、出血開始時点を含む場面の再生速度を、出血開始前後の場面の再生速度よりも低下させて再生してもよい。

以上のように、第７実施形態における手術システム１では、サムネイルが選択された場合にのみ出血場面の動画を再生する構成であるため、執刀医などの術者が所望する出血場面のみを動画として提供できる。

＜第８実施形態＞
第８実施形態では、内視鏡カメラ１３から得られる術野領域の端部領域にて出血を検出した場合、出血を検出した旨を報知する構成について説明する。

図２２は、第８実施形態に係る制御ユニット３０の処理の流れを説明する図である。第６実施形態の処理（図１８）との違いについて説明する。制御ユニット３０は、第６実施形態と同様の手順によって、所定量以上の出血を検出した場合（Ｓ４９１）、その出血が術野映像の端部領域で発生したか否かを判断する（Ｓ４９２）。端部領域は、術野映像の中央付近（注目領域）を除いた領域として設定されるとよい。一例では、術野映像の上側、下側、左側、及び下側の１／４の領域である。

術野映像の端部領域で出血が発生したと判断した場合（Ｓ４９２：ＹＥＳ）、制御ユニット３０は、出血が発生した旨の情報を報知する（Ｓ４９３）。制御ユニット３０は、例えば、出血が発生した旨の文字情報又はアイコン等をディスプレイ２１に表示する。代替的に、制御ユニット３０は、出血が発生した旨の音声情報をスピーカ２３より出力してもよい。

以上のように、第８実施形態では、術野映像の端部領域で出血が発生したと判断した場合、出血が発生した旨の情報を報知するので、術者は、気付きにくい出血の存在を認識することができる。

＜第９実施形態＞
第９実施形態では、出血量の時系列変化を示すグラフを表示する構成について説明する。

図２３は、出血量の時系列変化を示すグラフの表示例を示す図である。制御ユニット３０の出血量検出部３１５は、各時刻におけるフレームＦを解析することによって、各時刻の出血量を検出することができる。制御ユニット３０は、出血量の時系列変化を示すグラフを生成し、術野映像と共に表示してもよい。図２３は、術野映像の下側に出血量の時系列変化を示すグラフＧＲを表示した例を示している。グラフＧＲの横軸は時間を表し、縦軸は出血量を表す。このグラフＧＲにおいて、時刻Ｔａは出血開始時点を表し、時刻Ｔｂは止血時点を表す。出血量に代えて、出血に相当する画素数又は面積の時系列変化をグラフとして表示してもよい。

また、制御ユニット３０は、図２３に示すように、出血量が所定量以上となったグラフＧＲ上の点をマークＭＫなどによって明示してもよい。更に、制御ユニット３０は、閾値を超えた部分を明示するために、該当するグラフＧＲの部分を太線表示したり、色を変えて表示したりして、強調表示を行ってもよい。更に、制御ユニット３０は、部分動画の再生区間（ｔ０−ｉ１≦ｔ≦ｔ０＋ｉ２）をグラフＧＲと共に表示してもよい。また、制御ユニット３０は、部分動画の再生中にグラフＧＲを併せて表示してもよい。

以上のように、第９実施形態では、出血量の時系列変化を示すグラフを表示するので、術者は、過去に生じた出血の状態を把握することができる。

＜第１０実施形態＞
第１０実施形態では、術野映像に切除器具が含まれている場合、所定量以上の出血の有無の判定を行い、術野映像に止血器具が含まれている場合、判定を行わない構成について説明する。

図２４は、第１０実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。ステップＳ４０１においてイベント（本実施形態では出血）が検出された場合、内視鏡カメラ１３より得られるフレームＦの画像を解析して、術野映像に切除器具が含まれているか否かを判断する（Ｓ５０１）。制御ユニット３０は、予め定めた形状の図形が含まれているか否かをテンプレートマッチングなどの手法を用いて判断することにより、術野映像に切除器具が含まれているか否かを判断することができる。切除器具が含まれていない場合（Ｓ５０１：ＮＯ）、制御ユニット３０は、処理をステップＳ４０１へ戻す。

切除器具が含まれている場合（Ｓ５０１：ＹＥＳ）、制御ユニット３０は、フレームＦの画像を解析して出血量を検出する（Ｓ５０２）。出血量検出部３１５は、実施の形態２において説明したように、出血に該当する色を持つ画素の数や領域の面積に応じて出血量を検出すればよい。出血量検出部３１５は、フレームＦの画像が入力される都度、出血量を検出し、予め設定した閾値と比較することによって所定量以上の出血の有無を判断する（Ｓ５０３）。所定量以上の出血がない場合（Ｓ５０３：ＮＯ）、制御ユニット３０は、処理をステップＳ４０１へ戻す。

所定量以上の出血ありと判断した場合（Ｓ５０３：ＹＥＳ）、制御ユニット３０は、第１実施形態において説明したステップＳ４０２以降の処理を実行する。すなわち、制御ユニット３０は、切除、剥離、牽引、縫合、吸引などの操作種別に応じて、再生方式に係る各種のパラメータ（例えば、再生速度、繰り返し再生の再生回数など）や再生方式リストを読み出し、読み出したパラメータや再生方式リストに基づいて、記録映像Ｍ１から抽出した部分動画を再生する。部分動画の抽出方法は第１実施形態と同様である。すなわち、部分動画抽出部３１３は、映像記録部３３１に記録されている記録映像Ｍ１のうち、出血開始前の時点（ｔ０−ｉ１）から出血後の時点（ｔ０＋ｉ２）までの時間範囲に含まれるフレームＦを部分動画として抽出すればよい。本実施の形態において、ｔ０は出血開始時点を表す。時間ｉ１，ｉ２は、予め設定されてもよく、切除、剥離、牽引、縫合、吸引などの操作種別や撮像した場面などに応じて設定されてもよい。

また、制御ユニット３０は、部分動画を再生する際、内視鏡カメラ１３より得られるフレームＦの画像を解析して、術野映像に止血器具が含まれているか否かを判断する（Ｓ５０４）。制御ユニット３０は、予め定めた形状の図形が含まれているか否かをテンプレートマッチングなどの手法を用いて判断することにより、術野映像に止血器具が含まれているか否かを判断することができる。止血器具が含まれていない場合（Ｓ５０４：ＮＯ）、制御ユニット３０は、部分動画を再生する（Ｓ４０７）。一方、止血器具が含まれている場合（Ｓ５０４：ＹＥＳ）、制御ユニット３０は、部分動画の再生を行わずに、本フローチャートによる処理を終了する。

以上のように、第１０実施形態では、切除器具を用いて手術部位を切除している際に、出血量が所定量以上に増えた場合にのみ部分動画を再生する。また、術野映像に止血器具が現れた場合、止血箇所が既に判明していると考えられるので、部分動画の再生を行わないように制御できる。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

例えば、上記実施形態では、イベントが患者１００の患部Ｔの近傍の部位からの出血Ｂである場合を説明したが、例えば、損傷、誤処置、その他の異常 を検知することとしてもよい。

本手術システムは、手術のみならず、上述した事故が起こる可能性のある処置全てに適用可能であり、例示すれば、診察、検査、診断穿刺・検体採取、画像検査、投薬・注射（輸血含む）、リハビリテーション、麻酔、放射線治療、医療機器の使用等、医療に起因し、又は起因すると疑われる事故を含み得る処置であれば、どのようなものであってもよい。

手術における手術システムの数は１台に限られず、複数台あってもよい。この場合、操作ユニットと作業ユニットの動きは夫々同期していてもよいし、別個独立に機能（１台目の手術装置と２台目の手術装置との動きは連動していないように）することとしてもよい。

また、本システムの手術対象は人体だけに限らず、動物、練習対象としての物体、植物等であってもよい。

また、上述した各実施形態において、出血量に代えて、臓器や消化器管などの損傷により排出される消化液や胆汁などを検出するようにしても同様の作用効果を得ることができる。

また、上述した各実施形態において、イベントは出血等のインシデントであることを想定したが、たとえば、手術器具による特定の操作をしたことをイベントとして検出するようにしてもよい。例えば、縫合器（ホチキス）で縫合・吻合したことをイベントとして検出し、縫合・吻合時の状況を再生するようにすることもできる、これにより、処置が正しくできたかどうかを確認することができる。

また、本実施形態では、患者１００に対する手術中のリアルタイム画像を想定していたが、手術状況を録画した記録映像Ｍ１を後から閲覧する状況においても有用である。例えば、執刀医１１０が自身又は他の執刀医の行った手術の記録映像Ｍ１を閲覧し、今後の手術に向けて、イベントの発生原因や発生箇所などを参考にする場合にも用いることが可能である。

１ 手術システム
１０ 手術ユニット
１１ インスツルメント部（処置部）
１３ 内視鏡カメラ（映像取得部）
２０ 操作ユニット
２１ ディスプレイ（表示部）
３０ 制御ユニット
３３ ストレージ
３１１ 操作入力部
３１２ 発生時点特定部
３１３ 部分動画抽出部
３１４ 再生部
３３１ 映像記録部
３３２ パラメータ記憶部
３３３ 設定記憶部

本発明の一態様におけるコンピュータプログラムは、コンピュータに、鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、取得した術野映像に基づき、所定量以上の出血の有無を判断し、所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する方式を含む、設定された再生方式にて再生する処理を実行させる。

Claims (13)

1. コンピュータに、
   鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
   取得した術野映像に基づき、所定量以上の出血の有無を判断し、
   所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する
   処理を実行させるためのコンピュータプログラム。
2. コンピュータに、
   鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
   取得した術野映像に切除器具が含まれているか否かを判断し、
   前記切除器具が含まれていると判断した場合、所定量以上の出血の有無を判断し、
   所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、設定された再生方式にて再生する
   処理を実行させるためのコンピュータプログラム。
3. 前記再生方式は、通常再生、スロー再生、コマ送り再生、繰り返し再生、及び逆再生の少なくとも１つを含む
   請求項２に記載のコンピュータプログラム。
4. 前記再生方式は、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する方式を含む
   請求項２に記載のコンピュータプログラム。
5. 前記再生方式は、出血開始時点を含む場面の再生速度を、出血開始前後の場面の再生速度よりも低下させて再生する方式を含む
   請求項２から請求項４の何れか１つに記載のコンピュータプログラム。
6. 前記コンピュータに、
   前記鏡視下手術中に撮像された術野映像を一の表示領域に表示し、前記時間範囲の部分映像を他の表示領域にて再生する
   処理を実行させるための請求項１から請求項５の何れか１つに記載のコンピュータプログラム。
7. 前記コンピュータに、
   所定量以上の出血を複数検出した場合、夫々の出血場面を示すサムネイルを表示し、
   表示したサムネイルに対する選択を受付けた場合、対応する出血場面の部分映像を設定された再生方式により再生する
   処理を実行させるための請求項１から請求項６の何れか１つに記載のコンピュータプログラム。
8. 前記コンピュータに、
   前記術野映像の端部領域にて出血を検出した場合、出血を検出した旨の情報を報知する
   処理を実行させるための請求項１から請求項７の何れか１つに記載のコンピュータプログラム。
9. 前記コンピュータに、
   出血量の時系列変化を示すグラフを表示する
   処理を実行させるための請求項１から請求項８の何れか１つに記載のコンピュータプログラム。
10. コンピュータに、
    鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
    取得した術野映像に基づき、所定量以上の出血の有無を判断し、
    所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像の再生を、前記術野映像に止血器具が含まれているか否かに応じて制御する
    処理を実行させるためのコンピュータプログラム。
11. コンピュータが、
    鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
    取得した術野映像に基づき、所定量以上の出血の有無を判断し、
    所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、通常再生、スロー再生、コマ送り再生、及び逆再生の少なくとも２つを切り替えながら繰り返し再生する
    映像再生方法。
12. コンピュータが、
    鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
    取得した術野映像に切除器具が含まれているか否かを判断し、
    前記切除器具が含まれていると判断した場合、所定量以上の出血の有無を判断し、
    所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像を、設定された再生方式にて再生する
    映像再生方法。
13. コンピュータが、
    鏡視下手術の術野を時系列的に撮像して得られる術野映像を取得し、
    取得した術野映像に基づき、所定量以上の出血の有無を判断し、
    所定量以上の出血ありと判断した場合、出血開始前の時点から出血後の時点までを含む時間範囲の部分映像の再生を、前記術野映像に止血器具が含まれているか否かに応じて制御する
    映像再生方法。

Images