JP2023147256A - 医療映像編集システム、医療映像編集方法、及びプログラム - Google Patents
医療映像編集システム、医療映像編集方法、及びプログラム Download PDFInfo
- Publication number
- JP2023147256A JP2023147256A JP2023049552A JP2023049552A JP2023147256A JP 2023147256 A JP2023147256 A JP 2023147256A JP 2023049552 A JP2023049552 A JP 2023049552A JP 2023049552 A JP2023049552 A JP 2023049552A JP 2023147256 A JP2023147256 A JP 2023147256A
- Authority
- JP
- Japan
- Prior art keywords
- information
- medical
- video
- bookmark
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 159
- 238000000605 extraction Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 44
- 238000012545 processing Methods 0.000 description 33
- 238000001356 surgical procedure Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000012790 confirmation Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000763 evoking effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007658 neurological function Effects 0.000 description 2
- 206010039897 Sedation Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036280 sedation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】映像情報に基づくパラメータのみの編集では、必要な映像情報を残すことができないおそれがある。【解決手段】本システムは、医療行為の手技に関する医療映像情報を取得するビデオカメラ2と、医療行為に伴って発生する手技に関する医療行為者の音声等の医療情報を取得する手技情報取得装置3と、医療映像情報の編集を行うサーバ1とが、ネットワークを介して通信可能に接続されている。サーバは、医療映像情報と医療情報とを取得し、医療情報が、医療行為者が選択した編集条件に該当することに伴い、医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成部33を備える。これにより、必要な映像情報を残すことができ、医療手技学習者端末6を用いて、しおり情報を検索キーとして繰り返しの視聴に利用することができる。【選択図】図4
Description
本発明は、医療映像編集システム、医療映像編集方法、及びプログラムに関する。
外科手技に関する医療映像(ビデオ)を確認(視聴)することは、技術を学習したり、対象者にとって予期しない有害な事象(イベント)を確認したり、又は外科手技中に発生した間違いを評価したりするため、とても重要であり、かつ、貴重である。
ところが、外科手技は完了するまでに数時間かかり、撮影(録画)した医療映像の再生時間も非常に長いため、それら全体を何回も見ることは殆どない。
また、所望する外科手技に関する映像を再度確認する場合、所望の位置を素早く探し出すため、これまでは一般に、再生映像を早送り又は巻き戻しすることが行われている。しかしながら、手動での早送り又は巻き戻しの場合、注意深く見ていないと所望の位置を見落としてしまったり、又は送り過ぎ、もしくは戻し過ぎてしまったりすることがあり、その操作は面倒である。
また、所望する外科手技に関する映像を再度確認する場合、所望の位置を素早く探し出すため、これまでは一般に、再生映像を早送り又は巻き戻しすることが行われている。しかしながら、手動での早送り又は巻き戻しの場合、注意深く見ていないと所望の位置を見落としてしまったり、又は送り過ぎ、もしくは戻し過ぎてしまったりすることがあり、その操作は面倒である。
そこで、医療行為に関する映像情報において必要な情報を編集する技術として、カメラが出力する医療行為の映像情報の中で、所定のトリガ条件の時間間隔の映像情報を保存し、その他は削除する編集技術が知られている。
例えば、同一時間に対応づけられる一種類以上のデバイス情報を表示するための主画像データと、コメント情報を主画像中のコメント対象と関連付けて表示するためのコメント表示データを生成することで、医療情報を任意の閲覧者と共有できる編集を行う技術も提案されている(例えば、特許文献1)。
しかしながら、特許文献1は、画像中にコメント情報を関連付けて表示するものであって、画像の重要な部分を特定して何らかの目印を付与するものではない。
ゆえに、従来技術からは、重要な外科手技、例えば、先達者のノウハウ、コツ、要領、勘どころ、といった分かりづらい技能を認識することができない。
本発明は、このような状況に鑑みてなされたものであり、医療行為中の重要な手技に関する映像を効率良く確認することができる編集を行うことを目的とする。
上記目的を達成するために、本発明の一態様は、医療行為の手技に関する医療映像情報を取得する医療映像取得手段と、前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得手段と、前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成手段と、を備える医療映像編集システムである。
また、本発明は、上記基本とする態様のシステムに加え、前記医療情報には音声情報が含まれ、前記編集条件に該当する前記音声情報からテキスト情報を生成し、前記しおり情報が付与された前記経時的な所定の位置に前記テキスト情報を関連付ける関連付け手段、をさらに備える医療映像編集システムとすることもできる。
また、本発明は、上記基本とする態様のシステムに加え、前記しおり作成手段は、前記医療情報が前記医療行為中に測定される生体情報であるとき、前記編集条件に該当する前記生体情報の測定値が所定の範囲内から逸脱した場合に、前記医療映像情報に対して前記しおり情報を関連付けて付与する、医療映像編集システムとすることもできる。
また、本発明は、上記各態様のシステムに加え、前記しおり情報及び前記医療映像情報を所定の表示手段に表示する表示制御手段と、前記編集条件に対応する重要度に応じ、前記表示制御手段によって表示されたしおり情報に対して、視覚的に識別が可能となる重み情報を付与する重み付け手段、をさらに備える医療映像編集システムとすることもできる。
また、本発明は、上記各態様のシステムに加え、前記しおり情報が付与された前記医療映像情報を外部記憶装置へ記憶させる編集医療映像送信手段、をさらに備える医療映像編集システムとすることもできる。
また、本発明は、上記態様のシステムに加え、前記しおり情報が付与されたとき、当該しおり情報が付与された位置の前後所定時間分の前記医療映像情報を編集医療映像情報として抽出する映像抽出手段、をさらに備える医療映像編集システムとすることもできる。
また、本発明は、上記態様のシステムに加え、前記しおり情報が付与されたとき、前記医療映像情報のハッシュ値に関してタイムスタンプトークンの発行を要求し、発行されたタイムスタンプトークンを、前記医療映像情報と共に前記編集医療映像記憶手段に記憶するタイムスタンプ取得手段、をさらに備える医療映像編集システムとすることもできる。
また、本発明は、上記態様のシステムに加え、前記医療映像情報の視聴要求を受け付け、前記編集医療映像記憶手段に記憶する前記医療映像情報を送信する医療映像提供手段と、前記医療映像情報の視聴状況を確認し、巻き戻しによる再生が所定の数以上の経時的な開始位置を特定する視聴状況確認手段と、をさらに備え、前記しおり作成手段は、特定された前記開始位置に前記しおり情報を関連付けてさらに付与する、医療映像編集システムとすることもできる。
また、本発明の他の態様は、医療行為の手技に関する医療映像情報を取得する医療映像取得ステップと、前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得ステップと、前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成ステップと、有する医療映像編集方法である。
また、本発明の他の態様は、医療行為の手技に関する医療映像情報を取得する医療映像取得ステップと、前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得ステップと、前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成ステップと、をコンピュータによって実行させるためのコンピュータプログラムである。
本発明によれば、医療行為に伴って発生する医療情報が、医療行為者が選択した編集条件に該当することに伴って、医療映像情報にしおり情報を付与するため、手技中の重要な部分を正確にトレースすることができる。また、医療映像の視聴において、医療行為中の重要な手技に関する映像を効率良く確認することができる。
<概略>
以下、本実施形態について、図面を用いて説明する。
図1は、本実施形態に係る医療映像情報の編集が実施される医療映像編集システムの概要を示す図である。本実施形態では、医療行為の手技に関する医療映像情報における外科手技の重要な部分に、しおり情報を付与する編集を行うものとし、編集された医療映像情報(以下、「編集映像情報」という。)は、医学生等の学習者が、編集映像情報に付与されたしおり情報を検索キーとして用い、重要な個所を素早く視聴したり、繰り返し視聴したり、効率良く、効果的に利用することを想定した例について説明する。
以下、本実施形態について、図面を用いて説明する。
図1は、本実施形態に係る医療映像情報の編集が実施される医療映像編集システムの概要を示す図である。本実施形態では、医療行為の手技に関する医療映像情報における外科手技の重要な部分に、しおり情報を付与する編集を行うものとし、編集された医療映像情報(以下、「編集映像情報」という。)は、医学生等の学習者が、編集映像情報に付与されたしおり情報を検索キーとして用い、重要な個所を素早く視聴したり、繰り返し視聴したり、効率良く、効果的に利用することを想定した例について説明する。
サーバ1は、医療映像情報の編集処理を支援する装置であって、演算処理機能や、通信機能を有する。このサーバ1は、例えば、サーバ装置や、パーソナルコンピュータ等の電子機器により実現される。
ビデオカメラ2は、手術室10での医療行為の手技に関する医療映像情報を収集するための撮像装置(医療映像取得装置)であり、外科手技の間、医療映像を撮影する。ビデオカメラ2で撮影された医療映像は、ローカルコンピュータに一端保存し、後でリモートストレージへ転送してもよいし、又は外科手技中にリモートストレージにストリーミングしてもよい。
医療映像が保存されるデータストアとしては、医療映像編集装置としてのサーバ1のほか、一般にクラウドサーバ又はクラウドストレージと称される、インターネット等のネットワークNに接続された一つ以上のサーバが含まれ得る。つまり、ビデオカメラ2から発せられたビデオ信号は、ローカルコンピュータ、又はクラウドストレージ等のリモートサーバにストリーミングしてビデオファイルに保存され、サーバ1は、医療映像情報の編集を実施する際、当該医療映像情報が保存されている所定の場所から当該医療映像情報を取得する。
手技情報取得装置3は、手術室10での医療行為の手技に伴って発生する、手技に関する医療情報を収集するための装置である。図1の例では、手技情報取得装置3として、マイク3A及び生体情報測定装置3Bが示されている。
マイク3Aは、外科手技の間、医療情報として、例えば、担当医師D等の医療行為者の音声情報を取得する。マイク3Aは、取得した音声情報から、除外する対象か否かを解析するノイズ解析を行う。つまり、医療機器の使用時に発する、例えば、電気メスを使っている時に鳴る「プッー」とか「ポォー」という音や、マスク越しでの発話での一般的な雑音を辞去する。また、ガウンを着用しているので、腕を動かしたときに擦れる音も雑音として除去する。
マイク3Aは、室内の壁や天井に固定されるタイプのものでもよいが、図1に示すように、頭に装着(固定)して使用するタイプのヘッドセットワイヤレスマイクが望ましい。このヘッドセットワイヤレスマイクは、マイク3Aを手で持つ必要がなく、両手が自由に使えるため医療行為には適していると共に、口元に配されるため音声を拾い落とすことなく確実に取得することができるためである。
ヘッドセットワイヤレスマイクの場合、別途、送信機(トランスミッタ)が必要となる。この送信機は、マイク3Aからのびたケーブルの先に装着され、マイク3Aへ入力された音声を、電波や赤外線等を利用して受信機(レシーバ)Rへと送信する。そして、医療映像情報と同様に、ローカルコンピュータ、又はクラウドストレージ等のリモートサーバに保存され、サーバ1は、音声情報の編集を実施する際、当該医療映像情報が保存されている所定の場所から取得する。
マイク3Aは、室内の壁や天井に固定されるタイプのものでもよいが、図1に示すように、頭に装着(固定)して使用するタイプのヘッドセットワイヤレスマイクが望ましい。このヘッドセットワイヤレスマイクは、マイク3Aを手で持つ必要がなく、両手が自由に使えるため医療行為には適していると共に、口元に配されるため音声を拾い落とすことなく確実に取得することができるためである。
ヘッドセットワイヤレスマイクの場合、別途、送信機(トランスミッタ)が必要となる。この送信機は、マイク3Aからのびたケーブルの先に装着され、マイク3Aへ入力された音声を、電波や赤外線等を利用して受信機(レシーバ)Rへと送信する。そして、医療映像情報と同様に、ローカルコンピュータ、又はクラウドストレージ等のリモートサーバに保存され、サーバ1は、音声情報の編集を実施する際、当該医療映像情報が保存されている所定の場所から取得する。
生体情報測定装置3Bは、手技中の患者の状態を確認するための装置であり、外科手技の間、医療情報を測定し、取得する。生体情報測定装置3Bとしては、例えば、患者の運動誘発電位(MEP)や、体性感覚誘発電位(SEP)、聴性脳幹反応(ABR)、視覚誘発電位(VEP)を測定する神経機能検査装置や、脳波を測定する脳波モニタ(BIS)を挙げることができる。また、患者のアクシデンタルな状況を確認するため、例えば、生体情報モニタや、呼吸機能モニタ、循環動態モニタ、鎮静モニタ等の医療機器を、手技情報取得装置3として用いてもよい。本実施形態では、手技情報取得装置3として生体情報測定装置3Bを用いることで、アクシデンタルな状況に対応する際の外科手技の重要な部分を学習するものとして、ビデオカメラ2で撮影している医療映像情報に、自動的にしおり情報を付与する編集を行う例について説明する。
アクシデンタルな状況としては、生体情報測定装置3B等からアラーム音等のアラーム情報を取得した、生体情報測定装置3B等からエラー情報を取得した、マイク3Aから出力される音情報のレベルが所定の値以上となった場合等が挙げられる。また、アクシデンタルな状況として、生体情報モニタでの急な変化(所定期間内に、所定の値以上の数値上昇又は数値降下)が生じた場合も含まれるものとする。急な変化の例としては、血圧の降下、脈拍数の上昇、酸素化に関する数値(例えば、血中酸素濃度等)の低下等が挙げられる。その他、アクシデンタルな状況として、神経機能モニタに表示される数字が、手術開始当初より低下した場合があげられる。また、アクシデンタルな状況として、出血量が急に(所定の期間内に、所定の値以上)多くなる場合が含まれる。
アクシデンタルな状況としては、生体情報測定装置3B等からアラーム音等のアラーム情報を取得した、生体情報測定装置3B等からエラー情報を取得した、マイク3Aから出力される音情報のレベルが所定の値以上となった場合等が挙げられる。また、アクシデンタルな状況として、生体情報モニタでの急な変化(所定期間内に、所定の値以上の数値上昇又は数値降下)が生じた場合も含まれるものとする。急な変化の例としては、血圧の降下、脈拍数の上昇、酸素化に関する数値(例えば、血中酸素濃度等)の低下等が挙げられる。その他、アクシデンタルな状況として、神経機能モニタに表示される数字が、手術開始当初より低下した場合があげられる。また、アクシデンタルな状況として、出血量が急に(所定の期間内に、所定の値以上)多くなる場合が含まれる。
以上のように、本実施形態では、例えば、外科手技の医療行為者が、ビデオカメラ2により医療行為の手技に関する医療映像を撮影(録画)されながら、外科手技の重要な部分において、医療行為に伴って発生する医療情報として音声情報を取得することができる。そして、医療映像情報にしおり情報を付与する編集を行うことができる。また、医療行為に伴って発生する医療情報として測定値情報を取得する生体情報測定装置3Bを用いて、医療映像情報に自動的にしおり情報を付与する編集を行うことができる。
<システム構成>
図2は、本実施形態に係る医療映像編集システムのシステム構成の概要を示す図である。本実施形態に係る医療映像編集システムは、サーバ1と、ビデオカメラ2と、マイク3Aと、生体情報測定装置3Bと、医療映像編集者端末5と、医療手技学習者端末6とが、インターネット等の所定のネットワークNを介して相互に接続して構成される。サーバ1、ビデオカメラ2、マイク3A、生体情報測定装置3Bは、上述と同様のため、説明を省略する。
図2は、本実施形態に係る医療映像編集システムのシステム構成の概要を示す図である。本実施形態に係る医療映像編集システムは、サーバ1と、ビデオカメラ2と、マイク3Aと、生体情報測定装置3Bと、医療映像編集者端末5と、医療手技学習者端末6とが、インターネット等の所定のネットワークNを介して相互に接続して構成される。サーバ1、ビデオカメラ2、マイク3A、生体情報測定装置3Bは、上述と同様のため、説明を省略する。
医療映像編集者端末5は、医療映像情報の編集者が操作するコンピュータであり、演算処理機能、通信機能を有する装置である。この医療映像編集者端末5は、例えば、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン等により実現される。
医療手技学習者端末6は、医療映像情報を視聴して学習する医学生等の学習者が操作するコンピュータであり、演算処理機能、通信機能を有する装置である。この医療手技学習者端末6は、例えば、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン等により実現される。
<ハードウェア構成>
図3は、本実施形態に係るサーバ1のハードウェア構成を示すブロック図である。
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
図3は、本実施形態に係るサーバ1のハードウェア構成を示すブロック図である。
サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
CPU11は、ROM12に記憶されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。すなわち、CPU11は、プログラムに従って各種の処理を実行する、サーバ1全体の動作を制御するプロセッサである。また、プログラムは、例えば、サーバ1の各部を動作させるためのオペレーティングシステムやファームウェア、或いは、後述の機能ブロックを実現するためのアプリケーションソフトウェアといったプログラムである。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。
入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。
入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
出力部16は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
入力部17は、キーボードやマウス、マイク等で構成され、編集者(ユーザ)の指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。なお、例えば、タッチパネルにより、出力部16と入力部17とを一体にして実現してもよい。
入力部17は、キーボードやマウス、マイク等で構成され、編集者(ユーザ)の指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。なお、例えば、タッチパネルにより、出力部16と入力部17とを一体にして実現してもよい。
記憶部18は、サーバ1が情報処理を実行するために必要な各種データを記憶するものであって、例えば、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成される。
通信部19は、インターネットを含むネットワークNを介して他の装置との間で通信を行う。
通信部19は、インターネットを含むネットワークNを介して他の装置との間で通信を行う。
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
なお、サーバ1は単体で動作する装置に限らず、ネットワークNを介して通信を行うことで協調動作する分散型サーバシステムや、クラウドサーバでもよい。
<機能構成>
図4は、本実施形態に係るサーバ1における機能的構成の一例を示す機能ブロック図である。
サーバ1のCPU11においては、動作する際に、映像取得部31、手技情報取得部32、しおり作成部33、音声認識部34、重み付け部35、編集医療映像送信部36、映像抽出部37、タイムスタンプ取得部38、医療映像提供部39、視聴状況確認部40等が機能する。
すなわち、本実施形態に係るサーバ1は、補助記憶装置(例えば、ROM)に記憶された各種のプログラム(OS、アプリケーション等)が主記憶装置(RAM)にロードされ、CPU11により実行されることによって、映像取得部31、手技情報取得部32、しおり作成部33、音声認識部34、重み付け部35、編集医療映像送信部36、映像抽出部37、タイムスタンプ取得部38、医療映像提供部39、視聴状況確認部40を含む装置として機能する。
図4は、本実施形態に係るサーバ1における機能的構成の一例を示す機能ブロック図である。
サーバ1のCPU11においては、動作する際に、映像取得部31、手技情報取得部32、しおり作成部33、音声認識部34、重み付け部35、編集医療映像送信部36、映像抽出部37、タイムスタンプ取得部38、医療映像提供部39、視聴状況確認部40等が機能する。
すなわち、本実施形態に係るサーバ1は、補助記憶装置(例えば、ROM)に記憶された各種のプログラム(OS、アプリケーション等)が主記憶装置(RAM)にロードされ、CPU11により実行されることによって、映像取得部31、手技情報取得部32、しおり作成部33、音声認識部34、重み付け部35、編集医療映像送信部36、映像抽出部37、タイムスタンプ取得部38、医療映像提供部39、視聴状況確認部40を含む装置として機能する。
≪映像取得部31≫
映像取得部31(医療映像取得手段)は、医療行為の手技に関する医療映像情報を取得する。つまり、映像取得部31は、ビデオカメラ2が撮影して取得した医療映像情報を取得する。
映像取得部31(医療映像取得手段)は、医療行為の手技に関する医療映像情報を取得する。つまり、映像取得部31は、ビデオカメラ2が撮影して取得した医療映像情報を取得する。
≪手技情報取得部32≫
手技情報取得部32(手技情報取得手段)は、医療行為に伴って発生する手技に関する医療情報を取得する。
医療情報とは、例えば、医療行為(手技)中に医療行為者から発せられる音声や、医療行為中の患者に装着して測定される、誘発電位や脳波等の生体情報(測定値)等をいう。
つまり、手技情報取得部32は、音声情報を取得するマイク3Aから医療情報として音声情報を取得すると共に、患者の生体情報を取得する生体情報測定装置3Bから医療情報として生体情報を取得する。
手技情報取得部32(手技情報取得手段)は、医療行為に伴って発生する手技に関する医療情報を取得する。
医療情報とは、例えば、医療行為(手技)中に医療行為者から発せられる音声や、医療行為中の患者に装着して測定される、誘発電位や脳波等の生体情報(測定値)等をいう。
つまり、手技情報取得部32は、音声情報を取得するマイク3Aから医療情報として音声情報を取得すると共に、患者の生体情報を取得する生体情報測定装置3Bから医療情報として生体情報を取得する。
≪しおり作成部33≫
しおり作成部33は、手技情報取得部32で取得した医療情報が、医療行為者が選択した編集条件に該当することに伴って、医療情報に関連付けられた医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与する。
しおり作成部33は、手技情報取得部32で取得した医療情報が、医療行為者が選択した編集条件に該当することに伴って、医療情報に関連付けられた医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与する。
編集条件とは、例えば、特定のワード(トリガーワード)であって、具体的には、「重要」、「録画」等である。例えば、特定の医療行為者の音声を認識して、当該音声のテキスト内に上述の特定のワードが含まれている場合に、編集条件に該当するものとする。なお、医療行為者ごとの音声を識別してもよく、予め医療行為者の音声情報を登録しておき、声紋認証が可能なようしてもよい。その他、編集条件には、モニタのデータ(例えば、心拍データ)の大きな(所定値以上の)変動が生じた場合も含まれる。
これにより、編集条件に該当する、医療行為者のコメントや、声紋により区別した特定の医療行為者の音声が取得された場合に、医療映像情報に自動的にしおり情報を付与したり、特定の医療行為者が発したコメントだけを医療映像情報に付与したりすることができる。
なお、編集条件は、記憶部18に記憶されているものとする。
これにより、編集条件に該当する、医療行為者のコメントや、声紋により区別した特定の医療行為者の音声が取得された場合に、医療映像情報に自動的にしおり情報を付与したり、特定の医療行為者が発したコメントだけを医療映像情報に付与したりすることができる。
なお、編集条件は、記憶部18に記憶されているものとする。
「しおり情報」とは、医療映像情報の経時的な所定の位置に対して付与されるタグデータであって、視覚的に認識でき、かつ、機械的なサーチ検索が可能となる目印である。この経時的な位置は、医療映像情報の時間軸と言い換えることができる。
また、「しおり情報を付与する」とは、医療映像情報の学習者に注目させるサーチ検索可能なタグデータを特定の時刻に対応付けることであって、言い換えれば、医療映像情報の所定の位置に目印(しおり)を関連付けることをいう。
ゆえに、医療映像情報にしおり情報を付与することで、医療映像を閲覧する学習者の操作の他、ソフトウェア上でサーチ検索することができ、医療映像の見たい位置を探して即座に移動(ジャンプ)できるようにするナビゲーション機能を有するものとなっている。
これにより、医療映像のポイントとなる重要な部分を繰り返し視聴することができ、効率良く、効果的に外科手技を学習することができる。また、上述のしおり情報が付与された近辺の動画のみを抽出した別の動画データを生成することもできる。
また、「しおり情報を付与する」とは、医療映像情報の学習者に注目させるサーチ検索可能なタグデータを特定の時刻に対応付けることであって、言い換えれば、医療映像情報の所定の位置に目印(しおり)を関連付けることをいう。
ゆえに、医療映像情報にしおり情報を付与することで、医療映像を閲覧する学習者の操作の他、ソフトウェア上でサーチ検索することができ、医療映像の見たい位置を探して即座に移動(ジャンプ)できるようにするナビゲーション機能を有するものとなっている。
これにより、医療映像のポイントとなる重要な部分を繰り返し視聴することができ、効率良く、効果的に外科手技を学習することができる。また、上述のしおり情報が付与された近辺の動画のみを抽出した別の動画データを生成することもできる。
また、しおり作成部33は、医療情報が医療行為中に測定される生体情報であるとき、編集条件に該当する生体情報の測定値が所定の範囲内から逸脱した場合に、医療映像情報に対してしおり情報を関連付けて付与してもよい。
これにより、上述のアクシデンタルな状況が生じた際、対応する際の手技を学習するための映像データを生成することができる。
これにより、上述のアクシデンタルな状況が生じた際、対応する際の手技を学習するための映像データを生成することができる。
さらに、しおり作成部33は、後述する視聴状況確認部40により特定される開始位置に、しおり情報を関連付けてさらに付与する。つまり、学習者が編集映像情報の視聴中に巻き戻し再生した回数を視聴状況確認部40が確認し、巻き戻し再生回数が所定の回数以上である場合に、しおり作成部33は、巻き戻しによる再生の開始位置を認識できるように追加でしおり情報を付与する。
これにより、他の学習者がどのような外科手技に興味を持って学習しているのか確認すると共に、自らもその外科手技を学習することができる。
これにより、他の学習者がどのような外科手技に興味を持って学習しているのか確認すると共に、自らもその外科手技を学習することができる。
なお、しおり作成部33は、上述のトリガーワードを用いない場合でも、しおり情報を付与してもよい。例えば、しおり作成部33は、音声(発話)の開始と終了を認識して、当該音声に対して、しおり情報を付与してもよい。
また、しおり作成部33は、音声が途切れる場合でも、複数の音声に対してしおり情報を付与してもよい。ここで、音声が途切れる場合に、1つ目の音声(発話内容)と、2つ目の音声とにおける関連性に基づいて、これらの複数の音声に対して、1つのしおり情報を付与する。
関連性については、例えば、2つの音声から得られるテキストを、所定の解析部によって解析して、一致度が所定の値より高い場合に関連性ありと判断され、一致度が所定の値より低い場合に関連性なしと判断されるとよい。なお、2つの音声の間の空白時間が、所定の時間より短い場合に、関連性ありと判断されてもよい。
また、しおり作成部33は、音声が途切れる場合でも、複数の音声に対してしおり情報を付与してもよい。ここで、音声が途切れる場合に、1つ目の音声(発話内容)と、2つ目の音声とにおける関連性に基づいて、これらの複数の音声に対して、1つのしおり情報を付与する。
関連性については、例えば、2つの音声から得られるテキストを、所定の解析部によって解析して、一致度が所定の値より高い場合に関連性ありと判断され、一致度が所定の値より低い場合に関連性なしと判断されるとよい。なお、2つの音声の間の空白時間が、所定の時間より短い場合に、関連性ありと判断されてもよい。
≪音声認識部34≫
音声認識部34(関連付け手段)は、種々の音声認識技術を用いて、編集条件に該当する音声情報からテキスト情報(コメント)を生成し、医療映像情報に関連付けて付与する。すなわち、音声認識部34は、編集条件に該当する音声情報からテキスト情報を生成し、しおり情報が付与された経時的な所定の位置にテキスト情報を関連付ける。
これにより、外科手技において重要な点を、映像と音声だけではなく、文字として視覚によって認識させることができる。
なお、生成されたテキスト情報は、字幕表示の態様で、医療映像情報に付加された状態で、保存されてもよい。
音声認識部34(関連付け手段)は、種々の音声認識技術を用いて、編集条件に該当する音声情報からテキスト情報(コメント)を生成し、医療映像情報に関連付けて付与する。すなわち、音声認識部34は、編集条件に該当する音声情報からテキスト情報を生成し、しおり情報が付与された経時的な所定の位置にテキスト情報を関連付ける。
これにより、外科手技において重要な点を、映像と音声だけではなく、文字として視覚によって認識させることができる。
なお、生成されたテキスト情報は、字幕表示の態様で、医療映像情報に付加された状態で、保存されてもよい。
また、音声認識部34は、音声情報に基づいて、発話者を認識してもよい。例えば、音声認識部34は、音声情報において、声帯情報から発話者を区別することができる。
また、予め発話者を登録したり、医療映像情報を取得後に発話者の所定の属性(手技者、監督者、承認者、看護師、検査技師など)を登録することで、発話者ごとのしおり情報を作成してもよい。これにより、手技を担当した医師と、当該手技を承認した医師(例えば、上級医)とを区別することができ、しおりも分けて保存および管理することができる。また、当該手技の承認者を明確にすることができる。さらに、手技が行われる現場には、複数の関係者(例えば、看護師、検査技師)がいるため、各関係者の目線で手術記録(しおり)を作成することができる。
また、予め発話者を登録したり、医療映像情報を取得後に発話者の所定の属性(手技者、監督者、承認者、看護師、検査技師など)を登録することで、発話者ごとのしおり情報を作成してもよい。これにより、手技を担当した医師と、当該手技を承認した医師(例えば、上級医)とを区別することができ、しおりも分けて保存および管理することができる。また、当該手技の承認者を明確にすることができる。さらに、手技が行われる現場には、複数の関係者(例えば、看護師、検査技師)がいるため、各関係者の目線で手術記録(しおり)を作成することができる。
また、音声認識部34は、テキスト情報をリアルタイムに生成してもよいが、手術後に、所定の音声処理エンジンを用いて、テキスト情報を生成してもよい(オフライン処理)。これにより、リアルタイムの場合に生じる誤変換またはご認識を修正することができる。
また、音声認識部34は、テキスト情報をリアルタイムに生成する際、クラウド環境における別サーバによってテキスト情報を生成してもよいが、オンプレミス環境における別サーバによってテキスト情報を生成してもよい。なお、この際、オンプレミス環境において、所定のAI(Artificial Intellignece)を用いてテキスト情報を生成してもよい。これにより、医療情報のような機密情報を、セキュリティが確保された環境において、テキスト情報に変換することができる。
また、音声認識部34は、テキスト情報をリアルタイムに生成する際、クラウド環境における別サーバによってテキスト情報を生成してもよいが、オンプレミス環境における別サーバによってテキスト情報を生成してもよい。なお、この際、オンプレミス環境において、所定のAI(Artificial Intellignece)を用いてテキスト情報を生成してもよい。これにより、医療情報のような機密情報を、セキュリティが確保された環境において、テキスト情報に変換することができる。
≪重み付け部35≫
重み付け部35は、編集条件に対応する重要度に応じ、しおり情報及びテキスト情報のうち少なくとも何れか一方に対して、視覚的に識別が可能となる重み情報を付与する。すなわち、表示制御部(不図示)が、しおり情報及び医療映像情報を所定の表示部(例えば、ティスプレイ)に表示するとき、編集条件に対応する重要度に応じ、表示制御部によって表示されたしおり情報に対して、視覚的に識別が可能となる重み情報を付与する。
重み情報を付与することとしては、例えば、編集した医療映像を視聴した際、映像と共に画面に映し出されるしおりの色彩や形状、大きさ、数を重要度に応じて変更したり、模様を付したり、同じく映像と共に画面に映し出されるテキスト(文字)を太字や斜体にしたり、下線を付したり、しおりやテキストをハイライト点滅させたり指示することが挙げられる。
これにより、外科手技において重要な点をしおりやテキストによって認識するだけではなく、外科手技の重要度の強弱を一目で判断することができる。なお、重要度は、上述の編集条件ごとに予め設定されていてもよく、上述の音声認識によって識別されてもよい。
重み付け部35は、編集条件に対応する重要度に応じ、しおり情報及びテキスト情報のうち少なくとも何れか一方に対して、視覚的に識別が可能となる重み情報を付与する。すなわち、表示制御部(不図示)が、しおり情報及び医療映像情報を所定の表示部(例えば、ティスプレイ)に表示するとき、編集条件に対応する重要度に応じ、表示制御部によって表示されたしおり情報に対して、視覚的に識別が可能となる重み情報を付与する。
重み情報を付与することとしては、例えば、編集した医療映像を視聴した際、映像と共に画面に映し出されるしおりの色彩や形状、大きさ、数を重要度に応じて変更したり、模様を付したり、同じく映像と共に画面に映し出されるテキスト(文字)を太字や斜体にしたり、下線を付したり、しおりやテキストをハイライト点滅させたり指示することが挙げられる。
これにより、外科手技において重要な点をしおりやテキストによって認識するだけではなく、外科手技の重要度の強弱を一目で判断することができる。なお、重要度は、上述の編集条件ごとに予め設定されていてもよく、上述の音声認識によって識別されてもよい。
≪編集医療映像送信部36≫
編集医療映像送信部36は、しおり情報が付与された医療映像情報を外部記憶装置へ記憶させる。外部記憶装置としては、例えば、クラウドサーバを挙げることができる。
編集医療映像送信部36は、しおり情報が付与された医療映像情報を外部記憶装置へ記憶させる。外部記憶装置としては、例えば、クラウドサーバを挙げることができる。
≪映像抽出部37≫
映像抽出部37は、しおり情報が付与されたとき、当該しおり情報が付与された位置の前後における所定時間(例えば、前後5分)の医療映像情報を編集医療映像情報として抽出する。
すなわち、しおり情報を付与することで編集された元の医療映像データとは異なる、重要な部分だけを抜粋した医療映像データを生成する。
これにより、元の医療映像データを検索することなく、重要な外科手技に関する所望の医療映像を効率良く視聴することができる。
なお、映像抽出部37は、上述の重要度や編集条件に応じて、上述の所定時間を変えてもよい。例えば、映像抽出部37は、重要度が高い程、上述の所定時間を長くしてもよい。
また、映像抽出部37は、上述の重要度や編集条件に応じて、しおり情報が付与された位置の前の所定時間又は後の所定時間を変更してもよい。例えば、映像抽出部37は、上述のアクシデンタルな状況が起きた場合に、上述のしおり情報が付与された位置の前の所要時間TM1より、後の所用時間TN2の方を長くしてもよい。
映像抽出部37は、しおり情報が付与されたとき、当該しおり情報が付与された位置の前後における所定時間(例えば、前後5分)の医療映像情報を編集医療映像情報として抽出する。
すなわち、しおり情報を付与することで編集された元の医療映像データとは異なる、重要な部分だけを抜粋した医療映像データを生成する。
これにより、元の医療映像データを検索することなく、重要な外科手技に関する所望の医療映像を効率良く視聴することができる。
なお、映像抽出部37は、上述の重要度や編集条件に応じて、上述の所定時間を変えてもよい。例えば、映像抽出部37は、重要度が高い程、上述の所定時間を長くしてもよい。
また、映像抽出部37は、上述の重要度や編集条件に応じて、しおり情報が付与された位置の前の所定時間又は後の所定時間を変更してもよい。例えば、映像抽出部37は、上述のアクシデンタルな状況が起きた場合に、上述のしおり情報が付与された位置の前の所要時間TM1より、後の所用時間TN2の方を長くしてもよい。
≪タイムスタンプ取得部38≫
タイムスタンプ取得部38は、しおり情報が付与されたとき、編集映像情報のハッシュ値に関してタイムスタンプトークンの発行を要求し、発行されたタイムスタンプトークンを、編集映像情報と共に、後述する編集医療映像DB41に記憶する。
タイムスタンプトークンの発行要求は、例えば、時刻認証業務認定事業者(TSA)に対して行い、このTSAより発行されるタイムスタンプトークンを取得する。
つまり、タイムスタンプ取得部38は、TSAよって運営されている時刻認証局のタイムスタンプサーバへ、編集映像情報のハッシュ値を指定してタイムスタンプ要求を送信する。時刻認証局(タイムスタンプサーバ)は、編集映像情報のハッシュ値に時刻認証局で受け付けた時刻を付与し、時刻認証局の電子証明書を付けたタイムスタンプトークンを返送する。そして、タイムスタンプ取得部38は、時刻認証局のタイムスタンプサーバから返送されたタイムスタンプトークンを取得する。
これにより、タイムスタンプトークンによって、データが処理された時刻が証明可能となり、何らかの争いが生じた際に信頼度の高い医療映像情報として、第三者に対抗することができるものとなる。また、データが改ざんされていないことの証明も可能なので、音声から発話者を識別して誰が発したコメントなのか特定し、何らかの争いが生じた際に信憑性を疑われることなく証明することができる。
タイムスタンプ取得部38は、しおり情報が付与されたとき、編集映像情報のハッシュ値に関してタイムスタンプトークンの発行を要求し、発行されたタイムスタンプトークンを、編集映像情報と共に、後述する編集医療映像DB41に記憶する。
タイムスタンプトークンの発行要求は、例えば、時刻認証業務認定事業者(TSA)に対して行い、このTSAより発行されるタイムスタンプトークンを取得する。
つまり、タイムスタンプ取得部38は、TSAよって運営されている時刻認証局のタイムスタンプサーバへ、編集映像情報のハッシュ値を指定してタイムスタンプ要求を送信する。時刻認証局(タイムスタンプサーバ)は、編集映像情報のハッシュ値に時刻認証局で受け付けた時刻を付与し、時刻認証局の電子証明書を付けたタイムスタンプトークンを返送する。そして、タイムスタンプ取得部38は、時刻認証局のタイムスタンプサーバから返送されたタイムスタンプトークンを取得する。
これにより、タイムスタンプトークンによって、データが処理された時刻が証明可能となり、何らかの争いが生じた際に信頼度の高い医療映像情報として、第三者に対抗することができるものとなる。また、データが改ざんされていないことの証明も可能なので、音声から発話者を識別して誰が発したコメントなのか特定し、何らかの争いが生じた際に信憑性を疑われることなく証明することができる。
また、この情報の正当性を示すため、電子署名を付加することも好ましい。
電子署名は、あるファイルが、署名者によって確認された後に改竄されていないことを証明するための技術である。
ゆえに、タイムスタンプと電子署名を組合せることで、電子ファイルが、ある時間に署名者によって作成され、それ以降に偽造も改竄もされていないことを確認することが可能となる。
電子署名は、あるファイルが、署名者によって確認された後に改竄されていないことを証明するための技術である。
ゆえに、タイムスタンプと電子署名を組合せることで、電子ファイルが、ある時間に署名者によって作成され、それ以降に偽造も改竄もされていないことを確認することが可能となる。
≪医療映像提供部39≫
医療映像提供部39は、医療映像情報の視聴要求を受け付け、編集医療映像DB41に記憶する編集映像情報を送信する。
すなわち、医療映像提供部39は、医療手技学習者端末6から編集映像情報の視聴が要求されたとき、その医療映像を提供する。
また、医療映像提供部39は、ユーザの所望の医療映像情報を送信するとよい。例えば、医療映像提供部39は、ユーザからキーワードを取得すると、当該キーワードに対応したシーンを医療映像情報からピックアップして、当該シーン(または対応するしおり)を点滅したり、色を変更したり、拡大等を行うとよい。
医療映像提供部39は、医療映像情報の視聴要求を受け付け、編集医療映像DB41に記憶する編集映像情報を送信する。
すなわち、医療映像提供部39は、医療手技学習者端末6から編集映像情報の視聴が要求されたとき、その医療映像を提供する。
また、医療映像提供部39は、ユーザの所望の医療映像情報を送信するとよい。例えば、医療映像提供部39は、ユーザからキーワードを取得すると、当該キーワードに対応したシーンを医療映像情報からピックアップして、当該シーン(または対応するしおり)を点滅したり、色を変更したり、拡大等を行うとよい。
≪視聴状況確認部40≫
視聴状況確認部40は、編集映像情報の視聴状況を確認し、巻き戻しによる再生が所定の数以上の経時的な開始位置を特定する。
つまり、視聴状況確認部40は、学習者が興味を持って繰り返し視聴している内容を、巻き戻し再生回数と、その再生開始位置から読み取ることで、多くの学習者に情報を提供すべく、しおり情報を追加で付与する。
視聴状況確認部40は、編集映像情報の視聴状況を確認し、巻き戻しによる再生が所定の数以上の経時的な開始位置を特定する。
つまり、視聴状況確認部40は、学習者が興味を持って繰り返し視聴している内容を、巻き戻し再生回数と、その再生開始位置から読み取ることで、多くの学習者に情報を提供すべく、しおり情報を追加で付与する。
また、図4に示すサーバ1の記憶部18においては、編集医療映像DB41が設けられている。
編集医療映像DB41は、しおり情報が付与された編集映像情報を記憶する。
編集医療映像DB41は、しおり情報が付与された編集映像情報を記憶する。
<処理内容>
図5は、本発明の実施形態に係る医療映像編集処理の一例を示す図である。
ステップS11において、映像取得部31が、医療行為の手技に関する医療映像情報を取得すると共に、手技情報取得部32が、医療行為に伴って発生する手技に重要な医療情報を取得する処理を行う。
図5は、本発明の実施形態に係る医療映像編集処理の一例を示す図である。
ステップS11において、映像取得部31が、医療行為の手技に関する医療映像情報を取得すると共に、手技情報取得部32が、医療行為に伴って発生する手技に重要な医療情報を取得する処理を行う。
次に、ステップS12において、しおり作成部33は、医療行為者が選択した編集条件に該当するか否か判定する処理を行う。
その結果、しおり作成部33が、医療行為者が選択した編集条件に該当すると判定した場合(S12-YES)、ステップS13に進み、そうでない場合(S12-NO)はステップS14に進む。
その結果、しおり作成部33が、医療行為者が選択した編集条件に該当すると判定した場合(S12-YES)、ステップS13に進み、そうでない場合(S12-NO)はステップS14に進む。
ステップS13において、しおり作成部33は、医療情報に関連付けられた医療映像情報の経時的な所定の位置に、視覚的に認識でき、かつ、機械的な検索が可能となるしおり情報を関連付けて付与する処理を行う。
ステップS14において、映像取得部31は、引き続き医療映像情報(フレーム)の取得が有るか否か判定する処理を行う。その結果、映像取得部31は、医療映像情報の取得は無いと判定した場合(S14-YES)、サーバ1での一連の動作は終了する(END)。
一方、映像取得部31は、医療映像情報の取得が有ると判定した場合(S14-NO)、ステップS11に進む。
以上がサーバ1での基本的な医療映像編集処理の流れとなる。
一方、映像取得部31は、医療映像情報の取得が有ると判定した場合(S14-NO)、ステップS11に進む。
以上がサーバ1での基本的な医療映像編集処理の流れとなる。
次に、サーバ1での詳細な医療映像編集処理の流れについて説明する。
図6は、本発明の実施形態に係る医療映像編集処理の具体例を示す図である。本実施形態では、手技情報取得部32が、医療情報として手技者である医療行為者の音声情報を取得する場合を例に説明する。
図6は、本発明の実施形態に係る医療映像編集処理の具体例を示す図である。本実施形態では、手技情報取得部32が、医療情報として手技者である医療行為者の音声情報を取得する場合を例に説明する。
まず、ステップS101において、映像取得部31が、医療行為の手技に関する医療映像情報を取得すると共に、手技情報取得部32が、医療行為に伴って発生する手技に重要な音声情報を取得する処理を行う。
次に、ステップS102において、しおり作成部33は、医療行為者が選択した編集条件に該当するか否か、すなわち、音声情報の中に編集条件に該当する音声が含まれているか否かを判定する処理を行う。
その結果、しおり作成部33が、医療行為者が選択した編集条件に該当する音声情報があると判定した場合(S102-YES)、ステップS103へ進み、そうでない場合(S102-NO)はステップS108へ進む。
その結果、しおり作成部33が、医療行為者が選択した編集条件に該当する音声情報があると判定した場合(S102-YES)、ステップS103へ進み、そうでない場合(S102-NO)はステップS108へ進む。
ステップS103において、音声認識部34は、取得した音声情報に基づいて音声認識を開始する処理を行う。
音声認識の開始後、ステップS104において、音声認識部34は、発話に基づいてリアルタイムに音声を認識し、音声情報に基づいてテキスト情報を生成する処理を行う。
音声認識の開始後、ステップS104において、音声認識部34は、発話に基づいてリアルタイムに音声を認識し、音声情報に基づいてテキスト情報を生成する処理を行う。
ステップS105において、しおり作成部33は、音声情報に関連付けられた医療映像情報の経時的な所定の位置に、しおり情報又はコメント情報等を関連付けて付与する処理を行う。
ここで、しおり情報は、例えば、図7のように示すことができる。図7は、医療映像編集者端末5に表示される画面構成の例を示す模式図であり、医療映像編集者端末5のモニタ画面50に、ビデオ画面51と、フレーム52と、しおり53を少なくとも含む、医療映像情報編集画面が示されている。
図7において、しおり53は、フレーム52に関連付けて三つ示されている。
図7において、しおり53は、フレーム52に関連付けて三つ示されている。
また、しおり情報は、例えば、図8のように示すことができる。図8は、医療手技学習者端末6に表示される画面構成の例を示す模式図であり、医療手技学習者端末6のモニタ画面60に、ビデオ画面61と、ビデオタイムライン62と、しおり63を少なくとも含む、編集映像情報視聴画面が示されている。
図8において、しおり63は、ビデオタイムライン62に関連付けて四つ示されていると共に、ビデオ画面61の右上に、手技において重要な個所を現在視聴していることを示すしおり63が示されている。このビデオ画面61の右上に示されるしおり63は、必ず表示されるものではなく、所望に応じて適宜設計することができる。
図8において、しおり63は、ビデオタイムライン62に関連付けて四つ示されていると共に、ビデオ画面61の右上に、手技において重要な個所を現在視聴していることを示すしおり63が示されている。このビデオ画面61の右上に示されるしおり63は、必ず表示されるものではなく、所望に応じて適宜設計することができる。
また、コメント情報は、例えば、図9のように示すことができる。図9は、医療手技学習者端末6に表示される画面構成の例を示す模式図であり、医療手技学習者端末6のモニタ画面60に、ビデオ画面61と、ビデオタイムライン62と、しおり63と、コメント64を少なくとも含む、編集映像情報視聴画面が示されている。
図9において、ビデオタイムライン62上を動く再生ヘッド65が、最初のしおり63Fに差し掛かったとき、ビデオ画面61の下欄中央に「ここは要注意!」という医療行為者のコメント64が表示されることが示されている。
図9において、ビデオタイムライン62上を動く再生ヘッド65が、最初のしおり63Fに差し掛かったとき、ビデオ画面61の下欄中央に「ここは要注意!」という医療行為者のコメント64が表示されることが示されている。
ステップS106において、重み付け部35が、編集条件の重要度に応じ、しおり情報やテキスト情報に対して、視覚的に識別が可能となる重み付けを付与する重み情報はあるか否かを判定する処理を行う。
その結果、ステップS106において、重み付け部35が、重み情報を付与すると判定した場合(S106-YES)、ステップS107に進み、そうでない場合はステップS108に進む。
その結果、ステップS106において、重み付け部35が、重み情報を付与すると判定した場合(S106-YES)、ステップS107に進み、そうでない場合はステップS108に進む。
ステップS107において、重み付け部35は、しおり情報に対し、色彩や形状、大きさ、数を変えたり、模様を付したりする重み付けを付与すると共に、コメント情報等のテキスト情報に対し、色彩を変えたり、テキストの太さを変えたり、書体を変えたり、下線を付したりする重み付けを付与する処理を行う。
ここで、しおり情報に対し付与する重み情報は、例えば、図10及び図11に示すことができる。図10及び図11は、医療手技学習者端末6に表示される画面構成の例を示す模式図である。
図10は、医療手技学習者端末6のモニタ画面60に、ビデオ画面61と、ビデオタイムライン62と、しおり63を少なくとも含む、編集映像情報視聴画面であって、図10において、ビデオタイムライン62に関連付けて示されている四つのしおり63が、手技内容の重要度に応じて、白抜きのしおり63A(重要度:小)と、網掛けのしおり63B(重要度:中)と、黒塗りしおり63C(重要度:大)で示されている。なお、図10に示す例では、重要度が低い程、しおりの色を白く、重要度が高い程しおりの色を黒くしたが、これに限定されない。
図11は、医療手技学習者端末6のモニタ画面60に、ビデオ画面61と、ビデオタイムライン62と、しおり63を少なくとも含む、編集映像情報視聴画面であって、図11において、ビデオタイムライン62に関連付けて示されている四つのしおり63が、手技内容の重要度に応じて、白抜きのしおり63Aと、二枚のしおり63Dと、三枚のしおり63Eで(重要度が高い程、しおりの枚数が多くなるように)示されている。
また、ステップS108において、音声認識部34は、終了指示を受け付けたか否か判定する処理を行う。
その結果、ステップS108において、音声認識部34が、終了指示を受け付けたと判定した場合(S108-YES)はステップS109に進み、そうでない場合はステップS101に進む。
その結果、ステップS108において、音声認識部34が、終了指示を受け付けたと判定した場合(S108-YES)はステップS109に進み、そうでない場合はステップS101に進む。
ステップS109において、音声認識部34は、音声認識を終了する処理を行う。
ステップS110において、音声認識部34が音声認識を終了した後、タイムスタンプ取得部38が、所定の機関に対してタイムスタンプトークンの発行を要求し、発行されたタイムスタンプトークン情報を取得する処理を行う。
ステップS111において、編集医療映像送信部36は、編集映像情報と共に、取得したタイムスタンプトークン情報を、所定の記憶部、例えば、外部記憶装置へ記憶する処理を行う。
また、映像情報にしおり情報が付与されたことに伴い、ステップS112において、映像抽出部37は、しおり情報が付与された医療映像情報の重要な箇所を部分的に抽出するか否か判定する処理を行う。
そして、ステップS112において、映像抽出部37が、医療映像情報の重要な箇所を部分的に抽出すると判定した場合(S112-YES)はステップS113に進み、そうでない場合(S112-NO)は、一連の動作は終了する(END)。
そして、ステップS112において、映像抽出部37が、医療映像情報の重要な箇所を部分的に抽出すると判定した場合(S112-YES)はステップS113に進み、そうでない場合(S112-NO)は、一連の動作は終了する(END)。
ステップS113において、映像抽出部37は、しおり情報を付与した位置の前後所定時間分の医療映像情報を抽出する処理を行う。
ステップS114において、編集医療映像送信部36は、抽出した部分編集映像情報を、編集映像情報として外部記憶装置へ記憶する処理を行う。
なお、上述した一連の編集作業は自動で処理されるものとなっているが、これに限定されず、手動で編集作業を行うこともできる。
すなわち、手動で行う編集作業は、サーバ1が、医療行為の手技に関する医療映像情報だけを取得して医療映像編集者端末5のモニタ画面50に表示し、別途音響装置(マイク)をサーバ1に接続して、編集者が医療映像を見ながら、重要な個所で音声を発することで、手技情報取得部32が音声情報を取得し、医療映像情報にしおり情報を付与するものである。
すなわち、手動で行う編集作業は、サーバ1が、医療行為の手技に関する医療映像情報だけを取得して医療映像編集者端末5のモニタ画面50に表示し、別途音響装置(マイク)をサーバ1に接続して、編集者が医療映像を見ながら、重要な個所で音声を発することで、手技情報取得部32が音声情報を取得し、医療映像情報にしおり情報を付与するものである。
以上、手技情報取得部32が医療情報として、手技者である医療行為者の音声情報を取得する場合を例に、本発明の実施形態に係る医療映像編集処理の具体例を説明したが、手技情報取得部32が医療情報として、患者の生体情報を取得する場合の具体例について、図12を用いて説明する。
ステップS201において、映像取得部31が、医療行為の手技に関する医療映像情報を取得すると共に、手技情報取得部32が、医療行為に伴って発生する手技に重要な測定値情報を取得する処理を行う。
ステップS202において、しおり作成部33が、医療行為者が選択した編集条件に該当するか否か、すなわち、測定値情報の中に編集条件に該当する生体異常情報が含まれているか否かを判定する処理を行う。
なお、生体異常情報は、例えば、生体情報測定装置3Bより送られてくる生体情報の測定値が、手技中に所定の閾値を超えたことを知らせる情報のことをいう。
ステップS202において、しおり作成部33が、医療行為者が選択した編集条件に該当する測定値情報があると判定した場合(S202-YES)はステップS203に進み、そうでない場合はステップS206に進む。
なお、生体異常情報は、例えば、生体情報測定装置3Bより送られてくる生体情報の測定値が、手技中に所定の閾値を超えたことを知らせる情報のことをいう。
ステップS202において、しおり作成部33が、医療行為者が選択した編集条件に該当する測定値情報があると判定した場合(S202-YES)はステップS203に進み、そうでない場合はステップS206に進む。
ステップS203~S205の処理は、上述のステップS105~S107の処理と同様のため説明は省略する。
ステップS206において、手技情報取得部32は、測定値情報の取得が有るか否か判定する処理を行う。
その結果、ステップS206において、手技情報取得部32が、測定値情報の取得が無いと判定した場合(S206-YES)はステップS207に進み、そうでない場合はステップS201に進む。
その結果、ステップS206において、手技情報取得部32が、測定値情報の取得が無いと判定した場合(S206-YES)はステップS207に進み、そうでない場合はステップS201に進む。
ステップS207~S211の処理は、上述のステップS110~S114の処理と同様のため、説明は省略する。
また、本発明では、編集医療映像を視聴する学習者の所定の行動に基づいて、自動で医療映像情報にしおりを付与する編集作業を行うものとすることもできる。
すなわち、学習者の所定の行動に基づく編集作業は、サーバ1が、医療手技学習者端末6へ編集映像情報を提供し、この編集映像情報の視聴状況を確認して、巻き戻しによる再生が所定の回数以上となる経時的な開始位置に、さらにしおりを付与するというものである。
すなわち、学習者の所定の行動に基づく編集作業は、サーバ1が、医療手技学習者端末6へ編集映像情報を提供し、この編集映像情報の視聴状況を確認して、巻き戻しによる再生が所定の回数以上となる経時的な開始位置に、さらにしおりを付与するというものである。
以下、図13に基づいて、本発明の実施形態に係る医療映像編集処理の他の例を説明する。
ステップS301において、医療映像提供部39が、医療手技学習者端末6から編集映像情報の視聴要求を受け付ける処理を行う。
ステップS302において、医療映像提供部39が、要求のあった所定の編集映像情報を医療手技学習者端末6に対して送信する処理を行う。
ステップS301において、医療映像提供部39が、医療手技学習者端末6から編集映像情報の視聴要求を受け付ける処理を行う。
ステップS302において、医療映像提供部39が、要求のあった所定の編集映像情報を医療手技学習者端末6に対して送信する処理を行う。
ステップS303において、視聴状況確認部40が、医療手技学習者端末6へ提供した編集映像情報の視聴状況を確認する処理を行う。
ステップS304において、視聴状況確認部40は、所定の回数以上の巻き戻しによる再生開始位置があるか否か判定する処理を行う。
その結果、ステップS304において、視聴状況確認部40が、所定の回数以上の巻き戻しによる再生開始位置があると判定した場合(S304-YES)はステップS305に進み、そうでない場合(S304-NO)はステップS306に進む。
ステップS304において、視聴状況確認部40は、所定の回数以上の巻き戻しによる再生開始位置があるか否か判定する処理を行う。
その結果、ステップS304において、視聴状況確認部40が、所定の回数以上の巻き戻しによる再生開始位置があると判定した場合(S304-YES)はステップS305に進み、そうでない場合(S304-NO)はステップS306に進む。
ステップS305において、視聴状況確認部40は、その経時的な開始位置を特定する処理を行うと共に、しおり作成部33が、この経時的な開始位置に、視覚的に認識でき、かつ、機械的な検索が可能となるしおり情報を関連付けて付与する処理を行う。
ステップS306において、医療映像提供部39は、提供した編集映像情報の視聴終了指示を受け付けたか否か判定する処理を行う。
ステップS306において、医療映像提供部39が、提供した編集映像情報の視聴終了指示を受け付けたと判定した場合(S306-YES)はステップS307に進み、そうでない場合(S306-NO)はステップS303に進む。
ステップS306において、医療映像提供部39が、提供した編集映像情報の視聴終了指示を受け付けたと判定した場合(S306-YES)はステップS307に進み、そうでない場合(S306-NO)はステップS303に進む。
ステップS307において、しおり作成部33は、編集映像情報を更新し、編集医療映像送信部36が、更新した編集映像情報を外部記憶装置へ記憶する処理を行う。
これにより、サーバ1での一連の動作は終了(END)する。
これにより、サーバ1での一連の動作は終了(END)する。
<本実施形態の有利な効果>
上述の実施形態によれば、手技映像中の重要な部分を正確にトレースすることができ、外科手技の学習者に対して効率良く、効果的に学習することができる、外科手技に関する医療映像を提供することができる。
上述の実施形態によれば、手技映像中の重要な部分を正確にトレースすることができ、外科手技の学習者に対して効率良く、効果的に学習することができる、外科手技に関する医療映像を提供することができる。
以上、本発明の一実施形態について説明したが、上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。また、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は、本発明に含まれるものである。
(その他)
例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実装させることもできる。換言すると、上述の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるかは、特に上述の例に限定されない。
例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実装させることもできる。換言すると、上述の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるかは、特に上述の例に限定されない。
また、機能ブロックの存在場所も、図4に特に限定されず、任意でよい。例えば、サーバの機能ブロックを他の装置等に移譲させてもよい。逆に他の装置の機能ブロックをサーバ等に移譲させてもよい。
また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組合せで構成してもよい。
また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組合せで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば、サーバの他、汎用のスマートフォンや、パーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザ等に提供される記録媒体等で構成される。プログラムはネットワークを介して配信可能であることから、記録媒体は、ネットワークに接続された、或いは接続可能なコンピュータに搭載、或いはアクセス可能なものであってもよい。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組合せることも可能である。さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1:サーバ 2:ビデオカメラ 3:手技情報取得装置
3A:マイク 3B:生体情報測定装置 5:医療映像編集者端末
6:医療手技学習者端末 11:CPU 18:記憶部
19:通信部 31:映像取得部 32:手技情報取得部
33:しおり作成部 34:音声認識部 35:重み付け部
36:編集医療映像送信部 37:映像抽出部 38:タイムスタンプ取得部
39:医療映像提供部 40:視聴状況確認部 41:編集医療映像DB
3A:マイク 3B:生体情報測定装置 5:医療映像編集者端末
6:医療手技学習者端末 11:CPU 18:記憶部
19:通信部 31:映像取得部 32:手技情報取得部
33:しおり作成部 34:音声認識部 35:重み付け部
36:編集医療映像送信部 37:映像抽出部 38:タイムスタンプ取得部
39:医療映像提供部 40:視聴状況確認部 41:編集医療映像DB
Claims (10)
- 医療行為の手技に関する医療映像情報を取得する医療映像取得手段と、
前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得手段と、
前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成手段と、
を備えることを特徴とする医療映像編集システム。 - 前記医療情報には音声情報が含まれ、前記編集条件に該当する前記音声情報からテキスト情報を生成し、前記しおり情報が付与された前記経時的な所定の位置に前記テキスト情報を関連付ける関連付け手段、
をさらに備えることを特徴とする請求項1に記載の医療映像編集システム。 - 前記しおり作成手段は、前記医療情報が前記医療行為中に測定される生体情報であるとき、前記編集条件に該当する前記生体情報の測定値が所定の範囲内から逸脱した場合に、前記医療映像情報に対して前記しおり情報を関連付けて付与する、
ことを特徴とする請求項1又は2に記載の医療映像編集システム。 - 前記しおり情報及び前記医療映像情報を所定の表示手段に表示する表示制御手段と、
前記編集条件に対応する重要度に応じ、前記表示制御手段によって表示された前記しおり情報に対して、視覚的に識別が可能となる重み情報を付与する重み付け手段、
をさらに備えることを特徴とする請求項1から3の何れか一項に記載の医療映像編集システム。 - 前記しおり情報が付与された前記医療映像情報を外部記憶装置へ記憶させる編集医療映像送信手段、
をさらに備えることを特徴とする請求項1から4の何れか一項に記載の医療映像編集システム。 - 前記しおり情報が付与されたとき、当該しおり情報が付与された位置の前後における所定時間の前記医療映像情報を編集医療映像情報として抽出する映像抽出手段、
をさらに備えることを特徴とする請求項1から5の何れか一項に記載の医療映像編集システム。 - 前記しおり情報が付与されたとき、前記医療映像情報のハッシュ値に関してタイムスタンプトークンの発行を要求し、発行されたタイムスタンプトークンを、前記医療映像情報と共に記憶するタイムスタンプ取得手段、
をさらに備えることを特徴とする請求項1から6の何れか一項に記載の医療映像編集システム。 - 前記医療映像情報の視聴要求を受け付け、前記医療映像情報を送信する医療映像提供手段と、
前記医療映像情報の視聴状況を確認し、巻き戻しによる再生が所定の数以上の経時的な開始位置を特定する視聴状況確認手段と、
をさらに備え、
前記しおり作成手段は、特定された前記開始位置に前記しおり情報を関連付けてさらに付与する、
ことを特徴とする請求項1から7の何れか一項に記載の医療映像編集システム。 - 医療行為の手技に関する医療映像情報を取得する医療映像取得ステップと、
前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得ステップと、
前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成ステップと、
を有することを特徴とする医療映像編集方法。 - 医療行為の手技に関する医療映像情報を取得する医療映像取得ステップと、
前記医療行為に伴って発生する前記手技に関する医療情報を取得する手技情報取得ステップと、
前記医療情報が、医療行為者が選択した編集条件に該当することに伴って、前記医療情報に関連付けられた前記医療映像情報の経時的な所定の位置に、しおり情報を関連付けて付与するしおり作成ステップと、
をコンピュータによって実行させるためのコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022053850 | 2022-03-29 | ||
JP2022053850 | 2022-03-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023147256A true JP2023147256A (ja) | 2023-10-12 |
Family
ID=88286844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023049552A Pending JP2023147256A (ja) | 2022-03-29 | 2023-03-27 | 医療映像編集システム、医療映像編集方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023147256A (ja) |
-
2023
- 2023-03-27 JP JP2023049552A patent/JP2023147256A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643487B2 (en) | Communication and skills training using interactive virtual humans | |
US20160103810A1 (en) | Intra-surgical documentation system | |
JP4900551B2 (ja) | 標準的治療プログラムに同期した医療情報処理装置 | |
US11797080B2 (en) | Health simulator | |
Redlich et al. | High fidelity recording of psychotherapeutic interviews | |
CN111654752B (zh) | 多媒体信息播放方法、装置、电子设备及存储介质 | |
JP2019028753A (ja) | 機器制御装置及び機器制御方法 | |
JP2023147256A (ja) | 医療映像編集システム、医療映像編集方法、及びプログラム | |
KR102325506B1 (ko) | 가상현실 기반의 의사소통 개선 시스템 및 방법 | |
CN118103835A (zh) | 对情绪进行视觉标记和热映射 | |
WO2022180862A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180854A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180855A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180858A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180861A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180853A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180856A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180859A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180852A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
WO2022180824A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
US20240127816A1 (en) | Providing context-driven output based on facial micromovements | |
US20240070251A1 (en) | Using facial skin micromovements to identify a user | |
WO2022180857A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
Levy-Landesberg et al. | The Recording Cure: A Media Genealogy of Recorded Voice in Psychotherapy | |
JP2024008205A (ja) | 評価方法、評価装置、および、評価プログラム |