JP2019096961A - 医療安全システム - Google Patents

医療安全システム Download PDF

Info

Publication number
JP2019096961A
JP2019096961A JP2017222866A JP2017222866A JP2019096961A JP 2019096961 A JP2019096961 A JP 2019096961A JP 2017222866 A JP2017222866 A JP 2017222866A JP 2017222866 A JP2017222866 A JP 2017222866A JP 2019096961 A JP2019096961 A JP 2019096961A
Authority
JP
Japan
Prior art keywords
video
image
developed
detected
safety system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017222866A
Other languages
English (en)
Other versions
JP6355146B1 (ja
Inventor
修也 菅野
Shuya Sugano
修也 菅野
みん秀 權
Min-Soo Kwon
みん秀 權
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medi Plus Co Ltd
Original Assignee
Medi Plus Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medi Plus Co Ltd filed Critical Medi Plus Co Ltd
Priority to JP2017222866A priority Critical patent/JP6355146B1/ja
Application granted granted Critical
Publication of JP6355146B1 publication Critical patent/JP6355146B1/ja
Priority to CN201880074894.5A priority patent/CN111373741B/zh
Priority to PCT/JP2018/040760 priority patent/WO2019098052A1/ja
Priority to US16/763,305 priority patent/US20200337798A1/en
Publication of JP2019096961A publication Critical patent/JP2019096961A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供する。【解決手段】手術室を広角撮影した展開映像を記憶するサーバ装置120と、展開映像の一部である部分映像を表示し、展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定するモバイル端末132と、を備える。モバイル端末132は、特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行することを特徴とする。【選択図】図1

Description

本発明は、医療安全システムに関する。
近年、医療過誤や医療事故に対する問題意識が社会全体として向上しており、医療機関に対する情報公開の要請が強まっている。このような社会からの要請に応える取り組みの一環として、施設内に監視カメラを配置して、施設内で発生する種々の事象を撮影して証拠として残すシステム(以下、医療安全システムと称する場合がある)が一部の医療機関において導入されている。
この種の医療安全システムに適用可能な技術を開示している先行技術文献として、下記の特許文献1及び特許文献2を例示する。
特許文献1には、単眼カメラで撮影した全周監視映像から、ユーザが指定した位置情報に従って映像の一部を切り出し、切り出した部分を歪曲補正することによって正対映像を表示する技術が開示されている。
特許文献2には、街中で撮影して得られた動画像データを符号化し、その中に撮影されている重要箇所(例えば、歩行者等)を特定した場合、重要箇所の符号化方式を変化させることによって、動画像データを再生した場合に重要箇所を強調表示させる技術が開示されている。
特開2012−244480号公報 特開2005−260501号公報
監視カメラのように長時間にわたって広範囲を撮影する方式によって得られる映像を視聴する際には、ユーザが確認したい要所を特定しがたく、その要所が映像内に撮影されていたとしても見落とす等によってユーザが十分な精度で確認できないことがある。
上記の先行技術文献に開示されている技術を適用すれば、一定の改善を図ることができるが、未だ十分なものとは言い難い。
本発明は、上記の課題に鑑みなされたものであり、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供するものである。
本発明によれば、手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示する部分映像表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システムが提供される。
上記発明によれば、画像認識処理によって特定された術野を表示するように部分映像の表示位置を調整するので、ユーザが自ら展開映像を見ながら表示位置を調整せずとも、術野を含む部分映像を表示させることができる。
本発明によれば、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムが提供される。
本実施形態に係る医療安全システムを示す図である。 半天球カメラの斜視図である。 半天球カメラによって撮影された展開映像の一具体例を示す図である。 モバイル端末によって表示される部分映像の一具体例を示す図である。 モバイル端末の画像認識処理を説明するための模式図である。 モバイル端末の画像認識処理を説明するための模式図である。 モバイル端末の画像認識処理を説明するための模式図である。 モバイル端末の画像認識処理を説明するための模式図である。 パソコン端末による表示の一具体例である。
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
<医療安全システム100に含まれる各構成要素について>
図1は、本実施形態に係る医療安全システム100を示す図である。
なお、図1に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外のデータ等の授受については、必ずしも各矢印が示す送受信方向と一致しなくてよい。
医療安全システム100は、半天球カメラ110と、サーバ装置120と、視聴端末装置(例えば、パソコン端末131及びモバイル端末132)と、を備えている。
半天球カメラ110は、手術室を広角撮影する装置である。
ここで広角撮影とは、単眼の広角レンズを用いて撮影して通常より広範囲の映像を得ること、複数のレンズ(標準レンズ及び広角レンズのいずれであっても良い)を互いに相違する方向に向けて撮影し、撮影した映像を複数結合して通常より広範囲の映像を得ることをいう。
本実施形態で用いる半天球カメラ110は、3つの広角レンズを120度間隔で配置し、各広角レンズを用いて撮影された3つの映像をソフトウェア処理(画像処理)によって結合して1つの展開映像を得る。このような処理を行うので、半天球カメラ110の撮影によって得られる展開映像は水平方向の展開角度が360度に達することを特徴とする。
従って、手術室に半天球カメラ110を設置することにより、当該手術室の全景を漏れなく撮影可能であり、術野近傍の様子の他に、手術室内で動いている各医療関係者の動作、バイタルサインを表示する医療機器の画面を一度に撮影することができる。このように撮影された映像を改竄することは困難であるため、施術に係る状況証拠として用いる際にその確からしさを十分に担保することができる。
図2は、半天球カメラ110の斜視図である。
半天球カメラ110は、台座部111と、支持部112と、本体部113と、を備える。本体部113は、3つの広角レンズを有しており、そのうちレンズ114とレンズ115とを図2に図示している。
本体部113は、半天球カメラ110の主たる機能(撮影機能を含む)を有する部分であり、支持部112によって台座部111に結合されている。台座部111は、手術の術野の上方に設置されることが好ましく、手術室の天井に直に設置されてもよいし、専用の支柱(不図示)を術野の上方まで伸ばして当該支柱に設置されてもよい。
図2に図示しているように、本体部113に設けられている各広角レンズ(レンズ114やレンズ115)の軸方向は、台座部111の反対方向、即ち術野の上方に台座部111を設置する前提において水平方向より下方向に傾いている。このような構造になっているので、半天球カメラ110は下方向に半天球画像(水平方向の展開角度が360度に達し且つ下方向についても漏れなく撮影されている画像)を撮影することができる。なお、展開映像は必ずしも半天球画像である必要はなく、全天球画像(水平方向にも上下方向にも展開角度が360度に達する画像)であってもよいし、水平方向又は上下方向の少なくとも一方について展開角度が360度未満である画像であってもよい。
図2で図示した半天球カメラ110は、本発明に用いられる展開映像を撮影する手段の一例であり、必ずしも撮影手段を本発明の構成要素として含まなくてもよい。また、本発明の構成要素に撮影手段を含めて実施する場合であっても、撮影手段は上記のような構造を備えずともよい。例えば、撮影手段のレンズの種別は必ずしも広角レンズではなくてもよいし、撮影手段のレンズの数は増減してもよい。
図3は、半天球カメラ110によって撮影された展開映像の一具体例を示している。
当該展開映像の上部には、手術室の天井付近のディスプレイ装置201や、無影灯をスライドさせるために設けられたガイドレール202等が撮影されている。図3に図示されているディスプレイ装置201やガイドレール202のように、容易に識別がつかない程に大きく歪む被写体も存在しうる。
また、当該展開映像には、複数の医療関係者(執刀医204、助手203、医療スタッフ205〜211)が撮影されている。なお、以下の説明においては、これらの医療関係者を総称して施術者と称する場合がある。
サーバ装置120は、施術に関する映像を記憶する装置である。
サーバ装置120に記憶される映像には、半天球カメラ110によって広角撮影された手術室の展開映像が少なくとも含まれ、本発明の記憶手段として機能する。
また、サーバ装置120に記憶される映像には、不図示の撮影装置又は医療機器等から取得した映像が含まれてもよいし、これらの撮影装置又は医療機器は医療安全システム100の内部構成としてもよいし、外部構成としてもよい。
パソコン端末131及びモバイル端末132は、サーバ装置120に記憶されている映像を表示する為のアプリケーションソフト(ビューア)がインストールされているコンピュータ機器である。
モバイル端末132は、主として手術室外で待機している医療関係者(麻酔科医等)が手術室で行われている施術の様子を確認する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像をライブストリーミングで配信を受けて表示することができる。
パソコン端末131は、主として手術後に手術内容を解析する用途を想定したビューアをインストールしており、サーバ装置120に記憶される映像の再生に係る機能に加えて、当該映像を資料用に編集する機能等も有している。
なお、パソコン端末131及びモバイル端末132にインストールされるビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフトやこれを改良又は変更したソフトによって実現されてもよい。
なお、本実施形態で説明するパソコン端末131の機能及びモバイル端末132の機能は、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。
<モバイル端末132の表示について>
次に、モバイル端末132の表示について説明する。
モバイル端末132の表示領域は、パソコン端末131の表示領域に比べて小さいため、半天球カメラ110によって撮影された展開画像の全体を表示すると視認しがたくなる。従って、モバイル端末132は、展開映像の一部(以下、部分映像と称する)を限定的に表示する機能を有している。即ち、モバイル端末132は本発明に係る部分映像表示手段として機能する。
図4は、モバイル端末132によって表示される部分映像の一具体例である。
図4に図示されるように、モバイル端末132によって表示される部分映像は、歪曲補正を施した上で、正対表示されることが好ましい。ユーザにとって視認容易となるからである。
モバイル端末132によって表示される部分映像の表示位置は、ユーザの操作に応じて調整可能であることが好ましく、少なくとも水平方向については全周にわたって表示可能である(いわゆるパノラマビューアとして機能する)ことがより好ましい。
これに関連する機能として、モバイル端末132は、展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定し、特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する機能を有している。即ち、モバイル端末132は本実施形態に係る術野特定手段として機能する。
ここで所定の契機とは、モバイル端末132が認識可能な契機(イベント)であれば特に制限されず、例えば、モバイル端末132において部分映像の表示機能を起動することであってもよいし、モバイル端末132が特定の操作を受け付けることであってもよい。但し、所定の契機として扱われる特定の操作は、ユーザフレンドリーの観点から簡易なもの(例えば、一回の操作で済むもの)であることが好ましい。
このように所定の契機に応じて自動的に表示位置を術野に合わせる機能をモバイル端末132が有しているので、ユーザが部分映像を確認しながら術野を探す手間や時間が省ける。術野は手術室の展開映像において特に注視したい箇所の一つであるため、モバイル端末132の表示位置を術野に合わせる上記の機能は、ユーザフレンドリーの観点から極めて有用である。
上述したモバイル端末132の画像認識処理について、詳細に説明する。
本発明者は、当該画像認識処理を汎用的なものにするため、施術者の身体部位を検出する画像認識処理によって術野を特定する方式を採用することにした。外科手術は複数の施術者でチームを組んで行われるのが一般的であり、上記のような画像認識処理であれば処理の対象となる被写体が存在しない可能性がほとんどないからである。
なお、特定の術具や医療機器(医療ロボットを含む)を用いる施術に特化するのであれば、施術者の身体部位に代えて又は加えて、術具や医療機器を画像認識処理によって検出することも考えられる。
本実施形態において「施術者の身体部位を検出する」とは、施術者の実際の身体部位のみに着目して検出する処理に限られず、例えば、保護メガネを検出することによって施術者の目を検出したり、手術帽を検出することによって施術者の頭部を検出したり、手術マスクを検出することによって施術者の口を検出したりすることも含むものとする。
「施術者の身体部位を検出する画像認識処理」の方式については適宜選択可能である。本発明者による試行錯誤の結果として、身体部位の形状(輪郭)を抽出する方式が最も汎用性が高かい結果となったが、無影灯を用いる施術においては術野の色彩や輝度を加味して身体部位を抽出すると検出精度が高くなりうる。また、対象となる身体部位の種別によっては、その動き(動作パターン)を加味して身体部位を抽出することも考えられる。
モバイル端末132の画像認識処理の一具体例を、図5及び図6を用いて説明する。
図5及び図6は、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
この具体例において、モバイル端末132によって検出される身体部位は、施術者の手又は腕である。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、助手203、医療スタッフ206及び医療スタッフ207の手や腕が検出されたものとする(図5参照)。
ここで、医療スタッフ205、医療スタッフ208及び医療スタッフ209については、他の被写体に隠れて十分に手や腕が撮影されていないため、当該画像認識処理によって手や腕を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ110から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって手や腕を検出することができない。
このように、モバイル端末132は、画像認識処理によって展開映像に撮影されている身体部位が複数検出された場合、検出された手や腕(身体部位)が密集している位置の近傍を術野OFとして特定する(図6参照)。
ここでは、執刀医204と助手203の近傍が術野OFに該当する。
続いて、上記の画像認識処理とは別の具体例を、図7及び図8を用いて説明する。
図7及び図8は、図5及び図6と同様に、モバイル端末132の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末132による画像認識処理によって検出された身体部位として説明する。
この具体例において、モバイル端末132によって検出される身体部位は、施術者の顔(頭部)であって、その検出には両目を特徴点とする画像認識処理が行われる。
例えば、図3に図示した展開映像に対する画像認識処理によって、執刀医204、医療スタッフ206〜209の顔が検出されたものとする(図7参照)。
ここで、助手203の顔は横向きであり、医療スタッフ205は後向きであるため、両目が撮影されておらず、当該画像認識処理によって顔を検出することができない。また、医療スタッフ210及び医療スタッフ211については、半天球カメラ110から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって顔を検出することができない。
そして、モバイル端末132は、検出した顔と両目から施術者の位置と向きを判定し、判定した位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する部分を術野として特定する(図8参照)。
ここで、モバイル端末132は、近接している施術者として執刀医204、医療スタッフ208及び医療スタッフ209を検出しており、それぞれの視線方向V4、視線方向V8及び視線方向V9を施術者の向きとして、それぞれ判定している。そして、モバイル端末132は、視線方向V4と視線方向V8の交点IP1の位置と、視線方向V4と視線方向V9の交点IP2の位置と、を含む領域を術野OFとして特定している。なお、視線方向V8と視線方向V9とは交差しないため、術野OFの特定に用いられない。
図6と図8とを比較すれば明かであるように、同じ展開画像を対象として画像認識処理を行ったとしても、採用する画像認識処理の方式によって特定される術野OFの位置は変動しうる。
従って、モバイル端末132による画像認識処理の方式を適宜変更し、又は組み合わせることによって、術野の特定精度を高めることも考えられる。
<パソコン端末131の表示について>
次に、パソコン端末131の表示について説明する。
パソコン端末131の表示領域は、パソコン端末131の表示領域に比べて大きいため、半天球カメラ110によって撮影された展開画像の全体表示を許容する。また、パソコン端末131は、当該展開画像に加えて、他の映像も並行して表示することも可能である。
なお、上記の記載は、パソコン端末131が、上述のモバイル端末132のように、部分映像を表示すること(展開画像のパノラマビューアとして機能すること)を否定するものではない。
図9は、パソコン端末131による表示の一具体例である。
表示領域DA1には、半天球カメラ110によって撮影された手術室の展開画像が全体表示される。
表示領域DA2には、当該手術室において施術を受けた患者の心拍数モニタに係る映像が表示される。
表示領域DA3には、当該施術における術野を不図示の撮影装置によって撮影された映像が表示される。
パソコン端末131は、これらの映像を同期表示することによって、手術室全体の様子と、術野の様子と、心拍数の変化と、を比較しながら、当該施術を解析することができる。
更に、表示領域DA4には、展開映像に関するタイムラインが表示される。即ち、パソコン端末131は、本発明に係るタイムライン表示手段として機能する。
表示領域DA4に表示されるカーソルC1は、その時点で表示領域DA1に表示されている映像が、タイムライン上の何処であるのか(どの時点なのか)を表示している。
表示領域DA4に表示されるタグT1とタグT2は、タイムライン上に対する表示位置によって、ビープ音が発されたタイミングを表示し、その表示態様(色彩等)によってビープ音を発した機器を表示している。ここでビープ音とは、機器が発する音(警告音等)である。
半天球カメラ110は、展開映像の撮影と並行して、マイクロフォン(不図示)を用いて音声データを録音することができる。
サーバ装置120は、録音された音声データを、当該展開映像に係る映像データに対応付けて記憶する。更に、サーバ装置120は、音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出してそのタイミングを特定すると共に、検出したビープ音を発した機器を特定する機能を有する。即ち、サーバ装置120は、本発明に係るビープ音特定手段として機能する。
パソコン端末131は、タグT1とタグT2を表示することによって、サーバ装置120によって検出されたビープ音のタイミングと、そのビープ音を発した機器と、をユーザに認識させることができる。
機器又はその機器の製造元によって、発するビープ音が異なるため、ビープ音を録音して解析することによって、どのようなインシデントが、どのタイミングで発生したのかを知ることができる。
しかしながら、解析用の映像データと共にビープ音を録音し、ビープ音を音声認識処理によって識別し、ビープ音のタイミングを表示するといった上記機能を備えた医療安全システムは従来医療現場に導入されていなかった。本実施形態における医療安全システム100は上記機能を有しているため、例えば、医療事故が発生した際の原因究明等に役立てることができる。
<本発明の変形例について>
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
なお、以下に説明する変形例において、パソコン端末131の機能又はモバイル端末132の機能として説明するものであっても、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。
上記の実施形態の説明においては図1に図示する構成要素を前提として説明したが、本発明の各構成要素は、その機能を実現するように形成されていればよい。従って、本発明の各構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。
例えば、本発明に係る医療動画処理システムには、半天球カメラ110に相当する撮影装置が含まれなくてもよく、システム外部の撮影装置から取得した展開映像を用いて本発明が実施されてもよい。
上述の実施形態において説明した半天球カメラ110の構成や半天球カメラ110による撮影方式は一具体例であって、本発明の実施はこれに限られない。
例えば、単眼の広角レンズを用いる撮影装置や、この撮影装置によって撮影された展開映像を用いて本発明が実施されてもよい。
上述の実施形態において、モバイル端末132が検出する施術者の身体部位の具体例として手、腕及び頭部を挙げたが、これに代えて又は加えて、その他の部位を検出してもよい。
上述の実施形態において、モバイル端末132は、両目を特徴点として施術者の顔を検出する旨を説明したが、これに代えて又は加えて、その他の部位(鼻、口、耳等)を特徴点とする画像認識処理によって顔を検出して施術者の位置や向きを判定してもよい。
上述の実施形態において、モバイル端末132による画像認識処理で特定される術野の候補が一つである例を挙げて説明したが、特定される術野の候補が複数存在する場合、ユーザに選択肢を提示し、ユーザが選択した術野の近傍を表示してもよい。或いは、モバイル端末132は、このような場合、特定の操作を受け付けるごとに複数の候補を順次切り替えて表示してもよい。
上述の実施形態において、モバイル端末132による画像認識処理で特定される表示位置は術野のみを挙げたが、他の表示位置を特定できる機能を付加的に有してもよい。例えば、執刀医204や助手203等の医療スタッフを特定できてもよいし、展開画像に写り込んだ医療機器の画面(バイタルサイン等)を特定できてもよい。
上述の実施形態において、パソコン端末131は、表示領域DA1に表示している展開映像に関するタイムラインを表示領域DA4に表示するものとして説明したが、その他に表示領域DA2や表示領域DA3に表示されている映像に関するタイムラインを更に表示領域DA4に表示してもよい。即ち、パソコン端末131は、同期表示している複数の映像に関するタイムラインをそれぞれ表示してもよい。
本実施形態は以下の技術思想を包含する。
(1)手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示する部分映像表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。
(2)前記術野特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する(1)に記載の医療安全システム。
(3)前記術野特定手段によって検出される前記身体部位は、施術者の手又は腕であり、前記術野特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する(2)に記載の医療安全システム。
(4)前記術野特定手段は、検出した前記身体部位から施術者の位置と向きを判定し、判定された位置が所定値以下に近接している施術者が複数検出された場合、前記複数の施術者の向きが交差する位置の近傍を前記術野として特定する(2)に記載の医療安全システム。
(5)前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする(1)から(4)のいずれか一つに記載の医療安全システム。
(6)前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える(1)から(5)のいずれか一つに記載の医療安全システム。
(7)前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、前記タイムライン表示手段は、前記ビープ音検出手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする(6)に記載の医療安全システム。
100 医療安全システム
110 半天球カメラ
120 サーバ装置
131 パソコン端末
132 モバイル端末
201 ディスプレイ装置
202 ガイドレール
203 助手
204 執刀医
205〜211 医療スタッフ
DA1〜DA4 表示領域
C1 カーソル
T1、T2 タグ

Claims (7)

  1. 手術室を広角撮影した展開映像を記憶する記憶手段と、
    前記展開映像の一部である部分映像を表示する部分映像表示手段と、
    前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、
    前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。
  2. 前記術野特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する請求項1に記載の医療安全システム。
  3. 前記術野特定手段によって検出される前記身体部位は、施術者の手又は腕であり、
    前記術野特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する請求項2に記載の医療安全システム。
  4. 前記術野特定手段は、
    検出した前記身体部位から施術者の位置と向きを判定し、
    判定された位置が所定値以下に近接している施術者が複数検出された場合、前記複数の施術者の向きが交差する位置の近傍を前記術野として特定する請求項2に記載の医療安全システム。
  5. 前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が360度に達することを特徴とする請求項1から4のいずれか一項に記載の医療安全システム。
  6. 前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、
    前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える請求項1から5のいずれか一項に記載の医療安全システム。
  7. 前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、
    前記タイムライン表示手段は、前記ビープ音検出手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする請求項6に記載の医療安全システム。
JP2017222866A 2017-11-20 2017-11-20 医療安全システム Active JP6355146B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017222866A JP6355146B1 (ja) 2017-11-20 2017-11-20 医療安全システム
CN201880074894.5A CN111373741B (zh) 2017-11-20 2018-11-01 医疗安全系统
PCT/JP2018/040760 WO2019098052A1 (ja) 2017-11-20 2018-11-01 医療安全システム
US16/763,305 US20200337798A1 (en) 2017-11-20 2018-11-01 Medical safety system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017222866A JP6355146B1 (ja) 2017-11-20 2017-11-20 医療安全システム

Publications (2)

Publication Number Publication Date
JP6355146B1 JP6355146B1 (ja) 2018-07-11
JP2019096961A true JP2019096961A (ja) 2019-06-20

Family

ID=62843671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017222866A Active JP6355146B1 (ja) 2017-11-20 2017-11-20 医療安全システム

Country Status (1)

Country Link
JP (1) JP6355146B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6436606B1 (ja) * 2018-07-27 2018-12-12 株式会社Medi Plus 医療映像システム
JP2021022840A (ja) * 2019-07-29 2021-02-18 ソニー株式会社 医療用観察システム、制御装置、および制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003094768A1 (ja) * 2002-05-07 2005-09-08 国立大学法人京都大学 医療用コクピットシステム
JP2006164251A (ja) * 2004-11-09 2006-06-22 Toshiba Corp 医療情報システム、医療情報システムプログラムおよび医療行為の管理のための情報処理を行う医療情報処理方法
JP2012244480A (ja) * 2011-05-20 2012-12-10 Toshiba Teli Corp 全方位監視画像表示処理システム
JP2017192043A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 医療用画像管理システム、表示システム、表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003094768A (ja) * 2001-09-21 2003-04-03 Toshiba Corp 記憶媒体処理装置、カード処理装置及び記憶媒体処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003094768A1 (ja) * 2002-05-07 2005-09-08 国立大学法人京都大学 医療用コクピットシステム
JP2006164251A (ja) * 2004-11-09 2006-06-22 Toshiba Corp 医療情報システム、医療情報システムプログラムおよび医療行為の管理のための情報処理を行う医療情報処理方法
JP2012244480A (ja) * 2011-05-20 2012-12-10 Toshiba Teli Corp 全方位監視画像表示処理システム
JP2017192043A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 医療用画像管理システム、表示システム、表示装置

Also Published As

Publication number Publication date
JP6355146B1 (ja) 2018-07-11

Similar Documents

Publication Publication Date Title
TW202134940A (zh) 監測方法、電子設備和儲存介質
JP4257298B2 (ja) 顔の特徴を表示する装置
US9729831B2 (en) Wireless surgical loupe
US11172158B2 (en) System and method for augmented video production workflow
US9141864B2 (en) Remote gaze control system and method
WO2014103732A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US10347050B1 (en) Augmented reality device to warp images
US10970578B2 (en) System and method for extracting information from a non-planar surface
JP2020509522A (ja) マルチメディア取得、登録及び管理システム及び方法
JP2015023512A (ja) 撮影装置、撮影方法及び撮影装置の撮影プログラム
JP2011217202A (ja) 画像取得装置
JP6355146B1 (ja) 医療安全システム
JP2005117285A (ja) 情報入力装置、通信端末及び通信方法
JP6436606B1 (ja) 医療映像システム
US20020080999A1 (en) System and method for highlighting a scene under vision guidance
JP2016220171A (ja) 拡張現実対象認識装置
WO2019098052A1 (ja) 医療安全システム
US20080123956A1 (en) Active environment scanning method and device
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
KR101580268B1 (ko) 프리젠테이션 시스템
TWI521962B (zh) And a method and a method for reducing the occurrence of the captured object by the captured object
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20230308753A1 (en) Camera system for focusing on and tracking objects
KR20180089639A (ko) 수술 영상촬영 및 처리 시스템
JP2015020012A (ja) 術部撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171204

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180606

R150 Certificate of patent or registration of utility model

Ref document number: 6355146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350