本実施形態は、MRI撮影室に磁性体が持ち込まれるおそれがある場合に、MRI撮影室に繋がる前室において報知を行う報知システムに係る。以下、図面を参照しながら、報知システムの実施形態について詳細に説明する。なお、本願に係る報知システムは、以下に示す実施形態に限定されるものではない。
(第1の実施形態)
図1は、報知システム100が適用される環境について説明する図である。
(報知システムが適用される環境の説明)
MRI装置81による撮影は、MRI装置81が設置されたMR撮影室80で行われる。MR撮影室80には、隣接したMR操作室88と前室90とが備えられる。MR撮影室80と前室90、MR撮影室80とMR操作室88、MR操作室88と前室90とは互いに連通している。報知システム100は、前室90に設置される。
MR撮影室80には、患者99とともに、当該患者99が横臥した非磁性体ストレッチャ51と、点滴パックや点滴瓶を吊るす非磁性体点滴台53とが持ち込まれる。このとき、非磁性体ストレッチャ51と磁性体ストレッチャ50とを間違えると、吸着・吸引事故が発生する可能性がある。また、非磁性体点滴台53と磁性体で形成された点滴台52とを間違えた場合にも、吸着・吸引が発生する可能性がある。さらに、患者99が酸素吸入を必要としている場合、患者99は、酸素ボンベ54が接続された状態で前室90に搬送される。酸素ボンベ54は一般的に磁性体で形成されている。したがって、患者99をMR撮影室80に移動させる際には、酸素ボンベ54を一旦取り外す。そして、患者99をMR撮影室80に移動した後で、MR撮影室80に備えられた酸素供給口84に接続した酸素供給チューブ85が接続される。ところが、酸素ボンベ54を取り外さずにMR撮影室80に移動させると、吸着・吸引事故が発生する可能性がある。
さらに、非磁性体ストレッチャ51には、患者99に毛布55(図5)がかけられている場合がある。非磁性体ストレッチャ51に毛布55がかけられていると、毛布55の内側は、外部から視認できない不可視領域となる。また、毛布55がかけられていると、ストレッチャが、非磁性体ストレッチャ51であるのか、磁性体ストレッチャ50であるのかを識別ができない可能性がある。
したがって、毛布55がかけられたストレッチャがMR撮影室80に進入しようとした場合、MR看護師93などの医療関係者は、毛布55をめくって、当該ストレッチャが非磁性体ストレッチャ51であることを確認する必要がある。さらに、毛布55の内側、すなわち不可視領域の中には、MR撮影室80への持ち込みが許可されていない物体(例えば、上述した酸素ボンベ54や点滴台52の構成部品である点滴棒(点滴台52の支柱)など)が隠れている可能性がある。したがって、MR看護師93は、毛布55をめくって、MR撮影室80への持ち込みが許可されていない物体が隠れていないことを確認する必要がある。
本実施形態の報知システム100は、磁性体で形成された物体と非磁性体で形成された物体とが混在する物体(例えば、磁性体ストレッチャ50と非磁性体ストレッチャ51、点滴台52と非磁性体点滴台53)がある場合、当該物体が磁性体であるか非磁性体であるかを識別する。また、報知システム100は、磁性体で形成された物体(例えば酸素ボンベ54)があるかを識別する。さらに、報知システム100は、不可視領域を伴う可能性のある物体(磁性体ストレッチャ50と非磁性体ストレッチャ51)がある場合に、不可視領域が存在するかを識別する。
MR撮影室80には、MR撮影室扉83またはMR撮影室扉82を通って、MR看護師93と、MR技師94と、MRドクタ95が出入りする。MR撮影室扉83は、MR操作室88とMR撮影室80との間の行き来を可能にするとともに、MR撮影室80からMR操作室88への磁気漏れを防止する。MR撮影室扉82は、前室90とMR撮影室80との間の行き来を可能にするとともに、MR撮影室80から前室90への磁場漏れを防止する。なお、MR看護師93は、前室90において、患者99を磁性体ストレッチャ50から非磁性体ストレッチャ51に載せ替えるなどの搬送準備を行う。また、MR看護師93は、MR撮影室80への患者99の搬送を行う。MR技師94は、MRI装置81の各種操作を行う。MRドクタ95は、MR撮影に係る全般の管理などを行う。
前室90には、報知システム100が備えられる。前室90には、前室扉91を通って患者99が出入りする。前室扉91は、前室90と外部との間の行き来を可能にする。なお、患者99は、一般に磁性体ストレッチャ50に横臥した状態で搬送される。また、患者99には、一般に点滴台52に繋がれた点滴、及び酸素ボンベ54が接続されている。点滴台52及び酸素ボンベ54は、一般的に磁性体である。
前室90には、上述したMR看護師93と、MR技師94と、MRドクタ95に加えて、前室扉91を通って、病棟看護師96と、病棟技師97が出入りする。病棟看護師96は、患者99のサポートを行う。病棟技師97は、患者99の身体状態の管理などを行う。さらに、前室90には、前室扉92を通って病棟ドクタ98が出入りする。前室扉92は、MR操作室88と前室90との間の行き来を可能にする。なお、病棟ドクタ98は、例えば、患者99の主治医である。
前室90には、非磁性体ストレッチャ51と、非磁性体点滴台53が置かれている。前室90に搬送された患者99は、非磁性体ストレッチャ51に載せ替えられる。また、患者99に繋がれた点滴は、点滴台52から非磁性体点滴台53に付け替えられる。
そして、非磁性体ストレッチャ51に横臥した患者99は、MR看護師93によってMR撮影室80に搬送される。
MR操作室88には、MRI装置81を制御する、図1に非図示の各種操作機器が設置されている。
なお、報知システム100の識別対象となる物体は、上述したストレッチャ、点滴台、酸素ボンベに限定されるものではない。その他にも、MR撮影室80に持ち込まれる可能性のある物体が存在する場合は、適宜追加登録すればよい。
(前室の状態の説明)
図2は、実施形態に係る報知システム100が実装された前室90の状態を説明する図である。
前室90は、例えば窓を設けずに外来光が入らないようにする。また、例えば、前室90の照明には、ちらつきのない直流点灯が使用されていてもよい。このように、前室90の内部の光環境が一定になるようにコントロールすることによって、以降で説明する学習データを用いた画像認識において、学習済みデータとして必要とされるデータ量を少なくすることが可能になる。
前室90の天井には、床面に向けて複数のカメラ、すなわち、第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dとが設置されている。第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dとは、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)などの固体撮像素子を用いたカメラである。第1カメラ3aは、撮影範囲4aの領域を撮像する。第2カメラ3bは、撮影範囲4bの領域を撮像する。第3カメラ3cは、撮影範囲4cの領域を撮像する。第4カメラ3dは、撮影範囲4dの領域を撮像する。
各カメラは、撮影範囲4a,4b,4c,4dの一部が互いに重複するように配置されている。このような配置とすることによって、第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dによって、前室90の内部は死角なく撮像される。なお、カメラの台数は4台に限定されるものではなく、前室90の形状や面積に応じて、前室90の内部を死角なく撮像できる数のカメラが設置される。各カメラの撮像範囲を固定することによって、以降で説明する学習データを用いた画像認識において、学習済みデータとして必要とされるデータ量を少なくすることが可能になる。
さらに、前室90には、図3に示すディスプレイ38及び入力インターフェース39が設置される。ディスプレイ38は、報知回路2の制御の下、第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dとの撮像結果に基づいて、前室90の中に磁性体があること、及び磁性体が隠れている可能性がある不可視領域があることを報知する。入力インターフェース39は、例えば、ディスプレイ38に表示するカメラの映像切り替えや、報知動作の終了指示などの各種制御を行う。なお、報知動作の詳細については後述する。
また、報知システム100は、上述した磁性体ストレッチャ50、非磁性体ストレッチャ51、点滴台52、非磁性体点滴台53、酸素ボンベ54に対して、MR撮影室80への持ち込みが可能であるかの識別を行うものとする。
なお、第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dとが撮像する画像には人間が映る。人間は、例えば衣服の内側やポケットの中に磁性体を持っている可能性があるため、本来は報知を行うべきであるが、システムを簡単化するため、報知システム100は、人間が映っていることを識別するのみとしてもよい。すなわち、画像に映る患者99や医療従事者は、MR撮影室80への持ち込みが許可されていない磁性体を身に付けていないことを事前に確認しているものとする。なお、人間を示す領域が検出された場合は、当該領域を削除する。詳しくは後述する。
(報知システムの全体構成の説明)
図3は、実施形態に係る報知システム100のシステム構成を示すブロック図である。報知システム100は、カメラ3(第1カメラ3a、第2カメラ3b、第3カメラ3c、第4カメラ3d)と、画像処理装置5と、報知出力装置6とを備える。
カメラ3は、前室90内、すなわち、MR撮影室80の外部の空間の画像を撮像する。各カメラが撮像した画像には、どのカメラで撮像した画像であるかを特定する識別番号が付与される。なお、カメラ3は撮像装置の一例である。
画像処理装置5は、A/D(Analog/Digital)変換器30と、撮像制御回路31と、画像メモリ32と、学習データ記憶装置33と、画像認識回路1とを備える。A/D変換器30と、撮像制御回路31と、画像メモリ32と、学習データ記憶装置33と、画像認識回路1とは、バスライン40によって互いに接続される。
A/D変換器30は、カメラ3に接続され、カメラ3から入力されたアナログ画像信号をデジタル画像信号に変換し、変換したデジタル画像信号を画像メモリ32に記憶する。
撮像制御回路31は、後述する画像認識回路1の制御の下、カメラ3による撮像動作を制御する。
画像メモリ32は、A/D変換器30で生成されたデジタル画像信号を記憶する。また、画像メモリ32は、後述する報知回路2が生成した報知画像を記憶する。また、画像メモリ32は、コンピュータによって実行可能なプログラムを記憶可能である。
学習データ記憶装置33は、画像認識回路1の認識対象である物体の学習データ、及び学習に用いた学習用データを記憶する。具体的には、学習データ記憶装置33は、磁性体ストレッチャ50、点滴台52、酸素ボンベ54などの画像用データを記憶する。また、学習データ記憶装置33は、学習によって生成した学習データとして、例えば、後述する識別器64a、64b、64cを記憶する。
画像認識回路1は、画像処理装置5の動作全体を制御する。具体的には、画像認識回路1は、カメラ3が撮像した画像の中から、時間とともに移動する移動領域を検出する。また、画像認識回路1は、検出した移動領域の中から、MR撮影室80への持ち込みが禁止されている物体を識別する。さらに、画像認識回路1は、MR撮影室80への持ち込みが許可されていない物体が検出された場合、又はMR撮影室80への持ち込みが許可されていない物体が隠れている可能性のあることが検出された場合に、検出結果に応じた報知画像を生成する。なお、画像認識回路1は画像認識装置の一例である。
画像認識回路1は、移動領域検出機能10と、物体識別機能11と、識別ラベル検出機能13と、第1の情報生成機能14と、第2の情報生成機能15と、通信制御機能16とを実行する。各機能の詳細な内容は後述する。
なお、画像認識回路1の構成要素である各処理機能が実行する処理内容は、コンピュータによって実行可能なプログラムの形態で画像処理装置5の記憶装置に記録されている。記憶装置は、例えば、画像メモリ32や、画像認識回路1が備えるRAM(Random Access Memory)やROM(Read Only Memory)などである。画像認識回路1は、非図示のCPU(Central Processing Unit)を備えて、各プログラムを記憶装置から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の画像認識回路1は、図3の画像認識回路1内に示された各機能を有することとなる。
なお、図3に図示した内容は、一例に過ぎない。例えば、図3に例示した回路は必ずしも独立して構成されなくともよい。例えば、これらの回路のうち任意の回路を適宜組み合わせて構成されてもよい。
また、上記説明における「プロセッサ」は、上述したCPUの他に、例えば、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))などの回路を意味する。プロセッサは、記憶装置に保存されたプログラムを読み出して実行することで機能を実現する。なお、記憶装置にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込む構成としても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで、機能を実現する。なお、本実施形態の各プロセッサは、プロセッサ毎に単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。
報知出力装置6は、ディスプレイ38と、入力インターフェース39と、報知回路2とを備える。ディスプレイ38と、入力インターフェース39と、報知回路2とは、バスライン40によって互いに接続される。
ディスプレイ38は、報知回路2によって生成された各種画像や、GUI(Graphical User Interface)などの各種情報を表示する。ディスプレイ38は、例えば、液晶モニタやCRT(Cathode Ray Tube)モニタなどである。
入力インターフェース39は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、トラックボール、ジョイスティックなどの入力装置に対応する。入力インターフェース39は、操作者からの各種指示を受け付ける。そして、入力インターフェース39は、受け付けた各種指示を、報知回路2の各回路に対して適宜転送する。
報知回路2は、報知出力装置6の動作全体を制御する。なお、報知回路2は、報知装置の一例である。
報知回路2は、報知画像生成機能20と、表示制御機能21と、操作制御機能22と、通信制御機能23とを実行する。各機能の詳細な内容は後述する。
なお、報知回路2の構成要素である各処理機能が実行する処理内容は、コンピュータによって実行可能なプログラムの形態で報知出力装置6の記憶装置に記録されている。記憶装置は、例えば、報知回路2が備えるRAMやROMなどである。報知回路2は、非図示のCPUを備えて、各プログラムを記憶装置から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の報知回路2は、図3の報知回路2内に示された各機能を有することとなる。
(画像認識回路の機能構成の説明)
以下、画像認識回路1を構成する各機能の内容を説明する。
移動領域検出機能10は、カメラ3(撮像装置)が予め撮像した背景画像と、カメラ3が現時刻に撮像した画像と、に基づいて、時間とともに移動する移動領域を検出する。移動領域検出機能10の具体的な機能については後述する。なお、移動領域検出機能10は、領域検出部の一例である。
物体識別機能11は、MRI装置81が設置されたMR撮影室80に連通する前室90に設置されたカメラ3(撮像装置)が撮像した画像の中から、磁性体が隠れている可能性がある不可視領域を識別する。また、物体識別機能11は、予め登録された物体を識別する。なお、物体識別機能11は、識別部の一例である。
物体識別機能11は、具体的には、予め撮像された、不可視領域を含む画像の集合(学習用データ)に基づいて生成された、画像から不可視領域を識別するための学習済モデル(学習データ)を用いて、カメラ3が撮像した画像の中に不可視領域があるかを識別する。また、物体識別機能11は、予め撮像された、物体の画像の集合(学習用データ)に基づいて生成された、画像から予め登録された物体を識別するための学習済モデル(学習データ)を用いて、カメラ3が撮像した画像の中に予め登録された物体があるかを識別する。なお、学習用データは、必ずしもカメラ3で撮像した画像に限定されるものではなく、撮像場所や撮像するカメラは問わない。また、具体的な識別方法は後述する(図6)。
また、物体識別機能11は、カメラ3(撮像装置)により予め撮像された、不可視領域を含む1以上の画像と、カメラ3が撮像した画像とを照合することによって、カメラ3が撮像した画像の中に不可視領域があるかを識別してもよい。具体的な識別方法は後述する(図5)。
なお、物体識別機能11は、移動領域検出機能10が検出した移動領域について、上述した識別を行う。
識別ラベル検出機能13は、物体識別機能11が識別した物体の中から、MR撮影室80への持ち込みが許可された物体に貼付された識別ラベル62(図8)を検出する。なお、識別ラベル検出機能13は、識別子検出部の一例である。また、識別ラベル62は、識別子の一例である。
第1の情報生成機能14は、物体識別機能11が不可視領域を識別したことを条件として、当該不可視領域に対する確認を促す第1の情報を出力する。第1の情報は、例えば、不可視領域に対する確認を促すテキスト情報、又は不可視領域の位置を示す画像情報である。なお、第1の情報生成機能14は、カメラ3を構成する複数のカメラ(第1カメラ3a、第2カメラ3b、第3カメラ3c、第4カメラ3d)の各々が撮像した画像に基づく第1の情報を、それぞれのカメラと関連付けて出力する。例えば、第1の情報生成機能14は、第1の情報として、注意喚起フラグと、不可視領域を識別した画像を撮像したカメラを特定する識別番号と、検出された不可視領域の位置とを関連付けて出力する。なお、第1の情報生成機能14は、第1の情報出力部の一例である。
第2の情報生成機能15は、物体識別機能11が識別した物体の中から識別ラベル62が検出できないことを条件として、当該物体に対して、MR撮影室80への持ち込みの可否を確認する必要があることを示す第2の情報を出力する。第2の情報は、例えば、物体に対する確認を促すテキスト情報、又は物体の位置を示す画像情報である。なお、第2の情報生成機能15は、カメラ3を構成する複数のカメラ(第1カメラ3a、第2カメラ3b、第3カメラ3c、第4カメラ3d)の各々が撮像した画像に基づく第2の情報を、それぞれのカメラと関連付けて出力する。より具体的には、第2の情報生成機能15は、第2の情報として、警報フラグと、物体を識別した画像を撮像したカメラを特定する識別番号と、識別された物体の位置とを関連付けて出力する。なお、第2の情報生成機能15は、第2の情報出力部の一例である。
通信制御機能16は、画像認識回路1と、A/D変換器30、画像メモリ32、学習データ記憶装置33との間の通信を制御する。また、通信制御機能16は、画像認識回路1と報知回路2との間の通信を制御する。
(報知回路の機能構成の説明)
以下、報知回路2を構成する各機能の内容を説明する。
報知画像生成機能20は、通信制御機能23が画像認識回路1から受信した第1の情報に基づいて、報知を行うための報知画像を生成する。なお、報知画像生成機能20は、報知部の一例である。さらに、報知画像生成機能20は、通信制御機能23が画像認識回路1から受信した第2の情報に基づいて、報知を行うための報知画像を生成する。報知画像について、詳しくは後述する。
表示制御機能21は、報知画像生成機能20が生成した報知画像をディスプレイ38に表示する。
操作制御機能22は、入力インターフェース39から入力された情報に基づいて、報知回路2の各種動作を制御する。
通信制御機能23は、報知回路2と画像認識回路1との間の通信を制御する。そして、通信制御機能23は、画像認識回路1から、不可視領域に対する確認を促す第1の情報を受信する。なお、通信制御機能23は、受信部の一例である。また、通信制御機能23は、画像認識回路1から、MR撮影室80への持ち込みの可否を確認する必要があることを示す第2の情報を受信する。さらに、通信制御機能23は、報知回路2と、ディスプレイ38、入力インターフェース39との間の通信を制御する。
(移動領域の検出方法の説明)
次に、画像認識回路1の各機能が実現する処理の内容を説明する。まず、移動領域検出機能10が行う、移動領域の検出方法について説明する。図4は、移動領域の検出方法を説明する図である。なお、図4は、簡単のため、1台のカメラ、例えば第1カメラ3aで撮像した画像を処理する方法を説明するものである。他のカメラで撮像した画像についても、同様な処理が行われる。
前室90の中には、上述したように、いずれも磁性体で形成された、磁性体ストレッチャ50、点滴台52、酸素ボンベ54が存在している(図1)。特に、前室90に搬送されたMR撮影を行う患者99を、非磁性体ストレッチャ51に載せ替えた後は、磁性体ストレッチャ50、点滴台52、酸素ボンベ54は、前室90の中の同じ位置に存在し続ける。したがって、第1カメラ3aで撮像した画像の中からMR撮影室80への持ち込みが許可されていない物体を検出した場合に、磁性体ストレッチャ50、点滴台52、酸素ボンベ54は、常に検出されてしまう。その場合、MR撮影室80に持ち込む予定のない物体であっても、報知がなされてしまう。
このような問題を解決するため、本実施形態の報知システム100では、第1カメラ3aと、第2カメラ3bと、第3カメラ3cと、第4カメラ3dとで撮像した画像の中から、時間とともに移動する物体の領域を検出する。そして、検出された領域(移動領域)のみについて、物体の識別を行う。なお、必ずしも前室90の全体を物体の識別対象とする必要はなく、前室90のうち、例えばMR撮影室扉83の付近に限定して物体の識別を行ってもよい。
移動領域検出機能10は、まず、時刻toにおいて、図4(a)に示す背景画像Io(x,y,to)を撮像する。背景画像Io(x,y,to)には、前室90に置かれた、例えば静止物体60などが映る。
移動領域検出機能10は、一定の時間間隔で撮像を行う。時刻tに撮像された画像を、観測画像I(x,y,t)と呼ぶ。すなわち、時系列的に連続する時刻t1、時刻t2、時刻t3のタイミングで、図4(b)に示す観測画像I(x,y,t1),I(x,y,t2),I(x,y,t3)が撮像される。観測画像I(x,y,t1),I(x,y,t2),I(x,y,t3)の中には、前室90に置かれた静止物体60が映る。また、図4(b)の例では、磁性体ストレッチャ50を押しながら移動している人間(例えば病棟看護師96)が映る。
移動領域検出機能10は、観測画像I(x,y,t1)から背景画像Io(x,y,to)を減算するフレーム差分を行う。そして、移動領域検出機能10は、図4(c)に示す差分画像J(x,y,t1)を生成する。観測画像I(x,y,t1)から背景画像Io(x,y,to)を減算すると、減算結果は正または負の値をとるため、ここでは、減算結果の絶対値を算出する。
このフレーム差分によって、観測画像I(x,y,t)の中の静止物体(例えば静止物体60)を除去することができる。そして、差分画像J(x,y,t1)の中の、差分結果が所定の値以上となる領域(移動領域)のみについて、物体識別機能11は、物体の識別を行う。
差分画像J(x,y,t1)が有する画素値は、実際に観測される観測画像I(x,y,t1)の画素値とは異なる。移動領域検出機能10は、差分画像J(x,y,t1)の中の、移動領域を構成する画素について、当該画素の画素値を、観測画像I(x,y,t1)の中の同じ座標の画素の画素値に置き換えた移動領域データを生成する。移動領域検出機能10は、このようにして、移動領域を構成する画素の正しい画素値を取得する。
なお、背景画像Io(x,y,to)は、報知システム100が動作を開始する前に撮像して記憶しておけばよいが、複数の患者99に対するMR撮影を行うのに伴って、前室90の内部状態が変化する可能性がある。したがって、例えば、30分毎や1時間毎などの所定のタイミング、あるいは患者99のMR撮影が終了するたびに、背景画像Io(x,y,to)を取得し直すのが望ましい。
(ストレッチャの識別方法の説明)
次に、物体識別機能11が行う、移動領域として検出された物体の識別方法について、磁性体ストレッチャ50(非磁性体ストレッチャ51)の識別を例にあげて説明する。図5は、磁性体ストレッチャ50(非磁性体ストレッチャ51)の形状を学習する際に使用する画像の一例を示す図である。図6は、画像の中からストレッチャ(磁性体ストレッチャ50、非磁性体ストレッチャ51)を識別する方法の一例を説明する図である。
実際の識別を行う前に、画像認識回路1は、予め、少なくともMR撮影室80への持ち込みが許可された非磁性体ストレッチャ51を含む画像を数多く収集する。ただし、ストレッチャは、磁性体で形成されているか、非磁性体で形成されているかによらず、類似した外観を有するため、収集する画像の中に、磁性体ストレッチャ50の画像が含まれていても構わない。そして、画像認識回路1は、ストレッチャの学習を行い、与えられた画像の中に磁性体ストレッチャ50又は非磁性体ストレッチャ51が映っているかを識別するための学習済モデル(学習データ)を生成する。生成された学習済モデルは、学習データ記憶装置33に記憶される。なお、学習の処理は、画像認識回路1が備える学習データ生成機能(図3には非図示)が行うものとする。
ストレッチャ学習用データ33aは、図5に示すように、カメラ3で予め撮像された画像の集合である、不可視領域を含まない第1の学習用データ34a、すなわち、毛布などの覆いがない状態のストレッチャを識別するための画像データと、不可視領域を含む第2の学習用データ34b、すなわち、一部または全体に不可視領域を含む状態のストレッチャを識別するための画像データを含む。ただし、ストレッチャ学習用データ33aは必ずしもカメラ3で予め撮像された画像である必要はなく、異なるカメラで撮像された画像であってもよく、取得方法は限定されない。
第1の学習用データ34aは、具体的には、図5に示すように、様々な方向から観測されたストレッチャ(磁性体ストレッチャ50又は非磁性体ストレッチャ51)の複数の画像を含む。なお、図5には図示しないが、第1の学習用データ34aは、ストレッチャを任意の倍率で撮像した画像を含んでもよい。
画像認識回路1は、第1の学習用データ34aに基づいて、ストレッチャ(磁性体ストレッチャ50又は非磁性体ストレッチャ51)を識別するための学習済モデルを生成する。生成された学習済モデルは、図6に示す識別器64aに反映する。すなわち、識別器64aは、学習済モデルの一例である。なお、学習済モデルの生成方法は、例えば機械学習の分野において公知の技術であるため、説明は省略する。
図6は、物体識別機能11が、観測画像から検出した移動領域データの中にストレッチャが映っているかを識別する識別器64aの構成を示す。識別器64aは、いわゆるニューラルネットワークの構成を有しており、入力層Pに入力された移動領域データ、すなわち、移動領域の部分のみが観測画像I(x,y、t)と同じ画素値を有する画像に対して、中間層Mが識別処理を行い、その結果を総合して出力層Qに出力する。
入力層Pは、移動領域データを部分画像に分割した際の分割数に対応する数のノードを備える。
中間層Mは第m1層から第mn層までのn層で形成される。中間層Mを構成する各ノードは、前段からの入力に対して、矢印に応じた重み付けをされた後、各入力に対して積和演算を行い、積和演算の結果に応じた値を後段に出力する。中間層Mは、同様の処理を中間層Mの層数分繰り返す。
出力層Qには、不可視領域を含まないストレッチャらしさを表す数値が出力される。そして、当該数値が所定値以上である場合に、物体識別機能11は、入力された移動領域データの中に、不可視領域のないストレッチャ(磁性体ストレッチャ50又は非磁性体ストレッチャ51)が存在すると識別する。
なお、中間層Mのノード間を結合する矢印に付与する重みは、識別器64aに、第1の学習用データ34aを学習させることによって、識別器64a自身が、ストレッチャを識別するための適切な値に調整する。
このように、物体識別機能11は、予め登録された物体を含む第1の学習用データ34aに基づく識別器64a(学習済モデル)と、カメラ3(撮像装置)が撮像した観測画像とを照合することによって、観測画像の中から、予め登録された物体を識別する。
(不可視領域があるストレッチャの識別方法の説明)
次に、ストレッチャ(磁性体ストレッチャ50又は非磁性体ストレッチャ51)に毛布55などが掛かり、ストレッチャの一部又は全体が視認できない状態になっていることを識別する方法について説明する。
物体識別機能11は、不可視領域を含む第2の学習用データ34bを用いて、先に説明したのと同様に、非図示の識別器64bに学習を行わせて、不可視領域を含むストレッチャ(磁性体ストレッチャ50又は非磁性体ストレッチャ51)を識別する学習済モデルを生成する。
そして、物体識別機能11は、磁性体が隠れている可能性がある不可視領域を含む第2の学習用データ34bに基づく識別器64b(学習済モデル)を用いて、カメラ3(撮像装置)が撮像した観測画像の中に不可視領域があるかを識別する。
なお、不可視領域を含むストレッチャが識別された場合、当該ストレッチャの実態は視認できないため、磁性体ストレッチャ50であるか、非磁性体ストレッチャ51であるかを判断することはできない。したがって、報知システム100は、無条件に、注意喚起、すなわち不可視領域に隠れた物体の確認を促す報知を行う。
そして、同時に、不可視領域の影に、MR撮影室80に磁性体が隠れている可能性があるため、不可視領域の内部の確認を促す。
なお、不可視領域の内部の確認を促す際、報知システム100は、不可視領域の位置をより詳細に特定するようにしてもよい。すなわち、ストレッチャに毛布55が掛かっている場合、患者99が横臥する寝台面が不可視領域になる場合と、寝台面の下段の荷物置場の領域が不可視領域になる場合、もしくは、その両方が不可視領域になる場合がある。すなわち、第2の学習用データ34bを、さらに細かく分類して、各条件に合致した画像に基づいて学習を行ってもよい。このような学習によって生成される識別器64bは、不可視領域があるストレッチャについて、寝台面が不可視なのか、寝台面の下段が不可視なのか、或いはその両方が不可視なのかを識別することができる。詳しくは後述する(図10(b))。
(ストレッチャの別の識別方法の説明)
ストレッチャの識別方法は、上述した識別器64a、64bを用いる方法に限定されるものではない。例えば、不可視領域があるストレッチャを識別する場合に、カメラ3により予め撮像された、不可視領域を含む1以上の画像と、カメラ3が撮像した観測画像I(x,y、t)(又は移動領域データ)とを照合することによって、カメラ3が撮像した観測画像I(x,y、t)の中に不可視領域があるかを識別してもよい。ここで、カメラ3により予め撮像された、不可視領域を含む1以上の画像とは、例えば、図5に示した第2の学習用データ34bのようなものである。なお、画像の照合によって識別を行うため、不可視領域を含む1以上の画像は、前室90に設置されたカメラ3で撮像したものとする。また、画像の照合は、具体的には公知のパターンマッチングによって行えばよい。
(点滴台の識別方法の説明)
次に、点滴台52(非磁性体点滴台53)を識別する方法について、図7を用いて説明する。図7は、点滴台52(非磁性体点滴台53)の形状を学習する際に使用する画像の一例を示す図である。
図7に示すように、点滴台学習用データ33bは、点滴台52(非磁性体点滴台53)を識別するために収集された、複数の画像データを有する。
収集される画像は、点滴台52の全体を撮像した画像でもよいし、点滴台52を特徴付ける、点滴瓶を吊るすフックの画像でもよい。
物体識別機能11は、点滴台学習用データ33bを用いて、点滴台52(非磁性体点滴台53)を識別するための、非図示の識別器64cを生成する。識別器64cの構成及び作用は、上述した識別器64aと同様である。
なお、図示はしないが、酸素ボンベ54についても、点滴台52(非磁性体点滴台53)と同様に、学習用の画像データを収集する。そして、物体識別機能11は、酸素ボンベ54を識別するための、非図示の識別器64dを生成する。識別器64dの構成及び作用は、上述した識別器64aと同様である。
さらに、図示はしないが、移動領域検出機能10が検出した移動領域の中には、例えば図4に示したように、人間が含まれる可能性がある。そのため、物体識別機能11は、移動領域の中から人間を識別する機能を有する。人間の識別は、上述したのと同様に、予め人間を識別できるように学習させた識別器を用いて行えばよい。なお、報知システム100は、上述したように、画像に映る人間は、磁性体を身に付けていないことを事前に確認しているものとする。報知システム100が物体識別機能11によって人間を識別した場合、人間に相当する移動領域については何の処理も行わず、処理済みの移動領域として当該領域を除外する。すなわち、人間を示す領域は、物体識別を複雑化させるため、人間を識別した場合、人間に相当する移動領域については何の処理も行わず、処理済みの移動領域として当該領域を除外する。ただし、報知システム100は必ずしも全ての人間の移動領域を除外せずに、磁性体を有する可能性のある人間のみを検出するように構成してもよい。例えば、MRI装置81を用いた撮像に従事する関係者とその他の人間とを識別して、その他の人物に対しては磁性体を保持している可能性のある対象として報知する。その他の人物は、例えばMR撮像に従事しない看護師や技師、さらには清掃に従事するスタッフ等が挙げられる。報知システム100が、人物の識別を行うことによって、例えば磁性体で製造された酸素ボンベや点滴スタンド、清掃用のポリッシャーの磁場吸着・吸引事故を防止することが可能となる。報知の対象となる人物の識別については、予め登録された人間を検出する等の公知の画像認識技術を用いればよい。
(識別ラベルの認識方法の説明)
磁性体ストレッチャ50と非磁性体ストレッチャ51とは、外観上で識別することができない。さらに、点滴台52と非磁性体点滴台53とは、外観上で識別することができない。そこで、識別ラベル検出機能13は、ストレッチャと識別された領域の中に、MR撮影室80に持ち込んでよいことを示す識別ラベル62があるかを確認する。また、識別ラベル検出機能13は、点滴台52(非磁性体点滴台53)があると識別された領域の中に、MR撮影室80に持ち込んでよいことを示す識別ラベル62があるかを確認する。物体識別機能11により識別された観測画像における特定の物体の全てに対して、識別ラベル検出機能13がMR撮影室80への持ち込みを許可する識別ラベル62を検出することにより、MR撮影室80への磁性体の持ち込みのおそれがないことが判定される。換言すると、物体識別機能11により識別された観測画像における特定の物体のうち、少なくとも1つでもMR撮影室80への持ち込みを許可する識別ラベル62が検出できなければ、MR撮影室80への持ち込みが許可されていない物体が、MR撮影室80に持ち込まれる可能性があることを報知する。
図8は、識別ラベル62の一例を示す図である。識別ラベル62は、例えば、図8(a)に示す花形ラベル62aや、図8(b)に示す星形ラベル62bのように、識別しやすい特異な形状とするのが望ましい。
識別ラベル検出機能13は、具体的には、テンプレートマッチングによって、予め登録された物体があると識別された領域の中に識別ラベル62があるかを探索する。
なお、識別ラベル検出機能13は、上述したのと同様に、事前に生成した識別器を用いて識別ラベル62を認識してもよい。
(報知画像の説明)
次に、図9と図10を用いて、報知画像について説明する。図9は、実施形態の報知システム100が出力する報知画像70a、70bの一例を示す第1の図である。図10は、実施形態の報知システム100が出力する報知画像70cの一例を示す第2の図である。
図9(a)は、第1カメラ3aが撮像した観測画像から生成された移動領域データの中から、持ち込みの要否確認が必要な物体が検出されたことを報知する報知画像70aの一例を示す。報知画像70aは、複数のカメラ3の各々が撮像した観測画像I(x,y,t)毎に生成される。すなわち、報知回路2は、複数のカメラ3の各々が撮像した観測画像I(x,y,t)から検出された、MR撮影室80に進入する可能性のある移動領域における第2の情報を、移動領域と関連付けて、ディスプレイ38に出力する。
報知画像70aは、報知メッセージ71aと、確認ボタン72と、観測範囲アイコン73と、識別領域74aと、カメラ情報75を含む。
報知メッセージ71aは、報知システム100の操作者に対する、確認を促すメッセージを示す。なお、報知メッセージ71aはテキスト情報の一例である。図9(a)の例において、報知メッセージ71aは、ストレッチャが検出されたが、ストレッチャの識別ラベル62が検出できなかったため、MR撮影室80に持ち込み可能なストレッチャであるかを確認する必要がある旨を示す。
確認ボタン72は、報知メッセージ71aを受けた報知システム100の操作者が、該当するストレッチャがMR撮影室80に持ち込み可能であることを確認した際に押下するボタンである。確認ボタン72を押下することによって、報知画像70aは、別のカメラ3で撮像した観測画像から生成された移動領域データに基づく報知画像に切り替わる。
観測範囲アイコン73は、前室90において、報知画像70aに映っている領域の位置を示すアイコンである。報知システム100の操作者は、観測範囲アイコン73を確認することによって、報知画像70aに映っている範囲を容易に認識することができる。
識別領域74aは、物体識別機能11が識別した、予め登録された物体の位置を示す情報である。なお、識別領域74aは、画像情報の一例である。図9(a)の例において、識別領域74aは、識別されたストレッチャの領域を示している。
カメラ情報75は、報知画像70aに映っている画像が、カメラ3のうち、いずれのカメラで撮像されたものであるかを示す。カメラ情報75は、第1カメラ3aに対応するカメラ1アイコン75aと、第2カメラ3bに対応するカメラ2アイコン75bと、第3カメラ3cに対応するカメラ3アイコン75cと、第4カメラ3dに対応するカメラ4アイコン75dを有する。
図9(a)の例では、カメラ1アイコン75aにハッチングを施すことによって、報知画像70aは、第1カメラ3aで撮像された画像であることを示す。さらに、図9(a)の例は、カメラ4アイコン75dに、カメラ1アイコン75aとは異なるハッチングを施すことによって、第4カメラ3dで撮像された画像に対しても報知がなされていることを示す。また、図9(a)の例は、カメラ2アイコン75bとカメラ3アイコン75cにハッチングを施さないことによって、第2カメラ3b及び第3カメラ3cで撮像された画像に対する報知はなされていないことを示す。
したがって、図9(a)において、確認ボタン72が押下されると、第4カメラ3dで撮像された観測画像に対する報知が、報知画像として表示される。
なお、図9(a)では、報知画像70aとして、報知メッセージ71a(テキスト情報)と識別領域74a(画像情報)とをともに表示する例を示したが、報知画像70aとして、報知メッセージ71a又は識別領域74aの少なくとも一方のみを表示するようにしてもよい。また、報知画像70aの表示とともに、ブザーの吹鳴やランプの点灯、音声アナウンスを行って、報知がなされていることを強調させてもよい。
次に、図9(b)は、第1カメラ3aが撮像した観測画像から生成された移動領域データの中から、持ち込みの要否確認が必要な物体が検出されたことを報知する報知画像70bの一例を示す。
報知画像70bは、識別領域74bとして、識別された点滴台の位置を示す情報を表示した例を示す。なお、識別領域74bは、画像情報の一例である。この場合、報知メッセージ71aは、点滴台が検出されたが、点滴台の識別ラベル62が検出できなかったため、MR撮影室80に持ち込み可能な点滴台であるかを確認が必要である旨を示す。
図10(a)は、第2カメラ3bが撮像した観測画像から生成された移動領域データの中から、不可視領域を含む物体が検出されたことを報知する報知画像70cの一例を示す。
報知画像70cは、報知メッセージ71bと、確認ボタン72と、観測範囲アイコン73と、識別領域74cと、カメラ情報75を含む。
報知メッセージ71bは、報知システム100の操作者に対する、不可視領域に対する確認を促すメッセージを示す。なお、報知メッセージ71bはテキスト情報の一例である。図10(a)の例において、報知メッセージ71bは、不可視領域を含むストレッチャが検出されたため、MR撮影室80に持ち込み可能なストレッチャであるかを確認するとともに、不可視領域の内側に、MR撮影室80への持ち込みが許可されていない物体がないかを確認する必要がある旨を示すテキスト情報である。
識別領域74cは、物体識別機能11が識別した不可視領域の位置を示す情報である。なお、識別領域74cは、画像情報の一例である。
また、報知画像70cにおいて、確認ボタン72と、観測範囲アイコン73と、カメラ情報75は、図9(a)を参照して説明した通りである。
なお、図10(a)では、報知画像70cとして、報知メッセージ71b(テキスト情報)と識別領域74c(画像情報)とをともに表示する例を示したが、報知画像70cとして、報知メッセージ71b又は識別領域74cの少なくとも一方のみを表示するようにしてもよい。また、報知画像70cの表示とともに、ブザーの吹鳴やランプの点灯、音声アナウンスを行って、報知がなされていることを強調させてもよい。
図10(b)は、識別領域74cの別の表示形態の一例を示す図である。図10(b)において、識別領域74cは、更に、目視確認が必要な不可視領域の位置を強調した、識別領域76a,76b,76cを含む。
識別領域76aは、ストレッチャの不可視領域として検出された領域の中で、特に目視確認が必要と考えられる寝台面の位置を示す。識別領域76aには、例えば、酸素ボンベ54などが隠れている可能性がある。識別領域76b,76cは、ストレッチャの不可視領域として検出された領域の中で、特に確認が必要と考えられる、寝台面の下段の荷物置場の位置を示す。識別領域76b,76cには、例えば、酸素ボンベ54や点滴棒などが隠れている可能性がある。
不可視領域を含むストレッチャの画像を学習させる際に、不可視領域における寝台面の位置、及び不可視領域における寝台面の下段の荷物置場の位置を併せて学習させることによって、それらの位置を識別可能な識別器を生成することができる。
(報知システムが行う処理の流れの説明)
図11は、実施形態の報知システム100が行う処理の全体の流れを示すフローチャートである。なお、実際の処理は、全てのカメラ3が撮像した観測画像I(x,y,t)に対して同様に行われるが、簡単のため、第1カメラ3aが撮像した観測画像I(x,y,t)に対する処理のみについて説明する。
移動領域検出機能10は、第1カメラ3aが撮像した画像を、背景画像Io(x,y,to)として取得する(ステップS1)。
移動領域検出機能10は、第1カメラ3aが撮像した画像を、観測画像I(x,y,t)として取得する(ステップS2)。
移動領域検出機能10は、観測画像I(x,y,t)の中から移動領域を検出する(ステップS3)。なお、ステップS3で行われる具体的な処理の内容は後述する(図12)。
移動領域検出機能10は、観測画像I(x,y,t)の中に移動領域があるかを判定する(ステップS4)。移動領域があると判定される(ステップS4:Yes)とステップS5に進む。一方、移動領域があると判定されない(ステップS4:No)とステップS2に戻る。
物体識別機能11は、移動領域データの中から、ストレッチャの検出を行う(ステップS5)。なお、ステップS5で行われる具体的な処理の内容は後述する(図13)。
物体識別機能11は、移動領域データの中から、点滴台の検出を行う(ステップS6)。なお、ステップS6で行われる具体的な処理の内容は後述する(図14)。
物体識別機能11は、移動領域データの中から、酸素ボンベの検出を行う(ステップS7)。なお、ステップS7で行われる具体的な処理の内容は後述する(図15)。
物体識別機能11は、移動領域データの中から、人間の検出を行う(ステップS8)そして、物体識別機能11は、移動領域データから、人間として検出された領域を削除する。なお、人間の検出は、公知のパターンマッチングや、ストレッチャの検出方法として後述するニューラルネットワークを活用した識別器などに基づいて行えばよい。
物体識別機能11は、ステップS3において検出された移動領域の中から、ステップS5からステップS8において検出された各物体の領域を除去した後に、残領域が残ったかを判定する(ステップS9)。残領域があると判定される(ステップS9:Yes)とステップS10に進む。一方、残領域があると判定されない(ステップS9:No)とステップS11に進む。
ステップS9において、残領域があると判定されると、ステップS10において、第1の情報生成機能14は、残領域に対する報知判断を行う。なお、ステップS10で行われる具体的な処理の内容は後述する(図16)。
ステップS9において、残領域があると判定されない場合、及びステップS10に引き続いて、ステップS11において、報知回路2は報知処理を行う。なお、ステップS11で行われる具体的な処理の内容は後述する(図17)。
続いて、操作制御機能22は、報知画像70a、70b、70cに対する確認操作があるかを判定する(ステップS12)。報知画像70a、70b、70cに対する確認操作があると判定される(ステップS12:Yes)とステップS13に進む。一方、報知画像70a、70b、70cに対する確認操作があると判定されない(ステップS12:No)とステップS12を繰り返す。
さらに、操作制御機能22は、報知システム100の動作を終了させる終了操作があるかを判定する(ステップS13)。終了操作があると判定される(ステップS13:Yes)と、報知システム100は図11の処理を終了する。一方、終了操作があると判定されない(ステップS13:No)とステップS2に戻る。なお、終了操作があるかは、例えば、MR撮影室80における撮影が終了した際などに、入力インターフェース39から終了指示がなされたかによって判定される。また、図11のフローチャートでは、移動領域として、ストレッチャや点滴台、酸素ボンベ、人間を例に挙げて説明したがこれに限られない。例えば、車椅子など他の磁性体の可能性がある対象物を適宜検出対象として加えてもよい。
(移動領域の検出処理の流れの説明)
図12は、移動領域を検出する処理の流れの一例を示すフローチャートである。なお、図12は、図11のステップS3で行われる具体的な処理の内容を示すものである。
移動領域検出機能10は、観測画像I(x,y,t)から背景画像Io(x,y,to)を減算するフレーム差分を行う(ステップS21)。
移動領域検出機能10は、フレーム差分の結果を所定のしきい値で2値化する(ステップS22)。なお、2値化のしきい値は任意の大きさに設定してよい。ただし、このしきい値は、移動領域として抽出する明るさの変化量に相当するため、しきい値が低すぎると、明るさの小さな変動も検出してしまう。一方、しきい値が高すぎると、移動領域を検出しにくくなる。したがって、予め評価実験などを行って、適切な値を設定する必要がある。
さらに、移動領域検出機能10は、ステップS22で検出した領域を構成する画素に対して、当該画素に対応する観測画像I(x,y,t)の画素値で構成された移動領域データを生成する(ステップS23)。その後、図11のステップS4に戻る。
(ストレッチャの検出処理の流れの説明)
図13は、ストレッチャの検出を行う処理の流れの一例を示すフローチャートである。なお、図13は、図11のステップS5で行われる具体的な処理の内容を示すものである。
物体識別機能11は、移動領域データを、第2の学習用データ34bによって学習した識別器64bを用いて識別する(ステップS31)。
物体識別機能11は、ステップS31の識別によって、ストレッチャが検出されたかを判定する(ステップS32)。ストレッチャが検出されたと判定される(ステップS32:Yes)とステップS33に進む。一方、ストレッチャが検出されたと判定されない(ステップS32:No)と、ステップS37に進む。
ステップS32において、ストレッチャが検出されたと判定されると、続くステップS33において、第1の情報生成機能14は、注意喚起フラグをオンにする。
第1の情報生成機能14は、ステップS31で検出したストレッチャの位置を記憶する(ステップS34)。
さらに、第1の情報生成機能14は、ストレッチャを検出した観測画像I(x,y,t)を撮像したカメラ3の識別番号を記憶する(ステップS35)。
物体識別機能11は、移動領域データから、ステップS31で検出したストレッチャに対応する領域を削除する(ステップS36)。なお、領域を削除する処理を行うのは、移動領域データは事前に登録された物体のみを含む訳ではないため、識別を完了した物体の領域はその都度削除することによって、残った物体の識別精度を向上させるためである。
物体識別機能11は、移動領域データを、第1の学習用データ34aによって学習した識別器64aを用いて識別する(ステップS37)。
物体識別機能11は、ステップS37の識別によって、ストレッチャが検出されたかを判定する(ステップS38)。ストレッチャが検出されたと判定される(ステップS38:Yes)とステップS39に進む。一方、ストレッチャが検出されたと判定されない(ステップS38:No)と、ステップS45に進む。
ステップS38において、ストレッチャが検出されたと判定されると、続くステップS39において、識別ラベル検出機能13は、ステップS37で検出したストレッチャを示す領域の中から、ストレッチャの識別ラベル62を検出する。
続いて、識別ラベル検出機能13は、ステップS39においてストレッチャの識別ラベル62が検出されたかを判定する(ステップS40)。ストレッチャの識別ラベル62が検出されたと判定される(ステップS40:Yes)とステップS45に進む。一方、識別ラベル62が検出されたと判定されない(ステップS40:No)とステップS41に進む。
ステップS40において、ストレッチャの識別ラベル62が検出されたと判定されないと、ステップS41において、第2の情報生成機能15は、警報フラグをオンにする。
第2の情報生成機能15は、ステップS37で検出したストレッチャの位置を記憶する(ステップS42)。
さらに、第2の情報生成機能15は、ストレッチャを検出した観測画像I(x,y,t)を撮像したカメラ3の識別番号を記憶する(ステップS43)。
物体識別機能11は、移動領域データから、ステップS37で検出したストレッチャに対応する領域を削除する(ステップS44)。
物体識別機能11は、移動領域データが含む全ての移動領域を処理したかを判定する(ステップS45)。全ての移動領域を処理したと判定される(ステップS45:Yes)と、図11のステップS6に戻る。一方、全ての移動領域を処理したと判定されない(ステップS45:No)と、ステップS31に戻る。
(点滴台の検出処理の流れの説明)
図14は、点滴台の検出を行う処理の流れの一例を示すフローチャートである。なお、図14は、図11のステップS6で行われる具体的な処理の内容を示すものである。
物体識別機能11は、移動領域データを、点滴台の学習用データによって学習した識別器64cを用いて識別する(ステップS51)。
物体識別機能11は、ステップS51の識別によって、点滴台が検出されたかを判定する(ステップS52)。点滴台が検出されたと判定される(ステップS52:Yes)とステップS53に進む。一方、点滴台が検出されたと判定されない(ステップS52:No)と、ステップS59に進む。
ステップS52において、点滴台が検出されたと判定されると、続くステップS53において、識別ラベル検出機能13は、ステップS52で検出した点滴台を示す領域の中から、点滴台の識別ラベル62を検出する。
続いて、識別ラベル検出機能13は、ステップS53において点滴台の識別ラベル62が検出されたかを判定する(ステップS54)。識別ラベル62が検出されたと判定される(ステップS54:Yes)とステップS58に進む。一方、点滴台の識別ラベル62が検出されたと判定されない(ステップS54:No)とステップS55に進む。
ステップS54において、点滴台の識別ラベル62が検出されたと判定されないと、ステップS55において、第2の情報生成機能15は、警報フラグをオンにする。
第2の情報生成機能15は、ステップS51で検出した点滴台の位置を記憶する(ステップS56)。
さらに、第2の情報生成機能15は、点滴台を検出した観測画像I(x,y,t)を撮像したカメラ3の識別番号を記憶する(ステップS57)。
物体識別機能11は、移動領域データから、ステップS51で検出した点滴台に対応する領域を削除する(ステップS58)。
物体識別機能11は、移動領域データが含む全ての移動領域を処理したかを判定する(ステップS59)。全ての移動領域を処理したと判定される(ステップS59:Yes)と、図11のステップS7に戻る。一方、全ての移動領域を処理したと判定されない(ステップS59:No)と、ステップS51に戻る。
(酸素ボンベの検出処理の流れの説明)
図15は、酸素ボンベの検出を行う処理の流れの一例を示すフローチャートである。なお、図15は、図11のステップS7で行われる具体的な処理の内容を示すものである。
物体識別機能11は、移動領域データを、酸素ボンベの学習用データによって学習した識別器64dを用いて識別する(ステップS61)。
物体識別機能11は、ステップS61の識別によって、酸素ボンベが検出されたかを判定する(ステップS62)。酸素ボンベが検出されたと判定される(ステップS62:Yes)とステップS63に進む。一方、酸素ボンベが検出されたと判定されない(ステップS62:No)と、ステップS67に進む。
ステップS62において、酸素ボンベが検出されたと判定されると、続くステップS63において、第2の情報生成機能15は、警報フラグをオンにする。
第2の情報生成機能15は、ステップS61で検出した酸素ボンベの位置を記憶する(ステップS64)。
さらに、第2の情報生成機能15は、ステップS61で酸素ボンベを検出する元になった観測画像I(x,y,t)を撮像したカメラ3の識別番号を記憶する(ステップS65)。
物体識別機能11は、移動領域データから、ステップS61で検出した酸素ボンベに対応する領域を削除する(ステップS66)。
物体識別機能11は、移動領域データが含む全ての移動領域を処理したかを判定する(ステップS67)。全ての移動領域を処理したと判定される(ステップS67:Yes)と、図11のステップS8に戻る。一方、全ての移動領域を処理したと判定されない(ステップS67:No)と、ステップS61に戻る。
(残領域に対する報知判断処理の流れの説明)
図16は、残領域に対する報知判断処理の流れの一例を示す図である。なお、図16は、図11のステップS10で行われる具体的な処理の内容を示すものである。
第1の情報生成機能14は、残領域の面積が所定値以上であるかを判定する(ステップS71)。残領域の面積が所定値以上であると判定される(ステップS71:Yes)と、ステップS72に進む。一方、残領域の面積が所定値以上であると判定されない(ステップS71:No)と、ステップS75に進む。
ステップS71において、残領域の面積が所定値以上であると判定されると、ステップS72において、第2の情報生成機能15は、警報フラグをオンにする。
続いて、第2の情報生成機能15は、残領域の位置を記憶する(ステップS73)。
さらに、第2の情報生成機能15は、残領域を検出した観測画像I(x,y,t)を撮像したカメラ3の識別番号を記憶する(ステップS74)。
第1の情報生成機能14は、全ての残領域を判定したかを判定する(ステップS75)。全ての残領域を判定したと判定される(ステップS75:Yes)と、図11のステップS11に戻る。一方、全ての残領域を判定したと判定されない(ステップS75:No)と、ステップS71に戻る。
図16に示す処理によって、移動領域として、登録された物体以外の領域が検出された場合に、当該領域に対して、MR撮影室80への持ち込みの可否を確認する必要があることを示す報知を行うことができる。
(報知処理の流れの説明)
図17は、第1カメラ3aの観測画像I(x,y,t)に対する報知処理の流れの一例を示す図である。なお、図17は、図11のステップS11で行われる具体的な処理の内容を示すものである。
通信制御機能23は、第1カメラ3aの観測画像I(x,y,t)が含む移動領域に対する識別結果(物体の位置又は残領域の位置と、撮像したカメラの識別番号(この場合は第1カメラ3aに対応する識別番号)と、警報フラグ及び注意喚起フラグの状態)を、通信制御機能16をから受信する(ステップS81)。
報知画像生成機能20は、第1カメラ3aが撮像した観測画像I(x,y,t)が含む移動領域に対して、警報フラグがオンであるかを判定する(ステップS82)。警報フラグがオンであると判定される(ステップS82:Yes)とステップS83に進む。一方、警報フラグがオンであると判定されない(ステップS82:Nо)とステップS84に進む。
ステップS82において、警報フラグがオンであると判定されると、ステップS83において、報知画像生成機能20は報知画像70a、70bを生成する。その後、ステップS86に進む。
ステップS82において、警報フラグがオンであると判定されないと、ステップS84において、報知画像生成機能20は、第1カメラ3aが撮像した観測画像I(x,y,t)が含む移動領域に対して、注意喚起フラグがオンであるかを判定する。注意喚起フラグがオンであると判定される(ステップS84:Yes)とステップS85に進む。一方、注意喚起フラグがオンであると判定されない(ステップS84:Nо)とステップS87に進む。
ステップS84において、注意喚起フラグがオンであると判定されると、ステップS85において、報知画像生成機能20は報知画像70cを生成する。その後、ステップS86に進む。
ステップS86において、表示制御機能21は、ステップS83で生成された報知画像70a,70b、又はステップS85で生成された報知画像70cをディスプレイ38に出力する。
報知画像生成機能20は、全ての識別結果を処理したかを判定する(ステップS87)。全ての識別結果を処理したと判定される(ステップS87:Yes)と、図17の処理を終了して図11のステップS12に戻る。一方、全ての識別結果を処理したと判定されない(ステップS87:No)と、ステップS82に戻る。
以上説明したように、実施形態の画像認識回路1(画像認識装置)において、物体識別機能11(識別部)は、MRI装置81(磁気共鳴装置)が設置されたMR撮影室80に連通する前室90に設置されたカメラ3(撮像装置)が撮像した観測画像I(x,y,t)の中から、磁性体が隠れている可能性がある不可視領域を識別する。そして、第1の情報生成機能14(第1の情報出力部)は、物体識別機能11が不可視領域を識別したことを条件として、当該不可視領域に対する確認を促す第1の情報を出力する。したがって、物体の影に磁性体が隠れている可能性があることを報知することができる。また、カメラ3は、MR撮影室80の外部の前室90を撮像するため、画像認識回路1(画像認識装置)は、できるだけ早いタイミングで、不可視領域があることを検出することができる。そのため、不可視領域が見つかった際に、充分な確認時間を確保することができる。
また、実施形態の画像認識回路1(画像認識装置)において、第1の情報は、不可視領域に対する確認を促す報知メッセージ71b(テキスト情報)、又は不可視領域の位置を示す識別領域74c(画像情報)である。したがって、報知内容がわかりやすく表示されるため、報知内容を的確に伝達することができる。
また、実施形態の画像認識回路1(画像認識装置)において、カメラ3(撮像装置)は、複数のカメラを備えて、第1の情報生成機能14(第1の情報出力部)は、複数のカメラ3の各々が撮像した観測画像I(x,y,t)に基づく第1の情報を、カメラ3と関連付けて出力する。したがって、各カメラが撮像した観測画像I(x,y,t)から検出された、不可視領域の確認が必要な物体を、カメラ3毎に報知することができる。そのため、前室90のどの領域に対してなされた報知であるかを即座に判断することができ、これによって、不可視領域の確認を迅速に行うことができる。
また、実施形態の画像認識回路1(画像認識装置)において、移動領域検出機能10(領域検出部)は、カメラ3(撮像装置)が予め撮像した背景画像Io(x,y,t0)と、カメラ3が現時刻に撮像した観測画像I(x,y,t)と、に基づいて、時間とともに移動する移動領域を検出する。そして、物体識別機能11(識別部)は、検出された移動領域に対して、物体の識別を行う。したがって、観測画像I(x,y,t)の中の動きのない物体に対して、不要な報知を発生させないようにすることができる。
また、実施形態の画像認識回路1(画像認識装置)において、物体識別機能11(識別部)は、予め撮像された、不可視領域を含む画像の集合に基づいて生成した、画像から不可視領域を識別する識別器64b(学習済モデル)を用いて、カメラ3(撮像装置)が撮像した観測画像I(x,y,t)の中から不可視領域を識別する。したがって、不可視領域があることを、確実かつ容易に識別することができる。
また、実施形態の画像認識回路1(画像認識装置)において、物体識別機能11(識別部)は、カメラ3(撮像装置)により予め撮像された、不可視領域を含む1以上の画像と、カメラ3が撮像した観測画像I(x,y,t)とを照合することによって、観測画像I(x,y,t)の中から不可視領域を識別する。したがって、不可視領域があることを、確実かつ容易に識別することができる。
また、実施形態の画像認識回路1(画像認識装置)において、物体識別機能11(識別部)は、カメラ3(撮像装置)が撮像した観測画像I(x,y,t)の中から、予め登録された物体を識別する。そして、第2の情報生成機能15(第2の情報出力部)は、識別ラベル検出機能13(識別子検出部)が、物体として識別された領域の中からMR撮影室80への持ち込みが許可された物体に貼付された識別ラベル62(識別子)が検出できないことを条件として、MR撮影室80への持ち込みの可否を確認する必要があることを示す第2の情報を出力する。したがって、MR撮影室80への持ち込みが許可されていない物体が、MR撮影室80に持ち込まれる可能性があることを報知することができる。
また、実施形態の画像認識回路1(画像認識装置)において、第2の情報は、物体識別機能11(識別部)が識別した物体に対する確認を促す報知メッセージ71a(テキスト情報)、又は当該物体の位置を示す識別領域74a、74b(画像情報)である。したがって、報知内容がわかりやすく表示されるため、報知内容を的確に伝達することができる。
また、実施形態の画像認識回路1(画像認識装置)において、移動領域検出機能10(領域検出部)は、カメラ3(撮像装置)が予め撮像した背景画像Io(x,y,t0)と、カメラ3が現時刻に撮像した観測画像I(x,y,t)と、に基づいて、時間とともに移動する移動領域を検出する。そして、移動領域検出機能10により人間が捉えられた場合に、物体識別機能11(識別部)は不可視領域の候補から人間が捉えられた領域を除外する。したがって、例えば、MRI装置81を用いた撮像に従事する関係者が捉えられた領域が除外されることによって、物体識別を簡素化させることができる。
また、実施形態の画像認識回路1(画像認識装置)において、移動領域検出機能10(領域検出部)は、カメラ3(撮像装置)が予め撮像した背景画像Io(x,y,t0)と、カメラ3が現時刻に撮像した観測画像I(x,y,t)と、に基づいて、時間とともに移動する移動領域を検出する。そして、移動領域検出機能10により磁性体持ち込みの可能性がある人間が捉えられた場合に、物体識別機能11(識別部)は不可視領域の候補として、人間が捉えられた領域を含める。したがって、注意を払うべき領域を特定しやすくすることができる。
また、実施形態の報知回路2(報知装置)は、通信制御機能23(受信部)が、MRI装置81(磁気共鳴装置)が置かれたMR撮影室80の外部に設置されたカメラ3(撮像装置)が撮像した観測画像I(x,y,t)の中から、磁性体が隠れている可能性がある不可視領域が検出されたことを条件として生成された、当該不可視領域に対する確認を促す第1の情報を受信して、報知画像生成機能20(報知部)が、第1の情報に基づいて報知を行う。したがって、MR撮影室80に持ち込まれる可能性がある物体の影に、磁性体が隠れている可能性があることを報知することができる。
また、実施形態の報知システム100は、カメラ3(撮像装置)がMR撮影室80の外部の画像を撮像する。そして、画像認識回路1(画像認識装置)の物体識別機能11(識別部)は、観測画像I(x,y,t)の中から、磁性体が隠れている可能性がある不可視領域を識別する。第1の情報生成機能14(第1の情報出力部)は、物体識別機能11が不可視領域を識別したことを条件として、当該不可視領域に対する確認を促す第1の情報を出力する。そして、報知回路2(報知装置)の通信制御機能23(受信部)が、第1の情報を受信して、報知画像生成機能20(報知部)が、第1の情報に基づいて報知を行う。したがって、物体の影に磁性体が隠れている可能性があることを報知することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。