JP2019204533A - 撮像装置、医療支援システム、撮像方法、撮像プログラム、データ処理方法およびデータ処理プログラム - Google Patents

撮像装置、医療支援システム、撮像方法、撮像プログラム、データ処理方法およびデータ処理プログラム Download PDF

Info

Publication number
JP2019204533A
JP2019204533A JP2019133172A JP2019133172A JP2019204533A JP 2019204533 A JP2019204533 A JP 2019204533A JP 2019133172 A JP2019133172 A JP 2019133172A JP 2019133172 A JP2019133172 A JP 2019133172A JP 2019204533 A JP2019204533 A JP 2019204533A
Authority
JP
Japan
Prior art keywords
information
imaging
image data
image
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019133172A
Other languages
English (en)
Other versions
JP7029429B2 (ja
Inventor
豊田 哲也
Tetsuya Toyoda
哲也 豊田
吉田 英明
Hideaki Yoshida
英明 吉田
池田 勝
Masaru Ikeda
勝 池田
野中修
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2019133172A priority Critical patent/JP7029429B2/ja
Publication of JP2019204533A publication Critical patent/JP2019204533A/ja
Application granted granted Critical
Publication of JP7029429B2 publication Critical patent/JP7029429B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】医療行為の利便性を向上させ得る撮像装置を提供する。【解決手段】ネットワーク40に接続された患者情報データベース34を有するファイルサーバー30との間で通信を可能とする撮像装置20であって、医師が所定のオーダー端末装置10を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信部と、所定の画像データを取得する撮像部と、を具備し、上記撮像部は、上記通信部において取得した上記撮影条件情報に基づく画像データを取得可能とする。【選択図】図1

Description

この発明は、撮像装置、医療支援システム、撮像方法、撮像プログラム、データ処理方法およびデータ処理プログラムに関するものである。
近年、各種の情報を手軽に取り扱うことができ、かつ通信機能を備え、小型で携帯し得る形態の情報端末装置が一般に普及している。
この種の情報端末装置は、他の同種の情報端末装置との間で直接相互通信を行って各種の情報交換を行うことができると共に、ネットワークを介して遠隔地にあるファイルサーバー等にアクセスして当該ファイルサーバーとの間で各種の情報の伝達(送受)を行うことができるように構成されている。
そこで、従来においては、これら複数の情報端末装置と、各種の情報を蓄積したファイルサーバーとを、既存の若しくは専用のネットワークを介して相互に接続する情報通信技術(ICT;Information and Communication Technology)を利用することで、さまざまな情報を取り扱い共有するように構成したネットワークシステムが、各種の分野において一般に実用化され急速に普及しつつある。
この種のネットワークシステムとしては、例えば、医療現場等において、医療従事者等(例えば医師,看護師,各種専門技師,介護福祉士等、医療関係の各種の有資格者等)が情報端末装置を用いて、外部ネットワーク若しくは内部ネットワークを介して病院等の医療拠点に設置されたファイルサーバーにアクセスし、当該ファイルサーバーとの間で相互通信を行うことにより、医療関連情報(例えば電子カルテ情報や患者情報等)を共有し得るように構築された医療支援システム(例えば病院情報システム(HIS;Hospital Information System等)がある。
従来、この種の医療支援システムとしては、例えば特開2006−195669号公報等によって、種々の提案が開示されている。
上記特開2006−195669号公報等によって開示されている医療支援システムは、医療施設内及び医療施設外で使用され、音声通話機能やデータ通信機能,個人認証機能等の各種機能を備えた情報端末装置を用いて、電子カルテ管理やオーダー管理,業務スケジュール管理等を行うというものである。
一方、この種の医療支援システムは、例えば通院困難な患者のためのオンライン診療や訪問医療,訪問介護等の医療向けサービスに利用することが考えられている。この場合には、例えば、当該医療支援システムを利用することによって、自力での移動が困難な患者や、病院等の医療拠点から遠隔地に居住している患者等が、病院等の医療拠点に出向くことなく、医師による診療や医療相談等を容易に受けることができるようになる。
また、看護師や介護福祉士等の医療従事者が患者を訪問して、若しくは患者の家族や近親者等の介護者等が患者の自宅で、所定の情報端末装置を用いて患者情報としての画像情報等を取得し、こうして取得された患者情報(画像情報等)を病院等の医療拠点に設置されたファイルサーバーに伝達して蓄積し、この患者情報(画像情報)を当該患者の担当医師(いわゆる主治医)と共有できれば、当該医師は往診をすることなく、患者の経過観察や現在状況を画像を参照することで把握することができるといった利便性が考えられる。
特開2006−195669号公報
ところが、上記特開2006−195669号公報等によって開示される医療支援システムは、医療従事者が患者情報等を病院等の医療拠点において一括して管理するためのものであって、医療従事者以外が利用することは考慮されていない。
また、当該特開2006−195669号公報等による従来の医療支援システムは、患者情報としての医療画像を取り扱うことについては何ら考慮されていない。
一般に、患者情報として正式に認められる医療用画像としては、医師のオーダー(依頼又は指示等)を受けて所定の医療関係の有資格者が規定の設定やフォーマットに基づいて取得した画像情報のみが承認されることが前提となる。
したがって、所定の医療関係の資格を有しない人物(例えば患者の家族や近親者等の介護者等;非医療従事者)が、私有する撮像装置や情報端末装置等を用いて取得した患者の画像は、正式な医療用画像として扱うことができないのが普通である。
しかしながら、近年、高解像度の画像を気軽に取得することができる撮像機能を有すると共に、通信機能を具備し、携帯に適した小型の情報端末装置、具体的には例えばスマートフォンやタブレット型PC等が、一般に広く普及しており、誰もがいつでも高解像度の画像を取得することができ、その取得した画像を容易に、同様の情報端末装置を所持する他者との間で共有することができる環境が整っている。
そこで、一般に普及している情報端末装置(例えば通信機能付きの撮像装置(カメラ)や撮像機能付きの通信装置(スマートフォン,タブレット型PC等))を用いて、医療従事者のみに限らず医療従事者以外の人物(患者の家族や近親者等の介護者;非医療従事者)によって取得された画像を、患者情報としての医療用画像若しくは医療用参照画像として取り扱うことができるようになれば至便である。
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、医療従事者が取得した患者情報としての画像情報のみならず、医療従事者以外の一般の人物(非医療従事者)が取得した画像情報をも患者情報としての医療用画像若しくは医療用参照画像として取り扱うことができ、医療行為の利便性を向上させ得る撮像装置、医療支援システム、撮像方法、撮像プログラム、データ処理方法およびデータ処理プログラムを提供することである。
本発明の一態様の撮像装置は、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置であって、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信部と、所定の画像データを取得する撮像部と、を具備し、上記撮像部は、上記通信部において取得した上記撮影条件情報に基づく画像データを取得可能とする。
本発明の他の態様の撮像装置は、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置であって、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信部と、上記通信部において取得した上記撮影条件情報に基づく画像データを取得可能とする撮像部と、を具備する。
本発明の一態様の医療支援システムは、オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムであって、上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較部と、上記比較部における比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理部と、を具備する。
本発明の一態様の撮像装置の撮像方法は、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像方法であって、通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得する通信ステップと、所定の画像データを取得する撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、を有する。
本発明の一態様の撮像プログラムは、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像プログラムであって、通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得する通信ステップと、所定の画像データを取得する撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、をコンピュータに実行させる。
本発明の他の態様の撮像装置の撮像方法は、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像方法であって、通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信ステップと、撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、を有する。
本発明の一態様の撮像プログラムは、ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像プログラムであって、通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信ステップと、撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、をコンピュータに実行させる。
本発明の一態様の医療支援システムにおけるデータ処理方法は、オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムにおけるデータ処理方法であって、上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較ステップと、上記比較ステップにおける比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理ステップと、を有する。
本発明の一態様の医療支援システムにおけるデータ処理プログラムは、オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムにおけるデータ処理プログラムであって、上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較ステップと、上記比較ステップにおける比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理ステップと、をコンピュータに実行させる。
本発明の他の態様の医療支援システムは、患者情報を共有して医療業務を支援する医療支援システムであって、ネットワークに接続され患者情報データベースを有し、所定の外部情報端末装置との間で通信可能とするファイルサーバーと、上記ネットワークを介して上記ファイルサーバーとの間で通信し、入力されたオーダー情報を上記ファイルサーバーに伝達するオーダー端末装置と、を具備し、上記ファイルサーバーは、上記外部情報端末装置との通信により当該外部情報端末装置に係る固有の仕様情報を取得し、オーダー端末装置からの指示入力を受けてオーダー情報を作成し、上記仕様情報と上記オーダー情報との少なくとも一方の情報に基づいて、対応する撮影条件情報を作成し、上記撮影条件情報を上記オーダー情報と共に上記外部情報端末装置へ伝達し、上記外部情報端末装置から、上記撮影条件情報及び上記オーダー情報に応じた画像データを取得する。
本発明によれば、医療従事者が取得した患者情報としての画像情報のみならず、医療従事者以外の一般の人物(非医療従事者)が取得した画像情報をも患者情報としての医療用画像若しくは医療用参照画像として取り扱うことができ、医療行為の利便性を向上させ得る医療支援システムと、これに適用する情報端末装置と、当該医療支援システムにおける患者画像データ取得方法、こうした環境下で有効な画像ファイル形式を提供することができる。
本発明の一実施形態の医療支援システムの概要構成を示す概念図 本発明の一実施形態の医療支援システムの作用の概略を各使用状況に応じて示す概念図(第1パターンの説明図) 本発明の一実施形態の医療支援システムの作用の概略を各使用状況に応じて示す概念図(第1パターンの説明図) 本発明の一実施形態の医療支援システムの作用の概略を各使用状況に応じて示す概念図(第2パターンの説明図) 本発明の一実施形態の医療支援システムの作用の概略を各使用状況に応じて示す概念図(第2,第3パターンの説明図) 本発明の一実施形態の医療支援システムの作用において、第1〜第3パターンの後の使用状況の説明図 本発明の一実施形態の医療支援システムの作用において、第1〜第3パターンの後の使用状況の説明図 本発明の一実施形態の医療支援システムにおける情報端末装置の主要構成を示すブロック構成図 本発明の一実施形態の医療支援システムにおけるファイルサーバーの主要構成を示すブロック構成図 本発明の一実施形態の医療支援システムにおける情報端末装置のうち第2端末の作用の一部を示すフローチャート 本発明の一実施形態の医療支援システムにおける情報端末装置のうち第2端末の作用の他の一部を示すフローチャート 本発明の一実施形態の医療支援システムにおける情報端末装置のうち医師が使用する第1端末の作用を示すフローチャート 本発明の一実施形態の医療支援システムにおけるファイルサーバーの作用を示すフローチャート
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
[一実施形態]
本発明の一実施形態の医療支援システムは、医療現場などにおいて利用されるネットワークシステムであって、患者の医療用画像又は医療用参照画像等を含む患者情報等を共有して医療業務を支援するネットワークシステムの一例である。
ここで、医療用画像とは、医師のオーダー(依頼又は指示等)を受けて、所定の医療従事者等が規定の設定やフォーマットに基づいて取得した画像として正式に承認される画像情報をいうものとする。
また、医療従事者等とは、例えば医師,看護師,各種専門技師,介護福祉士等を含めた医療関係の各種の有資格者(いわゆる医療スタッフ)を指すものとする。
したがって、医療用画像は、医師自身が自身のオーダー(診療方針等)に従って所定の医療機器(例えば医療用内視鏡装置,医療用超音波検査装置等各種の撮像装置等)を用いて取得した画像(例えば内視鏡画像,超音波検査画像,撮像画像等)のほか、医師のオーダーを受けて医師以外の医療従事者(所定の医療関係の有資格である専門技師等(例えば内視鏡技師,超音波検査技師,診療放射線技師等))が取得した画像に類するものを指す
ものとする。
また、医療用参照画像とは、医師,専門技師等以外の医療従事者(特定の専門資格を有しない医療スタッフ(例えば介護福祉士等)又は医療従事者以外の一般の人物(例えば患者の家族や近親者等の介護者等の非医療従事者;以下、患者家族というものとする)が取得した画像情報をいうものとする。この場合において、当該医療用参照画像は、医師のオーダー(依頼又は指示等)に対応して設定される規定の撮影条件情報や、所定の設定,フォーマットに準じて取得された画像であるものとする。そして、この医療用参照画像は、正式な医療用画像として承認されるものではないが、医師が行う医療行為の参照用画像として医師が認める画像情報となり得るものとする。
なお、医師のオーダー(依頼又は指示等)とは、例えば次に示すようなものである。
即ち、通常の場合、医師は、治療,診療,検査等の対象とする患者(以下、対象患者というものとする)の診察を行った後などには院内端末(例えば病院等の診察室等に設置されたPC等の内部端末装置)を用いて、内部ネットワーク(院内ネットワーク)を介して当該病院等の医療拠点に設置されたファイルサーバーにアクセスし、当該ファイルサーバーに蓄積された電子カルテデータベースの中の対象患者の電子カルテファイルに対して、本日の診察記録等を行う。
その際に、当該医師は合わせて、次の検査等の指示を出すことがある。そのために、医師は、当該院内端末を用いて所定のオーダー画面を開き、このオーダー画面から所望する検査等に対応するオーダー情報を作成する。
このオーダー情報は、例えば、複数の撮影種別(例えばX線撮影,CT,MRI,内視鏡検査,超音波検査,一般撮影など)の中から所望の撮影項目を選択したり、所望の撮影部位(例えば、胸部,腹部,頭部,肘関節等)を選択指示するほか、さらに、例えば、左膝の正面と側面等といった具体的な撮影指示を行う。またさらに必要に応じて細かな指示がある場合には、例えばコメント欄等に詳細指示を記載する。
ここで、詳細指示の一例としては、次のようなものである。
医師のオーダーとして、例えば、所定の対象患者の「患部の傷口の経過を観察する画像を撮影するオーダー」である場合の詳細指示として、
(1)マクロモード(撮影倍率1:2)で撮影する、
(2)肌の色を判断したいために所定の色票(カラーチャート)を入れて撮影する、
などがある。
また、静止画像の撮影指示のみではなく、例えば動画像の撮影指示、音声を含む静止画像又は動画像の撮影指示等も考えられる。
このようして作成されたオーダー情報は、対象患者の患者情報に関連付けされた上で、検査を取り扱う対応部署の医療従事者等が使用する端末装置へ転送される。
ここで、医療現場におけるオーダー情報は、「いつ」「どこで」「誰が」「誰に対して」「どの様な装置で」「どの様な検査を」行うのか等からなる情報である。
即ち、「誰が」は、院内では、診療部門や検査担当者などが相当するが、本発明では情報端末装置等で患者画像を撮影するユーザとなる。
「誰に対して」は、カルテに書かれているような各種情報、例えば生年月日や性別,血液型等の患者基本属性情報や患者ID等である。こうしたものは、院内システムや医師等から発行してもらうものであるが、個人情報の取り扱い等を留意すると、オーダー情報に含める情報は、必要な項目だけで良い。
「どの様な装置で」は、CT,MRI,内視鏡,撮像装置(カメラ)等が相当する。
「どの様な検査を」は、患者の部位(胸や足など)に対して、どの様な放射線強度等で何枚写真を撮影するのか等の情報である。本発明においては、情報端末装置を用いて画像を撮影するときの構図や距離,焦点距離,撮影倍率,露出,ピント,絞り等の撮影パラメータや画質や画像サイズやファイルフォーマットなどが相当する。さらに、撮影枚数等や撮影パラメータの設定等を含めてもよい。なお、これらの情報は、「どのような装置で」の情報に含めてもよい。
このようにオーダー情報には様々な情報が含まれるが、オーダーを一覧としてまとめたオーダリングリスト情報等に従って、検査や処置を実施できるように、表示等を出しながら撮影を促し、当該リストに従って順番に撮影していくといった撮影手順等を含めてもよい。この場合、撮り忘れや効率性の点でメリットがある。
このような効果の点からすると、これらの情報(患者基本属性情報等)は、「管理用付帯情報」,「診療用付帯情報」,「診療管理情報」等と呼んでも良い。
例えば、同じ患者であっても、病気や怪我等の症状毎に異なる(スタディが異なる)場合があり、その都度、異なる状況の検査(撮影を含む対応)が期待される場合がある。したがって、これらを区別できるようにすることも必要である。例えば、年度毎に健診を行う場合、各年度毎に異なるスタディ情報として取り扱うことが考えられる。
なお、撮影の方法については、状況に応じての変更はもちろん可能で、その場合、オーダーに対して実施結果が同じではない様な場合には、実施情報を画像のタグ情報として付加すればよい。
以下に説明する実施形態においては、上記説明したような情報を一括してオーダー情報として説明しているが、その全てが必須ではなく、その一部の情報のみを対象にしてもよい。
なお、医療施設外では訪問医療あるいは在宅医療がユースケースとしては主となる。その場合、在宅患者を撮影するといった行為がなされる。在宅医療の支援のために、医療機器が十分に揃えることができない環境下においては、専用の医療機器ではない一般のコンシューマ製品であるカメラやスマートフォン附属の撮像機能等を用いて画像の撮影を行う時に、こうした情報を利用することができることは重要である。したがって、看護師や医師等の医療従事者がオーダー受信者として信号を受信した装置を使って、患者への往診,訪問により撮影を行うような状況を想定してもよい。
このようにして医師により作成されるオーダー情報は、医療行為的な複数の指示をまとめた情報群である。
本発明の一実施形態の医療支援システムについての概念を、図1を用いて以下に説明する。図1は、本発明の一実施形態の医療支援システムの概要構成を示す概念図である。
本実施形態の医療支援システム1は、図1に示すように、複数の情報端末装置10,20と、ファイルサーバー30と、これらを相互に接続すべく設けられるネットワーク40等によって主に構成されている。
この場合において、複数の情報端末装置10,20は、それぞれが相互に直接通信が可能であると共に、それぞれはネットワーク40を介してファイルサーバー30との間で通信が可能である。
複数の情報端末装置10,20同士の直接通信手段としては、例えば、既存の近距離無線通信手段等が適用される。
また、複数の情報端末装置10,20とファイルサーバー30との間の通信は、例えば、内部ネットワーク(無線LAN又は有線LAN)経由で接続されるインターネット等の外部ネットワークを介して行われる既存の一般的な通信手段が適用される。
複数の情報端末装置10,20は、それぞれが画像情報を取得することができる撮像機能を備えていると共に、各情報端末装置同士の直接通信機能のほか、ネットワーク40を介した通信機能を具備し、小型でかつ携帯可能に構成される電子機器である。
この複数の情報端末装置10,20の具体的な形態としては、例えば通信機能付きの撮像装置(カメラ)や、撮像機能付きの通信装置であるスマートフォンやタブレット型PC等を想定している。
図1に示す例では、複数の情報端末装置10,20のうち、符号10で示す情報端末装置を、医師100が使用する情報端末装置としている。以下の説明において、これを第1端末10と表記するものとする。また、図1において、第1端末10は、例えばタブレット型PCの形態として図示している。
一方、複数の情報端末装置10,20のうち、符号20で示す情報端末装置を、医師100以外の人物120(例えば患者家族)が使用する情報端末装置としている。以下の説明において、これを第2端末20と表記するものとする。また、図1において、第2端末20は、例えば一般的な撮像装置であるカメラの形態として図示している。
ここで、複数の情報端末装置10,20は、タブレットPC形態であっても、カメラ形態であっても、また、他の形態、例えばスマートフォン形態であってもよく、いずれの形態であっても、基本的には同様の機能を有しているものとする。
つまり、本実施形態の医療支援システム1に適用し得る情報端末装置(10,20)は、少なくとも撮像機能及び通信機能を備えているものであれば、装置の形態に限られることなく同様に適用することができるものである。したがって、図1に図示される各情報端末装置10,20の形態は、単なる一つの例示である。
このように構成される本実施形態の医療支援システム1の作用の概略は、次に示すようなものである。
図2〜図7は、本実施形態の医療支援システムの作用の概略を、各使用状況に応じて示す概念図である。このうち、図2,図3は、本実施形態の医療支援システムの作用の第1パターンを説明する概念図である。図4,図5は、本実施形態の医療支援システムの作用の第2パターンを説明する概念図である。なお、図5は、本実施形態の医療支援システムの作用の第3パターンを説明する概念図を兼ねている。図6,図7は、上記第1〜第3パターンで説明した各使用状況によって医師から医療用参照画像のサンプル画像(基準画像)を受け取った後の使用状況を説明する概念図である。
本実施形態の医療支援システム1の作用を、具体的な使用状況(使用パターン)毎に、簡単に説明する。
まず、本実施形態の医療支援システム1の使用状況における第1パターンは、以下の通りである(図2,図3参照)。
即ち、図2に示す状況は、ある患者の主治医である医師100が、自分の所属している病院等の医療拠点の診察室に、対象患者の患者家族120が訪れている状況(いわゆる代理診察の状況)を示している。
ここで、患者本人ではなく、患者家族120が代理で病院等を訪れているのは、例えば、患者本人が自力で移動が困難であったり、病院等から遠隔地に居住している等の理由によって、通院することが困難な状況にある、といったことを想定している。
このとき、患者家族120は、ここには来て居ない患者本人を自宅で撮影した画像情報(画像データ)が複数記録された情報端末装置である第2端末20(カメラ)を持参している。
患者家族120は、この第2端末20に記録された複数の画像情報(図2の符号20aで示す画像一覧表示)を医師100に見せる。
医師100は、患者家族120が持参した第2端末20に記録されている複数画像の中から患者情報としての医療用参照画像として適用可能と思われる画像を選択する(図2の符号20bで示す太枠線内画像)。
ここで、医師100は、当該選択画像20bを、医療用参照画像として承認すると共に、同選択画像20bを今後の医療用参照画像のサンプル画像(基準画像)として採用する作業を行うものとする。
即ち、この時点(患者家族120が第2端末20の画像を医師100に見せているだけの状況下)においては、当該選択画像20bは、患者家族120が私有する第2端末20によって私的に取得された単なる一般画像である。
このような一般画像を、医療用参照画像とするためには、医師100は、所定の医療情報を当該選択画像20bの画像ファイルにメタデータとして付与することで、これを医療用参照画像として承認を与える。以下の説明では、そのための承認作業の手順の一例を簡単に説明している。
なお、本実施形態の医療支援システム1において扱われる画像データファイルは、従来一般的な画像データファイル(例えばExif(Exchangeable image file format)データ等)に含まれるメタデータとは別に、例えば医療的な情報を含む所定のメタデータを有するものとし、これを、特に医療メタデータというものとする。なお、この医療メタデータは、従来一般のメタデータに対して別ファイルの形態で存在する構成でもよいし、一体に構成される形態であってもよい。しかし、いずれの形態を採るにしても、画像データと医療メタデータとは関連付けられていることが重要である。画像データと医療メタデータとが関連付けられていることにより、それぞれが単独データファイルで存在していたとしても、画像データに対する操作(例えば他の媒体への移動,複写若しくは削除操作)の際には、必ず関連付けされたメタデータを伴って所定の操作がなされることになる。したがって、例えば、医療メタデータのみが単独で存在するようなことはないようにされている。
この医療メタデータを、所定の画像データファイルに対して付与するには、まず、医師100は、当該選択画像20bを患者家族120の第2端末20から医師100の第1端末10に転送してもらう(図3参照)。
これを受けて、医師100は、図3に示すように、受信した選択画像20bに対して第1端末10を用いて所定の医療メタデータを付与する作業を行う。
ここで、図3の符号10aは、第1端末10の表示画面の一例を示している。ここで、図3の符号10bは、第1端末10に転送された後の選択画像20bの表示枠を示している。図3の符号10cは、医師が当該選択画像20bに対して付加する医療メタデータの詳細表示欄を示している。
医師100は、第1端末10に対して所定の操作を行って、表示欄10cに所望の情報を入力する。
なお、当該選択画像20bに付加される医療メタデータは、上述のようにして、医師100が入力するほかに、当該選択画像20bに既に付与されている既存のメタデータと重複する項目、例えば撮影時点の日時情報,撮影機器情報(カメラ固有の情報等)等は、自動的に付加されて当該表示欄10cに自動的に表示される。
また、当該医師100が、第1端末10を用いて、今回の対象患者に関する画像情報を含む患者情報を取り扱うことは初めてのことではなく、過去にも利用実績がある場合には、当該第1端末10には、既に対象患者の患者情報が存在しているはずである。
したがって、上述のようにして、第2端末20から患者画像(選択画像20b)が転送されてきた時、例えば、当該選択画像20bの画像データに対して顔検出処理を施したり、当該選択画像20bのメタデータをすれば、対応する患者情報(例えば患者ID等)を自動的に検出することができる。したがって、第1端末10は、検出された患者情報を利用して所望の情報を自動的に、選択画像20bの医療メタデータとして組み入れることができる。
このようにして、当該選択画像20bに所定の医療メタデータが付与されることによって、当該選択画像20bは、医師100による医療用参照画像としての承認がなされる。
このような作業を終えると、医師100は、当該医療メタデータ付きの選択画像20bを第2端末20へと送り返す。
これを受けて、第2端末20は、元の選択画像20bの画像ファイルが残るように、医療メタデータ付きの選択画像20bを別名で保存する。もちろん、この場合の保存敬愛としては、上書き保存とする設定であってもよい。
また、このとき同時に、第1端末10は、当該医療メタデータ付きの選択画像20bをファイルサーバー30(図2,図3には不図示;図1参照)へ転送してもよい。
なお、この場合において、第1端末10によって選択画像20bに付与される医療メタデータとしては、例えば、患者ID(Patient ID;患者固有識別情報),主治医名等を含む担当医師や医療機関に関する情報,医療用参照画像としての承認情報等,治療スケジュール情報等がある。このほか、医療メタデータには、選択画像20bに類似する画像を取得するための各種の撮影条件情報(撮影毎に毎回均等な類似の画像が撮影できるようにするための各種の撮影パラメータ等の設定情報等)やサンプル画像のサムネイル画像等がある。なお、上記撮影条件情報としては、例えば、露出情報,ホワイトバランス情報,感度情報,光学系焦点距離情報,被写体までの距離情報,撮影倍率情報,アングル情報等、各種の撮像関連情報等が含まれる。
医療メタデータには、これらに加えてさらに、従来一般的な画像ファイルとして利用されているExif画像データ等に含まれる各種情報(例えば、撮影場所(GPS情報),日時情報,撮影条件情報等)を含めてもよい。
上記の説明では、撮影に関連する各種の情報(撮影条件情報)を、医療メタデータに含めるように説明しているが、これに限らず、当該撮影条件情報については、画像データファイルとは別個のデータファイルとして作成するようにしてもよい。そして、その撮影条件情報のデータファイルは、対応する画像データファイルに関連付けて記録されているものとする。そして、画像データが第2端末20へと転送される際には、当該画像データとともに関連する撮影条件情報データファイルも共に第2端末20へと転送されるようにする。
このようにして、第2端末20には、医師100によって医療用参照画像として承認された選択画像20bが記録される。患者家族120は、以後、当該第2端末20を用いて自宅等で対象患者を定期的に撮影する。なお、このような状況で定期的に撮影された画像は、例えば見守り画像というものとする。この見守り画像は、患者家族120が第2端末20を使用して対象患者の撮影を行う行為によって得られるものであるが、このとき、患者家族120は、特に医療用参照画像を撮影することについて意識せずに、通常の撮影を行えばよい。
第2端末20においては、顔認識技術等を用いることで対象患者を撮影対象としていることを検出することができる。したがって、第2端末20は、対象患者が検出されると、医師の承認を受けた医療用参照画像(選択画像20b)に付随する撮影条件情報を参照して、新たな医療用参照画像を取得するための撮影動作モード(以下、見守り画像撮影モードというものとする)に対応する撮影パラメータ(露出設定,ホワイトバランス設定,感度設定,焦点距離設定等)を自動設定する。さらに、このとき、構図や撮影アングル,被写体までの距離等の撮影条件情報のガイド表示(アシスト表示)が、表示部に自動的に現れるようにする(例えばライブビュー画像に重畳表示される等)。
こうして取得された新たな画像データには、上記医師の承認を受けた医療用参照画像(選択画像20b)に付随する医療メタデータに対応するメタデータが付与されて、新たな医療用参照画像として、若しくはその候補画像として記録される。
これにより、患者家族120は、第2端末20を用いて、医師100のオーダーに準じた新たな医療用参照画像を容易に取得することができることになる。
また、上述の例では、撮影毎に顔認識による対象患者の検出を行っていたが、これとは別に、次のような撮影形態としてもよい。
例えば、患者家族120は、第2端末20を用いて通常撮影を日常的に行う。このとき、対象患者が必ずしも写り込まない場合は多々ある。
そこで、第2端末20を用いた通常撮影により取得された複数の画像に対して、所定のタイミングで使用者(ユーザ)が任意に若しくは自動的に、顔検出処理を行って、対象患者を含む画像を検出するようにしてもよい。
そうして、対象患者を含む画像の中から、上記医師の承認を受けた医療用参照画像(選択画像20b)に類似する画像データがあれば、その類似画像に対して所定の医療メタデータを付与し、新たな医療用参照画像、若しくはその候補画像として記録するようにしてもよい。
こうして、第2端末20によって、新たな医療用参照画像として複数の画像データが取得される。そして、患者家族120は、例えば、次の病院等の訪問時(代理診察時)等に第2端末20を病院等に持参すると、これら複数の画像データ(医療メタデータ付きのもののみ)が、第2端末20から病院等の医療拠点に設置されたファイルサーバー30へと自動的に転送される。若しくは、医師100が、第2端末20を閲覧して、手動操作等を行って選択的にファイルサーバー30への転送を行うようにしてもよい。
なお、上述の説明では、医療従事者以外の人物として患者家族を例に挙げて説明しているが、このような例に限らず、例えば、医師の往診若しくは訪問介護等の状況を適用してもよい。その場合には、第2端末20を操作する人物として、患者の自宅を訪問する看護師,介護福祉士等が対応する。
このようにして、医師以外の医療従事者や、医療従事者以外の患者家族等が取得した患者画像データを、医師が承認し得る医療用参照画像として取り扱うようにすることができる。
本実施形態の医療支援システム1の使用状況における第1パターンの概略は、以上である。
次に、本実施形態の医療支援システム1の使用状況における第2パターンは、以下の通りである(図4,図5参照)。
即ち、図4に示す状況は、患者110の主治医である医師100が、自分の所属している病院等(医療拠点)の診察室に、対象患者110と、この患者110に同伴する患者家族120が訪れている状況を示している。
ここで、患者本人は、自力での移動が若干困難であり、また、病院等から遠隔地に居住している等の理由によって、頻繁に通院することが困難な状況にあり、そのために、家族同伴にて通院している状況であるものとする。
なお、ここでは、患者本人が病院へ通院している状況としたが、これに限らず、例えば医師が患者自宅への往診時の状況としても同様である。
このとき患者家族120は、画像情報(画像データ)を取得可能な情報端末装置である第2端末20(カメラ)を持参しているものとする。
この状況下で、医師100は、まず、第1端末10を用いて患者110の画像を、医療用画像として利用できるように、所定の設定,フォーマットに準じて撮影する。
図4に示す例では、患者の顔画像を含む上半身を撮影対象とした場合を示している。図4の点線10xは、患者110を撮影対象としたときの撮影範囲の概略を概念的に示している。
このとき、医師100は、患者情報としての医療用画像として適用し得る画像を撮影するものとする。このようにして撮影した対象患者の画像(以下、患者画像という)は、今後の医療用参照画像のサンプル画像(基準画像)として、患者家族120に提供されるものとする。
そのために、まず、医師100は、第1端末10を用いて撮影した患者画像について、所定の医療メタデータの付与操作や医療用画像としての承認操作等を、当該第1端末10を用いて行う(図5参照)。
ここで、図5は第1端末10によって取得された患者画像10dを表示している状況を示している。図5の符号10aは、第1端末10の表示画面を示している。図5の符号10bは、第1端末10にて取得された患者画像10dの表示枠を示している。図5の符号10cは、付加する医療メタデータの表示欄である。なお、上記医療メタデータの詳細は、上述の第1パターン時に例示したものと同様である。
当該患者画像10dに対する医療メタデータや医療用画像の承認情報の付与は、撮影時に自動的に行われるようにしてもよい。当該患者画像10dは、医師100自身が、自分専用の第1端末10を用いて撮影したものである。当該医師100が当該第1端末10を用いて、今回の対象患者の画像を含む患者情報を以前にも扱った実績があれば、当該対象患者の患者情報が第1端末10に存在しているはずである。したがって、上述のように、第1端末10を用いて患者の撮影を行った時点で、例えば、顔検出処理等により対応する患者情報(例えば患者ID等)を自動的に検出し、その患者情報を利用して所望の情報を自動的に医療メタデータに組み入れることができる。また、当該第1端末10は、医師100が専用に利用しているものであるので、必然的に医療用画像として承認され得る。
このようにして、当該患者画像10dには、所定の医療メタデータが付与されて、医師100による医療用画像としての承認がなされる。この作業を終えたら、医師100は、当該医療メタデータ付きの患者画像10dを、患者家族120の第2端末20へと転送する。このとき、上述の第1パターンの状況時と同様に、撮影条件情報等も共に転送される。
こうして、第2端末20には、医師100によって承認された医療用画像としての患者画像10dが記録される。患者家族120は、以後、当該第2端末20を用いて自宅等において患者を撮影する(見守り画像撮影)。以降の作用は、上述の第1パターンの使用状況時と同様である。
なお、患者家族120が第2端末20を用いて、上記医師の承認した医療用画像に準じて新たに取得した患者画像は、患者家族120が撮影するものであるから、医療用参照画像としての医療メタデータが付与される。
本実施形態の医療支援システム1の使用状況における第2パターンの概略は、以上である。
上述の使用状況第2パターンでは、医師100が第1端末10を用いて撮影した患者画像を医療用画像とし、これをサンプル画像として、医療メタデータを付した後に、第2端末20へ転送するようにしていたが、この形態に限られることはない。
例えば、使用状況の第3パターンとして、次のような状況が考えられる(図5参照)。
即ち、まず、病院等の医療拠点においては、各種の症状,患部等に応じた複数のサンプル画像のデータベースを構築しており、これをファイルサーバー30の中に予め用意してあるものとする。
医師100は、必要に応じて第1端末10を用いてファイルサーバー30にアクセスし、所望のサンプル画像を取得して、これを患者家族120に提供する。
この場合にも、患者家族120は、第2端末20を用いて患者の撮影を行うのみで容易に医療用参照画像若しくはその候補画像を取得できる。
患者家族120は、上述のようにして医師100から医療用参照画像のサンプル画像を第2端末20に受け取った後は、当該第2端末20を使用して患者の撮影を行うことで、自動的に医療用参照画像若しくはその候補画像を取得することができるようになる。
この場合において、患者家族120は、第2端末20を使用して患者画像を撮影するのに際し、特に医療用としての患者画像を撮影する意識を持つことなく、第2端末20を用いた通常の使用をしていれば、サンプル画像に類似した医療用参照画像若しくはその候補画像を自動的に取得することができる。
図6は、患者家族120が第2端末20を用いて通常使用しているようすであって、例えば、患者110と他の家族130を含む人物写真を撮っている状況を一例として示している。そうして取得される複数の画像データは、当該第2端末20の記憶媒体(不図示)に対し時系列で記録され蓄積される(図7参照)。またこのとき、必要に応じて、所定の画像データはネットワーク40を介してファイルサーバー30へと転送されるような構成も考えられる。図7は、第2端末20に記録された複数の画像データの蓄積状況を概念的に示している。
図7に示すように、第2端末20の記憶媒体(不図示)には、例えば日付毎に又はイベント毎にフォルダーが作成され、各フォルダー内には、対応する複数の画像データが記録される。
図7に示す例では、「2016年12月(クリスマス)」,「2017年4−5月(GW)」,「2017年7−8月(夏休み)」,「2017年10月(家族旅行)」,「2017年12月(クリスマス)」等の日付情報とイベント名情報が示されている。そして、イベント毎に撮影した複数の画像が、フォルダー単位で記録されている様子を示している。
この場合において、各マス目は、撮影コマ数を示すものとしている。さらに、各撮影コマ数のうち黒く塗り潰したマス目は、対象患者が含まれるコマを明示するものとしている。
ここで、画像中における対象患者の検出は、例えば上記サンプル画像に含まれる医療メタデータ等を参照したり、予め登録された顔画像に基く顔検出処理等によって行われる。
そして、第2端末20は、所定のタイミングで対象患者を含む複数の画像データ(黒塗りマス)のうち、サンプル画像に類似した画像を検索する。この検索処理は、例えば画像のパターンマッチング等の処理を行えばよい。なお、この場合において、撮影された画像そのものの全領域を対象として、サンプル画像に類似している場合のほかにも、撮影された画像の一部領域がサンプル画像に類似している場合であっても、医療用参照画像になり得る。
例えば、図7の符号20z,20pで示す画像データは、撮影画像そのものがサンプル画像に類似していると判断されて、そのままの状態で医療用参照画像として承認される可能性のある候補画像の例示である。
一方、図7の符号20x,20yで示す画像データは、撮影された画像の一部領域がサンプル画像に類似している場合の例示である。この場合には、各画像20x,20yの一部領域を切り出して、新たな画像データを作成し、これを医療用参照画像として承認する可能性のある候補画像の例示である。
具体的には、例えば、患者家族120は、第2端末20を用いて、クリスマスやGW連休等のイベント時に患者を含む家族写真を撮影する(通常使用)。
このとき、例えば、図6に示すような状況で、患者家族120が第2端末20を用いて、患者110と他の家族130を含む人物写真を撮ったとする。その結果、取得された画像は、図7の符号20x,20yで示すようなものとする。これらの画像20x,20yにおいては、患者110が写っている一部の領域(図7の点線枠の領域;符号20xa,20xb)をトリミング(切り取る)し、拡大処理を行うと、サンプル画像に類似する医療用参照画像若しくはその候補画像を作成することができる。
なお、図7に示す画像枠中には、「承認」との記載が追加されている。これは、例えば
、その画像には医療メタデータが付加されていると共に医療用参照画像として承認され得る画像データであることを示す表示アイコンの例示である。
そして、図7に示すように、所定の時間間隔毎に、患者画像を医療用参照画像として作成しておき、これらの画像データがファイルサーバー30に転送されて、医師との共有がなされると、医師は、これらの画像を参照することにより、直接患者に対面しなくとも、患者の状況を把握するための参考とすることができる。つまり、患者本人が定期的に通院できない場合でも、また医師が定期的に往診せずとも、医師は、患者の症状の経時変化を参照することができる。
なお、第2端末20の通常使用時において、所定の時間間隔後に、サンプル画像に類似の画像が存在しない場合、若しくは対象患者を含む画像が撮影されていないような場合には、第2端末20は、その表示画面などに、患者画像の撮影を催促(図7の符号20q参照)する警告メッセージなどを出すようにしている。
これにより、患者家族120は、第2端末20を用いて、所定の時間間隔毎の患者画像を継続して撮影することになる。その際に、特に医療用参照画像であることを意識せずとも、通常使用を行うのみで、医師が承認し得る形態の医療用参照画像を、継続的に取得することができる。
なお、上記催促の警告メッセージの表示は、第2端末20が撮影モードでの動作時であっても、再生モードでの動作時であっても、いずれの場合であってもよい。例えば、当該第2端末20の起動時等に、設定されている動作モードに関わらず催促の警告メッセージが表示される。
また、図2〜図7を用いて説明した使用状況においては、医療用画像及び医療用参照画像の例として、患者の顔を含む画像を示して説明したが、これに限られるものではない。医療用画像や医療用参照画像としては、例えば患者の顔画像のほかにも、個々の患者毎に異なる患部等の画像や、術後の患部近傍の画像等が考えられる。
上記のような作用を実現するために、本実施形態の医療支援システム1における情報端末装置(第1端末10,第2端末20)及びファイルサーバー30の主要構成を、以下に説明する。
図8は、本実施形態の医療支援システムにおける情報端末装置の主要構成を示すブロック構成図である。また、図9は、本実施形態の医療支援システムにおけるファイルサーバーの主要構成を示すブロック構成図である。
まず、本実施形態の医療支援システム1における情報端末装置(10,20)の主要構成を説明する。なお、情報端末装置は、上述したように、医師が使用する第1端末10と、医師以外の人物(例えば医師以外の医療従事者又は患者家族等)が使用する第2端末20とがある。これらは形態が異なっていたとしても、その主要構成は略同様である。したがって、第1端末10と第2端末20とは同じ構成を有してなるものとして説明する。
図8に示すように、情報端末装置(10,20)は、撮像部11と、通信部12と、操作部13と、タッチパネル14と、表示部15と、記録部16と、姿勢センサ17と、GPS18と、方位センサ19と、画像処理制御部21と、時計部22等を主に備えて構成されている。なお、情報端末装置(10,20)の構成要素としては、ここで列挙した以外にも、種々の構成要素を具備している。しかしながら、それらの構成要素は、本発明の要旨には直接関連しない部分であるので、その図示及び説明は省略する。そして、これら図示及び説明を省略された各種構成要素は、従来一般的な形態の情報端末装置に適用されているものと同様のものが具備されているものとする。
撮像部11は、光学像を形成する光学系と、この光学系により形成される光学的な被写体像を電気的な信号に変換する光電変換素子等を含む回路等によって構成され、撮像機能を実現する構成ユニットである。なお、撮像部11についての具体的な構成は、従来一般的な形態の撮像ユニットと略同様のものが適用される。この撮像部11は、後述する撮像制御部21aによって制御される。
通信部12は、機器同士の間で行われる通信を実現する回路ユニット(例えば近距離無線通信手段等)と、ネットワーク40経由でファイルサーバー30との間の通信を実現する回路ユニット等を含んで構成される構成ユニットである。なお、通信部12に含まれる通信手段は、無線方式の通信手段に限らず、有線方式の通信手段も含まれる。この通信部12は、後述する通信制御部21cによって制御される。
操作部13は、使用者(ユーザ)によって行われる各種の操作を受けて、対応する各種の指示信号を発生させるための操作部材及び回路部を含む構成ユニットである。
タッチパネル14は、表示部15の表示画面上に重畳させた形態で配置される操作部材である。当該タッチパネル14は、使用者(ユーザ)の指等の操作指示を受けて対応する各種の指示信号を発生させる操作部材である。なお、このタッチパネル14は、上記操作部13に含まれるものであるが、近年、さまざまな電子装置において盛んに適用されている操作部材の一つでもあり、特に重要構成となるものであるので、操作部13とは別に表記している。
なお、操作部13及びタッチパネル14は、後述する操作判定部21bによって、いずれの操作部材が操作されたかが判定される。その判定結果に基づいて、画像処理制御部21は、対応する所定の操作信号を対応する構成ユニットに向けて出力する。
表示部15は、表示パネル及びその駆動回路等(不図示)からなり表示機能を実現する構成ユニットである。表示部15の表示パネルには、撮像部11を用いて取得された画像データに基く画像や、各種設定プログラム等によって生成されるメニュー画像が表示される。この表示部15は、表示制御部21dによって制御される。
記録部16は、各種のデータファイルを記録するための構成ユニットである。この記録部16に記録されるデータファイルとしては、例えば、画像データ及びメタデータを含む画像情報、所定の撮影を行う際に必要となる設定項目の固有の設定等の各種設定をまとめてファイル化した設定情報(具体的には、例えば医療用参照画像を取得する際に行うべき各種設定をまとめた設定情報等),当該端末装置(10,20)や通信相手の装置(端末又はファイルサーバー等)の装置情報等のほか、その他各種の情報がある。
姿勢センサ17,GPS18,方位センサ19は、当該情報端末装置(10,20)の状態を検出する各種センサ素子と、その回路部を含む。これらの回路部は、従来一般に実用化されている端末装置において適用されている構成ユニットと同様のものである。したがって、その詳細説明は省略する。
時計部22は、いわゆるリアルタイムクロック(Real-Time Clock;RTC)などと呼ばれる内部時計回路である。この時計部22は、例えば画像データファイル等に対して日時情報,時刻情報等を付与したり、制御処理中における所定の指示タイミング間の計時を行ったり、時間的制御等の際に利用される回路部である。
画像処理制御部21は、本情報端末装置(10,20)を統括的に制御する制御回路と、各種の画像データに基く各種の画像処理を行う画像処理回路である。
この画像処理制御部21は、撮像制御部21aと、操作判定部21bと、通信制御部21cと、表示制御部21dと、記録制御部21eと、画像判定部21fと、撮影時情報付与部21g等を備えて構成されている。
撮像制御部21aは、撮像部11を制御して、ライブビュー画像表示用データを取得したり、所定の操作を受けて静止画像データや動画像データを取得する撮像動作を実行する回路部若しくはプログラムソフトウエアである。
操作判定部21bは、操作部13をからの入力を受けて、入力された操作指示信号を判定する回路部若しくはプログラムソフトウエアである。この操作判定部21bによる判定結果を受けて、当該画像処理制御部21は、対応する構成ユニットの制御を実行する。
通信制御部21cは、通信部12を制御する回路部若しくはプログラムソフトウエアである。この通信制御部21cは、操作部13等からの指示信号を受けて、通信関連の制御、例えば、端末装置同士の間での通信を行うか、ネットワーク40経由でファイルサーバー30との間の通信を行うか等の選択や、選択された通信手段を制御して、対応する各種の通信制御を行う。
表示制御部21dは、表示部15を制御する回路部若しくはプログラムソフトウエアである。この表示制御部21dは、操作部13等からの指示信号を受けて、表示関連の制御、例えば、表示部15の表示パネルによって表示すべき表示内容の選択や切り換え制御を行う。
記録制御部21eは、記録部16を制御する回路部若しくはプログラムソフトウエアである。この記録制御部21eは、操作部13等からの指示信号を受けて、記録関連の制御、例えば、記録部16に記録する各種の情報を所定のデータ形式に変換し、所定の記憶媒体(不図示)の所定の領域に記録する制御を行う。
画像判定部21fは、撮像部11によって取得された画像データや、他の端末装置等から転送され入力された画像データ等に基づいて、画像データを解析することにより得られる各種の情報の判定処理、例えば撮影環境の光源情報,被写体までの距離情報,被写体(例えば顔領域)情報等の判定処理を行う回路部若しくはプログラムソフトウエアである。
撮影時情報付与部21gは、撮像部11を用いて取得される画像データや、他の端末装置等から転送され入力された画像データ等に対し、対応する各種の情報を付与する回路部若しくはプログラムソフトウエアである。この撮影時情報付与部21gによって付与される各種の情報は、画像データの取得時(撮影時)に取得される通常のメタデータ(日時情報、装置情報等)のほかに、上記医療メタデータ等がある。
ここで、医療メタデータに含まれる情報には、上述の図3の説明をした時に列挙した各種の情報に加えて、さらに、例えば、通信に関する情報(通信情報),患者情報(対象情報),医師に関する情報,医師によるオーダーに関する情報(オーダー情報,依頼情報),患部の治療や検査に関する情報(条件情報),装置に関する情報(装置識別情報(GS1コード,JANコード,装置シリアル番号等)等),カラーチャート(色票)情報,メジャー情報,装置の姿勢や位置に関する情報,医療用画像又は医療用参照画像としての承認情報や真贋情報等のほか、その他の各種情報等も含まれる。
次に、本実施形態の医療支援システム1におけるファイルサーバー30の主要構成を説明する。なお、このファイルサーバー30は、例えば既存の病院情報システム(HIS; Hospital Information System)等に含まれるファイルサーバー等に相当するものである。
図9に示すように、ファイルサーバー30は、制御部31と、画像データベース32と、オーダー情報等データベース33と、患者情報データベース34と、通信部35等を主に備えて構成されている。
制御部31は、本ファイルサーバー30を統括的に制御する制御回路である。この制御部31は、患者判定部31aと、オーダー情報作成部31bと、撮影条件情報作成部31c等を主に有して構成されている。
患者判定部31aは、情報端末装置(10,20)から転送されてきた患者画像データを、対応する患者情報に関連付けするための回路部若しくはプログラムソフトウエアである。この患者判定部31aは、患者画像データに付随する医療メタデータと、画像データベース32,患者情報データベース34等に基づいて患者判定を行う。
オーダー情報作成部31bは、当該ファイルサーバー30に医師がアクセスしてオーダー情報を作成するのに際して、画像データベース32,オーダー情報等データベース33,患者情報データベース34等の各種情報を参照して、オーダー情報の作成を支援する回路部若しくはプログラムソフトウエアである。
例えば、画像撮影に関するオーダー情報は、患部毎にある程度のフォーマットが規定されている。したがって、医師は、オーダー情報作成時に、所望する検査種別(例えば「画像撮影検査」等)と、所望の患部(例えば「顔」,「膝」等)等を選択することで、大まかな形態のオーダー情報を作成し得る。
これに加えて、さらに、本実施形態の医療支援システム1においては、例えば、患者情報データベース34から対象患者の電子カルテ情報や検査履歴情報等を参照し、過去に行った検査等のオーダー一覧から今回行う検査等(例えば「画像撮影検査」等)と同様若しくは類似のオーダーがあれば、そのオーダー情報を読み込んで、新たなオーダー情報の作成をさせる等のことを行うことができる。
このように、オーダー情報作成部31bは、医師がオーダー情報を作成する際に、入力作業の省略や効率化を行って、オーダー情報の作成を支援する構成部である。
撮影条件情報作成部31cは、医師からの指示に基づいてオーダー情報作成部31bが作成したオーダー情報が、例えば画像撮影を伴うオーダーである場合に、その画像撮影指示に適切な撮影条件情報を作成する回路部若しくはプログラムソフトウエアである。
この撮影条件情報作成部31cは、オーダー情報作成時に参照した患者情報等に基づいて、過去に行われた同様の「画像撮影検査」時の過去のオーダー情報や、その検査結果(取得され記録されている画像データとその付随情報等)情報等を参照し、今回のオーダー情報に対応する画像撮影時に最適な撮影条件設定情報を作成する。
医師は、通常の場合、オーダー情報を作成する時には医療行為的な指示を行うのみであるが、本実施形態の医療支援システム1においては、医師が作成した医療行為的な指示のみからなるオーダー情報に基づいて、撮影条件情報作成部31cが、画像撮影を行う際の撮影条件情報を作成する。この撮影条件情報は、当該オーダー情報を受けて画像データを撮影する(取得する)ための情報端末装置(10,20)に伝達されて、撮影時に利用される。
一方、画像データベース32は、画像データを蓄積したデータベース部である。この画像データベース32に蓄積された複数の画像データは、固有の患者情報にそれぞれ含まれる各種の画像データ、例えば特定患者の患部や症状を撮影した医療用画像又は医療用参照画像や患者を特定するための顔を含む画像等のほか、特定患部や特定症状の画像を取得する際に参考とするために予め用意されたサンプル画像等がある。
ここで、医療用画像又は医療用参照画像は、具体的には例えば、診察過程中において術前又は術後の経過を記録した画像データや、手術中の患部の状態を記録した画像データ等がある。また、この場合の画像データの形態としては、一般的な撮像装置で記録される画像データのほか、X線画像データ,超音波画像データ,内視鏡画像データ等がある。このうち、X線画像データ,超音波画像データ,内視鏡画像データ等は、医師のオーダー(依頼)を受けて、医療関係の各種有資格が、病院等の医療拠点に設置された専用装置を用いて取得される画像データであり、医師の承認を受けた医療用画像である。
画像データベース32に蓄積されたこれら複数の画像データのうちサンプル画像以外は、それぞれが各対応する医療関連情報(電子カルテ情報や患者情報等)に関連付けされた形態で記録されている。さらに、各画像データには、撮影日時情報等をはじめとしたメタデータと、患者IDや電子カルテ情報に基づいて各種の情報が、さらに付与される医療メタデータとが付随して記録されている。
他方、オーダー情報等データベース33は、医師によって出されるオーダー情報に関する情報を蓄積したデータベース部である。このオーダー情報等データベース33に記録される情報としては、例えば所定の患部や所定の症状に対応させて予め設定されたオーダー仕様書のサンプル情報がある。このオーダー仕様書には、例えば医師名(依頼者名),患者ID,使用装置情報,撮影条件情報等が記載される。
医師が特定の患者の検査等を行うために、各医療部署に対して、画像データの取得を依頼する際には、検査等の対象患者毎に、その患部や症状に合わせたオーダー情報を発行する必要がある。
この場合において、医師は、オーダー情報をゼロベースで作成する必要がなくなるという利点がある。つまり、医師は、オーダー情報等データベース33に記録されている複数のオーダー仕様書(サンプル)のなかから、今回行う対象患者の患部や症状に合致するものを参考とすることができ、よって、個々の対象患者の症状,患部等に応じてそれぞれに最適なオーダー仕様書を作成することができるようになる。
患者情報データベース34は、例えば患者IDや電子カルテ情報等の患者情報を蓄積したデータベース部である。
通信部35は、ネットワーク40を介して複数の情報端末装置(10,20)との間で相互に各種のデータファイルの送受信を行う回路部若しくはプログラムソフトウエアである。この通信部35は、制御部31に含まれる通信制御部(不図示)によって、所定の通信が実行されるように制御されている。
このように構成された本実施形態の医療支援システム1の作用を、以下に説明する。
まず、本実施形態の医療支援システム1における情報端末装置のうちの第2端末20の作用を説明する。図10,図11は、本実施形態の医療支援システムにおける情報端末装置のうち第2端末20の作用を示すフローチャートである。
本実施形態の医療支援システム1において、第2端末20は、上述したように、例えば医師以外が使用する情報端末装置である。
まず、第2端末20は、電源オン状態とされて使用可能に起動している状態にあるものとする。
この状態において、第2端末20の画像処理制御部21は、まず、図10のステップS101において、当該第2端末20の起動時点から所定の時間が経過しても、医師のオーダーに応じた画像が撮影されない場合には、表示制御部21dを介して表示部15を制御して、所定の警告表示等を表示させる。ここで、所定の警告表示等としては、例えば、対象患者のオーダー画像撮影を促す警告表示等である。その後、次のステップS102の処理に進む。
ステップS102において、画像処理制御部21は、現在設定されている動作モードが撮影モードであるか否かを確認する。ここで、撮影モードが設定されている場合は、次のステップS103の処理に進む。また、撮影モード以外の動作モードが設定されている場合は、図11のステップS121の処理に進む(図10及び図11の丸符号11参照)。
図11のステップS121において、現在設定されている動作モードが再生モードであるか否かを確認する。ここで、再生モードに設定されている場合は、次のステップS122の処理に進む。また、再生モード以外の動作モードが設定されている場合は、ステップS133の処理に進む(図10及び図11の丸符号11参照)。
図11のステップS133において、画像処理制御部21は、現在設定されている動作モードが送信モードであるか否かを確認する。ここで、送信モードに設定されている場合は、次のステップS136の処理に進み、このステップS136にて、画像処理制御部21は、例えば通信設定処理を行ったり、所定の画像を送信する画像送信処理を実行する。
なお、ここで行われる通信設定処理は、概略次のようなものである。即ち、まず、画像処理制御部21は、表示制御部21dを介して表示部15を制御して、所定の設定メニュー画面を表示する。使用者(ユーザ)は、この設定メニュー画面を見ながら所望の設定操作を行う。これを受けて、画像処理制御部21の操作判定部21bは、入力された操作指示信号を判定し、対応する各種の設定処理を行う。
また、ここで行われる画像送信処理は、当該第2端末20にて取得された対象患者の画像のうち所定の撮影条件に合致した医療用参照画像(見守り画像)である。
その後、図10のステップS101の処理に戻り、以降の処理を繰り返す(図11,図10の丸符号10参照)。
一方、上述のステップS133の処理にて、送信モード以外が設定されている場合は、ステップS134の処理に進み、このステップS134において、画像処理制御部21は、第1端末10からオーダー情報等を受信するか否かの確認を行う。
ここで行われる確認処理は、後述する第1端末10からのオーダー情報送信処理(図12のステップS213,S227,S235の処理参照)を受けて行われる処理である。
第1端末10からのオーダー情報送信処理の実行中に、第2端末20が送信モードにあるとき、当該第2端末20は、第1端末10からのオーダー情報を受信し得る。そこで、使用者(ユーザ)は、当該オーダー情報を受信するための所定の操作を行うことで、当該オーダー情報を受信できる。
ここで、オーダー情報等の受信指示が確認された場合には、次のステップS135の処理に進む。また、オーダー情報等を受信しない旨の指示、若しくは第1端末10のオーダー情報送信処理による送信がないことが確認された場合には、図10のステップS101の処理に戻り、以降の処理を繰り返す(図11,図10の丸符号10参照)。
ステップS135において、画像処理制御部21は、オーダー情報等の受信処理と、受信した情報の記録処理を実行する。このようにして、第2端末20が第1端末10からオーダー情報等を取得すると、当該第2端末20は、オーダー情報に基づく撮影動作モード(見守り撮影モードともいう)を設定できるようになる。
その後、図10のステップS101の処理に戻り、以降の処理を繰り返す(図11,図10の丸符号10参照)。
一方、上述のステップS102の処理にて、撮影モードが設定されていることが確認されてステップS103の処理に進むと、このステップS103において、画像処理制御部21は、撮像制御部21aを介して撮像部11を制御すると共に、表示制御部21dを介して表示部15を制御して所定のライブビュー画像の表示動作を開始する。
次いで、ステップS104において、画像処理制御部21は、医師のオーダー(依頼又は指示等)に基づく(オーダー情報に基づく)オーダー撮影を行うか否かの確認を行う。この確認は、例えば使用者(ユーザ)によって行われる所定の操作指示信号(所定の撮影モード選択操作など)の確認又は予めオーダー情報が当該第2端末20に転送されているかの確認等である。
ここで、オーダー撮影指示が確認された場合には、次のステップS105の処理に進む。また、オーダー撮影指示が確認されない場合には、ステップS106の処理に進む。
ステップS105において、画像処理制御部21は、本人確認処理を行う。ここで行われる本人確認処理は、例えばライブビュー画像に基いて顔検出を行って予め登録済みの対象患者であるかどうかの確認、または、対象患者への確認を行い、その返答音声による確認でもよい。例えば、検査する側の医療従事者が音声によって「○○さんですね」等と尋ねたとする。これに対して、患者側が「はい」と返答するといった場合における音声記録を行う。そして、その音声データに基づいて、声紋等を認証する方法等がある。
次いで、ステップS106において、画像処理制御部21は、操作判定部21bからの指示信号を監視して撮影パラメータ操作がされたか否かを確認する。ここで、撮影パラメータ操作が確認された場合には、次のステップS107の処理に進む。また、撮影パラメータ操作が確認されない場合には、ステップS108の処理に進む。
続いて、ステップS107において、画像処理制御部21は、上述のステップS106の処理にて操作された撮影パラメータ操作指示に対応する撮影パラメータ変更処理を行う。その後、ステップS108の処理に進む。
ステップS108において、画像処理制御部21は、撮影動作の実行を指示する指示信号が発生したか否かの確認をする。ここで、撮影指示が確認された場合には、次のステップS109の処理に進む。また、撮影指示が確認されない場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
ステップS109において、画像処理制御部21は、撮像制御部21aを介して撮像部11を制御して所定の撮影処理を行うと共に、記録制御部21eを介して記録部16を制御して所定の記録処理を実行する。なお、ここで行われる撮影処理は、静止画像の撮影動作のみでなく、音声を含む静止画像撮影や、動画像撮影(音声付き,音声無しいずれも)等、各種の形態が含まれる。
ステップS110において、画像処理制御部21は、上述のステップS109の処理にて取得した画像内に特定対象(対象患者)の検出処理を行う。ここで、対象患者が検出された場合には、次のステップS113の処理に進む。また、対象患者が検出されない場合には、ステップS111の処理に進む。
なお、ここで行われる被写体(対象患者)検出処理は、上述のステップS108にて取得済み画像データに基づいて行ってもよいし、継続中のライブビュー画像に基いて行うようにしてもよい。
ステップS111において、画像処理制御部21は、前回の撮影(前回起動)時から所定の時間が経過しているか否かの確認を行う。ここで、前回撮影(起動)時から所定時間が経過している場合には、次のステップS112の処理に進む。また、前回撮影(起動)時から所定時間が経過していない場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
次のステップS112において、画像処理制御部21は、表示制御部21dを介して表示部15を制御して所定の警告表示又はアドバイス表示等を表示する。その後、上述のステップS101の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS110の処理にて、対象患者が検出されて、次のステップS113の処理に進むと、このステップS113において、画像処理制御部21は、前回の対象患者の撮影時から所定の時間が経過しているか否かの確認を行う。ここで、前回の対象患者の撮影時から所定時間が経過していない場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
一方、ステップS113において、前回撮影時から所定時間が経過している場合には、次のステップS114の処理に進み、このステップS114において、画像処理制御部21は、所定のオーダー撮影が可能か否かの確認を行う。ここで、オーダー撮影が可能か否かの確認処理は、現在の第2端末20の状況において、上述の図11のステップS135にて予め第1端末10より受信して記録されているオーダー情報による撮影条件に基づいた撮影が可能か否かの確認である。
これは、オーダーを出した医師の意思などを反映させる処理である。もちろん、単に撮影で得られる画像の品質の条件のみならず、「診療管理情報」を含むオーダー情報に基づく条件であってもよい。
ステップS114の分岐処理が、こうしたオーダー条件によるものだとすると、このオーダー条件を満たすか満たさないかを判定するには、例えば、撮影の対象人物や部位が異なる場合や、想定していた機材やアクセサリが使用されていない場合,指定の構図がとれない場合、指定の撮影パラメータが設定できない場合,露光量不足の場合,適切なピント合わせができない場合,手ぶれが生じた場合等、各種の条件に対応する撮影結果について数値化し、これを所定の判断基準に基づいて判定してもよい。また、撮影の順番が規定された順番ではない場合、指定の撮影枚数に過不足が生じた場合等によってオーダー条件を満たさないと判定してもよい。
診療ならではの特徴としては、ステップS105の処理における本人確認処理の際の音声情報やその他の意思表示入力による患者確認の有無やその良否,撮影者情報等が入っている否か等の情報等を含めての適不適等が挙げられる。これらは、システム側でデフォルトで決められていてもよいし、主治医などが指定することによってもよい。
ここで、所定のオーダー撮影が可能であることが確認されると、次のステップS115の処理に進み、このステップS115において、画像処理制御部21は、所定のオーダー情報に基づいて所定の見守り撮影処理を実行し、その後、取得した画像情報(画像データ)の記録処理を行う。その後、ステップS116の処理に進む。
ステップS116において、画像処理制御部21は、オーダー情報に応じた画像が取得されたかどうかのオーダーチェック処理を実行する。その後、上述のステップS101の処理に戻り、以降の処理を繰り返す。
ここのチェック処理も、上記ステップS114と同様の条件で行っても良い。また、ステップS117と同様の警告やガイド表示などを伴っても良い。例えば、撮影前は、撮影者は手振れを気にしたり構図に集中したりすることになるので、画像が変化しやすい。したがって、条件を満たしたかどうかを完全に判定できない場合がある。そこで、このように撮影後にチェックを行うことも重要である。
さらに、このタイミングで、画像やその特徴、必要に応じて音声情報などを外部機器(病院のシステム等)に送信し、当該条件を満たしたかどうかを判定依頼してもよい。
この場合、正確な人物の認証や部位の判定が大型のコンピュータ等で高速で高精度に情報量の多い判定やアドバイス、ガイドを行うことが可能となる。
また、必要に応じて、これらの情報を元に深層学習などを行って判定時に、その結果を併用してもよい。例えば、特定の症例などは、本当にその画像で良いかを、同じ症例の画像群を利用した深層学習によって、正しい撮影かどうかが判定可能となる。患者を特定するための顔画像なども病状によっては、簡単には判別できない可能性もあるが、人工知能の活用で判定が可能となる可能性が高い。
こうした判定結果を加味して、ステップS115の処理にて行った記録結果に反映させたり、記録を改めてこのタイミングで行ってもよい。ここで、通常の撮影か、オーダーに基づいた撮影か、を識別可能な情報を入れることが重要で、オーダー条件によるチェック結果などを画像と関連付けて記録してもよい。
この場合には、特定のファイルフォーマットにして、画像情報やこうしたオーダー関連、画像管理情報(オーダーの内容やそのオーダーを満たしたかの条件での判定の判定結果等、若しくは、それらのうちの一部の情報だけでもよい)を特定の規則で入れ込むようにする。
つまり、オーダー情報に基づいて作成された撮影条件情報をファイルサーバーから受け取り、この撮影条件情報に基づく画像撮影を行って画像データを取得して、取得した画像データと撮影条件情報とを関連付けた形式の画像ファイルを生成し、この画像ファイルを記録部に記録することができる。
他方、上述のステップS114の処理にて、オーダー撮影が不可能であると判断されると、ステップS117の処理に進み、このステップS117にて、画像処理制御部21は、所定の警告,アドバイス表示を実行する。その後、上述のステップS101の処理に戻り、以降の処理を繰り返す。
ここで、オーダー撮影は、診療時に重要となる緒要素を満たした撮影である必要があることから、警告などで撮り直しを示唆してもよいし、より分かりやすく撮影アドバイスや撮影ガイドを出すようにしても良い。これらの示唆,アドバイス,ガイド等は、例えば、画像で表示してもよく、音声で指示してもよく、両方を利用しても良い。
オーダー情報に基づいた撮影状況下でも、オーダー条件を満たせない場合は、ガイド情報(警告やアドバイス等も含む)を出すことによって医療現場で活用しやすい画像が簡単に得られるようになる。
また、上述したように、図11のステップS121の処理にて、再生モードに設定されていることが確認されて、同図11のステップS122の処理に進むと、このステップS122において、画像処理制御部21は、表示制御部21dを介して表示部15を制御して、当該表示部15の表示パネル(不図示)を用いて所定の画像一覧表示処理を実行する。この画像一覧表示処理は、例えば当該第2端末20の記録部16に含まれる記憶媒体(不図示)に記録されている複数の画像データに基く画像を一覧表示する処理である。この画像一覧表示処理は、一般的な形態の情報端末装置(カメラやスマートフォン,タブレット型PC等)によって行われる処理と同様である。
続いて、ステップS123において、画像処理制御部21は、操作判定部21bを介して所定の画像を選択する選択指示信号が発生したか否かの確認を行う。ここで、画像選択指示信号が確認された場合には、次のステップS125の処理に進む。また、画像選択指示信号が確認されない場合には、ステップS124の処理に進み、このステップS124にて、再生モードを抜けて前の動作モードに戻る指示信号が発生したか否かの確認を行う。
ここで、戻る指示信号が確認された場合には、図10のステップS101の処理に戻り、以降の処理を繰り返す(図11,図10の丸符号10参照)。また、戻る指示信号が確認されない場合には、ステップS122の処理に戻り、以降の処理を繰り返す。つまり、画像一覧表示を継続する。
ステップS125において、画像処理制御部21は、表示制御部21dを介して表示部15を制御して、上述のステップS123の処理にて発生した画像選択指示信号に対応する画像についての単独画像表示(拡大表示)処理を実行する。その後、ステップS126の処理に進む。
ステップS126において、画像処理制御部21は、操作判定部21bを介して詳細表示指示信号が発生したか否かの確認を行う。ここで、詳細表示指示信号が確認された場合には、次のステップS127の処理に進む。また、詳細表示指示信号が確認されない場合には、ステップS128の処理に進む。
ステップS127において、画像処理制御部21は、記録制御部21eを介して記録部16を制御して現在、表示部15に表示中の画像データに付随するメタデータを読み取る。その後、表示制御部21dを介して表示部15を制御して、上記メタデータの詳細を表示する。その後、ステップS128の処理に進む。
なお、このメタデータ詳細表示は、表示後、所定の時間が経過すると、自動的に前の単独画像表示に戻る。また、これとは別に、使用者(ユーザ)の所定の操作を待って、メタデータ詳細表示を終了させて、前の単独画像表示に戻すようにしてもよい。さらに、別の形態としては、メタデータ詳細表示の表示形態を、単独画像表示に重畳表示させる形態とする等としてもよい。
ステップS128において、画像処理制御部21は、当該第2端末20の記録部16に含まれる記憶媒体(不図示)に記録されている複数の画像データについて、所定の画像検索処理を行うか否かの確認を行う。この場合において想定している画像検索処理は、例えば対象患者の顔を含む画像検索である。
ここで、画像検索処理を実行する操作指示が確認された場合には、次のステップS129の処理に進む。また、画像検索処理を実行する操作指示がない場合には、ステップS130の処理に進む。
ステップS129において、画像処理制御部21は、画像検索処理を実行した後、表示制御部21dを介して表示部15を制御して、その検索結果一覧表示を行う。
この場合における検索結果一覧表示は、例えば、図2で説明した当該医療支援システム1の使用状況の第1パターンの際に、患者家族120が第2端末20の患者画像を医師に診せる際の動作に対応する。
ステップS130において、画像処理制御部21は、操作判定部21bを介して所定の画像を参照画像として選択する選択指示信号が発生したか否かの確認を行う。
この場合における、画像選択操作は、例えば、図2で説明した当該医療支援システム1の使用状況の第1パターンの際に、医師100が第2端末20の患者画像の中から医療用参照画像とする候補画像を選択する際の動作に対応する。
ここで、参照画像候補の選択指示信号が確認された場合には、次のステップS131の処理に進み、このステップS131にて、選択された参照画像候補の第1端末10への送信処理を実行する。
ここで行われる第2端末20から第1端末10への参照画像候補の送信処理は、後述する図12のステップS221の処理に対応する。
また、参照画像候補の選択指示信号がない場合には、ステップS132の処理に進み、このステップS132において、画像処理制御部21は、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、図10のステップS101の処理に戻り、以降の処理を繰り返す(図11,図10の丸符号10参照)。また、戻る
指示信号が確認されない場合には、ステップS125の処理に戻り、以降の処理を繰り返す。
次に、本実施形態の医療支援システム1における第1端末10の作用を説明する。図12は、本実施形態の医療支援システムにおける情報端末装置のうち医師が使用する情報端末装置(第1端末10)の作用を示すフローチャートである。
図12のステップS201において、画像処理制御部21は、表示制御部21dを介して表示部15を制御して、現在設定されている動作モードを表示する。その後、ステップS202の処理に進む。
次に、ステップS202において、画像処理制御部21は、現在設定されている動作モードが撮影モードのうちの見守り撮影モードか否かの確認を行う。この場合において、見守り撮影モードは、上述したように、医師のオーダー情報に基づく撮影動作モードをいうものとする。
ここで、現在見守り撮影モードに設定されている場合には、次のステップS203の処理に進む。また、現在見守り撮影モードに設定されていない場合には、ステップS215の処理に進む。
ステップS215において、画像処理制御部21は、端末認証処理を行うか否かの確認を行う。ここで、端末認証処理とは、当該医療支援システム1において第1端末10を使用可能とするために、当該第1端末10を当該医療支援システム1に登録するための手続きである。なお、この端末認証処理は、当該医療支援システム1にて情報端末装置を使用するのに際し、最初に一回行えばよい。二回目以降の使用時には、この端末認証処理により設定され取得したID,パスワードを用いることで、認証済みの第1端末10は、当該医療支援システム1において利用可能となる。
ここで、端末認証処理を行う場合には、次のステップS216の処理に進む。また、端末認証処理を行わない場合には、ステップS218の処理に進み、このステップS218において、画像処理制御部21は、その他の動作モードによる処理を実行する。なお、ここで、その他の動作モードとしては、例えば、電話通信モードやメール送受信モード等がある。しかし、これらその他の動作モードについては、本発明に直接関連しない部分であるので、その詳細説明及び図示は省略する。
上述したように、端末認証処理を行う際にはステップS216の処理に進む、このステップS216において、画像処理制御部21は、ID設定処理やパスワード設定処理等、端末認証に必要な手続きに関する処理を実行する。その後、ステップS217の処理に進む。
ステップS217において、画像処理制御部21は、操作判定部21bを介して入力される操作指示信号に応じて対象患者の患者情報等をファイルサーバーから取得する処理等を実行する。必要な処理を終えたら、終了指示信号を待って、上述のステップS201の処理に戻り、以降の処理を繰り返す。
上述のステップS202の処理にて、現在見守り撮影モードに設定されている場合に、次のステップS203の処理に進むと、このステップS203において、画像処理制御部21は、上述のステップS215の処理(端末認証処理)にて取得したID,パスワードを用いてログイン処理を実行する。
続いて、ステップS204において、画像処理制御部21は、表示制御部21dを介して表示部15を制御して機能一覧表示を実行する。
次いで、ステップS205において、画像処理制御部21は、第1端末10を用いて撮影を行うか否かの確認を行う。この場合において、第1端末10を用いて行う撮影は、例えば、図4で説明した当該医療支援システム1の使用状況の第2パターンの際に、医師100が第1端末10を用いて患者画像を撮影し、これを医療用参照画像のサンプル画像とする際の動作に対応する。換言すれば、ここで行われる撮影動作(画像取得動作)は、対象患者の医療用参照画像のサンプル画像を取得するための一手段である。
ここで、第1端末10を用いて撮影を行う場合、医師は、例えば、表示部15に表示中の機能一覧の中から撮影動作を実行するためのアプリケーションを選択指示する操作を行う。こうして、当該第1端末10を用いて撮影を行うことが確認された場合には、次のステップS206の処理に進む。また、当該第1端末10による撮影動作を行わない場合には、ステップS221の処理に進む。
ステップS206において、画像処理制御部21は、撮像制御部21aを介して撮像部11を制御すると共に、表示制御部21dを介して表示部15を制御して所定のライブビュー画像の表示動作を開始する。
次いで、ステップS207において、画像処理制御部21は、操作判定部21bからの指示信号を監視して撮影パラメータ操作がされたか否かを確認し、撮影パラメータ操作が確認された場合には、対応する操作指示に応じた撮影パラメータ調整処理を実行する。その後、ステップS208の処理に進む。
ステップS208において、画像処理制御部21は、撮影動作の実行を指示する指示信号が発生したか否かの確認をする。ここで、撮影指示信号が確認された場合には、次のステップS209の処理に進む。また、撮影指示信号が確認されない場合には、ステップS214の処理に進む。
ステップS209において、画像処理制御部21は、撮像制御部21aを介して撮像部11を制御して所定の撮影処理を行うと共に、記録制御部21eを介して記録部16を制御して所定の記録処理を実行する。
続いて、ステップS210において、画像処理制御部21は、ファイルサーバー30から取得済み(ステップS217参照)の患者情報等を上述のステップS209にて取得した画像データに関連付ける。
次いで、ステップS211において、画像処理制御部21は、上記画像データをファイルサーバー30の所定の領域(画像データベース32)に記録する処理を実行する。この処理には、当該画像データをネットワーク40を介してファイルサーバー30へと転送する処理も含まれる。
次に、ステップS212において、画像処理制御部21は、同画像データを第2端末20に転送するか否かの確認を行う。
ここで、同画像データを第2端末20へと転送する場合、医師は、例えば、表示部15に表示中の機能一覧の中から他の情報端末装置との間で画像転送動作を実行するためのアプリケーションを選択指示する操作を行う。
第1端末10から第2端末20へとの画像転送を行うことが確認された場合には、次のステップS213の処理に進む。また、第1端末10から第2端末20への画像転送を行わない場合には、ステップS214の処理に進む。
ステップS213において、画像処理制御部21は、第2端末20へとオーダー情報等を送信する。
ここで行われるオーダー情報送信処理は、上述の第2端末20におけるオーダー情報取得処理(図11のステップS134の処理参照)を受けて行われる処理である。
当該第1端末10からのオーダー情報送信処理の実行中に、第2端末20が送信モードにあると、当該第2端末20は、第1端末10からのオーダー情報を受信し得る。
次に、ステップS214において、画像処理制御部21は、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、上述のステップS201の処理に戻り、以降の処理を繰り返す。また、戻る指示信号が確認されない場合には、上述のステップS206の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS205の処理にて、第1端末10を用いて撮影を行わない場合に、ステップS221の処理に進むと、このステップS221において、画像処理制御部21は、第2端末20から画像を取得するか否かの確認を行う。
この場合において、第2端末20から画像を取得するとは、例えば、図2,図3で説明した当該医療支援システム1の使用状況の第1パターンの際に、医師100が第2端末20の患者画像の中から医療用参照画像とする候補画像を取得する際の動作に対応する。換言すれば、ここで行われる画像取得動作は、対象患者の医療用参照画像のサンプル画像を取得するための他の一手段である。
上述したように、第2端末20は、例えば患者家族等が私有し使用している情報端末装置としている。それゆえに、当該第2端末20は、当該医療支援システム1における端末認証を受けておらず、よってファイルサーバー30へのアクセスができないものとしている。したがって、ここでは、第2端末20の画像データを、一旦、医師の有する第1端末10へと転送し、これを受けて、医師は、第1端末10にて当該画像データに所定の医療メタデータを付すことで、当該画像データを医療用参照画像として承認した後、当該医師が正式に認証を受けた当該第1端末10を用いて、当該画像データをファイルサーバー30へと転送する手順を想定した例を示している。
ここで、第2端末20から画像を取得する場合、医師は、例えば、表示部15に表示中の機能一覧の中から他の情報端末装置との間で画像転送動作を実行するためのアプリケーションを選択指示する操作を行う。こうして、第2端末20からの画像取得動作を行うことが確認された場合には、次のステップS222の処理に進む。また、第2端末20からの画像取得動作を行わない場合には、ステップS231の処理に進む。
ステップS222において、画像処理制御部21は、第2端末20から所定の画像データ及び当該第2端末20の仕様情報等を取得する(図11のステップS131の処理により送信された情報を受信する)。
ここで、第2端末20の仕様情報を取得するようにしているのは、次のような理由による。
例えば、オーダー情報に応じた撮影条件情報を作成するのに際して、オーダー情報の中にマクロ撮影を行うという指示があったとする。この場合において、使用する第2端末20には、その装置の仕様として、マクロ撮影を行うためのマクロモードが設定されていない場合もあり得る。このような場合に対処するために、第2端末20の仕様を把握するようにしている。
つまり、第2端末20の仕様を予め把握しておれば、オーダー情報に応じた撮影条件情報を作成する際に、第2端末20の仕様に応じた撮影条件情報を作成することができる。
具体的には例えば、マクロモードの設定のない第2端末20の場合には、光学ズーム機能や電子ズーム機能等を代用する等の電子的な画像処理を用いて、結果的に所望の撮影倍率に合わせる画像を取得することが可能である。このように、端末仕様として設定のない撮影指示があった場合に、その代替となる設定情報を撮影条件情報として入れ込むといったことができるようになる。
続いて、ステップS223において、画像処理制御部21は、第2端末20から転送されてきた画像データを受信して、記録制御部21eを介して記録部16を制御して所定の記録処理を実行する。
次に、ステップS224において、画像処理制御部21は、ファイルサーバー30から取得済み(ステップS217参照)の患者情報等を上述のステップS223にて取得した画像データに関連付ける。
次いで、ステップS225において、画像処理制御部21は、上記画像データをファイルサーバー30の所定の領域(画像データベース32)に記録する処理を実行する。この処理には、当該画像データをネットワーク40を介してファイルサーバー30へと転送する処理も含まれる。
次に、ステップS226において、画像処理制御部21は、同画像データを第2端末20に転送するか否かの確認を行う。この場合において、第2端末20へと転送される画像データは、患者情報等がメタデータとして付加されることで、医療用参照画像として医師により承認された画像データである。
ここで、同画像データを第2端末20へと転送する場合、医師は、例えば、表示部15に表示中の機能一覧の中から他の情報端末装置との間で画像転送動作を実行するためのアプリケーションを選択指示する操作を行う。
第1端末10から第2端末20へとの画像転送を行うことが確認された場合には、次のステップS227の処理に進む。また、第1端末10から第2端末20への画像転送を行わない場合には、ステップS228の処理に進む。
ステップS227において、画像処理制御部21は、第2端末20へとオーダー情報等を送信する。
ここで行われるオーダー情報送信処理は、上述の第2端末20におけるオーダー情報取得処理(図11のステップS134の処理参照)を受けて行われる処理である。
当該第1端末10からのオーダー情報送信処理の実行中に、第2端末20が送信モードにあると、当該第2端末20は、第1端末10からのオーダー情報を受信し得る。
次に、ステップS228において、画像処理制御部21は、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、上述のステップS201の処理に戻り、以降の処理を繰り返す。また、戻る指示信号が確認されない場合には、上述のステップS222の処理に戻り、以降の処理を繰り返す。
上述のステップS221の処理にて、第2端末20から画像取得を行わない場合に、ステップS231の処理に進むと、このステップS231において、画像処理制御部21は、ファイルサーバー30から画像を取得するか否かの確認を行う。この場合において、ファイルサーバー30から画像を取得するとは、例えば、図5で説明した当該医療支援システム1の使用状況の第3パターンの際に、医師100が第1端末10を用いてファイルサーバー30にアクセスし、所望のサンプル画像を取得する際の動作に対応する。換言すれば、ここで行われる画像取得動作は、対象患者の医療用参照画像のサンプル画像を取得するための別の一手段である。
ここで、ファイルサーバー30から画像を取得する場合、医師は、例えば、表示部15に表示中の機能一覧の中からファイルサーバーとの間で画像転送動作を実行するためのアプリケーションを選択指示する操作を行う。こうして、ファイルサーバー30からの画像取得動作を行うことが確認された場合には、次のステップS232の処理に進む。また、ファイルサーバー30からの画像取得動作を行わない場合には、ステップS237の処理に進み、このステップS237において、画像処理制御部21は、その他処理、例えば、医療用参照画像(見守り画像)の比較確認処理や患者情報アクセス処理等を実行する。その後、上述のステップS201の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS231の処理にて、ファイルサーバー30から画像を取得する場合に次のステップS232に進むと、このステップS232において、画像処理制御部21は、ファイルサーバー30との間でネットワーク40を介して通信を行って、画像データベース32,オーダー情報等データベース33,患者情報データベース34等にアクセスして、所望の情報を検索する。ここで、検索する所望の情報は、対象患者の症状,病状,患部等に応じたサンプル画像データと、その付随する各種の情報である。
ステップS233において、画像処理制御部21は、上述のステップS232の処理にて検索した所望の情報(サンプル画像データとその付随情報等)を取得する。
次に、ステップS234において、画像処理制御部21は、上述のステップS233にて取得した情報(サンプル画像とその不随情報等)を第2端末20に向けて転送するか否かの確認を行う。
ここで、取得情報を第2端末20へと転送する場合、医師は、例えば、表示部15に表示中の機能一覧の中から他の情報端末装置との間で画像転送動作を実行するためのアプリケーションを選択指示する操作を行う。
第1端末10から第2端末20へとの情報転送を行うことが確認された場合には、次のステップS235の処理に進む。また、第1端末10から第2端末20への情報転送を行わない場合には、ステップS236の処理に進む。
ステップS235において、画像処理制御部21は、第2端末20へとオーダー情報等を送信する。
ここで行われるオーダー情報送信処理は、上述の第2端末20におけるオーダー情報取得処理(図11のステップS134の処理参照)を受けて行われる処理である。
当該第1端末10からのオーダー情報送信処理の実行中に、第2端末20が送信モードにあると、当該第2端末20は、第1端末10からのオーダー情報を受信し得る。
次に、ステップS236において、画像処理制御部21は、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、上述のステップS201の処理に戻り、以降の処理を繰り返す。また、戻る指示信号が確認されない場合には、上述のステップS232の処理に戻り、以降の処理を繰り返す。
次に、本実施形態の医療支援システム1におけるファイルサーバー30の作用を説明する。図13は、本実施形態の医療支援システムにおけるファイルサーバーの作用を示すフローチャートである。
まず、ファイルサーバー30は起動状態にあり、他の機器からのアクセスを待機する待機状態にあるものとする。この状態にあるとき、図13のステップS301において、制御部31は、通信部35を介して外部情報端末装置(10,20)からのアクセスが有るか否かの確認を行う。ここで、外部情報端末装置(10,20)からのアクセスが確認された場合には、次のステップS302の処理に進む。また、外部情報端末装置(10,20)以外からのアクセスが確認された場合には、ステップS321の処理に進む。
ステップS302において、制御部31は、通信部35を介してのアクセスが第1端末10からのアクセスであるか否かの確認を行う。ここで、第1端末10からのアクセスが確認された場合には、次のステップS303の処理に進む。また、第1端末10以外(即ち第2端末20)からのアクセスが確認された場合には、ステップS331の処理に進む。
ステップS303において、制御部31は、通信部35を介して第1端末10からの指示信号を監視し、患者情報が要求されたか否かの確認を行う。ここで、第1端末10から患者情報が要求された場合には、次のステップS304の処理に進む。また、第1端末10からの指示信号が患者情報の要求ではない場合には、ステップS312の処理に進む。
ステップS312において、制御部31は、所定のログイン手続き処理を実行する。これに応じて、第1端末10は所定のログイン手続き処理を行う。これにより、当該ファイルサーバー30へのログインが完了すると(ログインOKの場合)、その他の情報表示処
理などが実行される。
なお、図13においては図示を省略しているが、ここで、第1端末10がファイルサーバー30にログインできない場合には、当該ファイルサーバー30は、以降の処理をキャンセルして、上述のステップS301の処理に戻り、待機状態となる。
続いて、ステップS313において、制御部31は、通信部35を介して第1端末10からの指示信号を監視し、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、上述のステップS301の処理に戻り、以降の処理を繰り返す。また、戻る指示信号が確認されない場合には、上述のステップS312の処理に戻り、以降の処理を繰り返す。
上述のステップS303の処理にて、第1端末10からの要求が患者情報である場合にステップS304の処理に進むと、このステップS304において、制御部31は、所定のログイン手続き処理を実行する(上記ステップS312と同様の処理)。これに応じて、第1端末10は所定のログイン手続き処理を行う。これにより、当該ファイルサーバー30へのログインが完了すると(ログインOKの場合)、制御部31は、上述のステップS303の処理にて要求されている患者情報を第1端末10へと転送する。これを受けて、第1端末10は表示部15に当該患者情報を表示する。
なお、ここでも、図示を省略しているが、第1端末10がファイルサーバー30にログインできない場合には、当該ファイルサーバー30は、以降の処理をキャンセルして、上述のステップS301の処理に戻り、待機状態となるのは、上述のステップS312の処理と同様である。
続いて、ステップS305において、制御部31は、通信部35を介して第1端末10からの要求で、対象患者の画像データ(患者画像という;具体的には例えば患者の顔の特徴情報を含む画像データ)の要求指示があるか否かの確認を行う。この場合において、第1端末10が要求する患者画像データは、患者本人を特定するための情報として用いるためである。第1端末10は、上述のステップS303の処理で取得した患者情報に加えて、後述のステップS306の処理にて取得する患者の顔特徴情報等を、後述するように第2端末20へと転送する。これにより、これらの情報は、これらを受けた第2端末20による医療用参照画像の撮影時のガイド情報となる。
ここで、第1端末10から患者画像の要求があった場合には、次のステップS306の処理に進む。また、第1端末10から患者画像の要求がない場合には、ステップS307の処理に進む。
続いて、ステップS306において、制御部31は、画像データベース32,患者情報データベース34を検索し、要求された対象患者の患者画像を検索し、その検索結果に基く患者画像データを第1端末10へと送信する。その後、ステップS307の処理に進む。
ステップS307において、制御部31は、通信部35を介して第1端末10からの指示信号を監視し、医療用参照画像(見守り画像)の登録操作信号があるか否かの確認を行う。この場合において行われる医療用参照画像(見守り画像)の登録操作は、医師が第1端末10を操作してファイルサーバー30へ対象患者の医療用参照画像を送信し記録する際の動作に対応する。
ここで、医療用参照画像(見守り画像)の登録操作信号が確認された場合には、次のステップS308の処理に進む。また、同登録操作信号が確認されない場合には、ステップS309の処理に進む。
ステップS308において、制御部31は、第1端末10から転送されてきた患者画像データを、当該画像データに付随する医療メタデータに基づいて、患者情報データベース34内の対応する患者情報ファイルに関連付けた上で、画像データベース32に記録する。
次に、ステップS309において、制御部31は、通信部35を介して第1端末10からの指示信号を監視し、撮影条件情報を取得する操作指示信号があるか否かの確認を行う。
この場合において、撮影条件情報とは、対象患者の患者情報(ステップS304において表示中の患者情報)に含まれる情報であって、その患者の症状,病状,患部等に応じて取得された一連の画像データを取得する際の撮影条件(例えば、撮影アングル,撮影領域,撮像装置の設定情報(露出,焦点距離,ホワイトバランス,輝度,コントラスト,明度等の各種設定情報)に関する情報である。この撮影情報を取得することによって、撮影毎の設定を略同一なものとすることができ、よって、同じ撮影対象(被写体)に対して常に類似の画像を取得することができるようになる。
ここで、撮影条件情報取得指示信号が確認された場合には、次のステップS310の処理に進む。また、撮影条件情報取得指示信号が確認されない場合は、ステップS311の処理に進む。
ステップS310において、制御部31は、第1端末10からの要求を鑑みて対応する撮影条件情報を送信する。
この場合において、ファイルサーバー30から第1端末10へと送信される撮影条件情報は、対象患者の症状,病状,患部等に応じた所定の撮影条件や、第1端末10の撮像部11に対応する各種設定等をまとめたデータファイルである。そのために、ファイルサーバー30は、アクセスしてきた第1端末10や、同第1端末10と関連する第2端末20の各撮像部11に関する仕様情報や、対象としている患者情報等を考慮して適切な撮影条件情報を送信する。ここで、第2端末20の仕様情報は、後述するステップS332の処理にて、取得される情報(撮像仕様情報)である。つまり、本ファイルサーバー30は、当該ファイルサーバー30にアクセスしてくる複数の情報端末装置(10,20)のそれぞれの撮像仕様情報等も蓄積保持しているものとしている。その後、ステップS311の処理に進む。
ステップS311において、制御部31は、通信部35を介して第1端末10からの指示信号を監視し、戻る指示信号が発生したか否かの確認を行う。ここで、戻る指示信号が確認された場合には、上述のステップS301の処理に戻り、以降の処理を繰り返す。また、戻る指示信号が確認されない場合には、上述のステップS304の処理に戻り、以降の処理を繰り返す。
一方、上述のステップS302において、第1端末10以外の端末(以下、第2端末20とする)からのアクセスが確認された場合にステップS331の処理に進むと、このステップS331において、制御部31は、所定のログイン手続き処理を実行する(上記ステップS304,ステップS312と各同様の処理)。これに応じて、第1端末10は所定のログイン手続き処理を行う。これにより、当該ファイルサーバー30へのログインが完了すると(ログインOKの場合)、制御部31は、第2端末20から転送されてくる医療用参照画像(見守り画像)を取得する処理を実行する。
なお、ここでも、図示を省略しているが、第2端末20がファイルサーバー30にログインできない場合には、当該ファイルサーバー30は、以降の処理をキャンセルして、上述のステップS301の処理に戻り、待機状態となるのは、上述のステップS304,ステップS312の各処理と同様である。
ステップS332において、制御部31は、第2端末20から撮像部11の仕様情報を取得する。この場合において、第2端末20の撮像部11の仕様情報(以下、撮像仕様情報という)とは、例えば、当該撮像部11において設定し得るシャッター速度や絞り値等の設定値や、光学系の焦点距離情報(ズーム範囲),許容撮影距離範囲(最短撮影距離)等、撮像機能の性能を示す情報等である。この撮像仕様情報をサーバー30が有していることで、第2端末20を用いて患者画像を取得する場合の適切な撮影条件を設定することができる。
次いで、ステップS333において、制御部31は、上述のステップS331の処理にて第2端末20から転送されてきた医療用参照画像(見守り画像)を、当該画像データに付随する医療メタデータに基づいて、患者情報データベース34内の対応する患者情報ファイルに関連付けた上で、画像データベース32に記録する。
次に、ステップS334において、制御部31は、今回記録された医療用参照画像(ステップS331で取得しステップS333で画像データベース32に記録された画像データ)について、同一患者の前回記録されている医療用参照画像(患者画像データ)とを比較する処理を行う。この画像比較処理は、例えば、後述するステップS324〜ステップS325にて作成される画像変化パターンモデル情報を参照して行われる。
続いて、ステップS335において、制御部31は、上述のステップS334の処理における画像比較処理の結果、異常兆候が見られるか否かの判定処理を行う。ここで、異常兆候が見られると判定された場合には、次のステップS336の処理に進む。また、異常兆候が見られない場合には、ステップS301の処理に戻り、以降の処理を繰り返す。
ステップS336において、制御部31は、通信部35を介して第1端末10にアクセスして、当該第1端末10に対し、今回判定された異常兆候情報を送信する。その後、ステップS301の処理に戻り、以降の処理を繰り返す。
他方、上述のステップS301の処理にて、外部情報端末装置(10,20)以外からのアクセスが確認されて、ステップS321の処理に進むと、このステップS321において、制御部31は、内部端末装置(不図示;例えば病院診察室等に設置のPC等のいわゆる院内端末)からのアクセスか否かの確認を行う。ここで、内部端末装置からのアクセスである場合には、次のステップS322の処理に進む。また、内部端末装置からのアクセスではない場合には、ステップS323の処理に進む。
ステップS322において、制御部31は、所定のログイン手続き処理を実行する(上記ステップS304,ステップS312,ステップS331と各同様の処理)。これに応
じて、内部端末装置(不図示)は所定のログイン手続き処理を行う。これにより、当該ファイルサーバー30へのログインが完了すると(ログインOKの場合)、制御部31は、内部端末装置からの要求に応じて所定の情報を内部端末装置に転送する。これを受けて、内部端末装置は表示部(不図示)に当該所定の情報を表示する。また、内部端末装置からの情報入力を受けて情報記録処理を行う(例えば電子カルテの更新入力等)。その後、ステップS323の処理に進む。
なお、ここでも、図示を省略しているが、内部端末装置がファイルサーバー30にログインできない場合には、当該ファイルサーバー30は、以降の処理をキャンセルして、上述のステップS301の処理に戻り、待機状態となるのは、上述のステップS304,ステップS312,ステップS331の各処理と同様である。
ステップS323において、制御部31は、内部端末装置からの操作指示を受けて、情報端末装置(10,20)等の登録設定処理を行う。その後、ステップS301の処理に戻り、以降の処理を繰り返す。
上述のステップS321の処理にて、内部端末装置からのアクセスがなくステップS324の処理に進むと、このステップS324及び次のステップS325において、制御部31は、その他の処理ステップを実行する。
例えば、ステップS324及びステップS325の処理として例示している処理は、次のようなものである。
即ち、まず、ステップS324にて、制御部31は、画像データベース32に記録された対象患者の患者画像データ(医療用参照画像,見守り画像)について、最新の画像データと前回の画像データとを比較処理した際に、当該画像に含まれる対象物の変化の具合と、それらの画像に基づいて医師が行った診察結果(対象患者の電子カルテ情報を参照する)とによって、深層学習(ディープラーニング;deep learning)を行う。
次のステップS325において、制御部31は、上述のステップS324の処理にて行った深層学習の結果に基づいて画像変化パターンモデル情報を作成する。そして、この画像変化パターンモデル情報を、画像データベース32等に記録蓄積する。その後、ステップS301の処理に戻り、以降の処理を繰り返す。
こうして作成され記録蓄積された画像変化パターンモデル情報は、上述のステップS334の処理などにおける画像比較処理などにおいて利用される。
以上説明したように上記一実施形態によれば、ネットワーク40に接続され患者情報データベース34を有するファイルサーバー30と、ネットワーク40を介してファイルサーバー30との間で通信する情報端末装置(第1端末10,第2端末20)とによって、患者情報を共有して医療業務を支援する医療支援システム1を構成している。
この医療支援システム1においては、医師が情報端末装置(第1端末10)を用いて所定のオーダーをファイルサーバー30に伝達すると、当該ファイルサーバー30のオーダー情報作成部31bは、医師のオーダーに基づくオーダー情報を作成する。このオーダー情報に基づいて、ファイルサーバー30の撮影条件情報作成部31cは、当該オーダー情報に応じた撮影条件情報を作成する。こうして作成された当該撮影条件情報は、情報端末装置(第2端末20)に伝達される。
これを受けて、患者家族等の医療従事者以外の人物が、情報端末装置(第2端末20)を用いて画像撮影を行って対象患者の画像データを取得する。これにより、取得された画像データは、医療用参照画像として承認され得る。
このように、医師が出す医療行為的な指示からなるオーダー情報に画像撮影指示が含まれている場合には、本実施形態の医療支援システム1は、その画像撮影指示に適切な撮影条件情報を作成し、これを情報端末装置に伝達するようにしている。
したがって、これにより、医師は通常の医療行為的な指示のオーダー情報を出すのみで、所望の形態の患者画像(参照用画像)を参照することができる。また、医師のオーダー情報に基づいて、所定の患者画像を撮影する画像撮影者は、高い撮影技術や所定の撮影知識等を有しておらずとも、容易にかつ確実に、医師のオーダー情報に応じた患者画像を取得することができる。
本実施形態の医療支援システム1は、医療従事者が取得した患者情報としての画像情報のみならず、医療従事者以外の一般の人物(非医療従事者)が取得した画像情報をも患者情報としての医療用画像若しくは医療用参照画像として取り扱うことができ、医療行為の利便性を向上させることができる。
この場合において、撮影時から基本情報(オーダー情報や撮影時の撮影条件)が画像と紐付けられた形式の画像ファイルを作る事も可能になるので、誤診を防ぐことができると共に、情報の確実さを向上させ、かつ貴重な画像情報の管理が容易になる。また、必要に応じて医療用の基本情報が画像ファイルに付与されるようにしたシステムとすることができる。
また、情報端末装置においては、患者基本属性情報は、「管理用付帯情報」,「診療用付帯情報」,「診療管理情報」等として、予め取得してあるので、当該情報端末装置を用いた撮影時に、これらの情報を取得画像の付帯情報とすることができる。
このようにすれば、画像ファイルの生成時に、これらの情報を付帯することができるので、画像データがシステムや特定フォルダから外部に出て、単独の状態になったとしても、付帯するタグ情報を見れば、いつどこで誰の検査結果の画像であるのかを判別できる。
例えば、オーダー情報に振られるオーダー番号は、検査ID等に紐付いていることから、一連の検査スタディや特定の疾患/疾病の検査との関連付けが可能となる。
単なる写真では、患者名等が判らずに、何のための写真なのかも判らないが、これらの付帯情報が画像ファイルに付帯していることで、診療用画像としての有用性が確保される。
なお、例えば、患者等による主訴の参考とする画像データや、非医療従事者が自己管理する画像データでは、オーダー情報を取得することは必要ない。しかしながら、これらの画像データを通院先の医療施設の電子カルテに載せることを想定したり、診療の参考データとして有用となり得る予定の画像データに対しては、「管理用付帯情報」,「診療用付帯情報」,「診療管理情報」等、付帯情報の書式やデータを、予め情報端末装置に受信しておくということが有効である。
つまり、本実施形態においては、オーダー情報と書いた部分は、厳密な意味でのオーダーに拘る必要はなく、「管理用付帯情報」,「診療用付帯情報」,「診療管理情報」と呼べるものを含むものとする。そして、本実施形態で説明した情報端末装置では、画像データを医療施設に提出する場合の効率性や画像データの保証性を高めるために、必要とする情報を医療施設(システム)から受け取って、その情報に基づいて画像データの生成を行う仕組みとしているものである。
なお、上述の一実施形態においては、情報端末装置(10,20)の一形態として、撮像機能と通信機能とを備えた一般的な携帯の撮像装置(カメラ)や、スマートフォン,タブレット型PC等を例に挙げて説明したが、本発明に適用し得る情報端末装置の形態としては、これらの形態に限られるものではない。
例えば、近年においては、所定の場所(例えば対象患者の自宅や病院等の病室等)にカメラを据え付けて、当該カメラをネットワーク経由で遠隔操作し、所定の時間間隔毎の撮影画像を取得し、取得した撮影画像をネットワーク経由で他の機器に転送し得るように構成することで、撮影する対象患者等の状況を、遠隔地から常時見守ることができるようにしたカメラシステム(いわゆる見守りカメラやウェッブカメラ等と呼ばれるカメラを含むネットワークカメラシステム)が実用化され一般に普及しつつある。この種のカメラシステムを、本発明の情報端末装置として適用することもできる。
上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲,明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク CD−ROM等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の撮像装置を実現することができる。
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
1……医療支援システム
10……第1端末(情報端末装置)
11……撮像部
12……通信部
13……操作部
14 タッチパネル
15……表示部
16……記録部
17……姿勢センサ
18……GPS
19……方位センサ
20……第2端末(情報端末装置)
21……画像処理制御部
21a……撮像制御部
21b……操作判定部
21c……通信制御部
21d……表示制御部
21e……記録制御部
21f……画像判定部
21g……撮影時情報付与部
22……時計部
30……ファイルサーバー
31……制御部
31a……患者判定部
31b……オーダー情報作成部
31c……撮影条件情報作成部
32……画像データベース
33……オーダー情報等データベース
34……患者情報データベース
35……通信部
40……ネットワーク

Claims (16)

  1. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置であって、
    医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信部と、
    所定の画像データを取得する撮像部と、
    を具備し、
    上記撮像部は、上記通信部において取得した上記撮影条件情報に基づく画像データを取得可能とする
    ことを特徴とする撮像装置。
  2. 上記通信部において取得した上記撮影条件情報が、上記患者情報データベースに予め登録済みである対象患者に係る情報であるか否かを判断する判断制御部をさらに具備する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 上記撮影条件情報に係るガイド表示を表示部に表示可能とする表示制御部をさらに具備し、
    上記表示制御部は、上記判断制御部による判断結果に基づいて、上記通信部において取得した上記撮影条件情報が、上記患者情報データベースに予め登録済みである対象患者に係る情報である場合、当該撮影条件情報に係るガイド表示を上記表示部に自動的に表示するよう制御する
    ことを特徴とする請求項2に記載の撮像装置。
  4. 上記撮像部が上記通信部において取得した上記撮影条件情報に基づく画像データを取得した際、当該取得した画像データに医療メタデータに対応する所定のメタデータを付与すると共に、当該メタデータが付与された画像データを記録する記録制御部をさらに具備する
    ことを特徴とする請求項1−3のいずれか一項に記載の撮像装置。
  5. 上記画像データに付与された上記所定のメタデータに基づいて、当該画像データと、同一患者の前回記録されている医療用参照画像データと、を比較する処理を行うよう指示する指示信号を、上記通信部を介して上記ファイルサーバーに送信するための送信制御部をさらに具備する
    ことを特徴とする請求項4に記載の撮像装置。
  6. 上記撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得するためのオーダー撮影が可能であるか否かを判定するオーダー撮影判定部をさらに具備する
    ことを特徴とする請求項1−5のいずれか一項に記載の撮像装置。
  7. 上記撮像部によって取得した上記画像データに含まれる対象物の変化と、当該画像データに基づいて医師による診察結果とに基づいて深層学習を行う処理を行うよう指示する指示信号を、上記通信部を介して上記ファイルサーバーに送信するための第2送信制御部をさらに具備する
    ことを特徴とする請求項1−6のいずれか一項に記載の撮像装置。
  8. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置であって、
    医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信部と、
    上記通信部において取得した上記撮影条件情報に基づく画像データを取得可能とする撮像部と、
    を具備することを特徴とする撮像装置。
  9. オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムであって、
    上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較部と、
    上記比較部における比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理部と、
    を具備することを特徴とする医療支援システム。
  10. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像方法であって、
    通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得する通信ステップと、
    所定の画像データを取得する撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、
    を有することを特徴とする撮像方法。
  11. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像プログラムであって、
    通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得する通信ステップと、
    所定の画像データを取得する撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、
    をコンピュータに実行させることを特徴とする撮像プログラム。
  12. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像方法であって、
    通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信ステップと、
    撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、
    を有することを特徴とする撮像方法。
  13. ネットワークに接続された患者情報データベースを有するファイルサーバーとの間で通信を可能とする撮像装置の撮像プログラムであって、
    通信部が、医師が所定のオーダー端末装置を用いて上記ファイルサーバーにアクセスすることにより得られた所定のオーダー情報と、当該撮像装置の仕様情報と、の少なくとも一方の情報に応じて決められた撮影条件情報を取得可能とする通信ステップと、
    撮像部が、上記通信部において取得した上記撮影条件情報に基づく画像データを取得する画像データ取得ステップと、
    をコンピュータに実行させることを特徴とする撮像プログラム。
  14. オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムにおけるデータ処理方法であって、
    上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較ステップと、
    上記比較ステップにおける比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理ステップと、
    を有することを特徴とする医療支援システムにおけるデータ処理方法。
  15. オーダー情報に応じて決められた撮影条件情報を取得する通信部と、上記撮影条件情報に基づいて画像データを取得する撮像部と、を具備する撮像装置を接続可能な医療支援システムにおけるデータ処理プログラムであって、
    上記撮像装置において取得された上記画像データに係る最新の画像データと、前回の画像データと、を比較する比較ステップと、
    上記比較ステップにおける比較結果に応じて、当該画像データに含まれる対象物の変化と、当該画像データに基づく医師による診察結果と、に基づく所定の兆候情報を得るための深層学習を行う処理ステップと、
    をコンピュータに実行させることを特徴とする医療支援システムにおけるデータ処理プログラム。
  16. 患者情報を共有して医療業務を支援する医療支援システムであって、
    ネットワークに接続され患者情報データベースを有し、所定の外部情報端末装置との間で通信可能とするファイルサーバーと、
    上記ネットワークを介して上記ファイルサーバーとの間で通信し、入力されたオーダー情報を上記ファイルサーバーに伝達するオーダー端末装置と、
    を具備し、
    上記ファイルサーバーは、
    上記外部情報端末装置との通信により当該外部情報端末装置に係る固有の仕様情報を取得し、
    オーダー端末装置からの指示入力を受けてオーダー情報を作成し、
    上記仕様情報と上記オーダー情報との少なくとも一方の情報に基づいて、対応する撮影条件情報を作成し、
    上記撮影条件情報を上記オーダー情報と共に上記外部情報端末装置へ伝達し、
    上記外部情報端末装置から、上記撮影条件情報及び上記オーダー情報に応じた画像データを取得する
    ことを特徴とする医療支援システム。
JP2019133172A 2019-07-18 2019-07-18 撮像装置、医療支援システム、撮像方法、撮像プログラム Active JP7029429B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019133172A JP7029429B2 (ja) 2019-07-18 2019-07-18 撮像装置、医療支援システム、撮像方法、撮像プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019133172A JP7029429B2 (ja) 2019-07-18 2019-07-18 撮像装置、医療支援システム、撮像方法、撮像プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017242988A Division JP6560331B2 (ja) 2017-12-19 2017-12-19 医療支援システム、ファイルサーバー、患者画像データ取得方法、患者画像データ取得プログラム

Publications (2)

Publication Number Publication Date
JP2019204533A true JP2019204533A (ja) 2019-11-28
JP7029429B2 JP7029429B2 (ja) 2022-03-03

Family

ID=68727134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133172A Active JP7029429B2 (ja) 2019-07-18 2019-07-18 撮像装置、医療支援システム、撮像方法、撮像プログラム

Country Status (1)

Country Link
JP (1) JP7029429B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202690A (ja) * 2004-01-15 2005-07-28 Toshiba Corp 医療情報提供システム。
JP2008149117A (ja) * 2002-07-03 2008-07-03 Shiyoufuu:Kk 器械装置の制御システム
JP2014035703A (ja) * 2012-08-09 2014-02-24 Canon Inc 医用情報処理装置、医用情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008149117A (ja) * 2002-07-03 2008-07-03 Shiyoufuu:Kk 器械装置の制御システム
JP2005202690A (ja) * 2004-01-15 2005-07-28 Toshiba Corp 医療情報提供システム。
JP2014035703A (ja) * 2012-08-09 2014-02-24 Canon Inc 医用情報処理装置、医用情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP7029429B2 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
JP6560331B2 (ja) 医療支援システム、ファイルサーバー、患者画像データ取得方法、患者画像データ取得プログラム
US10790051B2 (en) Medical support system, information terminal apparatus, patient image data acquisition method and patient information acquisition method
JP5459423B2 (ja) 診断システム
JP6417972B2 (ja) 医療画像分類システム、医療画像分類装置、医療画像分類方法及びプログラム
JP6254846B2 (ja) 自動の及び自己ガイドされる医学検査を行うためのシステム及び方法
JP5300578B2 (ja) 医用画像撮影装置、その情報処理方法及びプログラム
US9596991B2 (en) Self-examination apparatus and method for self-examination
JP2007140762A (ja) 診断システム
US20200066394A1 (en) Medical image management system, medical image acquisition apparatus, medical image data file acquisition method and medical image management server
JP4802883B2 (ja) 医用画像システム
JP7029429B2 (ja) 撮像装置、医療支援システム、撮像方法、撮像プログラム
JP6530896B2 (ja) 診療記録転送システム及び診療記録転送方法
US20140172451A1 (en) Systems and methods for medical information management
JP2007275237A (ja) 診断支援システム
JP5170287B2 (ja) 医用画像システム
JP2018206450A (ja) 医療画像分類システム、医療画像分類装置、医療画像分類方法及びプログラム
JP2010122780A (ja) 小規模診断システム
JP2010122781A (ja) 小規模診断システム
JP2007259924A (ja) 小規模診断システム
JP2007259920A (ja) 小規模診断システム
JP2004348687A (ja) 検査マネージメント方法及び検査マネージメントシステム
JP2008009848A (ja) 小規模診断システム
JP5170288B2 (ja) 医用画像システム
KR20230097736A (ko) 진단용 피부 영상 자동 관리 장치
JP2010122779A (ja) 小規模診断システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R151 Written notification of patent or utility model registration

Ref document number: 7029429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151