JP2014130519A - 医用情報処理システム、医用情報処理装置及び医用画像診断装置 - Google Patents

Abstract

【課題】電子カルテの情報入力を容易にすることを可能にする医用情報処理システム、医用情報処理装置及び医用画像診断装置を提供すること。
【解決手段】実施の形態の医用情報処理システムは、取得部と、抽出部と、選択部と、表示制御部とを備える。取得部が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部が、取得部によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部が、抽出部によって抽出された患部に関連するシェーマを選択する。そして、表示制御部が、選択部によって選択されたシェーマを出力部にて表示させるように制御する。
【選択図】図６

Description

本発明の実施の形態は、医用情報処理システム、医用情報処理装置及び医用画像診断装置に関する。

従来、医療機関においては、来院患者の診療情報の管理に電子カルテシステムが用いられるようになってきている。かかる電子カルテシステムは、診療室ごとに備えられた医師端末にて各患者のカルテ（電子カルテ）を呼出し、呼出した患者の電子カルテに種々の情報入力が行われる。例えば、電子カルテにおける情報入力は、医師が医師端末を用いて、患者の電子カルテに、その病状に従って主訴・所見等の内容・シェーマ図・オーダ内容等の情報入力を、予め用意された診療情報定義内容から個々に検索／選択して、これを用い入力することにより行われる。また、当該患者が再来患者である場合には、該患者の過去のカルテ情報を呼び出し、これをそのままコピーして今回の電子カルテに入力することもある。

一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサーを利用して、センサーから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサーとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。

特開２０１０−１７６２１３号公報 特開２０１０−１７６２０９号公報 特開２０１０−０７９５６７号公報 特開２００７−１５１６８６号公報

本発明が解決しようとする課題は、電子カルテの情報入力を容易にすることを可能にする医用情報処理システム、医用情報処理装置及び医用画像診断装置を提供することである。

実施の形態の医用情報処理システムは、取得手段と、抽出手段と、選択手段と、表示制御手段とを備える。取得手段は、動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する。抽出手段は、前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する。選択手段は、前記抽出手段によって抽出された患部に関連する関連情報を選択する。表示制御手段は、前記選択手段によって選択された関連情報を表示部にて表示させるように制御する。

図１は、第１の実施形態に係る医用情報処理システムの構成の一例を示す図である。 図２Ａは、第１の実施形態に係る電子カルテの表示画面の一例を説明するための図である。 図２Ｂは、第１の実施形態に係るカルテ情報の入力の一例を説明するための図である。 図３は、第１の実施形態に係る医師端末の構成の一例を示す図である。 図４Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図４Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図４Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図５は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図６は、第１の実施形態に係る医師端末の詳細な構成の一例を示す図である。 図７は、第１の実施形態に係る抽出部による処理の例を説明するための図である。 図８は、第１の実施形態に係る選択部のよる処理の一例を説明するための図である。 図９は、第１の実施形態に係るマーク付与部による処理の一例を示す図である。 図１０は、第１の実施形態に係るシェーマの選択及びマーク付与の一例を示す図である。 図１１は、第１の実施形態に係る表示制御部による表示制御の一例を説明するための図である。 図１２は、第１の実施形態に係るカルテ情報格納部による処理の一例を説明するための図である。 図１３は、第１の実施形態に係る医師端末による処理の手順を示すフローチャートである。 図１４は、第２の実施形態に係る選択部による処理の一例を説明するための図である。 図１５は、第３の実施形態に係る医師端末による動作情報の収集条件の変更処理を説明するための図である。

以下、図面を参照して、実施形態に係る医用情報処理システム、医用情報処理装置及び医用画像診断装置を説明する。なお、以下、医用情報処理装置としての医師端末を含む医用情報処理システムを例に挙げて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る医用情報処理システム１の構成の一例を示す図である。図１に示すように、第１の実施形態に係る医用情報処理システム１は、医師端末１００と、受付端末２００と、サーバ装置３００とを備える。医師端末１００と、受付端末２００と、サーバ装置３００とは、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能な状態となっている。このような医用情報処理システム１は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）やＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）などが適用される。また、医用情報処理システム１は、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付（個人、資格認証）システム、診療支援システムとしての機能なども備える。

受付端末２００は、患者が来院した際の受付登録や、患者の電子カルテの作成又はサーバ装置３００によって管理された電子カルテから当該患者の電子カルテの呼出しを実行する。そして、受付端末２００は、受付時刻又は予約時刻に応じて、患者ごとの受付情報及び電子カルテの情報の待ち行列を作成して、サーバ装置３００に送信する。

サーバ装置３００は、登録患者の電子カルテを管理する。また、サーバ装置３００は、受付端末２００から受信した受付情報及び電子カルテの情報の待ち行列を管理する。例えば、サーバ装置３００は、受信した受付情報及び電子カルテの情報の待ち行列を、診療科ごとに管理する。

医師端末１００は、例えば、診察室ごとに設置された端末であり、医師によって電子カルテのカルテ情報が入力される。ここで、カルテ情報としては、例えば、症状や医師の所見などが挙げられる。医師は、医師端末１００を操作して、サーバ装置３００から待ち行列順に受付情報及び電子カルテの情報を読み出す。そして、医師は、該当する患者の診察を行い、読み出した電子カルテにカルテ情報の入力を行う。

図２Ａは、第１の実施形態に係る電子カルテの表示画面の一例を説明するための図である。例えば、医師端末１００は、図２Ａに示すように、患者のカルテ情報が入力される領域であるカルテ領域Ｒ１と、カルテ領域Ｒ１にカルテ情報を入力するための操作ボタンなどが配置された操作領域Ｒ２とを有する電子カルテの表示画面を表示する。ここで、カルテ領域Ｒ１は、図２Ａに示すように、例えば、氏名や生年月日、性別などの患者データが表示される領域Ｒ３、今回のカルテ情報が入力される領域Ｒ４、前回のカルテ情報が表示される領域Ｒ５などから構成される。また、操作領域Ｒ２は、カルテ情報にシェーマを利用する場合に、利用されるシェーマの選択を行う領域である領域Ｒ６や、各種機能が割り当てられた操作ボタンが配置された領域Ｒ７などから構成される。

例えば、医師は、領域Ｒ６や、領域Ｒ７などに配置されたボタンを操作して、電子カルテにカルテ情報の入力を行う。図２Ｂは、第１の実施形態に係るカルテ情報の入力の一例を説明するための図である。図２Ｂにおいては、カルテ情報としてシェーマを利用する際に、図２Ａに示す領域Ｒ６に配置されたボタンを操作して表示されたシェーマの選択ウィンドウについて示す。

例えば、医師は、頭部のシェーマをカルテ情報として入力する場合に、図２Ａに示す領域Ｒ６に配置されたボタンを操作することで、図２Ｂの右側の領域に示すように、複数の頭部のシェーマが表示された選択ウィンドウを表示させる。そして、医師は、表示された複数の頭部のシェーマの中から所望のシェーマを選択することで、図２Ｂに示すように、ウィンドウの左側の領域に選択したシェーマを表示させる。さらに、医師は、図２Ｂの左側の領域に配置されたボタンを操作することで、図２Ｂに示すように、シェーマの患部に相当する位置にマークを付与する。

そして、医師は、マークを付与したシェーマをカルテ情報として電子カルテに入力する。例えば、医師は、図２Ａの領域Ｒ４にマークを付与したシェーマを入力する。診察が終了すると、医師端末１００は、医師の操作に基づいて、カルテ情報が入力された電子カルテをサーバ装置３００に送信する。サーバ装置３００は、受信した電子カルテを患者ごとに管理する。

このように、電子カルテは、医師端末１００において種々のカルテ情報の入力が行われる。ここで、従来技術においては、電子カルテの情報入力が煩雑となり、手間がかかる場合がある。例えば、図２Ｂに示すように、シェーマの入力に際しては、まず、患者から口頭や手で指し示すなどの動作によって患部の情報を得ることで、体のどの部位のシェーマを用いるのか、そして、部位ごとに複数あるシェーマのうち、どのシェーマを用いるのかを選択する。さらに、医師は、患部の範囲に応じて、シェーマ上にマークを付与する。従って、電子カルテにカルテ情報を入力する際に、選択操作を繰り返す場合があり、情報入力が煩雑となり手間がかかる場合があった。

そこで、第１の実施形態に係る医用情報処理システム１は、以下、詳細に説明する医師端末１００の処理によって、電子カルテの情報入力を容易にすることを可能にする。図３は、第１の実施形態に係る医師端末１００の構成の一例を示す図である。図１に示すように、第１の実施形態において、医師端末１００は、動作情報収集部１０に接続される。

動作情報収集部１０は、診察が行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。

図３に示すように、動作情報収集部１０は、例えば、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図３に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。

カラー画像収集部１１は、診察が行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red Green Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）を有する。

距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。

音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。

動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、診察が行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。

図４Ａから図４Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図４Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図４Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。

第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。

ここで、人体パターンについて説明する。図４Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図４Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。

図４Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。

なお、図４Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｉのみならず、右手の指の関節を新たに設定して良い。なお、図４Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。

動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図４Ｂに示す人体パターンの人体表面と、図４Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図４Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。

なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。

続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。

ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。

そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図５は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図５に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図５において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。

図５の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図５の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図５の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図５の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。

このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、医師端末１００へ出力し、後述の動作情報記憶部１３１へ格納する。

なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。

また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。

また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて医師端末１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。さらに、この対応付けと距離画像収集部１２によって算出される距離［ｍ］を用いることで、身長や体の各部の長さ（例えば、腕の長さや腹部の長さなど）、及び、カラー画像上で指定された２点間（２ピクセル間）の距離を算出することも可能である。

また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて医師端末１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。

なお、ここでは、動作情報収集部１０によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の検知範囲に含まれていれば、動作情報収集部１０は、複数人の対象者の動作を検知しても良い。かかる場合には、動作情報生成部１４は、同一フレームの距離画像情報から複数人の人物の骨格情報をそれぞれ生成し、生成した各骨格情報を対応付けた情報を動作情報として医師端末１００へ出力する。

また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサーとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医師端末１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を医師端末１００へ出力しない場合には、音声認識部１３を有していなくても良い。

更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医師端末１００側で行ってもよい。

図５の説明に戻る。医師端末１００は、動作情報収集部１０から出力される動作情報を用いて、電子カルテの情報（カルテ情報）入力を補助するための処理を行う。医師端末１００は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図３に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。なお、医師端末１００は、図示しない通信部を備え、受付端末２００や、サーバ装置３００などとの通信を行う。

出力部１１０は、電子カルテを作成するための各種情報を出力する。例えば、出力部１１０は、医師端末１００を操作する操作者（医師）が入力部１２０を用いて各種要求を入力して電子カルテを作成するためのＧＵＩ（Graphical User Interface）を表示したり、医師端末１００において生成された出力画像等を表示したりする。例えば、出力部１１０は、モニタ、スピーカー等である。

入力部１２０は、電子カルテを作成するための各種情報の入力を受け付ける。例えば、入力部１２０は、医師端末１００の操作者（医師）から各種要求（例えば、サーバ装置３００からの電子カルテの読み出し要求や、電子カルテへのカルテ情報の入力要求など）の入力を受け付け、受け付けた各種要求を医師端末１００に転送する。ここで、入力部１２０は、電子カルテの読み出し要求として、患者の患者ＩＤ（氏名番号）などの情報を受付ける。入力部１２０は、例えば、マウス、キーボード、タッチコマンドスクリーン、トラックボール等である。

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、或いはＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

以上、第１の実施形態に係る医師端末１００の構成について説明した。かかる構成のもと、第１の実施形態に係る医師端末１００は、動作情報収集部１０によって収集された患者（動作取得の対象者）の動作情報を解析することで患部を抽出し、抽出した患部に関連する関連情報を選択することで、電子カルテの情報入力を容易にすることを可能にする。ここで、第１の実施形態においては、患部に関連する関連情報の一例として、シェーマを選択する場合について説明する。なお、シェーマとは、人体構造と患部との位置関係を示す模式図である。

図６は、第１の実施形態に係る医師端末１００の詳細な構成の一例を示す図である。図６に示すように、医師端末１００においては、例えば、記憶部１３０が動作情報記憶部１３１と、抽出条件記憶部１３２と、カルテ情報記憶部１３３とを備える。

動作情報記憶部１３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３１は、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。

抽出条件記憶部１３２は、動作情報から患者における患部を抽出するための抽出条件を記憶する。具体的には、抽出条件記憶部１３２は、動作条件における手の関節の情報に基づいて、患部を抽出するための抽出条件を記憶する。例えば、抽出条件記憶部１３２は、対象者の動作情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる２つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を患部とする抽出条件を記憶する。ここで、抽出条件記憶部１３２は、所定のタイミングとして、所定の音声情報を取得したタイミングや、手の関節の動作が一定時間停止した場合などである。なお、上述した抽出条件の詳細な例は後述する。

また、例えば、抽出条件記憶部１３２は、対象者の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部とする抽出条件を記憶する。言い換えると、抽出条件記憶部１３２は、手の関節が所定の領域内を動いていた場合に、当該領域に相当する部位を患部とする抽出条件を記憶する。例を挙げて説明すると、抽出条件記憶部１３２は、手の関節が一定の領域を往復して移動している場合や、ある関節の領域で一定時間停止している場合などに、それらの領域に相当する部位を患部とする抽出条件を記憶する。

カルテ情報記憶部１３３は、図示しない通信部を介してサーバ装置３００から取得した電子カルテのカルテ情報を記憶する。具体的には、カルテ情報記憶部１３３は、入力部１２０を介して操作者（医師）から受付けた電子カルテの読み出し要求に応じて、通信部がサーバ装置３００から取得した患者のカルテ情報を記憶する。例えば、カルテ情報記憶部１３３は、読み出し要求に対応する患者の過去のカルテ情報や、後述する制御部１４０の制御によって格納されたカルテ情報を記憶する。言い換えると、カルテ情報記憶部１３３は、医師端末１００がサーバ装置３００から読み出した電子カルテを診断中に記憶させておく記憶部である。すなわち、カルテ情報記憶部１３３によって記憶されたカルテ情報は、診断が終了した後、通信部を介してサーバ装置３００に格納されることとなる。なお、カルテ情報記憶部１３３によって記憶されるカルテ情報の詳細な例については、後述する。

図６の説明に戻って、医師端末１００においては、例えば、制御部１４０が取得部１４１と、抽出部１４２と、選択部１４３と、マーク付与部１４４と、表示制御部１４５と、カルテ情報格納部１４６とを備え、記憶部１３０に記憶された各種情報を用いて、カルテ情報の入力補助を実行して、電子カルテの情報入力を容易にすることを可能にする。

取得部１４１は、動作取得の対象となる対象者（患者）の動作情報を取得する。具体的には、取得部１４１は、動作情報収集部１０によって収集され、動作情報記憶部１３１によって記憶された患者の動作情報を取得する。より具体的には、取得部１４１は、動作情報記憶部１３１によってフレームごとに記憶された患者の骨格情報を取得する。

例えば、取得部１４１は、来院した患者が診察の際に症状、患部などの主訴を行った時点に対応する動作の骨格情報を取得する。一例を挙げると、取得部１４１は、医師による問診が開始された時点のフレームから診察が終了した時点のフレームまでの患者の骨格情報を取得する。なお、取得部１４１による骨格情報の取得は、患者の診察が開始されるごとにそれぞれ実行される。

抽出部１４２は、取得部１４１によって取得された対象者（患者）の動作情報における関節の位置情報に基づいて、患部を抽出する。具体的には、抽出部１４２は、抽出条件記憶部１３２によって記憶された抽出条件を参照して、取得部１４１が取得した患者の骨格情報から患部を抽出する。図７は、第１の実施形態に係る抽出部１４２による処理の例を説明するための図である。図７においては、図７の（Ａ）に動作情報収集部１０によって収集された患者のカラー画像情報と関節の位置情報とを示す。また、図７の（Ｂ）においては、図７の（Ａ）に示す情報から患部を抽出する第１の例を示す。また、図７の（Ｃ）においては、図７の（Ａ）に示す情報から患部を抽出する第２の例を示す。

まず、第１の例について説明する。第１の例は、患者の動作情報（骨格情報）における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる２つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を患部とする場合について説明する。

例えば、抽出部１４２は、取得部１４１によって診察が開始された時点のフレームから時系列順にリアルタイムで取得される患者の骨格情報を監視して、所定のタイミングにおける手の関節の位置から患部を抽出する。ここで、抽出部１４２は、所定のタイミングとして、例えば、「右腕が痛い」などの人体の部位を示す単語や、「ここが痛い」などの指示代名詞の単語などが患者から発せられた時点を用いることが可能である。すなわち、抽出部１４２は、音声認識部１３によって生成された音声認識結果において、該当する単語が認識された時刻を所定のタイミングとして用いる。

また、抽出部１４２は、所定のタイミングとして、例えば、手の関節が骨から所定の距離以下の位置で一定時間停止した時点を用いることも可能である。すなわち、抽出部１４２は、体の表面上のある場所を一定時間触れている、或いは、押さえているような状態の場合に、その時点を所定のタイミングとして用いる。なお、手の関節が骨から所定の距離以下の位置で一定時間停止したか否かの判定は、取得部１４１によって取得される骨格情報において、手の関節の位置の座標の変化を解析することで行うことができる。ここで、手の関節が停止していると判定する際の座標変化の許容量及び、判定に用いる停止時間は、任意に設定することができる。例えば、患者の年齢などにより座標変化の許容量及び停止時間を変化させるように設定する場合であってもよい。

なお、上述した所定のタイミングは、あくまでも一例であり、これらのタイミング以外にも任意に適用することができる。例えば、音声認識の場合、患者から発生られた単語以外にも、医師が患部を触るように促す単語を発した時点であってもよい。

抽出部１４２は、上述したタイミングにおける手の関節の位置情報を用いて、患部を抽出する。例えば、抽出部１４２は、図７の（Ｂ）に示すように、左手に対応する関節識別情報「２ｌ」の位置情報と、周囲の骨の情報とを用いて、患部を抽出する。すなわち、抽出部１４２は、まず、左手の関節識別情報「２ｌ」に対応する座標情報を取得する。

そして、抽出部１４２は、同一フレームの他の関節に対応する関節識別情報の座標情報から骨に相当する部分の座標情報を算出する。例えば、抽出部１４２は、図７の（Ｂ）に示す「２ｈ」〜「２ｇ」間の骨の座標情報、「２ｇ」〜「２ｆ」間の骨の座標情報、「２ｆ」〜「２ｅ」間の骨の座標情報、「２ｅ」〜「２ｂ」間の骨の座標情報、「２ｂ」〜「２ｉ」間の骨の座標情報、「２ｉ」〜「２ｊ」間の骨の座標情報、「２ｊ」〜「２ｋ」間の骨の座標情報などを算出する。

ここで、抽出部１４２は、左手に対応する関節識別情報「２ｌ」と繋がっていない骨の座標情報を算出する。すなわち、抽出部１４２は、手で容易に触れることができる部分の骨の座標情報を算出する。そして、抽出部１４２は、左手の座標情報と算出した各骨の座標情報とを用いて、左手から各骨までの距離を算出する。例えば、抽出部１４２は、左手「２ｌ」から、「２ｈ」〜「２ｇ」間の骨、「２ｇ」〜「２ｆ」間の骨、「２ｆ」〜「２ｅ」間の骨、「２ｅ」〜「２ｂ」間の骨、「２ｂ」〜「２ｉ」間の骨、「２ｉ」〜「２ｊ」間の骨、「２ｊ」〜「２ｋ」間の骨までの距離をそれぞれ算出する。

そして、抽出部１４２は、算出した距離が所定の閾値以下であり、かつ、距離が最短となる骨を抽出する。例えば、抽出部１４２は、「２ｌ」からの距離が所定の閾値以下であり、かつ、最小となる「２ｇ」〜「２ｆ」間の骨を抽出する。そして、抽出部１４２は、抽出した骨に対して手の先端を射影して、骨における位置を算出する。例えば、抽出部１４２は、図７の（Ｂ）に示すように、「２ｇ」〜「２ｆ」間の骨に対して、「２ｌ」から射影し（点線）、射影した位置（「２ｇ」〜「２ｆ」間の骨と点線との交点）の位置を算出する。そののち、抽出部１４２は、例えば、「２ｇ」〜「２ｆ」間の骨と点線との交点の各関節からの距離を算出することで、骨の上の距離の割合を算出する。

すなわち、抽出部１４２は、図７の（Ｂ）に示す「２ｇ」〜「２ｆ」間の骨と点線との交点と、「２ｇ」及び「２ｆ」との距離をそれぞれ算出して、「２ｇ」〜「２ｆ」の距離に対する「２ｇ」〜交点までの距離と、交点〜「２ｆ」までの距離との割合をそれぞれ算出する。そして、抽出部１４２は、「２ｇ」〜「２ｆ」の骨における算出した割合の位置を患部として抽出する。

次に、第２の例について説明する。第２の例は、対象者（患者）の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部とする場合について説明する。例えば、抽出部１４２は、手の関節の移動範囲から患部を抽出する。一例を挙げると、抽出部１４２は、図７の（Ｃ）に示すように、左肘に対応する関節識別情報「２ｊ」を起点として、左手「２ｌ」が、往復で移動している場合に、左手「２ｌ」の停止位置の座標情報を往復移動している両端で算出する。そして、抽出部１４２は、算出した両端の座標情報を患部の領域の両端として、その間の領域を患部として抽出する。

すなわち、抽出部１４２は、図７の（Ｃ）の両端矢印に示す範囲を患部として抽出する。なお、抽出部１４２は、第１の例と同様に、所定のタイミングにおける手の関節と骨との距離算出を開始するように設定することができる。かかる場合には、抽出部１４２は、上述した所定のタイミング（音声認識または手の関節の動きを監視）で手の関節以外の関節の座標情報を取得して、手と骨との距離を算出する。そして、抽出部１４２は、手の関節との距離が所定の閾値以下であり、かつ、最短である骨を抽出して、抽出した骨に対する手の関節の移動状況を解析する。ここで、抽出部１４２は、手と骨との距離が所定の閾値以下の位置を推移している範囲についてのみ、患部の領域として抽出する。

図６に戻って、選択部１４３は、抽出部１４２によって抽出された患部に関連する関連情報を選択する。例えば、選択部１４３は、関連情報として、人体構造と抽出部１４２によって抽出された患部との位置関係を示すためのシェーマを選択する。図８は、第１の実施形態に係る選択部１４３のよる処理の一例を説明するための図である。図８においては、抽出部１４２によって患部がある位置として抽出された３つのパターンについてシェーマを選択する場合について示す。なお、抽出部１４２による患部の抽出は、上述した方法と同様である。

例えば、選択部１４３は、図８の（Ａ）の図に示すように、右肘に対応する関節識別情報「２ｆ」と右手首に対応する関節識別情報「２ｇ」との間の丸印で示す位置が患部として抽出された場合に、患部として抽出された位置（丸印が付された位置）が含まれる全身の前面のシェーマを選択する。ここで、選択部１４３は、シェーマの選択に際して、患者が診療を受けている診療科の情報や、医師の専門の情報を組み合わせてシェーマを選択する。すなわち、選択部１４３は、各診療科で用いられるシェーマの違いや、医師の専門による使い分けなどを考慮したシェーマの選択を行う。なお、これらのシェーマ選択に係る情報は予め設定され、記憶部１３０に格納される。

選択部１４３は、抽出部１４２によって抽出された患部の情報と、シェーマ選択に係る情報と、患者が受診している診療科及び医師の専門に関する情報などに基づいて、カルテに記載されるシェーマとして最適なシェーマを選択する。ここで、選択部１４３は、まず、患部が含まれる部位のシェーマを選択し、選択した部位に相当する複数のシェーマの中から患部の位置関係をより表現できるシェーマを選択する。

例えば、図８の（Ｂ）に示すように、抽出部１４２が頭部にある患部を抽出すると、選択部１４３は、頭部を示す複数のシェーマを選択する（例えば、図２Ｂ参照）。そして、選択部１４３は、頭部「２ａ」の座標に対する左手の関節「２ｌ」の座標の位置関係から患部が頭部の前面であると判定して、頭部を示す複数のシェーマの中から頭部前面のシェーマを選択する。

同様に、選択部１４３は、図８の（Ｃ）に示すように、抽出部１４２によって抽出された患部に対応するシェーマを、シェーマ選択に係る情報と、患者が受診している診療科及び医師の専門に関する情報などに基づいて選択する。

図６に戻って、マーク付与部１４４は、選択部１４３によって選択されたシェーマにおいて患部に相当する位置に患部位置を示す情報を付与する。図９は、第１の実施形態に係るマーク付与部１４４による処理の一例を示す図である。図９においては、図８において選択されたシェーマに対してそれぞれ患部位置を示す情報（マーク）を付与する場合について示す。

例えば、マーク付与部１４４は、図９の（Ａ）に示すように、選択部１４３によって選択された全身前面のシェーマの右肘部分にマークＭ１を付与する。ここで、マーク付与部１４４は、抽出部１４２によって算出された骨の上における割合の情報を用いてシェーマ上にマークを付与する。同様に、マーク付与部１４４は、図９の（Ｂ）及び（Ｃ）に示すように、抽出部１４２によって算出された骨の上における割合の情報を用いて、各シェーマ上にマークＭ２及びマークＭ３を付与する。

以上、抽出部１４２によって患部が所定の位置として抽出された場合のシェーマの選択及びマークの付与について説明した。次に、図１０を用いて、患部が領域として抽出された場合について説明する。図１０は、第１の実施形態に係るシェーマの選択及びマーク付与の一例を示す図である。図１０においては、図７の（Ｃ）において抽出した患部に対するシェーマの選択とマークの付与に付いて示す。

かかる場合には、選択部１４３は、図１０に示すように、患部の領域（両端矢印で示す領域）の情報と、シェーマの選択に係る情報と、診療科の情報及び医師の専門の情報とから全身前面のシェーマを選択する。ここで、選択部１４３によるシェーマの選択は、上述した処理と同様である。

そして、マーク付与部１４４は、図１０に示すように、選択部１４３によって選択されたシェーマ上の左腕の領域に患部を示すマークＭ４を付与する。ここで、マーク付与部１４４は、抽出部１４２によって抽出された患部の領域の情報（両端矢印で示す領域の座標情報）などに基づいて、シェーマ上のマークを付与する領域を決定して、決定した領域にマークを付与する。

図６に戻って、表示制御部１４５は、選択部１４３によって選択された関連情報を出力部１１０にて表示させる。具体的には、表示制御部１４５は、選択部１４３によって選択されたシェーマ上にマーク付与部１４４がマークを付与したシェーマを出力部１１０にて表示させる。

ここで、表示制御部１４５は、患部を抽出された患者の電子カルテに含まれる過去のシェーマから、マーク付与部１４４によってマークが付与された位置が患部と略一致するシェーマを抽出し、抽出したシェーマを出力部１１０にて表示する。図１１は、第１の実施形態に係る表示制御部１４５による表示制御の一例を説明するための図である。

例えば、表示制御部１４５は、図１１に示すように、今回選択したシェーマと比較して、今回付与されたマークの位置と近い位置にマークが付与されたシェーマを患者の電子カルテのカルテ情報から読み出して、出力部１１０にて表示する。一例を挙げると、表示制御部１４５は、同一患者の電子カルテに記憶されているシェーマのカルテ情報を取得して、取得したシェーマにおいて、今回付与されたマークの位置と近い位置にマークが付与された前回選択したシェーマを出力部１１０にて表示する。

また、表示制御部１４５は、今回選択したシェーマと同一のシェーマのカルテ情報を読み出して、出力部１１０にて表示させることも可能である。また、表示制御部１４５は、今回付与されたマークの位置と近い位置にマークが付与されたシェーマや、今回選択したシェーマと同一のシェーマのカルテ情報が複数記憶されていた場合に、最近のシェーマを表示するように制御することも可能である。また、表示制御部１４５は、今回付与されたマークの位置と近い位置にマークが付与されたシェーマや、今回選択したシェーマと同一のシェーマのカルテ情報が複数記憶されていた場合に、すべてのシェーマを表示するように制御することも可能である。

図６に戻って、カルテ情報格納部１４６は、患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を関連情報に対応付けて記憶部に格納する。具体的には、カルテ情報格納部１４６は、患者が発した主訴の音声情報などをシェーマの情報に対応付けてカルテ情報記憶部１３３に格納する。

図１２は、第１の実施形態に係るカルテ情報格納部１４６による処理の一例を説明するための図である。図１２に示すように、患者が医師に対して「肘に違和感があって、曲げると痛む」という主訴をして、右肘を左手で指し示すと、まず、取得部１４１、抽出部１４２、選択部１４３及びマーク付与部１４４が上述した処理を行うことで、シェーマにマークを入力する。ここで、カルテ情報格納部１４６は、音声識別部１３によって生成された音声認識結果に含まれる主訴「肘に違和感があって、曲げると痛む」の音声データをカルテ情報に格納するとともに、マーク付与部１４４によって付与されたマークに音声データのリンクをつけたシェーマをカルテ情報記憶部１３３に格納する。

カルテ情報格納部１４６は、例えば、図１２に示すように、患者ＩＤに、音声ファイル、シェーマ及びマークＩＤを対応付けたカルテ情報をカルテ情報記憶部１３３に格納する。すなわち、カルテ情報格納部１４６は、カルテ情報「患者ＩＤ：１０００３３、音声ファイル：２０１２−０７−０２−０００５．ｍｐ３、シェーマ：全身、マークＩＤ：００００００２１」をカルテ情報記憶部１３３に格納し、その際にマークＩＤに音声リンクを付与する。

上述したように、第１の実施形態に係る医師端末１００は、患者が診察を受けた際の動作情報から患部を抽出して、抽出した患部に最適なシェーマを選択して、マーク付与することができる。従って、従来、医師が自分で選択し、マークを付与していた作業を省略することができ、第１の実施形態に係る医師端末１００は、電子カルテの情報入力を容易にすることを可能にする。

次に、図１３を用いて、第１の実施形態に係る医師端末１００の処理について説明する。図１３は、第１の実施形態に係る医師端末１００による処理の手順を示すフローチャートである。なお、図１３においては、過去のシェーマを表示する場合の処理について示すが、過去のシェーマを表示しない場合であってもよい。

図１３に示すように、第１の実施形態に係る医師端末１００においては、音声保存モードがＯＮである場合には（ステップＳ１０１肯定）、動作情報収集部１０が患者の主訴の音声を取得する（ステップＳ１０２）。なお、音声保存モードがＯＦＦである場合には（ステップＳ１０１否定）、ステップＳ１０２は実行せずにステップＳ１０３に進む。

ステップＳ１０３においては、対象者（患者）に関する情報を取得して（ステップＳ１０３）、動作情報収集部１０によって収集される患者の動作情報から、抽出部１４２が患部を抽出する（ステップＳ１０４）。そして、選択部１４３が、抽出部１４２によって抽出された患部に対応するシェーマを選択して（ステップＳ１０５）、マーク付与部１４４が、通常のマーク又は主訴の音声がリンクされたマークをシェーマに付与する（ステップＳ１０６）。

その後、表示制御部１４５が、シェーマを表示し（ステップＳ１０７）、さらに、過去のシェーマを表示して（ステップＳ１０８）、保存操作を受け付けたか否かの判定を行う（ステップＳ１０９）。ここで、入力部１２０が操作者（医師）から保存操作を受け付けた場合には（ステップＳ１０９肯定）、カルテ情報格納部１４６が、音声保存モードであるか否かを判定する（ステップＳ１１０）。

ここで、音声保存モードではない場合には（ステップＳ１１０否定）、カルテ情報格納部１４６が、カルテ情報をカルテ情報記憶部１３３に格納して（ステップＳ１１１）、処理を終了する。一方、音声保存モードである場合には（ステップＳ１１０肯定）、カルテ情報格納部１４６が、音声データを対応付けたカルテ情報をカルテ情報記憶部１３３に格納して（ステップＳ１１２）、処理を終了する。なお、医師端末１００は、保存操作を受付けるまで、シェーマの表示を継続する（ステップＳ１０９否定）。

上述したように、第１の実施形態によれば、取得部１４１が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部１４２が、取得部１４１によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部１４３が、抽出部１４２によって抽出された患部に関連するシェーマを選択する。そして、表示制御部１４５が、選択部１４３によって選択されたシェーマを出力部１１０にて表示させるように制御する。従って、第１の実施形態に係る医師端末１００は、電子カルテのカルテ情報に係る選択作業を省略することができ、電子カルテの情報入力を容易にすることを可能にする。

また、第１の実施形態によれば、抽出部１４２は、患者の骨格情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる２つの関節をつないだ骨までの距離が所定の閾値以下であり、かつ、最短となる骨の上の位置に相当する部位を患部として抽出する。従って、第１の実施形態に係る医師端末１００は、患者の診療時にとる動作に基づいて、患部を抽出することができ、正確なカルテ情報の選択処理を可能にする。

また、第１の実施形態によれば、抽出部１４２は、患者の骨格情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部として抽出する。従って、第１の実施形態に係る医師端末１００は、患部が広範囲にわたっている場合にも対応することを可能にする。

また、第１の実施形態によれば、選択部１４３は、関連情報として、人体構造と抽出部１４２によって抽出された患部との位置関係を示すためのシェーマを選択する。従って、第１の実施形態に係る医師端末１００は、電子カルテの情報入力において、煩雑になりやすい選択作業を省略することができ、情報入力をより容易にすることを可能にする。

また、第１の実施形態によれば、マーク付与部１４４は、選択部１４３によって選択されたシェーマにおいて患部に相当する位置に患部位置を示す情報を付与する。そして、表示制御部１４５は、マーク付与部１４４によって患部位置を示す情報が付与されたシェーマを出力部１１０にて表示させるように制御する。従って、第１の実施形態に係る医師端末１００は、シェーマ上にマークを付与する作業も省略することができ、電子カルテの情報入力をさらに容易にすることを可能にする。

また、第１の実施形態によれば、表示制御部１４５は、患部を抽出された患者の電子カルテに含まれる過去のシェーマから、マーク付与部１４４によって患部位置の情報が付与された位置が抽出された患部と略一致するシェーマを抽出し、抽出したシェーマを出力部１１０にて表示させるように制御する。従って、第１の実施形態に係る医師端末１００は、今回の診療と比較することが求められる過去の診療データを自動で読み出すことを可能にする。

また、第１の実施形態によれば、カルテ情報格納部１４６は、患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を関連情報に対応付けてカルテ情報記憶部１３３に格納する。従って、第１の実施形態に係る医師端末１００は、診療時に患者が発した情報を音声や映像で保存することを可能にする。

（第２の実施形態）
上述した第１の実施形態では、関連情報としてシェーマを選択する場合について説明した。第２の実施形態では、電子カルテにおいて患部に対応する入力項目を選択して表示する場合について説明する。第２の実施形態では、第１の実施形態と比較して、選択部１４３による選択処理、及び、表示制御部１４５による表示制御の内容が異なる。以下、これらを中心に説明する。

第２の実施形態に係る選択部１４３は、関連情報として、抽出部１４２によって抽出された患部に関連する電子カルテの項目を選択する。図１４は、第２の実施形態に係る選択部１４３による処理の一例を説明するための図である。例えば、選択部１４３は、図１４に示すように、患者に対する医師の診察内容（胸に聴診器をあてる行為）から、電子カルテの所見の欄に「聴診結果」の見出しを表示させるように選択する。

また、選択部１４３は、図１４に示すように、患者に対する医師の診察内容（胸に聴診器をあてる行為）から、聴診結果を入力するための聴診結果入力画面を表示させるように選択する。表示制御部１４５は、選択部１４３によって選択された電子カルテの項目を出力部１１０にて表示するよう制御する。

ここで、図１４に示すように、患者に対する医師の行為を抽出する場合には、医師端末１００は、各フレームにおいて、患者の動作情報と、医師の動作情報とをそれぞれ取得する。すなわち、取得部１４１は、動作情報収集部１０によって収集されたフレームごとの患者の骨格情報と、医師の骨格情報とを取得する。そして、抽出部１４２は、取得部１４１によって取得された患者の骨格情報（各関節の座標情報）及び医師の骨格情報（各関節の座標情報）から、患者に対する医師の行為（診察内容）を抽出する。

例えば、抽出部１４２は、患者の各関節の座標に対する医師の手の関節の座標の位置関係から患者に対する医師の行為（診察内容）を抽出する。なお、医師の行為（診察内容）を抽出するための情報は、予め設定され記憶部１３０に格納される。一例を挙げると、記憶部１３０は、医師の手の関節が、患者の胸の周囲で一時的な停止を伴って移動していた場合に、胸に聴診器をあてているとする情報を記憶する。

また、聴診器をパターンマッチングにより検出することにより、医師が聴診をしていると抽出する場合であってもよい。なお、動作情報における患者と医師との識別は、どのような手法を用いる場合であってもよい。例えば、患者が座る位置と医師が座る位置とを予め座標上で設定しておき、その座標上で取得される骨格情報をそれぞれ患者の骨格情報及び医師の骨格情報として識別する場合であってもよい。

上述したように、第２の実施形態によれば、選択部１４３は、関連情報として、抽出部１４２によって抽出された患部に関連する電子カルテの項目を選択する。従って、第２の実施形態に係る医師端末１００は、電子カルテ作成に係る種々の項目の医師による選択を省略することができ、電子カルテの情報入力を容易にすることを可能にする。

（第３の実施形態）
さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１の実施形態においては、患者の主訴を含む音声情報をカルテ情報として格納する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画像をカルテ情報に対応付けて格納する場合であってもよい。例えば、カルテ情報格納部１４６は、動作情報収集部１０のカラー画像収集部１１によって収集されたカラー画像において、患者が患部を触っている画像を静止画又は動画で保存する。

上述した第１〜第３の実施形態においては、動作情報収集部１０が一定の収集条件で動作情報を収集する場合について説明した。しかしながら、実施形態はこれに限定されるものでなはなく、例えば、抽出部１４２によって抽出された患部の情報に応じて、収集条件を変更させる場合であってもよい。

図１５は、第３の実施形態に係る医師端末１００による動作情報の収集条件の変更処理を説明するための図である。例えば、図１５に示すように、抽出部１４２が、患者の右腕を患部として抽出した場合に、医師端末１００は、動作情報収集部１０に対してカメラの方向やズームを変更するように制御する。例えば、医師端末１００は、図１５に示すように、右腕の患部が画面の中央に位置するようにカメラの方向を変更させ、さらに、患部が適当な大きさで写るように拡大して撮影するように制御する。

また、医師端末１００は、図１５に示すように、撮影されたカラー画像において、患部として抽出された画像領域を切り出して、保存するように制御することも可能である。その他、医師端末１００は、抽出した患部の情報に基づいて、例えば、カラー画像に含まれる患部の面積や色を測定して、過去に測定した結果と比較することも可能である。また、医師端末１００は、患部の過去画像が保存されていた場合に、過去に撮影した際の拡大率と同一の拡大率で撮影現在の患部を撮影して、並列表示するように制御することも可能である。

上述した第１の実施形態では、医師端末１００が、患部を抽出して、患部に関連する関連情報（例えば、シェーマや、電子カルテの項目など）を選択して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサーバ装置３００によって実行される場合であってもよい。

すなわち、サーバ装置３００は、医師端末１００と同様の処理を医師端末１００に提供する。かかる場合には、サーバ装置３００は、取得部１４１と、抽出部１４２と、選択部１４３と、表示制御部１４５とを有する。取得部１４１が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部１４２が、取得部１４１によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部１４３が、抽出部１４２によって抽出された患部に関連するシェーマを選択する。そして、表示制御部１４５が、選択部１４３によって選択されたシェーマを医師端末１００の出力部１１０にて表示させるように制御する。

上述した第１の実施形態では、医師端末１００が、患部を抽出して、患部に関連する関連情報（例えば、シェーマや、電子カルテの項目など）を選択して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、超音波診断装置や、Ｘ線診断装置などの医用画像診断装置が各処理を実行する場合であってもよい。

例えば、超音波診断装置において処理が実行される場合には、超音波診断装置は、まず、患者の座標情報に対する超音波プローブを操作する医師の手の関節の座標情報を取得する。そして、超音波診断装置は、取得した座標情報から超音波プローブが当てられている患部を抽出して、抽出した患部に対応するボディマークをモニタなどの出力部に表示するように制御する。このとき、超音波診断装置は、超音波画像とともにボディマークを表示するように制御することも可能である。

また、第１の実施形態から第２の実施形態において説明した取得部１４１、抽出部１４２、選択部１４３及び表示制御部１４５の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４１、抽出部１４２、選択部１４３及び表示制御部１４５の機能は、上記の実施形態において取得部１４１、抽出部１４２、選択部１４３及び表示制御部１４５が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

以上説明したとおり、第１〜第３の実施形態によれば、本実施形態の医用情報処理システム、医用情報処理装置及び医用画像診断装置は、電子カルテの情報入力を容易にすることを可能にする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 動作情報収集部
１００ 医師端末
１４０ 制御部
１４１ 取得部
１４２ 抽出部
１４３ 選択部
１４４ マーク付与部
１４５ 表示制御部
１４６ カルテ情報格納部

Claims (11)

1. 動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
   前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
   前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
   前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
   を備えたことを特徴とする医用情報処理システム。
2. 前記抽出手段は、前記対象者の動作情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる２つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を前記患部として抽出することを特徴とする請求項１に記載の医用情報処理システム。
3. 前記抽出手段は、前記対象者の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を前記患部として抽出することを特徴とする請求項１又は２に記載の医用情報処理システム。
4. 前記選択手段は、前記関連情報として、人体構造と前記抽出手段によって抽出された患部との位置関係を示すための模式図を選択することを特徴とする請求項１〜３のいずれか一つに記載の医用情報処理システム。
5. 前記選択手段によって選択された模式図において前記患部に相当する位置に患部位置を示す情報を付与する付与手段をさらに備え、
   前記表示制御手段は、前記付与手段によって前記患部位置を示す情報が付与された模式図を前記表示部にて表示させるように制御することを特徴とする請求項４に記載の医用情報処理システム。
6. 前記表示制御手段は、前記患部を抽出された患者の電子カルテに含まれる過去の模式図から、前記付与手段によって前記患部位置の情報が付与された位置が前記抽出された患部と略一致する模式図を抽出し、抽出した模式図を前記表示部にて表示することを特徴とする請求項５に記載の医用情報処理システム。
7. 前記患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を前記関連情報に対応付けて記憶部に格納する格納手段をさらに備えることを特徴とする請求項１〜６のいずれか一つに記載の医用情報処理システム。
8. 前記取得手段は、前記抽出手段によって抽出された患部の位置に応じて、前記対象者の動作情報を取得するためのカメラの向き及び拡大率のうち、少なくとも一方を変更するように制御することを特徴とする請求項１〜７のいずれか一つに記載の医用情報処理システム。
9. 前記選択手段は、前記関連情報として、前記抽出手段によって抽出された患部に関連する電子カルテの項目を選択することを特徴とする請求項１〜８のいずれか一つに記載の医用情報処理システム。
10. 動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
    前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
    前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
    前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
    を備えたことを特徴とする医用情報処理装置。
11. 医用画像を生成する医用画像生成手段と、
    動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
    前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
    前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
    前記医用画像生成手段によって生成された医用画像及び前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
    を備えたことを特徴とする医用画像診断装置。

Images