JP2017136248A - 聴診システム - Google Patents

Abstract

【課題】出来るだけ安価で聴診スキルを取得できるような聴診システムを提供する。【解決手段】聴診システム１０は、聴診される人物に向けて配置されるカメラ１１と、カメラ１１により作成された人物の像に関する画像データから当該人物の骨格フレームを推定し、当該聴診器２が当てられるべき位置を推定する処理部１２と、を備える。聴診器２の位置を、別途、認識又は追跡し、聴診器２が当てられるべき位置と聴診器の位置とを比較し、当該人物に聴診器が当たっているか否かを判断する。【選択図】図１

Description

本発明は、例えば聴診のトレーニングの際に利用される聴診システムに関する。

医師を目指す医学生、看護師を目指す看護学生などの実習生は、聴診のスキルを修得しなければならない。そのための技術として、マネキン、教育用聴診システムなどが開発されている（例えば特許文献１乃至５）。

特許文献１は聴診教育用装置を開示ており、その聴診教育用装置では、人体の上半身を模して形成された人体モデルと、人体モデルに対して模擬的に聴診動作を行うための模擬聴診器と、模擬聴診器による聴診動作を検知する聴診検知センサと、模擬聴診器及び聴診検知センサとそれぞれ接続された制御部とを備えており、制御部が聴診動作を検知した聴診検知センサから送出される検知シグナルを受け付け、模擬聴診器の耳管部に設けられた生体音再生部から、検知シグナルに対応する聴診位置の心音及び呼吸音などの生体音を再生させている。

特許文献２では、ウェットスーツタイプの装着具本体３の全面に面接触型圧力センサを埋設しておき、各面接触型圧力センサが接触位置及び接触圧力を検出することで、センサ信号を出力し、聴診動作を認識及び把握を可能にしている。

特許文献３は聴診訓練装置を開示しており、その聴診訓練装置では、マネキンに対して聴診装置の位置を検出するための手段を含む医療用訓練マネキンと、相対的な位置を検出するための手段と電子的な通信状態にある制御器と、制御器と電子的な通信状態にある聴診訓練音データベースと、そのデータベースから伝えられる音ファイルを音波信号に変換する音発生装置と、その音発生装置からの音波信号を人間の耳に送信するように適合された耳ピースを有する聴診装置と、を備えている。医療用訓練マネキンにおいて聴診装置の位置を検出するための手段としては、マネキンに近接した聴診装置の相対的な位置を求めるように適合された近接スイッチを少なくとも一つ配列した形態、聴診装置に配列された少なくとも一つの送信器ビーコンとマネキン上に配置された少なくとも二つ以上の受信器を含む三角測量システムを用いる形態が開示されている。

特許文献４は聴覚トレーニングシステムを開示しており、そのシステムでは、実習生が模擬的に聴診動作を行うために使用する模擬聴診器と、模擬聴診器の採音部の位置を検出する位置検知手段と、模擬患者に対して呼吸タイミングを提示する呼吸タイミング提示手段と、生体音データベースを内蔵し、模擬聴診器の位置に応じて適切な生体音を生成する制御手段と、制御手段で生成した生体音を無線通信により送信する送信部を備えて構成されている。ここで、採音部は、機械的スイッチを配した当接検知手段と、採音部の上面である聴診面の裏面に取着され採音部が体表に当接した時に赤外線光を発する位置表示手段と有して構成する。一方、位置検知手段は、位置表示手段の位置を検知するために、赤外線記録が可能な二次元ＣＣＤカメラが利用される。このような構成により、当接検知手段は、採音部の模擬患者体表に対する当接状態を検知し、採音部が模擬患者の体表へ当接している状態でのみ発光するので、位置検知手段がその発光を検知する。

特許文献５では、医学的容態をシミュレートして医学トレーニングを容易に実現するシステムについて開示されており、そのシステムでは、移動式であるように形成されたローミングデバイスと、ローミングデバイスの位置情報を決定するように構成されたポジショニングデバイスと、位置情報を受け取り位置情報の領域の既定セットと比較しかつ位置情報が領域の既定セットと一致する場合に医学的様態を示す情報を送信するように構成されたコンピューティングデバイスを備えている。ローミングデバイスの位置はポジショニングデバイスにより決定され、そのために磁気追跡システム、光学的追跡システム、センサデバイスの何れかが使用される。

特開２００５−０７７５２１号公報（フロント頁） 特開２００５−２２７５３４号公報（フロント頁） 特表２０１１-５０２６４０号公報（請求項１、請求項６、請求項７） 特開２０１２‐２４７５１３号公報（段落００３０） 特表２００８-５１８２７７号公報（段落０００９、段落００１０、００３３、００３４）

特許文献１乃至４のように、聴診スキルを修得するために利用されるマネキンや疑似聴診器はセンサを装着しており、実習生がそのセンサに接触して、その場所を特定しているので、正確な接触位置を求めることができる。しかしながら、そのようなマネキンや疑似聴診器の類は高価であるのみならず、体型の違いによる聴診器を当てる位置の変更に対応できない。特許文献５では、ローミングデバイスの位置を三次元的に取得し、デバイスと被験者の接触を位置情報から判定するように設計されているが、接触の判定を位置情報から判定することが極めて精度が求められ誤判定が多発するという課題があると、特許文献４では述べている。また、特許文献１乃至５のいずれも、呼吸に伴う体動の変化に応じて呼気音と排気音を発生することは出来ない。

そこで、本発明は、出来るだけ安価で聴診スキルを取得できるような聴診システムを提供することを目的とする。

本発明のコンセプトは以下のとおりである。
［１］ 聴診器を用いて聴診される人物に向けて配置されるカメラと、
前記カメラにより作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、当該聴診器が当てられるべき位置を推定する処理部と、
を備える、聴診システム。
［２］ 前記処理部は、前記聴診器を追跡し、前記カメラの位置を原点として、前記骨格フレームのうちの両肩及び両腰の座標データと前記聴診器の座標データとを求め、前記聴診器が両肩及び両腰の位置から一定の範囲内にあるか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］に記載の聴診システム。
［３］ 前記処理部は、前記聴診器を追跡し、前記骨格フレームのうちの両肩及び両腰の前記カメラの位置からの距離データと前記聴診器の前記カメラの位置からの距離データとの差が一定の範囲内に入っているか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］又は［２］に記載の聴診システム。
［４］ 前記処理部は、前記聴診器を追跡し、前記聴診器周りの一又は複数のポイントの前記カメラからの距離データと前記聴診器の前記カメラからの距離データとを求め、その求めた距離データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］乃至［３］の何れかに記載の聴診システム。
［５］ 前記処理部は、前記聴診器を追跡し、前記カメラを原点として、前記聴診器周りの一又は複数のポイントの座標データと前記聴診器の座標データとを求め、その求めた座標データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、前記［１］乃至［４］の何れかに記載の聴診システム。
［６］ 前記処理部は、前記聴診器が身体の表面に当てられた時間を測定する、前記［１］乃至［５］の何れかに記載の聴診システム。
［７］ 前記処理部は、前記骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の前記計測ポイントの前記カメラを原点とする座標データ、若しくは各々の前記計測ポイントの前記カメラからの距離データの時間経過に伴う変化、前記骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化又は前記変化の組合せに基づき、空気を吸っているか又は空気を吐いているかを判断する、前記［１］乃至［６］の何れかに記載の聴診システム。
［８］ 前記処理部は、吸気と呼気の繰り返しを１サイクル以上にわたって前記聴診器が身体に当てられたか否か判断する、前記［７］に記載の聴診システム。
［９］ 呼吸音、心音、腹部音の少なくとも何れかの音を記憶した記憶部をさらに備え、
前記処理部は、骨格フレームに対する聴診器の位置に応じて前記記憶部中の音を選択して出力する、前記［１］乃至［８］の何れかに記載の聴診システム。
［１０］ 前記処理部は、前記記憶部に記憶した呼吸音から、空気を吸っている期間は吸気音を、空気を吐いている期間は呼気音を再生する、前記［９］に記載の聴診システム。
［１１］ 前記カメラが作成した画像データと前記記憶部から選択した音とを関連付けて、聴診の状況を記憶するトレーニー状況記憶部を、さらに備える、前記［９］又は［１０］に記載の聴診システム。
［１２］ 前記処理部は、前記カメラが撮影した人物の像の上に聴診する位置を表示する、前記［１］乃至［１１］の何れかに記載の聴診システム。
［１３］ 前記処理部は、前記聴診器が当てられるべき位置を、前記カメラの位置を原点とする骨格フレームのうちの両肩及び両腰の座標データから決定する、前記［１］乃至［１２］の何れかに記載の聴診システム。
［１４］ 基準となる人物の両肩の位置データと両腰の位置データと当該人物に対する聴診位置に関するデータとを、聴診の順番の情報を特定して格納する参照データ部を備えた、前記［１］乃至［１３］の何れかに記載の聴診システム。
［１５］ 前記処理部は、骨格フレームに対して聴診器の位置が一定時間上下左右に変化しないと判断すると、前記参照データ部と照合し、聴診の位置及び順番が正しいか否かを判断する、前記［１４］に記載の聴診システム。
［１６］ 前記処理部は、前記参照データ部に格納された両肩の位置データ及び両腰の位置データと、人物の両肩の位置データ及び両腰の位置データとを比較して、前記参照データ部に格納された聴診位置に関するデータを校正する、前記［１４］又は［１５］に記載の聴診システム。
［１７］ 前記処理部は、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する、前記[１]乃至［１６］の何れかに記載の聴診システム。

本発明によれば、処理部が、カメラにより作成された人物を含む像に関する画像データに基いて、当該人物の任意の部位、例えば肩、腰などを推定し、聴診器が当てられるべき位置を推定する。よって、聴診器の位置を、別途、認識又は追跡し、聴診器が当てられるべき位置と聴診器の位置とを比較し、当該人物に聴診器が適切な位置に当たっているか否かを判断することができる。従って、専用のマネキンを使用しないで、例えば学生同士、先輩後輩同士で訓練をすることができ、出来るだけ安価で聴診スキルを修得可能な聴診システムを提供することができる。

本発明の実施形態に係る聴診システムの構成図である。 図１に示す聴診システムの具体的な構成を示す図である。 骨格フレームについて説明するための図である。 図１に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、カメラ側からみた図である。 図１に示す聴診システムを用いて、聴診器が疑似患者の体表に当たっているか否かを判断する方法を説明するための図であり、疑似患者の側面側からみた図である。 図１に示す聴診システムを用いて、疑似患者の呼吸に合わせて聴診トレーニングをサポートする方法を説明するための図である。 聴診のトレーニング状況を説明するための説明図である。

以下、本発明を実施するための形態について詳細に説明するが、本発明の実施形態に係る聴診システムは、図面を参照して説明するものに限られることなく、ＩＣＴ（Information Communication Technology）に関する技術進歩や、適用される社会や制度に応じて適宜変更されるものも含まれる。

（聴診システムの構成）
図１は本発明の実施形態に係る聴診システムの構成図である。聴診システム１０は、カメラ１１と、処理部１２と、記憶部１３とを含んで構成される。

図２は、図１に示す聴診システムの具体的な構成を示す図である。カメラ１１は、疑似患者１に対して向けられて配置される。カメラ１１は、一つでも複数設けても構わない。

カメラ１１は、カメラセンサとも呼ばれ、位置距離センサ１４とカラーセンサ１８を備えている。カラーセンサ１８は、例えばＲＧＢカラーカメラであり、通常のビデオカメラに相当し、動画像信号を画像データとして出力する。位置距離センサ１４は、３Ｄ深度カメラなどの位置計測センサに相当し、画像データの指定したポイントに対する位置距離センサ１４からの位置情報を出力する。位置距離センサ１４は、対象に光を照射する照射部１５と、対象からの反射光を受ける受光部１６と、照射部１５及び受光部１６に接続され、照射、受光及び外部へのデータ出力に関する制御を行う制御部１７と、を含んで構成される。照射部１５は、赤外線レーザから発振した光を単一の照射パターンに変換し、対象物に照射する。照射パターンとしては、ランダムなドットが散りばめられた四角形などのパターンなどがある。照射パターンは対象物体に当たると歪んで、照射部からの距離が長くなると歪みが大きく広がる。受光部１６は、照射部１５から異なる距離の複数の照射パターンを複眼で検出する。検出した信号が制御部１７に入力されて統計処理されることにより、対象物との距離、つまり深度を検出することができる。

位置距離センサ１４は、受光部１６におけるビデオの画像領域を例えば６４０ドット×４８０ドットに分解し、ドット毎に深度カメラからそのドットに対応した画像までの距離を出力する。ビデオカメラにおける画素としてのドットと位置計測センサのドットの位置関係を対応付けることによって、疑似患者１の各部位と聴診器２に対し、それぞれの位置と深度カメラからの距離とが求まる。

本発明の実施形態において、位置計測の手法はこれらに限定されることなく、次のような手法でもよい。すなわち、赤外線を発射し、戻ってくるまでの遅延時間から位置計測センサと任意の部位との間の距離や位置計測センサを起点とする指定位置の座標を求める方法であってもよい。

処理部１２は、カメラ１１により作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、聴診器２が当てられるべき位置を推定する。聴診器２が当てられるべき位置、すなわち聴診されるべき位置として、一又は複数の位置を推定する。カメラ１１により作成された像は、距離データを含む画像データであることから、カメラ１１の基準位置（原点）に対する疑似患者１の位置座標データと、基準位置からの距離データを有する。

ここで、画像データからどのように聴診器２が当てられるべき位置を推定するかについて、詳細に説明する。処理部１２は、図３に示すような骨格フレームに関するデータを有している。図３は、骨格フレームについて説明するための図である。聴診は、主に人物の胸に聴診器を当てることでなされることから、骨格フレームは両肩、両腰を含むように構成される。骨格フレームの各部については、個人差があることから、少なくとも両肩と両腰の位置を特定し、両肩同士の距離、両腰同士の距離、肩と腰と距離を規定することで、当該疑似患者の骨格フレームを定めることができる。このように、個人差を吸収して正規化することができる。そのため、処理部１２は、個人毎に、骨格フレームをデータとして保有する必要がなく、汎用性に富む。

聴診器２が当てられるべき位置を推定する手法としては次のようにしてもよい。処理部１２は、先ず、カメラ１１からの画像データから疑似患者の体形のアウトラインを求め、関節の位置を統計的に特定する。関節の位置を統計的に特定するために、多数の人物の各姿勢パターンについての実写及び／又はコンピュータグラフィックス（ＣＧ）のデータから、距離画像群を入力して学習したRandom Decision Forestsを用い、入力される画像データの各フレームにおいて、各画素がどのパーツに属するかを識別する。その結果、パーツのうち関節のパーツに属する画素を抽出し、関節の位置を特定する。これにより、聴診器２を当てるべき位置を骨格フレーム上で推定することができる。このように推定した位置であって、聴診器２が当てられるべき位置は、カメラ１１の位置を原点とし、骨格フレームのうち両肩及び両腰の座標データから定める。

聴診の実習生は聴診器を疑似患者１の胸部などの各部位に当てる。処理部１２は、疑似患者１と聴診器２を含む像に関する画像データから、聴診器２の位置を推定する。聴診器２の輪郭に対応した形状を含む画素群や聴診器２の色に対応した色を含む画素群を判定し、色や形状の追跡により、聴診器２の位置を推定する。当該位置は、カメラ１１の位置を原点とした座標データ、その原点からの距離として求めることができる。聴診器２の位置推定には、聴診器２に付されている色に基いて色追跡の手法により、特定することができる。カラーセンサ１８による像による画素で聴診器２の色や輪郭を特定しておき、聴診器２の色に適合するピクセルを選択する等の手法を用いればよい。

このようにして、カメラ１１で作成された画像データから骨格フレームを特定し、聴診器２が当てられるべき位置を推定し、その位置の座標データ、カメラ１１からの距離データが求められる。また、カメラ１１で作成された画像データから聴診器２を推定し、その位置の座標データ、カメラ１１からの距離データがそれぞれ求められる。処理部１２は所定の時間間隔で推定を繰り返し行い、聴診器２を追跡し、認識する。

その後、処理部１２は、骨格フレームと聴診器２の相対的な位置及び相対的な距離を求める。これにより、処理部１２は、聴診器２が一定の範囲にあるか否かを判定することができる。その一定の範囲は、聴診器２が疑似患者１に接している状態において、疑似患者１又は骨格フレームと聴診器２との相対的な位置及び距離を求め、それらの値に基いて定めておけばよい。

なお、処理部１２は、聴診器２を追跡し、骨格フレームのうち、例えば両肩及び両腰の座標データと、聴診器２の座標データとを求め、聴診器が両肩及び両腰の位置から一定範囲にあるか否かにより聴診器２が身体の表面に当てられたか否かを判断してもよい。

処理部１２は、骨格フレームと聴診器２との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器２の位置データと距離データを用いても良い。聴診器２の原点からの距離データが両肩及び両腰の原点からの距離データに対して一定の範囲（以下、「判定基準範囲」と呼ぶ。）内に入っていれば、聴診器２が身体の表面に当てられたか否か、おおよそ判断できる。ここで、判定基準範囲は多くの疑似患者に対する実験データを基に決定される。

このように、処理部１２は、聴診器２を追跡し、カメラ１１の位置を原点として、骨格フレームのうちの両肩及び両腰の座標データと聴診器２の座標データとを求め、聴診器２が両肩及び両腰の位置から一定の範囲内にあるか否かにより聴診器２が身体の表面に当てられたか否かを判断する。または、処理部１２は、聴診器２を追跡し、骨格フレームのうちの両肩及び両腰のカメラ１１の位置からの距離データと聴診器２のカメラ１１の位置からの距離データとの差が一定の範囲内に入っているか否かにより、聴診器２が身体の表面に当てられたか否かを判断する。

これらの方法では、両肩及び両腰の深度に対して聴診ポイントや深度は人によって異なることから、聴診器２が当たったことの判定が甘くなる。更に聴診器２が身体に当たったことをより厳密に判定する方法として、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器２の原点からの距離データに加えて、図４及び図５に示すように、聴診器２が存在している周りに、骨格フレーム上の点を含め、測定ポイントＰ_{ｍｅａｓｕｒｅ}を設定する。聴診器２と測定ポイントの原点からの各距離データを比較する。聴診器２の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内にあり、図４及び図５における各測定ポイントＰ_{ｍｅａｓｕｒｅ}の原点からの距離データＬ１から聴診器２の距離データＬ２を減算した値が、一定の範囲、つまり聴診器２の厚みと許容値との合計の範囲内にあれば、身体に当たっていると判断する。この方法では、聴診器２の厚みに加えたマージンが判定誤差になるだけであることから、より厳密に聴診器が身体に当たっているか否かを判断することができる。

このように、処理部１２は、聴診器２を追跡し、聴診器２の周りの一又は複数のポイントのカメラ１１からの距離データと、聴診器２のカメラ１１からの距離データとを求め、その求めた距離データを比較することにより、聴診器２が身体の表面に当てられたか否かを判定する。

以上の説明では、距離データを比較したが、カメラ１１を原点として設定した座標で、疑似患者側にＺ座標の正の方向を向けて三次元座標を設定し、そのＺ座標同士を比較しても良い。具体的に説明すると、先ず、聴診器２が存在している周りに、骨格フレーム上の点を含め、測定ポイントＰ_{ｍｅａｓｕｒｅ}を設定する。そして、測定ポイントＰ_{ｍｅａｓｕｒｅ}の座標データと聴診器２の座標データを求める。次に、聴診器２周りのそれらのポイントの座標データと聴診器２の座標データとを比べる。その座標データのうち特にＺ座標同士を比較し、ポイントのＺ座標と聴診器のＺ座標との差分が、聴診器の厚みとマージンとの和よりも小さければ、聴診器２が当たっていると判断する。座標データ同士を比較する際には、聴診器２周りのポイントのうち、手や腕で覆われたポイントの座標データを除いた測定ポイントの座標データと、聴診器２の座標データとを比べても良い。

このように、処理部１２は、聴診器２を追跡し、カメラ１１を原点として、聴診器２周りの一又は複数のポイントの座標データと、聴診器２の座標データとを求め、その求めた座標データを比較することにより、聴診器２が身体の表面に当てられたか否かを判断する。

聴診器２が身体の表面に当たっているか否かを判定する方法は、上述した一つに限らず、複数を兼用してもよい。また、この判定を非常に短い所定の間隔で繰り返すことにより、聴診器３が身体の表面に当たっている時点が分かるので、当たっている時点が連続している場合には、処理部１２は、聴診器２が身体の表面に当てられた時間を測定することができる。

このように、距離データを生成できるカメラ１１と処理部１２とを用いて、疑似患者１の骨格フレームを推定し、聴診器２と骨格フレームとの相対的な位置及び深さ（距離）を求めることで、どのような聴診器２であっても、疑似患者１に聴診器２を当てているか否かを求めることができ、汎用性の高い聴診システム１０を提供することができる。

処理部１２は、図５に示すように、両肩に加えて胸部及び腹部に一又は複数の計測ポイント（「測定ポイント」と呼んでもよい。）を設定し、それぞれについて位置データ及び距離データを測定し、両肩の上下方向への変化及び新たに設定した計測ポイントの距離データ（「深度データ」と呼んでもよい。）の変化から空気を吸っている状態（吸気）か吐いているか状態（呼気）を判定する。

具体的には、処理部１２は、骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の計測ポイントのカメラ１１を原点とする座標データの時間経過に伴う変化、各々の計測ポイントのカメラ１１からの距離データの時間経過に伴う変化、骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化、の何れか一つ以上を求める。空気を吸っている場合と、空気を吐いている場合には、体表のポイントの動きは逆になるので、これらの何れかの変化又はこれらの変化の組合せに基いて、吸気の状態か呼気の何れの状態であるかを判断することができる。

図７は、聴診のトレーニング状況を説明するための説明図である。図７に示すように、疑似患者１が着座していることで、処理部１２はカメラ１１からの画像データを処理することによって、左肩Ｌ１、右肩Ｒ１、左腰Ｌ２、右腰Ｒ２の位置を推定し、図３に示す骨格フレームを推定することができる。そして、図５に示すように、疑似患者１と聴診器２との位置関係を深さ方向に推定することができ、聴診器２が疑似患者１に当接しているか否かを判断することができる。

聴診器２が疑似患者１に当接しているか否かの判断は、次のようにしてもよい。骨格フレームと聴診器２との相対的な位置及び相対的な距離データを求める際に、例えば、骨格フレームのうち両肩及び両腰の位置座標データ及び距離データと聴診器２の位置データと距離データを用いても良い。聴診器２の原点からの距離データが、両肩及び両腰の原点からの距離データに対して、判定基準範囲内に入っていれば、聴診器２が身体の表面に当てられたか否か、おおよそ判断できる。

また、骨格フレームのうち両肩及び両腰の原点からの距離データと、聴診器２の原点からの距離データと、骨格フレームのち聴診器２が存在している周りに設定した測定ポイントの距離データと、を比較する。つまり、聴診器２と測定ポイントの各距離データを比較する。聴診器２の距離データが両肩及び両腰の距離データに対して、上述の判定基準範囲内であって、かつ図５に示す各測定ポイントの原点からの距離データから聴診器２の距離データを減算した値が、聴診器２の厚みと許容との合計の範囲内にあれば、身体に当たっていると判断する。

このような聴診システム１０は、更に、付加価値を持たせるために、次の手段を設けておいても良い。

処理部１２は、疑似患者１に聴診器２が当たっているか否かを判定する際、一定の時間聴診器２がその位置に留まっているか否かを判断するようにしてもよい。これは、聴診器２が疑似患者１に当たっている際には、疑似患者１の呼吸によって胸のふくらみが変化しても、聴診器２は上下左右に変化し難いからである。

聴診システム１０は、呼吸音、心音、腹部音の少なくとも何れか又は複数の音を記憶した記憶部１３を備える。記憶部１３は、聴診器２が骨格フレームに対してどの位置にあれば、聴診器２によって採音することができるのかについて関係付けて記憶しておく。これに対応し、処理部１２は、聴診器２が疑似患者１のどの部位に接触しているかに応じて、疑似音を出力することができる。

聴診システム１０では、処理部１２が、両肩、胸部及び腹部に、一又は複数の計測ポイントを設定しておき、各計測ポイントについての原点からの位置データ及び距離データを測定し、両肩の上下方向への変化および新たに設定した測定ポイントの距離データの変化から空気を吸っている状態（吸気）か吐いているか状態（呼気）を判定する。すると、処理部１２は、聴診システム１０の記憶部１３から選択した呼吸音を用いて、検出した吸気タイミングで吸気音を、呼気タイミングで呼気音を出力する。これにより、疑似患者１の呼吸の状態に応じて吸気音と排気音を再生でき、よりリアリティある実習が可能となる。その際、吸気と呼気の繰り返しを１サイクル以上にわたって聴診器２が身体に当てられたか否か判断すると好適である。

聴診システム１０は、実習生にトレーニング状況を知らせるために、スピーカー１９と、モニターなどの表示部２０とを備える。処理部１２は、カメラ１１のカラーセンサ１８からの画像データを表示部２０に出力表示する。処理部１２は、カメラ１１が撮影した人物の像の上に、聴診する位置を表示しながら、疑似患者１に対して聴診器２が当たっていて、採音されるべき音を記憶部１３から選択してスピーカー１９により音声出力することができる。これにより、よりリアルな聴診トレーニングを提供することができる。

聴診システム１０はトレーニー状況記憶部２１を備えており、トレーニー状況記憶部２１は、カメラ１１が作成した画像データと記憶部１３から選択した音とを関連付けて、聴診のトレーニング状況を記憶する。これにより、実習生がどの程度のトレーニングを行って、スキルを取得したかの履歴データを記録することができる。この記録は、他の実習生のトレーニングプログラムを立てる際にも役立てることができる。

聴診システム１０は参照データ部２２を備えており、参照データ部２２が、基準となる人物の両肩の位置データと、両腰の位置データと、当該人物に対する適切な聴診位置に関するデータと、聴診の順番に関する情報を格納している。よって、処理部１２は、骨格フレームに対して聴診器が一定時間上下左右に変化しないと判断すると、参照データ部２２のデータと照合し、聴診の位置及び順番が正しいか否かを判断する。判断結果は表示部２０に表示される。これにより、より適切なトレーニングをすることができる。

聴診システム１０において、処理部１２が、疑似患者の画像上に、参照データ部２２から基準となる人物の両肩及び両腰の位置データを取り出し、疑似患者の両肩及び両腰の位置データを比較することで、基準となる人物に対して設計した標準聴診ポイントの位置データを校正し、疑似患者の画像上に表示する。表示された各点に聴診器を当てることで、患者の体格に関係なく適切なポイントにおける疾患別の音を聞くことができる。

聴診システム１０は、処理部１２において、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する。このことについて、図１に示す聴診システム１０の使用方法を説明しながら説明する。

事前準備として、基準となる人物を男女別に選択し、それぞれについて、図７に示すように、両肩Ｌ１，Ｒ１の位置データと両腰Ｌ２，Ｒ２の位置データと適切な聴診ポイントの位置を参照データ部２２に記憶させる。また、記憶部１３に聴診ポイント別に疾患音を記憶させる。

（聴診システムを利用した学習その１：学習）
聴診システム１０を利用して、疾患別に各聴診ポイントの音を学習する態様について説明する。

先ず、実習生は、図示しない入力部から、ＩＤとパスワードを入力するなどして聴診システム１０にログインする（Ｓｔｅｐ１）。

次に、聴診システム１０において、図示しない入力部から、学習モードの選択をし、正常を含めた疾患の中から学習したい疾患を選択する（Ｓｔｅｐ２）。疑似患者１の横に配置された図示しないディスプレイ上に、処理部１２からの制御で表示された疑似患者上の聴診ポイントを１から順に聴診器２を当てていく（Ｓｔｅｐ３）。すると、処理部１２はカメラ１１からの画像データを処理し、聴診器２が疑似患者１の体表に当たっているか否かを判別し、当たっていると判断すると、処理部１２は記憶部１３に記録されている音を疾患別かつポイント別に再生する（Ｓｔｅｐ４）。

呼吸に関する疾患の場合、聴診システム１０は疑似患者１の吸気状態と呼気状態を判断し、各状態に対して吸気音又は呼気音を再生する。

次に、実習生は、学習したい別の疾患を選択し、Ｓｔｅｐ３以降を繰り返す。
実習生は、実習が終了すると、ログアウトする。

（聴診システムを利用した学習その２：テスト）
実習生は上記学習その１で学習した後に、実習生が聴診スキルを修得したか否かを確認することができる。
先ず、実習生は、図示しない入力部から、ＩＤとパスワードを入力するなどして聴診システム１０にログインする（Ｓｔｅｐ１１）。
次に、実習生は、テストモードを選択する（Ｓｔｅｐ１２）。それに伴い、聴診システム１０は、ランダムに疾患を選択し、聴診器２が当てられたポイントに近い適正ポイントの音を再生する（Ｓｔｅｐ１３）。
実習生は、学習モードで学習したポイントに聴診器２を順次当てていく（Ｓｔｅｐ１４）。全て当て終えたら、聴診システム１０の入力部に対して完了の指示を入力し、回答の指示を入力する（Ｓｔｅｐ１５）。すると、プルダウン形式で表示された疾患の中から正しいと思われる疾患を選択する（Ｓｔｅｐ１６）。
その後、聴診システム１０はＳｔｅｐ１３に戻り、疾患を変更して、テストを繰り返す。
実習生は、テストを終了するときは入力部の学習終了ボタンを押す。

（聴診システムを利用した学習その３：学習ログの返却）
学習終了ボタンが押されたら、聴診システム１０は、疾患に関する回答と正解、聴診の順序の正誤を、表形式に編集し、例えば紙媒体に印刷するなどして渡す。表形式に編集する際には、呼吸器系疾患を想定している場合には吸気と呼気の１周期以上に渡って聴診器２を当てていたか否かの結果が分かるようにする。その後、実習生は聴診システム１０からログアウトする。

（教員へのレポート）
教員は、聴診システム１０にログインし、聴診システム１０は、教員が選択した実習生別に、学習完了した疾患、正誤ログを、表示する。その際、表形式で実習生の一覧で表示してもよい。

聴診システム１０はこのように使用されることにより、実習生は、同僚、学生同士、先輩後輩同士で、聴診のトレーニングをすることができる。また、教員も指導可能となる。

１：疑似患者
２：聴診器
１０：聴診システム
１１：カメラ
１２：処理部
１３：記憶部
１４：位置距離センサ
１５：照射部
１６：受光部
１７：制御部
１８：カラーセンサ
１９：スピーカー
２０：表示部
２１：トレーニー状況記憶部
２２：参照データ部

Claims (17)

1. 聴診器を用いて聴診される人物に向けて配置されるカメラと、
   前記カメラにより作成された人物の像に関する画像データから、当該人物の骨格フレームを推定し、当該聴診器が当てられるべき位置を推定する処理部と、
   を備える、聴診システム。
2. 前記処理部は、前記聴診器を追跡し、前記カメラの位置を原点として、前記骨格フレームのうちの両肩及び両腰の座標データと前記聴診器の座標データとを求め、前記聴診器が両肩及び両腰の位置から一定の範囲内にあるか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、請求項１に記載の聴診システム。
3. 前記処理部は、前記聴診器を追跡し、前記骨格フレームのうちの両肩及び両腰の前記カメラの位置からの距離データと前記聴診器の前記カメラの位置からの距離データとの差が一定の範囲内に入っているか否かにより前記聴診器が身体の表面に当てられたか否かを判断する、請求項１又は２に記載の聴診システム。
4. 前記処理部は、前記聴診器を追跡し、前記聴診器周りの一又は複数のポイントの前記カメラからの距離データと前記聴診器の前記カメラからの距離データとを求め、その求めた距離データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、請求項１乃至３の何れかに記載の聴診システム。
5. 前記処理部は、前記聴診器を追跡し、前記カメラを原点として、前記聴診器周りの一又は複数のポイントの座標データと前記聴診器の座標データとを求め、その求めた座標データを比較することにより、前記聴診器が身体の表面に当てられたか否かを判断する、請求項１乃至４の何れかに記載の聴診システム。
6. 前記処理部は、前記聴診器が身体の表面に当てられた時間を測定する、請求項１乃至５の何れかに記載の聴診システム。
7. 前記処理部は、前記骨格フレームの任意の関節の座標データから体表面上の一又は複数の計測ポイントを設定し、各々の前記計測ポイントの前記カメラを原点とする座標データ、若しくは各々の前記計測ポイントの前記カメラからの距離データの時間経過に伴う変化、前記骨格フレームの両肩の座標データから両肩の上下方向への時間経過に伴う変化又は前記変化の組合せに基づき、空気を吸っているか又は空気を吐いているかを判断する、請求項１乃至６の何れかに記載の聴診システム。
8. 前記処理部は、吸気と呼気の繰り返しを１サイクル以上にわたって前記聴診器が身体に当てられたか否か判断する、請求項７に記載の聴診システム。
9. 呼吸音、心音、腹部音の少なくとも何れかの音を記憶した記憶部をさらに備え、
   前記処理部は、骨格フレームに対する聴診器の位置に応じて前記記憶部中の音を選択して出力する、請求項１乃至８の何れかに記載の聴診システム。
10. 前記処理部は、前記記憶部に記憶した呼吸音から、空気を吸っている期間は吸気音を、空気を吐いている期間は呼気音を再生する、請求項９に記載の聴診システム。
11. 前記カメラが作成した画像データと前記記憶部から選択した音とを関連付けて、聴診の状況を記憶するトレーニー状況記憶部を、さらに備える、請求項９又は１０に記載の聴診システム。
12. 前記処理部は、前記カメラが撮影した人物の像の上に聴診する位置を表示する、請求項１乃至１１の何れかに記載の聴診システム。
13. 前記処理部は、前記聴診器が当てられるべき位置を、前記カメラの位置を原点とする骨格フレームのうちの両肩及び両腰の座標データから決定する、請求項１乃至１２の何れかに記載の聴診システム。
14. 基準となる人物の両肩の位置データと両腰の位置データと当該人物に対する聴診位置に関するデータとを、聴診の順番の情報を特定して格納する参照データ部を備えた、請求項１乃至１３の何れかに記載の聴診システム。
15. 前記処理部は、骨格フレームに対して聴診器の位置が一定時間上下左右に変化しないと判断すると、前記参照データ部と照合し、聴診の位置及び順番が正しいか否かを判断する、請求項１４に記載の聴診システム。
16. 前記処理部は、前記参照データ部に格納された両肩の位置データ及び両腰の位置データと、人物の両肩の位置データ及び両腰の位置データとを比較して、前記参照データ部に格納された聴診位置に関するデータを校正する、請求項１４又は１５に記載の聴診システム。
17. 前記処理部は、アクセスを受ける際に入力された個人認証データと聴診の位置及び順番が正しいか否かを判断したデータを、学習データとして、個人別に処理する、請求項１乃至１６の何れかに記載の聴診システム。
    

Images