JP2022025395A - Biological sound acquisition support system - Google Patents
Biological sound acquisition support system Download PDFInfo
- Publication number
- JP2022025395A JP2022025395A JP2020128185A JP2020128185A JP2022025395A JP 2022025395 A JP2022025395 A JP 2022025395A JP 2020128185 A JP2020128185 A JP 2020128185A JP 2020128185 A JP2020128185 A JP 2020128185A JP 2022025395 A JP2022025395 A JP 2022025395A
- Authority
- JP
- Japan
- Prior art keywords
- acquisition
- sound
- biological sound
- unit
- biological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 claims description 26
- 230000037237 body shape Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 11
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 208000037656 Respiratory Sounds Diseases 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 230000002572 peristaltic effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000936 intestine Anatomy 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000009747 swallowing Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003109 clavicle Anatomy 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
本発明は生体音取得支援システムに関する。 The present invention relates to a biological sound acquisition support system.
医師端末と患者端末との間でテレビ電話などの通信を行い、遠隔診療を行うことのできる遠隔診療支援システムが提案されている。 A telemedicine support system has been proposed that enables communication such as a videophone between a doctor terminal and a patient terminal to perform telemedicine.
特許文献1には、医師と患者との間で遠隔診療の予約手段やビデオ通話手段を提供する情報処理装置が開示されている。
遠隔診療においては、医者の診察に必要な各種バイタルデータを患者自ら取得し、医者の端末に提供する必要がある。また、近年の健康志向の高まりから、日々の健康管理をしたいという需要も高まっている。 In telemedicine, it is necessary for the patient to acquire various vital data necessary for the doctor's examination and provide it to the doctor's terminal. In addition, due to the growing health consciousness in recent years, the demand for daily health management is also increasing.
そこで、本発明は、スマートフォンなどの携帯端末を使って生体音を取得するためのシステムを提供することを一つの目的とする。 Therefore, one object of the present invention is to provide a system for acquiring a biological sound using a mobile terminal such as a smartphone.
本発明によれば、ユーザ自身がユーザ端末を用いて生体音を取得することを支援する生体音取得支援システムであって、生体音を含む音データを取得する音データ取得部と、取得した前記音データから特定の音成分を評価する音評価部と、生体音の取得が可能か否かを判断する条件を記憶する条件記憶部と、前記条件に合致するか否かを判定する判定部と、前記判定結果を前記ユーザ端末に出力する通知部とを備える、生体音取得支援システムが得られる。 According to the present invention, it is a biological sound acquisition support system that assists the user himself / herself to acquire a biological sound using a user terminal, and has a sound data acquisition unit that acquires sound data including the biological sound, and the acquired sound data acquisition unit. A sound evaluation unit that evaluates a specific sound component from sound data, a condition storage unit that stores conditions for determining whether or not biological sound can be acquired, and a determination unit that determines whether or not the conditions are met. , A biological sound acquisition support system including a notification unit that outputs the determination result to the user terminal can be obtained.
本発明によれば、ユーザがスマートフォンなどのデバイスを用いてスムーズに生体音を取得することができる。 According to the present invention, a user can smoothly acquire a biological sound using a device such as a smartphone.
本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
[項目1]
ユーザ自身がユーザ端末を用いて生体音を取得することを支援する生体音取得支援システムであって、
前記生体音を含む音データを取得する音データ取得部と、
前記生体音の取得条件に合致するか否かを判定する判定部と、
前記判定結果を前記ユーザ端末に出力する通知部とを備える、生体音取得支援システム。
[項目2]
取得した前記音データから特定の音成分を評価する音評価部をさらに備え、
前記判定部は、前記評価結果に基づいて前記生体音の取得条件に合致するか否かを判定することを特徴とする、項目1に記載の生体音取得支援システム。
[項目3]
前記音評価部は、目的の生体音成分の音量を評価し、
前記取得条件は前記生体音成分の音量に関する条件を含み、
前記判定部は、前記生体音成分の音量が前記取得条件を満たすか否かを判定することを特徴とする、項目2に記載の生体音取得支援システム。
[項目4]
前記音評価部は、ノイズ成分の音量を評価し、
前記取得条件は前記ノイズ成分の音量に関する条件を含み、
前記判定部は、前記ノイズ成分の音量が前記取得条件を満たすか否かを判定することを特徴とする、項目2又は3に記載の生体音取得支援システム。
[項目5]
前記ユーザ端末の角度データを取得する角度データ取得部をさらに備え、
前記取得条件は、前記生体音の取得時における前記ユーザ端末の適切な角度条件を含み、
前記判定部は、前記角度データが前記角度条件に合致するか否かを判定することを特徴とする、項目1~4のいずれか1項に記載の生体音取得支援システム。
[項目6]
前記ユーザ端末の移動に伴う端末位置情報を算出する位置算出部をさらに備え、
前記取得条件は、前記生体音の取得位置情報を含み、
前記判定部は、前記端末位置情報が前記取得位置情報に合致するか否かを判定することを特徴とする、項目1~5のいずれか1項に記載の生体音取得支援システム。
[項目7]
専門家により前記ユーザの生体音の取得位置に関する指示情報の入力を受け付ける指示情報入力部をさらに備え、
前記取得位置情報は、前記指示情報に基づいて生成されることを特徴とする、項目6に記載の生体音取得支援システム。
[項目8]
前記ユーザの入力情報に基づいて前記ユーザの体型を推定する体型推定部と、
前記体型に合わせて前記取得位置情報を調整する取得指示情報調整部とをさらに備えることを特徴とする、項目6に記載の生体音取得支援システム。
The contents of the embodiments of the present invention will be described in a list. The present invention has the following configurations.
[Item 1]
It is a biological sound acquisition support system that assists the user himself to acquire biological sound using a user terminal.
A sound data acquisition unit that acquires sound data including biological sounds,
A determination unit for determining whether or not the condition for acquiring biological sound is satisfied, and a determination unit.
A biological sound acquisition support system including a notification unit that outputs the determination result to the user terminal.
[Item 2]
It is further equipped with a sound evaluation unit that evaluates a specific sound component from the acquired sound data.
The biological sound acquisition support system according to
[Item 3]
The sound evaluation unit evaluates the volume of the target biological sound component and evaluates the volume.
The acquisition condition includes a condition relating to the volume of the biological sound component, and includes the condition.
The biological sound acquisition support system according to
[Item 4]
The sound evaluation unit evaluates the volume of the noise component and evaluates the volume.
The acquisition condition includes a condition relating to the volume of the noise component.
The biological sound acquisition support system according to
[Item 5]
Further, an angle data acquisition unit for acquiring the angle data of the user terminal is provided.
The acquisition condition includes an appropriate angle condition of the user terminal at the time of acquisition of the biological sound.
The biological sound acquisition support system according to any one of
[Item 6]
Further, a position calculation unit for calculating terminal position information accompanying the movement of the user terminal is provided.
The acquisition condition includes the acquisition position information of the biological sound, and includes the acquisition position information.
The biological sound acquisition support system according to any one of
[Item 7]
Further provided with an instruction information input unit that accepts input of instruction information regarding the acquisition position of the user's biological sound by an expert.
The biological sound acquisition support system according to
[Item 8]
A body shape estimation unit that estimates the user's body shape based on the user's input information,
The biological sound acquisition support system according to
<実施の形態の詳細>
以下、本発明の実施の形態について、図面を参照しながら説明する。
<Details of the embodiment>
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<概要>
図1は、本発明の実施の形態による生体音取得システムの概略を説明する図である。図示のように、生体音取得システムは、ユーザ端末2、及びユーザ端末2がネットワークであるインターネット網を介して接続されるサーバ1を備える。また、必要に応じて、ネットワークに接続される医師端末3を備えてもよい。ユーザ端末2、及び医師端末3は複数のユーザの端末が接続されうる。
<Overview>
FIG. 1 is a diagram illustrating an outline of a biological sound acquisition system according to an embodiment of the present invention. As shown in the figure, the biological sound acquisition system includes a
本発明の実施の形態による生体音取得システムは、ユーザ端末2で取得した生体音を遠隔診療システムと連携することによって医師端末3に提供するケースや、ユーザが自己の健康管理のために生体音を取得するケースにおいて用いられる。
The biological sound acquisition system according to the embodiment of the present invention may provide the biological sound acquired by the
ユーザ端末2は、本実施の形態では、携帯型情報端末であるスマートフォン、コンピュータやタブレット型端末といったインターネット網に接続可能な機器である。特に、ユーザ端末2は、音声を取得するマイクや、加速度や端末角度を計測できる各種センサを搭載したスマートフォンであることが好ましい。
In the present embodiment, the
図2は、ユーザ端末2のハードウェア構成の概略を説明する図である。図示のように、ユーザ端末2は、制御部10、メモリ11、ストレージ12、送受信部13、入出力部14、センサ16、マイクロフォン17、表示部18を主要構成として備え、これらが互いにバス15を介して電気的に接続される。
FIG. 2 is a diagram illustrating an outline of the hardware configuration of the
制御部10は、ユーザ端末2の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
The control unit 10 is an arithmetic unit that controls the operation of the
この制御部10は、本実施の形態では例えばCPU(Central Proce
ssing Unit)であり、後述するストレージ12に格納されてメモリ11に展開されたアプリケーションプログラムを実行して各処理を行う。
In the present embodiment, the control unit 10 is, for example, a CPU (Central Process).
It is a ssing Unit), and an application program stored in the storage 12 described later and expanded in the memory 11 is executed to perform each process.
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。 The memory 11 includes a main storage device composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
このメモリ11は、制御部10の作業領域として使用される一方、コンピュータの起動時に実行されるBIOS(Basic Input/Output Syste
m)、及び各種の設定情報等が格納される。
While this memory 11 is used as a work area of the control unit 10, the BIOS (Basic Input / Output System) executed when the computer is started is used.
m) and various setting information are stored.
ストレージ12は、プログラムや各種の処理に用いられるデータ等が格納されている。
このストレージ12に格納されるプログラム等の詳細については、後述する。なお、ストレージ12は、クラウドコンピューティング技術を利用して利用可能に接続されていてもよい。
The storage 12 stores programs, data used for various processes, and the like.
Details of the programs and the like stored in the storage 12 will be described later. The storage 12 may be connected so as to be available using cloud computing technology.
送受信部13は、ユーザ端末2をインターネット網に接続する。この送受信部13は、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。
The transmission / reception unit 13 connects the
入出力部14には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。 If necessary, an information input device such as a keyboard and a mouse and an output device such as a display are connected to the input / output unit 14.
バス15は、接続した制御部10、メモリ11、ストレージ12、送受信部13及び入出力部14の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。 The bus 15 transmits, for example, an address signal, a data signal, and various control signals between the connected control unit 10, memory 11, storage 12, transmission / reception unit 13, and input / output unit 14.
センサ16は、加速度センサ、傾きセンサ(地磁気センサやジャイロセンサ)、近接センサ等、各種のセンサであってよい。 The sensor 16 may be various sensors such as an acceleration sensor, a tilt sensor (geomagnetic sensor or gyro sensor), and a proximity sensor.
マイクロフォン17は、ユーザ端末2に搭載される集音装置である。マイクロフォン17は、端末2に入力される音声を音声信号に変換する。また、ユーザ端末2に外部接続される集音器を用いてもよい。
The
図3は、サーバ1のハードウェア構成の概略を説明する図である。図示のようにサーバ1は、制御部20、メモリ21、ストレージ22、送受信部23、入出力部24を主要構成として備え、これらが互いにバス25を介して電気的に接続される。それぞれに機能についてはユーザ端末2の説明と同様であるため省略する。
FIG. 3 is a diagram illustrating an outline of the hardware configuration of the
<実施形態1>
本実施形態1においては、マイクロフォン17を用いて取得した音データを用いて生体音の取得に適しているか否かを判定する。具体的には、取得した音データを分析することによって、音データに含まれている生体音データが十分な品質で取得できていることを判定する。
<
In the first embodiment, it is determined whether or not the sound data acquired by using the
図4は、本発明の実施形態1におけるユーザ端末2のソフトウェア構成例を示す図である。本発明のユーザ端末2は、記憶装置として条件記憶部121、通知情報記憶部122、音データ記憶部123、演算処理装置として、データ送受信部111、音データ取得部112、音評価部113、判定部114、表示制御部115、通知部116を備える。なお、データ送受信部111、音データ取得部112、音評価部113、判定部114、表示制御部115、通知部116は、制御部10がストレージ12に記憶されているプログラムをメモリ11に読み出して実行することにより実現され、条件記憶部121、通知情報記憶部122、音データ記憶部123は、メモリ11およびストレージ12の少なくともいずれかにより提供される記憶領域の一部として実現される。
FIG. 4 is a diagram showing a software configuration example of the
条件記憶部121は、生体音の取得に適しているか否かを判定するための条件を記憶する。図5は、条件記憶部121に格納される条件情報の構成例である。本実施形態1においては、取得した音データに含まれる生体音の品質に関する条件を定める。品質とは例えば音量であり、デシベル値等の指標で表した閾値であってもよいがこれに限られない。これらの条件はいずれも、取得したい生体音の種類(心音、呼吸音、肺音、蠕動音、嚥下音などや、取得部位(右胸、左胸、胃、腸など)、取得目的(医師への提供、自己健康管理)などに応じて複数設定することができる。
The
通知情報記憶部122は、通知部116が判定結果に応じて出力する通知の内容を記憶する。図6は、通知情報記憶部122に格納される通知情報の構成例である。通知情報は、判定結果ごとの通知内容の設定を含む。例えば、判定結果がOK(生体音の取得に適している)かNG(適していない)によって、発する通知をそれぞれ設定する。音通知1、2はそれぞれ例えば、通知1「生体音の取得ができます」などの音声メッセージ、音通知2「生体音の取得ができません」などの音声メッセージであってもよい。音による通知は、音声に限らず、所定の通知音でもよい。通知音は、音の高さやパターン(ピロピロ、ブーブーなど)等によって表現することができる。また、通知は、音声や通知音による音通知に限らず、光、振動などであってよく、これらの組み合わせであってもよい。光通知は端末2の画面や発光機能により出力するものであり、光の色、点灯/点滅のパターン、光の強さ等によって表現することができる。また、振動通知は、端末のバイブレーション機能により出力するものであり、振動のパターン、強さ等によって表現することができる。通知情報記憶部122には、各判定結果に応じてこれらの音通知、光通知、振動通知の内容を記憶することができる。通知情報記憶部122には、音声データそのものを格納してもよいし、各種通知の出力指示情報を格納してもよい。
The notification
音データ記憶部123は、取得した音データを記憶する。音データは、取得した日時、取得した生体音の種類(心音、呼吸音、肺音、蠕動音等)、取得部位(前胸部、頸部、背部等)などの情報とともに記憶することができる。取得部位は、より詳細な取得位置を含んでもよく、例えば下記で述べるような基準位置からの座標情報等で表される位置情報であってもよい。また、さらに、診察用、自己管理用、などの取得目的に関する情報を含んでもよい。さらに必要に応じて、音データを取得したときのユーザの状態を表す情報を含んでもよい。例えば、息が苦しい、だるいなどの自覚症状や、ユーザの顔や身体、患部を映した画像データ、及びウェアラブルデバイス等の各種の測定装置により取得した脈拍、血圧、体温などのバイタルデータを含んでもよい。また、記憶する音データは、波形データを含んでもよく、また下記で述べる音評価部113が加工したデータであってもよい。
The sound
データ送受信部111は、送受信部13を用いて、各種データをサーバ1、若しくは医師端末3に送信する。
The data transmission /
音データ取得部112は、ユーザ端末2に備えられたマイクロフォン17により集音された音データを取得し、音データ記憶部123に記憶するとともに、音評価部113に伝える。
The sound
音評価部113は、特定の音成分の大きさや質を評価する。音評価部113は、目的の生体音成分の大きさや質を評価することができる。音評価部113は必要に応じて、音データから所定の処理によって生体音成分と生体音以外のノイズ成分とを分離する、またはノイズ部分を除去することによって生体音データを抽出する抽出処理を行う。生体音の種類や取得位置によって処理方法やパラメータが異なる場合は、入力された生体音の種類や取得位置に基づいて処理方法やパラメータを選択し、抽出処理を実施する。抽出する方法は既知の方法を採用することができる。例えば、音声データを所定のフィルタにかけることによってノイズ成分を除去することができる。また、音データをスペクトログラムに変換し、特定の成分にマスクをかけることによってノイズを除去することもできる。必要に応じて、スペクトログラム変換前に音データを所定の前処理にかけてもよい。また、生体音成分とノイズ成分の両方を含む音データを入力データとし、生体音成分のみを含む生体音データまたはノイズ成分も含む生体音データを教師データとして学習モデルを作成し、作成した学習モデルに音データを当てはめることによって生体音データを抽出してもよい。学習モデルのインプットデータは、波形データに復元可能なデータであれば、音データを変換したスペクトログラムなどであってもよい。アウトプットデータも同様に、波形データに復元可能なスペクトログラムなどであってよい。また、同様の方法で生体音データとノイズ成分とを含む音データからノイズ成分を抽出し、それ以外の成分を生体音データとして抽出することとしてもよい。
The
判定部114は、音評価部113の評価結果に基づいて、生体音の取得に適した状況であるかを判定する。すなわち、目的の生体音が十分に取得できていることを判定する。
The
通知部116は、判定の結果を通知する。通知部116は例えば、音、光、振動のいずれか、若しくはこれらの組み合わせを発することであってよく、ユーザ端末2に搭載された音発生手段、光発生手段、振動発生手段等に命令して通知を行う。判定部114の判定結果に応じて、通知情報記憶部122に登録された通知情報を読み出し、通知を出力する処理を行う。
The
また、通知は、ユーザ端末2の画面上に所定のメッセージや画像を表示させることによって行ってもよい。その場合は、通知部116が判定部114の結果に基づいて、所定の画像やメッセージを画面に表示させるように表示制御部115を制御することによって、ユーザ端末2上に表示させることができる。ユーザ端末2をユーザの体に当てている場合は、ユーザ自身で端末画面を見ることができない場合もあるため、その状況が想定される場合は、表示による通知よりも、音、光、振動による通知の方が好ましい。
Further, the notification may be performed by displaying a predetermined message or image on the screen of the
以上より、本実施形態1においては、取得した音データにおける生体音データを評価し、十分な生体音データが取得できているかを判定する。なお、上記では、音データに含まれる生体音データを評価したが、ノイズ成分を評価し、例えばノイズ成分の大きさが所定以下であることを判定してもよい。その場合、ユーザはユーザ端末2のマイクロフォン17により、これから生体音の取得をしようとしている環境中で音の取得を行う。このとき、実際の生体音取得時のようにマイクロフォン17を身体に当接して取得してもよいが、必ずしも身体に当接させずに音を取得してもよい。音評価部113は取得した音からノイズ成分の大きさや品質を評価し、判定部114は、当該ノイズ成分が所定の条件を満たすか否かを判定する。所定の条件は例えば音量である。通知部116は、判定結果が良好(ノイズが少ない)であれば、生体音の取得が可能である旨の通知を行い、一方で判定結果が不良(ノイズが多い)であれば、その旨を通知するとともに、場所を移動するなど環境を変えることを促す。
From the above, in the first embodiment, the biological sound data in the acquired sound data is evaluated, and it is determined whether or not sufficient biological sound data can be acquired. In the above, the biological sound data included in the sound data is evaluated, but the noise component may be evaluated and, for example, it may be determined that the magnitude of the noise component is not more than a predetermined value. In that case, the user acquires the sound by the
図7は、本実施形態1における動作フローである。各ステップは、特に制限のない場合、順番が入れ替わる場合があり得る。 FIG. 7 is an operation flow in the first embodiment. The order of each step may be changed unless otherwise specified.
まず、ユーザが自身の携帯端末(ユーザ端末2)上でアプリを起動し(S101)、場合によっては、取得したい生体音の種類や取得部位を入力する。端末2は、生体音取得のための案内画面を端末2の画面上に表示させたり、音声で出力するなどして、ガイダンスする(S102)。
First, the user starts the application on his / her mobile terminal (user terminal 2) (S101), and in some cases, inputs the type of biological sound to be acquired and the acquisition site. The
ユーザはユーザ端末2のマイクロフォン17を取得部位に当接させ、音データの取得を開始する(S103)。音評価部113は、取得した音データから目的の生体音成分を評価する。また、音評価部113は、必要に応じて取得した音データから所定の処理により生体音成分を抽出してから評価してもよい。音評価部113は、評価結果を判定部114に伝える。判定部114は、取得した音が医師による診察や病気の推定のための分析に供するのに適したものであったかどうかを判定する(S104)。すなわち、抽出された生体音データが、条件記憶部121に記憶された基準を満たしているかを判定する。具体的には例えば、生体音データの音量が所定値以上であるかを判定する。
The user brings the
判定がNGであった(生体音が十分取得できていない)と判断した場合(S104=No)、通知部116は、ユーザに再取得を促す通知を行う(S105)。通知は例えば、「生体音が取得できませんでした。もう一度実施します」、「静かな場所に移動してください」などの音声メッセージや画面表示によって行うことができる。判定がOKであった(生体音が十分取得できた)と判断した場合(S104=Yes)、通知部116は、生体音が取得できた旨の通知を行う(S106)。また、必要に応じて取得した音データ(波形データ等の分析データも含んでもよい)をサーバに送信する(S107)。
When it is determined that the determination is NG (sufficient acquisition of biological sound is not possible) (S104 = No), the
本実施形態1においては、音評価部113や判定部114などの演算処理部及び条件記憶部121や通知情報記憶部122、音データ記憶部123等の記憶部をユーザ端末2に備えることを前提に説明したが、これらはサーバ1において備えてもよい。その場合は、音データ取得部112が取得した音データをサーバ1に送信し、サーバ1にて音の分析、判定を行い、判定結果をユーザ端末2に送信すればよい。
In the first embodiment, it is premised that the
<実施形態2>
本実施形態2においては、ユーザ端末2の角度が生体音の取得に適しているか否かを判定する。すなわち、スマートフォン等のユーザ端末2に搭載されたマイクをユーザの体に当接して生体音を取得する場合に、体に対する端末角度がある一定の範囲であると生体音の取得がしやすい場合がある。また、生体音の均一性を担保するために一定の端末角度に統一して取得することが好ましい場合がある。本実施形態は、このような場合に、実際のユーザ端末2の角度をセンサデータにより把握し、あらかじめ登録された端末角度の範囲に入っているか否かを判定するものである。
<
In the second embodiment, it is determined whether or not the angle of the
図8は、本実施形態2におけるユーザ端末2のソフトウェア構成例を示しており、実施形態1におけるソフトウェア構成に加えて、さらにセンサ入力制御部117を備える。また、ユーザ端末2は、端末2の角度を検知できる傾きセンサを備える。傾きセンサは、ユーザ端末における各方向の傾き角度を検出することができるものであればよく、地磁気センサ、ジャイロセンサ、加速度センサなどである。なお、ここでユーザ端末の各方面の傾き角度は、図9のとおり、画面右向きをx軸、長手方向上向きをy軸、画面に垂直上向きをz軸とし、図4(b)のように、x軸回転をpitch、y軸回転をazimuth、z軸回転をrоll等で表す。
FIG. 8 shows an example of software configuration of the
本実施形態2における条件記憶部121は、生体音の取得部位(右胸、左胸、胃、腸など)や疾患、もしくは生体音の種類(心音、呼吸音、肺音、蠕動音、嚥下音など)ごとに、適切なユーザ端末2の角度範囲をあらかじめ登録する。図10は、条件記憶部121に格納される条件情報の構成例である。一例として、心音を測定する場合は、図11のように、端末2の下面(マイク部分)を体に向け、かつ端末2の画面の向き(Z軸)が水平になるように保持することが最適であるとする。その場合の条件は、「傾斜角90°、かつ方位角90°」である。実施の条件は、適宜所定の許容範囲を設定してもよく、例えば「傾斜角85°~95°、かつ方位角85°~95°」等としてもよい。端末角度に基づく判定を行う場合は、傾斜角、方位角、回転角の値や範囲が条件となる。これらの条件はいずれも、取得したい生体音の種類(心音、呼吸音、肺音、蠕動音、嚥下音など)や疾患、取得部位(右胸、左胸、胃、腸など)、取得目的(医師への提供、自己健康管理)、取得回数(1回目、2回目など)などに応じて複数設定することができる。
The
本実施形態2の通知情報記憶部122は、通知部116が判定結果に応じて出力する通知の内容を記憶する。図12は、通知情報記憶部122に格納される通知情報の構成例である。通知情報は、判定結果ごとの通知内容の設定を含む。通知は、音声に限らず、通知音、光、振動、表示などであってよく、これらの組み合わせであってもよい。ユーザ端末2の角度に基づく判定を行う場合は、判定がOK(端末角度が規定範囲内である)であった場合の通知と、判定がNGであった場合の通知を実施形態1と同様に登録することができる。また、判定がNGであった場合には、図12のように端末角度の計測値と閾値との大小関係によってさらに通知を設定してもよい。例えば、傾斜角が閾値よりも小さい場合は、「端末をもう少し奥に倒してください」などの音声メッセージ(音通知3)を出すなどが考えられる。また、ユーザ端末2の角度が既定の範囲内にあるときに所定の音、光、振動を発し、範囲外にある時にはこれらの出力を停止するようにしてもよい。若しくは逆に、ユーザ端末2の角度が既定の範囲外にあるときに所定の音、光、振動を発し、範囲内にある時にはこれらの出力を停止するようにしてもよい。
The notification
センサ入力制御部117は、ユーザ端末2に搭載された傾きセンサによって取得されたユーザ端末2の角度データを判定部114に伝える。傾きセンサは、例えば地磁気センサ、ジャイロセンサ、加速度センサであり、ユーザ端末2の角度を傾斜角(Pitch)、回転角(rоll)、方位角(azimuth)で表すことができる。
The sensor
判定部114は、取得したい生体音の取得部位や種類に応じて、条件記憶部121から角度の条件を読み出す。取得したい生体音の取得部位や種類が、あらかじめ決まっている場合はそれに該当するものを読み出せばよく、ユーザが生体音の取得部位や種類を入力する場合は、入力されたものに応じて条件を読み出す。そして、センサ入力制御部117から入力されたユーザ端末2の角度が、当該条件に該当する場合は、生体音の取得に適していると判定し、該当しない場合は、適していないと判定する。
The
通知部116は、判定結果を通知する。判定部114による判定結果に基づいて通知内容を通知情報記憶部122から読み出し、通知を出力する。
The
<実施形態3>
本実施形態3においては、ユーザ端末2の位置が、生体音の取得に適しているか否かを判定する。生体音の取得には、目的に応じてマイクを当てるべき場所が決まっているが、ユーザが自身で生体音を取得する場合には、適切な取得位置にマイクを当てられているのかを判断できないという問題がある。そこで、本実施形態3においては、ユーザ端末2の位置が、あらかじめ定められた設定位置にあるか否かを判定するものである。
<
In the third embodiment, it is determined whether or not the position of the
図13は、本実施形態3におけるユーザ端末2のソフトウェア構成例を示しており、実施形態1におけるソフトウェア構成に加えて、さらにセンサ入力制御部117、位置算出部118を備える。
FIG. 13 shows an example of software configuration of the
本実施形態3の条件記憶部121は、端末2が、生体音の取得に適した取得位置に配置されているか否かを判定するための条件を記憶する。例えば、基準位置に対する各測定位置までの距離や移動方向が条件となる。取得したい生体音の種類(心音、呼吸音、肺音、蠕動音、嚥下音など)や、疾患、取得部位(右胸、左胸、胃、腸など)、取得目的(医師への提供、自己健康管理)などに応じて複数設定することができる。図14は、条件記憶部121に格納される条件情報の構成例である。取得位置条件は、図14(a)のように身体上に取得位置や順番をプロットした画像データであってもよい。また、図14(b)のように座標情報であってもよい。座標情報は一例として、端末位置の条件として、ユーザの体上で基準となる位置(第一の位置)に対する第二の位置の相対座標を記憶する。図14(a)に示すように、例えば仮に、第一の位置がみぞおちであり、第二の位置が、最初の生体音取得位置である1番の位置(右鎖骨上)であるとする。その場合、条件情報としては、第一の位置に対する第二の位置の座標情報(例えば、X方向に〇~〇、Y方向に〇~〇)を所定の範囲で定めることができる。また、生体音を複数の位置で連続して取得する場合は、次の取得位置(第三の位置)を、上述した第二の位置に対する第三の位置の座標情報で定めるなどすることができる。
The
通知情報記憶部122は、通知部116が判定結果に応じて出力する通知の内容を記憶する。図15は、通知情報記憶部122に格納される通知情報の構成例である。ユーザ端末2の位置に基づく判定を行う場合は、設定された取得位置の座標範囲にないときと、取得位置の座標範囲にあるときとで、異なる音(通知9、10)を出力するなどして、通知をすることができる。例えば、端末2からは継続的に音を発し、取得位置の座標範囲に入った時にその音が変わる(通知9→通知10)ようにしてもよいし、座標範囲に入ったときにのみ所定の音を発してもよい(通知10のみ)。または、取得位置の座標範囲に近づいているときと、遠ざかっているときとで、異なる通知を発してもよい。このような通知を行うことで、端末2を配置する位置をユーザが調整しやすくなる。
The notification
センサ入力制御部117は、加速度センサなどの各センサから入力された情報を、位置算出部118や判定部114に伝える。
The sensor
位置算出部118は、ユーザ端末2に搭載された加速度センサから得られるデータを用いて、端末2の位置情報を算出する。位置算出部118は、加速度データから移動方向と移動距離を計算する。移動距離は、加速度センサの値を台形積分法等の既知の方法により積分することによって算出することができる。一例として、ユーザの体上で基準となる位置(第一の位置)を設定し、第一の位置にユーザ端末2を当てた後に、第一の位置とは異なる第二の位置に端末2を動かした場合に、位置算出部118は、移動方向と移動距離とから、第二の位置の座標(第一の位置に対する相対的な位置)を導出することができる。端末2の位置を把握する方法はこれに限らず、既知の方法を採用すればよい。
The
判定部114は、ユーザの体上において、ユーザ端末2が生体音を取得するのに適した位置に配置されているか否かを判定する。一例として、体における基準となる位置(第一の位置)を定める。第一の位置は、例えばユーザにとってわかりやすく一義的に決められる位置であり、例えばみぞおちや鎖骨、などを指定できる。まず、第一の位置にユーザ端末2を位置させるように指示し、一度端末2を所定時間停止させる。続いて、第一の位置から生体音の取得位置(第2の位置)までユーザ端末2を移動させ、その間の加速度データを取得する。位置算出部118は、加速度データから、端末2の移動方向と移動距離を算出し、第一の位置に対するユーザ端末2の座標を算出する。
The
通知部116は、判定結果を通知する。例えば、ユーザ端末2の位置が条件記憶部121に記憶した生体音の取得位置(第2の位置)の範囲に入ったときに、所定の音、光、振動などを発することができ、ユーザが端末2を動かすことによって取得位置の範囲から外れた場合には、上記所定の音、光、振動の発生がやむようにしてもよい。若しくはその逆として、端末2の位置が取得位置の範囲から外れている場合に、位置が不適切であることを示すための音、光、振動を発し、適切な位置に移動した場合に当該音、光、振動がやむようにしてもよい。また、ユーザ端末2を移動しているときに、当該端末2の位置が、生体音の取得位置の範囲に近づいている場合に第一の通知を発し、逆に離れている場合に第二の通知を発することとしてもよい。第一の通知は例えばそのまま移動を続けるように促す通知であり、第二の通知は方向を修正するように促す通知である。第一の通知及び第二の通知は音声メッセージでもよく、音、光、振動であってもよい。また、第一の通知と第二の通知のどちらか一方のみを行ってもよい。例えば、第一の通知を行わずに、移動方向の修正を促す必要のあるときだけ第二の通知を行ってもよい。
The
<実施形態4>
本実施形態4においては、ユーザ端末2が最も大きい生体音が取得できる状態であることを判定する。ユーザ端末2の状態とは、例えば、ユーザの体に対する角度や位置に関する状態である。上記実施形態2、3においては、ユーザ端末2の角度や位置があらかじめ定めた範囲であるかを判定したが、本実施形態4においては、生体音が良好に取得可能な角度や位置であることを相対的に判定するものである。
<
In the fourth embodiment, it is determined that the
本実施形態4におけるユーザ端末2のソフトウェア構成例は、実施形態4と同様であり、実施形態1におけるソフトウェア構成に加えて、さらにセンサ入力制御部117、位置算出部118を備える。
The software configuration example of the
本実施形態4においては、生体音が最も良好に取得できる端末2の状態を相対的に判定するものであるため、生体音の取得に適しているか否かを絶対的に判断するための条件を設けなくてもよいが、補助的に設けることもできる。例えば、上記実施形態1と同様に、生体音の大きさが所定以上であることや、ノイズが少ないことを判定する条件を定めることができる。また、端末2の角度や位置についても、実施形態2、3と同様に条件を定めておいてもよい。本実施形態4においては、これらの条件を満たすことを前提として、さらに生体音の大きさで最適な状態を選択することとしてもよい。
In the fourth embodiment, since the state of the terminal 2 from which the biological sound can be acquired most is relatively determined, the condition for absolutely determining whether or not the
本実施形態4の通知情報記憶部122は、通知部116が判定結果に応じて出力する通知の内容を記憶する。図16は、通知情報記憶部122に格納される通知情報の構成例である。端末2の移動に伴って生体音の取得状態が良好に変化しているときの通知(通知11)、及び生体音の取得状態が悪化しているときの通知(通知12)を登録しておくことができる。通知は、音、光、振動、及びこれらの組み合わせであってよく、例えば、通知11と通知12とは、音色や音量が異なる通知音を登録したり、光の色や強さが異なる光通知、振動の強さやテンポ、パターンが異なる通知を登録しておくことができる。後述するように判定部114の結果に応じて、通知が変化することによって、ユーザがその時に端末2を動かしている方向が正しいのか否かを直感的に判断することができる。
The notification
音データ取得部112は、所定時間にわたってユーザ端末2に設けられたマイク17から音データを取得する。この時、実際の生体音の取得時と同様にユーザ端末2をユーザの体に接するように配置したうえで、ユーザ端末2の角度や身体上の取得位置を動かしながら継続的に音データを取得する。そして、ある時点の音をその前の時点での音と比較分析することによって最も生体音の取得に適した角度や体上の場所を特定するものである。
The sound
音の取得は連続して行ってもよいし、所定時間間隔で取得してもよい。ユーザは指示された取得部位の付近で端末をゆっくり動かしながら音を取得する。適切な端末角度を特定する場合は端末2を身体に接した状態で回転させて角度を変えながら音を取得すればよく、適切な端末位置を特定する場合は、端末2を体上で移動させながら音を取得する。
Sounds may be acquired continuously or at predetermined time intervals. The user acquires the sound while slowly moving the terminal near the instructed acquisition part. To specify an appropriate terminal angle, rotate the
音評価部113は、実施形態1と同様に音データに含まれる生体音データの大きさを評価する。必要に応じて、音データから目的の生体音データを抽出する処理を行ってもよい。
The
判定部114は、時刻Tnで取得した生体音データと、時刻Tnよりあとの時刻Tn+1で取得した生体音データとを比較し、より新しい時刻Tn+1で取得した生体音データが時刻Tnの生体音データよりも大きい場合に、時刻Tn+1における端末2の角度又は位置が時刻Tnにおける端末2の角度又は位置よりも生体音の取得に適切であると判断する。また逆に、より新しい時刻Tn+1で取得した生体音データが時刻Tnの生体音データよりも小さい場合に、時刻Tn+1における端末2の角度又は位置が時刻Tnにおける端末2の角度又は位置よりも生体音の取得に適切でないと判断する。時刻TnとTn+1の間は所定の間隔であってよく、例えば0.1秒~1秒ごと等とすることができる。また、時刻Tn、Tn+1・・・は、所定の時間幅であってもよく、その場合はその間の音データの平均をもって比較することができる。また、生体音データの音量を比較してもよいし、ノイズ成分の大きさを比較してもよい。
The
通知部116は、時刻Tn+1の音データと時刻Tnの音データとの比較結果に基づいて、所定の通知を行う。一例として、ユーザ端末2において継続して通知音を発し、時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していると判定された場合に、通知音の音色や音量を変化させることができる。同様に、継続してユーザ端末2から光を発し、時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していると判定された場合に、光の色や強さを変化させることができる。また、継続してユーザ端末2において振動を発し、時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していると判定された場合に、振動の強さやテンポ、パターンを変化させることができる。例えば音量を変化させるとは、例えば判定結果が良好であるときには音量を徐々に大きくし、逆の場合は音量を徐々に小さくする、など段階的に通知内容を変化させることをいう。また、時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していると判定された場合に、通知音、光、振動などの通知を発し、逆に時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していないと判定された場合には通知音を発しない、とすることでもできる。または、時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していないと判定された場合に、通知音、光、振動などの通知を発し、逆に時刻Tn+1の音データが時刻Tnの音データよりも生体音の取得に適していると判定された場合には通知音を発しない、とすることでもできる。このような通知により、ユーザは端末2を動かしながら、生体音の取得に適切な状態に端末2を移動させることができているのか、それとも別の方向や角度になるように軌道修正すべきなのかをリアルタイムに知ることができる。
The
また、判定部114は、音データが所定の条件を満たすか否かをさらに判定してもよい。例えば、音データに含まれる生体音の音量が所定の値よりも大きいことを条件とし、当該条件を満たすか否かを判断すると同時に、上記のように時刻Tn+1の音データと時刻Tnの音データを比較して移動方向や移動確度が正しいかを判定する。また、実施形態2、3のように、あらかじめ定めた端末2の角度範囲や、位置範囲に端末2が配置されていることを判定すると同時に、上記のように時刻Tn+1の音データと時刻Tnの音データを比較して移動方向や移動確度が正しいかを判定することもできる。
Further, the
通知部116は、上記のように端末2の移動にともなって、時刻Tn+1の音データと時刻Tnの音データとの比較結果を通知しつつ、音データが所定の条件を満たした場合にさらに通知を行う。例えば、ユーザが適切な取得位置に向かって端末2を一定方向に移動させた場合、時刻Tn+1の音データは時刻Tnの音データよりも生体音の取得に適していると判断されるので、徐々に通知音を大きくするなどの所定の通知を発することによって、移動方向が正しいことをユーザに伝える。そして、ある最近の時刻に取得した音データが所定の条件を満たした場合(例えば生体音が一定以上の大きさであった場合)に、端末を止める旨の通知を発することができる。
The
<実施形態5>
本実施形態5においては、医師が生体音の取得位置を指示するものである。ユーザの年齢、疾患、体質などによって、医師が診察に必要とする生体音の取得位置、順番、回数等の測定方法が異なる場合がある。また、ユーザの性別や体の大きさ、体型によっても、取得位置が微妙に異なることが考えられる。そこで本実施形態5では、ユーザの体(生体音の取得部位を含む)を含む画像データを医師端末3に提供し、医師によって生体音の取得方法に関する指示を入力してもらう方法に関する。
<
In the fifth embodiment, the doctor instructs the acquisition position of the biological sound. Depending on the age, disease, constitution, etc. of the user, the measurement method such as the acquisition position, order, number of times, etc. of the biological sound required for the medical examination by the doctor may differ. In addition, the acquisition position may be slightly different depending on the gender, body size, and body shape of the user. Therefore, the fifth embodiment relates to a method of providing image data including a user's body (including a biometric sound acquisition site) to a
図17は、本実施形態5におけるユーザ端末2のソフトウェア構成例を示しており、実施形態1におけるソフトウェア構成にさらにセンサ入力制御部117、位置算出部118、及び画像データ取得部119を備える。
FIG. 17 shows an example of software configuration of the
図18は、本実施形態5における医師端末3のソフトウェア構成例を示しており、演算処理装置として、データ送受信部211、指示情報入力部212、指示画像生成部213、位置情報生成部214を備えることができる。
FIG. 18 shows a software configuration example of the
本実施形態5においては、まず、ユーザ端末2に搭載されるカメラ等によってユーザの生体音取得部位を含む身体の画像を撮影する。画像の撮影はユーザ端末2に搭載されたカメラ以外の画像撮影手段により行われてもよい。ユーザ端末2の画像データ取得部119は、撮影した画像データを取得する。また、画像データは、静止画でもよいし、動画でもよい。
In the fifth embodiment, first, an image of the body including the biological sound acquisition portion of the user is taken by a camera or the like mounted on the
ユーザ端末2のデータ送受信部111は、画像データを医師端末3に送信し、医師端末3のデータ送受信部211が画像データを取得する。または、ユーザ端末2のデータ送受信部111は、画像データをサーバ1に送信し、サーバ1が医師端末3に画像データを送信してもよい。また、ユーザの画像データとともに、ユーザの情報(氏名、年齢、性別、疾患など)を医師端末3に送信することが好ましい。また、ユーザが、当該医師が所属する医療機関において診察を受けたことがある場合は、患者番号などの識別情報を含んでもよい。
The data transmission /
図19は、医師が指示情報を入力する様子を表す図である。図19(a)のように、医師端末3の画面表示部(ディスプレイなど)においてユーザ画像51とユーザ情報52を表示し、医師は医師端末3にて取得したユーザ画像51やユーザ情報52をみて、生体音の取得条件を決める。図19(b)のように、医師端末3の指示情報入力部212は、医師からの生体音の取得条件に関する指示の入力を受け付ける。例えば指示の入力は、画像上において医師が取得位置を選択することによって行われてもよい。すなわち、マウスのカーソルを合わせる、タッチパネルをタッチするなどの方法によって、取得位置を直接指定することができる。また、取得位置に合わせて、取得回数や取得順等の情報を入力することができる。
FIG. 19 is a diagram showing a state in which a doctor inputs instruction information. As shown in FIG. 19A, the
指示画像生成部213は、指示情報入力部212が受け付けた情報をもとに、取得指示画像を生成する。取得指示画像は、図19(c)のように、ユーザの体を映した画像51に、取得位置を示す表示(マークなど)53が重畳された重畳画像を含んでもよい。また、重畳画像にさらに取得の順番や回数などの情報を含んでもよい。
The instruction
位置情報生成部214は、医師が入力した指示情報に基づいて、取得位置を表す座標を含む位置情報に変換する。取得位置情報は、図19(c)の表のように、上記実施形態3と同様であり、ユーザの体における基準位置に対する取得位置の相対座標を含んでもよい。
The position
医師端末3のデータ送受信部211は、指示画像生成部213が生成した取得指示画像54と位置情報生成部214が生成した取得位置情報の少なくともいずれかをユーザ端末2に送信する。また、サーバ1を介してユーザ端末2に送信してもよい。
The data transmission /
ユーザ端末2は、受信した取得指示画像54及び取得位置情報を条件記憶部121などの記憶部に格納し、次に生体音を取得する際に使用することができる。すなわち、取得指示画像54を読み出してユーザ端末2上に表示させる。また、上記実施形態3と同様に端末2の位置による判定を行う際に、当該取得位置情報を読み出して判定を行うことができる。
The
本実施形態においては、医師端末3において指示画像生成部213、位置情報生成部214を設けたが、これらの一部をサーバ1において備えてもよい。その場合は、医師端末3から指示情報の入力情報をサーバ1に送信し、サーバ1にて指示画像の生成や位置情報の生成を行う。そして、生成した取得指示画像や取得位置情報をユーザ端末2に送信することができる。
In the present embodiment, the
<実施形態6>
本実施形態6においては、ユーザの体型に応じて、サーバ1が生体音の取得位置を指示するものである。本実施形態6において、サーバ1は、あらかじめ疾患や所得目的などに応じて生体音の取得位置、順序、回数等の取得指示情報を有している。しかしながら、ユーザの体型によって標準的な取得指示情報を修正する必要がある。本実施形態6では、ユーザの生体音取得部位を含む画像データをもとに、標準的な取得指示情報を修正するものである。
<
In the sixth embodiment, the
本実施形態6におけるユーザ端末2のソフトウェア構成例は、実施形態5と同様であり、実施形態1におけるソフトウェア構成にさらにセンサ入力制御部117、位置算出部118、及び画像データ取得部119を備える。
The software configuration example of the
また、図20は、本実施形態6におけるサーバ1のソフトウェア構成例を示している。サーバは、取得指示情報記憶部321、データ送受信部311、画像分析部312、取得指示情報調整部313を備える。
Further, FIG. 20 shows an example of software configuration of the
サーバ1の取得指示情報記憶部321には複数の取得指示情報を記憶することができる。図21は、取得指示情報の構成例である。取得指示情報は、取得部位、順序、回数などを記憶する。取得部位は、基準位置に対する取得位置の相対座標などで表してもよい。また、取得指示情報は身体の画像上に取得位置をプロットした指示画像等を含んでもよい。取得指示情報は、生体音の種類や疾患ごとに複数設けてもよい。また、さらに複数の体型類型別に合わせて取得部位を調整した取得指示情報を有しておくことができる。例えば、体型をやせ型A、やややせ形B、標準C、やや肥満D、肥満E、等のように複数の類型に分け、それぞれについて取得位置情報を登録する。
A plurality of acquisition instruction information can be stored in the acquisition instruction
本実施形態6においては、まず、ユーザ端末2に搭載されるカメラ等によってユーザの生体音取得部位を含む身体の画像を撮影する。画像の撮影はユーザ端末2に搭載されたカメラ以外の画像撮影手段により行われてもよい。ユーザ端末2の画像データ取得部119は、撮影した画像データを取得する。また、画像データは、静止画でもよいし、動画でもよい。
In the sixth embodiment, first, an image of the body including the biological sound acquisition portion of the user is taken by a camera or the like mounted on the
ユーザ端末2のデータ送受信部111は、画像データをサーバ1に送信し、サーバ1のデータ送受信部311が画像データを取得する。
The data transmission /
サーバ1の画像分析部312は、取得した画像データを分析することによって、上記で述べた条件記憶部121に登録された体型類型のいずれに当てはまるかを判断する。画像の分析方法は特に制限はなく、既知の方法を用いることができる。例えば、画像から体の輪郭線を抽出し、所定部位の長さや比率を用いて類型を決定してもよいし、機械学習を用いて画像を分類してもよい。
By analyzing the acquired image data, the
取得指示情報調整部313は、画像分析部312が選択した体型類型に基づいて、取得指示情報記憶部321から該当する体型の取得指示情報を選択する。
The acquisition instruction
サーバ1は、選択した取得指示情報をユーザ端末2に送信する。ユーザ端末2は、ユーザが生体音を取得する際に、受信した取得指示情報を読み出す。取得指示情報に指示画像が含まれる場合は、ユーザ端末2上に指示画像を表示することができる。また、取得指示情報に基づいて、上記実施形態3における端末2の位置情報に基づく判定を行うことができる。
The
また、取得指示情報記憶部321には、標準体型の取得指示情報のみを記憶し、ユーザの体型に合わせて補正してもよい。その場合は、画像分析部312はユーザの画像から、ユーザの体型と標準体型との差分を算出する。そして、取得指示情報調整部313は、当該差分に応じて取得指示情報を補正する。ユーザの体型と標準体型との差分の算出方法は特に制限はなく、例えば、肩幅や胸の横幅などの所定部位の長さを比較することによって規定してもよい。
Further, the acquisition instruction
また、上記では、画像分析部312がユーザの画像に基づいて体型類型を判定したが、その他の方法でユーザの体型を推定してもよい。例えば、ユーザ端末2の加速度センサを用いて、身体の所定部分の距離を測定することによって体型を推定することもできる。具体的には、ユーザ端末2を所定領域間(例えば左右の肩の間)で移動させ、加速度センサによって端末2の移動距離を測定することによって、当該所定領域の長さを算出することができる。所定領域は左右の肩の間に限らず、体形推定が可能な身体のパーツであればどこでもよい。そして、所定部分の長さに応じて体型を推定することができる。取得指示情報が体型類型別に用意されている場合、取得指示情報調整部313は、最も近い体型類型を決定する。また、取得指示情報が標準体型のみ用意されている場合、取得指示情報調整部313は、当該標準体型と推定したユーザの体型との差分に応じて取得指示情報を補正する。
Further, in the above, the
以上、本発明の生体音取得プログラムは、各種の方法により生体音取得に適しているか否かを判断することができるので、ユーザが自身の端末2により生体音を取得したいときに適切なガイダンスが可能である。上記実施形態1~6で説明した方法は、1つまたは2つ以上を組み合わせて実施することとしてもよい。
As described above, since the biological sound acquisition program of the present invention can determine whether or not it is suitable for biological sound acquisition by various methods, appropriate guidance is provided when the user wants to acquire biological sound from his / her
上記で述べたいずれの実施形態においても、各ソフトウェア機能部の一部は、本システムの目的を実現することができる限りにおいて、ユーザ端末2、医師端末3、サーバ1のいずれに備えられていてもよい。
In any of the embodiments described above, a part of each software function unit is provided in any of the
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。 The embodiments described above are merely examples for facilitating the understanding of the present invention, and are not intended to limit the interpretation of the present invention. It goes without saying that the present invention can be modified and improved without departing from the spirit thereof, and the present invention includes its equivalents.
1 サーバ
2 ユーザ端末
3 医師端末
1
Claims (8)
前記生体音を含む音データを取得する音データ取得部と、
前記生体音の取得条件に合致するか否かを判定する判定部と、
前記判定結果を前記ユーザ端末に出力する通知部とを備える、生体音取得支援システム。 It is a biological sound acquisition support system that assists the user himself to acquire biological sound using a user terminal.
A sound data acquisition unit that acquires sound data including biological sounds,
A determination unit for determining whether or not the condition for acquiring biological sound is satisfied, and a determination unit.
A biological sound acquisition support system including a notification unit that outputs the determination result to the user terminal.
前記判定部は、前記評価結果に基づいて前記生体音の取得条件に合致するか否かを判定することを特徴とする、請求項1に記載の生体音取得支援システム。 It is further equipped with a sound evaluation unit that evaluates a specific sound component from the acquired sound data.
The biological sound acquisition support system according to claim 1, wherein the determination unit determines whether or not the biological sound acquisition condition is satisfied based on the evaluation result.
前記取得条件は前記生体音成分の音量に関する条件を含み、
前記判定部は、前記生体音成分の音量が前記取得条件を満たすか否かを判定することを特徴とする、請求項2に記載の生体音取得支援システム。 The sound evaluation unit evaluates the volume of the target biological sound component and evaluates the volume.
The acquisition condition includes a condition relating to the volume of the biological sound component, and includes the condition.
The biological sound acquisition support system according to claim 2, wherein the determination unit determines whether or not the volume of the biological sound component satisfies the acquisition condition.
前記取得条件は前記ノイズ成分の音量に関する条件を含み、
前記判定部は、前記ノイズ成分の音量が前記取得条件を満たすか否かを判定することを特徴とする、請求項2又は3に記載の生体音取得支援システム。 The sound evaluation unit evaluates the volume of the noise component and evaluates the volume.
The acquisition condition includes a condition relating to the volume of the noise component.
The biological sound acquisition support system according to claim 2 or 3, wherein the determination unit determines whether or not the volume of the noise component satisfies the acquisition condition.
前記取得条件は、前記生体音の取得時における前記ユーザ端末の適切な角度条件を含み、
前記判定部は、前記角度データが前記角度条件に合致するか否かを判定することを特徴とする、請求項1~4のいずれか1項に記載の生体音取得支援システム。 Further, an angle data acquisition unit for acquiring the angle data of the user terminal is provided.
The acquisition condition includes an appropriate angle condition of the user terminal at the time of acquisition of the biological sound.
The biological sound acquisition support system according to any one of claims 1 to 4, wherein the determination unit determines whether or not the angle data matches the angle condition.
前記取得条件は、前記生体音の取得位置情報を含み、
前記判定部は、前記端末位置情報が前記取得位置情報に合致するか否かを判定することを特徴とする、請求項1~5のいずれか1項に記載の生体音取得支援システム。 Further, a position calculation unit for calculating terminal position information accompanying the movement of the user terminal is provided.
The acquisition condition includes the acquisition position information of the biological sound, and includes the acquisition position information.
The biological sound acquisition support system according to any one of claims 1 to 5, wherein the determination unit determines whether or not the terminal position information matches the acquisition position information.
前記取得位置情報は、前記指示情報に基づいて生成されることを特徴とする、請求項6に記載の生体音取得支援システム。 Further provided with an instruction information input unit that accepts input of instruction information regarding the acquisition position of the user's biological sound by an expert.
The biological sound acquisition support system according to claim 6, wherein the acquisition position information is generated based on the instruction information.
前記体型に合わせて前記取得位置情報を調整する取得指示情報調整部とをさらに備えることを特徴とする、請求項6に記載の生体音取得支援システム。
A body shape estimation unit that estimates the user's body shape based on the user's input information,
The biological sound acquisition support system according to claim 6, further comprising an acquisition instruction information adjusting unit that adjusts the acquisition position information according to the body shape.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020128185A JP2022025395A (en) | 2020-07-29 | 2020-07-29 | Biological sound acquisition support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020128185A JP2022025395A (en) | 2020-07-29 | 2020-07-29 | Biological sound acquisition support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022025395A true JP2022025395A (en) | 2022-02-10 |
Family
ID=80264903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020128185A Pending JP2022025395A (en) | 2020-07-29 | 2020-07-29 | Biological sound acquisition support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022025395A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023238419A1 (en) * | 2022-06-07 | 2023-12-14 | サントリーホールディングス株式会社 | Mobile information terminal, information processing system, and control method and program for mobile information terminal |
WO2023238420A1 (en) * | 2022-06-07 | 2023-12-14 | サントリーホールディングス株式会社 | Sound recording device, information processing system, sound recording method, and program |
-
2020
- 2020-07-29 JP JP2020128185A patent/JP2022025395A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023238419A1 (en) * | 2022-06-07 | 2023-12-14 | サントリーホールディングス株式会社 | Mobile information terminal, information processing system, and control method and program for mobile information terminal |
WO2023238420A1 (en) * | 2022-06-07 | 2023-12-14 | サントリーホールディングス株式会社 | Sound recording device, information processing system, sound recording method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8781791B2 (en) | Touchscreen with dynamically-defined areas having different scanning modes | |
US8768648B2 (en) | Selection of display power mode based on sensor data | |
US8751194B2 (en) | Power consumption management of display in portable device based on prediction of user input | |
US8125314B2 (en) | Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream | |
JP5562350B2 (en) | System and method for enhancing human relaxation | |
EP3868293B1 (en) | System and method for monitoring pathological breathing patterns | |
EP3254213A1 (en) | Pain management wearable device | |
CN109906052B (en) | Device comprising a blood pressure sensor and method for controlling the device | |
WO2013089072A1 (en) | Information management device, information management method, information management system, stethoscope, information management program, measurement system, control program and recording medium | |
JP2022025395A (en) | Biological sound acquisition support system | |
WO2021090817A1 (en) | Information processing device, information processing method, and program | |
JP2024012497A (en) | Communication methods and systems | |
CN112512411A (en) | Context aware respiration rate determination using an electronic device | |
CN110134245A (en) | A kind of eye control device and eye prosecutor method based on EOG and attitude transducer | |
CN104146684A (en) | Blinder type dizziness detector | |
CN115919422A (en) | Attitude control method and apparatus, electronic device, and storage medium | |
US20210202078A1 (en) | Patient-Observer Monitoring | |
KR102390599B1 (en) | Method and apparatus for training inner concentration | |
US10983808B2 (en) | Method and apparatus for providing emotion-adaptive user interface | |
JP7209954B2 (en) | Nystagmus analysis system | |
KR102600897B1 (en) | Electronic apparatus and controlling method thereof | |
CN109833037B (en) | Equipment for monitoring blood pressure state and computer readable storage medium | |
KR20170086344A (en) | Electronic device and control method thereof | |
WO2021182455A1 (en) | Information processing method, computer program, information processing device, and information processing system | |
JP2005305132A (en) | Apparatus operation unit, display, environment control system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240610 |