JP2018161462A - Information processing method, information processing device, and program - Google Patents

Information processing method, information processing device, and program Download PDF

Info

Publication number
JP2018161462A
JP2018161462A JP2017224454A JP2017224454A JP2018161462A JP 2018161462 A JP2018161462 A JP 2018161462A JP 2017224454 A JP2017224454 A JP 2017224454A JP 2017224454 A JP2017224454 A JP 2017224454A JP 2018161462 A JP2018161462 A JP 2018161462A
Authority
JP
Japan
Prior art keywords
data
measurement
unit
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017224454A
Other languages
Japanese (ja)
Other versions
JP7065447B2 (en
Inventor
一弘 渡邉
Kazuhiro Watanabe
一弘 渡邉
北村 朋彦
Tomohiko Kitamura
朋彦 北村
靖雄 孝橋
Yasuo Takahashi
靖雄 孝橋
山岡 勝
Masaru Yamaoka
勝 山岡
田中 聡明
Toshiaki Tanaka
聡明 田中
増田 健司
Kenji Masuda
健司 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/915,008 priority Critical patent/US11185235B2/en
Priority to CN201810228173.7A priority patent/CN108662728B/en
Publication of JP2018161462A publication Critical patent/JP2018161462A/en
Application granted granted Critical
Publication of JP7065447B2 publication Critical patent/JP7065447B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately grasp a biological state of a measurement object person.SOLUTION: An information processing device acquires measurement data for calculating biological information on a measurement object person from a measuring part that performs measurement in a non-contact manner; classifies the measurement data into groups according to at least a posture of the measurement object person based on the content of the acquired measurement data; calculates the biological information from the classified measurement data; compares the calculated biological information with a reference value corresponding to a group that the measurement data belongs to; and causes an information presentation part to carry out notification on the basis of the comparison.SELECTED DRAWING: Figure 3

Description

本開示は、測定対象者の生体状態を把握する技術に関するものである。   The present disclosure relates to a technique for grasping a biological state of a measurement subject.

近年、非接触で測定対象者の生体情報を感知する技術開発が行われている。例えば、特許文献1には、在室者に快適な空調を行うことを目的として、室内の撮像画像と室内の温度分布画像とを取得し、撮像画像を基に顔位置を算定し、顔位置から所定の距離離れた位置の温度情報を温度分布画像から取得し、取得した温度情報にしたがって空調制御を行う空気調和機が開示されている。   In recent years, technology development for sensing biological information of a measurement subject in a non-contact manner has been performed. For example, in Patent Document 1, for the purpose of performing comfortable air conditioning for a room occupant, an indoor captured image and an indoor temperature distribution image are acquired, the face position is calculated based on the captured image, and the face position is calculated. An air conditioner that acquires temperature information at a position away from a predetermined distance from a temperature distribution image and performs air-conditioning control according to the acquired temperature information is disclosed.

また、特許文献2には、乗員の顔の向きを考慮して、乗員の顔の温度を安定して算出することを目的として、下記の技術が開示されている。すなわち、特許文献2には、IR(InfraRed)カメラで得られた温度分布マップから、乗員の顔領域を抽出し、顔領域の中央領域と中央領域を挟んで顔領域の左右に位置する周辺領域との面積が同等になるように各領域の寄与度を調整し、調整した寄与度に基づいて乗員の顔温度を算出する技術が開示されている。   Patent Document 2 discloses the following technique for the purpose of stably calculating the temperature of the occupant's face in consideration of the orientation of the occupant's face. That is, in Patent Document 2, a passenger's face area is extracted from a temperature distribution map obtained by an IR (InfraRed) camera, and a peripheral area located on the left and right sides of the face area with the central area and the central area in between. A technique is disclosed in which the contribution of each region is adjusted such that the area of the occupant is equal, and the face temperature of the occupant is calculated based on the adjusted contribution.

特開2009−119896号公報Japanese Unexamined Patent Publication No. 2009-11989 特開2015−55393号公報Japanese Patent Laying-Open No. 2015-55393

しかし、従来技術では、測定対象者の生体状態を正確に把握することが困難な場合があった。人体毎に身体の血流状態は異なっており、例えば、半身麻痺の人体は、麻痺側の体部温度が極端に低いといったことが知られている。そのため、特許文献2で開示されるように中央領域と周辺領域との面積が同等になるように各領域の寄与度を調整して顔部の体温を測定するだけでは、人体の体温の変化を正確に把握することが困難である。   However, in the prior art, it may be difficult to accurately grasp the biological state of the measurement subject. For example, it is known that the temperature of the body part on the paralyzed side is extremely low in a human body with half body paralysis. Therefore, as disclosed in Patent Document 2, just by measuring the body temperature of the face by adjusting the contribution of each region so that the areas of the central region and the peripheral region are equal, the change in the body temperature of the human body can be reduced. It is difficult to grasp accurately.

特許文献1で開示される発明は、顔位置から所定距離離れた位置の温度を検出しているため、人体自身の体温を正確に把握することが困難である。   Since the invention disclosed in Patent Document 1 detects the temperature at a position away from the face position by a predetermined distance, it is difficult to accurately grasp the body temperature of the human body itself.

本開示の目的は、測定対象者の生体状態を正確に把握することができる技術を提供することである。   The objective of this indication is providing the technique which can grasp | ascertain the biological condition of a measurement subject correctly.

本開示の一態様に係る情報処理方法は、コンピュータを用いて、測定対象者の生体情報を算出するための測定データを、非接触で測定する測定部から取得し、
取得された前記測定データの内容に基づいて、前記測定データを前記測定対象者の少なくとも姿勢に応じたグループに分類し、前記分類された測定データから前記生体情報を算出し、前記算出した生体情報を前記測定データが属しているグループに対応する基準値と比較し、
前記比較に基づく通知を情報提示部にさせる、ものである。
An information processing method according to an aspect of the present disclosure uses a computer to acquire measurement data for calculating biological information of a measurement target person from a measurement unit that performs measurement without contact,
Based on the content of the acquired measurement data, the measurement data is classified into a group corresponding to at least the posture of the measurement subject, the biological information is calculated from the classified measurement data, and the calculated biological information To the reference value corresponding to the group to which the measurement data belongs,
A notification based on the comparison is made to be made to an information presenting unit.

本開示の実施形態によれば、測定対象者の生体状態を正確に把握することができる。   According to the embodiment of the present disclosure, it is possible to accurately grasp the biological state of the measurement subject.

実施の形態1にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。It is a figure which shows the outline | summary of the biometric information sensing apparatus to which the information processing apparatus concerning Embodiment 1 was applied. 生体情報感知装置の接続構成の一例を示す図である。It is a figure which shows an example of the connection structure of a biometric information sensing apparatus. 実施の形態1にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。It is a figure which shows the structure of the function of the biometric information sensing apparatus to which the information processing apparatus concerning Embodiment 1 was applied. 学習フェーズにおけるデータ処理方法を説明する図である。It is a figure explaining the data processing method in a learning phase. 検出フェーズにおけるデータ処理方法を説明する図である。It is a figure explaining the data processing method in a detection phase. 図5に続く、検出フェーズにおけるデータ処理方法を説明する図である。FIG. 6 is a diagram illustrating a data processing method in a detection phase following FIG. 5. 検出フェーズにおける情報処理装置の処理の一例を示すフローチャートである。It is a flowchart which shows an example of a process of the information processing apparatus in a detection phase. 実施の形態2にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。It is a figure which shows the outline | summary of the biometric information sensing apparatus with which the information processing apparatus concerning Embodiment 2 was applied. 実施の形態2にかかる情報処理装置が適用された生体情報感知装置の機能構成の一例を示す図である。It is a figure which shows an example of a function structure of the biometric information sensing apparatus with which the information processing apparatus concerning Embodiment 2 was applied. 学習フェーズにおけるデータ処理方法を説明する図である。It is a figure explaining the data processing method in a learning phase. 検出フェーズにおけるデータ処理方法を説明する図である。It is a figure explaining the data processing method in a detection phase. 図11に続く、検出フェーズにおけるデータ処理方法を説明する図である。FIG. 12 is a diagram illustrating a data processing method in a detection phase following FIG. 11. 本開示の変形例2にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。It is a figure which shows the outline | summary of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 2 of this indication was applied. 本開示の変形例3にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。It is a figure which shows the structure of the function of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 3 of this indication was applied. 本開示の変形例3にかかる情報処理装置が適用された生体情報感知装置の接続構成の一例を示す図である。It is a figure showing an example of connection composition of a living body information sensing device to which an information processor concerning modification 3 of this indication was applied. 本開示の変形例4にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。It is a figure which shows the structure of the function of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 4 of this indication was applied. 本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。It is a figure which shows the structure of the function of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 5 of this indication was applied. 本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の接続構成の第一例を示す図である。It is a figure which shows the 1st example of the connection structure of the biometric information sensing apparatus to which the information processing apparatus concerning the modification 5 of this indication was applied. 本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の接続構成の第二例を示す図である。It is a figure which shows the 2nd example of the connection structure of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 5 of this indication was applied. 本開示の変形例6にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。It is a figure which shows the connection structure of the biometric information sensing apparatus to which the information processing apparatus concerning the modification 6 of this indication was applied. 本開示の変形例7にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。It is a figure which shows the connection structure of the biometric information sensing apparatus to which the information processing apparatus concerning the modification 7 of this indication was applied. 本開示の変形例8にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。It is a figure which shows the connection structure of the biometric information sensing apparatus to which the information processing apparatus concerning the modification 8 of this indication was applied. 本開示の変形例9にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。It is a figure which shows the outline | summary of the biometric information sensing apparatus with which the information processing apparatus concerning the modification 9 of this indication was applied.

(本開示の基礎となる知見)
高齢者介護においては、高齢者の日々の体調管理を行う上で、生活状況や体温の変化を記録管理することが必須とされている。そこで、人体の体温等の生体情報を周期的に測定し、測定値を基準値と比較し、異常等の変化があれば通知する体調管理システムが検討されている。
(Knowledge that forms the basis of this disclosure)
In elderly care, it is essential to record and manage changes in living conditions and body temperature when performing daily physical condition management of the elderly. Therefore, a physical condition management system that periodically measures biological information such as the body temperature of a human body, compares the measured value with a reference value, and notifies if there is a change in abnormality or the like has been studied.

従来、人体の体温を測定する手段として、体温計や放射熱センサーが知られている。これらの手段は、腋下や内耳や顔正面等の人体の特定部位を測定することで体温を把握する。   Conventionally, a thermometer and a radiant heat sensor are known as means for measuring the body temperature of a human body. These means grasp the body temperature by measuring specific parts of the human body such as the armpit, the inner ear, and the face front.

しかし、これらの接触式の手段を体調管理システムに適用した場合、腋下部に体温計を接触させて体温を測定したり、内耳体温計等の人体に接触させる専用の機器を用いて体温を測定したりする必要がある。そのため、測定対象者に静止してもらったり、測定者が付き添った上で測定対象者の体温を測定したりする必要がある。その結果、測定者及び測定対象者ともに負担がかかるといった問題がある。   However, when these contact-type means are applied to a physical condition management system, the body temperature is measured by bringing a thermometer into contact with the lower part of the heel, or the body temperature is measured using a dedicated device that makes contact with the human body such as an inner ear thermometer. There is a need to. For this reason, it is necessary to have the subject of measurement stand still, or to measure the body temperature of the subject of measurement with the attendant. As a result, there is a problem that both the measurer and the measurement subject are burdened.

そこで、非接触で体温を計測する熱画像センサを用いて体温計測を行う特許文献2の手法を体調管理を行うシステムに適用することが考えられる。ここで、特許文献2では、各領域の寄与度を調整することで最終的に一つの体温が算出されているので、特許文献2の手法が適用された体調管理システムは、変化の有無を検出するための基準体温も一つ準備しておけば済む。   Therefore, it is conceivable to apply the technique of Patent Document 2 in which body temperature is measured using a thermal image sensor that measures body temperature in a non-contact manner to a system for managing physical condition. Here, in Patent Document 2, since one body temperature is finally calculated by adjusting the contribution of each region, the physical condition management system to which the method of Patent Document 2 is applied detects the presence or absence of a change. You only need to prepare one reference body temperature to do.

しかし、半身麻痺の人体は、麻痺側の体温と麻痺していない側の体温とが大きく相違している。そのため、一つの基準体温を用いて体温の変化の有無を検出すると、測定対象者が測定時にとっている姿勢によって麻痺側の体温が測定された場合、本来は発熱しているにも拘わらず、測定した体温が基準体温をよりも低いために例えば平熱と誤判定される可能性がある。また、測定対象者が検出時にとっている姿勢によって麻痺していない側の体温が測定された場合、本来は平熱であるにも拘わらず、測定した体温が基準体温よりも高いため例えば発熱していると誤判定される可能性がある。   However, the body temperature on the paralyzed side is greatly different from the body temperature on the non-paralyzed side. Therefore, when the presence or absence of a change in body temperature is detected using a single reference body temperature, if the body temperature on the paralyzed side is measured according to the posture that the measurement subject is at the time of measurement, the measurement is performed despite the fact that the body temperature is originally fever For example, since the body temperature is lower than the reference body temperature, it may be erroneously determined as normal heat. In addition, when the body temperature on the side that is not paralyzed is measured by the posture that the measurement subject takes at the time of detection, because the measured body temperature is higher than the reference body temperature, for example, the body temperature is normal, but heat is generated. May be erroneously determined.

本開示は、このような問題を解決するためになされたものであり、測定対象者及び測定者ともに負担をかけずに、測定対象者の生体状態を正確に把握することができる技術を提供することである。   This indication is made in order to solve such a problem, and provides the technique which can grasp | ascertain the biological condition of a measuring object person correctly, without putting a burden on both a measuring object person and a measurement person. That is.

本開示の一態様に係る情報処理装置は、コンピュータを用いて、測定対象者の生体情報を算出するための測定データを、非接触で測定する測定部から取得し、
取得された前記測定データの内容に基づいて、前記測定データを前記測定対象者の少なくとも姿勢に応じたグループに分類し、前記分類された測定データから前記生体情報を算出し、前記算出した生体情報を前記測定データが属しているグループに対応する基準値と比較し、
前記比較に基づく通知を情報提示部にさせる、ものである。
An information processing apparatus according to an aspect of the present disclosure uses a computer to acquire measurement data for calculating biological information of a measurement target person from a measurement unit that performs measurement without contact,
Based on the content of the acquired measurement data, the measurement data is classified into a group corresponding to at least the posture of the measurement subject, the biological information is calculated from the classified measurement data, and the calculated biological information To the reference value corresponding to the group to which the measurement data belongs,
A notification based on the comparison is made to be made to an information presenting unit.

本態様によれば、測定部で測定された測定データが測定対象者の姿勢に基づいたグループに分類され、分類されたグループに対応する基準値と分類された測定データとを比較され、比較に基づく通知が行われる。そのため、測定時にとる測定対象者の姿勢に拘わらず測定対象者の生体状態を正確に把握した上で、通知を行うことができる。言い換えると、誤った通知についての処理の発生を低減することができる。したがって、通知についての処理負荷を低下させることができる。また、本態様によれば、生体情報が非接触で測定されているので、測定対象者及び測定者ともに負担をかけずに、生体状態を把握できる。   According to this aspect, the measurement data measured by the measurement unit is classified into groups based on the posture of the measurement target person, the reference value corresponding to the classified group is compared with the classified measurement data, and compared. Based notifications are made. Therefore, the notification can be made after accurately grasping the biological state of the measurement subject regardless of the posture of the measurement subject taken at the time of measurement. In other words, it is possible to reduce the occurrence of processing for erroneous notification. Therefore, it is possible to reduce the processing load for notification. Moreover, according to this aspect, since the biological information is measured in a non-contact manner, it is possible to grasp the biological state without imposing a burden on both the measurement subject and the measurement person.

上記態様において、前記測定データの分類においては、前記測定データの内容に基づく前記測定データの前記グループへの分類を機械学習した機械学習モデルを用いて前記測定データを前記グループに分類し、
前記基準値は、前記機械学習において、前記グループに分類された前記測定データから算出された前記グループの前記生体情報の代表値であってもよい。
これにより、機械学習モデルにより測定データの分類が行われるため、ルールベースの分類に比べて、より適切な分類ができる。また、実際に分類された測定データから基準値が決定されるため、より正確な基準値を上記比較の処理に用いることができる。
In the above aspect, in the classification of the measurement data, the measurement data is classified into the group using a machine learning model in which the measurement data is classified into the group based on the content of the measurement data.
The reference value may be a representative value of the biological information of the group calculated from the measurement data classified into the group in the machine learning.
Thereby, since the measurement data is classified by the machine learning model, more appropriate classification can be performed as compared with the rule-based classification. Further, since the reference value is determined from the actually classified measurement data, a more accurate reference value can be used for the comparison process.

上記態様において、前記情報処理方法は、さらに、
前記測定データの内容に基づく前記測定データの前記グループへの分類を前記機械学習モデルに機械学習させ、
前記機械学習において、前記グループに分類された測定データから前記グループの前記生体情報の代表値を、前記グループの前記基準値として算出してもよい。
In the above aspect, the information processing method further includes:
Classifying the measurement data into the group based on the content of the measurement data in the machine learning model,
In the machine learning, a representative value of the biological information of the group may be calculated from the measurement data classified into the group as the reference value of the group.

本態様によれば、グループ毎に分類された測定データからグループ毎の生体情報の代表値が機械学習によって算出され、その代表値が基準値として算出されているので、測定対象者に適したグループ毎の基準値を算出できる。   According to this aspect, since the representative value of the biological information for each group is calculated by machine learning from the measurement data classified for each group, and the representative value is calculated as the reference value, the group suitable for the measurement target person Each reference value can be calculated.

上記態様において、前記測定部は、熱画像センサであり、
前記生体情報は、体温であり、
前記測定データは、前記熱画像センサで得られた熱画像データであり、
前記測定データの分類においては、前記熱画像センサにより得られた前記熱画像データに含まれる前記測定対象者を表す領域の特徴に基づいて前記熱画像データを前記グループに分類し、
前記比較においては、前記分類された熱画像データから前記測定対象者の体温を算出し、前記算出した体温と、前記分類された熱画像データが属するグループに対応する基準値とを比較してもよい。
In the above aspect, the measurement unit is a thermal image sensor,
The biological information is body temperature,
The measurement data is thermal image data obtained by the thermal image sensor,
In the classification of the measurement data, the thermal image data is classified into the group based on the characteristics of the region representing the measurement subject included in the thermal image data obtained by the thermal image sensor,
In the comparison, the body temperature of the measurement subject is calculated from the classified thermal image data, and the calculated body temperature is compared with a reference value corresponding to a group to which the classified thermal image data belongs. Good.

本態様によれば、測定部は熱画像センサで構成されているので、測定対象者の生体状態を正確に把握できる。   According to this aspect, since the measurement part is comprised with the thermal image sensor, it can grasp | ascertain the biological condition of a measurement subject correctly.

上記態様において、前記測定部は、電波センサであり、
前記生体情報は、前記測定対象者の体動値、呼吸数、及び心拍数の少なくとも1つを含む活動量であり、
前記測定データは、前記電波センサにより得られた前記活動量を示す活動量データであり、
前記測定データの分類においては、前記電波センサにより得られた前記活動量データの波形情報に基づいて前記活動量データを前記グループに分類し、
前記比較においては、前記分類された活動量データから前記測定対象者の前記活動量を算出し、前記算出した活動量と、前記分類された活動量データが属するグループに対応する基準値とを比較してもよい。
In the above aspect, the measurement unit is a radio wave sensor,
The biological information is an activity amount including at least one of a body motion value, a respiratory rate, and a heart rate of the measurement subject,
The measurement data is activity amount data indicating the activity amount obtained by the radio wave sensor,
In the classification of the measurement data, the activity data is classified into the group based on waveform information of the activity data obtained by the radio wave sensor,
In the comparison, the activity amount of the measurement subject is calculated from the classified activity amount data, and the calculated activity amount is compared with a reference value corresponding to a group to which the classified activity amount data belongs. May be.

本態様によれば、測定部は電波センサで構成されているので、測定対象者の体動値、呼吸数、及び心拍数の少なくとも1つを精度良く検出できる。   According to this aspect, since the measurement unit is configured by the radio wave sensor, it is possible to accurately detect at least one of the body motion value, the respiratory rate, and the heart rate of the measurement subject.

上記態様において、前記グループのいずれにも該当しない前記測定データの個数が基準個数を超えた場合、前記機械学習モデルの再学習を促す情報を生成してもよい。   In the above aspect, when the number of the measurement data that does not correspond to any of the groups exceeds a reference number, information that prompts relearning of the machine learning model may be generated.

本態様によれば、測定データを基準値と比較するに処理の実行中に、機械学習で分類されたいずれの姿勢にも該当しない測定データの個数が基準個数を超えた場合、機械学習モデルの再学習を促す情報が生成される。そのため、例えば、この情報を認識した管理者は、機械学習を再実行させることができる。これにより、測定データを基準値と比較する処理の実行中に、機械学習時には見られなかった姿勢を測定対象者がとるようになったとしても、測定対象者の生体状態を正確に把握できる。   According to this aspect, if the number of measurement data that does not correspond to any posture classified by machine learning exceeds the reference number during execution of the process for comparing the measurement data with the reference value, the machine learning model Information that encourages relearning is generated. Therefore, for example, an administrator who has recognized this information can re-execute machine learning. As a result, even if the measurement subject comes to take a posture that was not seen during machine learning during the process of comparing the measurement data with the reference value, the biological state of the measurement subject can be accurately grasped.

上記態様において、前記情報処理方法は、さらに、前記測定データに対する測定時刻を示す時刻データを取得し、
前記比較においては、前記時刻データに基づいて前記測定データが所定の時間帯に測定されたか否かを判定し、前記測定データが前記所定の時間帯に測定されたと判定された場合、前記比較を実行してもよい。
In the above aspect, the information processing method further acquires time data indicating a measurement time for the measurement data,
In the comparison, it is determined whether or not the measurement data is measured in a predetermined time zone based on the time data. When it is determined that the measurement data is measured in the predetermined time zone, the comparison is performed. May be executed.

本態様によれば、測定データが所定の時間帯に属している場合、比較する処理が実行されるので、例えば、測定対象者の状態が安定している時間帯に測定された測定データを用いて比較する処理を行うことができ、生体情報をより正確に把握することができる。   According to this aspect, when the measurement data belongs to a predetermined time zone, the comparison process is executed. For example, the measurement data measured during the time zone in which the state of the measurement subject is stable is used. Can be compared, and biological information can be grasped more accurately.

上記態様において、前記姿勢は、前記測定対象者の体の向きであってもよい。
これにより、測定対象者の体の向きに応じたグループに測定データを分類することができる。ここで、血流などの身体の特徴は体の向きによって異なるため、測定データ、すなわち、体温などの生体情報の基準値も体の向きによって異なる。したがって、適切な基準値を用いて測定対象者に異常がないかを判定することができる。
In the above aspect, the posture may be a body orientation of the measurement subject.
Thereby, measurement data can be classified into groups according to the direction of the body of the measurement subject. Here, since the characteristics of the body such as blood flow vary depending on the orientation of the body, the measurement data, that is, the reference value of biological information such as body temperature also varies depending on the orientation of the body. Therefore, it can be determined whether there is an abnormality in the measurement subject using an appropriate reference value.

上記態様において、前記比較に基づく通知は、前記生体情報と前記基準値との比較結果、又は前記測定対象者の異常であってもよい。
これにより、情報提示部の通知を受けることができる人に測定対象者の異常を気づかせることができる。
In the above aspect, the notification based on the comparison may be a comparison result between the biological information and the reference value, or an abnormality of the measurement subject.
Thereby, the person who can receive the notification of the information presenting unit can be made aware of the abnormality of the measurement subject.

上記態様は、構成する処理手段をステップとする方法として実現できる。そして、本開示は、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現できる。さらに、本開示は、そのプログラムを記憶したCD−ROM等のコンピュータ読み取り可能な記憶媒体として実現できる。   The said aspect is realizable as a method which uses the process means to comprise as a step. And this indication is realizable as a program which makes a computer perform the step contained in the method. Furthermore, this indication is realizable as computer-readable storage media, such as CD-ROM which memorize | stored the program.

(実施の形態1)
図1は、実施の形態1にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。図1において、感知装置101は熱画像センサーを含み、寝具107が配置された寝室等の居室内に配置されている。感知装置101は、例えば、空気調和機105と並んで設置されている。感知装置101は、例えば、空気調和機105の側面近傍に配置するというようにして、目立たない位置に配置することが好ましい。感知装置101は、例えば、寝具107の全域が計測範囲に含まれるように居室に設置されている。
(Embodiment 1)
FIG. 1 is a diagram illustrating an outline of a biological information sensing device to which the information processing apparatus according to the first embodiment is applied. In FIG. 1, a sensing device 101 includes a thermal image sensor and is disposed in a living room such as a bedroom in which a bedding 107 is disposed. The sensing device 101 is installed side by side with the air conditioner 105, for example. It is preferable to arrange the sensing device 101 in an inconspicuous position, for example, in the vicinity of the side surface of the air conditioner 105. The sensing device 101 is installed in a living room, for example, so that the entire area of the bedding 107 is included in the measurement range.

感知装置101は、人体106(測定対象者の一例)を含む居室内の熱分布を示す熱画像データを取得する。感知装置101は、取得した熱画像データをゲートウェイ(以下GWとする)104を介し、情報処理装置102に送信する。情報処理装置102は、熱画像データを人体106の姿勢に基づくグループ毎に分類して管理する。なお、GW104はルーターとも称される。   The sensing device 101 acquires thermal image data indicating a heat distribution in a room including a human body 106 (an example of a measurement target person). The sensing device 101 transmits the acquired thermal image data to the information processing device 102 via a gateway (hereinafter referred to as GW) 104. The information processing apparatus 102 manages thermal image data by classifying it into groups based on the posture of the human body 106. The GW 104 is also referred to as a router.

ここで、居室は、例えば、高齢者介護施設において介護対象者である人体106が滞在する一室であってもよいし、人体106が住む住宅の一室であってもよい。   Here, the living room may be, for example, one room where the human body 106 who is a care recipient stays in an elderly care facility, or may be one room where the human body 106 lives.

情報処理装置102は、グループ毎に分類された熱画像データと今回測定した熱画像データとを比較することで、人体106の体温の変化を検出すると、GW104を介して、人体106の体温に異常が見られたこと示すアラーティング情報を情報表示装置103に送信する。情報表示装置103は、アラーティング情報を受信すると、アラートを発報する。これにより、人体106の管理者は、人体106の体温に異常があったことを認識する。   When the information processing apparatus 102 detects a change in the body temperature of the human body 106 by comparing the thermal image data classified for each group with the thermal image data measured this time, the body temperature of the human body 106 is abnormally detected via the GW 104. Is transmitted to the information display apparatus 103. When the information display device 103 receives the alerting information, the information display device 103 issues an alert. Thereby, the administrator of the human body 106 recognizes that the body temperature of the human body 106 is abnormal.

人体106の管理人としては、例えば、人体106を介護する介護人や、介護施設の管理人が採用できる。   As a manager of the human body 106, for example, a caregiver who cares for the human body 106 or a manager of a care facility can be employed.

図2は、生体情報感知装置の接続構成の一例を示す図である。図2に示すように、生体情報感知装置は、感知装置101と、情報処理装置102と、情報表示装置103と、GW104とを含む。感知装置101と情報処理装置102と情報表示装置103とは、それぞれ、所定のネットワークを介してGW104と接続されている。所定のネットワークとしては、例えば、有線LANや無線LANや両者が混在するLANが採用される。   FIG. 2 is a diagram illustrating an example of a connection configuration of the biological information sensing device. As shown in FIG. 2, the biological information sensing device includes a sensing device 101, an information processing device 102, an information display device 103, and a GW 104. The sensing device 101, the information processing device 102, and the information display device 103 are each connected to the GW 104 via a predetermined network. As the predetermined network, for example, a wired LAN, a wireless LAN, or a LAN in which both are mixed is adopted.

図3は実施の形態1にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。生体情報感知装置は、感知装置101に相当する感知部101A、情報処理装置102に相当する情報処理部102A、情報表示装置103に相当する情報表示部103Aとを含む。   FIG. 3 is a diagram illustrating a functional configuration of the biological information sensing device to which the information processing apparatus according to the first embodiment is applied. The biological information sensing device includes a sensing unit 101A corresponding to the sensing device 101, an information processing unit 102A corresponding to the information processing device 102, and an information display unit 103A corresponding to the information display device 103.

感知部101A(測定部の一例)は、センサ部301と、送信部302とを含み、生体情報を非接触で測定する。センサ部301は、例えば、熱画像センサで構成され、所定のサンプリング周期で人体106の居室を撮像することで、熱画像データ(測定データの一例)を取得する。送信部302は、例えば、無線LAN又は有線LANの通信回路で構成され、センサ部301で取得された熱画像データを所定のサンプリング周期で情報処理部102Aに送信する。   The sensing unit 101A (an example of a measurement unit) includes a sensor unit 301 and a transmission unit 302, and measures biological information without contact. The sensor unit 301 is composed of, for example, a thermal image sensor, and acquires thermal image data (an example of measurement data) by imaging a room of the human body 106 at a predetermined sampling period. The transmission unit 302 is configured by a wireless LAN or wired LAN communication circuit, for example, and transmits the thermal image data acquired by the sensor unit 301 to the information processing unit 102A at a predetermined sampling period.

情報処理部102Aは、受信部303、時刻データ付与部304、データ分類部305、データ管理部306、変化検出部307、送信部308、及びDB部311を含む。   The information processing unit 102 </ b> A includes a reception unit 303, a time data adding unit 304, a data classification unit 305, a data management unit 306, a change detection unit 307, a transmission unit 308, and a DB unit 311.

受信部303(取得部の一例)は、例えば、無線LAN又は有線LANの通信回路で構成され、感知部101Aから送信された熱画像データを所定のサンプリング周期で受信する。   The reception unit 303 (an example of an acquisition unit) is configured by, for example, a wireless LAN or wired LAN communication circuit, and receives thermal image data transmitted from the sensing unit 101A at a predetermined sampling period.

時刻データ付与部304は、受信部303で受信された熱画像データに対して、測定時刻を付与する。ここで、測定時刻としては、例えば、受信部303が熱画像データを取得したときの取得時刻が付与される。また、測定時刻は、例えば、年/月/日/時/分/秒を表すデータで構成される。   The time data assigning unit 304 assigns a measurement time to the thermal image data received by the receiving unit 303. Here, as the measurement time, for example, the acquisition time when the reception unit 303 acquires the thermal image data is given. The measurement time is constituted by data representing year / month / day / hour / minute / second, for example.

データ分類部305は、姿勢に基づくグループを学習する学習フェーズにおいて、時刻データ付与部304により時刻データが付与された熱画像データを順次に取得することで複数の熱画像データを取得する。そして、データ分類部305は、取得した複数の熱画像データのそれぞれに含まれる人体106を表す領域の特徴に基づいて熱画像データを分類することでグループを学習する。画素の特徴としては、人体106を表す領域の輪郭やその領域を構成する温度分布が採用される。   The data classification unit 305 acquires a plurality of thermal image data by sequentially acquiring the thermal image data to which the time data is added by the time data adding unit 304 in the learning phase for learning the group based on the posture. Then, the data classification unit 305 learns a group by classifying the thermal image data based on the characteristics of the region representing the human body 106 included in each of the plurality of acquired thermal image data. As a feature of the pixel, an outline of a region representing the human body 106 and a temperature distribution constituting the region are employed.

ここで、データ分類部305は、例えば、機械学習によりグループを学習すればよい。ここで、機械学習としては、例えば、ニューラルネットワークを用いた教師あり機械学習又は教師なし機械学習が採用されればよい。教師あり機械学習の場合、データ分類部305は、例えば、各熱画像データに対して事前に与えられた姿勢に基づくグループを識別するグループ識別子が出力されるようにニューラルネットワークの重み係数を学習すればよい。   Here, the data classification unit 305 may learn a group by machine learning, for example. Here, as machine learning, for example, supervised machine learning or unsupervised machine learning using a neural network may be employed. In the case of supervised machine learning, for example, the data classifying unit 305 learns a weighting factor of a neural network so that a group identifier for identifying a group based on a posture given in advance to each thermal image data is output. That's fine.

ここで、事前に与えられた姿勢としては、例えば、人体106の向きが採用できる。人体106の向きとしては、例えば、人体106を正面から見た向きを示す「前」と、人体106を正面を基準に左側から見た向きを示す「左」と、人体106を正面を基準に右側から見た向きを示す「右」と、人体106を背中から見た向きを示す「後」との最低4パターンが採用できる。更に、人体106の向きとしては、例えば、前後左右の4パターンのそれぞれにおける奥行のパターンが加えられてもよい。奥行きのパターンとしては、例えば、熱画像センサとの距離を段階的に分けたパターンが採用できる。この場合、奥行きのパターンとしては、例えば、「近い」、「普通」、「遠い」といったパターンが採用できる。人体106の向きとして前後左右の4パターンがあり、人体106の奥行きとして「近い」、「普通」、「遠い」の3パターンがあるとすると、熱画像データは姿勢及び奥行きに応じて、4×3=12の12のグループに分類されることになる。ここで、奥行きを考慮するのは、熱画像センサから人体106までの距離が離れるほど熱画像センサの計測精度が低下することを考慮したからである。なお、人体106の向きとしては、上記の4パターン以外の向き(例えば、右斜め前方、左斜め前方、右斜め後方、左斜め後方)が加えられても良いし、上記4パターンのうちいずれか1つ又は複数が省かれても良い。   Here, for example, the orientation of the human body 106 can be adopted as the posture given in advance. As the orientation of the human body 106, for example, “front” indicating the orientation of the human body 106 as viewed from the front, “left” indicating the orientation of the human body 106 as viewed from the left with respect to the front, and the human body 106 with respect to the front. At least four patterns of “right” indicating the direction viewed from the right side and “rear” indicating the direction of the human body 106 viewed from the back can be adopted. Furthermore, as the orientation of the human body 106, for example, a depth pattern in each of the four patterns of front, rear, left, and right may be added. As the depth pattern, for example, a pattern in which the distance from the thermal image sensor is divided in stages can be adopted. In this case, as the depth pattern, for example, a pattern such as “near”, “normal”, and “far” can be adopted. Assuming that the human body 106 has four patterns of front, back, left, and right, and the human body 106 has three patterns of “near”, “normal”, and “far”, the thermal image data is 4 × depending on the posture and depth. It will be classified into 12 groups of 3 = 12. Here, the depth is taken into consideration because the measurement accuracy of the thermal image sensor decreases as the distance from the thermal image sensor to the human body 106 increases. As the orientation of the human body 106, a direction other than the above four patterns (for example, right diagonally forward, left diagonally forward, right diagonally backward, and left diagonally rear) may be added, or any one of the above four patterns One or more may be omitted.

また、教師なし機械学習を採用する場合、データ分類部305は、通常のニューラルネットワークよりも階層数が多いディープニューラルネットワークを採用すればよい。ディープニューラルネットワークを採用した場合、事前に姿勢及び奥行きを設定しなくても、データ分類部305は、熱画像データに含まれる人体106を示す領域の特徴にしたがって、熱画像データを分類することで、グループを学習できる。   When employing unsupervised machine learning, the data classifying unit 305 may employ a deep neural network having a higher number of layers than a normal neural network. When the deep neural network is adopted, the data classification unit 305 classifies the thermal image data according to the characteristics of the region indicating the human body 106 included in the thermal image data without setting the posture and depth in advance. Can learn groups.

なお、データ分類部305は、機械学習以外の手法を用いてグループを学習してもよい。機械学習以外の手法を採用する場合、データ分類部305は、まず、熱画像データから人体106の領域を抽出する。この場合、例えば、データ分類部305は、熱画像データからHOG(Histograms of Oriented Gradients)特徴量を算出し、HOG特徴量にしたがって熱画像データを人体106の領域と背景の領域とに分けることにより、人体106の領域を抽出すればよい。次に、データ分類部305は、抽出した人体106の領域の輪郭と、顔部における鼻及び口の相対的な位置関係とを用いて人体106の向きを決定すればよい。ここで、顔部は人体106の形状から抽出でき、鼻及び口の位置は顔部の熱分布から求めることができる。また、ここで、決定される人体106の向きは上記の前後左右の4パターンの向きというように事前に定めらた向きが採用される。   Note that the data classification unit 305 may learn a group using a method other than machine learning. When employing a method other than machine learning, the data classification unit 305 first extracts the region of the human body 106 from the thermal image data. In this case, for example, the data classification unit 305 calculates a HOG (Histograms of Oriented Gradients) feature amount from the thermal image data, and divides the thermal image data into a region of the human body 106 and a background region according to the HOG feature amount. The region of the human body 106 may be extracted. Next, the data classification unit 305 may determine the orientation of the human body 106 using the extracted outline of the region of the human body 106 and the relative positional relationship between the nose and the mouth in the face. Here, the face can be extracted from the shape of the human body 106, and the positions of the nose and mouth can be obtained from the heat distribution of the face. Here, the determined orientation of the human body 106 is a predetermined orientation such as the above-described four patterns of front, rear, left, and right.

次に、データ分類部305は、決定した向きに応じたグループ識別子を熱画像データに付与することで、熱画像データを分類する。この場合、データ分類部305は、顔部の大きさから上記の奥行のパターン毎に熱画像データを更に分類してもよい。この場合、データ分類部305は、人体106の向きをと奥行きとの組毎のグループ識別子を熱画像データに付与することで熱画像データを分類すればよい。   Next, the data classification unit 305 classifies the thermal image data by assigning a group identifier corresponding to the determined orientation to the thermal image data. In this case, the data classification unit 305 may further classify the thermal image data for each of the depth patterns based on the size of the face. In this case, the data classification unit 305 may classify the thermal image data by adding a group identifier for each set of the orientation and depth of the human body 106 to the thermal image data.

一方、データ分類部305は、生体情報の変化を検出する検出フェーズにおいて、時刻データ付与部304により時刻データが付与された熱画像データを順次に取得する。そして、データ分類部305は、取得した熱画像データのそれぞれに含まれる人体106を表す領域の特徴に基づいて、取得した熱画像データを学習フェーズで学習されたいずれかのグループに分類する。例えば、学習フェーズでニューラルネットワークが採用された場合、データ分類部305は、検出フェーズにおいて、検出対象となる熱画像データをニューラルネットワークに入力することで、当該熱画像データが属するグループを決定すればよい。   On the other hand, the data classification unit 305 sequentially acquires the thermal image data to which the time data is added by the time data adding unit 304 in the detection phase in which a change in the biological information is detected. Then, the data classification unit 305 classifies the acquired thermal image data into any group learned in the learning phase based on the characteristics of the region representing the human body 106 included in each of the acquired thermal image data. For example, when a neural network is employed in the learning phase, the data classification unit 305 determines the group to which the thermal image data belongs by inputting the thermal image data to be detected into the neural network in the detection phase. Good.

また、学習フェーズで上記の機械学習以外の手法が採用された場合、その手法を用いて、データ分類部305は、検出対象の熱画像データが属するグループを決定すればよい。   Further, when a method other than the above-described machine learning is adopted in the learning phase, the data classification unit 305 may determine a group to which the detection target thermal image data belongs using the method.

データ管理部306は、学習フェーズにおいて、データ分類部305で分類された熱画像データからグループ毎の体温の代表値を、グループ毎の基準値として算出する。ここで、基準値は、人体106の平熱を想定しており、分類された熱画像データから得られるグループ毎の体温の平均値が採用される。   In the learning phase, the data management unit 306 calculates a representative value of body temperature for each group from the thermal image data classified by the data classification unit 305 as a reference value for each group. Here, the reference value assumes normal heat of the human body 106, and an average value of body temperature for each group obtained from the classified thermal image data is adopted.

そして、データ管理部306は、算出したグループ毎の基準値をDB部311に格納することで、基準値を管理する。なお、データ管理部306は、検出フェーズにおいても、熱画像データの分類結果に基づいて、基準値を更新してもよい。   The data management unit 306 manages the reference value by storing the calculated reference value for each group in the DB unit 311. Note that the data management unit 306 may update the reference value based on the thermal image data classification result even in the detection phase.

変化検出部307(比較部の一例)は、検出フェーズにおいて、データ分類部305によりいずれかのグループに分類された熱画像データから人体106の体温(生体情報の一例)を算出し、算出した体温と、当該熱画像データが属するグループに対応する基準値とを比較することで、人体106の体温の変化の有無を検出する。そして、変化検出部307は、体温の変化を検出した場合、体温の異常を示すアラーティング情報を生成する。ここで、基準値は、人体106の平熱を想定しているので、変化検出部307は、例えば、対象となる熱画像データから算出した体温と基準値が示す平熱との温度差がプラスマイナス1℃以上であれば、体温の変化があったと判定すればよい。ここでは、温度差がプラスマイナス1℃以上であれば、体温の変化があると判定しているが、本開示はこれに限定されず、温度差が1℃以外の所定温度(例えば、0.5℃、1.5℃等)以上であれば、体温の変化があると判定してもよい。   The change detection unit 307 (an example of a comparison unit) calculates the body temperature of the human body 106 (an example of biological information) from the thermal image data classified into one of the groups by the data classification unit 305 in the detection phase, and calculates the calculated body temperature. Is compared with a reference value corresponding to the group to which the thermal image data belongs, to detect the presence or absence of a change in body temperature of the human body 106. And the change detection part 307 produces | generates the alerting information which shows abnormality of body temperature, when the change of body temperature is detected. Here, since the reference value assumes normal heat of the human body 106, the change detection unit 307 has a temperature difference between the body temperature calculated from the target thermal image data and normal heat indicated by the reference value, for example, plus or minus 1. What is necessary is just to determine that there was a change in body temperature if it is equal to or higher. Here, if the temperature difference is plus or minus 1 ° C. or more, it is determined that there is a change in body temperature, but the present disclosure is not limited to this, and a predetermined temperature other than 1 ° C. (for example, 0. If it is 5 ° C., 1.5 ° C. or more), it may be determined that there is a change in body temperature.

ここで、変化検出部307は、後述する比較部位パラメータ311Cが指定する部位(例えば、顔部)を熱画像データから検出し、検出した部位の例えば平均温度を人体106の体温を算出すればよい。   Here, the change detection unit 307 may detect a part (for example, a face) specified by a comparison part parameter 311C described later from the thermal image data, and calculate the body temperature of the human body 106, for example, the average temperature of the detected part. .

送信部308は、例えば、無線LAN又は有線LANの通信回路で構成され、変化検出部307によりアラーティング情報が生成された場合、そのアラーティング情報を情報表示部103Aに送信する。   The transmission unit 308 is configured by, for example, a wireless LAN or wired LAN communication circuit. When the alerting information is generated by the change detection unit 307, the transmission unit 308 transmits the alerting information to the information display unit 103A.

データベース(以下DBとする)部311は、例えば不揮発性の記憶装置で構成され、データ管理部306が管理する各種データを記録する。DB部311は、分類パラメータ311Aと、分類データ311Bと、比較部位パラメータ311Cとを記憶する。   The database (hereinafter referred to as “DB”) unit 311 includes, for example, a non-volatile storage device, and records various data managed by the data management unit 306. The DB unit 311 stores classification parameters 311A, classification data 311B, and comparison site parameters 311C.

分類パラメータ311Aは、例えば、学習フェーズとしてニューラルネットワークが採用されたのであれば、学習の結果得られたニューラルネットワークの重み係数である。   For example, if a neural network is employed as the learning phase, the classification parameter 311A is a weighting coefficient of the neural network obtained as a result of learning.

分類データ311Bは、学習フェーズ及び検出フェーズにおいて、データ分類部305によりグループ毎に分類された熱画像データである。   The classification data 311B is thermal image data classified for each group by the data classification unit 305 in the learning phase and the detection phase.

比較部位パラメータ311Cは、変化検出部307が変化検出時に使用する比較対象となる人体106の部位を示すパラメータである。例えば、比較部位パラメータとしては、顔が比較対象とされるのであれば、顔を示す情報が採用される。   The comparison part parameter 311C is a parameter indicating the part of the human body 106 to be compared that is used by the change detection unit 307 when detecting the change. For example, if a face is a comparison target, information indicating the face is adopted as the comparison site parameter.

なお、教師あり機械学習が採用される場合、DB部311は、事前に定められた分類対象となる姿勢及び奥行きを示す情報を記憶しても良い。   Note that when supervised machine learning is employed, the DB unit 311 may store information indicating postures and depths to be classified in advance.

情報表示部103Aは、例えば、人体106の管理者が使用可能なコンピュータで構成され、受信部309と、表示部310とを含み、アラーティング情報を出力する。ここで、情報表示部103Aは、据え置き型のコンピュータで構成されてもよいし、タブレット端末やスマートフォン等の携帯可能なコンピュータで構成されてもよい。   For example, the information display unit 103 </ b> A is configured by a computer that can be used by the administrator of the human body 106, and includes a receiving unit 309 and a display unit 310, and outputs alerting information. Here, 103 A of information display parts may be comprised with a stationary computer, and may be comprised with portable computers, such as a tablet terminal and a smart phone.

受信部309は、無線LAN又は有線LANの通信回路で構成され、情報処理部102Aから送信されたアラーティング情報を受信する。表示部310は、例えば、液晶ディスプレイや有機ELディスプレイで構成され、アラーティング情報を表示する。この場合、表示部310は、例えば、人体106の体温が異常であることを示すメッセージ等を表示すればよい。なお、情報表示部103Aは、人体106の体温が異常であることを示す音声を図略のスピーカから出力してもよい。   The receiving unit 309 includes a wireless LAN or wired LAN communication circuit, and receives alerting information transmitted from the information processing unit 102A. The display unit 310 is composed of, for example, a liquid crystal display or an organic EL display, and displays alerting information. In this case, the display unit 310 may display, for example, a message indicating that the body temperature of the human body 106 is abnormal. Note that the information display unit 103A may output a sound indicating that the body temperature of the human body 106 is abnormal from a speaker (not shown).

次に、図4〜図6を用いて情報処理部102Aにおけるデータ処理方法を説明する。図4は、学習フェーズにおけるデータ処理方法を説明する図である。図5は、検出フェーズにおけるデータ処理方法を説明する図である。図6は、図5に続く、検出フェーズにおけるデータ処理方法を説明する図である。   Next, a data processing method in the information processing unit 102A will be described with reference to FIGS. FIG. 4 is a diagram for explaining a data processing method in the learning phase. FIG. 5 is a diagram for explaining a data processing method in the detection phase. FIG. 6 is a diagram for explaining the data processing method in the detection phase following FIG.

図4を参照する。生体情報感知装置が現場に設置されると、情報処理部102Aは、一定期間、熱画像データを学習することで分類パラメータ311Aを生成する。まず、時刻データ付与部304は、感知部101Aが取得した熱画像データ(401)のそれぞれに対し、時刻データを付与する(402)。次に、データ分類部305は、時刻データが付与された熱画像データ(403)のそれぞれに対し、所定の温度範囲(例えば、25℃〜45℃)以外の領域をマスクするマスク処理を行う。次に、データ分類部305は、ニューラルネットワークを用いた機械学習を行うことで、熱画像データを人体106のグループ毎に分類し、分類パラメータ311Aを生成する(404)。ここでは、所定の温度範囲として、25℃〜45℃が採用されたが、例えば30℃〜45℃等の温度範囲が採用されることで、人体106と人体106以外の物体(例えば家具等)との差異をより明確化することができる。なお、所定の温度範囲は、人体106がとり得る温度範囲を想定したものである。   Please refer to FIG. When the biological information sensing device is installed at the site, the information processing unit 102A generates the classification parameter 311A by learning the thermal image data for a certain period. First, the time data adding unit 304 adds time data to each of the thermal image data (401) acquired by the sensing unit 101A (402). Next, the data classification unit 305 performs a mask process for masking a region other than a predetermined temperature range (for example, 25 ° C. to 45 ° C.) for each of the thermal image data (403) to which the time data is given. Next, the data classification unit 305 classifies the thermal image data for each group of the human body 106 by performing machine learning using a neural network, and generates a classification parameter 311A (404). Here, 25 ° C. to 45 ° C. is adopted as the predetermined temperature range. However, by adopting a temperature range of 30 ° C. to 45 ° C., for example, the human body 106 and an object other than the human body 106 (for example, furniture) The difference can be clarified more. The predetermined temperature range assumes a temperature range that the human body 106 can take.

続いて、図5を参照する。学習フェーズが終了すると検出フェーズが開始される。まず、時刻データ付与部304は、学習フェーズと同様、感知部101Aで取得された熱画像データ(501)に対し、時刻データを付与する(402)。次に、データ分類部305は、学習フェーズと同様、時刻データが付与された熱画像データ(503)に対してマスク処理を行い所定の温度範囲以外の領域をマスクする。次に、データ分類部305は、所定の温度範囲以外の領域がマスクされた熱画像データを学習フェーズで生成したニューラルネットワークに入力することで、当該熱画像データを学習フェーズで分類されたいずれかのグループに分類する(504)。ここでは、グループとして、第1〜第Nのグループがあるので、熱画像データは第1〜第N(Nは1以上の整数)のグループのいずれかに分類される。これにより、検出対象の熱画像データは、人体106を表す領域の特徴に基づいて分類される。分類された熱画像データは、分類データ311BとしてDB部311に格納される。なお、学習フェーズにより生成されたニューラルネットワークは機械学習モデルの一例である。   Next, referring to FIG. When the learning phase ends, the detection phase starts. First, the time data assigning unit 304 assigns time data to the thermal image data (501) acquired by the sensing unit 101A as in the learning phase (402). Next, as in the learning phase, the data classifying unit 305 performs a mask process on the thermal image data (503) to which time data is added, and masks a region other than the predetermined temperature range. Next, the data classification unit 305 inputs any one of the thermal image data classified in the learning phase by inputting the thermal image data in which the region other than the predetermined temperature range is masked to the neural network generated in the learning phase. (504). Here, since there are the first to Nth groups as the groups, the thermal image data is classified into any of the first to Nth groups (N is an integer of 1 or more). Thereby, the thermal image data to be detected is classified based on the characteristics of the region representing the human body 106. The classified thermal image data is stored in the DB unit 311 as classification data 311B. Note that the neural network generated by the learning phase is an example of a machine learning model.

続いて、図6を参照する。変化検出部307は、分類データ311Bから検出対象となる熱画像データを読み出し、読み出した熱画像データから比較部位パラメータ311Cが指定する部位を検出する(601)。例えば、比較部位パラメータ311Cとして顔部が指定されているのであれば、変化検出部307は、検出対象となる熱画像データから顔部を検出する。   Next, refer to FIG. The change detection unit 307 reads out thermal image data to be detected from the classification data 311B, and detects a site specified by the comparison site parameter 311C from the read thermal image data (601). For example, if a face is designated as the comparison site parameter 311C, the change detection unit 307 detects the face from the thermal image data to be detected.

次に、変化検出部307は、熱画像データから検出した部位の体温を算出し、算出した体温と、当該熱画像データが属するグループに対応する基準値とを比較することで、人体106の体温の変化の有無を検出する(602)。ここでは、変化検出部307は、算出した体温と基準値が示す平熱との温度差がプラスマイナス1℃以上であれば、体温の変化があったと判定する。   Next, the change detection unit 307 calculates the body temperature of the part detected from the thermal image data, and compares the calculated body temperature with the reference value corresponding to the group to which the thermal image data belongs, thereby calculating the body temperature of the human body 106. The presence or absence of change is detected (602). Here, the change detection unit 307 determines that there has been a change in body temperature if the temperature difference between the calculated body temperature and the normal temperature indicated by the reference value is greater than or equal to ± 1 ° C.

図6の例では、分類データ311Bは姿勢及び奥行きに応じて第1〜第Nのグループに分けられている。したがって、基準値も第1〜第Nのグループに対応してN個存在する。   In the example of FIG. 6, the classification data 311B is divided into first to Nth groups according to posture and depth. Therefore, there are N reference values corresponding to the first to Nth groups.

本実施の形態では、基準値は、学習フェーズで算出されたものを採用したが、本開示はこれに限定されず、グループ毎に事前に定められた値が採用されもよい。或いは、基準値は、現在から過去一定期間に分類された熱画像データからグループ毎に算出された値が採用されてもよい。   In the present embodiment, the reference value calculated in the learning phase is employed, but the present disclosure is not limited to this, and a value determined in advance for each group may be employed. Alternatively, as the reference value, a value calculated for each group from the thermal image data classified in the past certain period from the present may be adopted.

図7は、検出フェーズにおける情報処理装置102の処理の一例を示すフローチャートである。なお、図7のフローチャートは、例えば、感知部101Aが熱画像データを取得する所定のサンプリング周期で定期的に実行される。   FIG. 7 is a flowchart illustrating an example of processing of the information processing apparatus 102 in the detection phase. Note that the flowchart of FIG. 7 is periodically executed, for example, at a predetermined sampling period in which the sensing unit 101A acquires thermal image data.

まず、データ分類部305は、時刻データ付与部304により時刻データが付与された熱画像データを取得する(S701)。次に、データ分類部305は、取得した熱画像データに対してマスク処理を行い、25℃〜45℃以外の部分をマスクする(S702)。   First, the data classifying unit 305 acquires thermal image data to which time data is added by the time data adding unit 304 (S701). Next, the data classification unit 305 performs mask processing on the acquired thermal image data, and masks portions other than 25 ° C. to 45 ° C. (S702).

次に、データ分類部305は、マスク処理が行われた熱画像データを、学習フェーズで分類パラメータ311Aが生成されたニューラルネットワークに入力することで分類する(S703)。これにより、熱画像データは、姿勢及び奥行きに応じて第1〜第Nのグループのうち、いずれかのグループに分類されることになる。また、熱画像データは第1〜第Nのいずれのグループにも分類できないことも生じ得る。例えば、学習フェーズではとらなかった姿勢及び奥行きを検出フェーズにおいて、人体106がとるようになった場合である。この場合、この熱画像データはその他のグループに分類される。   Next, the data classification unit 305 classifies the thermal image data subjected to the mask processing by inputting it into the neural network in which the classification parameter 311A is generated in the learning phase (S703). Accordingly, the thermal image data is classified into one of the first to Nth groups according to the posture and depth. Further, it may occur that the thermal image data cannot be classified into any of the first to Nth groups. For example, this is a case where the human body 106 comes to take the posture and depth not taken in the learning phase in the detection phase. In this case, the thermal image data is classified into other groups.

次に、データ分類部305は、その他のグループに分類された熱画像データの個数が基準個数を超えたか否かを判定する(S704)。   Next, the data classification unit 305 determines whether or not the number of thermal image data classified into other groups exceeds the reference number (S704).

その他のグループに分類された熱画像データの個数が基準個数を超えた場合(S704でYES)、学習フェーズの再実行を促すフラグを生成する(S705)。ここで、生成されたフラグは、例えば、情報表示部103Aに送信される。情報表示部103Aは、フラグが生成されたことを示す画像を表示部310に表示する。これにより、管理者は、再度、学習フェーズを実行するように促されることになる。管理者は、例えば、図略の入力装置を用いて再学習コマンドを情報処理部102Aに入力する。すると、データ分類部305は、現在までに分類データ311Bとして蓄積された全ての熱画像データを用いて、上記の学習フェーズを実行し、分類パラメータ311Aを再度生成する。これにより、その他のグループに分類された熱画像データが示す人体106の姿勢及び奥行きを含むグループが新たに学習されることになる。その結果、検出フェーズにおいて新たにとるようになった人体106の姿勢及び奥行きに基づくグループが分類対象のグループとして追加されることになる。なお、学習フェーズが再実行された場合、グループ毎に分類された熱画像データからグループ毎の基準値が算出されるので、新たに追加されたグループに分類された熱画像データは、対応する基準値と比較されて温度の変化が検出されることになる。   If the number of thermal image data classified into other groups exceeds the reference number (YES in S704), a flag that prompts re-execution of the learning phase is generated (S705). Here, the generated flag is transmitted to, for example, the information display unit 103A. 103 A of information display parts display the image which shows that the flag was produced | generated on the display part 310. FIG. As a result, the manager is prompted to execute the learning phase again. For example, the administrator inputs a relearning command to the information processing unit 102A using an input device (not shown). Then, the data classification unit 305 executes the learning phase using all the thermal image data accumulated as the classification data 311B so far, and generates the classification parameter 311A again. Accordingly, a group including the posture and depth of the human body 106 indicated by the thermal image data classified into other groups is newly learned. As a result, a group based on the posture and depth of the human body 106 newly taken in the detection phase is added as a group to be classified. In addition, when the learning phase is re-executed, since the reference value for each group is calculated from the thermal image data classified for each group, the thermal image data classified into the newly added group is the corresponding standard. The change in temperature is detected by comparison with the value.

次に、変化検出部307は、検出対象となる熱画像データから比較部位パラメータ311Cが示す部位を検出し、検出した部位の画素値を用いて人体106の体温を算出する(S706)。   Next, the change detection unit 307 detects the region indicated by the comparison region parameter 311C from the thermal image data to be detected, and calculates the body temperature of the human body 106 using the pixel value of the detected region (S706).

次に、変化検出部307は、検出対象となる熱画像データのグループに対応する基準値と、S706で算出した人体106の体温とを比較し、人体106の体温と基準値との温度差がプラスマイナス1℃以上であれば(S708でYES)、アラーティング情報を生成する(S709)。S709が終了すると処理はS710に進む。生成されたアラーティング情報は、情報表示部103Aに送信され、管理者にアラートが発報される。一方、人体106の体温と基準値との温度差がプラスマイナス1℃未満であれば(S708でNO)、処理はS710に進む。   Next, the change detection unit 307 compares the reference value corresponding to the group of thermal image data to be detected with the body temperature of the human body 106 calculated in S706, and the temperature difference between the body temperature of the human body 106 and the reference value is determined. If it is greater than or equal to plus or minus 1 ° C. (YES in S708), alerting information is generated (S709). When S709 ends, the process proceeds to S710. The generated alerting information is transmitted to the information display unit 103A, and an alert is issued to the administrator. On the other hand, if the temperature difference between the body temperature of human body 106 and the reference value is less than plus or minus 1 ° C. (NO in S708), the process proceeds to S710.

S710では、データ管理部306は、検出対象となる熱画像データが分類された分類データ311Bを用いて、当該熱画像データが属するグループの基準値を更新し、処理をS701に戻す。例えば、検出対象となる熱画像データが第1のグループに分類されたとするならば、データ管理部306は、第1のグループの基準値を更新すればよい。   In S710, the data management unit 306 updates the reference value of the group to which the thermal image data belongs using the classification data 311B in which the thermal image data to be detected is classified, and returns the process to S701. For example, if the thermal image data to be detected is classified into the first group, the data management unit 306 may update the reference value of the first group.

以上のように、実施の形態1の情報処理装置102によれば、熱画像データを姿勢及び奥行きに基づくグループに応じて分類し、そのグループに対応する基準値と、熱画像データから算出される体温とを比較することで、人体106の体温の異常を検出する。そのため、情報処理装置102は、測定時にとる人体106の姿勢及び奥行きに拘わらず人体106の体温の異常の有無を精度良く検出できる。また、情報処理装置102は、人体106の体温を非接触で測定できるので、人体106及び人体106の管理者ともに負担をかけずに体温の異常を検出できる。また、本態様は、人体106を撮影することで得られた熱画像データから基準値が算出されているので、人体106に適した基準値を算出できる。   As described above, according to the information processing apparatus 102 of Embodiment 1, the thermal image data is classified according to the group based on the posture and the depth, and is calculated from the reference value corresponding to the group and the thermal image data. By comparing with the body temperature, an abnormality in the body temperature of the human body 106 is detected. Therefore, the information processing apparatus 102 can accurately detect the presence or absence of an abnormal body temperature of the human body 106 regardless of the posture and depth of the human body 106 taken at the time of measurement. In addition, since the information processing apparatus 102 can measure the body temperature of the human body 106 in a non-contact manner, both the human body 106 and the manager of the human body 106 can detect an abnormality in the body temperature. Further, in this aspect, since the reference value is calculated from the thermal image data obtained by photographing the human body 106, the reference value suitable for the human body 106 can be calculated.

(実施の形態2)
図8は、実施の形態2にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。実施の形態2にかかる生体情報感知装置は、電波センサを含む感知装置901_Aを採用したものである。本実施の形態において、実施の形態1と同一の構成要素については説明を省く。
(Embodiment 2)
FIG. 8 is a diagram illustrating an outline of a biological information sensing device to which the information processing apparatus according to the second embodiment is applied. The biological information sensing device according to the second embodiment employs a sensing device 901_A including a radio wave sensor. In the present embodiment, the description of the same components as those in the first embodiment is omitted.

感知装置901_Aは、電波センサを含み、図1と同様、寝室等の居室内に配置されている。ここで、感知装置901_Aは、例えば、寝具107の全域が計測範囲に含まれるように居室に設置されている。感知装置901_Aは、人体106の活動量データを取得する。感知装置901_Aは、取得した活動量データをGW104を介し、情報処理装置902に送信する。情報処理装置902は、活動量データを人体106の姿勢に基づくグループ毎に分類して管理する。   The sensing device 901 </ b> _A includes a radio wave sensor and is disposed in a living room such as a bedroom as in FIG. 1. Here, the sensing device 901 </ b> _A is installed in the living room so that the entire range of the bedding 107 is included in the measurement range, for example. The sensing device 901 </ b> _A acquires activity amount data of the human body 106. The sensing device 901_A transmits the acquired activity amount data to the information processing device 902 via the GW 104. The information processing apparatus 902 classifies and manages the activity amount data for each group based on the posture of the human body 106.

情報処理装置902は、グループ毎に分類された活動量データと今回測定した活動量データとを比較することで、人体106の活動量(生体情報の一例)の変化を検出すると、GW104を介して、人体106の活動量が異常であることを示すアラーティング情報を情報表示装置103に通知する。情報表示装置103は、アラーティング情報を受信するとアラートを発報する。これにより、人体106の管理者は、人体106の活動量の異常を認識する。   When the information processing device 902 detects a change in the activity amount (an example of biological information) of the human body 106 by comparing the activity amount data classified for each group with the activity amount data measured this time, the information processing device 902 transmits the change through the GW 104. The alerting information indicating that the activity amount of the human body 106 is abnormal is notified to the information display device 103. When the information display device 103 receives the alerting information, the information display device 103 issues an alert. Thereby, the manager of the human body 106 recognizes an abnormality in the activity amount of the human body 106.

図9は、実施の形態2にかかる情報処理装置が適用された生体情報感知装置の機能構成の一例を示す図である。生体情報感知装置は、感知装置901_Aに相当する感知部901A(測定部の一例)、情報処理装置902に相当する情報処理部902A、及び情報表示装置103に相当する情報表示部103Aを含む。感知部901Aは、図3に対してセンサ部901が相違する。   FIG. 9 is a diagram illustrating an example of a functional configuration of the biological information sensing device to which the information processing apparatus according to the second embodiment is applied. The biological information sensing device includes a sensing unit 901A (an example of a measurement unit) corresponding to the sensing device 901_A, an information processing unit 902A corresponding to the information processing device 902, and an information display unit 103A corresponding to the information display device 103. The sensing unit 901A is different from the sensor unit 901 in FIG.

センサ部901は、例えば、2chのドップラー方式の電波センサで構成されており、人体106に対して所定のサンプリング周期で電波を照射して人体106からの反射波を受信することで、人体106の活動量データを取得する。電波としては、例えば、24GHz帯のマイクロ波が採用できる。   The sensor unit 901 includes, for example, a 2ch Doppler type radio wave sensor. The human body 106 is irradiated with radio waves at a predetermined sampling period and receives a reflected wave from the human body 106, thereby Acquire activity data. As the radio wave, for example, a microwave of 24 GHz band can be adopted.

なお、センサ部901はドップラー方式以外の電波センサが採用されてもよい。例えば、Frequency Modulated Continuous Wave(FMCW)方式などの電波センサが採用されてもよい。   The sensor unit 901 may employ a radio wave sensor other than the Doppler method. For example, a radio wave sensor such as a Frequency Modulated Continuous Wave (FMCW) method may be employed.

データ分類部905は、学習フェーズにおいて、時刻データ付与部304により時刻データが付与された複数の活動量データを取得し、取得した複数の活動量データを波形情報に基づいて分類することで、人体106の姿勢に基づくグループを学習する。   In the learning phase, the data classification unit 905 acquires a plurality of activity amount data to which time data is added by the time data addition unit 304, and classifies the acquired plurality of activity amount data on the basis of the waveform information. A group based on 106 postures is learned.

センサ部901が2chのドップラー方式の電波センサで構成されるのであれば、活動量データの振幅に応じて人体106までの距離が変化し、活動量データの周波数の変化に応じて体動の速さが変化する。したがって、この場合、波形情報として、振幅及び周波数が採用される。   If the sensor unit 901 is composed of a 2-channel Doppler radio wave sensor, the distance to the human body 106 changes according to the amplitude of the activity data, and the speed of the body movement according to the change in the frequency of the activity data. Changes. Therefore, in this case, amplitude and frequency are employed as the waveform information.

また、センサ部901がFMCW方式の電波センサで構成されているのであれば、活動量データの振幅及び位相に応じて人体106までの距離が変化し、活動量データの位相の変化に応じて体動の速さが変化する。したがって、この場合、波形情報として、振幅及び位相が採用される。   Further, if the sensor unit 901 is configured by an FMCW radio wave sensor, the distance to the human body 106 changes according to the amplitude and phase of the activity data, and the body changes according to the change in the phase of the activity data. The speed of movement changes. Therefore, in this case, amplitude and phase are adopted as the waveform information.

また、仰向けやうつぶせや横向きといった人体106の姿勢に応じて体動の速さが変化し、就寝中や起床中といった人体106の状態に応じて体動の速さが変化する。したがって、波形情報に基づいて活動量データを分類することで、活動量データを人体106の姿勢と状態と距離とのグループ毎に分類でき、人体106がとった姿勢と状態と距離毎のグループを学習できる。   In addition, the speed of body movement changes according to the posture of the human body 106 such as lying on the back or lying down, and the speed of body movement changes depending on the state of the human body 106 such as sleeping or waking up. Therefore, by classifying the activity amount data based on the waveform information, the activity amount data can be classified into groups of posture, state, and distance of the human body 106, and groups of posture, state, and distance taken by the human body 106 can be classified. Can learn.

なお、本実施の形態では、データ分類部905は、実施の形態1で説明した機械学習を用いてグループを学習すればよい。   In the present embodiment, the data classification unit 905 may learn a group using the machine learning described in the first embodiment.

データ分類部905は、生体情報の変化を検出する検出フェーズにおいて、時刻データ付与部304により時刻データが付与された活動量データを波形情報に基づいて、学習フェーズで学習されたいずれかのグループに分類する。詳細には、データ分類部905は、学習フェーズで生成されたニューラルネットワークに活動量データを入力することで活動量データを分類すればよい。   In the detection phase for detecting a change in biological information, the data classification unit 905 assigns the activity amount data to which the time data is added by the time data adding unit 304 to any group learned in the learning phase based on the waveform information. Classify. Specifically, the data classification unit 905 may classify the activity amount data by inputting the activity amount data to the neural network generated in the learning phase.

データ管理部906は、学習フェーズにおいて、データ分類部905でグループ毎に分類された活動量データからグループ毎の活動量の代表値を、グループ毎の基準値として算出する。ここで、基準値としては、体動値、心拍数、及び呼吸数のそれぞれの基準値が採用できる。活動量データにおいて、体動値、心拍数、及び呼吸数の周波数帯域は事前に知られているので、それぞれの周波数帯域の値から体動値、心拍数、及び呼吸数を検出できる。したがって、データ管理部906は、体動値、心拍数、及び呼吸数のそれぞれのグループ毎の平均値を、グループ毎の体動値、心拍数、及び呼吸数の基準値として算出すればよい。なお、データ管理部306は、検出フェーズにおいても、活動量データの分類結果に基づいて、基準値を更新してもよい。   In the learning phase, the data management unit 906 calculates a representative value of the activity amount for each group from the activity amount data classified for each group by the data classification unit 905 as a reference value for each group. Here, as the reference value, the reference values of the body motion value, the heart rate, and the respiration rate can be adopted. In the activity amount data, the frequency band of the body motion value, the heart rate, and the respiration rate is known in advance, so that the body motion value, the heart rate, and the respiration rate can be detected from the values of the respective frequency bands. Therefore, the data management unit 906 may calculate the average value for each group of the body motion value, the heart rate, and the respiration rate as the reference value for the body motion value, the heart rate, and the respiration rate for each group. In the detection phase, the data management unit 306 may update the reference value based on the classification result of the activity amount data.

変化検出部907は、検出フェーズにおいて、データ分類部905によりいずれかのグループに分類された活動量データから人体106の体動値、呼吸数、及び心拍数を含む活動量を算出し、算出した活動量を対応するグループの基準値とを比較することで、人体106の活動量の変化の有無を検出する。そして、変化検出部907は、活動量の変化を検出した場合、活動量が異常であることを示すアラーティング情報を生成する。ここで、基準値は、人体106の平常時の活動量を想定しているので、変化検出部907は、対象となる活動量データが示す活動量と基準値との差分がプラスマイナス所定値以上であれば、活動量に変化があると判定すればよい。   In the detection phase, the change detection unit 907 calculates the activity amount including the body motion value, the respiration rate, and the heart rate of the human body 106 from the activity amount data classified into one of the groups by the data classification unit 905. By comparing the amount of activity with the reference value of the corresponding group, the presence or absence of a change in the amount of activity of the human body 106 is detected. And the change detection part 907 produces | generates the alerting information which shows that an active mass is abnormal, when the change of an active mass is detected. Here, since the reference value assumes a normal activity amount of the human body 106, the change detection unit 907 has a difference between the activity amount indicated by the target activity amount data and the reference value greater than or equal to a predetermined value. If so, it may be determined that there is a change in the amount of activity.

DB部911は、分類パラメータ911Aと、分類データ911Bと、比較値算出パラメータ911Cとを記憶する。分類パラメータ911Aは、例えば、学習フェーズにおいて、活動量データを学習することで得られたニューラルネットワークの重み係数である。比較値算出パラメータ911Cは、変化検出部907が変化検出時に活動量データから検出する比較値の内容を定めるパラメータである。本実施の形態では、体動値、脈拍数、心拍数が比較値として採用されるため、比較値算出パラメータ911Cとしては、例えば、体動値、脈拍数、及び心拍数のそれぞれを示す情報が採用される。或いは、比較値算出パラメータ911Cとしては、例えば、体動値、脈拍数、及び心拍数のそれぞれの活動量データにおける周波数帯域が採用されてもよい。   The DB unit 911 stores classification parameters 911A, classification data 911B, and comparison value calculation parameters 911C. The classification parameter 911A is, for example, a weighting factor of a neural network obtained by learning activity amount data in the learning phase. The comparison value calculation parameter 911C is a parameter that determines the content of the comparison value detected from the activity amount data when the change detection unit 907 detects a change. In this embodiment, since the body motion value, the pulse rate, and the heart rate are adopted as the comparison values, the comparison value calculation parameter 911C includes, for example, information indicating each of the body motion value, the pulse rate, and the heart rate. Adopted. Alternatively, as the comparison value calculation parameter 911C, for example, frequency bands in the activity amount data of the body motion value, the pulse rate, and the heart rate may be employed.

なお、教師あり機械学習が採用される場合、DB部911は、事前に定められた分類対象となるグループに関する情報(姿勢を示す情報(仰向け及び俯せ等)、状態(就寝中及び起床中等)、距離)を記憶しても良い。   In addition, when supervised machine learning is adopted, the DB unit 911 includes information regarding groups to be classified in advance (information indicating posture (such as lying on the back and leaning), state (sleeping and waking up, etc.), (Distance) may be stored.

次に、図10〜図12を用いて情報処理部902Aにおけるデータ処理方法を説明する。図10は、学習フェーズにおけるデータ処理方法を説明する図である。図11は、検出フェーズにおけるデータ処理方法を説明する図である。図12は、図11に続く、検出フェーズにおけるデータ処理方法を説明する図である。   Next, a data processing method in the information processing unit 902A will be described with reference to FIGS. FIG. 10 is a diagram for explaining a data processing method in the learning phase. FIG. 11 is a diagram for explaining a data processing method in the detection phase. FIG. 12 is a diagram for explaining the data processing method in the detection phase following FIG.

図10を参照する。生体情報感知装置が現場に設置されると、情報処理部902Aは、活動量データを学習することで分類パラメータ911Aを生成する。まず、時刻データ付与部304は、感知部901Aが取得した活動量データ(1001)のそれぞれに対し、時刻データを付与する(1002)。   Please refer to FIG. When the biological information sensing device is installed at the site, the information processing unit 902A generates the classification parameter 911A by learning the activity amount data. First, the time data assigning unit 304 assigns time data to each of the activity amount data (1001) acquired by the sensing unit 901A (1002).

次に、データ分類部905は、ニューラルネットワークを用いた機械学習を行うことで、時刻データが付与された活動量データ(1003)をグループ毎に分類し、分類パラメータ911Aを生成する(1004)。   Next, the data classification unit 905 classifies the activity data (1003) to which time data is assigned by group by using machine learning using a neural network, and generates a classification parameter 911A (1004).

続いて、図11を参照する。学習フェーズが終了すると検出フェーズが開始される。時刻データ付与部304は、学習フェーズと同様、感知部901Aで取得された活動量データ(1101)に対し、時刻データを付与する(1002)。次に、データ分類部905は、学習フェーズと同様、時刻データが付与された活動量データ(1103)を学習フェーズで生成したニューラルネットワークに入力することで、当該活動量データを学習フェーズで分類されたいずれかのグループに分類する(1104)。これにより、検出対象の活動量データは、波形情報に基づいて分類される。分類された活動量データは、分類データ911BとしてDB部911に格納される。   Next, referring to FIG. When the learning phase ends, the detection phase starts. Similar to the learning phase, the time data adding unit 304 adds time data to the activity amount data (1101) acquired by the sensing unit 901A (1002). Next, as in the learning phase, the data classification unit 905 inputs the activity data (1103) to which the time data is assigned to the neural network generated in the learning phase, so that the activity data is classified in the learning phase. The group is classified into one of the groups (1104). Thereby, the activity amount data to be detected is classified based on the waveform information. The classified activity data is stored in the DB unit 911 as classification data 911B.

続いて、図12を参照する。変化検出部907は、分類データ911Bから検出対象となる活動量データを読み出し、読み出した活動量データから比較値算出パラメータ911Cが指定する比較値を検出する(1201)。ここでは、比較値としては、体動値、脈拍数、及び心拍数が採用される。したがって、読み出した活動量データから体動値、脈拍数、及び心拍数が抽出される。   Next, refer to FIG. The change detection unit 907 reads the activity amount data to be detected from the classification data 911B, and detects the comparison value specified by the comparison value calculation parameter 911C from the read activity amount data (1201). Here, a body motion value, a pulse rate, and a heart rate are employed as the comparison value. Therefore, the body motion value, the pulse rate, and the heart rate are extracted from the read activity amount data.

次に、変化検出部907は、活動量データから検出した体動値、脈拍数、及び心拍数と、当該活動量データが分類されたグループに対応する基準値とを比較することで、人体106の活動量の変化の有無を検出する(1202)。ここでは、変化検出部307は、検出した体動値、脈拍数、及び心拍数とそれぞれに対応する基準値との差分がプラスマイナス所定値以上であれば、活動量に変化があったと判定する。   Next, the change detection unit 907 compares the body motion value, the pulse rate, and the heart rate detected from the activity amount data with the reference value corresponding to the group into which the activity amount data is classified, thereby comparing the human body 106. The presence or absence of a change in the amount of activity is detected (1202). Here, the change detection unit 307 determines that the amount of activity has changed if the detected body motion value, the pulse rate, and the difference between the heart rate and the corresponding reference value are greater than or equal to a predetermined value. .

図12の例では、分類データ911Bは第1〜第N(Nは1以上の整数)のN個のグループに分けられている。したがって、基準値も第1のグループ〜第Nのグループに対応してN個存在する。なお、図12の例では、基準値として体動値、心拍数、及び脈拍数のいずれか一つの基準値が図示されているが、実際には体動値、心拍数、及び脈拍数のそれぞれの基準値が含まれている。   In the example of FIG. 12, the classification data 911B is divided into first to Nth (N is an integer of 1 or more) N groups. Therefore, there are N reference values corresponding to the first to Nth groups. In the example of FIG. 12, any one of the body motion value, the heart rate, and the pulse rate is illustrated as the reference value. However, in actuality, each of the body motion value, the heart rate, and the pulse rate is illustrated. The reference value is included.

本実施の形態では、基準値は、学習フェーズで算出されたものを採用したが、本開示はこれに限定されず、グループ毎に事前に定められた値が採用されもよい。或いは、基準値は、現在から過去一定期間に分類された活動量データから算出された値が採用されてもよい。   In the present embodiment, the reference value calculated in the learning phase is employed, but the present disclosure is not limited to this, and a value determined in advance for each group may be employed. Alternatively, as the reference value, a value calculated from activity amount data classified in a certain period in the past from the present may be adopted.

なお、実施の形態2において、フローチャートは、熱画像データを活動量データとする以外、図7と同じであるため、説明を省く。   In the second embodiment, the flowchart is the same as that shown in FIG. 7 except that thermal image data is used as activity amount data, and a description thereof will be omitted.

以上のように、実施の形態2では、活動量データの波形情報によって、姿勢、状態、及び距離を含むグループ毎に活動量データが分類され、分類された活動量データの活動量が対応するグループの基準値と比較されて、活動量の異常が検出される。そのため、実施の形態2では、測定時にとる人体106の姿勢に拘わらず、人体106の活動量の異常の有無を精度良く検出することができる。また、本態様は、生体情報を非接触で測定するので、人体106及び測定者ともに負担をかけずに、活動量の異常を検出できる。   As described above, in the second embodiment, the activity amount data is classified for each group including posture, state, and distance by the waveform information of the activity amount data, and the activity amount of the classified activity amount data corresponds to the group. An abnormal amount of activity is detected by comparison with the reference value. Therefore, in the second embodiment, it is possible to accurately detect the presence or absence of an abnormality in the activity amount of the human body 106 regardless of the posture of the human body 106 taken at the time of measurement. Moreover, since this aspect measures biometric information in a non-contact manner, it is possible to detect an abnormality in the amount of activity without imposing a burden on the human body 106 and the measurer.

なお、本開示にかかる情報処理装置は下記の変形例を採用できる。   The information processing apparatus according to the present disclosure can employ the following modifications.

(変形例1)
変化検出部307は、測定データに付与された時刻データに基づいて測定データが所定の時間帯に測定された測定データであるか否かを判定し、所定の時間帯に測定された測定データである場合、変化を検出する処理を実行してもよい。ここで、所定の時間帯としては、人体106の活動量が安定した時間帯が採用され、例えば、起床直後の一定時間、起床直前の一定時間、就寝直前の一定時間、又は就寝直後の一定時間が採用できる。
(Modification 1)
The change detection unit 307 determines whether the measurement data is measurement data measured in a predetermined time zone based on the time data given to the measurement data, and uses the measurement data measured in the predetermined time zone. In some cases, a process for detecting a change may be performed. Here, as the predetermined time zone, a time zone in which the amount of activity of the human body 106 is stable is adopted. Can be adopted.

この場合、データ分類部305は、所定の時間帯の測定された測定データのみを分類してもよい。これにより、基準値は所定の時間帯の測定データから算出されたものとなり、生体情報の変化を精度良く検出できる。   In this case, the data classification unit 305 may classify only measurement data measured in a predetermined time zone. As a result, the reference value is calculated from the measurement data in a predetermined time zone, and changes in biological information can be detected with high accuracy.

或いは、データ分類部305は、姿勢や状態や距離に加えて時間帯も考慮に入れて測定データを分類してもよい。この場合、時間帯に応じて異なる人体106の活動量を考慮に入れて生体情報の変化を精度良く検出できる。   Alternatively, the data classification unit 305 may classify the measurement data in consideration of the time zone in addition to the posture, state, and distance. In this case, it is possible to accurately detect a change in biological information in consideration of the amount of activity of the human body 106 that varies depending on the time zone.

(変形例2)
図13は、本開示の変形例2にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。実施の形態1では、図1に示すように、感知装置101は、空気調和機105とは別体で構成されているが、変形例2では、図13に示すように、感知装置101_Bは、空気調和機105Bに内蔵されていている。図13の例では、感知装置101_Bは、空気調和機105Bの前面において、センサ面が人体106と対向するように配置されている。
(Modification 2)
FIG. 13 is a diagram illustrating an outline of a biological information sensing device to which the information processing device according to the second modification of the present disclosure is applied. In Embodiment 1, as shown in FIG. 1, the sensing device 101 is configured separately from the air conditioner 105. However, in Modification 2, as shown in FIG. It is built in the air conditioner 105B. In the example of FIG. 13, the sensing device 101_B is disposed on the front surface of the air conditioner 105B so that the sensor surface faces the human body 106.

変形例2においては、情報処理装置102は、例えば、クラウドサーバで構成されてもよいし、ローカルに設置されたサーバで構成されてもよい。   In the second modification, the information processing apparatus 102 may be configured with, for example, a cloud server or a locally installed server.

(変形例3)
図14は、本開示の変形例3にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。実施の形態1では、情報処理部102Aは、感知部101Aと別体で構成されていたが、変形例3では、感知部101Bは、図14に示すように、図3に示す感知部101Aと情報処理部102Aとが統合して構成されている。変形例3では、感知部101Bによって情報処理装置が構成される。
(Modification 3)
FIG. 14 is a diagram illustrating a functional configuration of the biological information sensing device to which the information processing device according to the third modification of the present disclosure is applied. In the first embodiment, the information processing unit 102A is configured separately from the sensing unit 101A. However, in Modification 3, the sensing unit 101B includes the sensing unit 101A illustrated in FIG. 3 as illustrated in FIG. The information processing unit 102A is integrated. In Modification 3, an information processing apparatus is configured by the sensing unit 101B.

変形例3では、感知部101Aと情報処理部102Aとが統合されているので、図3に存在した、送信部302及び受信部303が省かれている。なお、変形例3において、感知部101Bは、空気調和機105に内蔵されたセンサユニットで構成されてもよいし、空気調和機105とは別体に設けられた専用のセンサユニットで構成されてもよい。   In Modification 3, since the sensing unit 101A and the information processing unit 102A are integrated, the transmission unit 302 and the reception unit 303 existing in FIG. 3 are omitted. In Modification 3, the sensing unit 101B may be configured by a sensor unit built in the air conditioner 105, or may be configured by a dedicated sensor unit provided separately from the air conditioner 105. Also good.

図15は、本開示の変形例3にかかる情報処理装置が適用された生体情報感知装置の接続構成の一例を示す図である。感知装置101_Bは、図14に示す感知部101Bに相当する。感知装置101_Bは、GW104を介して情報表示装置103と接続されている。   FIG. 15 is a diagram illustrating an example of a connection configuration of the biological information sensing device to which the information processing device according to the third modification of the present disclosure is applied. The sensing device 101_B corresponds to the sensing unit 101B illustrated in FIG. The sensing device 101_B is connected to the information display device 103 via the GW 104.

(変形例4)
図16は、本開示の変形例4にかかる情報処理装置が適用された生体情報感知構成の機能の構成を示す図である。実施の形態1では、時刻データ付与部304は、情報処理部102Aに設けられていたが、変形例4では、時刻データ付与部304は感知部101Cに設けられている。時刻データ付与部304は、センサ部301と送信部302との間に設けられている。一方、情報処理部102Cは時刻データ付与部304を備えていない。変形例4では、時刻データを付与する処理が感知部101Cで行われるので、情報処理部102Cの処理負担を軽減できる。変形例4では、感知部101Cは空気調和機105に内蔵された高機能センサ、或いは空気調和機105とは別体で構成された高機能センサで構成されている。
(Modification 4)
FIG. 16 is a diagram illustrating a functional configuration of the biological information sensing configuration to which the information processing apparatus according to the fourth modification of the present disclosure is applied. In the first embodiment, the time data providing unit 304 is provided in the information processing unit 102A. However, in the fourth modification, the time data providing unit 304 is provided in the sensing unit 101C. The time data adding unit 304 is provided between the sensor unit 301 and the transmission unit 302. On the other hand, the information processing unit 102C does not include the time data adding unit 304. In the modified example 4, since the process of giving the time data is performed by the sensing unit 101C, the processing load on the information processing unit 102C can be reduced. In the modified example 4, the sensing unit 101C is configured by a high function sensor built in the air conditioner 105 or a high function sensor configured separately from the air conditioner 105.

(変形例5)
図17は、本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の機能の構成を示す図である。図17の例では、情報処理部102Eが、時刻データ付与部304を備える情報処理部102Dと、情報処理部102Eとに分けられている。
(Modification 5)
FIG. 17 is a diagram illustrating a functional configuration of a biological information sensing device to which an information processing device according to Modification 5 of the present disclosure is applied. In the example of FIG. 17, the information processing unit 102E is divided into an information processing unit 102D including a time data adding unit 304 and an information processing unit 102E.

情報処理部102Dは、例えば、空気調和機105に内蔵された高機能センサ或いは家庭用のコンピュータで構成される。情報処理部102Eは、例えば、クラウドサーバで構成される。情報処理部102Dは、感知部101Dと通信するための受信部303Dと、情報処理部102Eと通信するための送信部302Dとを備えている。情報処理部102Eは、情報処理部102Dと通信するための受信部303を備えている。図18は、本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の接続構成の第一例を示す図である。情報処理部102Dに相当する情報処理装置102_Dは、GW104を介して情報処理部102Eに相当する情報処理装置102_E及び情報表示装置103と接続されている。また、情報処理装置102_Dは感知部101Dに相当する感知装置101_Dと接続されている。   The information processing unit 102 </ b> D is configured by, for example, a high-functional sensor built in the air conditioner 105 or a home computer. The information processing unit 102E is configured by a cloud server, for example. The information processing unit 102D includes a receiving unit 303D for communicating with the sensing unit 101D and a transmitting unit 302D for communicating with the information processing unit 102E. The information processing unit 102E includes a receiving unit 303 for communicating with the information processing unit 102D. FIG. 18 is a diagram illustrating a first example of a connection configuration of a biological information sensing device to which an information processing device according to Modification 5 of the present disclosure is applied. The information processing device 102_D corresponding to the information processing unit 102D is connected to the information processing device 102_E and the information display device 103 corresponding to the information processing unit 102E via the GW 104. The information processing apparatus 102_D is connected to a sensing apparatus 101_D corresponding to the sensing unit 101D.

図19は、本開示の変形例5にかかる情報処理装置が適用された生体情報感知装置の接続構成の第二例を示す図である。第二例では、感知装置101_D、情報処理装置102_D、情報処理装置102_E、及び情報表示装置103は、それぞれ、GW104を介して接続されている。   FIG. 19 is a diagram illustrating a second example of the connection configuration of the biological information sensing device to which the information processing device according to the fifth modification of the present disclosure is applied. In the second example, the sensing device 101_D, the information processing device 102_D, the information processing device 102_E, and the information display device 103 are connected via the GW 104, respectively.

(変形例6)
図20は、本開示の変形例6にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。変形例6では、GW104は、公衆通信網801を介して情報処理装置102及び情報表示装置103と接続されている。なお、感知装置101は、GW104と接続されている。
(Modification 6)
FIG. 20 is a diagram illustrating a connection configuration of a biological information sensing device to which an information processing device according to Modification 6 of the present disclosure is applied. In Modification 6, the GW 104 is connected to the information processing apparatus 102 and the information display apparatus 103 via the public communication network 801. Note that the sensing device 101 is connected to the GW 104.

(変形例7)
図21は、本開示の変形例7にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。変形例7は、公衆通信網801を利用して変形例5にかかる生体情報感知装置を構成したものである。GW104は公衆通信網801を介して情報処理装置102_Eと情報表示装置103と接続されている。感知装置101は、情報処理装置102_Dを介してGW104と接続されている。
(Modification 7)
FIG. 21 is a diagram illustrating a connection configuration of a biological information sensing device to which an information processing device according to Modification 7 of the present disclosure is applied. The modified example 7 is configured by using the public communication network 801 to configure the biological information sensing device according to the modified example 5. The GW 104 is connected to the information processing apparatus 102_E and the information display apparatus 103 via the public communication network 801. The sensing device 101 is connected to the GW 104 via the information processing device 102_D.

(変形例8)
図22は、本開示の変形例8にかかる情報処理装置が適用された生体情報感知装置の接続構成を示す図である。変形例8は、公衆通信網801を利用して変形例5にかかる生体情報感知装置を構成したものである。
(Modification 8)
FIG. 22 is a diagram illustrating a connection configuration of the biological information sensing device to which the information processing device according to the modification 8 of the present disclosure is applied. In the eighth modification, the biological information sensing device according to the fifth modification is configured using the public communication network 801.

GW104は、公衆通信網801を介して情報処理装置102_Eと情報表示装置103と接続されている。感知装置101と情報処理装置102_DはそれぞれLANを介してGW104と接続されている。   The GW 104 is connected to the information processing apparatus 102_E and the information display apparatus 103 via the public communication network 801. The sensing device 101 and the information processing device 102_D are each connected to the GW 104 via a LAN.

(変形例9)
図23は、本開示の変形例9にかかる情報処理装置が適用された生体情報感知装置の概要を示す図である。変形例9は、実施の形態2にかかる生体情報感知装置において、感知装置901_Aを寝具107の下部に配置したものである。寝具107の下部に感知装置901_Aを配置した場合においても、実施の形態2と同様、活動量データを計測できる。
(Modification 9)
FIG. 23 is a diagram illustrating an outline of a biological information sensing device to which the information processing device according to the ninth modification of the present disclosure is applied. Modification 9 is a living body information sensing device according to the second embodiment in which a sensing device 901 </ b> _A is disposed below the bedding 107. Even when the sensing device 901 </ b> _A is arranged below the bedding 107, the activity amount data can be measured as in the second embodiment.

(変形例10)
実施の形態2では、活動量として体動値、心拍数、及び脈拍数が採用されたが、これらのうちの少なくとも1つが活動量として採用されてもよい。
(Modification 10)
In the second embodiment, the body motion value, the heart rate, and the pulse rate are employed as the activity amount, but at least one of these may be employed as the activity amount.

(変形例11)
実施の形態1では、変化検出部307は、人体106の体温の異常を示すアラーティング情報を生成するとして説明したが、本開示はこれに限定されない。例えば、変化検出部307は、熱画像データから算出した人体106の体温と基準値との差分を比較結果として生成し、当該差分を示す情報を送信部308を介して情報表示部103Aに送信してもよい。
(Modification 11)
In Embodiment 1, the change detection unit 307 has been described as generating alerting information indicating an abnormality in the body temperature of the human body 106, but the present disclosure is not limited thereto. For example, the change detection unit 307 generates a difference between the body temperature of the human body 106 calculated from the thermal image data and the reference value as a comparison result, and transmits information indicating the difference to the information display unit 103A via the transmission unit 308. May be.

(変形例12)
実施の形態2では、変化検出部907は、人体106の活動量の活動量の異常を示すアラーティング情報を生成するとして説明したが、本開示はこれに限定されない。変化検出部907は、活動量データから算出された人体106の活動量と基準値との差分を比較結果として生成し、当該差分を示す情報を送信部308を介して情報表示部103Aに送信してもよい。活動量データには、体動値、呼吸数、及び心拍数が含まれるので、変化検出部907は、体動値、呼吸数、及び心拍数のそれぞれについての基準値に対する差分を比較結果に含ませればよい。
(Modification 12)
In the second embodiment, the change detection unit 907 has been described as generating alerting information indicating an activity amount abnormality of the human body 106, but the present disclosure is not limited thereto. The change detection unit 907 generates a difference between the activity amount of the human body 106 calculated from the activity amount data and the reference value as a comparison result, and transmits information indicating the difference to the information display unit 103A via the transmission unit 308. May be. Since the activity amount data includes the body motion value, the respiratory rate, and the heart rate, the change detection unit 907 includes the difference from the reference value for each of the body motion value, the respiratory rate, and the heart rate in the comparison result. You can do it.

なお、変形例1〜8は実施の形態1,2ともに適用可能である。   Modifications 1 to 8 are applicable to both Embodiments 1 and 2.

本開示の各実施形態にかかる情報処理装置及び方法は、人体に対し非侵襲で生体情報を取得することができ、さらに被測定者の姿勢が変化しても適切に生体状態を把握することができることにより、高齢者介護における日々の生体情報記録及び変化の検知や、体動状態に連動した空気調和機の制御に有用である。   The information processing apparatus and method according to each embodiment of the present disclosure can acquire biological information in a non-invasive manner with respect to the human body, and can appropriately grasp the biological state even when the posture of the measurement subject changes. By being able to do so, it is useful for daily biometric information recording and change detection in elderly care, and for controlling an air conditioner linked to a body movement state.

101A 感知部
102A 情報処理部
103A 情報表示部
106 人体
301 センサ部
302 送信部
303 受信部
304 時刻データ付与部
305 データ分類部
306 データ管理部
307 変化検出部
308 送信部
309 受信部
310 表示部
311 DB部
901A 感知部
901 センサ部
902A 情報処理部
905 データ分類部
906 データ管理部
907 変化検出部
911 DB部
101A sensing unit 102A information processing unit 103A information display unit 106 human body 301 sensor unit 302 transmission unit 303 reception unit 304 time data addition unit 305 data classification unit 306 data management unit 307 change detection unit 308 transmission unit 309 reception unit 310 display unit 311 DB Unit 901A sensing unit 901 sensor unit 902A information processing unit 905 data classification unit 906 data management unit 907 change detection unit 911 DB unit

Claims (11)

コンピュータを用いて、測定対象者の生体情報を算出するための測定データを、非接触で測定する測定部から取得し、
取得された前記測定データの内容に基づいて、前記測定データを前記測定対象者の少なくとも姿勢に応じたグループに分類し、前記分類された測定データから前記生体情報を算出し、前記算出した生体情報を前記測定データが属しているグループに対応する基準値と比較し、
前記比較に基づく通知を情報提示部にさせる、
情報処理方法。
Using a computer, obtain measurement data for calculating the biological information of the measurement subject from a measurement unit that performs measurement without contact,
Based on the content of the acquired measurement data, the measurement data is classified into a group corresponding to at least the posture of the measurement subject, the biological information is calculated from the classified measurement data, and the calculated biological information To the reference value corresponding to the group to which the measurement data belongs,
Causing the information presentation unit to make a notification based on the comparison;
Information processing method.
前記測定データの分類においては、前記測定データの内容に基づく前記測定データの前記グループへの分類を機械学習した機械学習モデルを用いて前記測定データを前記グループに分類し、
前記基準値は、前記機械学習において、前記グループに分類された前記測定データから算出された前記グループの前記生体情報の代表値である、
請求項1記載の情報処理方法。
In the classification of the measurement data, the measurement data is classified into the group using a machine learning model in which the measurement data is classified into the group based on the content of the measurement data.
The reference value is a representative value of the biological information of the group calculated from the measurement data classified into the group in the machine learning.
The information processing method according to claim 1.
前記情報処理方法は、さらに、
前記測定データの内容に基づく前記測定データの前記グループへの分類を前記機械学習モデルに機械学習させ、
前記機械学習において、前記グループに分類された測定データから前記グループの前記生体情報の代表値を、前記グループの前記基準値として算出する、
請求項2記載の情報処理方法。
The information processing method further includes:
Classifying the measurement data into the group based on the content of the measurement data in the machine learning model,
In the machine learning, a representative value of the biological information of the group is calculated as the reference value of the group from the measurement data classified into the group.
The information processing method according to claim 2.
前記測定部は、熱画像センサであり、
前記生体情報は、体温であり、
前記測定データは、前記熱画像センサで得られた熱画像データであり、
前記測定データの分類においては、前記熱画像センサにより得られた前記熱画像データに含まれる前記測定対象者を表す領域の特徴に基づいて前記熱画像データを前記グループに分類し、
前記比較においては、前記分類された熱画像データから前記測定対象者の体温を算出し、前記算出した体温と、前記分類された熱画像データが属するグループに対応する基準値とを比較する、
請求項1〜3のいずれかに記載の情報処理方法。
The measurement unit is a thermal image sensor,
The biological information is body temperature,
The measurement data is thermal image data obtained by the thermal image sensor,
In the classification of the measurement data, the thermal image data is classified into the group based on the characteristics of the region representing the measurement subject included in the thermal image data obtained by the thermal image sensor,
In the comparison, the body temperature of the measurement subject is calculated from the classified thermal image data, and the calculated body temperature is compared with a reference value corresponding to a group to which the classified thermal image data belongs.
The information processing method according to claim 1.
前記測定部は、電波センサであり、
前記生体情報は、前記測定対象者の体動値、呼吸数、及び心拍数の少なくとも1つを含む活動量であり、
前記測定データは、前記電波センサにより得られた前記活動量を示す活動量データであり、
前記測定データの分類においては、前記電波センサにより得られた前記活動量データの波形情報に基づいて前記活動量データを前記グループに分類し、
前記比較においては、前記分類された活動量データから前記測定対象者の前記活動量を算出し、前記算出した活動量と、前記分類された活動量データが属するグループに対応する基準値とを比較する、
請求項1〜3のいずれかに記載の情報処理方法。
The measurement unit is a radio wave sensor,
The biological information is an activity amount including at least one of a body motion value, a respiratory rate, and a heart rate of the measurement subject,
The measurement data is activity amount data indicating the activity amount obtained by the radio wave sensor,
In the classification of the measurement data, the activity data is classified into the group based on waveform information of the activity data obtained by the radio wave sensor,
In the comparison, the activity amount of the measurement subject is calculated from the classified activity amount data, and the calculated activity amount is compared with a reference value corresponding to a group to which the classified activity amount data belongs. To
The information processing method according to claim 1.
前記グループのいずれにも該当しない前記測定データの個数が基準個数を超えた場合、前記機械学習モデルの再学習を促す情報を生成する、
請求項3記載の情報処理方法。
When the number of the measurement data that does not fall into any of the groups exceeds a reference number, information that prompts relearning of the machine learning model is generated.
The information processing method according to claim 3.
前記情報処理方法は、さらに、前記測定データに対する測定時刻を示す時刻データを取得し、
前記比較においては、前記時刻データに基づいて前記測定データが所定の時間帯に測定されたか否かを判定し、前記測定データが前記所定の時間帯に測定されたと判定された場合、前記比較を実行する、
請求項1〜6のいずれかに記載の情報処理方法。
The information processing method further acquires time data indicating a measurement time for the measurement data,
In the comparison, it is determined whether or not the measurement data is measured in a predetermined time zone based on the time data. When it is determined that the measurement data is measured in the predetermined time zone, the comparison is performed. Run,
The information processing method according to claim 1.
前記姿勢は、前記測定対象者の体の向きである、
請求項1〜7のいずれかに記載の情報処理方法。
The posture is the body direction of the measurement subject.
The information processing method according to claim 1.
前記比較に基づく通知は、前記生体情報と前記基準値との比較結果、又は前記測定対象者の異常である、
請求項1〜8のいずれかに記載の情報処理方法。
The notification based on the comparison is a comparison result between the biological information and the reference value, or an abnormality of the measurement subject.
The information processing method according to claim 1.
測定対象者の生体情報を算出するための測定データを、非接触で測定する測定部から取得する取得部と、
受信された前記測定データの内容に基づいて、前記測定データを前記測定対象者の少なくとも姿勢に応じたグループに分類するデータ分類部と、
前記分類された測定データから前記生体情報を算出し、前記算出した生体情報を前記測定データが属しているグループに対応する基準値と比較する比較部と、
前記比較に基づく通知を情報提示部にさせるための情報を前記情報提示部に送信する送信部と、
を備える情報処理装置。
An acquisition unit that acquires measurement data for calculating biological information of a measurement subject from a measurement unit that performs measurement without contact;
Based on the content of the received measurement data, a data classification unit that classifies the measurement data into a group according to at least the posture of the measurement target person;
A comparator that calculates the biological information from the classified measurement data, and compares the calculated biological information with a reference value corresponding to a group to which the measurement data belongs;
A transmitting unit that transmits information for causing the information presenting unit to perform notification based on the comparison to the information presenting unit;
An information processing apparatus comprising:
請求項1〜9記載の情報処理方法をコンピュータに実行させるプログラム。   A program for causing a computer to execute the information processing method according to claim 1.
JP2017224454A 2017-03-27 2017-11-22 Information processing methods, information processing devices, and programs Active JP7065447B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/915,008 US11185235B2 (en) 2017-03-27 2018-03-07 Information processing method, information processing device, and recording medium
CN201810228173.7A CN108662728B (en) 2017-03-27 2018-03-20 Information processing method, information processing apparatus, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017061295 2017-03-27
JP2017061295 2017-03-27

Publications (2)

Publication Number Publication Date
JP2018161462A true JP2018161462A (en) 2018-10-18
JP7065447B2 JP7065447B2 (en) 2022-05-12

Family

ID=63859248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017224454A Active JP7065447B2 (en) 2017-03-27 2017-11-22 Information processing methods, information processing devices, and programs

Country Status (1)

Country Link
JP (1) JP7065447B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020109390A (en) * 2018-12-28 2020-07-16 パナソニックIpマネジメント株式会社 Estimation method and estimation device
WO2020178909A1 (en) * 2019-03-01 2020-09-10 三菱電機株式会社 Air conditioner and health management assistance system
JPWO2021039601A1 (en) * 2019-08-23 2021-03-04
KR20210123046A (en) * 2020-04-02 2021-10-13 주식회사 시온테크닉스 An Elderly Care Device Using Thermal Image Algorithm
WO2023080019A1 (en) * 2021-11-04 2023-05-11 オムロン株式会社 Bioinformation processing device, bioinformation processing method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236583A (en) * 2000-12-19 2001-08-31 Matsushita Electric Ind Co Ltd Safety confirmation system
JP2001256480A (en) * 2000-03-09 2001-09-21 Hitachi Ltd Automatic picture classifying method and its device
JP2001315519A (en) * 2000-05-09 2001-11-13 Denso Corp Air conditioner for vehicle
JP2003534864A (en) * 2000-06-08 2003-11-25 ハネウェル・インターナショナル・インコーポレーテッド Detection system and method using thermal image analysis
JP2008167899A (en) * 2007-01-11 2008-07-24 Adachi Shokai:Kk Measuring system, measuring apparatus, communication equipment and measurement method
JP2009119896A (en) * 2007-11-12 2009-06-04 Nissan Motor Co Ltd Face temperature calculation device and face temperature calculation method
JP2014234113A (en) * 2013-06-04 2014-12-15 株式会社デンソー Vehicular reference value generation apparatus
JP2016067773A (en) * 2014-09-30 2016-05-09 国立大学法人 千葉大学 Autonomous mobile robot and vital sign monitoring method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256480A (en) * 2000-03-09 2001-09-21 Hitachi Ltd Automatic picture classifying method and its device
JP2001315519A (en) * 2000-05-09 2001-11-13 Denso Corp Air conditioner for vehicle
JP2003534864A (en) * 2000-06-08 2003-11-25 ハネウェル・インターナショナル・インコーポレーテッド Detection system and method using thermal image analysis
JP2001236583A (en) * 2000-12-19 2001-08-31 Matsushita Electric Ind Co Ltd Safety confirmation system
JP2008167899A (en) * 2007-01-11 2008-07-24 Adachi Shokai:Kk Measuring system, measuring apparatus, communication equipment and measurement method
JP2009119896A (en) * 2007-11-12 2009-06-04 Nissan Motor Co Ltd Face temperature calculation device and face temperature calculation method
JP2014234113A (en) * 2013-06-04 2014-12-15 株式会社デンソー Vehicular reference value generation apparatus
JP2016067773A (en) * 2014-09-30 2016-05-09 国立大学法人 千葉大学 Autonomous mobile robot and vital sign monitoring method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020109390A (en) * 2018-12-28 2020-07-16 パナソニックIpマネジメント株式会社 Estimation method and estimation device
JP7429877B2 (en) 2018-12-28 2024-02-09 パナソニックIpマネジメント株式会社 Estimation method and device
WO2020178909A1 (en) * 2019-03-01 2020-09-10 三菱電機株式会社 Air conditioner and health management assistance system
JPWO2020178909A1 (en) * 2019-03-01 2021-09-30 三菱電機株式会社 Air conditioner and health care assistance system
JP7049524B2 (en) 2019-03-01 2022-04-06 三菱電機株式会社 Air conditioner and health care assistance system
JPWO2021039601A1 (en) * 2019-08-23 2021-03-04
WO2021039601A1 (en) * 2019-08-23 2021-03-04 学校法人慶應義塾 Respiration detection system and respiration detection method
JP7186887B2 (en) 2019-08-23 2022-12-09 データソリューションズ株式会社 Breath detection system and breath detection method
KR20210123046A (en) * 2020-04-02 2021-10-13 주식회사 시온테크닉스 An Elderly Care Device Using Thermal Image Algorithm
KR102389286B1 (en) * 2020-04-02 2022-04-21 주식회사 시온테크닉스 An Elderly Care Device Using Thermal Image Algorithm
WO2023080019A1 (en) * 2021-11-04 2023-05-11 オムロン株式会社 Bioinformation processing device, bioinformation processing method, and program

Also Published As

Publication number Publication date
JP7065447B2 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
CN108662728B (en) Information processing method, information processing apparatus, and recording medium
JP7065447B2 (en) Information processing methods, information processing devices, and programs
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
JP2015530890A (en) System, method, software application and data signal for determining movement
WO2021067860A1 (en) Systems and methods for contactless sleep monitoring
KR102304877B1 (en) Sleep assessment for evaluation and prediction of sleep based on deep learning
KR102350643B1 (en) Sleep assessment system using activity and sleeping data
US20230206078A1 (en) Anatomical position monitoring for bodily pressure ulcers
CN114140997A (en) System and method for monitoring and early warning of retention and physical condition of old people in toilet of nursing home
US20210000405A1 (en) System for estimating a stress condition of an individual
JP2023521416A (en) Contactless sensor-driven devices, systems, and methods that enable environmental health monitoring and predictive assessment
JP7327397B2 (en) Computer-implemented programs, information processing systems, and computer-implemented methods
JP7342863B2 (en) Computer-executed programs, information processing systems, and computer-executed methods
US11457875B2 (en) Event prediction system, sensor signal processing system, event prediction method, and non-transitory storage medium
KR102233157B1 (en) Method and system for calculating occupant activity using occupant pose classification based on deep learning
WO2020003951A1 (en) Program executed by computer, information processing device, and method executed by computer
US20190277958A1 (en) Presence/absence detection method, non-transitory storage medium, sensor processing system, and sensor system
JP7215481B2 (en) Computer Executed Programs, Information Processing Devices, and Computer Executed Methods
Liao et al. An empirical study on engineering a real-world smart ward using pervasive technologies
JP7147942B1 (en) Data collection device, data collection system, data collection method
WO2022059438A1 (en) Information processing device, information processing system, program, and recording medium
Shamna et al. IoMT enabled prototype edge computing healthcare system for isolated patients
US20230023432A1 (en) Method and apparatus for determining dementia risk factors using deep learning
US20240188883A1 (en) Hypnodensity-based sleep apnea monitoring system and method of operation thereof
US20230137904A1 (en) System and method for generating and visualizing virtual figures from pressure data captured using weight support devices for visualization of user movement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7065447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151