JP2023131562A - 検出システム、検出方法、及び、検出プログラム - Google Patents

検出システム、検出方法、及び、検出プログラム Download PDF

Info

Publication number
JP2023131562A
JP2023131562A JP2022036398A JP2022036398A JP2023131562A JP 2023131562 A JP2023131562 A JP 2023131562A JP 2022036398 A JP2022036398 A JP 2022036398A JP 2022036398 A JP2022036398 A JP 2022036398A JP 2023131562 A JP2023131562 A JP 2023131562A
Authority
JP
Japan
Prior art keywords
person
information
biological
degree
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022036398A
Other languages
English (en)
Inventor
慎 安木
Shin Yasuki
剛央 植田
Takeo Ueda
亨 岡田
Toru Okada
浩 野口
Hiroshi Noguchi
耕祐 大野
Kosuke Ono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022036398A priority Critical patent/JP2023131562A/ja
Priority to PCT/JP2023/006087 priority patent/WO2023171348A1/ja
Publication of JP2023131562A publication Critical patent/JP2023131562A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Emergency Management (AREA)
  • Surgery (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Alarm Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】利用目的に合わせて生体情報を活用する。【解決手段】検出システムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサと、センサから出力されるセンサデータに基づき、監視エリア内の人物の生体情報を検出する生体情報検出装置と、人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、生体検出装置から出力される生体情報から、人物の程度を含む生体程度情報を生成する管理装置と、を備える。【選択図】図1

Description

本開示は、検出システム、検出方法、及び、検出プログラムに関する。
従来、マイクロ波帯又はミリ波帯の変調波を送信し、この送信波と物体から反射された受信波を比較して、生体の呼吸、心拍等の微小な変動を検知するバイタルセンサが知られている(例えば特許文献2)。
国際公開第2021/039601号 特開2019-152441号公報 特開2016-138796号公報
従来の技術によれば、プライバシーを保ちながら、精度の高い物体検出と呼吸や心拍などの生体情報を取得することができる。こうした中、生体情報の取得にかかる設定情報に基づいて、多様な生体検出情報を生成し、利用目的に合わせて検出情報を活用することが望まれるが、このような要望に対して、従来の技術は何ら配慮されていない。
本開示の目的は、利用目的に合わせて生体情報を活用できる技術を提供することにある。
本開示の一態様に係る検出システムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサと、前記センサから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出する生体情報検出装置と、前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体検出装置から出力される前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する管理装置と、を備える。
本開示の一態様に係る検出方法は、監視エリアに設置された少なくとも1つのレーダ方式のセンサからから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出し、前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する。
本開示の一態様に係る検出プログラムは、監視エリアに設置された少なくとも1つのレーダ方式のセンサからから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出し、前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する、ことをコンピュータに実行させる。
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、利用目的に合わせて生体情報を活用できる技術を提供することができる。
実施の形態1に係る検出システムの構成例を示すブロック図 実施の形態1に係るセンサデータの構成例を示す図 実施の形態1に係る生体情報の構成例を示す図 実施の形態1に係る検出システムによる生体程度判定情報及び表示設定情報の設定処理の一例を示すフローチャート 実施の形態1に係る検出システムによる監視エリアの監視処理の一例を示すフローチャート 実施の形態1に係る利用シーン「見守り」の選択画面を示す図 実施の形態1に係る利用シーン「見守り」用の生体程度判定情報の設定画面の一例を示す図 実施の形態1に係る利用シーン「見守り」用の表示設定情報の設定画面を示す図 実施の形態1に係る利用シーン「見守り」用の生体程度補正設定情報の設定画面を示す図 実施の形態1に係る人物が寝室で就寝中である場合の監視画面の一例を示す図 実施の形態1に係る人物がリビングでテレビ視聴中である場合の監視画面の一例を示す図 実施の形態1に係る人物が浴室で異常状態である場合の監視画面の一例を示す図 実施の形態1に係る利用シーン「異常検知」の選択画面を示す図 実施の形態1に係る利用シーン「異常検知」用の生体程度判定情報の設定画面の一例を示す図 実施の形態1に係る利用シーン「異常検知」用の表示設定情報の設定画面を示す図 実施の形態1に係る利用シーン「異常検知」用の生体程度補正設定情報の設定画面を示す図 実施の形態1に係る2人の人物がオフィスにいる場合の監視画面の一例を示す図 実施の形態1に係るオフィスに異常状態の人物がいる場合の監視画面の一例を示す図 実施の形態1に係るコンテンツ視聴反応検出における検出システムの構成例を示す図 実施の形態1に係る利用シーン「コンテンツ視聴反応検出」の選択画面を示す図 実施の形態1に係る利用シーン「コンテンツ視聴反応検出」用の生体程度判定情報の設定画面の一例を示す図 実施の形態1に係る利用シーン「コンテンツ視聴反応検出」用の表示設定情報の設定画面を示す図 実施の形態1に係るサイネージ設定情報の一例を示す図 実施の形態1に係るサイネージの管理者向けの監視画面の一例を示す図 本開示に係る各装置の機能をコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
(実施の形態1)
<システム構成>
図1は、実施の形態1に係る検出システム10の構成例を示すブロック図である。図2は、実施の形態1に係るセンサデータ20の構成例を示す図である。図3は、実施の形態1に係る生体情報21の構成例を示す図である。
検出システム10は、センサ11と、生体情報検出装置12と、管理装置13と、端末装置14とを含んで構成される。センサ11と、生体情報検出装置12と、管理装置13と、端末装置14とは、所定の通信ネットワークを通じて、データ又は情報を送受信できてよい。通信ネットワークは、有線又は無線のいずれであってもよい。
センサ11は、監視エリア8の全体を監視できるよう、複数配置されてよい。
センサ11は、レーダ方式のセンサであり、所定の周波数帯の電波を照射し、当該センサ11のセンシング範囲に存在する物体(例えば人物1)から反射される反射波を受信する。センサ11は、照射した電波と受信した反射波とを比較して、図2に示すセンサデータ20を生成する。センサ11は、ミリ波レーダ方式のセンサであってよい。ミリ波レーダ方式の例として、FMCW(Frequency Modulated Continuous Wave)方式、又は、ステップICW(Interrupted Continuous Wave)方式等が挙げられる。
センサデータ20では、図2に示すように、タイムスタンプと、検知情報と、信号情報とが対応付けられている。
タイムスタンプは、センサデータ20を得たタイミングを示す情報である。タイムスタンプの例として、時刻情報又はフレーム番号が挙げられる。
検知情報は、例えば、所定強度以上の反射波が得られた3次元空間上の位置(以下、反射点と称する)を示す情報、センサ11から反射点までの距離を示す情報、及び、反射点における反射強度を示す情報を含む。
信号情報は、例えば、受信アンテナ毎のIQデータを含む。
すなわち、センサデータ20は、センシング範囲に存在する物体の3次元空間における位置、形状、及び、時間的変化を示すデータであり、映像データのような解像度は有していないため、各人物の個人を特定することはできず、センサ11により人物のプライバシーを保護した状態でのデータ取得が可能である。
センサ11は、生成したセンサデータ20を管理装置13及び端末装置14へ送信する。
生体情報検出装置12は、各センサ11から受信したセンサデータ20に基づいて、図3に示す生体情報21を生成する。
生体情報21では、図3に示すように、タイムスタンプと、検出人物情報と、バイタル値情報と、信頼度とが対応付けられている。
タイムスタンプは、生体情報21が生成されたタイミングを示す情報である。タイムスタンプの例として、時刻情報が挙げられる。管理装置13は、生体情報21を生成した時刻を、当該タイムスタンプとする。
検出人物情報は、検出された人物1に関する情報である。検出人物情報は、人物IDと、人物位置と、人物姿勢を含む。人物IDは、検出された人物1を識別するためのIDである。人物位置は、人物IDが示す人物の監視エリア8における3次元空間上の位置を示す。人物姿勢は、人物IDが示す人物1の姿勢を示す。生体情報検出装置12は、センサデータ20の検知情報に基づいて、人物位置及び人物姿勢を特定する。
バイタル値情報は、検出された人物1の活動状態であるバイタル値に関する情報である。バイタル値の例として、呼吸数、呼吸の深さ、心拍数、血圧が挙げられる。生体情報検出装置12は、センサデータ20の検知情報の時間変化に基づいて、検出された人物1のバイタル値(例えば、呼吸数、呼吸の深さ、心拍数、血圧等)を算出する。
信頼度情報は、バイタル値情報の信頼度(尤度)を示す情報である。生体情報検出装置12は、センサデータ20の検知情報及び信号情報に基づいて、算出されたバイタル値情報の信頼度を算出する。なお、信頼度情報は、バイタル値情報の算出源であるレーダ信号のノイズレベル比や、複数の異なるバイタル値情報候補の信頼度情報の比較結果に基づいて生成することができる。
生体情報検出装置12は、生成した生体情報21を管理装置13及び端末装置14へ送信する。
管理装置13は、生体情報検出装置12から受信した生体情報21に基づいて、各人物1の生体程度情報22を生成する。生体程度情報22は、人物1の活動状態であるバイタル値の程度(レベル)を示す情報である。このとき、管理装置13は、生体程度判定情報23に基づいて、生体程度情報22を生成する。生体程度判定情報23は、バイタル値から程度を判定するための情報を含む。ユーザは、管理装置13を操作して、生体程度判定情報23を設定できる。なお、生体程度判定情報の詳細については後述する。
管理装置13は、生成した生体程度情報22及び生体程度判定情報23を端末装置14へ送信する。
端末装置14は、生体情報検出装置12から受信した生体情報21と、管理装置13から受信した生体程度情報22及び生体程度判定情報23とに基づいて、監視エリア8における人物1の行動又は状態を推定し、監視画面に表示する。このとき、端末装置14は、表示設定情報24に基づいて、人物1の行動又は状態の表示態様を決定する。表示設定情報24は、人物の行動又は状態の表示態様の設定を含む情報である。ユーザは、端末装置14を操作して、表示設定情報24を設定できる。なお、表示設定情報24の詳細については後述する。
このように、検出システム10は、電波を用いて人物をセンシングするレーダ方式のセンサ11を用いて、人物1の生体状態を検出する。これにより、人物1のプライバシーを守りながら、人物の生体状態を検出できる。
<設定処理フロー>
図4は、実施の形態1に係る検出システム10による生体程度判定情報23及び表示設定情報24の設定処理の一例を示すフローチャートである。
管理装置13は、利用シーンの選択画面を表示する。なお、選択画面の具体例については後述する。ユーザは、選択画面から利用シーンを1つ選択する(S11)。
管理装置13は、ステップS11にて選択された利用シーン用のデフォルトの生体程度判定情報23を読み込み、表示する。ユーザは、表示された生体程度判定情報23を設定する(S12)。なお、生体程度判定情報23の設定方法の詳細については後述する。
端末装置14は、ステップS11にて選択された利用シーン用のデフォルトの表示設定情報24を表示する。ユーザは、表示された表示設定情報24を設定する(S13)。なお、表示設定情報24の設定方法の詳細については後述する。
管理装置13は、ステップS11にて選択された利用シーンに、ステップS12にて設定された生体程度判定情報23を対応付けてストレージ1003(図25参照)に保持する。端末装置14は、ステップS11にて選択された利用シーンに、ステップS13にて設定された表示設定情報24を対応付けてストレージ1003に保持する(S14)。
以上の処理により、利用シーンごとに適切な生体程度判定情報23及び表示設定情報24を対応付けてストレージ1003に保持される。
<監視処理フロー>
図5は、実施の形態1に係る検出システム10による監視エリア8の監視処理の一例を示すフローチャートである。
端末装置14は、利用シーンの選択画面を表示する。ユーザは、選択画面から、利用シーンを1つ選択する(S21)。
管理装置13は、ステップS21にて選択された利用シーンに対応付けられている生体程度判定情報23をストレージ1003から取得する。端末装置14は、ステップS21にて選択された利用シーンに対応付けられている表示設定情報24をストレージ1003から取得する(S22)。これにより、検出システム10は、利用シーン用に適切に設定された生体程度判定情報23及び表示設定情報24を用いて、監視処理を行うことができる。
管理装置13は、生体程度判定情報23を用いて、生体情報検出装置12から受信した生体情報21から、生体程度情報22を生成する(S23)。管理装置13は、生成した生体程度情報22を、端末装置14へ送信する。
端末装置14は、生体情報検出装置12から受信した生体情報21から、人物1の位置及び姿勢を特定する(S24)。
端末装置14は、表示設定情報24を用いて、人物の位置及び姿勢並びに生体程度情報22から、人物の行動又は状態を推定する(S25)。
端末装置14は、監視画面400に、推定した人物の位置、行動又は状態等を示す情報を監視画面に表示する(S26)。そして、検出システム10は、処理をステップS22に戻す。
以上の処理により、ユーザは、監視画面を見て、監視エリア8内にいる人物1の位置、行動又は状態(例えば人物1の生体に関する異常状態)を直感的に監視することができる。
<利用シーン:見守り>
次に、検出システム10の利用シーンの一例である、高齢者等の見守りについて説明する。
図6は、実施の形態1に係る利用シーン「見守り」の選択画面50Aを示す図である。
管理装置13は、図4のステップS11において、図6に示す利用シーンの選択画面を表示する。ユーザが、利用シーンとして「見守り」を選択すると、管理装置13は、次に示す、利用シーン「見守り」用の生体程度判定情報23の設定画面100Aを表示する。
<見守り用の設定画面>
図7は、実施の形態1に係る利用シーン「見守り」用の生体程度判定情報23の設定画面100Aの一例を示す図である。
利用シーン「見守り」用の生体程度判定情報23の設定画面100Aは、図7に示すように、バイタル値の閾値設定領域101、バイタル値の時間変化度の閾値設定領域102、呼吸の深さの閾値設定領域103、測定人数設定領域104を含んで構成される。
ユーザは、バイタル値の閾値設定領域101に含まれる閾値バー120を調整して、バイタル値からバイタル値の高低に関する生体程度を決定するための閾値を設定する。バイタル値の高低に関する生体程度を、バイタル高低程度と称する。例えば、バイタル高低程度として、「低」、「普通」、「高」の3段階を設定する場合、図7に示すように、ユーザは、「低」と「普通」を区別する閾値1と、「普通」と「高」を区別する閾値2とを設定する。例えば、ユーザは、見守り対象である高齢者向けに、当該閾値を低め(つまり厳しめ)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、バイタル高低程度の数は3段階に限られず、2段階でもよいし、4段階以上であってもよい。また、バイタル高低程度の各段階の名称はユーザが変更可能であってもよい。また、バイタル高低程度の各段階は、バイタル高低レベルと読み替えられてもよい。
ユーザは、バイタル値の時間変化度の閾値設定領域102に含まれる閾値バー120を調整して、バイタル値の時間変化度からバイタル値の時間変化度に関する生体程度を決定するための閾値を設定する。バイタル値の時間変化度に関する生体程度には、上昇方向の程度と、下降方向の程度とが含まれる。上昇方向の程度を、バイタル上昇変化程度と称する。下降方向の程度を、バイタル下降変化程度と称する。例えば、バイタル上昇変化程度として、「変化なし」、「上昇」、「急上昇」の3段階を設定する場合、図7に示すように、「変化なし」と「上昇」を区別する閾値1と、「上昇」と「急上昇」を区別する閾値2とを設定する。例えば、ユーザは、見守り対象である高齢者向けに、当該閾値を低め(つまり厳しめ)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、バイタル上昇変化程度の各段階は、バイタル上昇変化レベルと読み替えられてもよい。例えば、バイタル下降変化程度として、「変化なし」、「下降」、「急下降」の3段階を設定する場合、図7に示すように、「変化なし」と「下降」を区別する閾値1と、「下降」と「急下降」を区別する閾値2とを設定する。例えば、ユーザは、見守り対象である高齢者向けに、当該閾値を低め(つまり厳しめ)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、バイタル下降変化程度の各段階は、バイタル下降変化レベルと読み替えられてもよい。
ユーザは、呼吸の深さの閾値設定領域103に含まれる閾値バー120を調整して、バイタル値の呼吸の深さからバイタル値の呼吸の深さに関する生体程度を決定するための閾値を設定する。バイタル値の呼吸の深さに関する生体程度を、呼吸の深さ程度と称する。例えば、呼吸の深さ程度として「浅い」、「普通」、「深い」の3段階を設定する場合、図7に示すように、ユーザは、「浅い」と「普通」を区別する閾値1と、「普通」と「深い」を区別する閾値2とを設定する。例えば、ユーザは、見守り対象である高齢者向けに、当該閾値を低め(つまり厳しめ)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、呼吸の深さ程度の各段階は、呼吸の深さレベルと読み替えられてもよい。
ユーザは、測定人数設定領域104に、測定対象とする人物の最大人数を設定する。以下、設定された最大人数を、測定最大人数と称する。例えば、ユーザは、見守り対象である高齢者が、監視エリアである部屋に一人で住んでいる場合、「1人」を設定してよい。典型的に、測定最大人数を少なくした方が、生体情報の信頼度は向上する。
管理装置13は、ユーザによって設定された各閾値及び測定最大人数を含む生体程度判定情報23を生成し、利用シーン「見守り」と対応付けてストレージ1003に保持する。これにより、管理装置13は、図5に示す監視処理において、利用シーン「見守り」が選択された場合、利用シーン「見守り」用に適切に設定された生体程度判定情報23を利用できる。
<見守り用の表示設定情報>
図8は、実施の形態1に係る利用シーン「見守り」用の表示設定情報24の設定画面200Aを示す図である。
利用シーン「見守り」用の表示設定情報24の設定画面200Aは、図8に示すように、項目として、行動又は状態名と、設定名と、設定値とを有する。
行動又は状態名は、人物の行動又は状態の名称を示す。
設定名は、行動又は状態名に対応付けられる設定の名称を示す。1つの行動又は状態名に、1又は複数の設定名が対応付けられる。
設定値は、設定名に対応付けられる値を示す。1つの設定名に、1つの設定値が対応付けられる。ただし、1つの設定名に、複数の設定値が対応付けられてもよい。設定名と設定値のセットを表示設定パラメータと称してもよい。
<<就寝中>>
例えば、図8に示すように、行動又は状態名「就寝中」に、設定名「場所条件」、「姿勢条件」、「生体程度条件」、及び、「アイコン名」が対応付けられる。
設定名「場所条件」の設定値は、人物の行動を「就寝中」と判定するための人物の位置の範囲を示す。当該範囲は、マップにおけるX区間とY区間によって定められてよい。例えば、ユーザは、行動「就寝中」に対応付ける設定名「場所条件」の設定値として、マップ(住居の間取り図)の「寝室」の範囲を設定する。
設定名「姿勢条件」の設定値は、人物の行動を「就寝中」と判定するための人物の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、行動「就寝中」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「臥位」を選択する。
設定名「生体程度条件」の設定値は、人物の行動を「就寝中」と判定するための人物の生体程度及び当該生体程度の補正量を示す。一般的に、就寝中の人物は、安静にしているため、バイタル値が通常よりも低くなる傾向にある。そこで、ユーザは、行動「就寝中」に対応付ける設定名「生体程度条件」の設定値として、デフォルトのバイタル高低程度の閾値を所定量低くするような補正量を設定してよい。これにより、人物が就寝中のためにバイタル値が通常よりも少し低くなっているだけであるにも関わらず、端末装置14が、バイタル高低程度を「低」と誤判定してしまう可能性を抑制できる。ただし、行動名「就寝中」に設定名「生体程度条件」を対応付けることは必須ではない。
設定名「アイコン名」の設定値は、人物の行動を「就寝中」と判定した場合に使用するアイコンのファイル名を示す。
例えば、端末装置14は、人物の位置が設定名「場所条件」の設定値が示す範囲内(例えば寝室内)にあり、人物の姿勢が設定名「姿勢条件」の設定値が示す姿勢「臥位」であり、人物のバイタル高低程度が設定名「生体程度条件」の設定値によって補正された「普通」である場合、当該人物の行動を「就寝中」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<<テレビ視聴中>>
例えば、図8に示すように、行動及び状態名「テレビ視聴中」に、設定名「場所条件」、「姿勢条件」、「生体程度条件」、「アイコン名」が対応付けられる。
設定名「場所条件」の設定値は、人物の行動を「テレビ視聴中」と判定するための人物の位置の範囲を示す。当該範囲は、マップにおけるX区間とY区間によって定められてよい。例えば、ユーザは、行動「テレビ視聴中」に対応付ける設定名「場所条件」の設定値として、マップ(住居の間取り図)の「リビング」の範囲を設定する。
設定名「姿勢条件」の設定値は、人物の行動を「テレビ視聴中」と判定するための人物の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、行動「テレビ視聴中」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「座位」を選択する。
設定名「生体程度条件」の設定値は、人物の行動を「テレビ視聴中」と判定するための人物の生体程度及び当該生体程度の補正量を示す。例えば、テレビ視聴中の人物は、コンテンツの影響を受けて、バイタル値が通常よりも高くなる可能性がある。そこで、ユーザは、行動「テレビ視聴中」に対応付ける設定名「生体程度条件」の設定値として、デフォルトのバイタル高低程度の閾値を所定量高くするような補正量を設定してよい。これにより、人物がテレビ視聴中のためにバイタル値が通常よりも少し高くなっているにも関わらず、端末装置14が、バイタル高低程度を「高」と誤判定してしまう可能性を抑制できる。ただし、行動名「テレビ視聴中」に設定名「生体程度条件」を対応付けることは必須ではない。
設定名「アイコン名」の設定値は、人物の行動を「テレビ視聴中」と判定した場合に使用するアイコンのファイル名を示す。
例えば、端末装置14は、人物の位置が「場所条件」の設定値が示す範囲内(例えばリビング内)であり、人物の姿勢が「姿勢条件」の設定値が示す姿勢「座位」であり、人物のバイタル高低程度が設定名「生体程度条件」の設定値によって補正された「普通」である場合、当該人物の行動を「テレビ視聴中」と判定し、「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<<異常状態>>
例えば、図8に示すように、行動又は状態名「異常状態」に、設定名「場所条件」、「姿勢条件」、「バイタル高低程度条件」、「バイタル上昇/下降変化程度条件」、「アイコン名」が対応付けられる。
設定名「場所条件」の設定値は、人物の状態を「異常状態」と判定するための人物の位置の範囲を示す。図8では、監視エリア8の全範囲を当該異常状態の判定の範囲に設定している。
設定名「姿勢条件」の設定値は、人物の状態を「異常状態」と判定するための人物の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、状態「異常状態」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「臥位」を選択する。
設定名「バイタル高低程度条件」の設定値は、人物の状態を「異常状態」と判定するためのバイタル高低程度を示す。例えば、ユーザは、状態「異常状態」に対応付ける設定名「バイタル高低程度条件」の設定値として、「高」と「低」を設定する。
設定名「バイタル上昇/下降変化程度条件」の設定値は、人物の状態を「異常状態」と判定するためのバイタル上昇変化程度及びバイタル下降変化程度を示す。例えば、ユーザは、状態「異常状態」に対応付ける設定名「バイタル上昇/下降変化程度条件」の設定値として、「急上昇」と「急降下」を設定する。
設定名「アイコン名」の設定値は、人物の状態を「異常状態」と判定した場合に使用するアイコンのファイル名を示す。
例えば、端末装置14は、人物の位置が監視エリア8のいずれか(例えば住居のいずれか)であり、人物の姿勢が「姿勢条件」の設定値が示す姿勢「臥位」であり、人物のバイタル高低程度が「バイタル高低程度条件」の設定値が示す「高」又は「低」であり、人物のバイタル上昇変化程度又はバイタル下降変化程度が「バイタル上昇/下降変化程度条件」の設定値が示す「急上昇」又は「急下降」である場合、当該人物の状態を「異常状態」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<見守り用の生体程度補正設定情報>
図9は、実施の形態1に係る利用シーン「見守り」用の生体程度補正設定情報の設定画面300Aを示す図である。
端末装置14は、上述した表示設定情報24に加えて、図9に示す生体程度補正設定情報を設定するための設定画面300Aを表示する。
生体程度補正設定情報の設定画面300Aは、項目として、場所名と、補正量とを有する。場所名は、監視エリア8の場所の名称を示す。監視エリア8が住居である場合、場所名は、例えば、「リビング」、「トイレ」、「浴室」、「寝室」等である。補正量は、人物が、場所名が示す場所に位置する場合における、生体程度判定情報23の補正量を示す。
例えば、図9に示す生体程度補正設定情報の1行目に示すように、ユーザは、場所名「トイレ」に対して、補正量として、バイタル高低程度の「高」の閾値を高くする設定を対応付けてよい。この場合、端末装置14は、トイレに位置する人物については、当該補正量を考慮してバイタル高低程度を判定する。これにより、人物がトレイ中のためにバイタル値が通常よりも少し高くなっているだけであるにも関わらず、バイタル高低程度を「高」と誤判定してしまう可能性を抑制できる。
例えば、図9に示す生体程度補正設定情報の2行目に示すように、ユーザは、場所名「浴室」に対して、補正量として、バイタル高低程度の「高」の閾値を高くする設定を対応付けてよい。この場合、端末装置14は、浴室に位置する人物については、当該補正量を考慮してバイタル高低程度を判定する。これにより、端末装置14は、人物が入浴中のためにバイタル値が通常よりも少し高くなっているにも関わらず、バイタル高低程度を「高」と誤判定してしまう可能性を抑制できる。
<見守り用の監視画面>
図10は、実施の形態1に係る人物が寝室で就寝中である場合の監視画面400Aの一例を示す図である。
端末装置14は、図10に示すように、監視画面400Aを表示する。監視画面400Aは、マップ領域401と、姿勢領域402と、場所領域403と、行動領域404とを含んで構成される。
端末装置14は、マップ領域401に、マップの一例として、監視エリア8の住居の間取り図を表示する。
端末装置14は、生体情報検出装置12から受信した生体情報21に基づいて、人物1の姿勢を検出し、検出した姿勢名を、姿勢領域402に表示する。
端末装置14は、生体情報検出装置12から受信した生体情報21に基づいて、人物1の位置を検出する。端末装置14は、検出した人物の位置を間取り図にマッピングし、人物1の場所名を特定する。端末装置14は、特定した場所名を、場所領域403に表示する。
端末装置14は、生体情報検出装置12から受信した生体情報21と、管理装置13から受信した生体程度情報22と、表示設定情報24とに基づいて、人物1の行動を推定する。端末装置14は、推定した人物1の行動名を、行動領域404に表示する。
また、端末装置14は、マップ領域401の上記特定した場所に、上記推定した行動に対応するアイコン500と、生体程度に対応するアイコン501とを表示する。なお、本実施の形態におけるアイコンは、図形情報と読み替えられてよい。
例えば、端末装置14は、生体情報21から推定した人物1の姿勢が「臥位」である場合、姿勢領域402に「臥位」を表示する。
例えば、端末装置14は、生体情報21から推定した人物1の位置が「寝室」である場合、場所領域403に「寝室」を表示する。
例えば、端末装置14は、表示設定情報24から、人物1の行動が「就寝中」であると推定した場合、行動領域404に「就寝」を表示する。
例えば、端末装置14は、生体程度情報22及び表示設定情報24に基づいて、人物1の行動が「就寝中」であると推定した場合、マップ領域401に表示されている間取り図の「寝室」の場所に、「就寝中」のアイコン500を表示する。
例えば、端末装置14は、生体程度情報22及び表示設定情報24に基づいて、人物1の呼吸の深さ程度が「普通」であり、人物のバイタル高低程度(例えば心拍数の高低程度)が「普通」であると判定した場合、アイコン500の近傍に、呼吸の深さ程度「普通」を示すアイコン501と、バイタル(心拍数)高低程度「普通」を示すアイコン502とを表示する。
これにより、ユーザは、監視画面400Aを見て、住居に住んでいる見守り対象の人物1が、現在寝室で就寝中であり、バイタルは正常であることを直感的に確認できる。
図11は、実施の形態1に係る人物がリビングでテレビ視聴中である場合の監視画面400Bの一例を示す図である。
例えば、端末装置14は、生体情報21から推定した人物1の姿勢が「座位」である場合、姿勢領域402に「座位」を表示する。
例えば、端末装置14は、生体情報21から推定した人物1の位置が「リビング」である場合、場所領域403に「リビング」を表示する。
例えば、端末装置14は、生体程度情報22及び表示設定情報24に基づいて、人物1の行動が「テレビ視聴中」であると推定した場合、行動領域404に「テレビ視聴中」を表示する。
例えば、端末装置14は、生体情報21から推定した人物1の位置が「リビング」であり、表示設定情報24から人物1の行動が「テレビ視聴中」であると推定した場合、間取り図の「リビング」の場所に、「テレビ視聴中」のアイコン503を表示する。
例えば、端末装置14は、生体程度情報22及び表示設定情報24に基づいて、人物1の呼吸の深さが「普通」であり、人物1のバイタル高低程度(例えば心拍数の高低程度)が「普通」であると判定した場合、アイコン503の近傍に、呼吸の深さ程度「普通」を示すアイコン501と、バイタル(心拍数)高低程度「普通」を示すアイコン504とを表示する。
これにより、ユーザは、監視画面400Bを見て、住居に住んでいる見守り対象の人物1が、現在リビングでテレビ視聴中であり、バイタルは正常であることを直感的に確認できる。
図12は、実施の形態1に係る人物が浴室で異常状態である場合の監視画面400Cの一例を示す図である。
例えば、端末装置14は、生体情報21から推定した人物1の姿勢が「臥位」である場合、姿勢領域402に「臥位」を表示する。
例えば、端末装置14は、生体情報21から推定した人物1の位置が「浴室」である場合、場所領域403に「浴室」を表示する。
例えば、端末装置14は、生体程度情報22及び表示設定情報24に基づいて、人物1の状態が「異常状態」であると判定した場合、間取り図の「浴室」の場所に、バイタル「異常」を示すアイコン504を表示する。なお、人物1の行動領域404の表示は省略しているが、「安否確認」、「緊急通報」といった発報情報を表示するようにしてもよい。
これにより、ユーザは、監視画面400Cを見て、住居に住んでいる見守り対象の人物が、現在浴室にてバイタル異常が発生していることを直感的に確認できる。
<利用シーン:異常検知>
次に、検出システム10の利用シーンの一例である、オフィスで働く従業員の生体の異常検知について説明する。
図13は、実施の形態1に係る利用シーン「異常検知」の選択画面50Bを示す図である。
管理装置13は、図4のステップS11において、図13に示す利用シーンの選択画面50Bを表示する。ユーザが、利用シーンとして「異常検知」を選択すると、管理装置13は、次に示す、利用シーン「異常検知」用の生体程度判定情報23の設定画面100Bを表示する。
<異常検知用の設定画面>
図14は、実施の形態1に係る利用シーン「異常検知」用の生体程度判定情報23の設定画面100Bの一例を示す図である。
利用シーン「異常検知」用の生体程度判定情報23の設定画面100Bは、図14に示すように、バイタル値の閾値設定領域101、バイタル値の時間変化度の閾値設定領域102、信頼度の閾値設定領域105、測定人数設定領域104を含んで構成される。
ユーザは、上述した図7と同様に、バイタル値の閾値設定領域101の閾値バー120を調整して、バイタル高低程度の閾値を設定する。例えば、ユーザは、異常検知対象である従業員は比較的健康であるため、当該閾値を高め(つまり緩め)に設定してもよい。
ユーザは、上述した図7と同様に、バイタル値の時間変化度の閾値設定領域102の閾値バー120を調整して、バイタル上昇変化程度及びバイタル下降変化程度の閾値を設定する。例えば、ユーザは、異常検知対象である従業員は比較的健康であるものの、バイタルの急激な変化を見逃したくないので、当該閾値を低め(つまり厳しめ)に設定してもよい。
ユーザは、信頼度の閾値設定領域105に含まれる閾値バー120を調整して、生体情報21に含まれる信頼度情報から信頼度の高低に関する生体程度を決定するための閾値を決定する。信頼度の高低に関する生体程度を、信頼程度と称する。例えば、信頼程度として、「低」、「普通」、「高」の3段階を設定する場合、図14に示すように、ユーザは、「低」と「普通」を区別する閾値1と、「普通」と「高」を区別する閾値2とを設定する。例えば、ユーザは、オフィスのような環境で、異常状態でないにも関わらず、異常状態であるという誤検出が頻繁に発生すると運用に支障が出るので、当該閾値を高め(つまり厳しめ)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、信頼程度の数は3段階に限られず、2段階でもよいし、4段階以上であってもよい。また、信頼程度の各段階は、信頼レベルと読み替えられてもよい。
ユーザは、上述した図7と同様に、測定人数設定領域104に、測定最大人数を設定する。例えば、ユーザは、オフィスに勤務する従業員の数に合わせて、測定最大人数を設定してもよい。
管理装置13は、ユーザによって設定された各閾値及び測定最大人数を含む生体程度判定情報23を生成し、利用シーン「異常検知」と対応付けてストレージ1003に保持する。これにより、管理装置13は、図5に示す監視処理において、利用シーン「異常検知」が選択された場合、「異常検知」用に適切に設定された生体程度判定情報23を利用できる。
<異常検知用の表示設定情報>
図15は、実施の形態1に係る利用シーン「異常検知」用の表示設定情報24の設定画面を示す図である。
利用シーン「異常検知」用の表示設定情報24の設定画面は、図15に示すように、図8と同様、項目として、行動又は状態名と、設定名と、設定値とを有する。
<<作業中>>
例えば、図15に示すように、行動又は状態名「作業中」に、設定名「場所条件」、「姿勢条件」、「生体程度条件」、「アイコン名」が対応付けられる。
設定名「場所条件」の設定値は、人物の行動を「作業中」と判定するための人物の位置の範囲を示す。当該範囲は、マップにおけるX区間とY区間によって定められてよい。例えば、ユーザは、行動「作業中」に対応付ける設定名「場所条件」の設定値として、マップ(例えばオフィスの見取り図)の「デスク」の範囲を設定する。
設定名「姿勢条件」の設定値は、人物の行動を「作業中」と判定するための人物の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、行動「作業中」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「座位」を選択する。
設定名「生体程度条件」の設定値は、人物の行動を「作業中」と判定するための人物の生体程度及び当該生体程度の補正量を示す。一般的に、作業中の人物は、集中しているため、バイタル値が通常よりも低くなる傾向にある。そこで、ユーザは、行動「作業中」に対応付ける設定名「生体程度条件」の設定値として、デフォルトのバイタル高低程度の閾値を所定量低くするような補正量を設定してよい。これにより、人物が作業中のためにバイタル値が通常よりも少し低くなっているだけであるにも関わらず、管理装置13が、バイタル高低程度を「低」と誤判定してしまう可能性を抑制できる。ただし、行動名「作業中」に設定名「生体程度条件」を対応付けることは必須ではない。
設定名「アイコン名」の設定値は、人物の行動を「作業中」と判定した場合に使用するアイコンのファイル名を示す。
端末装置14は、人物の位置が「場所条件」の設定値が示す範囲内(例えばデスク)であり、人物の姿勢が「姿勢条件」の設定値が示す姿勢「座位」であり、人物のバイタル高低程度が設定名「生体程度条件」の設定値によって補正された「普通」である場合、当該人物の行動を「作業中」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<<異常状態>>
例えば、図15に示すように、行動又は状態名「異常状態」に、設定名「場所条件」、「姿勢条件」、「バイタル高低程度条件」、「バイタル上昇/下降変化程度条件」、「信頼程度条件」、「アイコン名」が対応付けられる。
設定名「場所条件」、「姿勢条件」、「バイタル高低程度条件」、「バイタル上昇/下降変化程度条件」、「アイコン名」については、図8と同様であるので、説明を省略する。
設定名「信頼程度条件」の設定値は、人物1の状態を「異常状態」と判定するための信頼程度を示す。例えば、ユーザは、状態「異常状態」に対応付ける設定名「信頼程度条件」の設定値として、「高」を設定する。オフィスのような比較的健康な人物が大勢勤務するような所では、高齢者と比較して生体の異常が発生する可能性が低く、また、低い信頼程度で誤検出が頻出して運用に支障が出る可能性があるためである。
例えば、端末装置14は、人物1の位置が「場所条件」の設定値が示す範囲内であり、人物1の姿勢が「姿勢条件」の設定値が示す姿勢「臥位」であり、人物のバイタル高低程度が「バイタル高低程度条件」の設定値が示す「高」又は「低」であり、人物1のバイタル上昇変化程度又はバイタル下降変化程度が「バイタル上昇/下降変化程度条件」の設定値が示す「急上昇」又は「急下降」であり、人物1の信頼程度が「信頼程度条件」の設定値が示す「高」である場合、当該人物1の状態を「異常状態」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<異常検知用の生体程度補正設定情報>
図16は、実施の形態1に係る利用シーン「異常検知」用の生体程度補正設定情報の設定画面を示す図である。
端末装置14は、上述した表示設定情報24に加えて、図16に示す生体程度補正設定情報を設定するための設定画面300Bを表示する。
生体程度補正設定情報の設定画面300Bは、項目として、場所名と、補正量とを有する。監視エリア8がオフィスである場合、場所名は、例えば、「トイレ」、「通路」等であってよい。
例えば、図15に示す生体程度補正設定情報の1行目に示すように、ユーザは、場所名「トイレ」に対して、補正量として、バイタル高低程度の「高」の閾値を高くする設定を対応付けてよい。この場合、端末装置14は、トイレに位置する人物1については、当該補正量を考慮してバイタル高低程度を判定する。これにより、人物1がトレイ中のためにバイタル値が通常よりも少し高くなっているにも関わらず、バイタル高低程度を「高」と誤判定してしまう可能性を抑制できる。
例えば、図16に示す生体程度補正設定情報の2行目に示すように、ユーザは、場所名「通路」に対して、補正量として、バイタル高低程度の「高」の閾値を高くする設定を対応付けてよい。この場合、端末装置14は、通路に位置する人物1については、当該補正量を考慮してバイタル高低程度を判定する。これにより、人物が通路を移動中のためにバイタル値が通常よりも少し高くなっているだけにあるにも関わらず、端末装置14が、バイタル高低程度を「高」と誤判定してしまう可能性を抑制できる。
<異常検知用の監視画面>
図17は、実施の形態1に係る2人の人物がオフィスにいる場合の監視画面400Dの一例を示す図である。
端末装置14は、図17に示すように、監視画面400Dを表示する。監視画面400Dは、マップ領域401を含んで構成される。
端末装置14は、マップ領域401に、マップの一例として、監視エリア8であるオフィスの見取り図を表示する。
例えば、端末装置14は、表示設定情報24から人物Aの行動が「作業中」であると推定した場合、マップ領域401に表示されている見取り図の人物Aの位置に、「作業中」のアイコン511を表示する。加えて、端末装置14は、当該アイコン511を、信頼程度「高」であることがわかるように、例えば実線で表示する。加えて、端末装置14は、当該アイコン511の近傍に、バイタル(心拍数)上昇/下降変化程度が「普通」であることを示す矢印アイコン(図17では横向き矢印のアイコン512)を表示する。
例えば、端末装置14は、表示設定情報24から人物Bの行動が「移動中」であると推定した場合、マップ領域401に表示されている見取り図の人物Bの位置に、「移動中」を示すアイコン513を表示する。加えて、端末装置14は、当該アイコン513を、信頼程度「低」であることがわかるように、例えば破線で表示する。加えて、端末装置14は、当該アイコン513の近傍に、バイタル(心拍数)上昇/下降変化程度が「急上昇」であることを示す矢印アイコン(図17では斜め上向き矢印のアイコン514)を表示する。
これにより、ユーザは、監視画面400Dを見て、オフィスに勤務している人物Aは作業中であり、バイタルは正常であり、当該バイタルの信頼度は高いことを直感的に確認できる。また、ユーザは、監視画面400Dを見て、人物Bは移動中であり、バイタルの変化が急上昇であるものの、当該バイタルの信頼度は低いことを直感的に確認できる。
図18は、実施の形態1に係るオフィスに異常状態の人物がいる場合の監視画面400Eの一例を示す図である。
例えば、端末装置14は、表示設定情報24から人物Cの状態が「異常状態」であると推定した場合、マップ領域401に表示されている見取り図の人物の位置に、「異常状態」を示すアイコン515を表示する。加えて、端末装置14は、当該アイコン515を、信頼程度「高」であることがわかるように、例えば実線で表示する。加えて、端末装置14は、当該アイコン515の近傍に、バイタルが「異常状態」であることを示すアイコン516を表示する。
これにより、ユーザは、監視画面400Eを見て、オフィスに勤務している人物Cにバイタル異常が発生しており、当該バイタルの信頼度は高いことを直感的に確認できる。なお、この場合、端末装置14は、生体異常の人物1が発生したことを示すアラート(例えば安否確認に関する文字列の表示や音声の発報)を出力してもよい。
<利用シーン:コンテンツ視聴反応検出>
次に、検出システム10の利用シーンの一例である、コンテンツ視聴反応検出について説明する。なお、実施の形態2では、実施の形態1にて説明済みの構成要素については共通の参照番号を付し、説明を省略する場合がある。
<システム構成>
図19は、実施の形態1に係るコンテンツ視聴反応検出における検出システム10の構成例を示す図である。
検出システム10は、図1に示す構成要素に加え、コンテンツを表示するサイネージ15をさらに備える。サイネージ15は、いわゆるデジタルサイネージ装置であり、例えば液晶ディスプレイを含んで構成される。また、サイネージ15は、所定の通信ネットワークを通じて端末装置14に接続されてよい。端末装置14は、サイネージ15に表示するコンテンツを制御できてよい。
センサ11は、例えば、サイネージ15の裏面に取り付けられ、サイネージ15の前に存在する人物をセンシングする。ただし、センサ11は、どのように配置されてもよいし、複数配置されてもよい。
図20は、実施の形態1に係る利用シーン「コンテンツ視聴反応検出」の選択画面50Cを示す図である。
管理装置13は、図4のステップS11において、図20に示す利用シーンの選択画面50Cを表示する。ユーザが、利用シーン「コンテンツ視聴反応検出」を選択すると、管理装置13は、次に示す、利用シーン「コンテンツ視聴反応検出」用の生体程度判定情報23の設定画面100Cを表示する。
<コンテンツ視聴反応検出用の設定画面>
図21は、実施の形態1に係る利用シーン「コンテンツ視聴反応検出」用の生体程度判定情報23の設定画面100Cの一例を示す図である。
利用シーン「コンテンツ視聴反応検出」用の生体程度判定情報23の設定画面100Cは、図21に示すように、監視エリア設定領域106、興奮度の閾値設定領域107、信頼度の閾値設定領域105、及び、測定人数設定領域104を含んで構成される。
ユーザは、監視エリア設定領域106に、コンテンツ視聴反応検出の監視エリア8を設定する。例えば、ユーザは、サイネージ15の前が監視エリア8となるように、X区間、Y区間、及び、Z区間を設定する。また、ユーザは、サイネージ15のサイズに応じて監視エリア8を設定してよい。
ユーザは、興奮度の閾値設定領域107に含まれる閾値バー120を調整して、興奮度から興奮度の高低に関する生体程度を決定するための閾値を決定する。興奮度の高低に関する生体程度を、興奮程度と称する。興奮度は、バイタル値(例えば心拍数及び/又は呼吸数)の大きさと時間変化に基づいて算出されてよい。例えば、興奮程度として、「無関心」、「関心あり」、「興奮」の3段階を設定する場合、図21に示すように、ユーザは、「無関心」と「関心あり」を区別する閾値1と、「関心あり」と「興奮」を区別する閾値2とを設定する。例えば、ユーザは、人物1の多少の関心も検出できるように、当該閾値を低め(つまり緩め)に設定してもよい。設定された閾値1と閾値2は数値として表示されてよい。なお、興奮程度の数は3段階に限られず、2段階でもよいし、4段階以上であってもよい。また、興奮程度の各段階の名称はユーザが変更可能であってもよい。なお、興奮程度の各段階は、興奮レベルと読み替えられてもよい。
ユーザは、図14と同様、信頼度の閾値設定領域105に含まれる閾値バー120を調整して、信頼度から信頼程度を決定するための閾値を決定する。例えば、コンテンツ反応検出では、信頼度が低くても運用上あまり問題ないので、ユーザは、当該閾値を低め(つまり緩め)に設定してもよい。
ユーザは、測定人数設定領域104に、測定最大人数を設定する。例えば、ユーザは、システム上対応可能な最大人数を設定してもよい。
管理装置13は、設定された監視エリア8、各閾値、及び、測定最大人数を含む生体程度判定情報23を生成し、利用シーン「コンテンツ視聴反応検出」と対応付けてストレージ1003に保持する。これにより、管理装置13は、図5に示す監視処理において、利用シーン「コンテンツ視聴反応検出」が選択された場合、「コンテンツ視聴反応検出」用に適切に設定された生体程度判定情報23を利用できる。
<コンテンツ視聴反応検出用の表示設定情報>
図22は、実施の形態1に係る利用シーン「コンテンツ視聴反応検出」用の表示設定情報24の設定画面200Cを示す図である。
利用シーン「コンテンツ視聴反応検出」用の表示設定情報24の設定画面200Cは、図22に示すように、図8と同様、項目として、行動又は状態名と、設定名と、設定値とを有する。
<<歩行中>>
例えば、図22に示すように、行動又は状態名「歩行中」に、設定名「姿勢条件」、「動作条件」、「生体程度条件」、「アイコン名」が対応付けられる。
設定名「姿勢条件」の設定値は、人物1の行動を「歩行中」と判定するための人物1の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、行動「歩行中」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「立位」を選択する。
設定名「動作条件」の設定値は、人物1の行動を「歩行中」と判定するための人物1の動作を示す。当該動作は、所定の動作リストから1つ選択されてよい。例えば、ユーザは、行動「歩行中」に対応付ける設定名「動作条件」の設定値として、所定の動作リストから「移動」を選択する。
設定名「生体程度条件」の設定値は、人物1の行動を「歩行中」と判定するための人物1の生体程度及び当該生体程度の補正量を示す。一般的に、歩行中の人物は、バイタル値が通常よりも高くなる傾向にある。そこで、ユーザは、行動「歩行中」に対応付ける設定名「生体程度条件」の設定値として、デフォルトの興奮程度の閾値を所定量高くするような補正量を設定してよい。これにより、人物1が歩行中のためにバイタル値が通常よりも高くなっているだけであるにも関わらず、端末装置14が、興奮程度を「関心あり」又は「興奮」と誤判定してしまう可能性を抑制できる。ただし、行動名「歩行中」に設定名「生体程度条件」を対応付けることは必須ではない。
設定名「アイコン名」の設定値は、人物1の行動を「歩行中」と判定した場合に使用するアイコンのファイル名を示す。
例えば、端末装置14は、人物1の姿勢が設定名「姿勢条件」の設定値が示す「立位」であり、人物1の動作が設定名「動作」の設定値が示す「移動」であり、人物1の興奮程度が設定名「生体程度条件」の設定値によって補正された「無関心」である場合、当該人物1の行動を「歩行中」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<<静止中>>
例えば、図22に示すように、行動又は状態名「静止中」に、設定名「姿勢条件」、「動作条件」、「生体程度条件」、「アイコン名」が対応付けられる。
設定名「姿勢条件」の設定値は、人物1の行動を「静止中」と判定するための人物1の姿勢を示す。当該姿勢は、所定の姿勢リストから1つ選択されてよい。例えば、ユーザは、行動「静止中」に対応付ける設定名「姿勢条件」の設定値として、所定の姿勢リストから「立位」を選択する。
設定名「動作条件」の設定値は、人物1の行動を「静止中」と判定するための人物1の動作を示す。当該動作は、所定の動作リストから1つ選択されてよい。例えば、ユーザは、行動「静止中」に対応付ける設定名「動作条件」の設定値として、所定の動作リストから「停止」を選択する。
設定名「生体程度条件」の設定値は、人物1の行動を「静止中」と判定するための人物1の生体程度及び当該生体程度の補正量を示す。一般的に、静止中の人物は、バイタル値が通常よりも低くなる傾向にある。そこで、ユーザは、行動「静止中」に対応付ける設定名「生体程度条件」の設定値として、デフォルトの興奮程度の閾値を所定量低くするような補正量を設定してよい。これにより、人物1が静止中のためにバイタル値が通常よりも低くなっているだけであるにも関わらず、端末装置14が、興奮程度を「関心あり」と誤判定してしまう可能性を抑制できる。ただし、行動名「静止中」に設定名「生体程度条件」を対応付けることは必須ではない。
設定名「アイコン名」の設定値は、人物1の行動を「静止中」と判定した場合に使用するアイコンのファイル名を示す。
例えば、端末装置14は、人物1の姿勢が設定名「姿勢条件」の設定値が示す「立位」であり、人物1の動作が設定名「動作」の設定値が示す「停止」であり、人物1の興奮程度が設定名「生体程度条件」の設定値によって補正された「無関心」である場合、当該人物1の行動を「静止中」と判定し、設定名「アイコン名」の設定値が示すファイル名のアイコンを表示する。なお、表示方法の詳細については後述する。
<<注目中>>
例えば、図22に示すように、行動又は状態名「注目中」に、設定名「興奮程度条件」、「顔の向き条件」、「アイコン色」が対応付けられる。
設定名「興奮程度条件」の設定値は、人物1の状態をサイネージ15に表示されているコンテンツに「注目中」と判定するための人物の興奮程度を示す。例えば、ユーザは、状態「注目中」に対応付ける設定名「興奮程度条件」の設定値として、「関心あり」と「興奮」を設定する。
設定名「顔の向き条件」の設定値は、人物1の状態を「注目中」と判定するための人物の顔の向きを示す。例えば、ユーザは、状態「注目中」に対応付ける設定名「顔の向き条件」の設定として、サイネージ15の正面方向を向いたときの顔の角度の範囲を設定する。なお、人物の顔の向きは、生体情報21に基づいて検知されてよい。
設定名「アイコン色」の設定値は、人物1の状態を「注目中」と判定した場合に使用するアイコンの色を示す。
例えば、端末装置14は、人物1の興奮程度が設定名「興奮程度条件」の設定値が示す「関心あり」又は「興奮」であり、人物1の顔の向きが設定名「顔の向き条件」の設定値が示す角度の範囲内である場合、当該人物1の状態を「注目中」と判定し、設定名「アイコン色」の設定値が示す色でアイコンを表示する。なお、表示方法の詳細については後述する。
<サイネージ設定情報>
図23は、実施の形態1に係るサイネージ設定情報600の一例を示す図である。
サイネージ設定情報600は、コンテンツ視聴反応の検出結果に応じて、サイネージ15におけるコンテンツの表示を変化させるための設定を含む。サイネージ設定情報600は、項目として、興奮程度と、設定値とを有する。
例えば、図23に示すサイネージ設定情報600の1行目に示すように、ユーザは、興奮程度「興奮」に対して、設定値として、サイネージ15に表示中のコンテンツの表示時間を10秒長くする設定を対応付ける。この場合、端末装置14は、監視エリア8内に興奮程度「興奮」の人物1が存在する場合、サイネージ15に表示中のコンテンツの表示時間を10秒長くする。
例えば、図23に示すサイネージ設定情報600の2行目に示すように、ユーザは、興奮程度「関心あり」に対して、設定値として、サイネージ15に表示中のコンテンツの表示時間を3秒長くする設定を対応付ける。この場合、端末装置14は、監視エリア8内に興奮程度「関心あり」の人物1が存在する場合、サイネージ15に表示中のコンテンツの表示時間を3秒長くする。
このように、サイネージ15の前に存在する人物の興奮程度に応じてコンテンツの表示時間を調節することにより、コンテンツの効果をより高めることができる。
<コンテンツ視聴反応検出用の監視画面>
図24は、実施の形態1に係るサイネージ15の管理者向けの監視画面400Fの一例を示す図である。
監視画面400Fは、図24に示すように、コンテンツ領域421、人物領域422、注目度領域423、及び、グラフ領域424を含んで構成される。
端末装置14は、コンテンツ領域421に、サイネージ15に表示中のコンテンツを表示する。
端末装置14は、人物領域422に、検出された各人物の行動又は状態をアイコンで表示する。図24に示すように、端末装置14は、検出された人数分のアイコンを表示してよい。例えば、検出した人物の行動が「歩行中」である場合、端末装置14は、歩行中のアイコン521を表示する。例えば、検出した人物の行動が「静止中」である場合、端末装置14は、静止中のアイコン522を表示する。例えば、検出した人物の興奮程度が「興奮」である場合、「興奮」に対応する色(例えば赤色)のアイコン523を表示する。例えば、検出した人物の興奮程度が「関心あり」である場合、「関心あり」に対応する色(例えばオレンジ)のアイコン(図示しない)を表示する。
端末装置14は、注目度領域423に、注目度を表示する。端末装置14は、検出された人物のうち、表示設定情報24において状態が「注目中」と判定された人物の割合に基づいて、注目度を算出してよい。
端末装置14は、グラフ領域424に、注目度の時間変化を示すグラフGRを表示する。グラフ領域414のグラフGRは、横軸が時間を示し、縦軸が注目度を示す。端末装置14は、随時グラフGRを更新してよい。
端末装置14は、コンテンツの表示内容と、そのコンテンツが表示されていたときの注目度とを対応付けて、コンテンツ注目度情報を生成しストレージ1003に保持してよい。これにより、サイネージ15の管理者は、コンテンツ注目度情報を用いて、サイネージ15に表示されたコンテンツのうち、どのコンテンツがどのくらい注目されたか等を後で分析することができる。
<ハードウェア構成>
以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した生体情報検出装置12、管理装置13、及び、端末装置14の機能は、コンピュータプログラムにより実現され得る。
図25は、本開示に係る各装置の機能をコンピュータプログラムにより実現するコンピュータのハードウェア構成を示す図である。
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。
プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU1007、及び、読取装置1008は、バス1009に接続され、バス1009を介して双方向にデータを送受信できる。
プロセッサ1001は、メモリ1002に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
メモリ1002は、揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ただし、メモリ1002の少なくとも一部は、不揮発性記憶媒体で構成されてもよい。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ1003の例として、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)が挙げられる。
入力装置1004は、プロセッサ1001に入力するデータを受け付ける装置である。入力装置1004の例として、キーボード、マウス、タッチパッド、又は、マイクが挙げられる。
出力装置1005は、プロセッサ1001が生成したデータを出力する装置である。出力装置1005の例として、ディスプレイ、又は、スピーカーが挙げられる。
通信装置1006は、他の装置と、通信ネットワークを介して、データを送受信する装置である。通信装置1006は、データを送信する送信部とデータを受信する受信部を含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ethernet(登録商標)が挙げられる。無線通信の例として、IEEE802.11、Wi-Fi(登録商標)、Bluetooth(登録商標)、LTE、4G、5Gが挙げられる。
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AI(artificial intelligence)の処理(例えばディープラーニング)に利用されてもよい。
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリといった記録媒体からデータを読み取る装置である。
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
本開示の技術は、レーダ方式のセンサを用いて人物の生体の状態を検出するシステム、方法及びプログラム等に有用である。
1 人物
8 監視エリア
10 検出システム
11 センサ
12 生体情報検出装置
13 管理装置
14 端末装置
15 サイネージ
20 センサデータ
21 生体情報
22 生体程度情報
23 生体程度判定情報
24 表示設定情報
50A、50B、50C 選択画面
100A、100B、100C 生体程度判定情報の設定画面
101 バイタル値の閾値設定領域
102 バイタル値の時間変化度の閾値設定領域
103 呼吸の深さの閾値設定領域
104 測定人数設定領域1
105 信頼度の閾値設定領域
106 監視エリア設定領域
107 興奮度の閾値設定領域
120 閾値バー
200A、200B、200C 表示設定情報の設定画面
300A、300B 生体程度補正設定情報の設定画面
400A、400B、400C 監視画面
401 マップ領域
402 姿勢領域
403 場所領域
404 行動領域
421 コンテンツ領域
422 人物領域
423 注目度領域
424 グラフ領域
500、501、502、503、504、511、512、513、514、515、516、521、522、523 アイコン
600 サイネージ設定情報
1001 プロセッサ
1002 メモリ
1003 ストレージ
1004 入力装置
1005 出力装置
1006 通信装置
1007 GPU
1008 読取装置
1009 バス

Claims (11)

  1. 監視エリアに設置された少なくとも1つのレーダ方式のセンサと、
    前記センサから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出する生体情報検出装置と、
    前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体情報検出装置から出力される前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する管理装置と、を備える、
    検出システム。
  2. 前記管理装置は、前記生体情報に含まれるバイタル値の高低に関する前記程度を判定するための閾値を、前記生体程度判定情報に設定する、
    請求項1に記載の検出システム。
  3. 前記管理装置は、前記生体情報に含まれるバイタル値の時間変化に関する前記程度を判定するための閾値を、前記生体程度判定情報に設定する、
    請求項1又は2に記載の検出システム。
  4. 前記管理装置は、前記生体情報に含まれる呼吸の深さに関する前記程度を判定するための閾値を、前記生体程度判定情報に設定する、
    請求項1から3のいずれか1項に記載の検出システム。
  5. 前記管理装置は、前記生体情報に含まれる当該生体情報の信頼度に関する前記程度を判定するための閾値を、前記生体程度判定情報に設定する、
    請求項1から4のいずれか1項に記載の検出システム。
  6. 前記管理装置は、前記生体情報に含まれるバイタル値に基づいて算出される前記人物の興奮度に関する前記程度を判定するための閾値を、前記生体程度判定情報に設定する、
    請求項1から5のいずれか1項に記載の検出システム。
  7. 前記管理装置は、検出する前記人物の最大人数を、前記生体程度判定情報に設定する、
    請求項1から6のいずれか1項に記載の検出システム。
  8. 前記管理装置は、当該検出システムの利用シーンごとに、前記生体程度判定情報を対応付けて記憶する、
    請求項1から7のいずれか1項に記載の検出システム。
  9. 前記センサは、ミリ波レーダ方式である、
    請求項1から8のいずれか1項に記載の検出システム。
  10. 監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出し、
    前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する、
    検出方法。
  11. 監視エリアに設置された少なくとも1つのレーダ方式のセンサから出力されるセンサデータに基づき、前記監視エリア内の人物の生体情報を検出し、
    前記人物の活動状態に関する程度を判定するための生体程度判定情報を用いて、前記生体情報から、前記人物の前記程度を含む生体程度情報を生成する、
    ことをコンピュータに実行させる、
    検出プログラム。
JP2022036398A 2022-03-09 2022-03-09 検出システム、検出方法、及び、検出プログラム Pending JP2023131562A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022036398A JP2023131562A (ja) 2022-03-09 2022-03-09 検出システム、検出方法、及び、検出プログラム
PCT/JP2023/006087 WO2023171348A1 (ja) 2022-03-09 2023-02-20 検出システム、検出方法、及び、検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022036398A JP2023131562A (ja) 2022-03-09 2022-03-09 検出システム、検出方法、及び、検出プログラム

Publications (1)

Publication Number Publication Date
JP2023131562A true JP2023131562A (ja) 2023-09-22

Family

ID=87936884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036398A Pending JP2023131562A (ja) 2022-03-09 2022-03-09 検出システム、検出方法、及び、検出プログラム

Country Status (2)

Country Link
JP (1) JP2023131562A (ja)
WO (1) WO2023171348A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04266739A (ja) * 1991-02-21 1992-09-22 Nec San-Ei Instr Co Ltd 患者監視装置
KR20110008080A (ko) * 2008-04-03 2011-01-25 카이 메디컬, 아이엔씨. 비접촉식 생리학적 모션 센서 및 모션 센서의 사용 방법
JP5682504B2 (ja) * 2010-09-09 2015-03-11 コニカミノルタ株式会社 安否監視装置
JP6441639B2 (ja) * 2014-10-24 2018-12-19 吉田 一雄 自殺抑制システム
CN112235464B (zh) * 2019-06-28 2022-05-31 华为技术有限公司 一种基于跌倒检测的呼救方法及电子设备

Also Published As

Publication number Publication date
WO2023171348A1 (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
CN109416943B (zh) 监测装置、用于动态调整监测装置的警报极限设置的方法
US9019099B2 (en) Systems and methods for patient monitoring
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
CN106796707B (zh) 慢性疾病发现和管理系统
JP2018186940A (ja) ベッドシステム
CN111538030A (zh) 检测人类活动的方法、系统和非暂态计算机可读介质
RU2722634C2 (ru) Электрическая кровать
WO2016186160A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
KR102408312B1 (ko) 바이탈 사인 센서 기반의 응급상황 모니터링 시스템
EP3917388A1 (en) Contactless monitoring of sleep activities and body vital signs via seismic sensing
WO2023171348A1 (ja) 検出システム、検出方法、及び、検出プログラム
CN108245170B (zh) 用于可穿戴装置的监测装置
WO2023171349A1 (ja) 検出システム、検出方法、及び、検出プログラム
WO2017134681A2 (en) Sleep monitoring and tracking system and method thereof
US10839668B2 (en) Alarm information processing apparatus and control program for alarm information processing apparatus
US11004322B2 (en) Systems and methods for adjusting medical device behavior
WO2023176413A1 (ja) 検出システム、検出方法、及び、検出プログラム
JP3238765U (ja) 姿勢・動作識別システム
WO2023176414A1 (ja) 検出システム、検出方法、及び、検出プログラム
WO2023176412A1 (ja) 検出システム、検出方法、及び、検出プログラム
KR102537316B1 (ko) 활동센서 기반의 상황 감시 시스템
US20230368749A1 (en) Medical support system
CN114983379A (zh) 基于毫米波雷达的使用者监测方法和计算机设备
JP2023105966A (ja) 入居者の状態の変化を検知するためにコンピューターによって実行される方法、プログラム、および、入居者の状態変化検出装置
JP2023176824A (ja) 生体情報監視装置、生体情報監視システム、生体情報監視プログラム及び生体情報監視方法