JP2015123160A - バイタルデータ処理方法及びバイタルデータ測定装置 - Google Patents

バイタルデータ処理方法及びバイタルデータ測定装置 Download PDF

Info

Publication number
JP2015123160A
JP2015123160A JP2013268235A JP2013268235A JP2015123160A JP 2015123160 A JP2015123160 A JP 2015123160A JP 2013268235 A JP2013268235 A JP 2013268235A JP 2013268235 A JP2013268235 A JP 2013268235A JP 2015123160 A JP2015123160 A JP 2015123160A
Authority
JP
Japan
Prior art keywords
vital data
measurement
vital
measurement subject
measurement target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013268235A
Other languages
English (en)
Other versions
JP6155184B2 (ja
Inventor
周平 上田
Shuhei Ueda
周平 上田
清 那須
Kiyoshi Nasu
清 那須
佐藤 路生
Michio Sato
路生 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2013268235A priority Critical patent/JP6155184B2/ja
Publication of JP2015123160A publication Critical patent/JP2015123160A/ja
Application granted granted Critical
Publication of JP6155184B2 publication Critical patent/JP6155184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

【課題】計測器により計測されたバイタルデータの測定結果の信頼性を向上させること。
【解決手段】本発明にかかるバイタルデータ処理方法は、測定対象者が位置すべき測定対象位置に対して撮影された映像データを入力し、入力された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出し、映像データの撮影時刻に測定対象位置においてバイタルデータの計測器により計測された信号を、検出された人物認識領域に基づいて測定対象者のバイタルデータとして取り込むか否かを判定し、取り込むと判定された信号に対してバイタルデータとしての処理を行うものである。
【選択図】図1

Description

本発明は、バイタルデータ処理方法及びバイタルデータ測定装置に関し、特に、測定対象者からバイタルデータ処理方法及びバイタルデータ測定装置に関する。
人間のバイタルデータ(生体情報)を測定するための装置には、測定対象者の人体に機器を装着させる接触型と、人体に直接触れない非接触型とがある。非接触型計測器は、人体に向けて放射された電波に対する反射波を測定し、反射波を変換等してバイタルデータとするものである。近年、非接触型計測器であるドップラーセンサーが注目されている。
ここで、人間のバイタルデータを測定する場合には、接触型及び非接触型のいずれも測定対象者が動かないことを前提としている。測定対象者が動いている場合、振動により観測する周波数帯に複数の信号が重なってしまい正確にバイタルデータを測定することが困難となるためである。そのため、例えば、接触型計測器では機器を測定対象者に装着させることで拘束し、かつ医師等の第三者の目視による監視が必要である。また、非接触型の計測器では測定対象者自身が動かないように注意する必要があった。
そこで、特許文献1及び2には、電波式ドップラーセンサーを用いて測定されたバイタルデータの中から測定対象者の動きにより発生したノイズを除去する技術が開示されている。特許文献1にかかる心拍計測装置は、電波式ドップラーセンサーを用いて人体表面からの反射波の振幅成分と位相成分とを含む出力信号を検出して、人体の体動により発生した振幅成分を分離して心拍成分だけを抽出するものである。また、特許文献2は、反射波からドップラーシフトされた信号を抽出し、当該信号をデジタル運動信号に変換し、復調し、生理学的動態に対応する信号を分離するものである。
特開2006−055504号公報 特表2011−519288号公報
測定対象者は常に動く可能性があるため、人体の動きに基づくノイズは常に発生し易い状況といえる。そのため、計測中の測定対象者の動きが外乱となり、測定結果には状況に応じた多くのノイズが重畳される可能性が高くなる。上述した特許文献1及び2にかかる技術を用いたとしても大量のノイズを除去しながら測定結果の中からバイタルデータを取得することには、困難性が伴い、取得されるバイタルデータの精度が低い可能性がある。
ここで、一般的なバイタルデータの取得方法について説明する。まず、計測器の出力波形をスペクトル解析し、ある周波数帯の信号の振幅を観測する。この周波数帯のスペクトルの中で他の周波数に比べて著しく信号の強度が高い周波数を抽出することでバイタルデータを得る。信号の振幅は測定対象者が静止している場合でも、振幅に変動があり常に同じ値にはならない。そのため、一般的には一定時間計測を行った結果を平均化することで信頼性のあるデータを担保している。データを平均化する方法として移動平均法がよく用いられる。
しかし、測定対象者が動いた場合には、取得すべき周波数帯の振幅は大きく変化し、静止している状態とは大きくかけ離れた特異なデータとなる。そのため、移動平均法で平均化を行う際に、特異なデータがあれば平均したデータの信頼性の低下の要因となり、正確なデータを取得するためには計測時間を長くしなければならない。
そこで、本発明は、測定対象者をカメラで撮影し動きの量を取得することにより、動きの量が大きい時刻での計測器の測定結果を使用しないことで、特異なデータを排除することにより計測器の測定結果の信頼性を向上させるためのバイタルデータ処理方法及びバイタルデータ測定装置を提供することを目的とする。
本発明にかかるバイタルデータ処理方法は、
測定対象者が位置すべき測定対象位置に対して撮影された映像データを入力し、
前記入力された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出し、
前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定し、
前記取り込むと判定された信号に対して前記バイタルデータとしての処理を行うものである。
また、
前記映像データ内の連続する複数のフレーム画像に含まれる前記人物認識領域の差分に基づいて前記測定対象者の動きの量が閾値以下であるか否かを判定し、
前記動きの量が閾値以下である場合に、前記測定対象者のバイタルデータとして取り込むと判定する
ことが望ましい。
さらに、
前記取り込む判定された信号から前記バイタルデータを抽出し、
前記抽出したバイタルデータが所定条件を満たす場合に、前記測定対象者の異常を示す警告情報を外部へ出力する
ことが好ましい。
さらにまた、
前記測定対象位置は、移動体の座席であり、
前記バイタルデータは、前記座席に着席した前記測定対象者から測定された信号に基づくものである
とよい。
さらに、
前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する
ことが望ましい。
また、本発明にかかるバイタルデータ測定装置は、
測定対象者が位置すべき測定対象位置に対して撮影された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出する検出部と、
前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定する判定部と、
前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する格納部と、
を備えるものである。
また、本発明にかかる移動体は、
上記のいずれかのバイタルデータ処理方法を実装したバイタルデータ測定装置を搭載したものである。
本発明によれば、測定対象者の動きにより発生するノイズが含まれた計測器の測定結果を破棄し、接触型計測器又は非接触型計測器を用いたバイタルデータの計測において、バイタルデータの測定結果の信頼性を向上させることができる。
本発明の実施の形態1にかかるバイタルデータ処理システムの構成を示すブロック図である。 測定対象者の動きの量を判定する処理の流れを示す図である。 カメラで撮影した画像における測定対象者の存在の有無を示す図である。 カメラで撮影した画像における測定対象者の動きを示す図である。 カメラで撮影した測定対象者の動きを示す図である。 画像中から人物を検出する処理の流れを示す図である。 測定結果の選択を示す流れ図である。 測定対象者が静止している場合のスペクトルの例である。 測定対象者が動いている場合のスペクトルの例である。 動きの量から計測器の波形を採用するかの判定を示す図である。 本発明の実施の形態2にかかるバイタルデータ監視装置の自動車での一実施例を示す構成図である。 本発明の実施の形態3にかかるバイタルデータ監視装置の航空機での一実施例を示す構成図である。 本発明の実施の形態4にかかるバイタルデータの測定器と自動車の制御機構との連携を示す図である。
<実施の形態1>
図1は、本発明の実施例におけるバイタルデータ処理システム10の構成図である。バイタルデータ処理システム10は、バイタルデータを測定する計測器11、カメラ12、測定器13、出力部14、及びデータベース15を備える。測定器13は、呼吸・心拍・認識エンジン131と、動作認識エンジン132とを備える。出力部14は、表示器141と、音声発生器142とを備える。データベース15は、カメラ12による撮影画像や、人物を検出した位置、及び、バイタルデータ等を記憶する記憶装置である。ここで、バイタルデータとは、脈拍、心拍数、呼吸、血圧、体温等を含む生体の機能を示すデータである。
計測器11は、測定対象者(不図示)のバイタルデータを測定し、測定結果を測定器13の呼吸・心拍認識エンジン131に入力する。計測器11には、例えば、心電計等の接触型計測器、又は、ドップラーセンサー等の非接触型計測器を用いることができる。カメラ12は、測定対象者(少なくとも測定対象者が位置すべき測定対象位置付近)を撮影し、撮影した映像データを測定器13の動作認識エンジン132に入力する。
動作認識エンジン132は、カメラ12から入力された映像データから測定対象者の動きに関する動き情報を検出し、呼吸・心拍認識エンジン131に検出した動き情報を通知する。併せて、動作認識エンジン132は、入力された映像データに含まれる各フレーム画像、各画像から検出された測定対象者の位置、検出した動き情報等を適宜、データベース15に格納してもよい。
呼吸・心拍認識エンジン131は、計測器11からのバイタルデータの測定結果と動作認識エンジン132から測定対象者の動き情報を入力とし、バイタルデータの測定結果と動き情報を比較して、動きが小さい場合のバイタルデータの測定結果を最終的な測定結果として採用する。呼吸・心拍・認識エンジン131は、採用した測定結果のみを呼吸・心拍波形表示1411に入力する。呼吸・心拍波形表示1411は呼吸・心拍認識エンジン131からの入力を表示する。併せて、呼吸・心拍・認識エンジン131は、入力された測定結果及び動き情報、並びに、測定結果の採否の結果等を適宜、データベース15に格納してもよい。これにより、別途、データベース15に格納されたデータを解析することにより、測定対象者の異常原因等を詳細に分析することもできる。
次に、警告音の発生方法について述べる。呼吸・心拍認識エンジン131は、動作認識エンジン132から通知される測定対象者の動きの量とデータベース15に保存された呼吸数/心拍数の変移を常時監視し、測定対象者が異常な状態にあるかどうかを判断する。呼吸数が正常値から極端に少ない(成人の正常値は12〜18回/分)ケースや呼吸数が短時間に大きく変化する場合、心拍数が正常値から極端に少ない(成人の正常値は50〜90回/分)場合に、呼吸・心拍認識エンジン131は、測定対象者が異常状態であると判断し、音声発生器142に警告音を発生(1421)させるように指示を行う。
ここで、測定対象者の動きの量の判定方法について述べる。図2は、測定対象者の動きの量を判定する処理(映像データの判定処理)の流れを示す図である。また、図3は、測定対象者の存在の有無を示す図である。そして、図4及び図5は、測定対象者の動きの量を示した図である。以下では、撮影されたフレーム画像単位の処理について、適宜、これらの図に触れつつ説明する。
まず、カメラ12は、測定対象者を撮影し、動作認識エンジン132は、測定対象者の存在を確認する。つまり、動作認識エンジン132は、カメラ12の撮影データから人物の存在位置を検出する(S21)。これは、実際に測定対象者が存在するかどうかが事前に分からないため、撮影した映像の中に存在するかを確認する必要があるためである。
ここで、測定対象者の検出方法について詳細に述べる。図6は、画像中から人物を検出する処理の流れを示す図である。測定対象者の検出処理では探索中状態と追跡中状態の2状態のいずれかにおいて行うものとする。検出処理において2状態を設けた理由は、全フレーム画像について、画像全体から探索を行うと処理時間がかかり、処理を効率化するためである。尚、測定対象者の検出処理における「状態」を示す情報は、例えば、測定器13の内部メモリ(不図示)等に格納され、フラグ等により「探索中」又は「追跡中」を実現してもよい。
まず、動作認識エンジン132は、現在の状態が「追跡中」であるか否かを判定する(S11)。ここで、初期状態(最初のフレーム画像の処理時)は、探索中状態とする。ステップS11で探索中状態である場合、動作認識エンジン132は、画像全体から測定対象者が存在する領域を探す(S12及びS13)。尚、探索中状態の処理内容については後述する。また、ステップS11で追跡中状態である場合、動作認識エンジン132は、探索状態で検出した位置を出力する(S14)。そして、動作認識エンジン132は、探索状態で検出した輪郭の近傍の領域を中心に追跡を行う(S16)。尚、ステップS14及びS16の処理内容については後述する。ステップS16で測定対象者の輪郭の近傍の領域を追跡できない場合(S17でNO)は、探索中状態となり(S19)、次のフレーム画像については画像全体から測定対象者を探索することとなる。
続いて、探索中状態の処理について述べる。探索中状態では、動作認識エンジン132は、カメラ12で撮影した映像の1フレーム分の画像全体から人体の肌の色に近い色のピクセルを探索する(S12)。動作認識エンジン132は、人物の輪郭を検出するために、当該ピクセルの領域の面積が一定量以上あり、かつその領域の輪郭が人体の顔の形に近いか否かを判定する(S13)。人体の顔の形に近い場合、測定対象者が存在すると判断する(S13でYES)。ステップS13で人物の輪郭が検出できる場合、ステップS14へ進む一方、ステップS13で人物の輪郭が検出できない場合、動作認識エンジン132は、人物が不在であることを出力(S15)し、状態を「探索中」に設定(S19)して、当該処理を終了する。
追跡中状態及び探索中状態で人物の輪郭を検出した後の処理について述べる。まず、動作認識エンジン132は、人物を検出した位置をデータベース15に出力する(S14)。そして、動作認識エンジン132は、ステップS13で検出された人物の輪郭の近傍の領域に対し輪郭抽出手法であるsnake法を用いて、人体の顔の輪郭を追跡する(S16)。この追跡が継続できている間(S17でYES)は測定対象者が存在すると判断する。つまり、動作認識エンジン132は、状態を「追跡中」に設定(S18)する。そのため、次のフレーム画像については、ステップS11でYesと判定され、ステップS12及びS13の処理をスキップできる。一方、ステップS17で輪郭の追跡ができない場合、動作認識エンジン132は、状態を「探索中」に設定(S18)する。尚、撮影画像の中から人物を認識する技術は上述したものに限定されない。
図2に戻り説明を続ける。動作認識エンジン132は、映像データ中に測定対象者が存在するか否かを判定する(S22)。カメラ12で撮影した映像データ中に測定対象者が存在しない場合(S22でNO)、測定器11の測定結果は測定対象者のデータではないため不要と見なし、動作認識エンジン132は測定対象者が不在の旨を呼吸・心拍・認識エンジン131へ通知する(S27)。例えば、図3のフレーム画像F21のような場合には、測定対象者が存在しないといえる。また、測定対象者が存在する場合(S22でYES)、ステップS23へ進む。例えば、図3のフレーム画像F22のような場合には、測定対象者が存在すると判断できる。
続いて、動作認識エンジン132は、現在のフレームと直前のフレームとから人物の動きの量を検出する(S23)。ここで、被写体の動きの量の算出方法について述べる。図4及び図5において左側が直前のフレーム画像F31及びF41、右側が現在のフレーム画像F32及びF42を示す。動作認識エンジン132は、抽出した輪郭で囲まれた領域の重心を求め、現在のフレームと直前のフレームの重心の位置を比較し、差分値を算出する。例えば、図4の場合、d1がフレーム画像F31とF32との重心の位置の差分値である。また、図5の場合、d2がフレーム画像F41とF42との重心の位置の差分値である。つまり、差分値を重心の移動量、つまり動きの量とするものである。尚、動きの量としてはこれに限定されない。
ここで、測定対象者が動いた場合、直前のフレームと現在のフレームとで重心の位置が異なることとなる。このとき、小さな動きの場合には、動きに伴うノイズの発生量も小さいため、バイタルデータの取得対象としても影響は少ない。一方、測定対象者の動きがある程度以上である場合には、ノイズの量も大きくなるため、バイタルデータの取得対象としては適さない。そこで、2つのフレーム間で重心の位置の差分値が閾値以下であるか否かにより動きの大小を判別し、当該時間における測定結果の採否を決めることが有効である。
よって、動作認識エンジン132は、人物の動きの量が閾値以下か否かを判定する(S24)。動きの量が閾値以下、つまり差分値が閾値以下である場合、動作認識エンジン132は、検出した測定対象者の動きが少ない旨と、動きの量と、映像が撮影された時刻とを呼吸・心拍認識エンジン131に入力(通知)する(S25)。例えば、図4の差分値d1は閾値以下である場合の例を示す。
一方、動きの量が閾値より大きい、つまり差分値が閾値より大きい場合、動作認識エンジン132は、測定対象者の動きが大きい旨を呼吸・心拍・認識エンジン131へ通知する(S26)。尚、ステップS26において、動作認識エンジン132は、さらに動き量を呼吸・心拍・認識エンジン131へ通知しても構わない。例えば、図5の差分値d2は閾値より大きい場合の例を示す。
続いて、測定結果の採否の方法について説明する。図7は、測定結果の選択を示す流れ図である。以下では、呼吸・心拍・認識エンジン131は、計測器11により測定されたデータについて、当該測定された時刻ごとに時刻に対応する映像データについての判定結果に基づいて測定データをバイタルデータとして採用するか否か、つまり、取り込んで処理対象とするか否かを判定する。
まず、呼吸・心拍・認識エンジン131は、動作認識エンジン132から映像データの判定結果の通知を受け付ける(S31)。判定結果の通知とは、上述したステップS25からS27の各通知を示す。
そして、呼吸・心拍・認識エンジン131は、測定対象者が不在であるか否かを判定する(S32)。すなわち、ステップS27の通知を受け付けた場合、当該時刻には測定対象者が不在であると判定し、当該時刻の測定結果を不採用とする(S33)。例えば、呼吸・心拍・認識エンジン131は、測定結果を破棄する。または、当該測定結果に測定対象者が不在である旨の情報を対応付けてデータベース15に格納する。
ステップS32で測定対象者が存在すると判定した場合、呼吸・心拍・認識エンジン131は、測定結果がノイズ過多であるか否かを判定する(S34)。具体的には、ステップS26の通知を受け付けた場合、当該時刻の測定対象の動きの量が閾値より大きいため、当該時刻の測定結果にはノイズが多く含まれており、測定結果を不採用とする(S35)。例えば、呼吸・心拍・認識エンジン131は、測定結果を破棄する。または、当該測定結果にノイズ過多である旨の情報を対応付けてデータベース15に格納する。
ステップS34で測定結果がノイズ過多でないと判定した場合、具体的には、ステップS25の通知を受け付けた場合、呼吸・心拍・認識エンジン131は、測定結果を採用し、心拍数/呼吸数を抽出する(S36)。例えば、呼吸・心拍・認識エンジン131は、測定結果を解析等し、当該時刻における測定対象者の心拍数、呼吸数等をバイタルデータとして抽出する。このとき、通知された動きの量に基づいてノイズを算出し、測定結果から算出したノイズ分を除去しても構わない。ノイズの算出の仕方としては、例えば、データベース15に蓄積された過去の履歴から動きの量が0の場合と0以外の場合との測定結果を取得し、動きの量の差分と測定結果の差分との比率を算出しておき、用いることも考えられる。但し、ノイズの算出の仕方としては、これに限定されず、特許文献1及び2等を適用しても構わない。
そして、呼吸・心拍・認識エンジン131は、心拍数/呼吸数に異常があるか否かを判定する(S37)。具体的には、呼吸・心拍・認識エンジン131は、取得した心拍数や呼吸数が規定値を満たすか否かを判定する。尚、規定値は、測定対象者に応じて予めデータベース15に格納していても良い。
心拍数/呼吸数に異常があると判定した場合、呼吸・心拍・認識エンジン131は、測定対象者が異常であるとして出力部14に対して警告を指示する(S38)。例えば、呼吸・心拍・認識エンジン131は、表示器141に対して警告の旨を表示させ、音声発生器142に対して警告音を発生させる。
心拍数/呼吸数に異常がないと判定した場合、呼吸・心拍・認識エンジン131は、表示器141に対して測定対象者が正常である旨を表示させる(S39)。尚、ステップS38及びS39の場合、当該測定結果に測定対象者が異常又は正常である旨の情報を対応付けてデータベース15に格納する。
ここで、本発明の実施の形態における効果を図を用いて説明する。図8は、測定対象者が静止している場合のスペクトルの例である。図9は、測定対象者が動いている場合のスペクトルの例である。上述の通り、呼吸・心拍認識エンジン131は、動きの量が閾値を超えているかを判定し、動きの量が閾値を下回る場合の測定結果のスペクトルは図8のようになる。そのため、観測する周波数帯Freq1の中で最も振幅の大きい周波数を容易に特定できる。よって、呼吸・心拍・認識エンジン131は、映像が撮影された時刻における計測器11の測定結果を採用する。一方、動きの量が閾値を超えている場合の測定結果のスペクトルは図9のようになる。そのため、周波数帯Freq2の中で最も振幅の大きい周波数の特定が困難である。よって、呼吸・心拍・認識エンジン131は、当該時刻における計測器11の測定結果にノイズ過多の可能性があるとして、当該測定結果を採用しない。
また、図10は、動きの量から計測器の波形を採用するかの判定を示す図である。上述のように検出された動きの量を閾値と比較することで、同じ時刻に計測器により測定された波形を、バイタルデータとして採用するか否かを対応させている。つまり、動きの量が閾値より大きい時間帯は測定された波形にノイズが多く含まれるため、波形を解析したとしてもバイタルデータとしての精度が低い可能性が高いため、そもそも測定結果として採用しない。これにより、以降では採用された波形について解析等の処理を行うことができ、処理効率が向上し、結果的に精度が高いバイタルデータを取得することができる。
<実施の形態2>
図11は、本発明の実施の形態2にかかる自動車の一実施例を示す図である。自動車100は、自動車100の運転者110が運転するものであり、音声を発生させるためのスピーカ装置101、座席背もたれ部分に取り付けたドップラーセンサー等の非接触型計測器102、座席足元部分に取り付けたドップラーセンサー等の非接触型計測器103、ドップラーセンサー等の非接触型計測器の入力を測定するための測定器104、測定器が出力した運転者のバイタルデータを表示するための表示装置105、測定対象者を撮影するためのカメラ106から構成される。
運転者110のバイタルデータを非接触型計測器102及び非接触型計測器103により取得し、カメラ106により運転者110を撮影する。そして、測定器104は運転者110の動きとバイタルデータの常時監視を行う。測定器104は、運転者のバイタルデータを表示装置105に出力し、表示装置105により運転者110は自身のバイタルデータをいつでも確認することができる。また、例えば、測定器104が運転者110の昏睡の状態を検出した場合、スピーカ装置101より警告音を発生させ、運転者110に休息を促す音声または覚醒させるための音声を発生させる。
<実施の形態3>
図12は、本発明の実施の形態3にかかる航空機の一実施例を示す図である。航空機200は、当該航空機200の乗客210、航空機の座席背もたれ部分に取り付けたドップラーセンサー等の非接触型計測器201、座席足元部分に取り付けたドップラーセンサー等の非接触型計測器202、各座席に取り付けたドップラーセンサー等の非接触型計測器と測定器とを接続するケーブル203、乗客のバイタルデータを測定するための測定器204、測定器が出力した乗客のバイタルデータを表示するための表示装置205、座席上部天井部分に設置した測定対象者を撮影するためのカメラ206から構成される。
乗客210のバイタルデータを非接触型計測器201及び非接触型計測器202により取得し、カメラ206により乗客210を撮影する。そして、各座席の非接触型計測器201、202及びカメラ206に接続したケーブル203は、各座席の下から航空機の床下を通り、航空機内の客室乗務員の待機場所に設置した測定器204に接続している。測定器204は、表示装置205と接続しており、客室乗務員は全ての乗客のバイタルデータの確認を行うことができる。そのため、体調が悪くなった乗客を即時に特定でき、乗客への迅速な対処が可能となる。
<実施の形態4>
図13は、本発明の実施の形態4にかかる自動車制御機構との連携に関する一実施例を示す図である。バイタルデータ処理システム20は、ドップラーセンサー21と、カメラ22と、測定装置23と、出力部24とを備える。ドップラーセンサー21は、非接触計測器の一例である。測定装置23は、実施例1のドップラーセンサー等の非接触型計測器の入力を測定するための測定器104に相当する測定器231と、自動車制御ユニット232とを含む。出力部24は、ヘッドライト241、テールライト242、ハザードランプ243及びホーン244を含む。
測定器231は、上記実施の形態2に示す方法でドップラーセンサー21の入力を収集し、カメラ22からの映像データに基づいて測定対象者であるドライバーの状態を判定する。測定対象者に不調があると判断した場合、測定器231から自動車制御ユニット232へドライバーの不調を通知することで、自動車制御ユニット232は、ヘッドライト241、テールライト242、ハザードランプ243の点灯やホーン244等を動作させる。これにより、自動車内で異常が発生していることを自動車の外部に知らせることが可能である。特に、ドライバー自身が昏睡状態で自身の異常の認識ができず対応ができないような緊急事態において、周囲に異常を知らせることで、周囲が対応することが可能となり、事故を最小限に防ぐこともできる。
<その他の実施の形態>
本発明の各実施の形態は、心電計等の接触型計測器やドップラーセンサー等を応用した非接触型計測器を用いて人間のバイタルデータを測定する際に、計測器の測定結果にノイズが多く含まれていることを検出する技術であり、ノイズが重畳されていない測定結果のみを採用することで、測定結果の信頼性を向上させる技術であり、当該技術を利用した装置に関するものである。そして、心電計等の接触型計測器やドップラーセンサー等を応用した非接触型計測器を用いたノイズの含まれていないバイタルデータの測定結果のみを取り出すことを目的としている。
そのため、カメラで測定対象者を撮影し、測定対象者が動いているかどうか検出する。検出した測定対象者の動きの量の大小から、ノイズの量の大小を判断する。測定対象者の動きが小さい場合の、測定器の測定結果は、ノイズの量が小さいと判断する。ノイズの量が小さい場合のみ、測定器の測定結果を使用することで、検出結果に対する信頼性を担保する。
特に、本発明の各実施の形態は、医療従事者のいない環境であり、人間が比較的大きな動作を必要としない状態(例えば、自動車等の移動体の運転又は座席に着席した乗車)等において適用することができる。
尚、本発明は以下の付記のように表現することもできる。
(付記A1)
測定対象者が位置すべき測定対象位置に対して撮影された映像データを入力し、
前記入力された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出し、
前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定し、
前記取り込むと判定された信号に対して前記バイタルデータとしての処理を行う
バイタルデータ処理方法。
(付記A2)
前記映像データ内の連続する複数のフレーム画像に含まれる前記人物認識領域の差分に基づいて前記測定対象者の動きの量が閾値以下であるか否かを判定し、
前記動きの量が閾値以下である場合に、前記測定対象者のバイタルデータとして取り込むと判定する
付記A1に記載のバイタルデータ処理方法。
(付記A3)
前記取り込む判定された信号から前記バイタルデータを抽出し、
前記抽出したバイタルデータが所定条件を満たす場合に、前記測定対象者の異常を示す警告情報を外部へ出力する
付記A1又はA2に記載のバイタルデータ処理方法。
(付記A4)
前記測定対象位置は、移動体の座席であり、
前記バイタルデータは、前記座席に着席した前記測定対象者から測定された信号に基づくものである
付記A1乃至A3のいずれか1項に記載のバイタルデータ処理方法。
(付記A5)
前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する
付記A1乃至A4のいずれか1項に記載のバイタルデータ処理方法。
(付記B1)
測定対象者が位置すべき測定対象位置に対して撮影された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出する検出部と、
前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定する判定部と、
前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する格納部と、
を備えるバイタルデータ測定装置。
(付記C1)
付記A1乃至A4のいずれか1項に記載のバイタルデータ処理方法を実装したバイタルデータ測定装置を搭載した移動体。
ここで、上記の移動体としては、自動車(普通乗用車、軽自動車、一人乗り自動車、タクシー、トラック、バス)等、船舶(客船、クルーザー、貨客船、タンカー、車両航送船)等、航空機(旅客機、ヘリコプター)等が挙げられるがこれらに限定されない。
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。
非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、コンピュータプログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
本発明の実施の形態は、乗用車のドライバー、同乗者及び各種公共交通機関(航空機、バス、電車)の乗客等の医療関係者がいない状態におけるバイタルデータの計測システムに適用することができる。
10 バイタルデータ処理システム
11 計測器
12 カメラ
13 測定器
131 呼吸・心拍・認識エンジン
132 動作認識エンジン
14 出力部
141 表示器
1411 呼吸・心拍波形表示
142 音声発生器
1421 警告音発生
15 データベース
F21 フレーム画像
F22 フレーム画像
F31 フレーム画像
F32 フレーム画像
d1 差分値
F41 フレーム画像
F42 フレーム画像
d2 差分値
Freq1 周波数帯
Freq2 周波数帯
100 自動車
101 音声を発生させるためのスピーカ装置
102 座席背もたれ部分に取り付けたドップラーセンサー等の非接触型計測器
103 座席足元部分に取り付けたドップラーセンサー等の非接触型計測器
104 ドップラーセンサー等の非接触型計測器の入力を測定するための測定器
105 測定器が出力した運転者のバイタルデータを表示するための表示装置
106 測定対象者の動きを測定するためのカメラ
110 自動車の運転者
200 航空機
201 航空機の座席背もたれ部分に取り付けたドップラーセンサー等の非接触型計測器
202 座席足元部分に取り付けたドップラーセンサー等の非接触型計測器
203 各座席に取り付けたドップラーセンサー等の非接触型計測器と測定器とを接続するケーブル
204 乗客のバイタルデータを測定するための測定器
205 測定器が出力した乗客のバイタルデータを表示するための表示装置
206 測定対象者の動きを測定するためのカメラ
210 航空機の乗客
20 バイタルデータ処理システム
21 ドップラーセンサー
22 カメラ
23 測定装置
231 測定器
232 自動車制御ユニット
24 出力部
241 ヘッドライト
242 テールライト
243 ハザードランプ
244 ホーン

Claims (7)

  1. 測定対象者が位置すべき測定対象位置に対して撮影された映像データを入力し、
    前記入力された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出し、
    前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定し、
    前記取り込むと判定された信号に対して前記バイタルデータとしての処理を行う
    バイタルデータ処理方法。
  2. 前記映像データ内の連続する複数のフレーム画像に含まれる前記人物認識領域の差分に基づいて前記測定対象者の動きの量が閾値以下であるか否かを判定し、
    前記動きの量が閾値以下である場合に、前記測定対象者のバイタルデータとして取り込むと判定する
    請求項1に記載のバイタルデータ処理方法。
  3. 前記取り込むと判定された信号から前記バイタルデータを抽出し、
    前記抽出したバイタルデータが所定条件を満たす場合に、前記測定対象者の異常を示す警告情報を外部へ出力する
    請求項1又は2に記載のバイタルデータ処理方法。
  4. 前記測定対象位置は、移動体の座席であり、
    前記バイタルデータは、前記座席に着席した前記測定対象者から測定された信号に基づくものである
    請求項1乃至3のいずれか1項に記載のバイタルデータ処理方法。
  5. 前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する
    請求項1乃至4のいずれか1項に記載のバイタルデータ処理方法。
  6. 測定対象者が位置すべき測定対象位置に対して撮影された映像データ内で当該測定対象者が撮影された領域である人物認識領域を検出する検出部と、
    前記映像データの撮影時刻に前記測定対象位置においてバイタルデータの計測器により計測された信号を、前記検出された人物認識領域に基づいて前記測定対象者のバイタルデータとして取り込むか否かを判定する判定部と、
    前記取り込むと判定された信号から前記バイタルデータを抽出して記憶装置に格納する格納部と、
    を備えるバイタルデータ測定装置。
  7. 請求項1乃至5のいずれか1項に記載のバイタルデータ処理方法を実装したバイタルデータ測定装置を搭載した移動体。
JP2013268235A 2013-12-26 2013-12-26 バイタルデータ処理方法及びバイタルデータ測定装置 Active JP6155184B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013268235A JP6155184B2 (ja) 2013-12-26 2013-12-26 バイタルデータ処理方法及びバイタルデータ測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013268235A JP6155184B2 (ja) 2013-12-26 2013-12-26 バイタルデータ処理方法及びバイタルデータ測定装置

Publications (2)

Publication Number Publication Date
JP2015123160A true JP2015123160A (ja) 2015-07-06
JP6155184B2 JP6155184B2 (ja) 2017-06-28

Family

ID=53534341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013268235A Active JP6155184B2 (ja) 2013-12-26 2013-12-26 バイタルデータ処理方法及びバイタルデータ測定装置

Country Status (1)

Country Link
JP (1) JP6155184B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017190076A (ja) * 2016-04-14 2017-10-19 タカタ株式会社 バックル及び車載システム
JP2018019882A (ja) * 2016-08-03 2018-02-08 オムロンオートモーティブエレクトロニクス株式会社 生命徴候検出装置
JP2018081682A (ja) * 2016-11-10 2018-05-24 パナソニックIpマネジメント株式会社 座席提示システム及び座席提示方法
WO2019194121A1 (ja) * 2018-04-02 2019-10-10 テイ・エス テック株式会社 生体センサーの配置構造及びシート
CN111891038A (zh) * 2020-07-21 2020-11-06 厦门金龙旅行车有限公司 一种具有疫情防护机制的客车
JP2021510100A (ja) * 2018-01-22 2021-04-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 測定装置、測定方法、プログラム及び1つ以上のコンピュータ可読記憶媒体
WO2021083136A1 (zh) * 2019-10-29 2021-05-06 北京大众益康科技有限公司 一种坐姿状态下的生理特性数据分析方法及装置
CN112982222A (zh) * 2021-02-22 2021-06-18 郭雷 一种智能交通用公交站台防护栏及其防护方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2008183205A (ja) * 2007-01-30 2008-08-14 Aisin Seiki Co Ltd 体調管理システム
JP2011030919A (ja) * 2009-08-05 2011-02-17 Kandenko Co Ltd 被験者検知システム
JP2012000375A (ja) * 2010-06-21 2012-01-05 Ritsumeikan 睡眠状態判定装置
US20130072767A1 (en) * 2010-06-21 2013-03-21 Aisin Seiki Kabushiki Kaisha Living organism information detection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11276443A (ja) * 1998-03-27 1999-10-12 Toshiba Corp 被介護者観測装置及びその方法
JP2008183205A (ja) * 2007-01-30 2008-08-14 Aisin Seiki Co Ltd 体調管理システム
JP2011030919A (ja) * 2009-08-05 2011-02-17 Kandenko Co Ltd 被験者検知システム
JP2012000375A (ja) * 2010-06-21 2012-01-05 Ritsumeikan 睡眠状態判定装置
US20130072767A1 (en) * 2010-06-21 2013-03-21 Aisin Seiki Kabushiki Kaisha Living organism information detection system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017190076A (ja) * 2016-04-14 2017-10-19 タカタ株式会社 バックル及び車載システム
US11045145B2 (en) 2016-04-14 2021-06-29 Joyson Safety Systems Japan K.K. Buckle and on-vehicle system
JP2018019882A (ja) * 2016-08-03 2018-02-08 オムロンオートモーティブエレクトロニクス株式会社 生命徴候検出装置
JP2018081682A (ja) * 2016-11-10 2018-05-24 パナソニックIpマネジメント株式会社 座席提示システム及び座席提示方法
JP2021510100A (ja) * 2018-01-22 2021-04-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 測定装置、測定方法、プログラム及び1つ以上のコンピュータ可読記憶媒体
WO2019194121A1 (ja) * 2018-04-02 2019-10-10 テイ・エス テック株式会社 生体センサーの配置構造及びシート
WO2021083136A1 (zh) * 2019-10-29 2021-05-06 北京大众益康科技有限公司 一种坐姿状态下的生理特性数据分析方法及装置
CN111891038A (zh) * 2020-07-21 2020-11-06 厦门金龙旅行车有限公司 一种具有疫情防护机制的客车
CN112982222A (zh) * 2021-02-22 2021-06-18 郭雷 一种智能交通用公交站台防护栏及其防护方法
CN112982222B (zh) * 2021-02-22 2022-12-27 中咨数据有限公司 一种智能交通用公交站台防护栏及其防护方法

Also Published As

Publication number Publication date
JP6155184B2 (ja) 2017-06-28

Similar Documents

Publication Publication Date Title
JP6155184B2 (ja) バイタルデータ処理方法及びバイタルデータ測定装置
US10322728B1 (en) Method for distress and road rage detection
US9908546B2 (en) Rail vehicle event triggering system and method
CN110001652B (zh) 驾驶员状态的监测方法、装置及终端设备
US20190046120A1 (en) In vehicle non-contact heartbeat and breath sensing system
US9767374B2 (en) Driver check apparatus
CN113302076A (zh) 用于车辆碰撞后支持的系统、装置和方法
EP3652703A1 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
US20160278644A1 (en) Contact-less blood pressure measurement
US9693726B2 (en) Alertness device, seat, and method for determining alertness
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
JP2019503749A (ja) 人のバイタルサインを決定する装置、システム及び方法
CN109381201A (zh) 车载疲劳监测系统
US20220165073A1 (en) State detection device and state detection method
KR102267948B1 (ko) 비접촉 생체 신호 검출을 이용한 운전자 건강 상태 진단 시스템
Mateu-Mateus et al. Non-contact infrared-depth camera-based method for respiratory rhythm measurement while driving
JP6772775B2 (ja) 運転支援装置および運転支援方法
WO2019130993A1 (ja) 運転支援装置、および運転支援方法
Lupinska-Dubicka et al. The conceptual approach of system for automatic vehicle accident detection and searching for life signs of casualties
JP2020103704A (ja) 情報処理装置及びプログラム
CN117222360A (zh) 用于心血管和呼吸跟踪的多传感器系统
US20200193197A1 (en) Information processing apparatus and computer-readable storage medium
Ghole et al. Drowsiness detection and monitoring system
KR20180112295A (ko) 생체신호 기반 실시간 운전자 상태 판단 시스템
US20200008732A1 (en) Arousal level determination device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170605

R150 Certificate of patent or registration of utility model

Ref document number: 6155184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150