JP2020103461A

JP2020103461A - 脈波情報処理装置、脈波情報処理システム、車両、脈波情報処理方法、および脈波情報処理プログラム

Info

Publication number: JP2020103461A
Application number: JP2018243732A
Authority: JP
Inventors: 亮佑宇佐美; Ryosuke Usami; 篤彦伊藤; Atsuhiko Ito
Original assignee: Toyota Boshoku Corp
Current assignee: Toyota Boshoku Corp
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2020-07-09
Anticipated expiration: 2038-12-26
Also published as: JP7159858B2

Abstract

【課題】脈波を検出している状況に応じて、正確な搭乗者の脈波情報を出力する。【解決手段】脈波情報処理装置（３０）は、第１脈波情報取得装置（１０）により取得された第１脈波情報と、第２脈波情報取得装置（２０）により第１脈波情報取得装置（１０）とは異なる方法で取得された第２脈波情報とを、第２脈波情報の確からしさを示す信頼度情報とともに取得可能な脈波情報取得部（３１）と、信頼度情報に基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する脈波情報選択部（３２）と、を備える。【選択図】図１

Description

本発明は、移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理装置などに関する。

車両などの移動体に搭乗している搭乗者の脈波を検出し、検出した脈波から搭乗者の生理状態や健康状態を推定する技術が知られている。

例えば、特許文献１には、車両の搭乗者の脈波を検出する技術が開示されている。特許文献１の技術では、車両用シートに着座した搭乗者が存在するときに、該着座の所定部位へ向けて照射光を照射する発光部と、反射光を受光して、該受光した反射光の強度に応じた信号を出力する受光部とを設けている。そして、車両用シートにおける発光部と受光部との間に、搭乗者の所定部位における体表面からの反射光が受光部により受光されることを抑制する仕切り部を設け、発光部が照射光を照射しているときに、受光部の出力信号から搭乗者の脈波を検出している。これにより、搭乗者に装置装着の負担をかけないようにしつつ、搭乗者の脈波を正確に検出できるようにするとともに、照射光の照射による電力の消費を出来る限り抑制している。

特開２０１２−１４７９２５号公報（２０１２年８月９日公開）

しかしながら、特許文献１の技術では、車両の振動、車両の設けられているマッサージ機能によるシートの振動、または搭乗者の体動などがある場合には、脈波を正確に検出できないという問題がある。

本発明の一態様は、脈波を検出している状況に応じて、正確な搭乗者の脈波情報を出力することができる脈波情報処理装置、脈波情報処理システム、車両、脈波情報処理方法、および脈波情報処理プログラムを実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る脈波情報処理装置は、移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理装置であって、第１脈波情報取得装置により取得された第１脈波情報と、第２脈波情報取得装置により前記第１脈波情報取得装置とは異なる方法で取得された第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得可能な情報取得部と、前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択部と、を備える。

上記の課題を解決するために、本発明の一態様に係る脈波情報処理システムは、移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理システムであって、前記搭乗者の脈波情報としての第１脈波情報を取得する第１脈波情報取得装置と、前記第１脈波情報取得装置とは異なる方法で前記搭乗者の脈波情報としての第２脈波情報を取得する第２脈波情報取得装置と、前記第１脈波情報と、前記第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得可能な情報取得部と、前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択部と、を備える。

上記の課題を解決するために、本発明の一態様に係る脈波情報処理方法は、移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理方法であって、第１脈波情報取得装置により取得された第１脈波情報と、第２脈波情報取得装置により前記第１脈波情報取得装置とは異なる方法で取得された第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得する情報取得ステップと、前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択ステップと、を含む。

本発明の一態様によれば、脈波を検出している状況に応じて、正確な搭乗者の脈波情報を出力することができる。

本発明の実施形態に係る車両の要部構成を示すブロック図である。上記車両における処理の一例を示すフローチャートである。

以下、本発明の一実施形態に係る車両１（移動体）および脈波情報処理装置３０について、詳細に説明する。図１は、車両１の要部構成を示すブロック図である。図１に示すように、車両１は、第１脈波情報取得装置１０と、第２脈波情報取得装置２０と、脈波情報処理装置３０と、感情推定部４０と、環境制御部５０とを備える。なお、第１脈波情報取得装置１０、第２脈波情報取得装置２０、および脈波情報処理装置３０は、脈波情報処理システムとして機能する。

第１脈波情報取得装置１０は、車両１の搭乗者の脈波を示す脈波情報（以降では、第１脈波情報と称する）を取得する装置である。第１脈波情報取得装置１０は、圧電センサ１１（接触センサ）と、第１脈波情報生成部１２とを備えている。ここで、脈波とは、生体の部位における血管の脈動を示す時間波形である。また、脈波情報とは、当該時間波形に関する情報であり、例えば、脈波がピークを示すタイミングに関する情報である。

圧電センサ１１は、搭乗者に接触して搭乗者の脈波を検出するセンサである。圧電センサ１１は、搭乗者が車両１のシートに着座したときに、車両１のシートにおける搭乗者に接触する位置に設置されている。例えば、ドライバの脈波情報を取得したい場合には、圧電センサ１１は、運転席のシートに設置される。圧電センサ１１は、検出した搭乗者の脈波を第１脈波情報生成部１２に出力する。

第１脈波情報生成部１２は、圧電センサ１１から出力された搭乗者の脈波を解析することにより脈波情報（すなわち、第１脈波情報）を生成する。圧電センサによって検出された脈波から脈波情報を生成する方法は公知のため、ここでは詳細な説明を省略する。

また、第１脈波情報生成部１２は、搭乗者の脈波を取得しているときに、圧電センサ１１が振動しているかどうかについての情報（以降では、振動情報と称する）を取得する。振動情報は、例えば加速度センサを用いて取得することができる。

第１脈波情報生成部１２は、生成した第１脈波情報および振動情報を、後述する脈波情報処理装置３０（より詳細には、脈波情報取得部３１）に出力する。

第２脈波情報取得装置２０は、搭乗者の脈波情報（以降では、第２脈波情報と称する）を取得する装置である。第２脈波情報取得装置２０は、カメラ２１（非接触センサ）と、第２脈波情報生成部２２とを備えている。

カメラ２１は、搭乗者の映像を撮像するカメラである。カメラ２１は、搭乗者における肌が露出している領域（例えば、顔領域）を撮像する。カメラ２１は、撮像した映像を第２脈波情報生成部２２に出力する。

第２脈波情報生成部２２は、カメラ２１から出力された映像を解析することにより、搭乗者の脈波情報（すなわち、第２脈波情報）を生成する。ここで、生体の血液は、ヘモグロビンの濃度に応じて、光のＲＧＢ成分のうちＧ成分（緑色成分）の吸光特性が変化する。また、脈波は、血流量の変動に応じて変化する。第２脈波情報生成部２２は、カメラ２１から出力された映像におけるＧ成分の変動を解析することにより、第２脈波情報を生成する。このように、第２脈波情報取得装置２０は、第１脈波情報取得装置１０とは異なる方法で搭乗者の脈波情報（すなわち、第２脈波情報）を取得（生成）する。

また、第２脈波情報生成部２２は、第２脈波情報の確からしさを示す信頼度（信頼度情報）を生成する。具体的には、第２脈波情報生成部２２は、カメラ２１が映像を撮像しているときの照度（照度の変化）、生成した第２脈波情報が含む波形の形状などに基づいて、第２脈波情報の信頼度を算出する。本実施形態では、第２脈波情報生成部２２は、第２脈波情報の信頼度として０〜１００の値（１００がもっとも確からしい数値）を算出する。第２脈波情報生成部２２は、所定の時間間隔ごと（例えば、５秒ごと）に、第２脈波情報の信頼度の値を算出する。

第２脈波情報生成部２２は、生成した第２脈波情報および上記信頼度の数値を後述する脈波情報処理装置３０（より詳細には、脈波情報取得部３１）に出力する。

脈波情報処理装置３０は、移動体としての車両に搭乗している搭乗者の脈波を示す脈波情報を処理する装置である。脈波情報処理装置３０は、図１に示すように、脈波情報取得部３１（情報取得部）と、脈波情報選択部３２（情報選択部）とを備える。

脈波情報取得部３１は、第１脈波情報取得装置１０および第２脈波情報取得装置２０からそれぞれ出力された搭乗者の第１脈波情報および第２脈波情報を取得する。また、脈波情報取得部３１は、第１脈波情報取得装置１０および第２脈波情報取得装置２０からそれぞれ出力された振動情報および第２脈波情報の信頼度の値を取得する。脈波情報取得部３１は、取得した各情報を脈波情報選択部３２に出力する。

脈波情報選択部３２は、脈波情報取得部３１から出力された信頼度情報としての、振動情報および第２脈波情報の信頼度の値に基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する。詳細については後述する。脈波情報選択部３２は、第１脈波情報および第２脈波情報のうち選択した脈波情報を感情推定部４０に出力する。

感情推定部４０は、脈波情報処理装置３０から出力された脈波情報に基づいて、搭乗者の感情を推定する。脈波情報に基づく搭乗者の感情の推定方法は、公知の方法を用いることができる。感情推定部４０は、推定した搭乗者の感情を環境制御部５０に出力する。

環境制御部５０は、感情推定部４０から出力された搭乗者の感情に基づいて、車両１の車内環境を制御する。具体的には、環境制御部５０は、搭乗者の感情に基づいて、車両１の車内の光（照度）、香り、音（例えば、カーステレオから出力される音の種類、音量など）を制御する。

（車両１における処理の例）
図２は、車両１における処理（脈波情報処理方法）の一例を示すフローチャートである。

図２に示すように、車両１における処理では、まず、第１脈波情報取得装置１０および第２脈波情報取得装置２０がそれぞれ搭乗者の脈波情報（第１脈波情報または第２脈波情報）を取得する（ステップＳ１）。また、このとき、第２脈波情報取得装置２０の第２脈波情報生成部２２が、第２脈波情報の信頼度を算出する。そして、第１脈波情報取得装置１０が生成した第１脈波情報および振動情報を脈波情報処理装置３０に出力し、第２脈波情報取得装置２０が生成した第２脈波情報および第２脈波情報の信頼度を脈波情報処理装置３０に出力する。

次に、脈波情報取得部３１が、第１脈波情報取得装置１０および第２脈波情報取得装置２０からそれぞれ出力された搭乗者の第１脈波情報および第２脈波情報を取得する。また、脈波情報取得部３１は、第１脈波情報取得装置１０および第２脈波情報取得装置２０からそれぞれ出力された振動情報および第２脈波情報の信頼度の値を取得する（ステップＳ２、情報取得ステップ）。

次に、脈波情報選択部３２が、脈波情報取得部３１から出力された振動情報および第２脈波情報の信頼度の値に基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する（情報選択ステップ、下記のステップＳ３〜７）。

具体的には、まず、脈波情報選択部３２が、脈波情報取得部３１から出力された振動情報が圧電センサ１１の振動が所定の幅以上であることを示しているかを確認する（ステップＳ３）。例えば、車両１のシートに設置されているマッサージ機能が駆動していたり、車両１が大きく振動したりしている場合には、圧電センサ１１が大きく振動しており、圧電センサ１１を用いて生成された第１脈波情報は、正確に取得されたものではないと判断できる。そのため、脈波情報取得部３１から出力された振動情報が所定の幅以上であると判断した場合（ステップＳ３でＹＥＳ）、脈波情報選択部３２は、第２脈波情報を搭乗者の脈波情報として選択し、感情推定部４０に出力する（ステップＳ４）。

一方、脈波情報取得部３１から出力された振動情報が所定の幅未満であると判断した場合（ステップＳ３でＮＯ）、脈波情報選択部３２は、第１脈波情報取得装置１０および第２脈波情報取得装置２０の両方から脈波情報を取得できたかを確認する（ステップＳ５）。

第１脈波情報取得装置１０および第２脈波情報取得装置２０の少なくとも一方から脈波情報を取得できていない場合（ステップＳ５でＮＯ）、脈波情報選択部３２は、第１脈波情報取得装置１０から脈波情報を取得できたかを確認する（ステップＳ６）。第１脈波情報取得装置１０から脈波情報を取得できたことを確認した場合（ステップＳ６でＹＥＳ）、脈波情報選択部３２は、第１脈波情報を搭乗者の脈波情報として選択し、感情推定部４０に出力する（ステップＳ７）。一方、第１脈波情報取得装置１０から脈波情報を取得できなかったことを確認した場合（すなわち、第２脈波情報取得装置２０のみから脈波情報を取得できた場合、ステップＳ６でＮＯ）、脈波情報選択部３２は、第２脈波情報を搭乗者の脈波情報として選択し、感情推定部４０に出力する（ステップＳ４）。

ステップＳ５に戻り、第１脈波情報取得装置１０および第２脈波情報取得装置２０の両方から脈波情報を取得できたことを確認した場合（ステップＳ５でＹＥＳ）、脈波情報選択部３２は、第２脈波情報の信頼度が所定の回数（本実施形態では５回）連続して所定の数値（本実施形態では７０）以上であるかどうかを判断する（ステップＳ８）。なお、第２脈波情報の信頼度が所定の数値以上が連続する回数は５回に限定されず、使用する目的に応じて適宜変更することができる。例えば、脈波情報選択部３２は、第２脈波情報の信頼度が１回のみ所定の数値以上であった場合に、第２脈波情報を搭乗者の脈波情報として選択してもよい。ただし、複数回連続して第２脈波情報の信頼度が所定の数値以上であった場合に、脈波情報選択部３２は、第２脈波情報を搭乗者の脈波情報として選択することにより、第２脈波情報の検出結果がより正確なものであると判断することができるため好ましい。また、ステップＳ８において判断するために用いられる第２脈波情報の信頼度の値は７０に限定されず、使用する目的に応じて適宜変更することができる。

第２脈波情報の信頼度が５回連続して７０以上であった場合（ステップＳ８でＹＥＳ）、脈波情報選択部３２は、第２脈波情報を搭乗者の脈波情報として選択し、感情推定部４０に出力する（ステップＳ４）。一方、第２脈波情報の信頼度が５回連続して７０以上でなかった場合（例えば、５回のうち１回において信頼度が７０未満であった場合、ステップＳ８でＮＯ）、脈波情報選択部３２は、第１脈波情報を搭乗者の脈波情報として選択し、感情推定部４０に出力する（ステップＳ７）。

以降、図２には図示していないが、感情推定部４０が脈波情報処理装置３０から出力された脈波情報に基づいて搭乗者の感情を推定し、環境制御部５０が感情推定部４０から出力された搭乗者の感情に基づいて車両１の車内環境を制御する。

以上のように、脈波情報処理装置３０では、脈波情報取得部３１が第１脈波情報取得装置１０により取得された第１脈波情報と、第２脈波情報取得装置２０により取得された第２脈波情報とを、第２脈波情報取得情報の信頼度情報とともに取得する。そして、脈波情報選択部が、第２脈波情報の信頼度情報に基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する。

上記の構成によれば、圧電センサ１１の振動およびカメラ２１の撮像環境などに合わせて、第１脈波情報および第２脈波情報のうちより正確に脈波を検出したと想定される脈波情報を感情推定部４０に出力することができる。すなわち、脈波を検出している状況に応じて、正確な搭乗者の脈波情報を出力することができる。換言すれば、搭乗者の脈波情報を安定して出力することができる。

また、脈波情報処理装置３０では、第１脈波情報取得装置１０が搭乗者に接触して脈波を検出する圧電センサ１１を備えるものであり、第２脈波情報取得装置２０が搭乗者に接触せずに脈波を検出するカメラ２１を備えるものである。

上記の構成によれば、接触式で脈波情報を取得する第１脈波情報取得装置１０が取得した第１脈波情報、および、非接触式で脈波情報を取得する第２脈波情報取得装置２０が取得した第２脈波情報から脈波を検出している状況に応じて出力する脈波情報を出力することができる。そのため、例えば、第１脈波情報取得装置および第２脈波情報取得装置がともに接触式または非接触式である場合に比べて、より様々な状況に応じてより正確な脈波情報を出力することができる。

また、脈波情報処理装置３０では、脈波情報の信頼度情報としての、圧電センサ１１の振動情報および第２脈波情報の信頼度に基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する態様であったが、本発明はこれに限られるものではない。本発明の一態様では、圧電センサ１１の振動情報および第２脈波情報の信頼度のいずれかに基づいて、第１脈波情報および第２脈波情報のうちいずれを搭乗者の脈波情報として出力するかを選択する態様であってもよい。例えば、第２脈波情報の信頼度のみに基づく場合、図２におけるステップＳ３を省略する態様であってもよい。

また、脈波情報処理装置３０では、第１脈波情報取得装置１０および第２脈波情報取得装置２０がそれぞれ圧電センサ１１およびカメラ２１を用いて、搭乗者の脈波情報を取得するものであったが、本発明はこれに限られるものではない。本発明の一態様では、第１脈波情報取得装置および第２脈波情報取得装置が、ドップラーセンサを用いる装置、ウェアラブル端末を用いる装置、モーションセンサを用いる装置、ミリ波を用いる装置、放電式センサを用いる装置などの他の方式で搭乗者の脈波情報を取得する装置であってもよい。

なお、本実施形態では、脈波情報処理装置３０が車両１に搭載される態様であったが、本発明は、これに限られるものではない。本発明の脈波情報処理装置が搭載される移動体は、人が搭乗可能であり、かつ搭乗した人（搭乗者）が或る場所から別の場所へと移動するために用いられる乗り物であれば特に限定されるものではなく、例えば、航空機、船舶などであってもよい。

〔ソフトウェアによる実現例〕
脈波情報処理装置３０の制御ブロック（特に脈波情報取得部３１および脈波情報選択部３２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、脈波情報処理装置３０は、各機能を実現するソフトウェアであるプログラム（脈波情報処理プログラム）の命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１車両（移動体）
１０第１脈波情報取得装置
１１圧電センサ（接触センサ）
２０第２脈波情報取得装置
２１カメラ（非接触センサ）
３０脈波情報処理装置
３１脈波情報取得部（情報取得部）
３２脈波情報選択部（情報選択部）

Claims

移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理装置であって、
第１脈波情報取得装置により取得された第１脈波情報と、第２脈波情報取得装置により前記第１脈波情報取得装置とは異なる方法で取得された第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得可能な情報取得部と、
前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択部と、を備えることを特徴とする脈波情報処理装置。
前記情報選択部は、前記信頼度情報により示される前記確からしさが所定の回数連続して所定の値以上であった場合に、前記第２脈波情報を前記搭乗者の脈波情報として選択することを特徴とする請求項１に記載の脈波情報処理装置。
前記第１脈波情報取得装置は、前記搭乗者に接触して脈波を検出する接触センサを備えるものであり、
前記第２脈波情報取得装置は、前記搭乗者に接触せずに脈波を検出する非接触センサを備えるものであることを特徴とする請求項１または２に記載の脈波情報処理装置。
移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理システムであって、
前記搭乗者の脈波情報としての第１脈波情報を取得する第１脈波情報取得装置と、
前記第１脈波情報取得装置とは異なる方法で前記搭乗者の脈波情報としての第２脈波情報を取得する第２脈波情報取得装置と、
前記第１脈波情報と、前記第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得可能な情報取得部と、
前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択部と、を備えることを特徴とする脈波情報処理システム。
請求項４に記載の脈波情報処理システムを備えることを特徴とする車両。
移動体の搭乗者の脈波を示す脈波情報を処理する脈波情報処理方法であって、
第１脈波情報取得装置により取得された第１脈波情報と、第２脈波情報取得装置により前記第１脈波情報取得装置とは異なる方法で取得された第２脈波情報とを、当該第２脈波情報の確からしさを示す信頼度情報とともに取得する情報取得ステップと、
前記信頼度情報に基づいて、前記第１脈波情報および前記第２脈波情報のうちいずれを前記搭乗者の脈波情報として出力するかを選択する情報選択ステップと、を含むことを特徴とする脈波情報処理方法。
請求項１に記載の脈波情報処理装置としてコンピュータを機能させるための脈波情報処理プログラムであって、前記情報取得部および前記情報選択部としてコンピュータを機能させるための脈波情報処理プログラム。