JP2022119550A - 血流分析装置、生体情報分析システム - Google Patents

Abstract

【課題】被験者に測定の負担をかけず、ヒトの状態を高速に推定するとともに様々な情報を得ることができる血流分析装置を提供する。【解決手段】本発明に係る血流分析装置は、可視光画像を用いて血流分布を検出し、前記血流分布を用いて、異なる測定領域間における血流を比較するとともに、異なる測定領域において同時に発生した血流間の相関を分析する。【選択図】図１

Description

本発明は、被検体の血流分布を分析する装置に関する。

ヒトの生体組織を撮影した一連の画像から微小な血色の変化を抽出して、血流に関する状態変化を検出する技術がある。本技術は、血流によって変化する生体の光学特性を撮影映像から検出することで実現されている。

上記技術の例として、例えば特許文献１がある。特許文献１は、『非接触で血圧を測定する』ことを課題として、『ユーザの肌が撮像された肌画像を取得する画像取得部と、肌画像を用いて、肌画像における輝度の時間変化を算出し、輝度の時間変化において、輝度がピークになる時刻を示す時刻情報を、脈波タイミングとして算出する脈波タイミング算出部と、受信アンテナで受信された、ユーザで反射した電波の信号を取得するミリ波取得部と、ミリ波取得部が取得した電波の信号を用いて、ユーザと受信アンテナとの距離の時間変化を算出し、距離の時間変化において距離がピークになる時刻を示す時刻情報を、心拍タイミングとして算出する心拍タイミング算出部と、脈波タイミングと心拍タイミングとの時間差に基づいて、ユーザの血圧を決定する血圧決定部とを備える。』という技術を記載している（要約参照）。

特開２０１６－０７７８９０号公報

現在の非接触の血流状態の検出技術は、ある特定の場所における脈波の振幅とピークに達するタイミングを検出することができる。本技術は、従来使用されてきた接触型の測定器の代わりに、心拍や血圧などの生体情報を非接触で計測することに利用される。現在、ヒトの健康状態のセルフチェックや、生活および職場環境の質向上のために、測定される本人に負担をかけることなく、より多く場面で疲労やストレスなどの心身の状態をモニタリングしたいという社会的なニーズが高まっている。将来的には、これらのニーズに応えるため、血流の状態から別の生体情報を推定する形態で利用されると予想される。

上記のようなニーズに対して応えるためには、以下（１）（２）の課題が生じ、解決することが必要となる。特に動作を伴わないヒトの状態変化を検出する場面では、目視では状態変化を判断できないので、課題が顕著になる。

課題（１）：血流の状態からより多くの情報を取得する。
課題（２）：測定時間を短くする。

課題（１）に対しては、血流に関する情報量を空間的に増やすことが必要である。課題（２）に対しては、多くの情報量を即時解析できる指標が必要となる。

特許文献１は、取得した肌画像からの情報から得た脈波タイミングの情報だけでは不足するので、ユーザが反射するミリ波を利用して心拍タイミングを検出する受信アンテナを備えた方法を開示している。特許文献１の構成は、画像取得部と受信アンテナの複数種類のセンサを備える必要があることに加え、これによって得られるのは数ある生体情報のうち血流という１種類のみである。また同文献においては、脈拍と心拍のピーク時間を検出しているので、必然的に脈拍や心拍の周期よりも長い時間でなければ情報を取得することができない。

本発明は、以上のような課題に鑑みてなされたものであり、被験者に測定の負担をかけず、ヒトの状態を高速に推定するとともに様々な情報を得ることができる血流分析装置を提供することを目的とする。

本発明に係る血流分析装置は、可視光画像を用いて血流分布を検出し、前記血流分布を用いて、異なる測定領域間における血流を比較するとともに、異なる測定領域において同時に発生した血流間の相関を分析する。

本発明に係る血流分析装置によれば、被験者に測定の負担をかけず、ヒトの状態を高速に推定するとともに様々な情報を得ることができる。

実施形態１に係る血流分析装置１の構成図である。 実施形態２に係る生体情報分析システム２の構成図である。 安静時の２つの測定領域における血流状態の実験結果を示す図である。 図３に対応する安静時の２つの測定領域における血流状態の相関を示す図である。 被験者が６０秒まで安静でそれ以降は活動したときの２つの測定領域における血流状態を示す図である。 被験者が安静時から活動状態に移行したときの２つの測定領域における血流状態の相関を示す図である。 被験者が活動したときの２つの測定領域における血流状態の相関を示す図である。 実施形態３に係る生体情報分析システム２の構成図である。 実施形態３における測定領域を示す図である。 実施形態４に係る生体情報分析システム２の構成図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る血流分析装置１の構成図である。血流分析装置１は被検体の血流を分析する装置である。血流分析装置１は、可視光撮像部１１、映像解析部１２、血流分布検出部１３、血流分布解析部１４、信号出力部１５を備える。血流分布解析部１４はさらに、血流比較部１４１、相関分析部１４２を備える。

可視光撮像部１１は、測定領域における可視光を受光して、少なくとも２点以上の空間的に分布する光強度を信号に変換して出力する機能を備えている。光強度を信号に変換するセンサとしては、ＣＣＤセンサやＣＭＯＳセンサを利用してもよい。被写体をセンサ上に結像させるためのレンズやミラーなどの光学系を有していてもよい。さらに、センサの画素に対応して配置されたカラーフィルタを用いて、単位空間ごとに赤色光、緑色光、青色光の強度を取得できるようにしておいてもよい。特に、カラーフィルタは血液が含む色素の吸収スペクトルに合わせて選ばれていることが望ましい。ヒトであれば、血中に含まれるヘモグロビンの吸光度が低い赤色領域に感度があるカラーフィルタを備えていることが望ましい。赤色のフィルタには、例えば、６００ｎｍから７００ｎｍ近傍の波長を有する光を通すフィルタを用いることができる。また、皮下に存在する毛細血管まで透過するが、それよりも深部には浸透しにくい緑色光を通すカラーフィルタを用いることもできる。緑色のフィルタとしては、例えば５４６ｎｍあたりの波長を有する光を透過させるフィルタを用いることができる。また、生体内部には浸透しにくい青色のフィルタを合わせて用いることができる。青色のフィルタは、例えば４３６ｎｍ近傍の波長を有する光を透過させるフィルタを用いることができる。赤外光に感度を持たせた受光部を備えさせてもよく、可視光カメラに赤外光のみを透過させるフィルタを組み込んでいてもよい。また、可視光カメラとは別に撮像部として設けてもよい。赤外光フィルタは、例えば８３０ｎｍ近傍の波長を有する光を透過させるフィルタを用いることができる。赤外光を用いると、生体に深くまで浸透するため深部に存在する血管内部の血流を検出できる。また、赤外領域の光を使う場合には血中の酸素飽和濃度を評価することができる。ヘモグロビンは酸素と結合しているか否かで吸光度が異なり、例えば６６５ｎｍ近傍の波長を有する光を用いるとその光学特性の違いが顕著に表れる。一方、赤外領域では酸素飽和濃度に関わらず吸光度が低く吸収が少ない。このことを利用して、赤外領域と前記６６５ｎｍ近傍の光の吸光度の比率から、血中の酸素が結びついたヘモグロビンの割合である酸素飽和度を推定することができる。

可視光撮像部１１が備える光強度を信号に変換するセンサについて、２次元に広がって画素が配置されたセンサを想定して説明したが、ある１点の光強度を信号として得るフォトディテクタと、測定対象からの光を集光する光学系を複数組み合わせて、空間的に別に位置する測定対象をとることができる構成であってもよい。カラーフィルタを備えていてもよい。

映像解析部１２は、可視光撮像部１１からの映像信号を受信し、画像解析をして血流分布検出部１３に引き渡す機能を有する。例えば、受信した映像信号のうち必要な特定の領域の情報だけを切り出して、処理に必要な映像情報のみを抽出して無駄な処理を省く。また、計算対象の画素の近傍が十分に均質である場合には、解像度を小さくして処理を高速化してもよい。以上のように、映像信号を受信して画像処理を加えることで処理の無駄を省くことができる。

血流分布検出部１３は、映像解析部１２から送信される映像信号から、血流分布に関する情報を得る。具体的には、映像信号を色によって分離する。例えば、赤色信号（以下Ｒ信号と記載）を用いて血流分布を得ることができる。血流分布の測定対象をヒトの生体とする場合、赤色の光はヒトの生体内部に浸透し、一部は吸収され、その他の光は拡散、反射する。そのうち生体より射出した光を可視光撮像部１１で捉えることができる。血流が変化すると、血管の太さが変わり内部を流れる血流量が変化するため、それに伴って光学特性が変化する。この光学特性の変化が血管に到達する赤色の波長領域でも発生するので、血流の変化を見ることができる。また、可視光撮像部１１は空間的に光強度の分布を取得できるので、血流分布を検出することができる。

血流分布解析部１４は、血流分布検出部１３が検出した血流分布から、血流の状態に関する情報を解析する機能を有する。例えば、生体情報である脈拍を算出することができる。例えば、血流の時間に伴う変化をフーリエ変換して周波数解析することにより脈拍を検出できる。他には、脈のピークを迎える時刻を記録して、その脈拍の周期の変化を十分な長さで記録することで、分析に用いて自律神経のバランスを推定することもできる。

血流分布解析部１４は、複数の血流に関する情報を比較する血流比較部１４１と、ある時点における複数の血流の強度の関係を分析する相関分析部１４２を備える。

血流比較部１４１は、異なる場所で測定された血流の強度変化を比較する機能を有する。生体であっても部位によって血流の変化のしやすさが異なる。変化しやすい部位と、変化しにくい部位で測定した血流を比較することにより、血流の変化の比率を計測することができる。血流の状態が部分的に変化する現象としては、自律神経による動静脈吻合の開閉によるものがある。血流比較部１４１は、血流の分布が十分に変化するまでの時間をかけて、血流の状態の部分的変化を測定して動静脈吻合の変化を推定することにより、自律神経のバランスの変化を検出することができる。

相関分析部１４２は、ある瞬間の複数の領域の血流の状態に対して、それぞれの領域の血流の状態を軸に取る値を取り、その分布から血流に関する情報を解析する機能を有する。例えば、第１測定領域と第２測定領域があると仮定する。２軸を取ったグラフの中に、ある瞬間（時刻ｔ）の第１測定領域の血流量に相当する信号をＢ１、第２測定領域の血流量に相当する信号をＢ２とすると、座標（Ｂ１，Ｂ２）を取る点を描ける。これをある時間内でサンプリングすると分布が得られる。相関分析部４２は、この分布の状態を解析することによって指標を計算して出力する機能を有する。

分布の状態を評価する評価項目としては、例えば、重心、傾き、切片、相関係数が挙げられる。重心は、測定時間内における代表的な血流のバランスの状態を示す。傾きは、異なる測定対象における振幅の比率に依存する。切片は、血流量に関するオフセットを示している。血流量の時間変化に注目すれば、オフセットを相殺する処理も可能である。相関係数は、測定対象の血流量の変動の位相と、その振幅の比率に依存する。相関係数は、位相が揃っていて、振幅の比率が変化しない場合に高くなる。このように、位相と振幅の比率によって決まる量をその都度解析することができるので、血流が脈打つ周期内で複数のサンプリングをすることができる。相関分析部１４２の上記機能により、脈拍の周期よりも高速に血流分布を解析、評価する手段を提供できる。

信号出力部１５は、血流分布解析部１４が計算した少なくとも１つ以上の結果（血流の評価指標）を、出力として信号を送信する機能を有する。例えば、血流分布解析部１４が出力する結果としては、心拍数、第１測定対象と第２測定対象の血流量の相関係数などが挙げられる。信号出力部５は、例えばモニタやプリンタなど視覚的に提示する装置や、音声で知らせるスピーカーにデータを送信することにより、これらの出力を提示することもできる。

＜実施の形態１：まとめ＞
本実施形態に係る血流分析装置１は、非接触で取得した映像から血流分布を測定し、その血流分布を用いて、異なる測定領域間における血流を比較するとともに、異なる測定領域において同時に発生した血流間の相関を分析する。これにより、短時間で血流を測定するとともに、血流に関する様々な情報を得ることができる。

本実施形態に係る血流分析装置１は、脈拍の周期よりも短い時間の血流分布の状態変化を検出する。これにより、脈拍よりも短い時間内で、血流に関する脈拍以外の様々な情報を得ることができる。

＜実施の形態２＞
図２は、本発明の実施形態２に係る生体情報分析システム２の構成図である。生体情報分析システム２は、血流分析装置１が分析した血流分布に関する情報を用いて、被検体の状態を推定するシステムである。生体情報分析システム２は、血流分析装置１に加えて、状態推定部１６、信号出力部１７、表示部１８を備える。信号出力部１５が出力する結果は状態推定部１６に対して送信される。

状態推定部１６は、信号出力部１５から受信した結果を判断するための指標を格納する少なくとも１つ以上のデータベースを備えている。データベースは少なくとも、評価の種類と判定の境界に関する情報を記録している。少数であり更新頻度が少なく管理が必要ない場合には、単純に記録されたデータテーブルを利用してもよい。ここでは指標ＤＢ１６１、個人補正値ＤＢ１６２、複合推定ＤＢ１６３を備える例を示した。

指標ＤＢ１６１は、評価指標と、判定の境界の情報と、被検体の状態の組み合わせが格納されている。状態推定部１６は、信号出力部１５から受け取った評価指標を用いて指標ＤＢ１６１を参照することにより、その評価指標に対応する被検体の状態を指標ＤＢ１６１から取得する。これにより被検体の状態を推定できる。

血流分布の評価指標が同一であったとしても、個人によって生体の状態が異なることがある。個人補正値ＤＢ１６２は、この個人差を補正するための個人補正値を保持している。状態推定部１６は、個人補正値ＤＢ１６２を利用することによって、個人差を補正した上で指標ＤＢ１６１を利用して被検体の状態を推定できる。

複合推定ＤＢ１６３は、複数の指標値と被検体の状態との間の関係を保持している。状態推定部１６は、例えば複合推定ＤＢ１６３に対して、複数の対象部における血流分布の相関係数と脈拍を入力して、これらに対応する被検体の状態を得る。複合推定ＤＢ１６３は例えば、これらの相関係数が高く脈拍が低ければ、被検体が落ち着いて安静にしているという推定結果を保持している。指標値と推定結果の組み合わせ分だけ記録に必要な容量が増大することを防ぐために、関連するパラメータと補正係数や近似するための関数の係数の組み合わせを保持するようにしてもよい。

信号出力部１７は、少なくとも１つ以上のヒトの状態を推定した結果を、出力として信号を送信する機能を有する。例えば、状態推定部１６が出力する結果には安静状態などが挙げられる。表示部１８はその推定結果を受け取り、ユーザが目視できるように信号を表示する。

図３は、安静時の２つの測定領域における血流状態の実験結果を示す図である。被験者が１２０秒間の安静時に測定した、血流の測定対象となる第１測定領域、第２測定領域における血流状態の変化を示している。横軸が時間で、縦軸が血流の増減を示す信号値である。本実験では第１測定領域として鼻を含み、第２測定領域として頬を含むように測定領域を設定した。

図４は、図３に対応する安静時の２つの測定領域における血流状態の相関を示す図である。ある瞬間の第１測定領域の血流状態の信号値を横軸に、第２測定領域の血流状態の信号値を縦軸に取ることによって、ある瞬間の２つの測定領域における血流の状態を１点で表現することができる。これを１２０秒の安静時の測定値を用いて描いたものが図４である。これらのデータは、複数の測定点から導かれる近似直線で評価することができる。近似直線は傾きとオフセットによって構成される（図４中の点線）。他の評価方法としては、近似直線を挟む、ある距離Ｄで離れた上限４０１と下限４０２で挟まれる領域内に含まれる測定点の数や、全測定点に対する割合によって評価することもできる。また、測定データの相関係数や分散を用いて評価することも可能である。

図５は、被験者が６０秒まで安静でそれ以降は活動したときの２つの測定領域における血流状態を示す図である。測定領域については図３と条件を合わせており、第１測定領域に鼻を、第２測定領域に頬を含むように領域を設定している。活動としては、２桁の足し算の暗算（すなわち身体的運動をともなわない活動）を実施した。６５秒あたりから２つの血流変化の傾向が顕著に乖離していることが分かる。

図６は、被験者が安静時から活動状態に移行したときの２つの測定領域における血流状態の相関を示す図である。安静時とは異なり、測定データの散らばりが大きいことが分かる。参考のために、図４に図示した上限４０１と下限４０２を重ねて図示した。大きく外れている測定データが多いことが分かる。相関係数は０．３３と低い。特に、安静時と活動時が混在している測定データであるので、相関を取りにくい状態になっていたことが分かる。

血流状態の評価は、被験者の状態が移行するために要する経過時間も関連している。例えば状態が急に変化する場合と緩やかに変化する場合では起きている現象が異なると想定される。そこで、状態の時間変化率も評価指標とすることができる。例えば測定データの相関が急激に崩れた場合には被験者の状態が変化した目安となり、相関の変化がないときは被験者が安定状態にあると考えられる。状態推定部１６は異常に基づき、例えば指標値の時間変化率が閾値以上であるときは被験者の状態が変化したと推定し、時間変化率が閾値未満であれば被験者の状態が安定していると推定することができる。

図７は、被験者が活動したときの２つの測定領域における血流状態の相関を示す図である。つまり活動時のみの測定データを抜粋したものである。測定データの散らばりが大きいことが分かる。相関係数は０．７４である。

図３～図７に示す実験の相関係数に着目すれば、安静時は０．９４と高く、安静から活動への移行中は０．３３と低く、活動時には０．７４になった。図示はしないが、別の機会に安静時を測定すると０．８１であった。これらのことから、安静と活動を見極めるための相関係数の閾値は、０．７４から０．８１の間に設ければよく、それよりも低い場合には移行時である可能性がある。移行時においては、その前後の相関係数や状態変化を参考にすることが望ましい。相関係数または評価指標を用いた状態推定は、状態推定部１６が実施してもよいし、相関分析部１４２が実施してもよい。

図３～図７に示す相関係数と被検体の動作状態との間の関係は、動静脈吻合による血流変化が大きい測定領域とこれが小さい測定領域との間において、特によく表れる。したがってこれらの相関係数を用いて被検体の動作状態を推定する場合は、そのような測定領域間の相関係数を用いることが望ましい。鼻と頬はその１例である。

＜実施の形態２：まとめ＞
本実施形態２に係る生体情報分析システム２は、第１測定領域における血流の増減と第２測定領域における血流の増減との間の相関を表す指標値を算出し、その指標値にしたがって被験者の状態を推定する。これにより、１箇所の血流分布のみからでは得ることが難しい被験者の状態についての情報を得ることができる。

本実施形態２に係る生体情報分析システム２は、第１測定領域における血流の増減と第２測定領域における血流の増減との間の相関を表す指標値が、（ａ）高いとき（上記例においては０．９４程度）は被験者が安静状態であると推定し、（ｂ）やや低いとき（上記例においては０．７４～０．８１）は被験者が活動状態であると推定し、（ｃ）低いとき（上記例においては０．３３）は被験者が安静状態と活動状態との間で移行していると推定する。これにより、被験者の状態を精度よく推定することができる。

＜実施の形態３＞
本発明の実施形態３は、非接触で取得した被検体画像のうち、血流分布の分析のために必要な範囲のみを選定することにより、血流分布の解析負荷を削減する構成例について説明する。

図８は、本実施形態３に係る生体情報分析システム２の構成図である。本実施形態３における生体情報分析システム２は、実施形態２で説明した構成に加えて、映像解析部１２のサブモジュールとしてノイズ除去部１２１、被検体追跡部１２２、顔追跡部１２３を備え、さらに血流分布解析部１４のサブモジュールとしてピーク分析部１４３、周波数成分分析部１４４を備える。

ノイズ除去部１２１は、映像解析部１２が取得した映像を加工して不必要な情報を除去する機能を備えている。不必要な情報を除去する具体的な手法としては、連続した複数画素間の平均を求めてその画素の信号値を代表する値として平滑化して、ノイズを除去する手法を用いることができる。本手法であれば、可視光撮像部１１が備えるセンサの電気的特性のノイズによって生じるような、画素ごとにランダムに加算される信号誤差を平滑化して、画素の近傍領域を代表する値として扱うことができる信号強度を求めることができる。本手法のノイズ除去により、空間的なノイズの振幅を抑えた映像を得ることができる。

他のノイズ除去方法としては、複数画素の信号強度のヒストグラムを用いて、最も出現頻度が高い信号強度を代表値として選んでノイズ除去する手法を用いることができる。本手法であれば、近傍で最も現れている信号強度を選んでいるので、ノイズを除去した後は同じ値が続くノイズが低減されて変化が小さくなり均質化された信号分布が得られる。測定対象の近傍領域で最も出現頻度が高い値を求める方式であるので、誤差が大きくばらついて乗っている状態では、最も頻出する信号強度の画素数が並んでしまい、一意に決めにくい状況が起こり得る。したがって本手法は、画素間の平均を求めてノイズ除去した後の画像に適用することが望ましい。

その他のノイズ除去方法として、可視光撮像部１１が取得した映像の色ごとの信号強度に対してバランスを調整する手法を取れる。例えば、一般的に用いられている赤（Ｒ）緑（Ｇ）青（Ｂ）の３色の光強度分布が得られるカメラを利用した場合を対象に説明する。測定対象となる領域でＲ、Ｇ、Ｂにおける光強度分布がそれぞれ得られたとき、各色の最も高い強度と最も低い強度を揃え、中間の強度に関しては補完する手法を取ることにより、各色間の信号分布が存在する強度範囲を揃えることができる。揃えた後の最高強度と最低強度を信号が取りうるレベルの上限値と下限値に合わせてスケーリングしてもよい。例えば、百分率で扱うのであれば０％から１００％、８ビットで扱うのであれば０から２５５の範囲に分布させる手法である。本手法であれば、可視光撮像部１１によって決まっている各色間の感度の差を相殺して各色を等しく扱うための信号分布を得ることができる。

ノイズを除去する別の手法として、可視光撮像部１１が取得した映像におけるある領域の各色の信号分布から、色ごとの信号強度に対してバランスを調整する手法を取れる。例えば、Ｒ，Ｇ，Ｂの光強度分布がそれぞれ得られたとき、その領域内で各色の光強度分布を表す特徴量を求め、その特徴量を揃えるように各色の信号を補正する。特徴量としては、最高強度、最低強度、最頻出強度などが挙げられる。補正するために必要な係数として、信号分布の差分を意味するオフセット、信号分布の強度比率を示すゲインなどが挙げられる。より詳細に補正する手法として、各色と輝度ごとに補正後の信号値を対応付けた任意の関数を用いることも可能であり、いわゆるトーンカーブを利用した調整であってもよい。本手法であれば、色間の信号強度を揃える際に、中間色の信号強度の分布を鑑みた補正が可能である。

各色の信号強度の補正のために、無生物を測定して補正係数を決定する手法を取ってもよい。本手法であれば、可視光撮像部１１で撮影した無生物の映像は、生体反応によって変化しないが、光学的環境の変化、例えば一様に照明されている環境光の色、強度の変化の影響は受ける。一方、測定対象である生体の映像は、生体反応による光学特性の変化による信号強度の変化だけではなく、環境光の色、強度の変化の影響を受ける。すなわち、基準となるある時刻に無生物の映像を用いて各色間の信号強度の補正係数を求めて、かつ測定している別の時間における無生物の映像を用いた各色間の信号強度の補正係数を利用することにより、ある基準となる時刻における条件に揃えて、光学的環境変化を相殺して影響を小さくすることができる。これにより、生体の光学的特性による変化を感度良く得ることが可能である。

各色間の強度信号の偏りを小さくして撮影時に同等に扱うためには、各色の信号強度の補正のために用いる測定対象となる無生物は、色味が抑えられている無彩色が望ましい。色味がない無彩色を基準としていれば、色がどちらに偏ったかを判別することに役立つ。また、空間的に照明光の反射ピークが出ることを抑えるために、拡散度が高い材質であることが望ましい。例えば、発光面が有限の照明器具を測定対象に反射させてみたときに、その発光面の形状が特定しにくいことを確認することによって、拡散度を判別することができる。中間の信号強度ごとに各色間の信号強度の変換関数（トーンカーブ）を求めるために必要な情報が得られるので、強度分布を持ったグレースケールの無生物であることが望ましい。

被検体追跡部１２２は、可視光撮像部１１が撮影した被検体が映像内で移動した場合において、その被検体が映像内のどこに映っているかを特定する画像追跡機能を有する。被検体を画像追跡する手法としては、物体追跡アルゴリズムを用いることができる。物体追跡アルゴリズムは、測定対象となる物体の外観に関するデータを記録しておき、可視光撮像部１１が撮影した映像内に該当する物体があるかを判定する機能である。映像内の物体の有無だけではなく、映像内に物体が映っている位置、大きさを特定できると望ましい。

物体追跡を実現する手法として、あらかじめ物体に関するデータを与えて学習させ、学習によって得られた評価関数を用いて物体の有無、位置、大きさを返す機械学習の仕組みを用いてもよい。本手法であれば、撮影対象が移動したり、可視光撮像部１１が撮影する方向がずれたりしとしても、撮影した映像内における測定対象の位置を特定することができるので、安定した測定が可能である。

物体追跡のその他の手法として、オプティカルフローを用いた画像追跡手法がある。オプティカルフローは、基準時刻におけるある画素あるいは領域が、ある時間が経過したときにある方向、距離で移動したと仮定したとき、基準時刻における映像からある方向に移動したと仮定して生成された映像と、実際にある時間が経過して得られた映像とを比較評価して、最も整合性があるとされる画素、あるいは領域ごとの移動方向と距離を得る手法である。本手法を用いれば、撮影対象があらかじめ学習されていなくても追跡できる可能性があり、特に任意の撮影光景を対象とすれば、可視光撮像部１１の移動、例えばブレに対する安定性を向上させることを可能とする。

顔追跡部１２３は、可視光撮像部１１が撮影した映像内に存在する顔を追跡して撮影映像内の領域を特定する機能を有する。顔部分を追跡することにより、測定対象領域を効果的に制限し、無駄な映像処理を省略して効率的な処理を実現することを可能とする。顔を追跡することに加えて、顔内の各部位（例：目、鼻など）を追跡してもよい。

顔追跡は、複数の顔の映像を学習させて、学習によって得られた評価関数を用いて人の顔が撮影映像内のどの領域にあるかを特定する機能である。機械学習や、深層学習を用いて得られた評価関数を用いて構成してもよい。本機能で特定された顔領域の映像を含む映像領域に制限して処理をさせることによって、測定に不要な領域の処理を回避させて、効率的な処理を可能とする。

顔部位の位置を測定対象領域の基準として用いてもよい。顔に位置する部位、例えば、額、まぶた、目、鼻、頬、上唇、下唇、耳など特定の部位が映っている映像内の領域を特定して、それらの領域の位置、サイズを基準としてもよい。例えば、眉間の測定領域を設定するためには、目の位置を特定した後に、その間に位置する領域を計算して定める方法を取ることができる。このような手法であれば、直接特定できない部位があっても、他の特定可能な部位を基準として、相対的な位置から測定領域を定義することが可能になり、測定の自由度を上げることを可能にする。

個人の顔に関するデータを保持しておき、顔追跡で照合することにより、被撮影者が測定対象であるかを判定して、さらに測定領域を絞り込み効率化を図る機能を有していてもよい。さらに、個人の顔に関するデータを登録する機能を備えていると便利である。

ピーク分析部１４３は、血流状態のピークをとらえて、時間とその大きさを記録して解析する。周波数成分分析部１４４は、血流状態の変化のうち脈拍の周波数解析をする。これらを備えていれば、十分に多い複数回の脈拍の脈動を解析することによって、ヒトの状態を推定できるようになる。例えばこれらの解析結果を、自律神経のバランスの評価に役立てることができる。

図９は、本実施形態３における測定領域を示す図である。顔追跡によって特定される顔領域３００を特定するとともに、顔部位の特定によって測定領域３０１を頬として特定し、測定領域３０２を鼻として特定する。例えば第１測定領域として測定領域３０１を用い、第２測定領域として測定領域３０２を用いることができる。

＜実施の形態３：まとめ＞
本実施形態３に係る生体情報分析システム２は、被検体追跡部１２２によって被検体を追跡し、あるいは顔追跡部１２３が被検体の顔部分を追跡することにより、血流分布分析のために必要な映像情報を限定することができる。これにより血流分布の解析負荷を削減できるので、血流分布の状態変化を短時間で検出することが可能となる。

＜実施の形態４＞
本発明の実施形態４は、血流分析装置１００外から受け取る学習データを用いて、複数の異なるデータに基づいてヒトの状態をより詳細に推定する構成例について説明する。

図１０は、本実施形態４に係る生体情報分析システム２の構成図である。本実施形態４において状態推定部１６は、実施形態２～３で説明した構成に加えて、ＤＢ更新部１６４と学習部１６５を備える。ＤＢ更新部１６４は、外部から提供される学習データを取り込んで、状態推定部６が備える各種データベースの内容を更新する。学習部１６５は、学習データを用いて機械学習などを実施して状態推定のために必要な評価関数を得る。

ＤＢ更新部１６４は、指標ＤＢ１６１、個人補正値ＤＢ１６２、複合推定ＤＢ１６３の内容を更新する機能を有する。ＤＢ更新部１６４は、与えられたコマンドに応じて、更新する対象となるデータベースと、更新すべき項目と内容を特定して更新する。コマンドに不整合があった場合、他データベースとの整合性を鑑みて、エラーを発生させないようにコマンドを実行しない判断機能を備えていることが望ましい。

学習部１６５は、血流分析装置１００の信号出力部１５からのデータ、もしくはその他の手段で得た学習データを用いて、状態推定に必要な評価関数を更新する機能を有する。例えば、入力されたデータが血流分析装置１００による測定結果と、測定条件と、実際に明らかになっているヒトの状態を示すヒト状態確定データであるとき、測定結果と測定条件とヒト状態確定データとを対応させ、これらを教師データとして評価関数を学習させる構成を取ることができる。本構成であれば、学習して生成された評価関数を用いて、今までに計測されたことがない条件であっても、ヒトの状態を正しく推定する確率を向上させることができる。

例えば、血流分析装置１００の信号出力部１５からのデータと、対応するその他の手段で得られた被撮影者の状態を教師データとして機械学習をさせることにより、血流分析装置１００の信号出力部１５の出力から非撮影者の状態を推定する教師あり学習を用いて、学習モデルを構築することができる。他の手段として、教師データに被撮影者の動作に関するデータを追加したデータセットを使用して、状態を推定する精度を高めることができる。

また、血流分析装置１００の信号出力部１５からのデータと、対応するその他の手段で得られた被撮影者の状態のデータセットに加えて、その計測された順序や時刻などの時系列情報を学習データとして用いるディープラーニングを活用して、被撮影者の状態を推定するモデルを構築しても良い。例えば、学習の手法としてＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用することができる。特に、血流が変化する増減や変化速度に関わる情報を考慮して、被撮影者の状態を推定するためのモデルが構築できるので、推定する状態の種類を増やしながら、精度を高められる。

ＤＢ更新部１６４は、学習部１６５が学習に用いた既存の条件に、新たな条件の項目を挿入することにより、学習を強化する構成であってもよい。本構成であれば、条件の自由度が少なく、評価関数を正しく判断するための変更がされなくなってしまった場合においても、条件を増やすことによって正しく判断する確率を向上させられる余地を与えることを可能にする。学習データは、指標ＤＢ１６１だけでなく個人補正値ＤＢ１６２と複合推定ＤＢ１６３も対象とすることができる。

個人補正値ＤＢ１６２のデータを用いて学習すると、個人差を考慮した評価関数を得ることができる。新たな測定対象者を追加する際には、簡易な測定をした結果から、個人補正値に関して測定対象者と類似の特性を示す既に登録された個人補正値を初期値として与え、その後に条件を変えた測定結果とヒトの状態から学習をかけることにより、より早く収束させる手法を取ることができる。

複合推定ＤＢ１６３が有するデータを用いて学習すると、外部から得た学習データや血流分析装置１００から得た複数種類のデータからより詳細なデータを得ることができる。例えば、ある被験者を測定したとき、相関分析部１４２が出力した血流の相関値が０．９７と高く、１分間安定していたとすると状態に変化がなく安定していると分かる。脈拍の測定結果が６０ｂｐｍであって、個人補正値ＤＢ１６２が有する被験者の普段の脈拍が６４ｂｐｍだったとすると、普段の脈拍と比較して低いと判定できる。一般的に脈拍が低い時にはリラックスしていることが分かっているので、リラックスして安定しているというより詳細な状態を推定することができる。学習データとして、別のカメラで撮影した結果、体を動かしていないことを示す信号が与えられれば、安静にしていることが推定され、リラックス状態で安定しているというより確度が高い判定をすることができる。このように、異なる情報を組み合わせてヒトの状態をより詳細に推定することが可能となる。

学習データを複数種類にわたって用いることも可能であり、その種類が多岐にわたる場合には深層学習モデルを使って、計算の途中で次元数を下げて計算効率を上げる手法を用いても良い。例えば、血流分析装置１００の信号出力部１５からのデータと、対応する被撮影者の血流を測定した外観を合わせて学習データセットとした場合には、外観の空間分解能だけデータの次元数が増えるデータ構成を取りうる。このように飛躍的に学習データの次元数が増える場合の計算効率を上げる場合に有効である。本条件を想定した測定例としては、外観から得られる筋肉の収縮に基づく変形、あるいは表情の情報を有する映像の成分を血流に関するデータと併用して学習データに用いる場合が考えられる。このような条件であれば、学習データの次元数が増えるので多くの条件に対応できる学習モデルを実現でき、推定できる被撮影者の状態の種類が拡充され、安定性と精度を改善できる。

＜実施の形態４：まとめ＞
本実施形態４に係る生体情報分析システム２は、学習部１６５が学習データを用いて、被験者の動作状態と測定結果との間の関係を学習することにより、動作状態の推定精度を継続的に高めることができる。また学習データとして血流分析装置１以外から取得したデータを用いることにより、複数の異なるデータに基づいてヒトの状態をより詳細に推定することが可能となる。

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

以上の実施形態において、映像解析部１２、血流分布解析部１４、血流分布検出部１３、信号出力部１５、状態推定部１６、信号出力部１７、表示部１８は、これらの機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、これらの機能を実装したソフトウェアを演算装置が実行することによって構成することもできる。

以上の実施形態において、状態推定部１６は、血流分析装置１の構成要素とすることもできる。その場合、状態推定部１６は、独立した機能部として構成することもできるし、その他の機能部の一部として構成することもできる。例えば血流分布解析部１４の一部として状態推定部１６を構成し、血流分布解析部１４は被検体の状態を推定してその結果を出力してもよい。

１：血流分析装置
１１：可視光撮像部
１２：映像解析部
１３：血流分布検出部
１４：血流分布解析部
１５：信号出力部
１６：状態推定部
１７：信号出力部
１８：表示部
２：生体情報分析システム

Claims (15)

1. 被検体の血流を分析する血流分析装置であって、
   前記血流を測定する測定領域における可視光の光分布を撮影する可視光撮影部、
   前記可視光撮影部が撮影した可視光画像を用いて前記血流の分布を検出する血流分布検出部、
   前記血流分布検出部が検出した血流分布を用いて、異なる測定領域間における血流を比較する、血流比較部、
   前記血流分布検出部が検出した血流分布を用いて、異なる測定領域において同時に発生した血流間の相関を分析する、相関分析部、
   を備えることを特徴とする血流分析装置。
2. 前記相関分析部は、異なる測定領域において同時に発生した各血流の位相と振幅によって表される量を、前記被検体の脈拍周期よりも高い頻度で算出することにより、前記脈拍周期よりも高い頻度で前記相関を分析する
   ことを特徴とする請求項１記載の血流分析装置。
3. 前記相関分析部は、第１測定領域における第１血流の増減と、前記第１測定領域とは異なる第２測定領域において前記第１血流と同時に発生した第２血流の増減との間の相関を表す指標値を算出し、
   前記相関分析部は、前記指標値にしたがって、前記被検体が実施している動作を推定してその結果を出力する
   ことを特徴とする請求項１記載の血流分析装置。
4. 前記相関分析部は、前記指標値が第１閾値以上である場合は、前記被検体が安静状態である旨の推定結果を出力する
   ことを特徴とする請求項３記載の血流分析装置。
5. 前記相関分析部は、前記指標値が前記第１閾値未満かつ前記第１閾値よりも小さい第２閾値以上である場合は、前記被検体が活動状態である旨の推定結果を出力する
   ことを特徴とする請求項４記載の血流分析装置。
6. 前記相関分析部は、前記指標値が前記第２閾値未満である場合は、前記被検体が安静状態と活動状態との間で遷移する過渡状態である旨の推定結果を出力する
   ことを特徴とする請求項５記載の血流分析装置。
7. 前記相関分析部は、前記指標値の時間変化率が第３閾値以上である場合は、前記被検体の動作状態が変化した旨の推定結果を出力し、
   前記相関分析部は、前記指標値の時間変化率が前記第３閾値未満である場合は、前記被検体の動作状態が安定している旨の推定結果を出力する
   ことを特徴とする請求項３記載の血流分析装置。
8. 前記血流比較部は、動静脈吻合により血流量が変化する第１測定領域における血流を、動静脈吻合による血流量の変化が前記第１測定領域よりも小さい第２測定領域における血流と比較することにより、動静脈吻合の変化を推定してその結果を出力する
   ことを特徴とする請求項１記載の血流分析装置。
9. 前記血流比較部は、前記動静脈吻合の変化を推定することにより、前記被検体の自律神経のバランス変化を検出してその結果を出力する
   ことを特徴とする請求項８記載の血流分析装置。
10. 前記血流分析装置はさらに、前記可視光画像に映っている前記被検体が移動したときその移動前後における前記被検体の位置を特定する被検体追跡部を備え、
    前記血流分布検出部は、前記被検体追跡部が特定した前記位置における血流分布を検出する
    ことを特徴とする請求項１記載の血流分析装置。
11. 前記血流分析装置はさらに、前記可視光画像に映っている前記被検体の顔部分を特定する顔追跡部を備え、
    前記血流分布検出部は、前記顔追跡部が特定した前記顔部分における血流分布を検出する
    ことを特徴とする請求項１記載の血流分析装置。
12. 請求項１記載の血流分析装置、
    前記血流分析装置が分析した前記血流を用いて前記被検体が実施している動作を推定する状態推定部、
    を備えることを特徴とする生体情報分析システム。
13. 前記生体情報分析システムはさらに、前記血流の状態を表す指標値と前記被検体が実施している動作との間の関係を記述した指標データベースを備え、
    前記状態推定部は、前記指標値を用いて前記指標データベースを参照することにより、前記被検体が実施している動作を推定する
    ことを特徴とする請求項１２記載の生体情報分析システム。
14. 前記生体情報分析システムはさらに、前記指標値を補正する補正値を前記被検体ごとに記述した補正値データベースを備え、
    前記状態推定部は、前記被検体に対応する前記補正値を前記補正値データベースから取得し、
    前記状態推定部は、前記補正値データベースから取得した前記補正値を用いて補正した前記指標値を用いて前記指標データベースを参照することにより、前記被検体が実施している動作を推定する
    ことを特徴とする請求項１３記載の生体情報分析システム。
15. 前記生体情報分析システムはさらに、前記指標値と前記被検体が実施している動作との間の関係を機械学習によって学習する学習部を備え、
    前記指標値は、前記血流分析装置または前記血流分析装置以外の装置が取得した、前記血流の状態を表す値であり、
    前記学習部は、前記学習した関係にしたがって前記指標データベースを更新する
    ことを特徴とする請求項１３記載の生体情報分析システム。

Images