JP2022030619A - 情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】より簡便かつ精度よく人の状態の検知に利用可能な情報を取得する技術を提供する。【解決手段】解析サーバ１の対象画像情報取得部６０は、画像処理端末１１から送信されてきた対象者画像情報および輝度情報などを含む対象者画像情報等を取得する。皮膚検知部１１０は、対象者画像情報のうち対象者の皮膚が露出している領域を抽出する。また、皮膚検知部１１０は、抽出された領域の夫々について、色情報を取得する。クラスタリング部１１１は、皮膚検知部１１０で抽出された皮膚の領域のそれぞれで取得された色情報に基づいて、自動的に複数のチャネルにクラスタリングを実行し、各クラスタでＰＰＧ信号を取得する。心拍数推定部１１２は、クラスタリング部１１１のクラスタリングの結果に基づいて、対象者の心拍数を推定する。【選択図】図４

Description

本発明は、情報処理システム、情報処理方法およびプログラムに関する。

従来より、車両は人々の生活に必要不可欠である。運転者が車両を安全に運転するためには、運転中に居眠りをせず、常に運転者が覚醒状態でいることは極めて重要である。そして、運転中の居眠りなどを防止することを目的として、心拍数に基づいて人の眠気を検知するという試みがなされている（例えば、特許文献１参照）。
しかし、心拍数を含む各種生体信号は、情報の取得や処理に問題が生じることも多く、例えば、生体信号の有効性を踏まえた処理を実現する技術などが提案されている（例えば、特許文献２参照）。

特開２０１７－８６２０１号公報 特開２０１７－８６２０１号公報撮像

しかしながら、上述の特許文献１に記載の技術をはじめとした従来技術では、単に心拍数に基づいて眠気の有無が検知することができるに過ぎない。
また、上述の特許文献２に記載の技術をはじめとした従来技術では、あくまでも取得された生体信号の精度の向上を目的としているに過ぎず、生体信号を取得する上でのユーザの利便性や簡便さの向上を目的とはしていない。

本発明は、このような状況に鑑みてなされたものであり、より簡便かつ精度よく人の状態の検知に利用可能な情報を取得する技術を提供する。

上記目的を達成するため、本発明の一態様の情報処理システムは、
対象者の状態の検知に関する情報の取得に利用可能な情報処理システムであって、
前記対象者の皮膚を含む画像に関する情報を取得する画像情報取得手段と、
前記画像に含まれる前記対象者の皮膚に関する領域を特定し、当該領域の夫々における輝度に関する輝度情報を取得する輝度情報取得手段と、
前記領域の夫々において取得された前記輝度情報の夫々を、複数のクラスタに分類し、クラスタリングを実行するクラスタリング実行手段と、
前記クラスタリングの結果に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する心拍数等決定手段と、
を備えることができる。

本発明の一態様の情報処理方法およびプログラムも、本発明の一態様の情報処理システムに対応する情報処理方法またはプログラムとして提供される。

本発明によれば、より簡便かつ精度よく人の状態の検知に利用可能な情報を取得する技術を提供することができる。

本発明の一実施形態にかかる情報処理システムの構成を示すブロック図である。 図１の情報処理システムのうち、解析サーバのハードウェア構成の一例を示すブロック図である。 図２の解析サーバおよび図１の画像処理端末の機能的構成の一例を示す機能ブロック図である。 図３の解析サーバの機能的構成の一例のうち、特に詳細な機能的構成の一例を示すブロック図である。 図３の解析サーバにおいて眠気の有無を検出する具体的な方法の一例を説明するための図である。 図３の機能的構成を有する解析サーバの処理のうち、ｒＰＰＧ取得処理の流れの一例を説明するフローチャートである。 図３の機能的構成を有する解析サーバの処理のうち、眠気判定処理の流れの一例を説明するフローチャートである。 図３の解析サーバにおいて眠気を判定する方法のうち、個人差を考慮する場合の具体的な方法の一例を説明するための図である。

［実施形態］
以下、本発明の実施形態について、図面を用いて説明する。

＜概要の説明＞
まず図１を用いた具体的な説明に先立ち、本発明の一実施形態にかかる情報処理システム（以下、「本システム」と呼ぶ）の適用対象となる第１のサービスおよび第２のサービスについて説明する。
第１のサービスは、対象者の眠気の有無を判定する眠気検出サービスである。第１のサービスは、例えば、車を運転する運転者などに対して提供される。
第２のサービスは、第１のサービスの事前において実施される眠気を検出するための各種指標を推定するサービスである。第２のサービスは、第１のサービスの提供を希望する運転者などに対して提供される。また、各種指標とは、例えば、対象者の心拍数、ＳＤＮＮ（Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ ｏｆ ＮＮ ｉｎｔｅｒｖａｌｓ）、ＥＡＲ（Ｅｙｅ ａｓｐｅｃｔ ｒａｔｉｏ）である。

ここで、各指標の定義を詳細に説明する。
心拍数とは、１分間に心臓が拍動する回数である。本実施形態では、ＰＰＧ（光電式容積脈波記録法）を用いて対象者の心拍数などを推定する。ＰＰＧは、関心のある領域または容積の光の反射率又は透過率における経時的な変化を評価する光学技術のひとつである。
すなわち、ＰＰＧは、細胞組織の毛細血管内血流量（容積）の変化を検知することで、生体内の生理現象と対応付けることができる様々な情報を取得することができる、簡便で低コストの生体情報の取得技術である。
ここで、ＰＰＧは、従来接触型の方法で行われることが多かったが、近年では、デジタルカメラなどを用いることで、非接触の方法によるｒＰＰＧ（ｒｅｍｏｔｏ ＰＰＧ）と呼ばれる技術が存在する。このｒＰＰＧは、遠隔でＰＰＧ信号を取得することができることから、簡便で低コストで生体情報を取得できるという点で有用である。しかし一方で、対象者の撮像時に必要な条件が多い、信号対雑音比（以下、「ＳＮＲ」と呼ぶ）が低いなどの問題が指摘されていた。なお、ＰＰＧ信号とは、ＰＰＧ（またはｒＰＰＧ）などの手法により取得された人の状態の検知に利用可能な各種信号情報の総称である。
ＳＤＮＮとは、ある期間内の連続する２つの拍動の間の時間間隔（心拍間隔、ＲＲ間隔）の標準偏差を示している。ＳＤＮＮは、心拍数の時系列情報を、ＲＲ間隔（心室興奮から心室興奮までの時間間隔）に変換し、所定の期間内の標準偏差を計算することで導出できる。
ＥＡＲとは、目の水平方向と垂直方向の長さの比である。例えば、目が撮像された画像から目の領域を検出し、それぞれの長さの比を計算することで算出することができる。
なお、第１のサービスにおいて、対象者の眠気の検出は、これらの各指標に基づいて、総合的になされる。そのため、第１のサービスでは、単一の指標のみにより眠気を検出する場合と比較して、より精度よく対象者の眠気を検出することができる。
また、第２のサービスにおいて、心拍数の推定は、上述のｒＰＰＧを応用した独自の方法を実施することにより行われる。しかし、これはあくまでも例示であり、各指標は任意の方法により取得されてもよいし、また、採用される指標の種別も任意である。
以上をまとめると、本システムの適用対象となる第１のサービスは、心拍数、ＳＤＮＮ、ＥＡＲなどの複数の対象者の状態の検知に利用可能な情報（以下、「生体指標」と呼ぶ）から高精度に対象者の眠気を検出するサービスである。また、本システムの適用対象となる第２のサービスは、第１のサービスにおいて用いる生体指標の夫々を取得する生体指標の取得サービスであり、特にはｒＰＰＧを応用した高精度かつ簡便な心拍数の推定サービスである。
なお、ＰＰＧ信号として用いるチャネルは、本システムの提供者などにより任意に決定されてもよいが、本実施形態では、強い容積脈派信号を示し、酸化ヘモグロビンの吸収ピークのひとつに対応する緑のチャネルを採用するものとする。

図１は、本発明の一実施形態にかかる情報処理システムの構成を示すブロック図である。
図１に示す通り、本システムは、解析サーバ１と、画像生成装置２とを備えている。解析サーバ１と画像生成装置２とはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどの所定のネットワークＮを介して接続されている。
なお、ネットワークＮは、ＬＡＮやインターネットなどである必要はなく、例えば、ブルートゥース（登録商標）など任意の方法により通信を行ってもよい。

ここで、図１に示す通り、画像生成装置２は、画像処理端末１１と、光源１２と、カメラ１３とを備えている。
光源１２は、対象者などの生体の部位（特に皮膚などであり、以下、「測定部位」と呼ぶ）に対して光を照射する光源である。
カメラ１３は、光源１２により照射された光が測定部位を介して反射した反射光を取得し、取得した反射光に基づいて画像に関する情報（以下、「対象者画像情報」と呼ぶ）を生成する。そして、生成された対象者画像情報は、画像処理端末１１で各種処理がなされたのち、解析サーバ１へ送信される。
なお、解析サーバ１は、画像処理端末１１から送信された対象者画像情報を解析するための各種処理を実行する。

＜ハードウェア構成＞
図２は、図１の情報処理システムのうち、解析サーバのハードウェア構成の一例を示すブロック図である。
解析サーバ１は、パーソナルコンピュータ等で構成される。図２に示すように、解析サーバ１は、制御部２１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、出力部２６と、入力部２７と、記憶部２８と、通信部２９と、ドライブ３０と、を備えている。

制御部２１は、ＣＰＵやＧＰＵおよび半導体メモリを含むマイクロコンピュータ等で構成され、ＲＯＭ２２に記録されているプログラム、または、記憶部２８からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２３には、制御部２１が各種の処理を実行する上において必要な情報等も適宜記憶される。

制御部２１、ＲＯＭ２２およびＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インターフェース２５も接続されている。入出力インターフェース２５には、出力部２６、入力部２７、記憶部２８、通信部２９、ドライブ３０が接続されている。

出力部２６は、各種液晶ディスプレイ等で構成され、各種情報を出力する。

入力部２７は、各種ハードウェア等で構成され、各種情報を入力する。

記憶部２８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、各種データを記憶する。例えば、各種プログラムの他、データベースを含む各種データが記憶されている。

通信部２９は、インターネットを含むネットワークＮを介して他の装置（例えば、画像生成装置２）との間で行う通信を制御する。

ドライブ３０は、必要に応じて設けられる。ドライブ３０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４１が適宜装着される。ドライブ３０によってリムーバブルメディア４１から読み出されたプログラムは、必要に応じて記憶部２８にインストールされる。またリムーバブルメディア４１は、記憶部２８に記憶されている各種データも、記憶部２８と同様に記憶することができる。

なお、画像処理端末１１などのハードウェア構成は、解析サーバ１のハードウェア構成と基本的に同様とすることができるので、ここでは必要な説明のみを行う。
光源１２は、汎用的な光源光または環境光などにより構成される。光源１２は、カメラ１３で画像を撮像するための光源として使用される。
カメラ１３は、例えば、汎用的なウェブカメラや３Ｄ深度カメラなどにより構成される。カメラ１３は、対象者の皮膚を含む画像を撮像するために使用される。

＜機能的構成＞
図３は、図２の解析サーバ１および図１の画像処理端末１１の機能的構成の一例を示す機能ブロック図である。
図３に示すように、解析サーバ１の制御部２１は、各種プログラム等を実行することにより、対象画像情報取得部６０と、生体指標取得部６１と、眠気検出部６２として機能する。
また、記憶部２８の一領域には、画像ＤＢ３００とが設けられている。

ここで、詳細については後述するが、カメラ１３により撮像された対象者の皮膚を含む画像の情報（以下、「対象者画像情報」と呼ぶ）は、画像処理端末１１で取得され、画像処理端末１１から解析サーバ１へ送信される。
そこで、解析サーバ１の対象画像情報取得部６０は、画像処理端末１１から送信されてきた対象者画像情報を、通信部２９を介して取得する。また、対象画像情報取得部６０は、取得した対象者画像情報を画像ＤＢ３００に格納する。

生体指標取得部６１は、対象画像情報取得部６０で取得された対象者画像情報に基づいて、各指標（心拍数、ＳＤＮＮ、ＥＡＲなど）に関する情報を取得する。生体指標取得部６１は、ＰＰＧ処理部１００と、ＳＤＮＮ取得部１３０と、ＥＡＲ取得部１４０とを含む。

ＰＰＧ処理部１００は、対象画像情報取得部６０で取得された対象者画像情報に基づいて、ＰＰＧ信号を取得する。ＰＰＧ処理部１００は、取得したＰＰＧ信号に基づいて対象者の心拍数を推定する。
ここで、図４を参照しつつ、ＰＰＧ処理部１００のさらに詳細な機能的構成について説明する。図４に示す通り、ＰＰＧ処理部１００は、皮膚検知部１１０と、クラスタリング部１１１と、心拍数推定部１１２とを含む。
皮膚検知部１１０は、対象者画像情報のうち対象者の皮膚が露出している領域を抽出する。また、皮膚検知部１１０は、抽出された領域の夫々の色に関する各種情報（以下、「色情報」と呼ぶ）を取得する。
ここで重要な点は、従来の画像認識技術などを用いた心拍数の推定技術（以下、「従来方法」と呼ぶ）の多くは、顔を検出し、その後の顔に含まれる各部位（目、鼻、頬など）の領域を抽出し、各部位の特性を利用して心拍数の推定を行っていたという点である。これに対して本システムは、顔や体の一部分からのみでも心拍数の推定が可能なため、信号を取得できる領域（部位）が多いと言える。また、画像に顔などが含まれている必要がないため、画像を撮像する状況や環境にも自由度を持たせることができる。

クラスタリング部１１１は、皮膚検知部１１０で抽出された皮膚の領域のそれぞれで取得された色情報に基づいて、自動的に複数のチャネルにクラスタリングを実行し、各クラスタでＰＰＧ信号を取得する。
また、クラスタリング部１１１は、クラスタリングを実行した結果、得られた信号に基づいて、ノイズの除去を行うことができる。
具体的に例えば、あるクラスタにノイズは多く、ＳＮＲが低いことが判明した場合には、そのクラスタをノイズとして処理することができる。すなわち、高いＳＮＲを持つクラスタのみを正常な信号として処理すれば、取得されるＰＰＧ信号の精度が向上することになる。

ここで重要な点は、クラスタリング部１１１は、同時刻の複数のＰＰＧチャネルを抽出することができるため、これらを補助的なチャネルとして利用できる点である。これはノイズの除去を行う点において特に重要である。例えば、クラスタリング部１１１は、皮膚のピクセルをクラスタリングする場合、同じような信号（性質）を持つピクセルを同じチャネルとして分類する。そのため、結果として、正常な信号を含んだピクセルは同一のチャネルに分類され、ノイズを含んだピクセルは同一のチャネルに分類されることになるため、クラスタリング部１１１は、ノイズの除去を効率的に行うことができる。
言い換えれば、クラスタリング部１１１でそれぞれの皮膚の領域（ピクセル）のクラスタから得られたＰＰＧチャネルは、個別のＲＯＩ（関心領域）として並列的に処理することができるため、相補的な補助チャネルとして利用することが可能となる。したがって、クラスタリング部１１１は、ノイズの多い環境などでも効率的なノイズ処理を実現し、高いＳＮＲを得ることが可能となる。

なお、このような本システムで採用する方法は、従来方法（特にｒＰＰＧ）とは明確に異なる点が存在する。すなわち、上述の通り、従来方法において、顔を検出し、その後の顔に含まれる各部位（目、鼻、頬など）の領域を抽出し、各部位の特性を利用して心拍数の推定を行う方法が採用される。その意味では、従来方法においても、各部位（目、鼻、頬など）に対応する複数のチャネルを持つことは可能できるが、本システムにおける複数のチャネルのように相補的な関係を有する複数のチャネルではなく、全く異なる概念である。
また、従来方法は、顔に含まれる各部位（目、鼻、頬など）をある程度以上の解像度で撮像した画像が必要あることから、例えば、対象者の顔の正面から画像を撮像する必要であったり、顔がゆがんで撮像されてしまった場合にＰＰＧ信号の取得精度が低下するなどの欠点が存在する。
これに対して、本システムで採用する方法は、体の部位を問わない任意の部位の皮膚の画像から取得された色情報に基づくクラスタリングの結果から、複数のＰＰＧチャネルの使用を実現するものであり、従来方法における上述のような欠点もある程度補うことができる。

心拍数推定部１１２は、クラスタリング部１１１で取得したＰＰＧ信号などに基づいて、対象者の心拍数を推定する。
すなわち、心拍数推定部１１２は、クラスタリング部１１１のクラスタリングの結果に基づいて、対象者の心拍数を推定する。
具体的に例えば、クラスタリング部１１１は、各クラスタにおけるＰＰＧ信号を、潜在的な心拍数の範囲（例えば、６０～１２０）を複数のオーバーラップした間隔に分割し、それぞれで主要な周波数（心拍数）をトラッキングする。
ここで、心拍数推定部１１２は、各間隔での周波数に加えて、ＰＰＧ信号のＳＮＲ、パワースペクトル密度、自己相関なども合わせてトラッキングしてもよい。そして、心拍数推定部１１２は、各クラスタで最大の強度を持つ範囲の事前選択を行う。
また、心拍数推定部１１２は、各クラスタの各心拍数の範囲の結果をまとめて解析し、最も関連性の高い心拍数の範囲を選択する。
また、心拍数推定部１１２は、心拍数の範囲を解析した事前の情報に基づいて、ベストな心拍数を各イテレーション（１ｓ、２ｓなど）で選択する。
また、心拍数推定部１１２は、各心拍数の範囲間を比較したときの強度または確信度に応じて、最初の心拍数の範囲（６０～１２０）を絞り込み、処理時間を短縮してもよい。
すなわち、心拍数推定部１１２は、例えば、クラスタリング部１１１のクラスタリングの結果のうち、クラスタのそれぞれから得られたＰＰＧ信号をフィルタリングし、クリーンなＰＰＧ信号を得ることなどができる。

ここで、心拍数推定部１１２が対象者の心拍数を推定する上での基本的な前提事項について言及する。
上述の通り、ＰＰＧ信号は、容積脈波信号を示し、各種生理現象と対応付けられることが知られている。特に心拍数については、ＰＰＧ信号におけるピークは、心臓の拍動間隔（ピーク トゥー ピーク）と連動することが知られており、心拍数の推定に広く利用されている。なお、この点は、次の非特許文献１を参照するとよい。
［非特許文献１］W.Verkruysse et al.,"Remote plethysmographic imaging using ambient light.,"Opt.Express 16,21434-21445(2008)
以上、ＰＰＧ処理部１００の詳細な機能的構成について説明した。続いて図３に戻り、解析サーバ１の機能的構成について引き続き説明する。

ＳＤＮＮ取得部１３０は、心拍数推定部１１２で推定された対象者の心拍数に基づいて、ＳＤＮＮを取得する。ＳＤＮＮは、上述の通り、推定された心拍数の時系列情報をＲＲ間隔に変換し、所定の期間内の標準偏差を計算することで求めることができる。

ここで、心電図などによる場合と異なり、本システムでは、クラスタリングの結果などを含めて、主として時間的に平均化された心拍数の推定結果から、ＲＲ間隔へ変換しＳＤＮＮを導出する方法を採用することができる。これにより、本システムでは、通常よりも簡便な方法のみによって、心拍数の推定やＳＤＮＮの取得を実現することができる。

ＥＡＲ取得部１４０は、対象画像情報取得部６０で取得された対象者画像情報などに基づいて、ＥＡＲを取得する。上述の通り、ＥＡＲ取得部１４０は、例えば、対象者画像に含まれた目の領域を検出し、目の水平方向と目の垂直方向の長さの比を計算することにより取得される。

眠気検出部６２は、ＰＰＧ処理部１００で推定された心拍数、ＳＤＮＮ取得部１３０で取得されたＳＤＮＮおよびＥＡＲ取得部１４０で取得されたＥＡＲなどに基づいて、対象者の眠気の有無を検出する。なお、眠気検出部６２が眠気の有無を検出する具体的な方法については、図５などを参照しつつ後述する。
また、眠気検出部６２は、対象者の眠気の有無の検出結果を、通信部２９を介して画像処理端末１１に送信する。

続いて、画像処理端末１１の機能的構成の一例を説明する。
図３に示すように、画像処理端末１１の制御部５０は、各種プログラム等を実行することにより、対象画像情報管理部１６０と、検出結果管理部１６１として機能する。
対象画像情報管理部１６０は、カメラ１３により撮像された対象者に関する画像の情報、すなわち対象者画像情報を取得する。また、対象画像情報管理部１６０は取得した対象者画像情報を、通信部５１を介して解析サーバ１へ送信する。
ここで、上述の通り、対象者画像情報には、対象者の皮膚に関する画像の情報が含まれる。換言すれば、対象者画像情報には、皮膚に関する画像の情報が含まれていればよく、例えば、目、鼻、口など所定の部位に関する画像の情報が含まれている必要はない。

検出結果管理部１６１は、解析サーバ１から送信されてきた対象者の眠気検出の結果を、通信部５１を介して取得する。また、検出結果管理部１６１は、取得した対象者の眠気の有無の検出の結果を、図示せぬ表示部に表示する制御を実行する。

次に、図５を参照しつつ眠気検出の具体的な方法について説明する。
図５は、図３の解析サーバにおいて眠気の有無を検出する具体的な方法の一例を説明するための図である。
図５の例では、取得されたＰＰＧ信号により推定された心拍数の数値が、１分ごとの単位で示されている。なお、１分ごとの単位の数値は１秒ごとに推定された数値の平均として算出されている。つまり具体的に図６の例では、１分毎に、「６６．３」、「６５．４」、「６２．１」、「６５．８」、「６４．２」、「６３．９」、「６２．５」、「６６．１」、「６７．０」、「６７．３」、「６６．８」のように心拍数が変化していることを示している。
ここで、各数値の上部を見ると、「ベースライン区間」および「予測区間」という２つの表示が示されている。
すなわち、「ベースライン区間」とは、眠気検出の事前の対象者の心拍数を示している。他方、「予測区間」とは、眠気検出の時点およびその直近のタイミングでの心拍数を示している。生理現象は個人差の影響が大きく、単に閾値を設定するだけでは精度の高い検出を行うことが困難である。そのため、図５のように時系列的な変動を踏まえて眠気の検出を行うことで、より精度の高い検出が可能となる。

このような前提のもと、図５の例では、例えば、標準化という概念を用いて、対象者の眠気の有無を検出する。
標準化とは、例えば、（予測区間の値－ベースライン区間の平均値）／ベースライン区間の標準偏差の式により得ることができるスコアである。具体的に図５の例で言えば、予測区間の値「６７．０」、「６７．３」、「６６．８」に対応する標準化後の値はそれぞれ、「１．６２」、「１．８２」、「１．４９」である。
具体的に例えば、解析サーバ１は、眠気が事前に検出されていない場合に、判定の対象となる時分（予測区間の３つ目）の値が所定の閾値（例えば、－２．５）を下まわり、かつ予測区間の値が継続して減少していた場合に対象者の眠気があると判定する。
なお、逆に眠気が既に検出されていた場合には、例えば、解析サーバ１は、直近の測定値（例えば、予測区間の２つ目と３つ目）がともに０以上の場合に、眠気が消失したと判定する。
本実施形態における本システムは、このように時系列的な情報を含み眠気の有無を判定することができるため、対象者の個人差や測定時の状況などによらず眠気の有無を判定することができる点に一つの特徴がある。
なお、図５の例では心拍数を例として説明を行ったが、例えば、ＰＰＧ、ＳＤＮＮ、ＥＡＲなどの各種指標についても、同様の方法により眠気検出を行うことができる。本実施形態では、例えば、心拍数、ＳＤＮＮ、ＥＡＲの各指標に基づいて、算出された数値や眠気検出の結果を総合的に考慮することで、最終的な対象者の眠気の有無を検出することができる。

図６は、図３の機能的構成を有する解析サーバの処理のうち、ｒＰＰＧ取得処理の流れの一例を説明するフローチャートである。
ステップＳ１において、解析サーバ１の対象画像情報取得部６０は、画像処理端末１１から送信されてきた対象者画像情報を、通信部２９を介して取得する。また、対象画像情報取得部６０は、取得した対象者画像情報等を画像ＤＢ３００に格納する。

ステップＳ２において、皮膚検知部１１０は、対象者画像情報のうち対象者の皮膚が露出している領域を抽出する。また、皮膚検知部１１０は、抽出された領域の夫々について、抽出された領域の夫々について、色情報を取得する。

ステップＳ３において、クラスタリング部１１１は、皮膚検知部１１０で抽出された皮膚の領域のそれぞれで取得された色情報に基づいて、自動的に複数のチャネルにクラスタリングを実行し、各クラスタでＰＰＧ信号を取得する。

ステップＳ４において、心拍数推定部１１２は、クラスタリング部１１１のクラスタリングの結果に基づいて、対象者の心拍数を推定する。これにより心拍数推定処理は終了する。

図７は、図３の機能的構成を有する解析サーバの処理のうち、眠気判定処理の流れの一例を説明するフローチャートである。
ステップＳ２１において、心拍数推定部１１２は、クラスタリング部１１１のクラスタリングの結果に基づいて、対象者の心拍数を取得する。

ステップＳ２２において、ＳＤＮＮ取得部１３０は、心拍数推定部１１２で推定された対象者の心拍数に基づいて、ＳＤＮＮを取得する。

ステップＳ２３において、ＥＡＲ取得部１４０は、対象画像情報取得部６０で取得された対象者画像情報などに基づいて、ＥＡＲを取得する。

眠気検出部６２は、ＰＰＧ処理部１００で推定された心拍数、ＳＤＮＮ取得部１３０で取得されたＳＤＮＮおよびＥＡＲ取得部１４０で取得されたＥＡＲなどに基づいて、対象者の眠気の有無について判定する。これにより眠気判定処理を終了する。

以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

また例えば、上述の実施形態では説明を省略したが、本システムは、さらなる精度の向上に向けて、例えば、以下のような工夫を実装することができる。
すなわち本システムは、過去の計測データを収集し、新たな計測値が過去のデータのなかでどこに位置するかを算出し、閾値との関係性から眠気の検出を行うことで、さらなる精度の向上を実現することができる。
以下、本システムにおいて実装可能な工夫について、図８を参照して説明する。
図８に示す通り、本システムは、以下の３つのステップを経ることにより、最終的に、各個人に最適な眠気検出の実現を目指すものである。
すなわち、
（１）被験者（過去の対象者）全体の分布から最適な閾値を検討する。
（２）被験者を複数のカテゴリに分類し各カテゴリの中で最適な閾値を検討する。
（３）各被験者個人の分布から各個人に最適な閾値を設定する。
このようなステップを経ることにより、本システムは最終的に、個人に最適な眠気検出の実現を目指す。

また例えば、上述の実施形態では詳細な説明を省略したが、本システムは、上述の各種利点の他にも、例えば、以下のような利点を有する。
（１）本システムは、皮膚の露出した異なる部位（例えば、おでこ、鼻、右頬、左頬）からＰＰＧ信号を並列的に処理した上で、最も安定的な信号を検出し、その信号に基づいて心拍数などを推定する。
すなわち、本システムは、身体の複数の部位から取得されたＰＰＧ信号から安定的な信号を検出し、心拍数などを推定することができることから、さらに精度の良い推定が可能となる。
この点、従来の眠気検出システムの多くは、顔など特定の部位の撮像が必要であり、（ＰＰＧ信号を利用する場合であっても）並列的な処理を行わないため、本システムとは異なるものである。
（２）また、並列的な処理を行うため、例えば、ＰＰＧ信号を検出中に対象者の予期しない挙動（例えば、目をこする、異なる方向に向き続ける、サングラスをかけるなど）が発生しても、ある程度それらの影響を排除した信号処理を実現することもできる。
（３）さらに言えば、顔表面から信号をうまく取得できない場合、他の部位（手や腕など）の皮膚からＰＰＧ信号を取得するようなバックアップ機能を備えることもできる。
（４）また、上述の並列的な処理を行うことなどから、異なる光源下（天気や太陽の位置による違い）や、例えば、女性がメイクをするなど、従来の眠気検出システムでは心拍数の推定が困難であるような場合であっても、従来の眠気検出システムと比較して、安定した信号の取得、心拍数の推定を実現することができると考えられる。

また例えば、上述の実施形態では説明を省略したが、本システムは、例えば、追加的に以下のような機能を実装することができる。
（１）顔利用選択機能
上述の通り、本システムは、必ずしも対象者の顔を撮像して、眠気の検出を行う必要はない。顔利用選択機能は、対象者の顔を撮像できる場合は顔を撮像し眠気の検出を行うモードと、顔が検出できない場合にはそれ以外の他の部位を自由に撮像し眠気の検出を行うモードを切り替えることができる機能である。
（２）顔検出頻度調節機能
顔検出頻度調節機能は、センサなどを利用することにより頭部の動きを検出し、検出した頭部の動きに応じて顔の検出頻度を調節する機能である。具体的に例えば、頭部の動きが大きい場合には顔の検出頻度を上げ、頭部の動きが少ない場合には顔の検出頻度を下げることができる。
（３）安定継続機能
安定継続機能は、対象者から取得された画像が安定した場合に利用する機能である。この機能は、継続的な眠気検出を行う場合に便利である。一度、対象者が安定したら顔検出の頻度を調整するために頭の動きを検出し続ける。

また例えば、上述の実施形態において、眠気を検出するための指標に、心拍数、ＳＤＮＮ、ＥＡＲの３つを採用するものとして説明したが、特にこれに限定されない。
すなわち、本システムは眠気を算出するために他の異なる指標を採用してもよい。さらに言えば、本実施形態で採用した指標は必ずしも一般的に用いられる各種指標と同一の指標でなくともよく、導出方法や詳細な指標の意味合いに多少の変更や改変を含むものである。

また例えば、上述の実施形態において、ＰＰＧ信号の値を用いて心拍数の推定を行ったが、特にこれに限定されない。すなわち、例えば、他の波長によるＰＰＧ信号やそれらの値の平均値など様々な方法により心拍数を推定してもよい。
また例えば、上述の実施形態において、クラスタリング部１１１は、色情報に基づいてクラスタリングを実行するものとして説明したが、特にこれに限定されない。すなわち、例えば、クラスタリング部１１１は、色に限らず、輝度に関するあらゆる情報に基づいてクラスタリングを実行してもよい。

また例えば、上述の実施形態（特に図５の実施形態）において、眠気検出の具体的な方法について説明したが、上述の眠気検出の方法はあくまでも例示であり、限定されない。
例えば、本システムの提供者などは、異なる閾値や基準を採用し、眠気の有無を検出してもよい。さらに言えば、本システムの提供者などは、上述の標準化した値を採用せず、異なるスコアなどを採用して眠気の有無を検出してもよい。

また例えば、上述の実施形態において、カメラ１３は各種プログラムなどを処理する制御部を含まないものとして説明したが、特にこれに限定されない。
すなわち、カメラ１３は、必要に応じて、図示せぬ制御部や記憶部などを含み構成されてもよい。この場合、例えば、画像処理端末１１で実行された各種処理に全部または一部はカメラ１３で実行されてもよい。

また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３および４の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３および４の例に限定されない。また、機能ブロックの存在場所も、図３および４に特に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

また例えば、本システムを構成する各種ハードウェアの数や使用者は任意であるし、他のハードウェア等を含み構成されてもよい。

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

また例えば、このようなプログラムを含む記録媒体は、プレイヤにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でプレイヤに提供される記録媒体等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上をまとめると、本発明が適用されるプログラムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用され得る情報処理システムは、
対象者の状態の検知に関する情報の取得に利用可能な情報処理システムであって、
前記対象者の皮膚を含む画像に関する情報を取得する画像情報取得手段（例えば、対象画像情報取得部６０）と、
前記画像に含まれる前記対象者の皮膚に関する領域を特定し、当該領域の夫々におおける輝度に関する輝度情報を取得する輝度情報取得手段（例えば、皮膚検知部１１０）と、
前記領域の夫々において取得された前記輝度情報の夫々を、複数のクラスタに分類し、クラスタリングを実行するクラスタリング実行手段（例えば、クラスタリング部１１１）と、
前記クラスタリングの結果に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する心拍数等決定手段（例えば、心拍数推定部１１２）と、
を備えることができる。

さらに、前記画像は、前記対象者の身体の複数の部位を含み、
前記心拍数等決定手段は、前記複数の部位から取得された前記ＰＰＧ信号に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定することができる。

さらに、前記心拍数等決定手段は、前記クラスタリングで分類された各クラスタの特性に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定することができる。

さらに、前記情報処理システムは、
前記対象者の頭部の動きを検知する検知手段と、
前記検知手段で検知された結果に基づいて、前記画像の取得頻度や顔検出頻度を変更する画像取得調整手段をさらに備えることができる。

１ 解析サーバ
２１ 制御部
６０ 対象画像情報取得部
６１ 生体指標取得部
６２ 眠気検出部
１００ ＰＰＧ処理部
１１０ 皮膚検知部
１１１ クラスタリング部
１１２ 心拍数推定部
１３０ ＳＤＮＮ取得部
１４０ ＥＡＲ取得部
３００ 画像ＤＢ
２ 画像生成装置
１１ 画像処理端末
１２ 光源
１３ カメラ
５０ 制御部
１６０ 対象画像情報管理部
１６１ 検出結果管理部

Claims (6)

1. 対象者の状態の検知に関する情報の取得に利用可能な情報処理システムであって、
   前記対象者の皮膚を含む画像に関する情報を取得する画像情報取得手段と、
   前記画像に含まれる前記対象者の皮膚に関する領域を特定し、当該領域の夫々における輝度に関する輝度情報を取得する輝度情報取得手段と、
   前記領域の夫々において取得された前記輝度情報の夫々を、複数のクラスタに分類し、クラスタリングを実行するクラスタリング実行手段と、
   前記クラスタリングの結果に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する心拍数等決定手段と、
   を備える情報処理システム。
2. 前記画像は、前記対象者の身体の複数の部位を含み、
   前記心拍数等決定手段は、前記複数の部位から取得された前記皮膚情報に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する、
   請求項１に記載の情報処理システム。
3. 前記心拍数等決定手段は、前記クラスタリングで分類された各クラスタの特性に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する、
   請求項１に記載の情報処理システム。
4. 前記対象者の頭部の動きを検知する検知手段と、
   前記検知手段で検知された結果に基づいて、前記画像の取得頻度や顔検出頻度を変更する画像取得調整手段をさらに備える、
   請求項１乃至３のうちいずれか１項に記載の情報処理システム。
5. 対象者の状態の検知に関する情報の取得に利用可能なコンピュータが実行する情報処理方法であって、
   前記対象者の皮膚を含む画像に関する情報を取得する画像情報取得ステップと、
   前記画像に含まれる前記対象者の皮膚に関する領域を特定し、当該領域の夫々における輝度に関する輝度情報を取得する輝度情報取得ステップと、
   前記領域の夫々において取得された前記輝度情報の夫々を、複数のクラスタに分類するクラスタリングを実行するクラスタリング実行ステップと、
   前記クラスタリングの結果に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する心拍数等決定ステップと、
   を備える情報処理方法。
6. 対象者の状態の検知に関する情報の取得に利用可能なコンピュータに、
   前記対象者の皮膚を含む画像に関する情報を取得する画像情報取得ステップと、
   前記画像に含まれる前記対象者の皮膚に関する領域を特定し、当該領域の夫々における輝度に関する輝度情報を取得する輝度情報取得ステップと、
   前記領域の夫々において取得された前記輝度情報の夫々を、複数のクラスタに分類するクラスタリングを実行するクラスタリング実行ステップと、
   前記クラスタリングの結果に基づいて、前記対象者の夫々の心拍数または心拍数に関する指標の値を決定する心拍数等決定ステップと、
   を含む処理を実行させるプログラム。

Images