JP2020177303A - 監視システム、移動体、監視方法及びプログラム - Google Patents

Abstract

【課題】誤った判定を生じにくくすることが可能な監視システム、移動体、監視方法及びプログラムを提供する。【解決手段】監視システム１は、顔情報取得部１３と、モデル取得部１５と、判定部１６と、を備える。顔情報取得部１３は、顔情報を取得する。顔情報は、対象者の顔の各部位の状態に関する情報である。モデル取得部１５は、モデル情報を取得する。モデル情報は、複数の特徴点を含み、対象者の少なくとも上半身の姿勢を表す姿勢モデルに関する情報である。判定部１６は、顔情報と、モデル情報と、の両方に基づいて、対象者の意識状態を判定する。【選択図】図１

Description

本開示は、一般に監視システム、移動体、監視方法及びプログラムに関し、より詳細には、対象者の意識状態を監視するための監視システム、移動体、監視方法及びプログラムに関する。

特許文献１には、運転者の脇見又は居眠り等を監視する監視システム（運転者監視装置）が記載されている。この監視システムでは、運転者の顔に輝点パターンを投影し、運転者の顔に投影した輝点パターンを撮像手段にて撮像する。

さらに、撮像して得た画像をデータ処理手段が処理して運転者の顔をサンプリングし、各サンプリング点の３次元位置データを求め、この３次元位置データを処理して運転者の顔の上下、左右、斜めの傾きを求める。そして、顔の傾きによって運転者の状態を判定手段が判定する。

特開平１０−９６０号公報

特許文献１に記載のような監視システムでは、例えば、単に対象者（運転者）が一時的に下を向いている場合でも、対象者が居眠りをしているように誤った判定がなされることがある。

本開示は上記事由に鑑みてなされており、誤った判定を生じにくくすることが可能な監視システム、移動体、監視方法及びプログラムを提供することを目的とする。

本開示の一態様に係る監視システムは、顔情報取得部と、モデル取得部と、判定部と、を備える。前記顔情報取得部は、顔情報を取得する。前記顔情報は、対象者の顔の各部位の状態に関する情報である。前記モデル取得部は、前記モデル情報を取得する。前記モデル情報は、複数の特徴点を含み、前記対象者の少なくとも上半身の姿勢を表す姿勢モデルに関する情報である。前記判定部は、前記顔情報と、前記モデル情報と、の両方に基づいて、前記対象者の意識状態を判定する。

本開示の一態様に係る移動体は、前記監視システムと、前記監視システムが搭載される移動体本体と、を備える。

本開示の一態様に係る監視方法は、第１取得処理と、第２取得処理と、判定処理と、を有する。前記第１取得処理は、顔情報を取得する処理である。前記顔情報は、対象者の顔の各部位の状態に関する情報である。前記第２取得処理は、モデル情報を取得する処理である。前記モデル情報は、複数の特徴点を含み、前記対象者の少なくとも上半身の姿勢を表す姿勢モデルに関する情報である。前記判定処理は、前記顔情報と、前記モデル情報と、の両方に基づいて、前記対象者の意識状態を判定する処理である。

本開示の一態様に係るプログラムは、前記監視方法を、１以上のプロセッサに実行させるためのプログラムである。

本開示によれば、誤った判定を生じにくくすることが可能である、という利点がある。

図１Ａは、実施形態１に係る監視システムの構成を示す概略ブロック図である。図１Ｂは、実施形態１に係る移動体の外観を示す概略斜視図である。 図２は、同上の監視システムで用いる画像を示す説明図である。 図３Ａは、同上の監視システムで用いる画像において対象者の目元を拡大した説明図である。図３Ｂは、同上の監視システムで用いる画像に姿勢モデルを重畳した説明図である。図３Ｃは、同上の監視システムで用いる画像において対象者の顔を拡大した説明図である。 図４は、同上の監視システムの全体動作の一例を示すフローチャートである。 図５は、同上の監視システムによる対象者の意識状態の判定の動作の一例を示すフローチャートである。 図６Ａは、対象者の意識状態が正常である場合の、同上の監視システムの動作例を説明するための説明図である。図６Ｂは、対象者の意識状態が意識喪失である場合の、同上の監視システムの動作例を説明するための説明図である。 図７Ａは、対象者の意識状態が正常である場合の、同上の監視システムの動作例を説明するための説明図である。図７Ｂは、対象者の意識状態が意識喪失である場合の、同上の監視システムの動作例を説明するための説明図である。 図８は、同上の監視システムの補完機能を説明するための説明図である。 図９は、実施形態２に係る監視システムによる対象者の意識状態の判定の動作の一例を示すフローチャートである。

（実施形態１）
（１）概要
まず、本実施形態に係る監視システム１の概要について、図１Ａ〜図３Ｃを参照して説明する。

監視システム１は、対象者Ｈ１（図２参照）の意識状態を監視するためのシステムである。具体的には、監視システム１によれば、対象者Ｈ１の意識の有無（意識喪失／意識清明）等を監視することが可能である。

例えば、自動車等の分野においては、この種の監視システム１は、ドライバモニタリングシステムとして普及し始めている。ドライバモニタリングシステムは、対象者Ｈ１である自動車の運転者（driver）の状態（意識状態を含む）を監視することで運転者の脇見又は居眠り等を検出し、運転者の異常を検出した際には警報を出したり、自動車を制御したりする。本実施形態に係る監視システム１は、一例として、自動車に搭載されることにより、このようなドライバモニタリングシステムとして使用可能である。

本実施形態に係る監視システム１は、図１Ａに示すように、顔情報取得部１３と、モデル取得部１５と、判定部１６と、を備えている。顔情報取得部１３は、顔情報を取得する。顔情報は、対象者Ｈ１の顔Ｆ１（図２参照）の各部位の状態に関する情報である。モデル取得部１５は、モデル情報を取得する。モデル情報は、複数の特徴点Ｐ１〜Ｐ７（図３Ｂ参照）を含み、対象者Ｈ１の少なくとも上半身の姿勢を表す姿勢モデルＭ１（図３Ｂ参照）に関する情報である。判定部１６は、顔情報と、モデル情報と、の両方に基づいて、対象者Ｈ１の意識状態を判定する。

この構成によれば、対象者Ｈ１の顔Ｆ１の各部位の状態に関する顔情報だけでなく、対象者Ｈ１の少なくとも上半身の姿勢を表す姿勢モデルＭ１に関するモデル情報にも基づいて、対象者Ｈ１の意識状態が判定される。そのため、顔情報のみから対象者Ｈ１の意識状態が判定される場合に比較すると、対象者Ｈ１の意識状態を正しく判定しやすくなる。したがって、例えば、単に対象者Ｈ１が一時的に下を向いているような場合に、対象者Ｈ１が居眠りをしているとの誤った判定が生じにくい。結果的に、監視システム１によれば、誤った判定を生じにくくすることが可能である。

（２）詳細
以下、本実施形態に係る監視システム１及び移動体４の詳細について、図１Ａ〜図７Ｂを参照して説明する。

（２．１）前提
本実施形態に係る監視システム１は、図１Ｂに示すように、移動体本体４１に搭載され、移動体本体４１と共に移動体４を構成する。すなわち、本実施形態に係る移動体４は、監視システム１と、移動体本体４１と、を備えている。移動体本体４１には、監視システム１が搭載されている。本実施形態では一例として、移動体４は航空機であって、移動体本体４１は航空機の機体である。ここでは特に、移動体４が旅客を輸送するための民間の旅客機（飛行機）である場合を想定する。

また、本実施形態に係る監視システム１での意識状態の監視対象となる対象者Ｈ１は、航空機からなる移動体４の操縦者（pilot）である。対象者Ｈ１となる移動体４の操縦者は、移動体４の操縦室に乗り込み、航空機からなる移動体４の操縦を行う。本実施形態では一例として、移動体４には、機長及び副操縦士の２名の操縦者が乗っており、監視システム１は、２名の操縦者の各々を対象者Ｈ１として、各対象者Ｈ１の意識状態を監視することと仮定する。ただし、以下では特に断りが無い限り、１名の対象者Ｈ１（ここでは操縦者）に着目して説明することとする。

本開示でいう「意識状態」とは、例えば、対象者Ｈ１の意識水準（意識レベル）又は覚醒度等を意味し、意識喪失（意識消失又は失神を含む）／意識清明の状態に大別される。ここでいう意識水準には、一例として、清明（alert）、傾眠（somnolence）、昏迷（stupor）及び昏睡（coma）等が含まれる。さらに、意識清明とは、意識がある状態であって、まず「覚醒」していること、加えて周囲を「認識」できる状態であり、開眼、言葉及び動作等で外界からの刺激又は情報に「反応」できることも必要である。これに対し、意識喪失は、何らかの形で意識清明でなくなった状態を意味する。本開示においては、つまり意識水準の一時的な低下現象で、かつ必ず覚醒可能な状態である睡眠（居眠りを含む）についても、意識喪失に含まれる。本実施形態では一例として、監視システム１は、対象者Ｈ１の意識状態について、意識清明に相当する「正常」の状態と、「意識喪失」の状態と、の２状態のいずれにあたるかを判定する。

本開示でいう「顔Ｆ１の各部位の状態」は、対象者Ｈ１の顔Ｆ１の各パーツの状態であって、例えば、まぶた、口、眼球（目）、鼻、眉、眉間又は耳等の状態である。例えば、「まぶた」の状態であれば、上まぶたＦ１１及び下まぶたＦ１２間の距離であるまぶた間距離Ｄ１（図３Ａ参照）、まぶたの形状、並びに、まぶた間距離Ｄ１から推定される「まばたき」の有無、及び閉眼／開眼の区別等を含む。「口」の状態であれば、口角の位置、唇の形状、閉口／開口の区別、口から泡を吹いているか否か、及び吐血の有無等を含む。「眼球」の状態であれば、眼球の動き（視線の動き）、白目をむいているか否か及び瞳孔の開き具合等を含む。本実施形態では一例として、顔情報が表す顔Ｆ１の各部位の状態は、少なくとも対象者Ｈ１の「まぶた」の状態を含んでいる。

本開示でいう「姿勢モデル」は、対象者Ｈ１の少なくとも上半身の姿勢を表すモデルデータからなり、少なくとも複数の特徴点Ｐ１〜Ｐ７を含んでいる。本実施形態では一例として、姿勢モデルＭ１は、複数の特徴点Ｐ１〜Ｐ７間を、直線でつないだ骨格線モデルある。

本開示でいう「特徴点」は、人体の各部位に相当する点であって、例えば、顔Ｆ１の中心、左右一対の鎖骨の中心、肩又は肘等に対応付けられる。本実施形態では一例として、姿勢モデルＭ１は、図３Ｂに示すように、対象者Ｈ１の上半身（へそから頭頂部までの間）に設定された７つの部位にそれぞれ対応する、７つの特徴点Ｐ１〜Ｐ７を含んでいる。特徴点Ｐ１は顔Ｆ１の中心、特徴点Ｐ２は左右一対の鎖骨の中心、特徴点Ｐ３は右肩、特徴点Ｐ４は右肘、特徴点Ｐ５は左肩、特徴点Ｐ６は左肘、特徴点Ｐ７はへそ、にそれぞれ相当する。これら７つの特徴点Ｐ１〜Ｐ７のうち、Ｐ１−Ｐ２間、Ｐ３−Ｐ４間、Ｐ５−Ｐ６間、Ｐ２−Ｐ３間、Ｐ３−Ｐ５間、及びＰ２−Ｐ７間が直線でつながることにより、姿勢モデルＭ１が構成されている。

本実施形態では一例として、このような姿勢モデルＭ１に関するモデル情報は、撮像装置２（図１Ａ参照）で撮影される画像Ｉｍ１（図２参照）から抽出される。本開示でいう「画像」は、動画（動画像）及び静止画（静止画像）を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。本実施形態では一例として、画像Ｉｍ１は時間経過に伴って変化する画像（つまり動画）である。

（２．２）構成
次に、本実施形態に係る監視システム１及び移動体４の構成について説明する。

監視システム１には、図１Ａに示すように、撮像装置２及び制御システム３が接続される。撮像装置２及び制御システム３は、監視システム１と共に、移動体４の移動体本体４１に搭載されている。つまり、本実施形態に係る移動体４は、監視システム１及び移動体本体４１に加えて、撮像装置２及び制御システム３を更に備えている。

本実施形態では、撮像装置２及び制御システム３は、監視システム１の構成要素には含まれないこととするが、撮像装置２及び制御システム３の少なくとも一方は、監視システム１の構成要素に含まれてもよい。

本実施形態においては、顔情報とモデル情報とは、いずれも画像Ｉｍ１から抽出される。すなわち、監視システム１での対象者Ｈ１の意識状態の判定には、顔情報とモデル情報とが用いられるが、これら顔情報及びモデル情報は、いずれも撮像装置２で撮影される画像Ｉｍ１から抽出される。言い換えれば、判定部１６での意識状態の判定に用いられる顔情報は画像Ｉｍ１から抽出され、判定部１６での意識状態の判定に用いられるモデル情報についても画像Ｉｍ１から抽出される。

さらに、本実施形態では、判定部１６が判定に用いる情報は、画像Ｉｍ１のみから抽出される。すなわち、上述したように、判定部１６での意識状態の判定に用いられる顔情報及びモデル情報は、いずれも画像Ｉｍ１から抽出される情報である。さらに、詳しくは後述するが、本実施形態に係る監視システム１では、判定部１６での意識状態の判定には、顔情報及びモデル情報に加えて、顔位置情報が用いられる。そして、この顔位置情報についても、顔情報及びモデル情報と同様に画像Ｉｍ１から抽出される。そのため、監視システム１では、例えば、心拍数、体温及び姿勢等の情報を検知するための生体センサ、又は、対象者Ｈ１の動きを検出するための加速度センサ若しくは角速度センサ等を用いることなく、対象者Ｈ１の意識状態の判定が可能である。

撮像装置２は、モデル情報等を抽出するための画像Ｉｍ１を撮影する装置であって、カメラを含んでいる。本実施形態では、撮像装置２は、その画角内に少なくとも対象者Ｈ１の上半身（頭部を含む）が含まれるように設置されている。本実施形態では、対象者Ｈ１は移動体４（航空機）の操縦者であるので、撮像装置２のカメラは、移動体４の操縦室において対象者Ｈ１（操縦者）を前方から撮影可能なように、対象者Ｈ１の前方に設置されている。さらに、２名の操縦者の各々が対象者Ｈ１であるので、１名の対象者Ｈ１につき１台のカメラが設置されることが好ましい。

本実施形態では、撮像装置２は、対象者Ｈ１（操縦者）による操縦の邪魔にならず、かつ暗所でも撮影可能なように、例えば、赤外線カメラのような暗視カメラを含んでいる。より詳細には、一例として、撮像装置２で撮影される画像Ｉｍ１は、モーションＪＰＥＧ（Motion JPEG）等の時系列に沿った複数の静止画にて構成される、３０ｆｐｓの動画である。撮像装置２で撮像された画像Ｉｍ１は、例えば、リアルタイムで又はバッファ等を介して、監視システム１に出力される。

制御システム３は、監視システム１からの出力信号を受けて動作するシステムである。監視システム１からの出力信号には、少なくとも対象者Ｈ１の意識状態の判定結果（正常／意識喪失）が含まれている。そのため、制御システム３は、対象者Ｈ１の意識状態の判定結果に応じて動作可能である。

本実施形態では、制御システム３は、対象者Ｈ１の意識状態の判定結果に応じて、適宜、通報を行う。一例として、操縦者である対象者Ｈ１の意識状態の判定結果が「意識喪失」であれば、制御システム３は、他の乗務員（他の操縦者又は客室乗務員等）と、管制塔との少なくとも一方に対して、異常を知らせる通報を行う。さらに、制御システム３は、対象者Ｈ１の意識状態の判定結果に応じて、移動体４に搭載されている監視システム１以外の設備システム（表示システム等）を制御してもよいし、移動体本体４１の操縦を自動操縦に切り替える等、移動体本体４１を制御してもよい。

本実施形態では、監視システム１は、図１Ａに示すように、顔情報取得部１３、モデル取得部１５及び判定部１６に加えて、入力部１１、抽出部１２、顔位置取得部１４及び出力部１７を更に備えている。すなわち、本実施形態に係る監視システム１は、入力部１１と、抽出部１２と、顔情報取得部１３と、顔位置取得部１４と、モデル取得部１５と、判定部１６と、出力部１７と、を備えている。

本実施形態では一例として、監視システム１は、１以上のプロセッサ及び１以上のメモリを有するコンピュータシステム（サーバ、クラウドコンピューティングを含む）を主構成とする。プロセッサは、メモリに記録されているプログラムを実行することにより、監視システム１の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、１以上のプロセッサを、監視システム１として機能させるためのプログラムである。

入力部１１は、撮像装置２に接続されている。入力部１１には、撮像装置２で撮影された画像Ｉｍ１が入力される。本実施形態では、入力部１１は、リアルタイムで、撮像装置２から通信により、動画（動画像）からなる画像Ｉｍ１を取得する。ここで、入力部１１に入力される画像Ｉｍ１は、撮像装置２から出力されたデータそのものでなくてもよい。例えば、入力部１１に入力される画像Ｉｍ１は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。

抽出部１２は、入力部１１に入力された画像Ｉｍ１から、対象者Ｈ１の意識状態の判定に必要な種々の情報を抽出する。抽出部１２は、画像Ｉｍ１について画像処理を適宜行うことで、これら種々の情報を抽出する。本実施形態では、上述したように、判定部１６での意識状態の判定には、顔情報、モデル情報及び顔位置情報が用いられる。そのため、抽出部１２は、これら顔情報、モデル情報及び顔位置情報を画像Ｉｍ１から抽出する。顔情報は、対象者Ｈ１の顔Ｆ１の各部位の状態に関する情報である。モデル情報は、対象者Ｈ１の少なくとも上半身の姿勢を表す姿勢モデルＭ１に関する情報である。また、顔位置情報は、対象者Ｈ１の顔Ｆ１の位置と向きとの少なくとも一方に関する情報である。すなわち、抽出部１２は、例えば、図２に示すように、画像Ｉｍ１内に、対象者Ｈ１の顔Ｆ１が含まれる顔領域Ｒ１を設定し、顔領域Ｒ１から、少なくとも顔情報及び顔位置情報を抽出する。

抽出部１２は、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、又は畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等を用いて、対象者Ｈ１の意識状態の判定に必要な種々の情報を抽出してもよい。

顔情報取得部１３は、対象者Ｈ１の顔Ｆ１の各部位の状態に関する顔情報を取得する。顔情報は、判定部１６での意識状態の判定に用いられる。本実施形態では、顔情報は、抽出部１２にて画像Ｉｍ１から抽出されるので、顔情報取得部１３は、抽出部１２で抽出された顔情報を抽出部１２から取得する。

上述した通り、本実施形態では一例として、顔情報が表す顔Ｆ１の各部位の状態は、少なくとも対象者Ｈ１の「まぶた」の状態を含んでいる。すなわち、顔情報は、対象者Ｈ１のまぶたの状態に関する情報を含んでいる。そのため、顔情報取得部１３が取得する顔情報は、図３Ａに示すように、上まぶたＦ１１と、下まぶたＦ１２と、の間の距離である、まぶた間距離Ｄ１を含んでいる。一例として、まぶた間距離Ｄ１が所定距離以下である状態が一定時間継続すると、対象者Ｈ１の状態が「閉眼」にあることが推定される。

顔位置取得部１４は、対象者Ｈ１の顔Ｆ１の位置と向きとの少なくとも一方に関する顔位置情報を取得する。顔位置情報は、判定部１６での意識状態の判定に用いられる。本実施形態では、顔位置情報は、抽出部１２にて画像Ｉｍ１から抽出されるので、顔位置取得部１４は、抽出部１２で抽出された顔位置情報を抽出部１２から取得する。ここで、本実施形態では一例として、顔位置情報は、図３Ｃに示すように、対象者Ｈ１の顔Ｆ１の中心から、顔Ｆ１が向けられている方向に延びるベクトルＡ１で表される情報を含んでいる。つまり、顔位置情報は、対象者Ｈ１の顔Ｆ１の中心の位置の情報と、顔Ｆ１の向きの情報と、の両方を含んでいる。図３Ｃの例では、対象者Ｈ１の顔Ｆ１は撮像装置２のカメラの方向に向いているため、顔位置情報に含まれるベクトルＡ１は、顔Ｆ１の中心から真正面に向けて延びる矢印となる。

モデル取得部１５は、複数の特徴点Ｐ１〜Ｐ７を含み、対象者Ｈ１の少なくとも上半身の姿勢を表す姿勢モデルＭ１に関するモデル情報を取得する。モデル情報は、判定部１６での意識状態の判定に用いられる。本実施形態では、モデル情報は、抽出部１２にて画像Ｉｍ１から抽出されるので、モデル取得部１５は、抽出部１２で抽出されたモデル情報を抽出部１２から取得する。上述した通り、本実施形態では一例として、姿勢モデルＭ１は、対象者Ｈ１の上半身に設定された７つの部位にそれぞれ対応する、７つの特徴点Ｐ１〜Ｐ７を含んでいる。そのため、モデル取得部１５が取得するモデル情報は、図３Ｂに示すように、画像Ｉｍ１における対象者Ｈ１の上半身に重ねて生成される姿勢モデルＭ１に関する情報である。

ここで、姿勢モデルＭ１における特徴点Ｐ３−Ｐ４をつなぐ直線、及び特徴点Ｐ５−Ｐ６をつなぐ直線についての、鉛直線に対する角度θ１，θ２（図３Ｂ参照）は、対象者Ｈ１の腕（上腕部）の角度に相当する。さらに、姿勢モデルＭ１における特徴点Ｐ２−Ｐ７をつなぐ直線についての、鉛直線に対する角度θ３（図６Ｂ及び図７Ｂ参照）は、対象者Ｈ１の上半身の傾斜角度に相当する。本実施形態では、このような対象者Ｈ１の腕（上腕部）の角度θ１，θ２の情報、及び対象者Ｈ１の上半身の角度θ３の情報も、モデル取得部１５が取得するモデル情報に含まれる。

ここにおいて、本実施形態では、判定部１６での意識状態の判定に用いられる顔情報、モデル情報及び顔位置情報は、同一の画像Ｉｍ１から、抽出部１２にて抽出される。つまり、１つの画像Ｉｍ１から、顔情報、モデル情報及び顔位置情報が抽出可能であるため、顔情報、モデル情報及び顔位置情報の各々を抽出するために、複数のカメラを設置する必要が無い。よって、本実施形態では、少なくとも顔情報取得部１３及びモデル取得部１５は、同一の画像Ｉｍ１から顔情報及びモデル情報を取得することになる。

図３Ａ〜図３Ｃ等においては、画像Ｉｍ１の具体例を示しているが、顔領域Ｒ１、姿勢モデルＭ１、ベクトルＡ１及び参照符号は説明のために表記しているに過ぎず、これらが実際に画像Ｉｍ１に含まれている訳ではない。

判定部１６は、対象者Ｈ１の意識状態を判定する機能を有する。判定部１６は、少なくとも顔情報及びモデル情報の両方に基づいて、対象者Ｈ１の意識状態を判定する。本実施形態では、判定部１６は、基本的には、顔情報、モデル情報及び顔位置情報に基づいて、対象者Ｈ１の意識状態を判定する。本実施形態では一例として、判定部１６は、対象者Ｈ１の意識状態について、意識清明に相当する「正常」の状態と、「意識喪失」の状態と、の２状態のいずれにあたるかを判定する。

ここで、判定部１６は、顔情報、モデル情報及び顔位置情報の各々を所定の判定時間にわたって蓄積し、蓄積されたこれらの情報を統合して、対象者Ｈ１の意識状態を判定（推定）する。一例として、判定時間が５分であるとすれば、判定部１６は、判定時間に当たる５分間は、顔情報、モデル情報及び顔位置情報の各々を蓄積するだけで、判定までは行わない。そして、判定時間に当たる５分が経過した時点で、蓄積されている顔情報、モデル情報及び顔位置情報を統合し、対象者Ｈ１の意識状態を判定（推定）する。そのため、例えば、判定時間内に、一時的に、意識喪失に当たると判定し得る状況が生じたとしても、判定時間全体を通して、正常（意識清明）と判定される場合には、判定部１６は正常（意識清明）と判定することができる。反対に、判定時間内に、一時的に、意識清明に当たると判定し得る状況が生じたとしても、判定時間全体を通して、意識喪失と判定される場合には、判定部１６は意識喪失と判定することができる。

また、詳しくは「（２．３．２）判定動作」の欄で説明するが、判定部１６は、顔情報、モデル情報及び顔位置情報の各々の信頼度を加味して、対象者Ｈ１の意識状態を判定する際の、顔情報、モデル情報及び顔位置情報の優先度又は重み付けを変更可能である。つまり、本実施形態では、判定部１６は、対象者Ｈ１の意識状態を判定するに際して、顔情報、モデル情報及び顔位置情報の全てを常に用いるのではなく、顔情報、モデル情報及び顔位置情報の優先度又は重み付けを適宜変更する。その結果、判定部１６は、例えば、顔情報、モデル情報及び顔位置情報のうちの顔情報のみに基づいて、対象者Ｈ１の意識状態を判定することもある。

判定部１６は、例えば、深層学習（Deep Learning）等の機械学習により学習する機能を有していることが好ましい。この場合、判定部１６は、顔情報、モデル情報及び顔位置情報が学習済みの分類器に入力されることで、対象者Ｈ１の意識状態を判定する。

出力部１７は、判定部１６の判定結果を受けて、制御システム３に対して出力信号を出力する。出力部１７は、少なくとも対象者Ｈ１の意識状態の判定結果（正常／意識喪失）を出力信号に含めて、通信により制御システム３に出力信号を送信する。出力部１７は、少なくとも判定結果が意識喪失である場合には、即座に制御システム３に出力信号を出力することが好ましい。一方、判定結果が正常（意識清明）である場合には、出力部１７は、制御システム３に出力信号を即座に出力しなくてもよい。

さらに、出力部１７は、対象者Ｈ１の意識状態（正常／意識喪失）という判定部１６の判定結果に加えて、この判定結果の確率（確からしさ）を出力してもよい。例えば、判定部１６が７０％の確率で「意識喪失」と判定した場合に、出力部１７は、「意識喪失」という判定結果に加えて、この判定結果の確率が「７０％」であることを出力する。

（２．３）動作
次に、本実施形態に係る監視システム１の動作、つまり本実施形態に係る監視方法について説明する。

以下では、航空機からなる移動体４が離陸した後、着陸を開始するまでの間の期間を監視期間とし、この監視期間に、監視システム１が対象者Ｈ１（操縦者）の意識状態の監視を行うことと仮定する。特に、ここでは移動体４が離陸してから着陸を開始するまでの間は、移動体本体４１が自動操縦（autopilot）により巡航していることを前提とする。つまり、監視システム１は、移動体４が自動操縦により巡航している監視期間中において、移動体４の操縦者である対象者Ｈ１の意識状態を監視する。

さらに、判定部１６が対象者Ｈ１の意識状態を判定する周期となる判定時間は、ここでは５分であることと仮定する。つまり、判定部１６は、顔情報、モデル情報及び顔位置情報の各々を５分の判定時間にわたって蓄積し、判定時間に当たる５分が経過する度に、蓄積されたこれらの情報を統合して、対象者Ｈ１の意識状態を判定する。

（２．３．１）全体動作
図４は、監視期間における監視システム１の全体動作、つまり監視方法の全体的な流れの一例を示すフローチャートである。

すなわち、監視システム１は、監視期間が開始すると、まずは撮像装置２で撮影された画像Ｉｍ１を、入力部１１にて撮像装置２から取得する（Ｓ１）。画像Ｉｍ１を取得すると、監視システム１は、取得した画像Ｉｍ１から、抽出部１２にて、顔情報、モデル情報及び顔位置情報の抽出を行う。

そして、監視システム１は、顔情報取得部１３にて顔情報を取得し（Ｓ２）、顔位置取得部１４にて顔位置情報を取得し（Ｓ３）、モデル取得部１５にてモデル情報を取得する（Ｓ４）。その後、監視システム１は、判定時間（ここでは５分）が経過したか否かを判断する（Ｓ５）。判定時間が経過していなければ、処理Ｓ１に戻って、画像Ｉｍ１の取得以降の処理を繰り返す。

一方、判定時間が経過すると、監視システム１は、判定部１６にて、対象者Ｈ１の意識状態を判定する判定処理を実行する（Ｓ６）。この判定処理Ｓ６では、判定部１６は、少なくとも、顔情報と、モデル情報と、の両方に基づいて、対象者Ｈ１の意識状態を判定可能である。判定処理Ｓ６について詳しくは、「（２．３．２）判定動作」の欄で説明する。

判定処理Ｓ６が終了すると、監視システム１は、少なくとも対象者Ｈ１の意識状態の判定結果（正常／意識喪失）を含む出力信号を、出力部１７にて制御システム３に出力する（Ｓ７）。これにより、例えば、判定処理Ｓ６での判定結果が「意識喪失」であれば、制御システム３は、他の乗務員（他の操縦者又は客室乗務員等）と、管制塔との少なくとも一方に対して、異常を知らせる通報を行う。

監視システム１は、監視期間にわたって、上述したような処理Ｓ１〜Ｓ７を繰り返し実行する。図４のフローチャートは、監視システム１の全体動作の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。例えば、処理Ｓ２〜Ｓ４の順番が変更され、モデル取得部１５にてモデル情報を取得した後（Ｓ４）、顔位置取得部１４にて顔位置情報を取得し（Ｓ３）、その後に顔情報取得部１３にて顔情報を取得してもよい（Ｓ２）。

（２．３．２）判定動作
以下、監視システム１による対象者Ｈ１の意識状態の判定の動作、つまり図４における判定処理Ｓ６について、詳しく説明する。

図５は、判定処理（図４のＳ６）における判定部１６の動作の一例を示すフローチャートである。図５のフローチャートにおいて、判定部１６が、対象者Ｈ１の意識状態の判定にモデル情報を用いる処理（Ｓ１６，Ｓ１７）には網掛けを付している。言い換えれば、図５において、網掛けが付されていない処理は、対象者Ｈ１の意識状態の判定にモデル情報が用いられない処理である。

判定部１６は、判定処理が開始すると、まずは対象者Ｈ１の「まぶた」を検出できたか否かを判断する（Ｓ１１）。例えば、まぶた（上まぶたＦ１１、下まぶた位Ｆ１２）が画像Ｉｍ１から鮮明に認識可能であれば、まぶたを検出できたと判断し（Ｓ１１：Ｙｅｓ）、まぶたが画像Ｉｍ１において鮮明に認識できなければ、まぶたを検出できないと判断する（Ｓ１１：Ｎｏ）。まぶたの検出の可否は、例えば、顔情報取得部１３が取得する顔情報に含まれている。

まぶたが検出された場合（Ｓ１１：Ｙｅｓ）、判定部１６は、まばたきの有無、及び閉眼の有無を判断する（Ｓ１２）。まばたきの有無、及び閉眼の有無については、顔情報取得部１３が取得する顔情報に基づいて判断される。例えば、対象者Ｈ１が所定時間（一例として１分）にわたって「まばたき」をしていない場合、「まばたき」なしと判断し、まぶた間距離Ｄ１が所定距離以下である状態が一定時間（一例として１分）継続している場合、閉眼と判断する（Ｓ１２：Ｙｅｓ）。一方、「まばたき」ありと判断され、かつ開眼と判断される場合には、処理Ｓ１２は「Ｎｏ」と判断される。

そして、「まばたき」なし、又は閉眼と判断されると（Ｓ１２：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ１８）。一方、「まばたき」ありと判断され、かつ開眼と判断されると（Ｓ１２：Ｎｏ）、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ１９）。

ここで、まばたきの有無、及び閉眼の有無の判断結果から意識状態を判定する場合（Ｓ１２）においては、判定部１６は、顔情報のみから、対象者Ｈ１の意識状態を判定することになる。つまり、判定部１６は、顔情報だけでなく、モデル情報、更には顔位置情報に基づいても、対象者Ｈ１の意識状態を判定可能であるところ、本実施形態ではデフォルトとして、顔情報の優先度を最も高くしている。そのため、顔情報の信頼度が閾値以上である場合には、対象者Ｈ１の意識状態の判定には顔情報が優先的に用いられ、判定部１６は、顔情報のみから、対象者Ｈ１の意識状態を判定することが可能である。顔情報に基づく判定の信頼度は、対象者Ｈ１の「まぶた」を検出できたか否か（Ｓ１１）によって推定され、まぶたが検出された場合（Ｓ１１：Ｙｅｓ）には、顔情報に基づく判定の信頼度は閾値以上であると推定する。

これに対して、まぶたが検出されない場合（Ｓ１１：Ｎｏ）、つまり、顔情報に基づく判定の信頼度は閾値未満である場合、判定部１６は、対象者Ｈ１の顔Ｆ１の向きが硬直しているか否かを判断する（Ｓ１３）。顔Ｆ１の向きの硬直については、顔位置取得部１４が取得する顔位置情報に基づいて判断される。例えば、顔Ｆ１の向きの変化量の一定時間（一例として１分）の積分値が所定値未満であれば、顔Ｆ１の向きの硬直ありと判断し（Ｓ１３：Ｙｅｓ）、上記積分値が所定値以上であれば、顔Ｆ１の向きの硬直なしと判断する（Ｓ１３：Ｎｏ）。

そして、顔Ｆ１の向きの硬直ありと判断されると（Ｓ１３：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ１８）。ここで、顔Ｆ１の向きの硬直の有無の判断結果から意識状態を判定する場合（Ｓ１３）においては、判定部１６は、顔位置情報から、対象者Ｈ１の意識状態を判定することになる。つまり、本実施形態ではデフォルトとして、顔情報の優先度が最も高く、その次に顔位置情報の優先度が高く設定されている。そのため、まぶたが検出されず（Ｓ１１：Ｎｏ）、顔情報に基づく判定の信頼度が閾値未満の場合には、対象者Ｈ１の意識状態の判定には顔位置情報が優先的に用いられ、判定部１６は、顔位置情報に基づいて、対象者Ｈ１の意識状態を判定することが可能である。

一方で、顔Ｆ１の向きの硬直なしと判断されると（Ｓ１３：Ｎｏ）、判定部１６は、対象者Ｈ１の顔Ｆ１の位置を検出できたか否かを判断する（Ｓ１４）。例えば、対象者Ｈ１の顔Ｆ１が画像Ｉｍ１から鮮明に認識可能であれば、顔Ｆ１の位置を検出できたと判断し（Ｓ１４：Ｙｅｓ）、顔Ｆ１が画像Ｉｍ１において鮮明に認識できなければ、顔Ｆ１の位置を検出できないと判断する（Ｓ１４：Ｎｏ）。顔Ｆ１の位置の検出の可否は、例えば、顔位置取得部１４が取得する顔位置情報に含まれている。

顔Ｆ１の位置を検出できた場合（Ｓ１４：Ｙｅｓ）、判定部１６は、顔位置情報に含まれる顔Ｆ１の位置と、モデル情報に含まれる顔Ｆ１の位置と、の間に相関があるか否かを判断する（Ｓ１５）。例えば、顔位置情報に含まれる顔Ｆ１の中心位置と、姿勢モデルＭ１に含まれる特徴点Ｐ１の位置と、の間隔が所定値未満であれば、両者間に相関があると判断し（Ｓ１５：Ｙｅｓ）、上記間隔が所定値以上であれば、両者間に相関がないと判断する（Ｓ１５：Ｎｏ）。

そして、２つの顔位置の間に相関があると判断されると（Ｓ１５：Ｙｅｓ）、判定部１６は、対象者Ｈ１の身体（上半身）が硬直しているか否かを判断する（Ｓ１６）。身体の硬直については、モデル取得部１５が取得するモデル情報に基づいて判断される。例えば、姿勢モデルＭ１における複数の特徴点Ｐ１〜Ｐ７の位置、及び／又は対象者Ｈ１の腕（上腕部）の角度θ１，θ２の変化量の一定時間（一例として１分）の積分値が所定値未満であれば、身体の硬直ありと判断する（Ｓ１６：Ｙｅｓ）。一方、上記積分値が所定値以上であれば、身体の硬直なしと判断する（Ｓ１６：Ｎｏ）。

身体の硬直ありと判断されると（Ｓ１６：Ｙｅｓ）、判定部１６は、対象者Ｈ１の上半身の傾倒の有無を判断する（Ｓ１７）。上半身の傾倒については、モデル取得部１５が取得するモデル情報のうち、姿勢モデルＭ１における特徴点Ｐ２−Ｐ７をつなぐ直線についての、鉛直線に対する角度θ３に基づいて判断される。例えば、角度θ３が基準角度未満であれば、対象者Ｈ１の上半身の傾倒なしと判断し（Ｓ１７：Ｎｏ）、角度θ３が基準角度以上であれば、対象者Ｈ１の上半身の傾倒ありと判断する（Ｓ１７：Ｙｅｓ）。

そして、対象者Ｈ１の身体の硬直ありと判断され（Ｓ１６：Ｙｅｓ）、かつ対象者Ｈ１の上半身の傾倒ありと判断されると（Ｓ１７：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ１８）。一方、対象者Ｈ１の身体の硬直なし（Ｓ１６：Ｎｏ）、又は対象者Ｈ１の上半身の傾倒なしと判断されると（Ｓ１７：Ｎｏ）、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ１９）。

ここで、身体の硬直の有無、及び上半身の傾倒の有無の判断結果から意識状態を判定する場合（Ｓ１６，Ｓ１７）においては、判定部１６は、モデル情報から、対象者Ｈ１の意識状態を判定することになる。つまり、本実施形態ではデフォルトとして、顔情報の優先度が最も高く、その次に顔位置情報の優先度が高く、そしてモデル情報の優先度が最も低く設定されている。そのため、顔情報及び顔位置情報からでは、対象者Ｈ１の意識状態の判定ができず、かつモデル情報の信頼度が閾値以上である場合には、対象者Ｈ１の意識状態の判定にはモデル情報が用いられ、判定部１６は、モデル情報から、対象者Ｈ１の意識状態を判定する。モデル情報に基づく判定の信頼度は、顔位置情報に含まれる顔Ｆ１の位置と、モデル情報に含まれる顔Ｆ１の位置と、の間に相関があるか否か（Ｓ１５）によって推定される。両者間に相関がある場合（Ｓ１５：Ｙｅｓ）には、モデル情報に基づく判定の信頼度は閾値以上であると推定する。

一方、顔Ｆ１の位置を検出できない場合（Ｓ１４：Ｎｏ）、又は顔位置に相関がない場合（Ｓ１５：Ｎｏ）には、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ１９）。これらの場合においては、判定部１６は、モデル情報を用いずに、対象者Ｈ１の意識状態を判定することになる。つまり、顔位置を検出できない場合（Ｓ１４：Ｎｏ）、又は顔位置に相関がない場合（Ｓ１５：Ｎｏ）には、モデル情報に基づく判定の信頼度は閾値未満である判断して、判定部１６は、モデル情報を用いずに、対象者Ｈ１の意識状態を判定する。

監視システム１は、判定処理においては、上述したような処理Ｓ１１〜Ｓ１９を実行する。図５のフローチャートは、判定処理の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。

以上説明したように、本実施形態では、判定部１６は、対象者Ｈ１の意識状態の判定に際して、顔情報、モデル情報及び顔位置情報の各々の信頼度を加味して、顔情報、モデル情報及び顔位置情報の優先度又は重み付けを変更可能である。図５の例では、優先度が高い順から、顔情報、顔位置情報、モデル情報となるように、顔情報、モデル情報及び顔位置情報の優先度がデフォルトで規定されている。そして、顔情報に基づく判定の信頼度が低い場合には、顔情報に代えて顔位置情報が優先的に用いられるといったように、個々の信頼度を加味して、顔情報、モデル情報及び顔位置情報の優先度又は重み付けが変更される。

特に、本実施形態では、判定部１６は、顔情報に基づく判定の信頼度が閾値以上であれば、顔情報に基づき意識状態を判定し、顔情報に基づく判定の信頼度が閾値未満であれば、モデル情報に基づき意識状態を判定する。このように、デフォルトでは顔情報の優先度をモデル情報よりも高くしつつ、顔情報に基づく判定の信頼度が不十分である場合に限り、判定部１６は、顔情報以外の情報（モデル情報）に基づいて、対象者Ｈ１の意識状態の判定を行う。その結果、比較的に信頼性の高い顔情報を用いた判定が優先的に行われることとなり、監視システム１における対象者Ｈ１の意識状態の判定の信頼性が高くなる。

また、本実施形態では、上述したように、判定部１６は、顔位置情報に含まれる顔Ｆ１の位置と、モデル情報に含まれる顔Ｆ１の位置と、の相関関係に基づいて、判定のアルゴリズムを変える。つまり、判定部１６は、両者の間に相関があれば（Ｓ１５：Ｙｅｓ）、モデル情報に基づいて、対象者Ｈ１の意識状態を判定し（Ｓ１６，Ｓ１７）、両者の間に相関がなければ（Ｓ１５：Ｎｏ）、対象者Ｈ１の意識状態にモデル情報を用いない。要するに、両者間に相関がある場合（Ｓ１５：Ｙｅｓ）には、モデル情報の信頼度は十分に高いと推定し、モデル情報を用いるように、判定部１６での判定のアルゴリズムが変化する。

さらに、判定部１６は、モデル情報における対象者Ｈ１の上半身の硬直度合いと、対象者Ｈ１の上半身の姿勢と、の少なくとも一方に基づいて、意識状態を判定する。要するに、モデル情報に基づいて対象者Ｈ１の意識状態を判定する場合においては、判定部１６は、身体の硬直の有無、及び上半身の傾倒の有無の両方に基づいて意識状態を判定する（Ｓ１６，Ｓ１７）。ここで、身体の硬直の有無（Ｓ１６）が、対象者Ｈ１の上半身の硬直度合いに相当し、上半身の傾倒の有無（Ｓ１７）が、対象者Ｈ１の上半身の姿勢に相当する。このように、本実施形態では、モデル情報における対象者Ｈ１の上半身の硬直度合いと、対象者Ｈ１の上半身の姿勢と、の両方を、対象者Ｈ１の意識状態の判定に用いている。

また、図５のフローチャートでは、処理Ｓ１２において、判定部１６は、まばたきの有無、及び閉眼の有無をまとめて判断しているが、この例に限らず、まばたきの有無、及び閉眼の有無を個別に判断してもよい。このとき、判定部１６は、対象者Ｈ１のまばたきが検出されない場合と、対象者Ｈ１の閉眼が検出された場合とで、判定のアルゴリズムを変えてもよい。

一例として、まばたきが検出されない場合、閉眼が検出された場合のいずれの場合でも、判定部１６は、即座に意識喪失の状態と判定するのではなく、顔情報以外の情報、つまり顔位置情報又はモデル情報に基づいて、対象者Ｈ１の意識状態を判定する。そして、判定部１６は、まばたきが検出されない場合には、対象者Ｈ１の意識状態の判定に顔位置情報を優先的に用い、閉眼が検出された場合には、対象者Ｈ１の意識状態の判定にモデル情報を優先的に用いる。このように、判定部１６は、まばたきが検出されない場合と、閉眼が検出された場合とで、その後の、対象者Ｈ１の意識状態を判定に用いる情報（顔情報、顔位置情報及びモデル情報）の優先度を変化させることができる。また、判定部１６は、まばたきが検出されない場合と、閉眼が検出された場合とで、その後の、対象者Ｈ１の意識状態を判定に用いる情報（顔情報、顔位置情報及びモデル情報）の、信頼度、又は判定時間を変化させてもよい。

（２．３．３）具体例
次に、監視システム１による対象者Ｈ１の意識状態の判定の具体例について、図６Ａ〜図７Ｂを参照して説明する。

図６Ａ及び図６Ｂは、対象者Ｈ１が一時的に下を向いている場合において、監視システム１による対象者Ｈ１の意識状態の判定を行う例を示す。図６Ａは、対象者Ｈ１の意識状態が正常（意識清明）なケースを示し、図６Ｂは、対象者Ｈ１の意識状態が意識喪失であるケースを示す。

図６Ａ及び図６Ｂにおいては、いずれも対象者Ｈ１が下を向いているために、対象者Ｈ１のまぶたが検出されず（図５のＳ１１：Ｎｏ）、かつ顔Ｆ１の向きの硬直なしと判断される（Ｓ１３：Ｎｏ）ことと仮定する。さらに、いずれも顔Ｆ１の位置が検出され（Ｓ１４：Ｙｅｓ）、かつ顔位置情報に含まれる顔Ｆ１の位置と、モデル情報に含まれる顔Ｆ１の位置と、の間に相関があるため（Ｓ１５：Ｙｅｓ）、判定部１６は、モデル情報に基づいて対象者Ｈ１の意識状態を判定する。

ここで、図６Ａの例においては、対象者Ｈ１の腕（上腕部）の角度θ１，θ２の変化量の一定時間の積分値が所定値以上であることで、判定部１６は、対象者Ｈ１の身体の硬直なしと判断する（Ｓ１６：Ｎｏ）。その結果、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ１９）。

一方、図６Ｂの例においては、対象者Ｈ１の腕（上腕部）の角度θ１，θ２の変化量の一定時間の積分値が所定値未満であることで、判定部１６は、対象者Ｈ１の身体の硬直ありと判断する（Ｓ１６：Ｙｅｓ）。さらに、姿勢モデルＭ１における特徴点Ｐ２−Ｐ７をつなぐ直線についての、鉛直線に対する角度θ３が基準角度以上であるので、判定部１６は、対象者Ｈ１の上半身の傾倒ありと判断する（Ｓ１７：Ｙｅｓ）。その結果、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ１８）。

また、図７Ａ及び図７Ｂは、対象者Ｈ１がサングラスをかけている（装着している）場合において、監視システム１による対象者Ｈ１の意識状態の判定を行う例を示す。図７Ａは、対象者Ｈ１の意識状態が正常（意識清明）なケースを示し、図７Ｂは、対象者Ｈ１の意識状態が意識喪失であるケースを示す。

図７Ａ及び図７Ｂにおいては、いずれも対象者Ｈ１がサングラスをかけているために、対象者Ｈ１のまぶたが検出されず（図５のＳ１１：Ｎｏ）、かつ顔Ｆ１の向きの硬直なしと判断される（Ｓ１３：Ｎｏ）ことと仮定する。さらに、いずれも顔Ｆ１の位置が検出され（Ｓ１４：Ｙｅｓ）、かつ顔位置情報に含まれる顔Ｆ１の位置と、モデル情報に含まれる顔Ｆ１の位置と、の間に相関があるため（Ｓ１５：Ｙｅｓ）、判定部１６は、モデル情報に基づいて対象者Ｈ１の意識状態を判定する。

ここで、図７Ａの例においては、対象者Ｈ１の腕（上腕部）の角度θ１，θ２の変化量の一定時間の積分値が所定値以上であることで、判定部１６は、対象者Ｈ１の身体の硬直なしと判断する（Ｓ１６：Ｎｏ）。その結果、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ１９）。

一方、図７Ｂの例においては、対象者Ｈ１の腕（上腕部）の角度θ１，θ２の変化量の一定時間の積分値が所定値未満であることで、判定部１６は、対象者Ｈ１の身体の硬直ありと判断する（Ｓ１６：Ｙｅｓ）。さらに、姿勢モデルＭ１における特徴点Ｐ２−Ｐ７をつなぐ直線についての、鉛直線に対する角度θ３が基準角度以上であるので、判定部１６は、対象者Ｈ１の上半身の傾倒ありと判断する（Ｓ１７：Ｙｅｓ）。その結果、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ１８）。

このように、対象者Ｈ１が一時的に下を向いていたり、対象者Ｈ１がサングラスをかけていたりして、対象者Ｈ１の顔Ｆ１の各部位（まぶた等）の状態が認識できない場合であっても、本実施形態に係る監視システム１では、対象者Ｈ１の意識状態を判定できる。

ところで、判定部１６は、対象者Ｈ１の腕（上腕部）の角度θ１，θ２に関して、変化量の積分値のような腕の動きの有無に係る判断だけでなく、腕の動きが他動的な動きか否か、を更に判断してもよい。すなわち、対象者Ｈ１が移動体４に乗っていることを前提とすれば、移動体本体４１の揺れ（振動）等により、対象者Ｈ１の意思によらずに、対象者Ｈ１の腕が振り子のように揺れることが考えられる。そのため、図６Ｂ又は図７Ｂに示すように、たとえ対象者Ｈ１の意識状態が意識喪失の状態にあっても、脱力状態にある対象者Ｈ１の腕が、他動的に動く可能性がある。そこで、判定部１６は、腕の動きに関しては、垂直に垂れ下がった状態を基調にして揺れている場合等の、他動的な動きを判断し、他動的な動きであれば、対象者Ｈ１の身体の硬直ありと判断することが好ましい（Ｓ１６：Ｙｅｓ）。同様の判断は、腕に限らず、例えば、頭部等についても適用可能である。

また、対象者Ｈ１の上半身の傾倒の有無の判断（Ｓ１７）についても、角度θ３に基づく判断に限らず、他のパラメータに基づいて、対象者Ｈ１の上半身の傾倒の有無が判断されてもよい。一例として、姿勢モデルＭ１における特徴点Ｐ３−Ｐ５をつなぐ直線についての、水平線に対する角度は、対象者Ｈ１の両肩の傾斜角度に相当するので、この傾斜角度を用いて、対象者Ｈ１の上半身の傾倒の有無を判断してもよい。この場合、両肩の傾斜角度が基準角度未満であれば、対象者Ｈ１の上半身の傾倒なしと判断し（Ｓ１７：Ｎｏ）、両肩の傾斜角度が基準角度以上であれば、対象者Ｈ１の上半身の傾倒ありと判断する（Ｓ１７：Ｙｅｓ）。

（２．３．４）その他の機能
その他の機能として、本実施形態に係る監視システム１は、モデル情報における姿勢モデルＭ１の特徴点Ｐ１〜Ｐ７を補完する補完機能を有している。

すなわち、図８に示すように、撮像装置２の画角内に、対象者Ｈ１の上半身の全体が含まれておらず、姿勢モデルＭ１の特徴点Ｐ１〜Ｐ７のいずれかが、画像Ｉｍ１内に収まらない場合がある。特に、対象者Ｈ１が座る椅子が前後に移動可能である場合において、椅子を前方に移動させると、撮像装置２のカメラに対象者Ｈ１が近づくことになるため、図８のような画像Ｉｍ１となりやすい。図８の例では、「へそ」に相当する特徴点Ｐ７が画像Ｉｍ１からはみ出している。

このような場合において、監視システム１は、画像Ｉｍ１内の対象者Ｈ１の位置等から、特徴点Ｐ７の位置を推定し、特徴点Ｐ７を補完する。上記補完機能によれば、本実施形態に係る監視システム１では、モデル情報は、モデル情報を抽出するための画像Ｉｍ１外の対象者Ｈ１の身体の部位に相当する点を、複数の特徴点Ｐ１〜Ｐ７の少なくとも１つに含むことができる。これにより、例えば、撮像装置２のカメラを必要以上に広角にする必要が無く、画像Ｉｍ１における顔Ｆ１の各部位（上まぶたＦ１１及び下まぶたＦ１２等）の解像度の向上を図りやすい。

（３）変形例
実施形態１は、本開示の様々な実施形態の一つに過ぎない。実施形態１は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態１に係る監視システム１と同様の機能は、監視方法、プログラム又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る監視方法は、第１取得処理（図４の「Ｓ２」に相当）と、第２取得処理（図４の「Ｓ３」に相当）と、判定処理（図４の「Ｓ６」に相当）と、を有する。第１取得処理は、顔情報を取得する処理である。顔情報は、対象者Ｈ１の顔Ｆ１の各部位の状態に関する情報である。第２取得処理は、複数の特徴点Ｐ１〜Ｐ７を含み、モデル情報を取得する処理である。モデル情報は、対象者Ｈ１の少なくとも上半身の姿勢を表す姿勢モデルＭ１に関する情報である。判定処理は、顔情報と、モデル情報と、の両方に基づいて、対象者Ｈ１の意識状態を判定する処理である。一態様に係るプログラムは、上記の監視方法を、１以上のプロセッサに実行させるためのプログラムである。

以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

本開示における監視システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における監視システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、監視システム１の少なくとも一部の機能が、１つの筐体内に集約されていることは監視システム１に必須の構成ではなく、監視システム１の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、監視システム１のうちの顔情報取得部１３、顔位置取得部１４及びモデル取得部１５が、判定部１６とは別の筐体に設けられていてもよい。さらに、監視システム１の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

反対に、実施形態１において、複数の装置に分散されている複数の機能の少なくとも一部が、１つの筐体内に集約されていてもよい。例えば、監視システム１と撮像装置２とに分散されている機能が、１つの筐体内に集約されていてもよい。

また、対象者Ｈ１の意識状態の判定結果の出力の態様は、制御システム３への出力に限らない。例えば、出力部１７は、対象者Ｈ１の意識状態の判定結果を、情報端末への送信、表示、音（音声を含む）出力、非一時的記録媒体への記録（書き込み）及び印刷（プリントアウト）等により、出力してもよい。

また、監視システム１を備える移動体４は、飛行機に限らず、ヘリコプタ又は飛行船等の航空機であってもよい。さらに、監視システム１を備える移動体４は、航空機に限らず、例えば、自動車（四輪車）、二輪車、電車、電動カート、建設機械又は船舶等であってもよい。例えば、移動体４が自動車である場合、監視システム１は、自動車からなる移動体４の運転者を対象者Ｈ１として、運転者からなる対象者Ｈ１の意識状態を監視してもよい。

また、移動体本体４１に搭載される監視システム１にて意識状態が監視される対象者Ｈ１は、移動体４を操縦する操縦者（自動車の場合の運転者等を含む）に限らず、例えば、客室乗務員又は車掌等の、操縦者以外の乗務員であってもよい。さらに、対象者Ｈ１は、乗務員にも限らず、例えば、客又は同乗者であってもよい。

また、監視システム１は、移動体４に用いられる構成に限らず、例えば、建物又は屋外等に居る対象者Ｈ１の意識状態の監視に用いられてもよい。この場合の対象者Ｈ１は、機械の操作、実験、試験、計測又は工作等の何らかの作業を行っている作業者であってもよいし、住宅等の建物内の居住者であってもよい。

また、実施形態１では、監視システム１は、対象者Ｈ１の意識状態について、「正常」（意識清明）の状態と、「意識喪失」の状態と、の２状態のいずれにあたるかを判定するが、この構成に限らない。例えば、監視システム１は、清明、傾眠、昏迷及び昏睡等の３段階以上の意識水準を、対象者Ｈ１の意識状態として判定してもよい。

また、画像Ｉｍ１を取得するための撮像装置２は、物体そのものを撮影する構成に限られず、例えば、サーモグラフィカメラなどのように、空間及び物体の温度を画素値とする熱画像を画像として撮影してもよい。また、例えば、ＴｏＦ（Time-of-Flight）方式の距離画像カメラのように、距離を画素値とする距離画像を画像として撮影してもよい。

また、実施形態１では、撮像装置２は、例えば、赤外線カメラのような暗視カメラを含んでいるが、これに限らず、例えば、照明装置及びカメラを含んでいてもよい。

また、実施形態１では、複数名の対象者Ｈ１（操縦者）を撮影するために、１名の対象者Ｈ１につき１台のカメラが設置されているが、この構成に限らず、例えば、１台のカメラで複数名の対象者Ｈ１を撮影してもよい。

また、判定部１６が判定に用いる情報は、画像Ｉｍ１のみから抽出される構成に限らず、例えば、画像Ｉｍ１に代えて、又は画像Ｉｍ１と共に、生体センサ、加速度センサ又は角速度センサ等で検知される情報が、対象者Ｈ１の意識状態の判定に用いられてもよい。さらに、判定部１６は、航空機からなる移動体４の操縦桿、ペダル又は計器類のスイッチ等の、対象者Ｈ１が操作し得る操作部の操作状況も加味して、対象者Ｈ１の意識状態を判定してもよい。これにより、対象者Ｈ１が、略静止した姿勢で操縦桿を操作している場合等において、監視システム１が意識喪失と誤判定することを低減できる。

また、実施形態１では、判定部１６は、対象者Ｈ１の意識状態を判定するに際して、顔情報及びモデル情報の各々の優先度に従って、顔情報に基づく判定が好ましくない場合に限り、モデル情報に基づく判定を行うが、このような構成に限らない。すなわち、例えば、判定部１６は、顔情報及びモデル情報の両方に基づいて、対象者Ｈ１の意識状態を判定すればよく、顔情報及びモデル情報に優先度がなく、顔情報及びモデル情報の両方を統合的に用いて、対象者Ｈ１の意識状態を判定してもよい。この場合に、顔情報及びモデル情報の各々に対して重み付けをすることで、判定部１６は、対象者Ｈ１の意識状態の判定に寄与する顔情報及びモデル情報の比重を調整してもよい。

さらに、判定部１６は、顔情報とモデル情報との両方に基づいて対象者Ｈ１の意識状態を判定する機能を、少なくとも有していればよく、例えば、判定のアルゴリズムを切替可能であってもよい。一例として、判定のアルゴリズムを切り替えることで、判定部１６は、顔情報とモデル情報とのいずれか一方のみに基づいて、対象者Ｈ１の意識状態を判定するように動作してもよい。

（実施形態２）
本実施形態に係る監視システム１は、図９に示すように、監視システム１による対象者Ｈ１の意識状態の判定の動作、つまり図４における判定処理Ｓ６のアルゴリズムが、実施形態１に係る監視システム１と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。

図９は、判定処理（図４のＳ６）における判定部１６の動作の一例を示すフローチャートである。図９のフローチャートにおいて、判定部１６が、対象者Ｈ１の意識状態の判定にモデル情報を用いる処理（Ｓ２１，Ｓ２２）には網掛けを付している。言い換えれば、図９において、網掛けが付されていない処理は、対象者Ｈ１の意識状態の判定にモデル情報が用いられない処理である。

判定部１６は、判定処理が開始すると、まずは対象者Ｈ１の身体（上半身）が硬直しているか否かを判断する（Ｓ２１）。身体の硬直については、モデル取得部１５が取得するモデル情報に基づいて判断される（図５の処理Ｓ１６に相当）。対象者Ｈ１の身体の硬直の有無については、実施形態１と同様に、例えば、腕の動きにつき、垂直に垂れ下がった状態を基調にして揺れている場合等の、他動的な動きであるか否かを考慮して判断してもよい。

身体の硬直ありと判断されると（Ｓ２１：Ｙｅｓ）、判定部１６は、対象者Ｈ１の上半身の傾倒の有無を判断する（Ｓ２２）。上半身の傾倒については、モデル取得部１５が取得するモデル情報のうち、姿勢モデルＭ１における特徴点Ｐ２−Ｐ７をつなぐ直線についての、鉛直線に対する角度θ３に基づいて判断される（図５の処理Ｓ１７に相当）。対象者Ｈ１の上半身の傾倒の有無については、実施形態１と同様に、例えば、姿勢モデルＭ１における特徴点Ｐ３−Ｐ５をつなぐ直線についての、水平線に対する角度に基づいて判断してもよい。

そして、対象者Ｈ１の身体の硬直ありと判断され（Ｓ２１：Ｙｅｓ）、かつ対象者Ｈ１の上半身の傾倒ありと判断されると（Ｓ２２：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ２５）。一方、対象者Ｈ１の身体の硬直なしと判断されると（Ｓ２１：Ｎｏ）、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ２６）。

また、対象者Ｈ１の上半身の傾倒なしと判断されると（Ｓ２２：Ｎｏ）、判定部１６は、対象者Ｈ１の顔Ｆ１の向きが硬直しているか否かを判断する（Ｓ２３）。顔Ｆ１の向きの硬直については、顔位置取得部１４が取得する顔位置情報に基づいて判断される（図５の処理Ｓ１３に相当）。

そして、顔Ｆ１の向きの硬直ありと判断されると（Ｓ２３：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ２５）。ここで、顔Ｆ１の向きの硬直の有無の判断結果から意識状態を判定する場合（Ｓ２３）においては、判定部１６は、顔位置情報から、対象者Ｈ１の意識状態を判定することになる。

一方で、顔Ｆ１の向きの硬直なしと判断されると（Ｓ２３：Ｎｏ）、判定部１６は、まばたきの有無、及び閉眼の有無を判断する（Ｓ２４）。まばたきの有無、及び閉眼の有無については、顔情報取得部１３が取得する顔情報に基づいて判断される（図５の処理Ｓ１２に相当）。

そして、「まばたき」なし、又は閉眼と判断されると（Ｓ２４：Ｙｅｓ）、判定部１６は、対象者Ｈ１の意識状態について、意識喪失の状態にあると判定する（Ｓ２５）。一方、「まばたき」ありと判断され、かつ開眼と判断されると（Ｓ２４：Ｎｏ）、判定部１６は、対象者Ｈ１の意識状態について、正常（意識清明）の状態にあると判定する（Ｓ２６）。

このように、本実施形態ではデフォルトとして、モデル情報の優先度が最も高く、その次に顔位置情報の優先度が高く、そして顔情報の優先度が最も低く設定されている。そのため、モデル情報及び顔位置情報からでは、対象者Ｈ１の意識状態の判定ができず、かつ顔情報の信頼度が閾値以上である場合には、対象者Ｈ１の意識状態の判定には顔情報が用いられ、判定部１６は、顔情報から、対象者Ｈ１の意識状態を判定する。

本実施形態に係る監視システム１は、判定処理においては、上述したような処理Ｓ２１〜Ｓ２６を実行する。図９のフローチャートは、判定処理の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。

実施形態２で説明した種々の構成（変形例を含む）は、実施形態１で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。

（まとめ）
以上説明したように、第１の態様に係る監視システム（１）は、顔情報取得部（１３）と、モデル取得部（１５）と、判定部（１６）と、を備える。顔情報取得部（１３）は、顔情報を取得する。顔情報は、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する情報である。モデル取得部（１５）は、モデル情報を取得する。モデル情報は、複数の特徴点（Ｐ１〜Ｐ７）を含み、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関する情報である。判定部（１６）は、顔情報と、モデル情報と、の両方に基づいて、対象者（Ｈ１）の意識状態を判定する。

この態様によれば、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する顔情報だけでなく、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関するモデル情報にも基づいて、対象者（Ｈ１）の意識状態が判定される。そのため、顔情報のみから対象者（Ｈ１）の意識状態が判定される場合に比較すると、対象者（Ｈ１）の意識状態を正しく判定しやすくなる。したがって、例えば、単に対象者（Ｈ１）が一時的に下を向いているような場合に、対象者（Ｈ１）が居眠りをしているとの誤った判定が生じにくい。結果的に、監視システム（１）によれば、誤った判定を生じにくくすることが可能である。

第２の態様に係る監視システム（１）では、第１の態様において、判定部（１６）は、顔情報に基づく判定の信頼度が閾値以上であれば、顔情報に基づき意識状態を判定し、顔情報に基づく判定の信頼度が閾値未満であれば、モデル情報に基づき意識状態を判定する。

この態様によれば、意識状態の判定に、モデル情報よりも顔情報が優先的に用いられるので、意識状態の判定の信頼性の向上を図りやすい。

第３の態様に係る監視システム（１）は、第１又は２の態様において、顔位置取得部（１４）を更に備える。顔位置取得部（１４）は、対象者（Ｈ１）の顔（Ｆ１）の位置と向きとの少なくとも一方に関する顔位置情報を取得する。顔位置情報は、判定部（１６）での意識状態の判定に用いられる。

この態様によれば、意識状態の判定に、顔位置情報が更に用いられるので、意識状態の判定の信頼性の向上を図りやすい。

第４の態様に係る監視システム（１）では、第３の態様において、判定部（１６）は、顔位置情報に含まれる顔（Ｆ１）の位置と、モデル情報に含まれる顔（Ｆ１）の位置と、の相関関係に基づいて、判定のアルゴリズムを変える。

この態様によれば、モデル情報の信頼度に応じて、判定のアルゴリズムを変えることができるので、意識状態の判定の信頼性の向上を図りやすい。

第５の態様に係る監視システム（１）では、第１〜４のいずれかの態様において、顔情報は、対象者（Ｈ１）のまぶたの状態に関する情報を含む。

この態様によれば、対象者（Ｈ１）のまぶたの状態から、例えば、まばたきの有無、又は閉眼等を推定することができ、意識状態の判定の信頼性の向上を図りやすい。

第６の態様に係る監視システム（１）では、第５の態様において、判定部（１６）は、対象者（Ｈ１）のまばたきが検出されない場合と、対象者（Ｈ１）の閉眼が検出された場合とで、判定のアルゴリズムを変える。

この態様によれば、状況に応じて判定のアルゴリズムを変えることができるので、意識状態の判定の信頼性の向上を図りやすい。

第７の態様に係る監視システム（１）では、第１〜６のいずれかの態様において、顔情報とモデル情報とは、いずれも画像（Ｉｍ１）から抽出される。

この態様によれば、顔情報とモデル情報とを、画像（Ｉｍ１）から比較的簡単に得ることができる。

第８の態様に係る監視システム（１）では、第７の態様において、判定部（１６）が判定に用いる情報は、画像（Ｉｍ１）のみから抽出される。

この態様によれば、画像（Ｉｍ１）を得るための撮像装置（２）以外のセンサ等を用いる必要が無い。

第９の態様に係る監視システム（１）では、第７又は８の態様において、顔情報取得部（１３）及びモデル取得部（１５）は、同一の画像（Ｉｍ１）から顔情報及びモデル情報を取得する。

この態様によれば、画像（Ｉｍ１）を得るための撮像装置（２）が１台であっても、顔情報及びモデル情報を取得することが可能となる。

第１０の態様に係る監視システム（１）では、第７〜９のいずれかの態様において、モデル情報は、モデル情報を抽出するための画像（Ｉｍ１）外の対象者（Ｈ１）の身体の部位に相当する点を、複数の特徴点（Ｐ１〜Ｐ７）の少なくとも１つに含む。

この態様によれば、画像（Ｉｍ１）の撮像装置（２）を必要以上に広角にする必要が無く、例えば、画像（Ｉｍ１）における顔（Ｆ１）の各部位の解像度の向上を図りやすい。

第１１の態様に係る監視システム（１）では、第１〜１０のいずれかの態様において、判定部（１６）は、モデル情報における対象者（Ｈ１）の上半身の硬直度合いと、対象者（Ｈ１）の上半身の姿勢と、の少なくとも一方に基づいて、意識状態を判定する。

この態様によれば、モデル情報における対象者（Ｈ１）の上半身の硬直度合いと、対象者（Ｈ１）の上半身の姿勢との少なくとも一方が判定に用いられるため、意識状態の判定の信頼性の向上を図りやすい。

第１２の態様に係る移動体（４）は、第１〜１１のいずれかの態様に係る監視システム（１）と、監視システム（１）が搭載される移動体本体（４１）と、を備える。

この態様によれば、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する顔情報だけでなく、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関するモデル情報にも基づいて、対象者（Ｈ１）の意識状態が判定される。そのため、顔情報のみから対象者（Ｈ１）の意識状態が判定される場合に比較すると、対象者（Ｈ１）の意識状態を正しく判定しやすくなる。したがって、例えば、単に対象者（Ｈ１）が一時的に下を向いているような場合に、対象者（Ｈ１）が居眠りをしているとの誤った判定が生じにくい。結果的に、移動体（４）によれば、誤った判定を生じにくくすることが可能である。

第１３の態様に係る監視方法は、第１取得処理と、第２取得処理と、判定処理と、を有する。第１取得処理は、顔情報を取得する処理である。顔情報は、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する情報である。第２取得処理は、モデル情報を取得する処理である。モデル情報は、複数の特徴点（Ｐ１〜Ｐ７）を含み、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関する情報である。判定処理は、顔情報と、モデル情報と、の両方に基づいて、対象者（Ｈ１）の意識状態を判定する処理である。

この態様によれば、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する顔情報だけでなく、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関するモデル情報にも基づいて、対象者（Ｈ１）の意識状態が判定される。そのため、顔情報のみから対象者（Ｈ１）の意識状態が判定される場合に比較すると、対象者（Ｈ１）の意識状態を正しく判定しやすくなる。したがって、例えば、単に対象者（Ｈ１）が一時的に下を向いているような場合に、対象者（Ｈ１）が居眠りをしているとの誤った判定が生じにくい。結果的に、監視方法によれば、誤った判定を生じにくくすることが可能である。

第１４の態様に係るプログラムは、第１３の態様に係る監視方法を、１以上のプロセッサに実行させるためのプログラムである。

この態様によれば、対象者（Ｈ１）の顔（Ｆ１）の各部位の状態に関する顔情報だけでなく、対象者（Ｈ１）の少なくとも上半身の姿勢を表す姿勢モデル（Ｍ１）に関するモデル情報にも基づいて、対象者（Ｈ１）の意識状態が判定される。そのため、顔情報のみから対象者（Ｈ１）の意識状態が判定される場合に比較すると、対象者（Ｈ１）の意識状態を正しく判定しやすくなる。したがって、例えば、単に対象者（Ｈ１）が一時的に下を向いているような場合に、対象者（Ｈ１）が居眠りをしているとの誤った判定が生じにくい。結果的に、上記プログラムによれば、誤った判定を生じにくくすることが可能である。

上記態様に限らず、実施形態１及び実施形態２に係る監視システム（１）の種々の構成（変形例を含む）は、監視方法又はプログラムにて具現化可能である。

第２〜１１の態様に係る構成については、監視システム（１）に必須の構成ではなく、適宜省略可能である。

１ 監視システム
４ 移動体
１３ 顔情報取得部
１４ 顔位置取得部
１５ モデル取得部
１６ 判定部
４１ 移動体本体
Ｆ１ 顔
Ｈ１ 対象者
Ｉｍ１ 画像
Ｍ１ 姿勢モデル
Ｐ１〜Ｐ７ 特徴点

Claims (14)

1. 対象者の顔の各部位の状態に関する顔情報を取得する顔情報取得部と、
   複数の特徴点を含み前記対象者の少なくとも上半身の姿勢を表す姿勢モデルに関するモデル情報を取得するモデル取得部と、
   前記顔情報と、前記モデル情報と、の両方に基づいて、前記対象者の意識状態を判定する判定部と、を備える、
   監視システム。
2. 前記判定部は、前記顔情報に基づく判定の信頼度が閾値以上であれば、前記顔情報に基づき前記意識状態を判定し、前記顔情報に基づく判定の信頼度が前記閾値未満であれば、前記モデル情報に基づき前記意識状態を判定し、
   請求項１に記載の監視システム。
3. 前記対象者の前記顔の位置と向きとの少なくとも一方に関する顔位置情報を取得する顔位置取得部を更に備え、
   前記顔位置情報は、前記判定部での前記意識状態の判定に用いられる、
   請求項１又は２に記載の監視システム。
4. 前記判定部は、前記顔位置情報に含まれる前記顔の位置と、前記モデル情報に含まれる前記顔の位置と、の相関関係に基づいて、判定のアルゴリズムを変える、
   請求項３に記載の監視システム。
5. 前記顔情報は、前記対象者のまぶたの状態に関する情報を含む、
   請求項１〜４のいずれか１項に記載の監視システム。
6. 前記判定部は、前記対象者のまばたきが検出されない場合と、前記対象者の閉眼が検出された場合とで、判定のアルゴリズムを変える、
   請求項５に記載の監視システム。
7. 前記顔情報と前記モデル情報とは、いずれも画像から抽出される、
   請求項１〜６のいずれか１項に記載の監視システム。
8. 前記判定部が判定に用いる情報は、画像のみから抽出される、
   請求項７に記載の監視システム。
9. 前記顔情報取得部及び前記モデル取得部は、同一の画像から前記顔情報及び前記モデル情報を取得する、
   請求項７又は８に記載の監視システム。
10. 前記モデル情報は、前記モデル情報を抽出するための画像外の前記対象者の身体の部位に相当する点を、前記複数の特徴点の少なくとも１つに含む、
    請求項７〜９のいずれか１項に記載の監視システム。
11. 前記判定部は、前記モデル情報における前記対象者の上半身の硬直度合いと、前記対象者の上半身の姿勢と、の少なくとも一方に基づいて、前記意識状態を判定する、
    請求項１〜１０のいずれか１項に記載の監視システム。
12. 請求項１〜１１のいずれか１項に記載の監視システムと、
    前記監視システムが搭載される移動体本体と、を備える、
    移動体。
13. 対象者の顔の各部位の状態に関する顔情報を取得する第１取得処理と、
    複数の特徴点を含み前記対象者の少なくとも上半身の姿勢を表す姿勢モデルに関するモデル情報を取得する第２取得処理と、
    前記顔情報と、前記モデル情報と、の両方に基づいて、前記対象者の意識状態を判定する判定処理と、を有する、
    監視方法。
14. 請求項１３に記載の監視方法を、１以上のプロセッサに実行させるためのプログラム。

Images