JP2021033755A

JP2021033755A - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP2021033755A
Application number: JP2019154564A
Authority: JP
Inventors: 勇氣 ▲高▼橋; Yuki Takahashi
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2019-08-27
Filing date: 2019-08-27
Publication date: 2021-03-01

Abstract

【課題】精度よく目が閉じていることを検出でき、かつ、処理負担を低減させることができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】画像処理装置は、入力した画像中の左右両目の黒目位置を検出し、左右両目の黒目位置を誤検出しているか否かを判定し、判定結果に基づいて目がとじていることを検出する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来より、人物の顔をカメラで撮影して得た画像のデータを処理して人の目が開いているか否かを判定する開閉眼判定装置が提案されている（特許文献１）。特許文献１の開閉眼判定装置によれば、人の顔に赤外線を照射してカメラで撮影し、カメラで撮影した画像に、赤外線による人の目の角膜表面からの反射光に相当する予め定めた閾値以上の輝度が含まれている否かに基づいて、人の目が開いているか否かを判定している。また、特許文献１の開閉眼判定装置によれば、撮影した画像から人の顔の上瞼および下瞼に対応する形状パラメータを検出して、検出した形状パラメータに基づいて、人の目が開いているか否かを判定している。

特開２０１６−１１５１１９号公報

しかしながら、赤外線を用いる方法では、メガネやサングラスの反射を角膜からの反射と誤検出したり、外乱の影響により誤検出したり、精度よく、人の目が開いていること（閉じていること）を検出することができない、という問題があった。また、画像から形状パラメータを検出する方法では、瞬目などのように非常に素早い目の開閉を検出するために、高速かつ高精度で撮影した画像のデータを処理する必要があり、高性能の画像処理装置を用いる必要があった。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、精度よく目が閉じていることを検出でき、かつ、処理負担の低減を図った画像処理装置、画像処理方法および画像処理プログラムを提供することにある。

前述した目的を達成するために、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、下記［１］〜［４］を特徴としている。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部を備える画像処理装置であって、
前記データ処理部は、
前記画像中の左右両目の黒目位置を検出する黒目検出部と、
前記黒目検出部が左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定部と、
前記誤検出判定部の判定結果に基づいて、目が閉じていることを検出する閉検出部と、を有する、
画像処理装置であること。
［２］
［１］に記載の画像処理装置において、
前記誤検出判定部は、前記黒目検出部により検出された前記黒目位置の変位量又は前記黒目位置から求めた黒目速度の変位量が閾値より大きいとき、誤検出していると判定する、
画像処理装置であること。
［３］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の左右両目の黒目位置を検出する黒目検出ステップと、
前記黒目検出ステップにより左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定ステップと、
前記誤検出判定ステップによる判定結果に基づいて、目が閉じていることを検出する瞬目検出ステップと、を有する、
画像処理方法であること。
［４］
コンピュータに［３］に記載の画像処理方法の各ステップを実行させるための画像処理プログラムであること。

上記［１］、［３］及び［４］の構成の画像処理装置、画像処理方法および画像処理プログラムによれば、赤外線を用いずに、黒目位置の検出結果を用いて、目が閉じていることを検出することができる。これにより、精度よく目が閉じていることを検出でき、かつ、処理負担を低減させることができる。
上記［２］の構成の画像処理装置によれば、誤判定検出部が、黒目位置の変位量又は黒目位置から求めた黒目速度の変位量が閾値より大きいのとき、誤検出していると判定する。これにより、容易に、かつ、精度よく、黒目位置の誤検出を判定することができる。

本発明によれば、精度よく目が閉じていることを検出でき、かつ、処理負担を低減させることができる画像処理装置、画像処理方法および画像処理プログラムを提供できる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、車両に搭載した画像処理装置の配置状態の具体例を示す斜視図である。図２は、本発明に係る実施形態の画像処理装置が実施する画像処理アルゴリズムの概要を示すフローチャートである。図３は、図２に示す注意力判定アルゴリズムの続きを示すフローチャートである。図４は、図２に示す黒目検出の詳細を示すフローチャートである。図５は、図２に示す注意力判定の詳細を示すフローチャートである。図６は、図１に示すカメラで撮影した撮影画像の一例を示す図である。図７は、図１に示す画像処理装置が検出した左右の黒目位置の一例を示すタイムチャートである。

本発明の画像処理装置、画像処理方法および画像処理プログラムに関する具体的な実施形態について、各図を参照しながら以下に説明する。

＜本実施形態が適用される環境の具体例＞
車両に搭載した画像処理装置の配置状態の具体例を図１に示す。
図１に示した例では、車両の車室内１０にカメラ１２および処理部１３（データ処理部）が設置されている。具体的には、運転席に着座している人物１１、すなわち運転者の目の領域１１ａを含む顔などをカメラ１２で撮影できるように、運転席前方のメータユニット内、あるいはコラムカバーの箇所にカメラ１２が設置されている。

処理部１３は、カメラ１２が人物１１の顔を撮影して得られる二次元画像データを処理して、目の領域１１ａのデータから黒目位置を検出する。本発明の画像処理装置は、例えば図１中の処理部１３、あるいはその一部として構成することが想定される。

＜本実施形態の画像処理装置の動作の概要＞
また、本実施形態の画像処理装置は、１フレーム毎に検出された黒目位置に基づいて、通常の目の動きから得られないような動きを検出すると、黒目位置の誤検出であると判定する。この誤検出の原因としては、瞬目またはノイズや照明環境が考えられる。意識的な瞬目以外は、瞬目は両目で同時に発生する。これは特に運転や機器の操作等の作業に集中しているときに当てはまる。そこで、画像処理装置は、左右両目の黒目位置が誤検出されたと判定すると、瞬目を検出する。また、画像処理装置は、左目のみ、右目のみの黒目位置が誤検出されたと判定した場合は、ノイズや照明環境等によって引き起こされる誤検出であり、瞬きの検出は行わない。なお、画像処理装置は、誤検出であると判定した黒目位置については補正する。

瞬目は200msec〜500msecの時間をかけて行われる瞼の開閉運動である。このため、撮影に用いるカメラ１２及び処理部１３が200msec〜500msec間に数点サンプリングできるスペックを満たすことができれば、黒目位置の誤検出が所定フレーム継続するか否かを瞬目検出の判定に加えることができる。例えば50msec周期でサンプリングが可能な画像処理装置である場合、４フレーム（50msec×4＝200msec）以上継続して左右両目の黒目位置の誤検出が判定されると、瞬目を検出する。

本実施形態では、画像処理装置が、検出した黒目位置や瞬目の情報は、車両を運転する運転者の注意力が低下しているかどうかを判定するために用いる。勿論、このような黒目位置の情報は様々な用途が利用可能である。

＜注意力判定アルゴリズムの概要＞
本発明に係る実施形態の画像処理装置が実行する注意力判定アルゴリズムの概要を説明する。図２及び図３は、本発明に係る実施形態の画像処理装置が実行する注意力判定アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、黒目検出部、誤検出判定部、閉検出部として機能し、図２及び図３に示した注意力判定アルゴリズムに従って動作が順次行われる。

カメラ１２は、人物１１の顔を含む領域の映像を一定の周期で常時撮影し、映像の信号を出力する。画像処理装置のコンピュータ（以下、単に「画像処理装置」と略す）は、ステップＳ１１でカメラ１２から映像の信号を１フレーム分取り込む。

次のステップＳ１２では、画像処理装置は、例えば「Viola-Jones法」を用いて人物１１の顔の位置検出を行い、１フレームの二次元画像データの中から顔を含む領域を矩形の顔領域Ｒ１（図６参照）として検出する。すなわち、画像処理装置は、顔の陰影差を特徴とし「Boosting」を用いた学習によって作成された検出器を使って顔領域Ｒ１を抽出する。「Viola-Jones法」の技術は、例えば以下の文献に示されている。
「P.viola and M.J.Jones,"Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE CVPR(2001).」

次のステップＳ１３では、画像処理装置は、ステップＳ１２で検出した顔領域Ｒ１の中から、例えば「Viola-Jones法」を用いて目の矩形の領域である目領域Ｒ２（図６参照）を検出する。本実施形態の画像処理装置は、左右の目領域Ｒ２を検出する。

次のステップＳ１４では、画像処理装置は、画像から左右の黒目を検出する。このステップＳ１４の処理の詳細について図４を参照して説明する。

ステップＳ１４１では、ステップＳ１３で抽出した左右の目領域Ｒ２のデータについて各々、テンプレートマッチングの手法を適用して、瞳孔３３または虹彩３２の粗探索を行う。具体的には、目領域Ｒ２を二値化した画像に対して、テンプレートとして黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の画像中心（黒丸の中心）の座標を目領域Ｒ２中の瞳孔３３または虹彩３２の中心位置とし、最も尤度の大きかった黒丸画像の半径を目領域Ｒ２中の瞳孔３３または虹彩３２の半径とする。なお、ステップＳ１４１の処理は、目領域Ｒ２中の瞳孔３３または虹彩３２の中心位置及び半径に関しておおよその目処をつけるために行うものである。

ステップＳ１４２では、画像処理装置は、Ｓ１４１で探索した瞳孔３３または虹彩３２の中心位置及び半径を利用し、パーティクルフィルタの手法を適用して、より精度の高い瞳孔３３または虹彩３２の中心位置及び半径を検出する。ここでは、ステップＳ１４２で粗探索した瞳孔３３または虹彩３２の中心位置を起点として眼球モデルを回転させ、瞳孔３３または虹彩３２の形状候補を取り出し、それらの候補と目領域Ｒ２のエッジ画像の相関関数の尤度計算によって瞳孔３３または虹彩３２部分を正確に検出する。この内容の詳細については、特開２０１８−８８２３６号公報に記載されているため、ここでは詳細な説明について省略する。なお、黒目検出についてはこれに限らず、一般の画像処理手法を用いてもよい。

次のステップＳ１５（図３）では、画像処理装置は、ステップＳ１４で検出した左右の黒目位置結果の誤検出判定を行う。画像処理装置は、例えば、通常の黒目の動きから得られないような黒目の動きがあった場合に、誤検出と判定する。具体的には、画像処理装置は、黒目位置の変位量｜ΔＩ_ｔ（ｘ、ｙ）｜が閾値Ｔ_ｉより大きいとき、黒目位置が誤検出されていると判定する。なお、変位量｜ΔＩ_ｔ（ｘ、ｙ）｜は下記の式（１）で求めることができる。
｜ΔＩ_ｔ（ｘ、ｙ）｜＝｜Ｉ_ｔ（ｘ、ｙ）−Ｉ_ｔ−１（ｘ、ｙ）｜ …（１）
ΔＩ_ｔ（ｘ、ｙ）：時刻ｔにおける黒目位置の変位量、Ｉ_ｔ（ｘ、ｙ）：時刻ｔにおいて検出された黒目位置、Ｉ_ｔ−１（ｘ、ｙ）：時刻ｔよりも１フレーム前の時刻ｔ−１に検出された黒目位置（なお、時刻ｔ−１に検出された黒目位置が誤検出と判定された場合は補正後の黒目位置）

ここで閾値Ｔ_ｉは、カメラ１２で撮影された画像中の顔領域Ｒ１、目領域Ｒ２の大きさと、カメラ１２のフレームレートにより決定する。

また、画像処理装置は、黒目速度の変位量Δｖ_ｔ（ｘ、ｙ）が閾値Ｔ_ｖより大きいとき、黒目位置が誤検出されていると判定してもよい。なお、変位量｜Δｖ_ｔ（ｘ、ｙ）｜は下記の式（２）で求めることができる。
｜Δｖ_ｔ（ｘ、ｙ）｜＝｜ｖ_ｔ（ｘ、ｙ）−ｖ_ｔ−１（ｘ、ｙ）｜…（２）
Δｖ_ｔ（ｘ、ｙ）：時刻ｔにおける黒目速度の変位量、ｖ_ｔ（ｘ、ｙ）：時刻ｔにおいて検出された黒目速度、ｖ_ｔ−１（ｘ、ｙ）：時刻ｔよりも１フレーム前の時刻ｔ−１に検出された黒目速度

なお、ｖ_ｔ（ｘ、ｙ）は、Ｉ_ｔ（ｘ、ｙ）、Ｉ_ｔ−１（ｘ、ｙ）から求めることができる。ｖ_ｔ−１（ｘ、ｙ）は、Ｉ_ｔ−１（ｘ、ｙ）、Ｉ_ｔ−２（ｘ、ｙ）から求めることができる。
Ｉ_ｔ−２（ｘ、ｙ）：時刻ｔ−１よりも１フレーム前の時刻ｔ−２において検出された黒目位置（なお、時刻ｔ−１に検出された黒目位置が誤検出と判定された場合は補正後の黒目位置）

ここで閾値Ｔ_ｖは、カメラ１２で撮影された画像中の顔領域Ｒ１、目領域Ｒ２の大きさと、カメラ１２のフレームレートにより決定する。

次のステップＳ１６では、画像処理装置は、ステップＳ１５で誤検出判定されたか否かを判定する。画像処理装置は、左右の黒目位置とも誤検出されていなければ（ステップＳ１６でＹ）、次のステップＳ１７に進んで黒目の揺らぎを算出する。ステップＳ１７の詳細については後述する。

一方、画像処理装置は、図７中の黒目位置Ｉ_１３Ｒ，Ｉ_１３Ｌ、Ｉ_１６Ｒ，Ｉ_１６Ｌに示すように、右目の黒目位置Ｉ_１３Ｒ、Ｉ_１６Ｒのみが誤検出と判定されている場合（ステップＳ１８でＹ）、ノイズや照明環境等に引き起こされる誤検出であるとして、瞬目を検出することなく、黒目位置Ｉ_１３Ｒ、Ｉ_１６Ｒを黒目位置Ｉ_１３ＲＣ、Ｉ_１６ＲＣに補正する（ステップＳ２０）。同様に、画像処理装置は、図７中の黒目位置Ｉ_１９Ｒ，Ｉ_１９Ｌに示すように、左目の黒目位置Ｉ_１９Ｌのみが誤検出と判定されている場合（ステップＳ１９でＹ）も同様に、瞬目を検出することなく、黒目位置Ｉ_１９Ｌを黒目位置Ｉ_１９ＬＣに補正する（ステップＳ２０）。

ステップＳ２０において、画像処理装置は、例えば、黒目位置Ｉ_１３Ｒ、Ｉ_１６Ｒ、Ｉ_１９Ｌよりも１フレーム前に検出された黒目位置に補正する。

また、画像処理装置は、図７中の黒目位置Ｉ_５２Ｌ，Ｉ_５２Ｒ、Ｉ_５３Ｌ，Ｉ_５３Ｒ、Ｉ_５４Ｌ，Ｉ_５４Ｒ、Ｉ_５５Ｌ，Ｉ_５５Ｒに示すように、左右両目の黒目位置が誤検出と判定されると（ステップＳ１９でＮ）、両目の誤検出が４フレーム以上連続するか否かを判定する（ステップＳ２１）。４フレーム以上連続していなければ（ステップＳ２１でＮ）、画像処理装置は、瞬目を検出することなく、検出された黒目位置を補正する（ステップＳ２０）。

これに対して、画像処理装置は、両目の誤検出が４フレーム以上連続すると（ステップＳ２１でＹ）、瞬目を検出した後（ステップＳ２２）、検出された黒目位置を補正する（ステップＳ２０）。図７に示す例では、画像処理装置は、黒目位置Ｐ_５５Ｌ，Ｐ_５５Ｒを検出したタイミングで、瞬きを検出する。

次のステップＳ１７において画像処理装置は、黒目の揺らぎＶ_Ｔを算出する。黒目の揺らぎＶ_Ｔは、下記の式（３）で表すことができる。

ｎ：黒目の揺らぎＶ_Ｔを検出する揺らぎ検出期間における黒目位置のサンプリング数、Ｉ_ｉ（ｘ、ｙ）：揺らぎ検出期間において検出された黒目位置、ｕ：揺らぎ検出期間において検出された黒目位置の平均値

式（３）は揺らぎ検出期間における黒目位置の分散値を表し、黒目の揺らぎＶ_Ｔが大きいと黒目が大きな範囲で動いていることを示し、黒目の揺らぎＶ_Ｔが小さいと黒目があまり動いていないことを示す。

次のステップＳ１８において画像処理装置は、黒目の揺らぎＶ_Ｔと瞬目の検出回数に基づいて人物１１の注意力が低下しているか否かの判定を行う。

＜瞬目数と注意力との関係＞
注意力（覚醒状態）と瞬目数には、正または負の相関があることが分かっている。即ち、状況によって注意力の低下に従って、瞬目数が低下していく場合もあれば、瞬目が著しく増加する場合もある。例えば、下記に示す文献では、眠気表情値が高くなる（即ち注意力が低下する）に従って瞬目の回数が増加することが記載されている。
「実車走行環境における自動車運転時のドライバ状態（覚醒度）検知に関する研究、佐藤健司他、JARI Research Journal(2012〜),JPJ20181202 研究速報」

また、下記の文献には、聴覚課題及び視覚課題をそれぞれ連続して被験者に与え、被験者の瞬目数を計測した結果が記載されている。この結果によれば、聴覚課題については課題を与える時間が長いほど（注意力が低下するほど）瞬目の回数が低下し、視覚課題については課題を与える時間が長いほど瞬目の回数が増加する。
「覚醒水準と瞬目率の関係性仮設、熊谷太郎他、九州大学大学院システム情報科学紀要．11(1),pp.17-22,2006-03-24.九州大学大学院システム情報科学研究院」

＜黒目の揺らぎと注意力との関係＞
また、特開２０１４−１６７０２号公報には、通常運転中と漫然運転中との頭部及び眼球（黒目）の動きについて記載されている。通常の運転において、運転者は運転に集中しているため、頭部と眼球は広い範囲で動き、黒目の揺らぎＶ_Ｔが大きい。一方、運転者が漫然状態の場合、眼球運動は鋭く動く回数が減るため、眼球運動の角速度が低下し、ある単位時間内において±１．０[deg/sec]付近に分布が集まる。

これらの知見により、ステップＳ１８において本実施形態の画像処理装置は、図５に示すように、黒目の揺らぎＶ_Ｔが小さく、眼球の角速度が±１．０[deg/sec]以下であるとみなせる場合（ステップＳ２３１でＹ）、人物１１の注意力が低下した状態と判定する（ステップＳ２３３）。また、画像処理装置は、瞬目数が一定時間内に大きく変化したと判定した場合（ステップＳ２３２でＹ）、人物１１の注意力が低下した状態と判定した後(ステップＳ２３３)、図３のステップＳ２４に進む。また、画像処理装置は、黒目の揺らぎＶ_Ｔが大きく（ステップＳ２３１でＮ）、瞬目数が大きく変化していない場合（ステップＳ２３２でＮ）、注意力低下の判定をせずに、図３のステップＳ２４に進む。

次のステップＳ２４では画像処理装置は、検出した黒目位置、補正後の黒目位置、黒目の揺らぎ、注意力低下の判定結果などの情報を保存すると共に、アプリケーションの必要に応じて出力した後、ステップＳ１１に戻る。これにより、ステップＳ１１〜Ｓ２４のループ状の処理を繰り返すことで、１フレーム毎にリアルタイムで、黒目位置、注意力判定などを実現する。

上述した実施形態によれば、画像処理装置は、赤外線を目に当てて反射した後の位置を検出に用いる手法を用いずに、黒目位置の検出結果を用いて、瞬目を検出することができる。これにより、精度よく瞬目を検出でき、かつ、処理負担を低減させることができる。

また、上述した実施形態によれば、画像処理装置は、黒目位置の変位量｜ΔＩ_ｔ（ｘ、ｙ）｜又は黒目位置から求めた黒目速度の変位量｜Δｖ_ｔ（ｘ、ｙ）｜が閾値Ｔ_ｉ、Ｔ_ｖより大きいとき、誤検出していると判定する。これにより、容易に、かつ、精度よく、黒目位置の誤検出を判定することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

また、上述した実施形態によれば、画像処理装置は、左右両目の黒目位置が誤検出であるとの判定が４フレーム以上継続している場合、瞬目を検出していたが、これに限ったものではない。フレームレートによっては、左右両目の黒目位置が誤検出されたと判定されると直ちに、瞬目を検出するようにしてもよい。

また、上述した実施形態によれば、画像処理装置は、瞬目を検出していたが、これに限ったものではない。左右両目の黒目位置が誤検出であるとの判定が瞬目よりさらに長い間継続している場合、人物１１が目を閉じて居眠りしていると判定するようにしてもよい。

また、上述した実施形態によれば、画像処理装置が行うデータ処理は、車両内１０に搭載された処理部１３が全て行っていたが、これに限ったものではない。例えば、処理部１３が外部のサーバ装置と通信可能に設けられ、サーバ装置が画像に対するデータ処理の全部または一部を実行するようにしてもよい。

ここで、上述した本発明に係る画像処理装置、画像処理方法および画像処理プログラムの実施形態の特徴をそれぞれ以下［１］〜［４］に簡潔に纏めて列記する。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部（１３）を備える画像処理装置であって、
前記データ処理部（１３）は、
前記画像中の左右両目の黒目位置を検出する黒目検出部（１３）と、
前記黒目検出部（１３）が左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定部（１３）と、
前記誤検出判定部（１３）の判定結果に基づいて、目が閉じていることを検出する閉検出部（１３）と、を有する、
画像処理装置であること。
［２］
［１］に記載の画像処理装置において、
前記誤検出判定部（１３）は、前記黒目検出部（１３）により検出された前記黒目位置の変位量又は前記黒目位置から求めた黒目速度の変位量が閾値より大きいとき、誤検出していると判定する、
画像処理装置であること。
［３］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の左右両目の黒目位置を検出する黒目検出ステップと、
前記黒目検出ステップにより左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定ステップと、
前記誤検出判定ステップによる判定結果に基づいて、目が閉じていることを検出する瞬目検出ステップと、を有する、
画像処理方法であること。
［４］
コンピュータに［３］に記載の画像処理方法の各ステップを実行させるための画像処理プログラムであること。

１３処理部（データ処理部、黒目検出部、誤検出判定部、閉検出部）

Claims

顔を含むように撮影された画像に対してデータ処理を行うデータ処理部を備える画像処理装置であって、
前記データ処理部は、
前記画像中の左右両目の黒目位置を検出する黒目検出部と、
前記黒目検出部が左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定部と、
前記誤検出判定部の判定結果に基づいて、目が閉じていることを検出する閉検出部と、を有する、
画像処理装置。
請求項１に記載の画像処理装置において、
前記誤検出判定部は、前記黒目検出部により検出された前記黒目位置の変位量又は前記黒目位置から求めた黒目速度の変位量が閾値より大きいとき、誤検出していると判定する、
画像処理装置。
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の左右両目の黒目位置を検出する黒目検出ステップと、
前記黒目検出ステップにより左右両目の前記黒目位置を誤検出しているか否かを判定する誤検出判定ステップと、
前記誤検出判定ステップによる判定結果に基づいて、目が閉じていることを検出する瞬目検出ステップと、を有する、
画像処理方法。
コンピュータに請求項３に記載の画像処理方法の各ステップを実行させるための画像処理プログラム。