JP2010055262A - 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム - Google Patents
眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム Download PDFInfo
- Publication number
- JP2010055262A JP2010055262A JP2008218038A JP2008218038A JP2010055262A JP 2010055262 A JP2010055262 A JP 2010055262A JP 2008218038 A JP2008218038 A JP 2008218038A JP 2008218038 A JP2008218038 A JP 2008218038A JP 2010055262 A JP2010055262 A JP 2010055262A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vertical
- differential
- histogram
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出するための眼部領域検出プログラムを提供する。
【解決手段】
被検者の顔を含んだ元画像の濃度値を縦方向で微分して、その微分値を横方向で積算したヒストグラムを生成させ、そのヒストグラムの最大値または極大値に対応する横方向のラインを含んだ領域を縦方向微分第2画像として切り出し、その縦方向微分第2画像を左右に分割して、微分値を縦方向で積算したヒストグラムを左右それぞれについて生成させ、そのヒストグラムの最大値または極大値に対応する縦方向のラインを含んだ領域を第1領域や第2領域として指定したうえで、元画像から第1領域および第2領域に相当する部分を被検者の左眼部分および右眼部分として抽出する。
【選択図】図2
Description
特許文献1、特許文献2ならびに特許文献3では、被検者を撮影した画像データについて、輝度値を縦方向でスムージング処理してから微分演算を行い、抽出特徴点(微分値が大きい値を取る点)の隣り合う横方向のラインで連続データを生成して、抽出特徴点が横方向で比較的長く続くものを眼の位置として抽出している。
また、特許文献2では、顔画像を縦方向に走査して、濃度値の片方向のピーク前の微分値が所定値を超えることを条件に抽出点を出し、その抽出点に近接した他の抽出点と連結して曲線群を抽出し、メガネの有無の判断、鼻の位置、左右対称性などから、眼の位置を特定している。
また、特許文献2に記載された技術によれば、鼻の穴の影(暗い部分)によって鼻の位置を特定しているが、鼻の穴の影がしっかり映りこむためにはカメラをやや下方に設置する必要があり、被験者と正対してカメラを設置した場合では、被検者の鼻の穴の影が写り込みにくく、眼の位置を特定することが困難となる。
また、本発明第7の構成による眼部領域検出方法では、被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第1画像として生成する手順S1と、前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第1ヒストグラムとして生成する手順S2と、前記横方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の横方向のラインを指定して、前記縦方向微分第1画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第2画像として取得する手順S3と、前記縦方向微分第2画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第1ヒストグラムとして生成する手順S4と、前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第1領域として生成する手順S5と、前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第2領域として生成する手順S6と、によって、前記元画像のうち、前記第1領域および前記第2領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第8の構成による眼部領域検出方法では、前記手順S1からS4までの各手順と、前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第3画像として取得する手順S7と、前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第4画像として取得する手順S8と、前記縦方向微分第3画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第2ヒストグラムとして生成する手順S9と、前記縦方向微分第4画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第3ヒストグラムとして生成する手順S10と、前記横方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第3画像の横方向のラインを指定して、前記縦方向微分第3画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第3領域として生成する手順S11と、前記横方向第3ヒストグラムの最大値または極大値に対応する、前記縦方向微分第4画像の横方向のラインを指定して、前記縦方向微分第4画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第4領域として生成する手順S12と、によって、前記元画像のうち、前記第3領域および前記第4領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
また、本発明第9の構成による眼部領域検出方法では、前記手順S1と、前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第2ヒストグラムとして生成する手順S13と、前記縦方向微分第1画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第5画像として取得する手順S14と、前記縦方向微分第1画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第6画像として取得する手順S15と、前記縦方向微分第5画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第4ヒストグラムとして生成する手順S16と、前記縦方向微分第6画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第5ヒストグラムとして生成する手順S17と、前記横方向第4ヒストグラムの最大値または極大値に対応する、前記縦方向微分第5画像の横方向のラインを指定して、前記縦方向微分第5画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第5領域として生成する手順S18と、前記横方向第5ヒストグラムの最大値または極大値に対応する、前記縦方向微分第6画像の横方向のラインを指定して、前記縦方向微分第6画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第6領域として生成する手順S19と、によって、前記元画像のうち、前記第5領域および前記第6領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出することを特徴としている。
図1は、実施例1にかかる眼部領域検出装置の構成を示す説明図である。
図1において、眼部領域検出装置10は、計算機11と、ビデオカメラ16を備える。計算機11は外部装置としてディスプレイ11fとキーボード11gを備えており、検査者2は、ディスプレイ11fとキーボード11gにより眼部領域検出装置10を制御し、あるいは、検出結果等の観察等を行う。
また、ビデオカメラ16は被検者1の顔部を撮影するものであり、計算機11の内部に備えるビデオキャプチャ11eによって映像を取得する。ビデオカメラ16のフレームレートは30〜60FPS程度である。
計算機11は、このほか、CPU(中央演算処理装置)11aと、クロック11bと、ディスプレイ11fに画像信号を送信するグラフィックカード11cと、キーボード11gからの入力信号を受信する入力端子11dと、プログラム記憶領域13および画像データ記憶領域14の記憶領域が確保された記憶装置12と、メモリ15をその内部に備える。
メモリ15には、眼部領域を抽出する過程で生成される各種のデータ(たとえば、元画像データ15a、縦方向微分第1画像15b、横方向第1ヒストグラム15c、縦方向微分第2画像15d、縦方向第1ヒストグラム15e、第1領域15f、第2領域15gなど)が一時的に記憶される。これらの各データの内容については、後で説明する。
そして、プログラム記憶領域13は、ビデオキャプチャ11eによって取得された画像を元画像データ14aとして記録するビデオ画像取得プログラム13bと、元画像データ14aから被検者の左眼部分および右眼部分を画像処理によって抽出して、左眼部分画像データ14bと右眼部分画像データ14cとして記録する眼部領域検出プログラム13aが記録されている。眼部領域検出プログラム13aの処理内容については後で説明する。
ビデオ画像取得プログラム13bにより、被検者1の新たな顔画像が元画像データ14aとして記録されると、眼部領域検出プログラム13aが起動する。すなわち、眼部領域検出プログラム13aは、ビデオカメラ16のフレームレートと同じ間隔で繰り返し起動することとなる。
図5は、縦方向微分第1画像15bと横方向第1ヒストグラム15cの関係を示す説明図である。縦方向微分第1画像15bの画素値を横方向(積算方向51)で積算すると、そのヒストグラム(横方向第1ヒストグラム15c)は、上瞼の部分で最大値52を取る。この最大値52に対応する横方向ラインを53とする。
図6は、縦方向微分第1画像15bから縦方向微分第2画像15dを切り出した結果を示す説明図である。図6では、横方向ライン53を基準として、上40ピクセル分、下100ピクセル分の領域を縦方向微分第1画像15bから切り出して、縦方向微分第2画像15dとしている。
このように、横方向第1ヒストグラム15cが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
なお、図5や図6では、横方向第1ヒストグラム15cの最大値を用いて横方向ライン53を抽出しているが、こういった形態に限る必要はなく、たとえば、横方向第1ヒストグラム15cの極大値を用いて横方向ライン53を抽出するようにしてもよい。
図7は縦方向第1ヒストグラム15eおよび縦方向微分第2画像15dの関係を示す説明図である。縦方向微分第2画像15dの画素値を縦方向(積算方向71)で積算すると、そのヒストグラム(縦方向第1ヒストグラム15e)は、被検者1のプルキンエ像の現れる部分で極大値72、73を取る。
このように、ステップS1〜ステップS3で、横方向での画像の切り出しを先に行うことで被検者1の眉毛や鼻等の領域を取り除くことができる。特に、被検者がまばたきをしたときにはその両眼のプルキンエ像が撮影されなくなるが、先に横方向での画像が切り出されていることから、瞼の特徴から両眼の中心部分を推定しやすくなる。
図8は、縦方向微分第2画像15dと第1領域15fおよび第2領域15gの関係を示す説明図である。実施例1では、縦方向ライン74を基準として、右100ピクセル分、左100ピクセルの領域を第2領域15gとしている。また、縦方向ライン75を基準として、右100ピクセル分、左100ピクセルの領域を第1領域15fとしている。
このように縦方向第1ヒストグラム15eが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者1の眼の位置を縦方向で絞り込むことができる。
なお、図7や図8では、縦方向第1ヒストグラム15eの極大値を用いて縦方向ライン74および縦方向ライン75を抽出しているが、こういった形態に限る必要はなく、たとえば、縦方向第1ヒストグラム15eの左右それぞれの最大値を用いて縦方向ライン74および縦方向ライン75を抽出するようにしてもよい。
図9は、実施例2にかかる眼部領域検出装置の構成を示す説明図である。
図9において、メモリ15は、第1領域15f、第2領域15gにかえて、縦方向微分第3画像15h、縦方向微分第4画像15i、横方向第2ヒストグラム15j、横方向第3ヒストグラム15k、第3領域15l、第4領域15mの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
ステップS1からS4までの各ステップは、実施例1と同じ手順・内容で処理される。
実施例2における元画像データ14aは図12(a)に示すとおりであり、被検者1が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図12(b)に示すように、被検者1の上瞼は、左右で水平となっていないことがわかる。また、図13は、縦方向微分第1画像15bと横方向第1ヒストグラム15cの関係を示す説明図である。縦方向微分第1画像15bの画素値を横方向(積算方向131)で積算すると、そのヒストグラム(横方向第1ヒストグラム15c)は、上瞼の左右の部分で二つの極大値132および133を取る。この極大値132および133にそれぞれ対応する横方向ラインを134および135とする。
図14は、縦方向微分第1画像15bから縦方向微分第2画像15dを切り出した結果を示す説明図である。図14では、横方向ライン134から上15ピクセル分、横方向ライン135から下100ピクセル分の領域を縦方向微分第1画像15bから切り出して、縦方向微分第2画像15dとしている。
このように、横方向第1ヒストグラム15cが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
図15は縦方向第1ヒストグラム15eおよび縦方向微分第2画像15dの関係を示す説明図である。縦方向微分第2画像15dの画素値を縦方向(積算方向151)で積算すると、そのヒストグラム(縦方向第1ヒストグラム15e)は、被検者1のプルキンエ像の現れる部分で極大値152および153を取る。
図16は、縦方向微分第2画像15dから縦方向微分第3画像15hおよび縦方向微分第4画像15iを切り出した結果を示す説明図である。図16では、縦方向ライン154を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第2画像15dから切り出して縦方向微分第3画像15hとし、縦方向ライン155を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第2画像15dから切り出して縦方向微分第4画像15iとしている。
このように縦方向第1ヒストグラム15eが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者1の眼の位置を縦方向で絞り込むことができる。
図17は、横方向第2ヒストグラム15jと縦方向微分第3画像15hの関係および横方向第3ヒストグラム15kと縦方向微分第4画像15iの関係を示す説明図である。縦方向微分第3画像15hの画素値を横方向(積算方向171)で積算すると、そのヒストグラム(横方向第2ヒストグラム15j)は、上瞼の部分で最大値173を取る。また、縦方向微分第4画像15iの画素値を横方向(積算方向172)で積算すると、そのヒストグラム(横方向第3ヒストグラム15k)は、上瞼の部分で最大値174を取る。この最大値173および174にそれぞれ対応する、横方向ラインを175および176とする。
図18は、縦方向微分第3画像15hと第3領域15lの関係および縦方向微分第4画像15iと第4領域15mの関係を示す説明図である。実施例2では、横方向ライン175を基準として、上15ピクセル分、下100ピクセルの領域を第3領域15lとしている。また、横方向ライン176を基準として、上15ピクセル分、下100ピクセルの領域を第4領域15mとしている。
このように、横方向第2ヒストグラム15jや横方向第3ヒストグラム15kが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向でさらに絞り込むことができる。
図19は、実施例3にかかる眼部領域検出装置の構成を示す説明図である。
図19において、メモリ15は、横方向第1ヒストグラム15c、縦方向微分第2画像15d、縦方向第1ヒストグラム15e、第1領域15f、第2領域15g、縦方向微分第3画像15h、縦方向微分第4画像15i、横方向第2ヒストグラム15j、横方向第3ヒストグラム15k、第3領域15l、第4領域15mにかえて、縦方向第2ヒストグラム15n、縦方向微分第5画像15o、縦方向微分第6画像15p、横方向第4ヒストグラム15q、横方向第5ヒストグラム15r、第5領域15s、第6領域15tの記憶領域が確保され、眼部領域を抽出する過程で生成される各種のデータが一時的に記憶される。これらの各データの内容については、後で説明する。
ステップS1は、実施例1および実施例2と同じ手順・内容で処理される。
実施例3における元画像データ14aは実施例2で使用したもの(図12(a))と同じであり、被検者1が顔をやや左側に傾けたような状態で撮影されている。こういった場合、図12(b)に示すように、被検者1の上瞼は、左右で水平となっていないことがわかる。
図22は縦方向第2ヒストグラム15nおよび縦方向微分第1画像15bの関係を示す説明図である。縦方向微分第1画像15bの画素値を縦方向(積算方向221)で積算すると、そのヒストグラム(縦方向第2ヒストグラム15n)は、被検者1のプルキンエ像の現れる部分で極大値222、223を取る。この極大値222および223にそれぞれ対応する、縦方向ラインを224および225とする。
図23では、縦方向ライン224を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第5画像15oとし、縦方向ライン225を基準として左100ピクセル分、右100ピクセル分の領域を縦方向微分第6画像15pとしている。
このように縦方向第2ヒストグラム15nが被検者1のプルキンエ像の現れる部分で極大値を取るといった性質を用いれば、被検者の眼の位置を縦方向で絞り込むことができる。
図24は、横方向第4ヒストグラム15qと縦方向微分第5画像15oの関係および横方向第5ヒストグラム15rと縦方向微分第6画像15pの関係を示す説明図である。縦方向微分第5画像15oの画素値を横方向(積算方向241)で積算すると、そのヒストグラム(横方向第4ヒストグラム15q)は、上瞼の部分で最大値243を取る。また、縦方向微分第6画像15pの画素値を横方向(積算方向242)で積算すると、そのヒストグラム(横方向第5ヒストグラム15r)は、上瞼の部分で最大値244を取る。この最大値243および244にそれぞれ対応する、横方向ラインを245および246とする。
図25は、縦方向微分第5画像15oと第5領域15sの関係および縦方向微分第6画像15pと第6領域15tの関係を示す説明図である。実施例3では、横方向ライン245を基準として、上15ピクセル分、下100ピクセル分の領域を第5領域15sとしている。また、横方向ライン246を基準として、上15ピクセル分、下100ピクセル分の領域を第6領域15tとしている。
このように、横方向第4ヒストグラム15qや横方向第5ヒストグラム15rが被検者1の上瞼付近で最大値をとるといった性質を用いれば、被検者の眼の位置を横方向で絞り込むことができる。
実施例4は、図26に示すように、縦方向微分第1画像15bの横方向第1ヒストグラム15cで、二つ以上の極大値261および262が存在するときでも、横方向ラインを確実に抽出するための技術に関するものである。
ステップS3を例にとると、具体的には、2つの極大値261および262に対して、その直前のフレーム画像を元画像としたときに得られた横方向ラインである前フレーム横方向ライン263と、極大値261および262に対応する横方向ライン264および265との位置関係を比較し、前フレーム横方向ライン263と物理的に近い位置にある横方向ラインを指定する。図26でいえば、前フレーム横方向ライン263に近いラインは横方向ライン265であるため、この横方向ライン265が指定されることになる。
ステップS3を例に取ると、具体的には、図27において、横方向第1ヒストグラム15cのとる値の大きさに応じて(たとえば4個の)粒子x1(t)、x2(t),…,x4(t)を、縦方向微分第1画像15bの上端から下端の範囲で確率的に発生させる。粒子x1(t)、x2(t),…,x4(t)は、横方向第1ヒストグラム15cの大きさに応じて確率的に発生させるので、結果として、極大値261や262の付近に集中して発生しやすくなっている。そして、各粒子x1(t)、x2(t),…,x4(t)の発生させた位置に応じて仮想ライン274a〜274dを取って、図27(c)に示すように、各仮想ライン274a〜274dに対応する縦方向微分第1画像15bの画素パターンを取る。なお、図27(c)では仮想ライン274a〜274dを縦方向に拡大して表示しているが、実際には、縦1ピクセル、横640ピクセルの画像データと等価である。また、同じように、図27(b)に示すように前フレーム横方向ライン263に対応する縦方向微分第1画像15bの画素パターン(すなわち、前に取得したフレーム画像を元画像としたときに得られた縦方向微分第1画像15bの画素パターン)を取る。続いて、各画素パターン(仮想ライン274a〜274d)と、前フレーム横方向ライン263とをそれぞれ比較して、両者の画素パターンの類似性が最も高い仮想ライン274a〜274dを一つ抽出する。類似性の評価にあたっては、数1に示す尤度R(i)を用いる方法などが考えられる。
なお、第2の方法では、前フレーム横方向ライン263を、その直前のフレーム画像を元画像としたときに得られた横方向ラインとしなくともよく、たとえば、前フレーム横方向ライン263を、被検者1について最初に取得したフレーム画像を元画像としたときに得られた横方向ラインから定めるようにしもよい。このように、最初のフレーム画像を用いることで、参照される前フレーム横方向ライン263が変わることがなく、誤検出を少なくさせることができる。
パーティクルフィルタ法は、各時刻における状態ベクトルを逐次的に推定する手法であり、独立な実現値とみなせる多数のパーティクル(=状態ベクトル)を発生させ、各パーティクルについて、次の状態を近似によって推定し(手順a)、更に次の状態として残すべきパーティクルを、そのパーティクルを確率分布に従ってリサンプリングし(手順b)、この手順aと手順bを繰り返すことで、各時刻における状態が逐次的に推定されるというものである(非特許文献2参照)。
そして、各粒子iに対して、対応する尤度R(i)と、対応する横方向第1ヒストグラム15cのとる値f(xi(t))との積R(i)×f(xi(t))を算出し、積R(i)×f(xi(t))をもって、パーティクルフィルタ法にて発生させる次世代の粒子i=i(t+Δt)を決定する。
次世代の粒子を決定するにあたっては、タイミングtにおける各粒子iについて積R(i)×f(xi(t))を算出し、この積の値が高い粒子が次タイミングにおける候補に採用されやすいような方法で再発生させる。
ここで、次タイミングt+Δtにおける粒子は、数2にて決定する。
ただし、Nは粒子の個数である。
図29において、眼部領域検出装置10は、被検者1の顔部を撮影するビデオカメラ16と、ビデオカメラ16によって撮影された被検者1の顔部の映像を取得するビデオキャプチャ11eと、ビデオキャプチャ11eによって取得された画像を元画像データ14aとして被検者1の左眼部分および右眼部分を画像処理によって抽出する眼部領域検出プログラム13aと、右眼部分、左眼部分あるいは両眼部分を抽出した画像データをもとに被検者1の瞼の開度を測定する瞼開度検出プログラム13cを備える。
なお、眼部領域検出装置10には、被検者1に赤外領域の光を照射する赤外照明17を備え、ビデオカメラ16は赤外領域を撮影する赤外カメラとすることが好ましい。
瞼開度検出プログラム13cは、眼部領域検出プログラム13aによる右眼部分画像データ14cの生成が終了するたびに起動する。すなわち、瞼開度検出プログラム13cは、ビデオカメラ16のフレームレートと同じ間隔で繰り返し起動することとなる。
2 検査者
10 眼部領域検出装置
11 計算機
11a CPU
11b クロック
11c グラフィックカード
11d 入力端子
11e ビデオキャプチャ
11f ディスプレイ
11g キーボード
12 記憶装置
13 プログラム記憶領域
13a 眼部領域検出プログラム
13b ビデオ画像取得プログラム
13c 瞼開度検出プログラム
14 画像データ記憶領域
14a 元画像データ
14b 左眼部分画像データ
14c 右眼部分画像データ
14d 瞼開度データ
15 メモリ
15a 元画像データ
15b 縦方向微分第1画像
15c 横方向第1ヒストグラム
15d 縦方向微分第2画像
15e 縦方向第1ヒストグラム
15f 第1領域
15g 第2領域
15h 縦方向微分第3画像
15i 縦方向微分第4画像
15j 横方向第2ヒストグラム
15k 横方向第3ヒストグラム
15l 第3領域
15m 第4領域
15n 縦方向第2ヒストグラム
15o 縦方向微分第5画像
15p 縦方向微分第6画像
15q 横方向第4ヒストグラム
15r 横方向第5ヒストグラム
15s 第5領域
15t 第6領域
15u 正エッジ画像
15v 負エッジ画像
15w 正エッジ画像ヒストグラム
15x 負エッジ画像ヒストグラム
15y 上瞼ライン
15z 下瞼ライン
16 ビデオカメラ
17 赤外照明
51 積算方向
52 最大値
53 横方向ライン
71 積算方向
72、73 極大値
74、75 縦方向ライン
131 積算方向
132、133 極大値
134、135 横方向ライン
151 積算方向
152、153 極大値
154、155 縦方向ライン
171、172 積算方向
173、174 最大値
175、176 横方向ライン
221 積算方向
222、223 極大値
224、225 縦方向ライン
241、242 積算方向
243、244 最大値
245、246 横方向ライン
261、262 極大値
263 前フレーム横方向ライン
264、265 横方向ライン
274a〜274d 仮想ライン
281〜283 粒子
311、313 積算方向
312、314 最大値
x1(t)、x2(t),…,x4(t) 粒子
Claims (11)
- 被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向で微分して、その微分された画素によって構成される画像を縦方向微分第1画像として生成するステップS1と、
前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第1ヒストグラムとして生成するステップS2と、
前記横方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の横方向のラインを指定して、前記縦方向微分第1画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第2画像として取得するステップS3と、
前記縦方向微分第2画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第1ヒストグラムとして生成するステップS4と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第1領域として生成するステップS5と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第2領域として生成するステップS6と、
によって、前記元画像のうち、前記第1領域および前記第2領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。 - 前記ステップS1からS4までの各ステップと、
前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第3画像として取得するステップS7と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第4画像として取得するステップS8と、
前記縦方向微分第3画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第2ヒストグラムとして生成するステップS9と、
前記縦方向微分第4画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第3ヒストグラムとして生成するステップS10と、
前記横方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第3画像の横方向のラインを指定して、前記縦方向微分第3画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第3領域として生成するステップS11と、
前記横方向第3ヒストグラムの最大値または極大値に対応する、前記縦方向微分第4画像の横方向のラインを指定して、前記縦方向微分第4画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第4領域として生成するステップS12と、
によって、前記元画像のうち、前記第3領域および前記第4領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。 - 前記ステップS1と、
前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第2ヒストグラムとして生成するステップS13と、
前記縦方向微分第1画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第5画像として取得するステップS14と、
前記縦方向微分第1画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第6画像として取得するステップS15と、
前記縦方向微分第5画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第4ヒストグラムとして生成するステップS16と、
前記縦方向微分第6画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第5ヒストグラムとして生成するステップS17と、
前記横方向第4ヒストグラムの最大値または極大値に対応する、前記縦方向微分第5画像の横方向のラインを指定して、前記縦方向微分第5画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第5領域として生成するステップS18と、
前記横方向第5ヒストグラムの最大値または極大値に対応する、前記縦方向微分第6画像の横方向のラインを指定して、前記縦方向微分第6画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第6領域として生成するステップS19と、
によって、前記元画像のうち、前記第5領域および前記第6領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出プログラム。 - 前記ステップS3、ステップS11、ステップS12、ステップS18あるいはステップS19、または、前記ステップS5、ステップS6、ステップS7、ステップS8、ステップS14あるいはステップS15において、該ヒストグラムの極大値に対応する横方向または縦方向のラインが2本以上存在するときには、その直前のフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインと最も近い位置にあるラインを指定することを特徴とする請求項1ないし請求項3のいずれかに記載の眼部領域検出プログラム。
- 前記ステップS3、ステップS11、ステップS12、ステップS18あるいはステップS19、または、前記ステップS5、ステップS6、ステップS7、ステップS8、ステップS14あるいはステップS15において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、そのヒストグラムのとる値の大きさに応じてランダムに発生する横方向または縦方向の仮想ラインを複数本生成させ、前に取得したフレーム画像を前記元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第1画像、前記縦方向微分第2画像、前記縦方向微分第3画像、前記縦方向微分第4画像、前記縦方向微分第5画像、あるいは、前記縦方向微分第6画像の画素パターンと、前記仮想ラインに対応する前記元画像、前記縦方向微分第1画像、前記縦方向微分第2画像、前記縦方向微分第3画像、前記縦方向微分第4画像、前記縦方向微分第5画像、あるいは、前記縦方向微分第6画像の画素パターンと、をそれぞれ比較し、両者の画素パターンの類似性が最も高い前記仮想ラインを横方向または縦方向のラインとして指定することを特徴とする請求項1ないし請求項3のいずれかに記載の眼部領域検出プログラム。
- 前記ステップS3、ステップS11、ステップS12、ステップS18あるいはステップS19、または、前記ステップS5、ステップS6、ステップS7、ステップS8、ステップS14あるいはステップS15において、該ヒストグラムの最大値または極大値に対応する横方向または縦方向のラインを指定する代わりに、横方向または縦方向の仮想ラインに相当するパーティクルフィルタ法による粒子i=i(t)を複数個生成させ、前記各粒子iについて、前に取得したフレーム画像を元画像としたときに得られた該横方向または該縦方向のラインに対応する前記元画像、前記縦方向微分第1画像、前記縦方向微分第2画像、前記縦方向微分第3画像、前記縦方向微分第4画像、前記縦方向微分第5画像、あるいは、前記縦方向微分第6画像の画素パターンと、
前記仮想ラインに対応する前記元画像、前記縦方向微分第1画像、前記縦方向微分第2画像、前記縦方向微分第3画像、前記縦方向微分第4画像、前記縦方向微分第5画像、あるいは、前記縦方向微分第6画像の画素パターンと、をそれぞれ比較して尤度R(i)を算出し、前記各粒子iについて、対応するラインの取る座標をxi(t)としたとき、該ヒストグラムのとる値f(xi(t))と、前記尤度R(i)との積R(i)×f(xi(t))を算出し、前記積R(i)×f(xi(t))をもって、前記パーティクルフィルタ法にて発生させる次世代の粒子i=i(t+Δt)を決定すると共に、前記尤度R(i)または前記積R(i)×f(xi(t))の値が最も高い粒子に対応する前記仮想ラインを横方向または縦方向のラインとして指定し、または、各粒子iに対応するラインがとる座標xi(t)について、前記積R(i)×f(xi(t))の値に応じて重みづけ平均をとった座標に対応するラインを横方向または縦方向のラインとして指定することを特徴とする請求項1ないし請求項3のいずれかに記載の眼部領域検出プログラム。 - 被検者の顔を含んだ元画像を取得して、その画素の濃度値を縦方向から微分して、その微分された画素によって構成される画像を縦方向微分第1画像として生成する手順S1と、
前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第1ヒストグラムとして生成する手順S2と、
前記横方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の横方向のラインを指定して、前記縦方向微分第1画像から前記横方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第2画像として取得する手順S3と、
前記縦方向微分第2画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第1ヒストグラムとして生成する手順S4と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第1領域として生成する手順S5と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を指定して、その指定した所定領域を第2領域として生成する手順S6と、
によって、前記元画像のうち、前記第1領域および前記第2領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。 - 前記手順S1からS4までの各手順と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第3画像として取得する手順S7と、
前記縦方向微分第2画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第1ヒストグラムの最大値または極大値に対応する、前記縦方向微分第2画像の縦方向のラインを指定して、前記縦方向微分第2画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第4画像として取得する手順S8と、
前記縦方向微分第3画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第2ヒストグラムとして生成する手順S9と、
前記縦方向微分第4画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第3ヒストグラムとして生成する手順S10と、
前記横方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第3画像の横方向のラインを指定して、前記縦方向微分第3画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第3領域として生成する手順S11と、
前記横方向第3ヒストグラムの最大値または極大値に対応する、前記縦方向微分第4画像の横方向のラインを指定して、前記縦方向微分第4画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第4領域として生成する手順S12と、
によって、前記元画像のうち、前記第3領域および前記第4領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。 - 前記手順S1と、
前記縦方向微分第1画像の各画素について、その微分値の絶対値、正値または負値を縦方向で積算して得られるヒストグラムを縦方向第2ヒストグラムとして生成する手順S13と、
前記縦方向微分第1画像を左右2つの領域に分割して得られた右側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第5画像として取得する手順S14と、
前記縦方向微分第1画像を左右2つの領域に分割して得られた左側の領域について、前記縦方向第2ヒストグラムの最大値または極大値に対応する、前記縦方向微分第1画像の縦方向のラインを指定して、前記縦方向微分第1画像から前記縦方向のラインを含んだ所定領域を切り出して、その切り出した画像を縦方向微分第6画像として取得する手順S15と、
前記縦方向微分第5画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第4ヒストグラムとして生成する手順S16と、
前記縦方向微分第6画像の各画素について、その微分値の絶対値、正値または負値を横方向で積算して得られるヒストグラムを横方向第5ヒストグラムとして生成する手順S17と、
前記横方向第4ヒストグラムの最大値または極大値に対応する、前記縦方向微分第5画像の横方向のラインを指定して、前記縦方向微分第5画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第5領域として生成する手順S18と、
前記横方向第5ヒストグラムの最大値または極大値に対応する、前記縦方向微分第6画像の横方向のラインを指定して、前記縦方向微分第6画像から前記横方向のラインを含んだ所定領域を指定して、その指定した所定領域を第6領域として生成する手順S19と、
によって、前記元画像のうち、前記第5領域および前記第6領域に相当する部分を、それぞれ、前記被検者の左眼部分および右眼部分として抽出する眼部領域検出方法。 - 被検者の顔部を撮影するビデオカメラと、前記ビデオカメラによって撮影された被検者の顔部の映像を取得するビデオキャプチャと、前記ビデオキャプチャによって取得された画像を元画像として前記被検者の左眼部分および右眼部分を抽出する請求項1ないし請求項6のいずれかに記載する眼部領域検出プログラムと、を備えた眼部領域検出装置。
- さらに、前記被検者に赤外領域の光を照射する赤外照明を備え、前記ビデオカメラは前記赤外領域の像を撮影する赤外カメラであることを特徴とする請求項10に記載の眼部領域検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008218038A JP5276381B2 (ja) | 2008-08-27 | 2008-08-27 | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008218038A JP5276381B2 (ja) | 2008-08-27 | 2008-08-27 | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010055262A true JP2010055262A (ja) | 2010-03-11 |
JP5276381B2 JP5276381B2 (ja) | 2013-08-28 |
Family
ID=42071128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008218038A Expired - Fee Related JP5276381B2 (ja) | 2008-08-27 | 2008-08-27 | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5276381B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2852316A4 (en) * | 2012-05-21 | 2016-09-07 | Univ Hong Kong Chinese | PROOF OF ILLNESSIFICATION OF THE RETINAN FIBER LAYER |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08300978A (ja) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | 顔画像の処理装置 |
JPH0944685A (ja) * | 1995-07-28 | 1997-02-14 | Mitsubishi Electric Corp | 顔画像処理装置 |
JP2000339476A (ja) * | 1999-05-28 | 2000-12-08 | Oki Electric Ind Co Ltd | 目位置及び顔位置検出装置 |
JP2004318205A (ja) * | 2003-04-10 | 2004-11-11 | Sony Corp | 画像処理装置、画像処理方法及び撮影装置 |
-
2008
- 2008-08-27 JP JP2008218038A patent/JP5276381B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08300978A (ja) * | 1995-05-10 | 1996-11-19 | Mitsubishi Electric Corp | 顔画像の処理装置 |
JPH0944685A (ja) * | 1995-07-28 | 1997-02-14 | Mitsubishi Electric Corp | 顔画像処理装置 |
JP2000339476A (ja) * | 1999-05-28 | 2000-12-08 | Oki Electric Ind Co Ltd | 目位置及び顔位置検出装置 |
JP2004318205A (ja) * | 2003-04-10 | 2004-11-11 | Sony Corp | 画像処理装置、画像処理方法及び撮影装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2852316A4 (en) * | 2012-05-21 | 2016-09-07 | Univ Hong Kong Chinese | PROOF OF ILLNESSIFICATION OF THE RETINAN FIBER LAYER |
Also Published As
Publication number | Publication date |
---|---|
JP5276381B2 (ja) | 2013-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
CN104834901B (zh) | 一种基于双目立体视觉的人脸检测方法、装置及系统 | |
JP5569990B2 (ja) | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム | |
JP6007682B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Rigas et al. | Eye movement-driven defense against iris print-attacks | |
TWI603293B (zh) | 眨眼偵測方法及裝置 | |
JP2008146172A (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
JP6007523B2 (ja) | 生成装置、生成プログラムおよび生成方法 | |
JP5225870B2 (ja) | 情動分析装置 | |
WO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
TW201832182A (zh) | 動作學習裝置、技能判別裝置以及技能判別系統 | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
JP2007163864A (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体 | |
CN112633217A (zh) | 基于三维眼球模型计算视线方向的人脸识别活体检测方法 | |
JP5296458B2 (ja) | 瞼開度検出装置、瞼開度検出方法および瞼開度検出プログラム | |
JP4203279B2 (ja) | 注目判定装置 | |
KR101350882B1 (ko) | 영상 분석 서버 | |
JP5276381B2 (ja) | 眼部領域検出装置、眼部領域検出方法および眼部領域検出プログラム | |
TWI466070B (zh) | 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置 | |
Raman et al. | Fatigue monitoring based on yawning and head movement | |
KR20200049936A (ko) | 생체 인식 장치 및 방법 | |
Anwar et al. | Development of real-time eye tracking algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |