JP2006085478A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】黒目の輪郭を精度よく検出可能とした画像処理装置及び画像処理方法を提供すること。
【解決手段】人物を撮影し、その撮影された人物の目の部分の画像について輝度ごとのヒストグラムを作成し（Ｓ１４）、その撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、撮影画像のヒストグラムを目標画像のヒストグラムに合わせるように画像変換し（Ｓ１６）、変換された変換画像に基づいて黒目を検出する（Ｓ１８）。これにより、黒目の部分とそれ以外の部分のコントラストを明瞭にした画像を得ることができる。
【選択図】図２

Description

本発明は、黒目の検出に適した画像処理装置及び画像処理方法に関するものである。

従来、目の検出を行う装置として、特開２００１−１０１４２９号公報に記載されるように、複数の撮像手段を用いて観測対象となる顔面を撮影し、その撮影により得た複数の画像において所定の大きさを有する円弧状の輪郭線を目の虹彩の輪郭線として検出するものが知られている。
特開２００１−１０１４２９号公報

このような装置にあっては、必ずしも目の黒目部分の輪郭線を精度よく検出できないという問題点がある。例えば、撮影手段により撮影された画像において目の付近のコントラストが明瞭でない場合、目の黒目部分の輪郭線も不明瞭となり、その輪郭線を精度よく検出することが困難となる。

そこで本発明は、黒目を精度よく検出可能とした画像処理装置及び画像処理方法を提供することを目的とする。

すなわち、本発明に係る画像処理装置は、人物を撮影する撮像手段と、前記撮像手段により撮影された前記人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成手段と、前記撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、前記撮影画像のヒストグラムを前記目標画像のヒストグラムに合わせるように画像変換する変換手段とを備えて構成されている。

また本発明に係る画像処理装置は、前記変換手段により変換された変換画像に基づいて前記目の黒目を検出する検出手段を備えたことを特徴とする。

これらの発明によれば、撮影画像のヒストグラムを目標画像のヒストグラムに合わせるように撮影画像を変換することにより、撮影画像における黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

また本発明に係る画像処理装置は、人物を撮影する撮像手段と、前記撮像手段により撮影された前記人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段により作成されたヒストグラムにおいて輝度値の低い側から画素数を累積し前記目の黒目の領域に相当する画素数に達した輝度値をしきい値とし、前記しきい値以下の輝度値における画素の輝度値を小さく変換し、前記しきい値より大きい輝度値における画素の輝度値を大きく変換する変換手段とを備えて構成されている。

また本発明に係る画像処理装置は、前記変換手段により変換された変換画像に基づいて前記目の黒目を検出する検出手段を備えたことを特徴とする。

これらの発明によれば、ヒストグラムの輝度値の低い側から画素数を累積し黒目の領域に相当する画素数に達した輝度値をしきい値とし、そのしきい値以下の輝度値における画素の輝度値を小さく変換し、しきい値より大きい輝度値における画素の輝度値を大きく変換することにより、黒目の部分をより暗くしそれ以外の部分をより明るくして黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

また本発明に係る画像処理方法は、人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成工程と、前記撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、前記撮影画像のヒストグラムを前記目標画像のヒストグラムに合わせるように画像変換する変換工程とを備えて構成されている。

また本発明に係る画像処理方法は、前記変換工程にて変換された変換画像に基づいて前記目の黒目を検出する検出工程を備えたことを特徴とする。

これらの発明によれば、撮影画像のヒストグラムを目標画像のヒストグラムに合わせるように撮影画像を変換することにより、撮影画像における黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

また本発明に係る画像処理方法は、人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成工程と、前記ヒストグラム作成工程にて作成されたヒストグラムにおいて輝度値の低い側から画素数を累積し前記目の黒目の領域に相当する画素数に達した輝度値をしきい値とし、前記しきい値以下の輝度値における画素の輝度値を小さく変換し、前記しきい値より大きい輝度値における画素の輝度値を大きく変換する変換工程とを備えて構成されている。

また本発明に係る画像処理方法は、前記変換工程にて変換された変換画像に基づいて前記目の黒目を検出する検出工程を備えたことを特徴とする。

これらの発明によれば、ヒストグラムの輝度値の低い側から画素数を累積し黒目の領域に相当する画素数に達した輝度値をしきい値とし、そのしきい値以下の輝度値における画素の輝度値を小さく変換し、しきい値より大きい輝度値における画素の輝度値を大きく変換することにより、黒目の部分をより暗くしそれ以外の部分をより明るくして黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

本発明によれば、黒目部分とそれ以外の部分とのコントラストを明瞭とでき、黒目を精度よく検出することができる。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
（第一実施形態）
図１は本発明の第一実施形態に係る画像処理装置の構成概要図である。

図１に示すように、本実施形態に係る画像処理装置１は、人物１０を撮影しその撮影画像を画像処理して人物１０の目１１を検出する装置であり、カメラ２と画像処理部３を備えて構成されている。カメラ２は、人物１０を撮影する撮影手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。画像処理部３は、撮影画像を入力して画像処理することにより人物１０の黒目１２を検出する画像処理手段である。この画像処理部３は、カメラ２と接続され、カメラ２により撮影された撮影画像データが入力される。画像処理部３としては、例えば、画像メモリ、画像処理プロセッサ及び信号出力インターフェースを備えたものが用いられる。

次に、本実施形態に係る画像処理装置１の動作及び画像処理方法について説明する。

図２は本実施形態に係る画像処理装置１における画像処理に関するフローチャートであり、本実施形態に係る画像処理方法を示したものである。この図２の制御処理は、例えば画像処理部３によって所定の時間間隔で繰り返し実行される。

まず、図１において、カメラ２により人物１０の撮影が行われ、人物１０の撮影画像が画像処理部３に入力される。

そして、図２のＳ１０に示すように、撮影画像の読み込みが行われる。これにより、人物１０を撮影した画像データが画像メモリに取り込まれる。そして、Ｓ１２に移行し、目１１の撮影領域の抽出処理が行われる。撮影領域抽出処理は、人物１０の撮影画像のうち目１１の部分の撮影領域を抽出する処理である。この撮影領域抽出処理は、例えば、テンプレートマッチングの技術を用い、予め用意した目の周辺の平均的な画像との類似度の高い領域を探すことにより行われる。

図３は、撮影領域抽出処理により抽出された目の撮影領域の画像である。この図３の画像では黒目の輪郭が不明瞭であり、この画像データをそのまま用いて黒目の輪郭を検出しようとすると正確な輪郭を検知することが困難となる。なお、Ｓ１０で取り込まれた撮影画像が図３のように目の周辺の画像である場合には、Ｓ１２の抽出処理を省略する場合もある。

そして、図２のＳ１４に移行し、輝度ヒストグラムの作成処理が行われる。輝度ヒストグラムの作成処理は、撮影領域の各画素について輝度ごとのヒストグラムを作成する処理である。例えば、画素の輝度が２５６階調であるときには、輝度値０〜２５５についてそれぞれ画素数が検出され、輝度値ごとのヒストグラムとして記録される。図４は、図３の撮影領域画像におけるヒストグラムを表したものである。

そして、図２のＳ１６に移行し、輝度値変換処理が行われる。輝度値変換処理は、撮影領域の画像のヒストグラムを目標画像のヒストグラムに合わせるように撮影領域の輝度値を変換する処理である。この輝度値変換処理は、例えば、撮影領域の画像のヒストグラムと目標画像のヒストグラムとを対比し、撮影領域の画像のヒストグラムを目標画像のヒストグラムに合わせるように撮影領域の輝度値を振り分けて行われる。この輝度値の振り分けに際し、変換テーブルを作成し、このテーブルを用いて輝度値を変換することが好ましい。

目標画像は、予め画像処理部３に記録されている目の部分の画像であり、黒目の輪郭が所定以上に明瞭である理想画像が用いられる。図５に目標画像の一例を示す。図６は、図５の目標画像のヒストグラムである。

図７に輝度値変換処理の説明図を示す。この図７は、輝度値変換処理の概念を具体的に示したものである。図７（ａ）は撮影画像から作成したヒストグラムＢであり、図７（ｂ）は予め設定される目標画像から作成したヒストグラムＡである。なお、これら図７（ａ）、（ｂ）の各画像は、本処理の理解を容易にするため画素数を減らして示してある。

図７（ａ）の撮影画像のヒストグラムＢと図７（ｂ）の目標画像のヒストグラムＡは、いずれも１７画素分の度数を持っている。ヒストグラムＡの輝度ｉの度数をＨＡ（ｉ）、ヒストグラムＢの輝度ｉの度数をＨＢ（ｉ）とすると、まずＨＡ（ｉ）が０でない最小のｉを検出する。ここでは、輝度ｉが０のときにＨＡ（ｉ）が４となっているので、ｉ＝０がそれに該当する。

そして、ＨＡ（０）の度数と同じ度数になるまでｉ＝０から順にＨＢ（ｉ）の度数を累積加算し、その結果からヒストグラムＢを変更し、変換テーブルを作成していく。

ここでは、ヒストグラムＢの輝度値０の度数１と輝度値１の度数の中の３を合わせると、累積加算した結果として４になる。そこで、ヒストグラムＢの輝度値０の度数１及び輝度値１の度数３を引き、図７（ｃ）のヒストグラムＢの変更１のようになる。また、変換テーブルは、輝度値０の度数１と輝度値１の度数３を変更後の輝度として０にすることを図７（ｄ）のテーブルの加筆１のように記録する。

そして、ＨＡ（ｉ）が０でない輝度値ｉを探す。ここでは、ヒストグラムＡの輝度値１がそれである。そこで、上述したような処理を繰り返し、図７（ｅ）のヒストグラムＢの変更２及び図７（ｆ）のテーブルの加筆２のようにする。さらに、同様な処理を繰り返し、図７（ｇ）のヒストグラムＢの変更３及び図７（ｈ）のテーブルの加筆３のようにする。

そして、作成したテーブルに基づいて撮影画像の輝度値の変換を行う。すなわち、図７（ｈ）において、輝度値０の画素の輝度値はそのまま０とし、輝度値１の四つの画素のうち三つを輝度値０とし一つをそのまま輝度値１とし、輝度値２の三つの画素の輝度値を１とし、輝度値３の五つの画素のうち一つを輝度値１、一つを輝度値２、三つを輝度値３とし、輝度値４の四つの画素のうち一つを輝度値３、三つをそのまま輝度値４とする。

このような処理を行うことにより、撮影領域の画像のヒストグラムが目標画像のヒストグラムと同様な輝度分布のものとなる。

図８はこのような処理により変換された変換画像である。図９はこの処理により変換された変換画像のヒストグラムである。図９に示すように、ヒストグラムは図４の目標画像のヒストグラムと同様な輝度分布のものとなっている。そして、図８に示すように、黒目の輪郭が図３の画像に比べて明らかに明瞭化されている。

ここで、図２に戻り、Ｓ１６にて輝度値変換処理を終えたらＳ１８に移行し、変換した画像に基づいて黒目検出処理が行われる。この黒目検出処理は、目の黒目の部分を検出する処理である。例えば、エッジ処理により黒目の輪郭が検出され、その輪郭線から黒目の中心が検出される。

以上のように、本実施形態に係る画像処理装置及び画像処理方法によれば、撮影画像について輝度ごとのヒストグラムを作成し、その撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、撮影画像のヒストグラムを目標画像のヒストグラムに合わせるように画像変換する。これにより、撮影画像のコントラストが目標画像のコントラストと同様なものとなり、撮影画像における黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

また、撮影画像の黒目の部分のコントラストを明瞭にすることにより、黒目の検出が精度よく行える。

特に、画像処理装置１を車両に取り付け、運転者を撮影しその運転者の黒目の位置を検出して運転者の視線検出に適用する場合に有用である。
（第二実施形態）
次に第二実施形態に係る画像処理装置及び画像処理方法について説明する。

本実施形態に係る画像処理装置及び画像処理方法は、輝度値変換処理として、所定のしきい値より小さい輝度の画素の輝度値をその輝度値より小さく変換し、しきい値以上の輝度の画素の輝度値をその輝度値より大きく変換するものである。

本実施形態に係る画像処理装置は、図１に示す第一実施形態に係る画像処理装置と同様なハード構成を備えるものが用いられる。また本実施形態に係る画像処理方法は、図２に示す第一実施形態に係る画像処理装置とほぼ同様な制御処理により行われるものであるが、Ｓ１６輝度値変換処理の処理内容のみが異なっている。

本実施形態に係る画像処理方法における輝度値変換処理について説明する。

図１０に撮影画像と輝度値変換処理後の変換画像を示す。図１１に輝度値変換処理の説明図を示す。

図１０（ａ）は、カメラ２により撮影され目の部分を抽出した撮影画像である。図１０（ｂ）は輝度変換処理により変換された変換画像である。図１１（ａ）は、図１０（ａ）の撮影画像のヒストグラムであり、その横軸は輝度値であり縦軸は度数である。

本実施形態に係る輝度値変換処理は、まず、図１１（ａ）のヒストグラムにおいて、輝度値の低い側から画素数を累積し、目の黒目の領域に相当する画素数に達した輝度値をしきい値Ａとして設定する。

そして、そのしきい値Ａ以下の輝度値における画素の輝度値を小さく変換し、しきい値Ａより大きい輝度値における画素の輝度値を大きく変換する。例えば、図１１（ｂ）に示すように、しきい値Ａ以下の輝度値における画素の輝度値をその輝度値より小さく変換し、しきい値Ａより大きい輝度値における画素の輝度値をその輝度値より大きく変換する変換関数を用いる。この変換関数の横軸は入力輝度値、縦軸は出力輝度値である。この変換関数を用いて、撮影画像の各画素の輝度を変換することにより、図１０（ｂ）の変換画像が得られる。変換画像のヒストグラムは、図１１（ｃ）のようになる。

この図１０（ｂ）の変換画像を図１０（ａ）の撮影画像と比べると、黒目の輪郭が明瞭なものとなっている。

そして、この変換画像に基づいて黒目検出処理を行うことにより、黒目の部分を精度よく検出でき、黒目の中心位置が正確に検出できる。

以上のように、本実施形態に係る画像処理装置及び画像処理方法によれば、撮影画像のヒストグラムの輝度値の低い側から画素数を累積し黒目の領域に相当する画素数に達した輝度値をしきい値とし、そのしきい値以下の輝度値における画素の輝度値を小さく変換し、しきい値より大きい輝度値における画素の輝度値を大きく変換する。これにより、黒目の部分をより暗くしそれ以外の部分をより明るくして黒目の部分とそれ以外の部分のコントラストを明瞭にすることができる。

また、撮影画像の黒目の部分のコントラストを明瞭にすることにより、黒目の検出が精度よく行える。

特に、画像処理装置を車両に取り付け、運転者を撮影しその運転者の黒目の位置を検出して運転者の視線検出に適用する場合に有用である。

本発明の第一実施形態に係る画像処理装置の構成概要図である。 図１の画像処理装置の動作及び画像処理方法を示すフローチャートである。 図１の画像処理装置により画像処理される撮影画像である。 図３の撮影画像のヒストグラムである。 画像処理に用いられる目標画像である。 図５の目標画像のヒストグラムである。 図１の画像処理装置における輝度値変換処理の説明図である。 図１の画像処理装置により輝度変換された変換画像である。 図８の変換画像のヒストグラムである。 第二実施形態に係る画像処理装置における輝度値変換処理の説明図である。 第二実施形態に係る画像処理装置における輝度値変換処理の説明図である。

符号の説明

１…画像処理装置、２…カメラ（撮影手段）、３…画像処理部、１０…人物、１１…目、１２…黒目。

Claims (8)

1. 人物を撮影する撮像手段と、
   前記撮像手段により撮影された前記人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成手段と、
   前記撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、前記撮影画像のヒストグラムを前記目標画像のヒストグラムに合わせるように画像変換する変換手段と、
   を備えた画像処理装置。
2. 前記変換手段により変換された変換画像に基づいて前記目の黒目を検出する検出手段を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 人物を撮影する撮像手段と、
   前記撮像手段により撮影された前記人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段により作成されたヒストグラムにおいて輝度値の低い側から画素数を累積し前記目の黒目の領域に相当する画素数に達した輝度値をしきい値とし、前記しきい値以下の輝度値における画素の輝度値を小さく変換し、前記しきい値より大きい輝度値における画素の輝度値を大きく変換する変換手段と、
   を備えた画像処理装置。
4. 前記変換手段により変換された変換画像に基づいて前記目の黒目を検出する検出手段を備えたことを特徴とする請求項３に記載の画像処理装置。
5. 人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成工程と、
   前記撮影画像のヒストグラムと予め用意されている目標画像のヒストグラムを対比し、前記撮影画像のヒストグラムを前記目標画像のヒストグラムに合わせるように画像変換する変換工程と、
   を備えた画像処理方法。
6. 前記変換工程にて変換された変換画像に基づいて前記目の黒目を検出する検出工程を備えたことを特徴とする請求項５に記載の画像処理方法。
7. 人物の目の部分の撮影画像について輝度ごとのヒストグラムを作成するヒストグラム作成工程と、
   前記ヒストグラム作成工程にて作成されたヒストグラムにおいて輝度値の低い側から画素数を累積し前記目の黒目の領域に相当する画素数に達した輝度値をしきい値とし、前記しきい値以下の輝度値における画素の輝度値を小さく変換し、前記しきい値より大きい輝度値における画素の輝度値を大きく変換する変換工程と、
   を備えた画像処理方法。
8. 前記変換工程にて変換された変換画像に基づいて前記目の黒目を検出する検出工程を備えたことを特徴とする請求項７に記載の画像処理方法。

Images