JP2006190106A - パターン検出プログラムおよびパターン検出装置 - Google Patents

Abstract

【課題】 画像データから短時間にパターン検出を行うことができるようにする。
【解決手段】 パーソナルコンピュータ２のプログラムメモリ１１には、パターン検出プログラム１７が記憶されている。パターン検出プログラム１７が起動すると、ＣＰＵ１０には、縮小画像生成部２０、パターン検出部２１、および座標変換部２２が生成される。縮小画像生成部２０は、画像データの画素を間引いてデータ容量を減らすことにより縮小画像データを生成する。パターン検出部２１は、生成された縮小画像データから人物の目などのパターンおよびその座標を検出する。座標変換部２２は、パターン検出部２１によって特定されたパターンの座標を当初の画像データにおける座標に変換する。
【選択図】 図１

Description

本発明は、画像から人物の顔などのパターンを検出するパターン検出プログラムおよびパターン検出装置に関する。

デジタルカメラなどの電子撮像装置、および、電子撮像装置によって得られた画像データをパーソナルコンピュータ（ＰＣ）のモニタ画面上で閲覧して鑑賞するための画像ビューアが普及している。画像ビューアとは、ＰＣに組み込まれたソフトウェアであり、画像の表示、複写、削除、画像の切り抜き、回転、サイズ変更などの各種処理を統合的に操作可能とするものである。このような電子撮像装置や画像ビューアには、画像中の人物の顔に対して赤目補正や肌色補正などの画像処理を行うために、画像中から人物の目や輪郭などを検出するパターン検出機能を備えたものがある。

近年の電子撮像装置に搭載されるイメージセンサの高画素化に伴い、撮影によって得られる画像のデータ量が膨大となり、これによって、上記パターン検出処理に要される時間が増加するといった問題がある。この処理時間を短縮するために、画像を複数に区分した各領域を明るさについて平均した上で２値化し、２値化された画像データに基づいてパターン検出を行うようにした技術が提案されている（特許文献１参照）。
特開平６−８４０１３号公報

しかしながら、上記特許文献１記載の技術では、区分された各領域を明るさについて平均し、この平均値を基準値と比べることによって２値化を実施しており、この処理に要される時間は無視できず、画像のデータ量の増加に伴って大きくなるため、依然として問題である。

本発明は、上記課題を鑑みてなされたものであり、画像データから短時間にパターン検出を行うことが可能なパターン検出プログラムおよびパターン検出装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、画像データからパターン検出を行うことをコンピュータに実行させるためのパターン検出プログラムであって、前記画像データの画素を間引いてデータ容量を減らすことにより縮小画像データを生成する縮小画像生成処理と、前記縮小画像データから特定のパターンおよびその座標を検出するパターン検出処理と、このパターン検出処理によって特定された座標を前記画像データにおける座標に変換する座標変換処理とを前記コンピュータに実行させることを特徴とする。

請求項２に記載の発明は、画像データからパターン検出を行うことをコンピュータに実行させるためのパターン検出プログラムであって、前記画像データから画像の向きを示す方向データを読み取り、この方向データに基づいて設定したパターン検索領域を前記画像データから切り出す検索領域切り出し処理と、この検索領域切り出し処理によって切り出されたデータ領域から特定のパターンおよびその座標を検出するパターン検出処理と、このパターン検出処理によって特定された座標を前記画像データにおける座標に変換する座標変換処理とを前記コンピュータに実行させることを特徴とする。

なお、前記パターン検出処理において、前記パターンとして人物の目を検出することを前記コンピュータに実行させることが好ましい。また、前記パターン検出の前に、前記画像データの各画素を輝度に基づいて２値化することを前記コンピュータに実行させることが好ましい。

請求項５に記載の発明は、画像データからパターン検出を行うパターン検出装置であって、前記画像データの画素を間引いてデータ容量を減らした縮小画像データを生成する縮小画像生成手段と、前記縮小画像データから特定のパターンおよびその座標を検出するパターン検出手段と、このパターン検出手段によって特定された座標を前記画像データにおける座標に変換する座標変換手段とを備えたことを特徴とする。

請求項６に記載の発明は、画像データからパターン検出を行うパターン検出装置であって、前記画像データから画像の向きを示す方向データを読み取り、この方向データに基づいて設定したパターン検索領域を前記画像データから切り出す検索領域切り出し手段と、この検索領域切り出し手段によって切り出されたデータ領域から特定のパターンおよびその座標を検出するパターン検出手段と、このパターン検出手段によって特定された座標を前記画像データにおける座標に変換する座標変換手段とを備えたことを特徴とする。

なお、前記パターン検出手段は、前記パターンとして人物の目を検出することが好ましい。また、前記パターン検出の前に、前記画像データの各画素を輝度に基づいて２値化することが好ましい。

本発明のパターン検出プログラムおよびパターン検出装置によれば、画像データの画素を間引いてデータ容量を減らすことにより縮小画像データを生成し、この縮小画像データから特定のパターンおよびその座標を検出し、これにより特定された座標を当初の画像データにおける座標に変換するようにしたので、短時間にパターン検出を行うことが可能となる。

また、本発明のパターン検出プログラムおよびパターン検出装置によれば、画像データから画像の向きを示す方向データを読み取り、この方向データに基づいて設定したパターン検索領域を画像データから切り出す検索領域切り出し、切り出されたデータ領域から特定のパターンおよびその座標を検出し、これにより特定された座標を当初の画像データにおける座標に変換するようにしたので、短時間にパターン検出を行うことが可能となる。

本発明の第１実施形態を図１〜図５に基づいて説明する。図１において、パーソナルコンピュータ（ＰＣ）２は、ＣＰＵ１０により全体を統括的に制御される。ＣＰＵ１０には、プログラムメモリ１１、データメモリ１２、画像メモリ１３、モニタ１４、操作部１５、および通信インターフェース（Ｉ／Ｆ）１６が接続されている。

プログラムメモリ１１は、ＰＣ２の起動時に必要な各種プログラムやデータのほか、パターン検出プログラム１７を記憶している。データメモリ１２は、後述するパターン検出部２１によって参照される複数の参照パターン（人物の目のパターンなど）を記憶している。画像メモリ１３は、デジタルカメラ１８から通信Ｉ／Ｆ１６を介して送信されるデジタル化された画像データを記憶している。プログラムメモリ１１、データメモリ１２、および画像メモリ１３は、それぞれ半導体メモリや磁気メモリなどからなり、これらを一体のメモリで構成してもよい。

モニタ１４は、ＬＣＤやＣＲＴなどからなり、後述する画像表示ビューア４０や各種の情報を表示する。操作部１５は、キーボードやマウスなどからなり、ユーザによる操作をＣＰＵ１０に伝達する。ＣＰＵ１０は、操作部１５の操作に応答して、ＰＣ２の各部の動作を制御する。通信Ｉ／Ｆ１６は、デジタルカメラ１８などの外部機器とＵＳＢケーブル（不図示）など介してデータの送受信を行う。

操作部１５の操作によりプログラムメモリ１１内のプログラムが起動すると、そのプログラムに対応した処理機能がＣＰＵ１０に生成される。パターン検出プログラム１７が起動した場合には、縮小画像生成部２０、パターン検出部２１、および座標変換部２２の処理機能がＣＰＵ１０に生成される。

縮小画像生成部２０は、図２（Ａ），（Ｂ）に示すように、画像メモリ１３に記憶された画像データ３０の画素を間引いて、データ量の小さな縮小画像データ３１を新たに生成する。縮小画像生成部２０は、図２（Ａ）に示す“ｍ×ｎ”個の画素（Ａ００，Ａ０１，・・・，Ａｍｎ）からなる画像データ３０を、例えば１画素おきに読み出し、図２（Ｂ）に示す“（ｍ／２）×（ｎ／２）”個の縮小画像データ３１を生成する。この場合、縮小画像データ３１のデータ容量は、画像データ３０のデータ容量の４分の１となる。なお、画像データ３０から間引く画素の数は適宜の数としてよく、また、横方向と縦方向とで間引く画素の数を代えてもよい。

パターン検出部２１は、縮小画像生成部２０によって生成された縮小画像データ３１を走査して、データメモリ１２に記憶された参照パターンと比較し、縮小画像生成部２０から特定のパターンおよびその位置（座標）を検出する。本実施形態では、参照パターンとして人物の目のパターンを用い、人物の両目およびその座標を検出する。

座標変換部２２は、パターン検出部２１によって検出されたパターンの座標を、縮小画像生成部２０における座標から当初の画像データ３０における座標へと変換する。この座標変換は、縮小画像生成部２０によって間引かれた画素の数に基づいて行われる。図２のように、横方向と縦方向とに１つおきに画素を間引いた場合には、縮小画像生成部２０における座標を各方向に２倍すれば、画像データ３０における座標となる。

ＣＰＵ１０に生成された各種処理機能は、座標変換部２２によって変換された座標に基づいて、該パターンに対して各種画像処理を実行することができる。該パターンが人物の目である場合には、その目に赤目補正を行ったり、その両目の間隔から顔領域を特定して肌色補正を行ったりすることができる。

また、ＣＰＵ１０に生成された各種処理機能は、図３に示すような画像表示ビューア４０をモニタ１４の画面上に表示する。画像表示ビューア４０には、フォルダ４１のファイル検索を補助するためのエクスプローラウィンドウ４２ａと、画像データ３０のサムネイル画像４３を表示するためのサムネイルウィンドウ４２ｂと、レビュー画像４４を表示するための画像表示ウィンドウ４２ｃとが形成されている。レビュー画像４４は上記画像データ３０を表示したものであり、サムネイル画像４３は上記縮小画像データ３１を表示したものである。

次に、パターン検出プログラム１７の処理手順を図４および図５に基づいて説明する。図４において、パターン検出プログラム１７が起動されると、ＣＰＵ１０に縮小画像生成部２０、パターン検出部２１、および座標変換部２２が生成される。まず、縮小画像生成部２０により、図５（Ａ）に示す画像データ３０の画素が間引かれ、図５（Ｂ）に示すようにデータ容量が縮小された縮小画像データ３１が生成される。例えば、４０１６×２６１６個の画素からなる約１０メガピクセルの画像データ３０を図２のようにして画素を１つおきに間引くと、２００８×１３０８個の画素からなる約２．５メガピクセルの縮小画像データ３１が生成される。

このようにして、図５（Ａ）に示す画像データ３０から図５（Ｂ）に示す縮小画像データ３１が生成され、パターン検出部２１によって、縮小画像データ３１から人物の目が検索される。この結果、図５（Ｂ）に示すように、検出された人物の両目の右目座標Ｐ１（Ｘ₁，Ｙ₁）および左目座標Ｐ２（Ｘ₂，Ｙ₂）が特定される。そして、座標変換部２２によって、座標Ｐ１（Ｘ₁，Ｙ₁）が座標Ｐ１’（Ｘ₁’，Ｙ₁’）、座標Ｐ２（Ｘ₂，Ｙ₂）が座標Ｐ２’（Ｘ₂’，Ｙ₂’）に変換される。図２のようにして画素を１つおきに間引いた場合には、Ｘ₁’＝Ｘ₁×２，Ｙ₁’＝Ｙ₁×２，Ｘ₂’＝Ｘ₂×２，およびＹ₂’＝Ｙ₂×２の関係式により変換される。

このようにして得られた座標Ｐ１’，Ｐ２’により、図５（Ｃ）に示すように画像データ３０中の人物の両目位置が特定され、パターン検出処理が終了する。この後、座標Ｐ１’，Ｐ２’は、ＣＰＵ１０に生成された各種処理機能によって実施される各種画像処理に利用される。以上のように、パターン検出はデータ量の少ない縮小画像データ３１に基づいて行われ、かつ、縮小画像データ３１の生成および座標変換いずれも短時間で処理が行われるので、従来に比べ、パターン検出処理全体に要される時間が短縮される。

上記とは別の第２実施形態を図６および図７に基づいて説明する。図６は、本第２実施形態のパーソナルコンピュータ（ＰＣ）３の構成を示す。なお、第１実施形態と共通なものについては同一の符号を付してある。本第２実施形態において、プログラムメモリ１１には、第１実施形態とは異なる処理をＰＣ３実施させるパターン検出プログラム５０が記憶されている。パターン検出プログラム５０が起動すると、検索領域切り出し部５１、パターン検出部５２、および座標変換部５３の処理機能がＣＰＵ１０に生成される。

画像メモリ１３に記憶された画像データ５４には、画像の向き（鉛直上方向がどちらか）を示す方向データＤが含まれている。この方向データＤは、例えばデジタルカメラ１８の内部に組み込まれた不図示の方向センサ（ジャイロセンサなど）によって画像データ５４中に記録されるものである。

検索領域切り出し部５１は、画像データ５４から方向データＤを読み取り、図７（Ａ）〜（Ｃ）に示すように、方向データＤに基づいて設定した矩形のパターン検索領域５５を画像データ５４から切り出す。人物を撮影する場合には、人物の顔（主要被写体）の存在する位置は、画像データ５４内の鉛直上方側に位置する傾向があるため、パターン検索領域５５は鉛直上方側に寄った位置に設定される。図７（Ａ）は方向データＤが“上”を示す場合、図７（Ｂ）は方向データＤが“右”を示す場合、図７（Ｃ）は方向データＤが“左”を示す場合である。

パターン検出部５２は、検索領域切り出し部５１によって切り出されたデータ領域を走査して、データメモリ１２に記憶された参照パターンと比較し、特定のパターンおよびその位置（座標）を検出する。本実施形態では、参照パターンとして人物の目のパターンを用い、人物の両目およびその座標を検出する。座標変換部５３は、パターン検出部５２によって特定された座標を画像データ５４における座標に変更する。

このように、パターン検出プログラム５０は、画像データ５４に含まれた方向データＤに基づいて、主要被写体が含まれると推定されるデータ領域を切り出し、この切り出したデータ領域についてのみパターン検索を実施するので、従来に比べ、パターン検出処理全体に要される時間が短縮される。

上記第１および第２実施形態では、検出対象のパターンとして人物の目としたが、本発明はこれに限定されず、人物の鼻や口、輪郭などを検出対象としてもよく、さらには、文字、記号、図柄などを検出対象としてもよい。

また、上記第１および第２実施形態において、画像データ３０，５４の各画素を輝度に基づいて２値化した後に上記パターン検出を行うようにしてもよい。これにより、検索対象の画像データのデータ容量がさらに低減するので、パターン検出処理に要される時間がさらに短縮する。

また、上記第１および第２実施形態では、本発明をパーソナルコンピュータに適用した例を示したが、本発明はこれに限定されず、デジタルスチルカメラ、デジタルビデオカメラ、フォトストレージ、ＰＤＡ、携帯電話機など、画像表示装置を備えた各種電子機器に本発明を適用することができる。

本発明の第１実施形態のパーソナルコンピュータの構成を示すブロック図である。 縮小画像データの生成方法を示す図である。 モニタの画面上に表示される画像表示ビューアを示す図である。 パターン検出プログラムの処理手順を示すフローチャートである。 縮小画像データの生成、パターン検出、および座標変換を説明する図である。 本発明の第１実施形態のパーソナルコンピュータの構成を示すブロック図である。 パターン検索領域が方向データに応じて設定され様子を示す図である。

符号の説明

２，３ パーソナルコンピュータ
１０ ＣＰＵ
１１ プログラムメモリ
１２ データメモリ
１３ 画像メモリ
１７ パターン検索プログラム
２０ 縮小画像生成部
２１ パターン検出部
２２ 座標変換部
３０ 画像データ
３１ 圧縮画像データ
５０ パターン検索プログラム
５１ 検索領域切り出し部
５２ パターン検出部
５３ 座標変換部
５４ 画像データ
５５ パターン検索領域

Claims (8)

1. 画像データからパターン検出を行うことをコンピュータに実行させるためのパターン検出プログラムであって、
   前記画像データの画素を間引いてデータ容量を減らすことにより縮小画像データを生成する縮小画像生成処理と、
   前記縮小画像データから特定のパターンおよびその座標を検出するパターン検出処理と、
   このパターン検出処理によって特定された座標を前記画像データにおける座標に変換する座標変換処理とを前記コンピュータに実行させることを特徴とするパターン検出プログラム。
2. 画像データからパターン検出を行うことをコンピュータに実行させるためのパターン検出プログラムであって、
   前記画像データから画像の向きを示す方向データを読み取り、この方向データに基づいて設定したパターン検索領域を前記画像データから切り出す検索領域切り出し処理と、
   この検索領域切り出し処理によって切り出されたデータ領域から特定のパターンおよびその座標を検出するパターン検出処理と、
   このパターン検出処理によって特定された座標を前記画像データにおける座標に変換する座標変換処理とを前記コンピュータに実行させることを特徴とするパターン検出プログラム。
3. 前記パターン検出処理において、前記パターンとして人物の目を検出することを前記コンピュータに実行させることを特徴とする請求項１または２記載のパターン検出プログラム。
4. 前記パターン検出の前に、前記画像データの各画素を輝度に基づいて２値化することを前記コンピュータに実行させることを特徴とする請求項１ないし３いずれか記載のパターン検出プログラム。
5. 画像データからパターン検出を行うパターン検出装置であって、
   前記画像データの画素を間引いてデータ容量を減らした縮小画像データを生成する縮小画像生成手段と、
   前記縮小画像データから特定のパターンおよびその座標を検出するパターン検出手段と、
   このパターン検出手段によって特定された座標を前記画像データにおける座標に変換する座標変換手段とを備えたことを特徴とするパターン検出装置。
6. 画像データからパターン検出を行うパターン検出装置であって、
   前記画像データから画像の向きを示す方向データを読み取り、この方向データに基づいて設定したパターン検索領域を前記画像データから切り出す検索領域切り出し手段と、
   この検索領域切り出し手段によって切り出されたデータ領域から特定のパターンおよびその座標を検出するパターン検出手段と、
   このパターン検出手段によって特定された座標を前記画像データにおける座標に変換する座標変換手段とを備えたことを特徴とするパターン検出装置。
7. 前記パターン検出手段は、前記パターンとして人物の目を検出することを特徴とする請求項５または６記載のパターン検出装置。
8. 前記パターン検出の前に、前記画像データの各画素を輝度に基づいて２値化することを特徴とする請求項５ないし７いずれか記載のパターン検出装置。
   

Images