JP2009211179A - 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置 - Google Patents

画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置 Download PDF

Info

Publication number
JP2009211179A
JP2009211179A JP2008051119A JP2008051119A JP2009211179A JP 2009211179 A JP2009211179 A JP 2009211179A JP 2008051119 A JP2008051119 A JP 2008051119A JP 2008051119 A JP2008051119 A JP 2008051119A JP 2009211179 A JP2009211179 A JP 2009211179A
Authority
JP
Japan
Prior art keywords
image
feature amount
value
pixel
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008051119A
Other languages
English (en)
Other versions
JP5047005B2 (ja
Inventor
Takahisa Yamamoto
貴久 山本
Yoshinori Ito
嘉則 伊藤
Masao Yamanaka
正雄 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008051119A priority Critical patent/JP5047005B2/ja
Priority to US12/394,593 priority patent/US8447076B2/en
Publication of JP2009211179A publication Critical patent/JP2009211179A/ja
Application granted granted Critical
Publication of JP5047005B2 publication Critical patent/JP5047005B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像中の検出対象を検出する処理において、検出性能の向上と必要なメモリ量の低減化を両立させる。
【解決手段】画像処理装置は、画像から複数の部分画像を切り出し、部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する。そして、画像処理装置は、部分画像が上記複数の部分画像の何れであるかを特定する識別情報と、差分値とに基づき、各差分値に対するパラメータ値を決定し、決定されたパラメータ値を用いて、当該注目画素に対応した特徴量を算出する。そして、画像処理装置は、部分画像内の各画素を注目画素として、上記手順により特徴量を算出することで、当該部分画像に対する特徴量を取得する。
【選択図】 図1

Description

本発明は、画像処理技術分野におけるパターン照合に関わるものである。特に、パターン照合の精度向上のために、画像から検出対象パターン/認識対象パターンの特徴量を抽出する技術に関するものである。
近年、画像中から画像処理により対象パターンを検出する手法において、実用的な手法が提案されている。特に対象パターンを人間の顔とした場合には、様々な応用が考えられるため、その検出手法に関して盛んに研究開発が行われている。さらには、顔を検出するだけでなく、検出した顔が、あらかじめ登録してある人物のうちの誰であるのかを、識別する顔認識の手法に関しても盛んに研究開発が行われている。
これらの検出/認識手法においてよく用いられる技術としてマッチング手法がある。マッチング手法では、あらかじめ用意してあるテンプレート(登録画像)と、処理対象画像との間で、正規化相関等の識別処理により、類似度を算出するものである。
このようなマッチング手法を用いた顔検出/顔認識を、監視システム等の実環境下において応用する場合、天候の変動や時間帯によって、画像のコントラストが変化したり、画像中に部分的な影が生じたりする可能性がある。実環境下では、このような照明条件の変動によって画像中での見え方(パターン)が大きく変わり、検出精度/認識精度が大きく影響を受ける。
この問題を軽減するために、画像の輝度値そのものに対して識別処理を行うのではなく、輝度値から照明変動にロバストな(頑健な)特徴量を抽出して、その特徴量に対して識別処理を行うことが提案されている。例えば、対象画素と周辺画素との輝度差分の符号(周辺増分符号)に対して相関処理を行う手法が特許文献1や非特許文献1に示されている。これらの手法では、テンプレート画像および処理対象画像のそれぞれにおいて、対象画素と周囲画素との濃淡値の増分(大小関係)を符号として表現し、その符号の一致数を類似度としている。このような手法により、符号が逆転しない範囲の輝度変動やノイズ混入に対して頑強な照合を行うことができることが知られている。
しかしながら、特許文献1や非特許文献1に示されている技術は、テンプレート画像と処理対象画像の類似度を算出するものである。従って、顔等のように、同一カテゴリーに属するが、それぞれ個性をもつようなものに検出対象を広げようとした場合、顔の種類だけテンプレートを用意する必要が生じ、実用化が困難であった。
このような問題に対して、特許文献2、特許文献3では、検出対象の画像からなる(例えば様々な顔画像からなる)データベースから、周辺増分符号の統計的な性質を抽出することで、解決を試みている。
また、周辺増分符号に類する特徴抽出としてLBP(LocalBinaryPattern)オペレータが知られており、このLBPオペレータを顔認識の照明変動の影響を除去するための前処理として用いた手法も提案されている(非特許文献2)。位置(xc,yc)の画素に対するLBPオペレータとは、以下の式のように定義される。ここで、icは位置(xc,yc)の画素の輝度値、inは周辺8画素の輝度値を示す。またnは周辺画素のインデックスを示し、位置(xc,yc)に対して左上画素をn=7として、時計回りに1ずつ減少していく。
Figure 2009211179
図6の(A)に示すように中心位置(xc,yc)にある演算対象画素(ic=96)と周囲の8画素とが配置されていた場合、その大小関係に基づき1或いは0を割り当てる。その結果の例を図6の(B)に示す。なお、この与えられた1或いは0を、差分値に対し2値の量子化を行ったという意味で量子化値と呼ぶことにする。さらに、この量子化値に対して、それぞれに2のべき乗の重みを与えて加算することでLBP値を得る。非特許文献2では、このようにして得たLBP値から構成される画像に対して、顔認識処理を行っている。
特許3831232号公報 特許3696212号公報 特開2006−185375号公報 佐藤、金子、五十嵐、"周辺増分符号相関画像に基づくロバスト物体検出および分離"、電子情報通信学会論文誌、D-II、Vol.J84-D-IINo.12,pp. 2585-2594, 2001年12月. Heusch, G.; Rodriguez, Y.; Marcel,S"Local binary patterns as an image preprocessing for face authentication,"Automatic Face and Gesture Recognition, 2006.FGR 2006. 7th InternationalConference on 10-12April 2006
しかしながら、周辺増分符号を用いて顔検出を行っている特許文献2や特許文献3や、LBPを用いて顔認識を行っている非特許文献2では、以下に示すような課題がある。
非特許文献2では、演算対象画素と周囲の8画素との相対位置に応じて、量子化値に対して2のべき乗の重み付けを行っている。具体的には、演算対象画素の左上方向に対し128の重み付けを行い、演算対象画素の真上方向に対し64の重み付けを行い、以下時計周りに、32、16、8、4、2、1の重み付けを行っている。
しかしながら、このように左上方向から時計回りに2のべき乗の重み付けを行うことは必ずしも合理的とは言えない。例えば、検出対象として水平方向に伸びるエッジが多いパターン(横縞模様等)を検出したい場合には、その検出対象の特徴を表現するような方向に大きい重み付けを行った方が検出性能が向上することが期待できる。また、その際の重み付けする値としては2のべき乗にこだわる必要はない。
さらに、検出対象として顔のように、画像のある部分(例えば目の周囲)では、水平方向に伸びるエッジが多く、別の部分(例えば鼻の周囲)では垂直方向に伸びるエッジが多いようなパターンを検出したい場合画ある。このような場合には、領域ごとに方向に対する重み付けを変更した方が検出性能が向上することが期待できる。
しかしながら非特許文献2では、上述のような検出対象の特徴に応じて重み付けを変更したり、さらには検出対象の局所的な領域ごとに重み付けを変更したりするようなことは考慮されてなかった。
また、特許文献2では、検出対象の画像からなるデータベースを用いて、増分符号の方向ごと、かつ量子化値ごとに、増分符号の出現確率を測定することで、検出対象の特徴を捉えようとしている。また、特許文献3では、検出対象の画像からなるデータベースを用いて、増分符号の方向ごと、かつ量子化値ごとに、周辺増分符号をベクトル化して、そのベクトルごとに出現確率を測定することで、検出対象の特徴を捉えようとしている。
しかしながら特許文献2や特許文献3の手法で対象パターンを検出する際には、データベースを用いて測定した出現確率をテーブルとして保持しておく必要がある。そのため、特にハードウエアにて検出処理を実現する場合には、テーブルを実現するメモリの容量が大きくなるという課題があった。
特に特許文献2や特許文献3の手法を、あらかじめ登録してある人物のうちの誰であるのかを顔を基に識別する顔認識の手法に応用しようとすると、登録する人数に比例してテーブルの数が増大するという課題があった。さらには、登録者それぞれに対して、信頼に足りうる出現確率を算出できるだけの画像(登録者が映っている画像)が必要となるという課題があった。
本発明は上記課題に鑑みてなされたものであり、画像中の検出対象を検出する処理において、検出性能の向上と必要なメモリ量の低減化を両立させることを可能とする特徴量の取得を実現することを目的とする。
上記課題を解決するための、本発明の一態様による画像処理方法は、
画像から予め定められた基準で複数の部分画像を切り出す切り出し工程と、
前記切り出し工程で切り出された部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出工程と、
前記部分画像が前記切り出し工程で切り出された前記複数の部分画像の何れであるかを特定する識別情報と、前記差分値とに基づき、各差分値に対するパラメータ値を決定する決定工程と、
前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出工程と、
前記部分画像の各画素を注目画素として、前記第1算出工程と前記決定工程と前記第2算出工程とにより特徴量を算出することで、前記複数の部分画像の各々の特徴量を取得する取得工程とを備える。
また、上記課題を解決するための、本発明の一態様による画像処理方法は、
画像から部分画像を切り出す切り出し工程と、
前記部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出工程と、
検出すべき特徴の種類と、前記差分値とに基づいて、各差分値に対するパラメータ値を決定する決定工程と、
前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出工程と、
前記部分画像の各画素を注目画素として、前記第1算出工程と前記決定工程と前記第2算出工程とにより特徴量を算出することで、前記部分画像に対する特徴量を取得する取得工程とを備える。
本発明によれば、画像中の検出対象を検出する処理において、検出性能の向上と必要なメモリ量の低減化とを両立させることができる。
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
[第1実施形態]
以下、第1実施形態による画像処理手法を用いた認識システムについて説明を行う。
認識とは、認識対象がいくつかの概念(クラス)に分類できる場合に、観測された認識対象をそれらの概念のひとつに対応させる処理である。例えば顔認識とは、入力された画像中に存在する顔画像が、あらかじめ登録してある人物のうちの誰であるのかを識別する画像処理手法のことである。
第1実施形態では、本発明の画像処理手法を、処理領域画像の特徴量に基づいて、前記画像があらかじめ登録してあるパターンのいずれに対応するかを判定するパターン認識に適用する例を示す。特にパターン認識のアプリケーションとして、顔認識に用いる場合を示す。顔認識処理の前段に必要となる顔検出処理(画像中での顔の位置、サイズ、向きの検出)は周知の手法で検出されているものとする。ここで第1実施形態における顔の向きとは、面内回転を指すこととする。
第1実施形態では、顔検出によって検出された顔位置、顔サイズ、顔向きに応じて顔の周囲画像が切り出され、さらにあらかじめ定められた所定の顔サイズ、所定の顔向きに正規化された画像に対して、本発明の画像処理手法を適用する。従って、第1実施形態の画像処理手法が適用される画像(顔検出によって切り出し正規化された画像)は、画像中での目、鼻、口等の位置が概ね揃っているものとなる。
また、説明の簡単のため、本実施形態で扱う画像は全てグレースケール画像(輝度画像)であるとする。
図1は、第1実施形態による顔認識システムの構成例を示すブロック図である。
符号109は、顔認識システムである。顔認識システム109は、処理対象画像を入力し、認識処理結果を出力する。顔認識システム109は、あらかじめ登録してある人物のうちのいずれかが、処理対象画像中に存在すると判断すれば、その人物を特定する情報を認識処理結果として出力する。また、あらかじめ登録してあるどの人物も処理対象画像中に存在しないと判断すれば、その旨を認識処理結果として出力する。
認識システム109の動作モードには、登録モードと認識モードがある。登録モードの時には、認識システム109は、処理対象画像として登録画像(認識したい人物が映っている画像)を入力し、登録特徴量画像格納部105にその登録画像から得られた特徴量画像を格納する。認識モードの時には、処理対象画像として検査画像(認識したい人物が映っているか否かを調べたい画像)を入力し、登録モードの時に登録特徴量画像格納部105に格納した特徴量画像と、検査画像の特徴量画像とを比較する。各モードの処理の詳細については後述する。
符号108は、顔検出部である。顔検出部108は、入力される処理対象画像に対し、公知の顔検出手法を施し、処理対象画像中での顔の位置やサイズや方向(以下、顔位置、顔サイズ、顔方向)を特定する。さらに顔検出部108は、特定された顔位置、顔サイズ、顔方向を基に、あらかじめ定められた所定の大きさに顔サイズを正規化し、あらかじめ定められた所定の方向に顔が向くように、顔画像を切り出すことで、切り出し正規化画像を作成し、これを出力する。図2の(A)に切り出し正規化画像の例を示す。符号200が切り出し正規化画像を示している。
符号100は、第1実施形態による画像処理を行う画像処理部である。画像処理部100は、顔検出部108からの切り出し正規化画像に対して、複数の処理領域を設定し、その処理領域ごとに特徴量抽出処理を行い、特徴量画像を出力する。この手順の詳細は後述する。
符号101は、処理領域設定制御部である。処理領域設定制御部101は、所定の手法により、切り出し正規化画像中で処理領域を設定し、設定した処理領域を指定する情報(処理領域指定情報と呼ぶ)を出力する。
処理領域を設定する所定の方法に関しては特に問わないので、公知の技術で行えばよい。本実施形態では前述のように、切り出し正規化画像中での目、鼻、口等の位置が概ね揃っていることから、切り出し正規化画像の内容とは無関係な、固定的な処理領域を用いてもよい。本実施形態では、処理領域として4つの領域を設定するとする。図2の(B)に本実施形態の処理領域の例を示す。切り出し正規化画像200に対して、処理領域として、201、202、203、204(それぞれ太線で図示)が示されている。なお、図2の(B)の例では、処理領域同士の重なりは無い場合が示されているが、処理領域同士が重なっていても良い。
図2の(B)のように処理領域が設定された場合の処理領域指定情報の例を図3に示す。処理領域指定情報は、処理領域のインデックスである処理領域番号、水平方向開始座標、垂直方向開始座標、水平方向幅、垂直方向高さから構成され、これらの情報により処理領域が特定される。本実施形態では例えば処理領域0が処理領域201を示し、以下、処理領域1が処理領域202、処理領域2が処理領域203、処理領域3が処理領域204を示すとする。また、処理領域指定情報は必ずしも図3のようになっている必要はなく、処理領域が一意に特定できる情報であればよい。また、処理領域の形状は円形や楕円、任意の多角形などでもよく、矩形に限定されない。
処理領域設定制御部101は、各処理領域に関する情報(以下、処理領域指定情報)を順次出力する。
符号102は処理領域切り出し部である。処理領域切り出し部102は、処理領域設定制御部101から出力される処理領域指定情報に従って、入力された切り出し正規化画像から所定の処理領域を切り出す処理を行う。例えば処理領域設定制御部101から処理領域0に関する処理領域指定情報が出力されると、処理領域切り出し部102は処理領域201を切り出して処理領域画像として出力する。こうして、処理領域設定制御部101と処理領域切り出し部102により、処理対象画像(または正規化画像)から予め定められた基準で複数の処理領域画像(部分画像)が切り出される。
符号104は、重み付けパラメータ格納部である。重み付けパラメータ格納部104は、特徴量抽出部103が指定する条件に従って、重み付けパラメータを特徴量抽出部103に対して出力する。重み付けパラメータは、処理領域番号と、特徴量抽出部103における量子化処理の量子化レベルと、差分終点画素インデックス(後述)に応じて、設定できるようになっている。重み付けパラメータ格納部104に格納されている重み付けパラメータを図4に示す。図4に示されているのは、図2の(B)に示すように処理領域が4つあり、特徴量抽出部103における量子化処理の量子化レベルが2(0と1に量子化されるとする)であり、後述する差分終点画素が8つある場合の重み付けパラメータである。処理領域番号は、処理領域切り出し部102により切り出された複数の処理領域画像の何れであるかを特定する識別情報である。
符号103は特徴量抽出部である。特徴量抽出部103による特徴量の抽出について、以下、説明する。
ここでは、処理領域設定制御部101から処理領域0に関する情報が出力されているとする。このとき処理領域切り出し部102からは、処理領域201の画像が出力されている。図7には、特徴量抽出の手順を示すために、処理領域を拡大した図を示している。符号700は処理領域(例えば処理領域201)を拡大したものである。符号701は3画素×3画素のサイズの処理ウインドウである。特徴量抽出部103は、処理ウインドウ701を処理領域中でスキャンさせるとともに、各スキャン位置において、処理ウインドウ701の中心画素(図7において斜線で図示)に対して特徴量を算出する。本実施形態でのスキャンのステップは水平方向、垂直方向ともに1画素とする。
図5には、処理ウインドウ701があるスキャン位置にあるときの特徴量抽出の手順を示している。図5の(A)〜(D)において、太線の枠は処理ウインドウを示す。図5の(A)は、あるスキャン位置での処理ウインドウ701内にある画素の輝度値を示したものである。それぞれのスキャン位置において、処理ウインドウの中心にある画素を差分起点画素と呼び、その周囲にある画素を差分終点画素と呼ぶこととする。差分終点画素は複数(図5の場合8画素)存在する。即ち、差分起点画素は特徴量を算出する対象の注目画素であり、差分終点画素は注目画素の周囲に存在する複数の周辺画素である。また、差分終点画素の各々を区別するために、中心から見て左上にある差分終点画素を7として、時計回りに1ずつ減少していくようなインデックスを与える。図5の(A)における処理ウインドウの場合、差分起点画素の輝度値は96であり、インデックス7の差分終点画素の輝度値は84となる。インデックス(インデックス値)は、差分終点画素の、差分起点画素に対する相対位置関係を示していることになる。
図8に特徴量抽出部103で行われる処理のフローチャートを示す。
処理ウインドウ701の処理領域700内でのスキャンを開始する(ステップS800)。
ウインドウ701を新たなスキャン位置に移動させると、特徴量抽出部103は、そのスキャン位置での差分起点画素と差分終点画素との大小比較を行う。まず、そのスキャン位置での差分起点画素と差分終点画素とから輝度差分値を求める(第1算出処理)。輝度差分値は差分終点画素ごとに算出するので、輝度差分値は差分終点画素の数に等しい数だけ算出される(ステップS801)。図5の(A)に示した処理ウインドウのステップS801による第1算出処理の結果を図5の(B)に示す。
続いて、特徴量抽出部103は、輝度差分値に対して量子化処理を行う(量子化工程)。本実施形態では、量子化処理の量子化レベルは2としており、輝度差分値が0以上であれば1、0未満であれば0と量子化する(ステップS802)。図5の(B)に示した処理ウインドウに対するステップS802による処理結果を図5の(C)に示す。
続いて、特徴量抽出部103は、ステップS802で得られた各量子化値に対する重み付けパラメータを重み付けパラメータ格納部104から取得する(ステップS803)。即ち、ステップS803では、算出した量子化値に対する重み付けパラメータの選択を行う。重み付けパラメータ格納部104では、図4で説明したように、処理領域番号、差分終点画素インデックス、量子化値の組み合わせに対応付けて重み付けパラメータが格納されている。従って、特徴量抽出部103は、重み付けパラメータ格納部104に対して、処理領域番号、差分終点画素インデックス、量子化値を出力することで、それらの条件に合致した重み付けパラメータを重み付けパラメータ格納部104から取得する。こうして、1つの画素を差分起点画素として差分終点画素ごとに重み付けパラメータが選択されることになる。即ち、特徴量抽出部103は、重み付けパラメータ格納部104を参照して、
・処理領域画像が複数の処理領域画像の何れであるかを特定する識別情報(処理領域番号)と、
・輝度差分値(本例では量子化値が用いられる)と、
・当該輝度差分値が算出された差分終点画素の差分起点画素に対する相対位置関係(インデックス)と
に基づき、各輝度差分値に対するパラメータ値を決定する。
例えば、図5の(C)に示されるように量子化されている場合(処理領域0とする)には、差分終点画素インデックスが7の量子化値(0)に対して選択される重み付けパラメータは、図5の(D)に示されるように、W_0_7_0となる。
続いて、特徴量抽出部103は、ステップS803で決定されたパラメータ値を用いて、差分起点画素(注目画素)に対応する特徴量を算出する第2算出処理を行う。本実施形態では、特徴量抽出部103は、選択された重み付けパラメータを加算し、その値をそのスキャン位置での特徴量とする(ステップS804)。
全スキャン位置において上記ステップS801〜S804の処理が行われたならば(ステップS805)、スキャンを終了し、その処理領域に対する特徴量抽出部103の処理を終了する(ステップS806)。
特徴量抽出部103は以上の処理を各処理領域に対して行う。
1つの処理領域に対して特徴量抽出部103の処理が終了すると、抽出した特徴量を画素値とする特徴量画像が生成される。但し、処理ウインドウ701の大きさが3×3のサイズであるので、特徴量画像のサイズは処理領域に比べて、水平方向、垂直方向ともに2画素小さいものとなる。処理領域ごとに特徴量画像が生成されるので、処理対象画像が認識システム109に1枚入力されると、処理領域の数に等しい枚数の特徴量画像が生成される。例えば、図2の(B)では、4つの処理領域があるので、4枚の特徴量画像が生成される。
以上、処理領域設定制御部101、処理領域切り出し部102、特徴量抽出部103、重み付けパラメータ格納部104により、画像処理部100が構成される。
符号105は、登録特徴量画像格納部である。登録特徴量画像格納部105には、登録画像に対する特徴量画像が格納される。登録画像とは、認識したい人物が映っている画像のことである。
認識システム109が登録モードの時には、登録画像に対して、顔検出部108による顔検出処理、画像処理部100による特徴量抽出処理が行われ、処理領域ごとに特徴量画像が出力される。この登録画像に対する特徴量画像は、登録特徴量画像格納部105に格納される。また各登録画像に映っている人物を特定するID情報(名前等)も特徴量画像に関連付けて格納しておく。登録画像1枚あたり、処理領域の数に等しい特徴量画像が格納されることになるので、特徴量画像には、もとになった処理領域番号と、ID情報とが関連付けられている。
登録特徴量画像格納部105に格納されている特徴量画像の例を図9に示す。図9には、登録人物(認識したい人物)としてID0とID1の2名の場合が示されている。また、それぞれの登録人物に対して、2枚ずつの登録画像を用いて特徴量画像を作成し、格納している場合が示されている。
認識システム109が認識モードの時には、処理領域設定制御部101から出力される処理領域指定情報に基づいて、格納されている特徴量画像とその特徴量画像のID情報が出力される。例えば処理領域設定制御部101から処理領域0に関する情報が出力されると、登録特徴量画像格納部105は、処理領域0から作成された特徴量画像とそのID情報を順次出力する。例えば、登録特徴量画像格納部105が図9のように特徴量画像を格納している場合には、特徴量画像としてF_0_0_0、F_0_1_0、F_1_0_0、F_1_1_0が順次出力される。また、それぞれのID情報としてID0、ID0、ID1、ID1が出力される。
図1において、符号106は、相関演算部である。相関演算部106は、登録画像の特徴量画像と、検査画像の特徴量画像との相関演算を、処理領域ごとに行う。相関演算の種類は特には問わないので、公知の技術で行えばよい。本実施形態では、一つの例として、正規化相関演算を行うものとする。
例えば、登録特徴量画像格納部105において、図9のように特徴量画像が格納されていたとすると、相関演算部106では、まず検査画像の処理領域0から算出された特徴量画像と、F_0_0_0との正規化相関演算を行い、相関値を算出する。続いて、F_0_1_0との正規化相関演算を行い、相関値を算出する。同様にF_1_0_0並びにF_1_1_0との正規化相関演算を行い、それぞれ相関値を算出する。続いて検査画像の処理領域1から算出された特徴量画像とF_0_0_1、F_0_1_1、F_1_0_1、F_1_1_1との正規化相関演算を行い、それぞれ相関値を算出する。同様の処理を全ての処理領域に対して行う。
相関演算部106は、算出した相関値を、相関値算出に用いた登録画像の特徴量画像に関連付けられていたID情報とともに、出力する。相関演算部106において算出される相関値の数は、登録特徴量画像格納部105において格納されている特徴量画像の数に等しい(図9の場合16個)。
符号107は、統合判断部である。統合判断部107は、相関演算部106から送られてくる相関値とID情報とから、検査画像に、あらかじめ登録してある人物のうちのどの人物が存在するかを判断する。或いは、あらかじめ登録してあるどの人物も検査画像中に存在しないとの判断を行う。
この判断の手法に関しては特に問わないので公知の手法を用いればよい。本実施形態の統合判断部107は、例えば、ID情報単位で相関値の平均(相関値平均)を算出し、その相関値平均の中で最大(最大相関値平均)のものを求める。そして、その最大相関値平均が所定の閾値を超えた場合、統合判断部107は、その最大相関値平均に関連付けられたID情報の人物が、検査画像中に存在すると判断する。最大相関値平均が所定の閾値を超えない場合には、統合判断部107は、登録してあるどの人物も検査画像中に存在しないと判断する。
以上が第1実施形態による顔認識システム(図1)の説明である。
第1実施形態の顔認識システムによれば、特徴量抽出部103において、輝度差分値を求めるときの方向(差分起点画素と差分終点画素との相対位置関係)に応じて、重み付けパラメータを設定できる。従って、認識処理にとって重要な方向(個人間で差異が顕著になりやすい方向)には、重みを大きく設定する等の調節が可能となり、認識性能が向上する。さらに、重み付けパラメータの設定は、処理領域ごとにも変更することができる。従って、例えば、目の周囲の処理領域(図2の(B)の領域201と領域202)は垂直方向の重み付けを大きくし、鼻の周囲の処理領域(図2の(B)の領域203)は、水平方向の重み付けを大きくする、といったことも可能になる。処理領域ごとに、認識処理にとって重要な方向が異なることは十分考えられるので、これによっても認識性能の向上が期待できる。
また、第1実施形態によれば、格納重み付けパラメータ格納部104に格納する重み付けパラメータの数は、処理領域の数と、差分終点画素インデックスの数と、量子化レベルの数とを掛け合わせた数である。従って、格納重み付けパラメータ格納部104を比較的小さな容量のメモリで実現可能である。
なお、重み付けパラメータの値の決定方法としては、例えば、人が経験に基づいて決定する方法が考えられる。或いは、登録画像と検査画像から構成される学習用のデータベースを用意して、様々な重み付けパラメータのセットを適用して認識性能を調査し、最も認識性能が良かった重み付けパラメータのセットに決定する、という方法でもよい。
或いは、同様のデータベースに対して、正答相関値と誤答相関値とを、様々な重み付けパラメータのセットに対して算出し、正答相関値から誤答相関値を引いた値が最も大きくなった重み付けパラメータのセットに決定する、という方法でもよい。なお、正答相関値とは登録画像と検査画像のIDが一致しているときの相関値であり、誤答相関値とは登録画像と検査画像のIDが一致していないときの相関値である。
なお、第1実施形態の認識システムでは、登録モードと認識モードがあるとしたが、登録モードは必ずしも必須ではない。登録画像に対して、登録モードで行うのと同等の処理をあらかじめオフラインで行って特徴量画像を算出しておき、登録特徴量画像格納部105に格納しておくようにしても良い。
[第2実施形態]
続いて、第2実施形態による画像処理手法を用いた検出システムについて説明する。
第1実施形態では本発明の画像処理方法を認識処理(顔認識)に適用する例を示した。第2実施形態では、本発明の画像処理手法を、取得された処理領域画像の特徴量に基づいて画像から検出対象パターンを検出するパターン検出に適用する例を示す。特にパターン検出のアプリケーションとして、「目(人間の目)」の検出に用いる場合を示す。つまり、本発明を、入力された画像中に目が在るか無いかを検出する画像処理手法に適用する場合の例を示す。
説明の簡単のため、第2実施形態でも扱う画像は全てグレースケール画像(輝度画像)であるとする。
図10は、第2実施形態による目検出システムのブロック図である。
符号1009は、目検出システムである。目検出システム1009は、処理対象画像を入力し、検出処理結果を出力する。検出処理結果としては、処理対象画像中に目が存在すると判断すれば、その位置を特定する情報が出力される。目が処理対象画像中に存在しないと判断すればその旨が出力される。
符号1002は処理領域切り出し部である。処理領域切り出し部1002は、処理対象画像を、所定のサイズの検出ウインドウでスキャンして、そのスキャン位置での検出ウインドウ内の画像を切り出す処理を行う。検出ウインドウのサイズで切り出された領域を検出ウインドウ領域と呼ぶ。
符号1000は、第2実施形態による画像処理を行う画像処理部である。画像処理部1000は、処理領域切り出し部1002によって切り出された検出ウインドウ領域に対して、特徴量抽出処理を行い、特徴量画像を出力する。この手順の詳細については後述する。
符号1004は、重み付けパラメータ格納部である。重み付けパラメータ格納部1004は、特徴量抽出部1003が指定する条件に従って、重み付けパラメータを特徴量抽出部1003に対して出力する。重み付けパラメータは、特徴量抽出部1003における量子化処理の量子化レベルと、差分終点画素インデックスに応じて、設定できるようになっている。従って例えば、特徴量抽出部1003における量子化処理の量子化レベルが2の場合(0と1に量子化されるとする)で、差分終点画素が8つある場合には、重み付けパラメータは16個存在することになる。重み付けパラメータ格納部1004における重み付けパラメータは概ね第1実施形態(図4)と同様であるが、処理領域毎ではなく、目、鼻、口などの検出対象毎に重み付けパラメータが格納される。
符号1003は特徴量抽出部である。特徴量抽出部1003による特徴量の抽出手順は第1実施形態の場合と同じであるので詳細は割愛する。但し、第1実施形態の場合には、特徴量を抽出する対象が処理ウインドウにより順次複数回スキャンされる処理領域であったが、第2実施形態の場合には、1回のスキャンの対象である検出ウインドウ領域である点において相違するが、処理の中身は同じである。また、特徴量抽出部1003は、重み付けパラメータ格納部1004を参照して、
・検出すべき特徴の種類(目、口、鼻など)と、
・輝度差分値(本例では量子化値が用いられる)と、
・当該輝度差分値が算出された差分終点画素の差分起点画素に対する相対位置関係(インデックス)と
に基づき、各輝度差分値に対するパラメータ値を決定する。
以上のようにして検出ウインドウ領域に対して特徴量抽出部1003の処理が終了すると、特徴量を画素値とする特徴量画像が生成される。
符号1005は、登録特徴量画像格納部である。登録特徴量画像格納部1005には、検出対象である目の特徴量画像を格納しておく。
目の特徴量画像は、例えば以下のように作成する。即ち、概ね同サイズの目が写っている、検出ウインドウと同じサイズの画像を多数用意し、その平均画像を作成する。平均画像とは、複数枚の画像の対応する画素の平均値を各画素値とした画像である。その平均画像に対して特徴量抽出部1003と同様の処理を行い、得られた特徴量画像を目の特徴量画像として登録特徴量画像格納部1005に格納しておく。
登録特徴量画像格納部1005に格納されている特徴量画像は、相関演算部1006に出力される。
符号1006は、相関演算部である。相関演算部1006は、登録特徴量画像格納部1005から出力される特徴量画像と、画像処理部1000から出力される特徴量画像との相関演算を行う。
相関演算は、画像処理部1000から新たな特徴量画像が出力される毎(つまり、処理領域切り出し部1002において検出ウインドウのスキャンが行われる毎)に行われ、相関値が算出される。算出された相関値は統合判断部1007に出力される。
符号1007は、統合判断部である。統合判断部1007は、相関演算部1006から送られてくる相関値から、処理対象画像に、目が存在するかを判断する。
この判断の手法に関しては特に問わないので公知の手法を用いればよい。第2実施形態では、1枚の処理対象画像に対して、処理領域切り出し部1002において検出ウインドウのスキャンが行われる回数と同数の相関値が得られる。そして、統合判断部1007は、その相関値の中で最大のものを求め、その最大のものが所定の閾値を超えた場合、目が検査画像中に存在すると判断する。他方、所定の閾値を超えない場合は、統合判断部1007は、目が存在しないとの判断を行う。
以上が第2実施形態による目検出システム(図10)の説明である。
第2実施形態による目検出システムでは、特徴量抽出部1003において、輝度差分値を求めるときの方向(差分起点画素と差分終点画素との相対位置関係)に応じて、重み付けパラメータを設定できる。従って、目の検出処理にとって重要な方向には、重みを大きく設定する等の調節が可能となり、検出性能が向上する。
さらに、重み付けパラメータの設定を検出対象に応じて行えるので、検出対象ごとに最適な重み付けパラメータの設定を行うことが可能である。例えば、第2実施形態では、目の検出を例に挙げたが、同一のシステムで鼻を検出したい場合には、重み付けパラメータを鼻検出用に変更し、登録特徴量画像格納部1005から出力される特徴量画像を鼻画像から作成したものに変えればよい。
重み付けパラメータの値の決定方法としては、例えば、人が経験に基づいて決定する方法が考えられる。或いは、学習用のデータベースを用意して、様々な重み付けパラメータのセットを適用して検出性能を調査し、最も検出性能が良かった重み付けパラメータのセットに決定する、という方法でもよい。
[第3実施形態]
第3実施形態では、第1、第2実施形態で示した画像処理方法を実行するハードウエア構成の一例について説明する。
図11は、第3実施形態に係わる情報処理装置のハードウエア構成例を説明するブロック図である。図11において、1100はCPU(中央演算装置)であり、第1、第2実施形態で説明した画像処理方法をプログラムに従って実行する。1101はプログラムメモリであり、CPU1100により実行されるプログラムを記憶する。1102はRAMであり、CPU1100によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。1103はハードディスクであり、画像ファイルや登録画像の特徴量画像などを保存するための記憶媒体である。1104はディスプレイであり、本実施形態の処理結果をユーザに提示する装置である。1105は、これら各部とCPU1100とを接続している制御バス・データバスである。
このような構成のハードウエアを用いることにより、上記第1、第2実施形態による画像処理方法を実行することができる。
なお、上記のハードウエア構成は、画像処理方法の全てをCPU1100の処理によって行う場合であるが、もちろん一部の処理を専用ハードウエアに置き換えることも可能である。例えば、特徴量抽出部103、1003で行われる処理を専用ハードウエアで行う、といったことも可能である。
以上のように、上記各実施形態によれば、検出対象の特徴に応じて、差分演算を行う2画素間(差分起点画素と差分終点画素)の相対位置関係に応じて選択される重み付けの値が変更される。さらに、検出対象を局所的な領域に分割し、領域に応じても重み付けが変更される。
そのため、上記実施形態によれば、検出対象の特徴を表現するような方向に大きい重み付けを行うことができ、検出性能を向上させる効果がある。さらに、検出対象を領域に分割し、その領域ごとに、方向に対する重み付けを行うので検出性能がより向上する。また、重み付けに必要なパラメータは、領域ごと、方向ごと、量子化値ごとに用意すればよいので、従来のような大容量のメモリは必要ない。
[その他の実施形態]
第1、第2実施形態では、特徴量抽出処理において量子化する場合、輝度差分値の符号に応じて量子化していたが、本発明の量子化は、これに限られるものではない。例えば、輝度差分値とある所定の(0以外の)閾値とを比較して、量子化するようにしてもよい。
また、量子化レベルを2の場合についてのみ説明を行ったが、量子化レベルの数はこれに限るものではないことは明らかである。
また、差分起点画素と差分終点画素の位置関係も、上記実施形態で示したものに限らない。例えば、図12の(A)〜(D)では、処理ウインドウ内の差分起点画素(斜線)と差分終点画素の例を示している。図12の各画素に割り振られている番号は、差分終点画素を区別するためのインデックスであり、番号が割り振られていない画素は、処理ウインドウ内にあるが差分終点画素としては用いられない画素を示している。これまで説明してきた実施形態では、差分起点画素の隣接した周囲8画素の場合のみを差分終点画素としていた(図12の(A))が、本発明はこれに限るものではない。
例えば、図12の(B)のように、差分起点画素の隣接した周囲8画素の一部を差分終点画素とするものでもよい。
また、差分終点画素と差分起点画素とは隣接画素である必要は無い。差分終点画素は差分起点画素の近傍にあればよい。従って、これまでの説明では、処理ウインドウのサイズは3×3のみであったが、図12の(C)のように5×5のサイズでもよい。さらに図12の(D)のように処理ウインドウ内の画素の一部を差分終点画素とするものでもよい。
また、各差分終点画素に割り振られているインデックスは、各差分終点画素を区別するだけのものであるので、インデックスの割り振りかたは、本発明の画像処理手法を実装する際に、やりやすいように割り振ればよい。
また、処理ウインドウを処理領域内でスキャンさせるときのステップ数も1画素に限らない。検出対象、或いは認識対象に応じて最適なステップ数を選択すればよい。また、処理時間に応じて、最適なステップ数を選択するようにしてもよい。
更に、処理領域の数も、上記実施形態で示したものに限られるものではない。また、各処理領域でサイズが異なってもよいし、形も矩形に限定されるものではない。また、処理領域は、お互いに重なっていても良いし、包含関係にあっても良い。
また、重み付けパラメータは、図4に示したようなテーブルをメモリに持つものでもよいし、重み付けパラメータが、論理演算で表現できるような場合には、論理演算で重み付けパラメータを算出するようにしても良い。この場合、論理演算は、例えばインデックス値と量子化値を用いた演算であり、第1実施形態であれば領域毎に、第2実施形態であれば検出対象毎に用意される。
例えば、重み付けパラメータを2のべき乗に限定した場合には、量子化した結果得られる量子化値(1或いは0)を、シフト演算すれば得られる。この場合には、差分終点画素インデックスごとにどれだけシフトするかを記憶しておけばよく、重み付けパラメータそのものを記憶する必要は無くなる。
また、例えば、
・重み付けパラメータを2のべき乗に限定し、かつ、
・同一の処理領域内では、差分起点画素と差分終点画素との相対位置関係が異なる場合には重み付けパラメータが必ず異なるように(同一の処理領域内で差分終点インデックスが異なれば、必ず重み付けパラメータが異なるように)すれば、
算出した特徴量から、差分終点インデックス毎の量子化値を逆算できる。このことは、その特徴量を算出した差分起点画素が複数の処理領域に属していた場合に、それぞれの処理領域ごとに特徴量を算出する必要があるが、その際の量子化する処理までは、一度の処理で済むという利点を生む。
また、対称性を有する物体に対して処理領域を設定する場合には(例えば、顔はほぼ左右対称と考えられる)、処理領域もその対称性に従って設定すれば(図2の(B)の処理領域201と処理領域202のように)、テーブルが小さくできる。これは、対称性を有する物体では、特徴も対称性を有すると考えられるためである。重み付けパラメータも対称になるようにすれば、テーブルのサイズを小さくできる。
例えば、処理領域201における差分終点画素が差分起点画素の左にある場合の重み付けパラメータと、処理領域202における差分終点画素が差分起点画素の右にある場合の重み付けパラメータとを等しくするようにしておけばよい。同様に差分起点画素と差分終点画素との相対位置関係が処理領域201と処理領域202で対称なものは、同じ重み付けパラメータにしておけばよい。
また、これまで説明してきた各実施形態では、認識システムや検出システムに輝度画像を入力していたが、輝度画像に限られるわけではない。カラー画像に対して認識/検出を行いたい場合は、認識システムや検出システムの前段に、色チャネルを輝度に変換する処理を入れれば良い。或いは、認識システムや検出システムの中で、認識/検出に都合のよい輝度画像に変換する処理を行い、画像処理部に投入してもよい。或いは、各色チャネルに対して独立に実施形態で示した処理を行い、認識システムや検出システムの後段で各色チャネルでの出力結果を統合するものでもよい。特徴量抽出部103、1003は、処理領域画像として切り出された部分画像において、注目画素(差分起点画素)とその周辺の周辺画素(差分終点画素)との間で、画素値の差分値を算出し、これを用いて重み付けパラメータを決定する。ここで、画素値としては、輝度値、色値などを用いることができる。
また、重み付けパラメータ格納部104に格納されたパラメータ値は「重み付け」という名称を用いたが、実際には各量子化値を置換する値として用いられている。しかしながら、本発明において、図6の(B)に示したLBP値のように、重み付けパラメータを量子化値に作用させる形態を用いることももちろん可能である。但し、この場合、量子化値が0の欄のパラメータ値は不要となる。
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。
本発明の好適な一実施形態である認識システムを示すブロック図である。 切り出し正規化画像、処理領域を示す図である。 処理領域指定情報を示す図である。 重み付けパラメータ格納部での重み付けパラメータの格納状態を示す図である。 特徴量抽出部の処理を模式的に表した図である。 LBP値の算出処理を模式的に表した図である。 処理領域で処理ウインドウをスキャンさせている様子を示す図である。 特徴量抽出部の処理の流れを示すフローチャートである。 登録特徴量画像格納部での特徴量画像の格納状態を示す図である。 本発明の好適な一実施形態である検出システムを示すブロック図である。 本発明の好適な一実施形態であるハードウエアの構成を示すブロック図である。 処理ウインドウ内の差分終点画素の様子を示す図である。

Claims (16)

  1. 画像から予め定められた基準で複数の部分画像を切り出す切り出し工程と、
    前記切り出し工程で切り出された部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出工程と、
    前記部分画像が前記切り出し工程で切り出された前記複数の部分画像の何れであるかを特定する識別情報と、前記差分値とに基づき、各差分値に対するパラメータ値を決定する決定工程と、
    前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出工程と、
    前記部分画像の各画素を注目画素として、前記第1算出工程と前記決定工程と前記第2算出工程とにより特徴量を算出することで、前記複数の部分画像の各々の特徴量を取得する取得工程とを備えることを特徴とする画像処理方法。
  2. 画像から部分画像を切り出す切り出し工程と、
    前記部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出工程と、
    検出すべき特徴の種類と、前記差分値とに基づいて、各差分値に対するパラメータ値を決定する決定工程と、
    前記決定工程で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出工程と、
    前記部分画像の各画素を注目画素として、前記第1算出工程と前記決定工程と前記第2算出工程とにより特徴量を算出することで、前記部分画像に対する特徴量を取得する取得工程とを備えることを特徴とする画像処理方法。
  3. 前記決定工程では、各差分値に対するパラメータ値を決定するために、更に、当該差分値が算出された周辺画素の前記注目画素に対する相対位置関係を用いることを特徴とする請求項1または2に記載の画像処理方法。
  4. 前記切り出し工程では、予め定められた基準で前記画像から複数の部分画像を切り出し、
    前記決定工程では、前記部分画像が前記切り出し工程で切り出された前記複数の部分画像のいずれであるかを示す識別情報を更に用いて、各差分値に対するパラメータ値を決定することを特徴とする請求項2に記載の画像処理方法。
  5. 前記差分値をあらかじめ定められた量子化レベルで量子化して量子化値を得る量子化工程を更に備え、
    前記決定工程では、各差分値に対するパラメータ値を決定するために、前記量子化値を用いることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理方法。
  6. 前記量子化工程では、2つの量子化レベルで前記差分値を量子化することを特徴とする請求項5に記載の画像処理方法。
  7. 前記パラメータ値は2のべき乗であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。
  8. 前記取得工程では、1つの注目画素について前記決定工程で決定された全てのパラメータ値を加算した結果を、当該注目画素に対する特徴量とすることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。
  9. 請求項1乃至8のいずれか1項に記載の画像処理方法を用いて取得された処理領域画像の特徴量に基づいて、前記画像から検出対象パターンを検出するパターン検出方法。
  10. 請求項1乃至8のいずれか1項に記載の画像処理方法を用いて取得された処理領域画像の特徴量に基づいて、前記画像があらかじめ登録してあるパターンのいずれに対応するかを判定することを特徴とするパターン認識方法。
  11. 画像から予め定められた基準で複数の部分画像を切り出す切り出し手段と、
    前記切り出し手段で切り出された部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出手段と、
    前記部分画像が前記切り出し手段で切り出された前記複数の部分画像の何れであるかを特定する識別情報と、前記差分値とに基づき、各差分値に対するパラメータ値を決定する決定手段と、
    前記決定手段で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出手段と、
    前記部分画像の各画素を注目画素として、前記第1算出手段と前記決定手段と前記第2算出手段とにより特徴量を算出することで、前記複数の部分画像の各々の特徴量を取得する取得手段とを備えることを特徴とする画像処理装置。
  12. 画像から部分画像を切り出す切り出し手段と、
    前記部分画像において、注目画素とその周辺の周辺画素との間で画素値の差分値を算出する第1算出手段と、
    検出すべき特徴の種類と、前記差分値とに基づいて、各差分値に対するパラメータ値を決定する決定手段と、
    前記決定手段で決定されたパラメータ値を用いて、前記注目画素に対応する特徴量を算出する第2算出手段と、
    前記部分画像の各画素を注目画素として、前記第1算出手段と前記決定手段と前記第2算出手段とにより特徴量を算出することで、前記部分画像に対する特徴量を取得する取得手段とを備えることを特徴とする画像処理装置。
  13. 請求項1乃至8のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
  14. 請求項9に記載のパターン検出方法をコンピュータに実行させるためのプログラム。
  15. 請求項10に記載のパターン認識方法をコンピュータに実行させるためのプログラム。
  16. 請求項13乃至15のいずれか1項に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2008051119A 2008-02-29 2008-02-29 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置 Expired - Fee Related JP5047005B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008051119A JP5047005B2 (ja) 2008-02-29 2008-02-29 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
US12/394,593 US8447076B2 (en) 2008-02-29 2009-02-27 Image processing method, pattern detection method, pattern recognition method, and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008051119A JP5047005B2 (ja) 2008-02-29 2008-02-29 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2009211179A true JP2009211179A (ja) 2009-09-17
JP5047005B2 JP5047005B2 (ja) 2012-10-10

Family

ID=41013217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008051119A Expired - Fee Related JP5047005B2 (ja) 2008-02-29 2008-02-29 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置

Country Status (2)

Country Link
US (1) US8447076B2 (ja)
JP (1) JP5047005B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211490A (ja) * 2008-03-05 2009-09-17 Kddi Corp 画像認識方法および装置
JP2012014564A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
WO2012098842A1 (ja) 2011-01-20 2012-07-26 パナソニック株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置
WO2013021580A1 (ja) 2011-08-11 2013-02-14 パナソニック株式会社 特徴抽出装置、特徴抽出プログラム、および画像処理装置
JP2014507722A (ja) * 2011-12-29 2014-03-27 インテル コーポレイション 一般化されたロバストなマルチチャンネル特徴検出器
JP2015185042A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 情報処理装置、認証装置およびそれらの方法
US9367758B2 (en) 2012-01-12 2016-06-14 Panasonic Intellectual Property Management Co., Ltd. Feature extraction device, feature extraction method, and feature extraction program
JP2018025973A (ja) * 2016-08-10 2018-02-15 株式会社東海理化電機製作所 画像処理装置及び画像処理方法
WO2022064884A1 (ja) * 2020-09-24 2022-03-31 カシオ計算機株式会社 ハードウェアアクセラレータ、画像処理装置及び画像処理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101557100B1 (ko) * 2009-02-13 2015-10-02 삼성전자주식회사 선명도 향상부를 포함하는 영상 처리 장치
JP5538967B2 (ja) 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2011128990A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置とその方法
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP2012198781A (ja) * 2011-03-22 2012-10-18 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
JP6338429B2 (ja) * 2014-04-15 2018-06-06 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
CN104299007A (zh) * 2014-09-17 2015-01-21 电子科技大学 一种用于行为识别的分类器训练方法
US10923126B2 (en) * 2015-03-19 2021-02-16 Samsung Electronics Co., Ltd. Method and device for detecting voice activity based on image information
CN105809415B (zh) * 2016-03-04 2020-04-21 腾讯科技(深圳)有限公司 基于人脸识别的签到系统、方法和装置
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
US10169874B2 (en) * 2017-05-30 2019-01-01 International Business Machines Corporation Surface-based object identification
US10573034B2 (en) 2018-04-13 2020-02-25 Honeywell International Inc. System and method for translation of graphics to newer format using pattern matching
JP2019204288A (ja) * 2018-05-23 2019-11-28 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US10747207B2 (en) 2018-06-15 2020-08-18 Honeywell International Inc. System and method for accurate automatic determination of “alarm-operator action” linkage for operator assessment and alarm guidance using custom graphics and control charts
US10699159B2 (en) 2018-08-17 2020-06-30 Honeywell International Inc. Objects aggregation and standardization for legacy graphics conversion
US11042957B1 (en) 2019-12-12 2021-06-22 Honeywell International Inc. Identification of process and control linkages from custom graphics for the purpose of backbuilding standard operating procedures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188504A (ja) * 2006-01-11 2007-07-26 Mitsubishi Electric Research Laboratories Inc 画像中の画素強度をフィルタリングする方法
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置
JP2009086926A (ja) * 2007-09-28 2009-04-23 Kddi Corp 画像認識方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3017384B2 (ja) * 1993-07-19 2000-03-06 シャープ株式会社 特徴領域抽出装置
US5821915A (en) * 1995-10-11 1998-10-13 Hewlett-Packard Company Method and apparatus for removing artifacts from scanned halftone images
US6381372B1 (en) * 1998-12-30 2002-04-30 Xerox Corporation Systems and methods for designing image processing filters using templates
JP3831232B2 (ja) 2001-11-07 2006-10-11 独立行政法人科学技術振興機構 画像処理方法
US7203378B2 (en) * 2002-09-27 2007-04-10 Chui-Kuei Chiu Accelerative noise filtering method for image data
JP3696212B2 (ja) 2003-02-13 2005-09-14 株式会社東芝 パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US6912298B1 (en) * 2003-08-11 2005-06-28 Adobe Systems Incorporation Object detection using dynamic probability scans
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
JP4629431B2 (ja) 2004-12-28 2011-02-09 富士通セミコンダクター株式会社 画像処理装置、及び、画像処理方法
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
US7583823B2 (en) * 2006-01-11 2009-09-01 Mitsubishi Electric Research Laboratories, Inc. Method for localizing irises in images using gradients and textures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188504A (ja) * 2006-01-11 2007-07-26 Mitsubishi Electric Research Laboratories Inc 画像中の画素強度をフィルタリングする方法
JP2007293438A (ja) * 2006-04-21 2007-11-08 Omron Corp 特徴量取得装置
JP2009086926A (ja) * 2007-09-28 2009-04-23 Kddi Corp 画像認識方法および装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211490A (ja) * 2008-03-05 2009-09-17 Kddi Corp 画像認識方法および装置
JP2012014564A (ja) * 2010-07-02 2012-01-19 Fujitsu Ltd 特徴点判定装置、特徴点判定方法および特徴点判定プログラム
WO2012098842A1 (ja) 2011-01-20 2012-07-26 パナソニック株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置
US9053384B2 (en) 2011-01-20 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Feature extraction unit, feature extraction method, feature extraction program, and image processing device
JP5861123B2 (ja) * 2011-01-20 2016-02-16 パナソニックIpマネジメント株式会社 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置
US9294665B2 (en) 2011-08-11 2016-03-22 Panasonic Intellectual Property Management Co., Ltd. Feature extraction apparatus, feature extraction program, and image processing apparatus
WO2013021580A1 (ja) 2011-08-11 2013-02-14 パナソニック株式会社 特徴抽出装置、特徴抽出プログラム、および画像処理装置
JP2014507722A (ja) * 2011-12-29 2014-03-27 インテル コーポレイション 一般化されたロバストなマルチチャンネル特徴検出器
US9367758B2 (en) 2012-01-12 2016-06-14 Panasonic Intellectual Property Management Co., Ltd. Feature extraction device, feature extraction method, and feature extraction program
JP2015185042A (ja) * 2014-03-25 2015-10-22 キヤノン株式会社 情報処理装置、認証装置およびそれらの方法
JP2018025973A (ja) * 2016-08-10 2018-02-15 株式会社東海理化電機製作所 画像処理装置及び画像処理方法
WO2022064884A1 (ja) * 2020-09-24 2022-03-31 カシオ計算機株式会社 ハードウェアアクセラレータ、画像処理装置及び画像処理方法
JP2022053424A (ja) * 2020-09-24 2022-04-05 カシオ計算機株式会社 ハードウェアアクセラレータ、画像処理装置及び画像処理方法
JP7188426B2 (ja) 2020-09-24 2022-12-13 カシオ計算機株式会社 ハードウェアアクセラレータ、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US8447076B2 (en) 2013-05-21
US20090220155A1 (en) 2009-09-03
JP5047005B2 (ja) 2012-10-10

Similar Documents

Publication Publication Date Title
JP5047005B2 (ja) 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
US10275677B2 (en) Image processing apparatus, image processing method and program
JP4410732B2 (ja) 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
JP4699298B2 (ja) 人体領域抽出方法および装置並びにプログラム
CN105303156B (zh) 字符检测装置、方法及程序
JP2010044439A (ja) 特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラム
JP6282045B2 (ja) 情報処理装置および方法、プログラム、記憶媒体
US7831068B2 (en) Image processing apparatus and method for detecting an object in an image with a determining step using combination of neighborhoods of a first and second region
JP2007025902A (ja) 画像処理装置、画像処理方法
JP2008251029A (ja) 文字認識装置、ナンバープレート認識システム
JP2010176504A (ja) 画像処理装置、画像処理方法及びプログラム
CN112818983B (zh) 一种利用图片相识度判断字符倒置的方法
US9053383B2 (en) Recognizing apparatus and method, program, and recording medium
JP2006323779A (ja) 画像処理方法、画像処理装置
US20100226578A1 (en) Object detecting apparatus, and object detecting method
JP4533849B2 (ja) 画像処理装置及び画像処理プログラム
JP6341059B2 (ja) 文字認識装置、文字認識方法、およびプログラム
JP2007026308A (ja) 画像処理方法、画像処理装置
KR100703528B1 (ko) 영상 인식 장치 및 방법
CN114529570A (zh) 图像分割方法、图像识别方法、用户凭证补办方法及系统
JP2005165983A (ja) 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102458614B1 (ko) 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120618

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5047005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees