JP2009230703A - オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム - Google Patents

オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム Download PDF

Info

Publication number
JP2009230703A
JP2009230703A JP2008078636A JP2008078636A JP2009230703A JP 2009230703 A JP2009230703 A JP 2009230703A JP 2008078636 A JP2008078636 A JP 2008078636A JP 2008078636 A JP2008078636 A JP 2008078636A JP 2009230703 A JP2009230703 A JP 2009230703A
Authority
JP
Japan
Prior art keywords
image
evaluation value
region
filters
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008078636A
Other languages
English (en)
Other versions
JP5227629B2 (ja
Inventor
Yi Hu
軼 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008078636A priority Critical patent/JP5227629B2/ja
Priority to US12/406,693 priority patent/US20090245575A1/en
Publication of JP2009230703A publication Critical patent/JP2009230703A/ja
Application granted granted Critical
Publication of JP5227629B2 publication Critical patent/JP5227629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】
本発明は、二次元的に配列された画素で表現された画像から特定種類のオブジェクト、例えば人間の頭部や人間の顔などを検出するオブジェクト検出方法等に関し、検出対象のオブジェクトが画像上に多様な形状で写し出される場合であっても、そのオブジェクトを高精度に検出する。
【解決手段】
オブジェクト検出対象の画像上に、オブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、一次評価値算出ステップで求められた複数の一次評価値を総合することにより二次評価値を求める二次評価値算出ステップと、二次評価値算出ステップで求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有する。
【選択図】 図4

Description

本発明は、二次元的に配列された画素で表現された画像から特定種類のオブジェクト、例えば人間の頭部や人間の顔などを検出するオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置をオブジェクト検出装置として動作させるオブジェクト検出プログラムに関する。
例えば人物頭部などは、画像上に様々の寸法、多様な形状で写し出される。人間が目で見て判断するときは人物頭部であるか否かは瞬時に容易に判断できるものの、これを装置で自動的に判別させるのはかなり難しい技術である。一方、画像上の人物頭部の検出は、人物検出の重要な前処理かつ基盤技術と考えられている。特に映像監視の場合、様々な環境における人物の検出、人物の追跡、人の流れの計測を自動かつ高精度に行なうために、その前処理である人物頭部の高精度な検出を行なうことのできる技術の実用化のニーズが極めて高い状況にある。
人物頭部検出方法について従来より様々な方法が提案されているが(特許文献1〜4、非特許文献1)、これらの検出方法は、人物頭部を基本的に円や楕円と仮定して、様々な手法で円や楕円を当てはめる方法である。
例えば特許文献1には、連続2フレーム画像から時間差分と空間差分により作成した明度エッジ階層画像群に、Hough変換投票をかけて楕円を抽出することにより、人物頭部を検出する手法が開示されている。
また、特許文献2には、二つ以上のカメラで撮影された映像からまず空間距離画像を生成し、生成した空間距離画像からラベリング手法で領域を分割してオブジェクトを決め、決めたオブジェクトに円フィッティングすることにより、人物頭部を決定する手法が開示されている。
また、特許文献3には、頭部を判断する際、単なる楕円テンプレートではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さく設定して得られたパターン(楕円の一部)を参照パターンとして比較する手法が開示されている。
さらに、特許文献4には、入力画像から抽出した人物の前景領域におけるモーメントや重心などを計算することにより、前景の一部である頭部領域を推定して、その領域の形状に基づいて、人物の頭部に当てはめる楕円を決定する方法が開示されている。
さらに、非特許文献1には、まずHough変換を用いて半円を見つけ、頭部の候補を探し出し、その候補から、輪郭線上の各点のプロフィール確率を計算することにより、その候補が頭部か否かを判定する手法が開示されている。
特開2004−295776号公報 特開2005−92451号公報 特開2005−25568号公報 特開2007−164720号公報 Jacky S.C.Yuk, Kwan−Yee K.Wong, Ronald H.Y.Chung, F.Y.L Chin, K.P.Chow,Real−time multiple head shape detection and tracking system with decentralized trackers, ISDA,2006
上記の従来の手法は、主に限られた頭部ポーズや安定した環境に応用されているが、背景が複雑あるいは混雑が激しい場合で検出精度が低下するという課題が残る。これは、照明の変動、背景の乱れや人物の重なりにより、正確な人物頭部輪郭情報を得られないことが一つの原因である。もう一つ原因は、さまざまなヘアスタイルなど、人物頭部形状の多様性と頭部ポーズの多様性の中で、頭部を単なる円や楕円と仮定することによっては、その多様性に対応できないということである。従来の頭部検出手法では、店舗における監視や人流計測などに応用にとって実用に足る検出精度がまだ得られていない。
この点は頭部検出に限らず、例えば顔検出でも同様であり、広く一般に、画像上に多様な形状で写し出される特定種類のオブジェクトを検出する場合に共通の課題である。
本発明は、上記事情に鑑み、画像上に多様な形状で写し出されるオブジェクトを検出対称とする場合であっても、そのオブジェクトを高精度に検出することができるオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置を、オブジェクトを高精度に検出することができるオブジェクト検出装置として動作させるオブジェクト検出プログラムを提供することを目的とする。
上記目的を達成する本発明のオブジェクト検出方法は、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
画像上の、二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、それら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを、オブジェクト検出対象の画像上の上記所定の広さの領域に作用させて複数の特徴量を算出し、上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
一次評価値算出ステップで求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
二次評価値算出ステップで求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、この領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする。
本発明のオブジェクト検出方法は、オブジェクトの輪郭や内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば従来のように輪郭の形状のみに着目した演算による抽出と比べ高精度の抽出が可能となる。
ここで、本発明のオブジェクト検出方法において、上記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた各対応関係に対応づけられてなるものであり、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
上記一次評価値算出ステップが、画像群生成ステップにより生成された画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出し、それら複数の第1のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求め、上記二次評価値算出ステップが、一次評価値算出ステップで求められた、複数の第1のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、上記領域抽出ステップが、二次評価値算出ステップで求められた二次評価値と第1の閾値とを比較して第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第1の抽出過程と、
上記一次評価値算出ステップが、画像群生成ステップにより生成された画像群のうちの上記第1の画像よりも画素数が一段階多い第2の画像の、上記一次候補領域に相当する領域に上記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、それら複数の第2のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求め、上記二次評価値算出ステップが、一次評価値算出ステップで求められた、上記複数の第2のフィルタに対応する複数の一次評価値を総合することにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、上記領域抽出ステップが、二次評価値算出ステップで求められた二次評価値と第2の閾値とを比較して該第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第2の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、上記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することが好ましい。
このように、段階的に異なる複数の広さの領域に作用してオブジェクト検出を行なう、1つの広さの領域ごとにそれぞれ複数のフィルタを用意しておき、一方、検出対象の原画像についても、間引きにより複数の寸法の画像からなる画像群を作成し、画像にフィルタを作用させて領域を抽出する過程を、相対的に小さい画像に相対的に狭い領域に作用する複数のフィルタを作用させる過程から相対的に大きい画像に相対的に広い領域に作用する複数のフィルタを作用させる過程へと順次に進み、かつ、後の過程では直前の過程で抽出された領域のみにフィルタを作用させるようにすると、複数の段階で順次にオブジェクトの存在の有無が選別され、さらに高精度な検出が可能となる。また、小さいサイズの画像で領域の粗ぶるいが行なわれ、一旦抽出された領域のみ次の領域検出対象としていることから、高速処理も可能となる。
この場合において、さらに、上記画像群生成ステップが、上記画像群の生成に加え、さらに、原画像に補間演算を施すことにより、その画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
上記一次評価値算出ステップ、上記二次評価値算出ステップ、および上記領域抽出ステップが、画像群生成ステップで生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことが好ましい。
このように、寸法が異なる複数の画像群を作成してオブジェクトの検出に用いると、多様な寸法のオブジェクトを検出することができる。
また、本発明のオブジェクト検出方法において、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された所定寸法の複数の画像からなる、所定寸法の複数の教師画像と、画像上の、その所定寸法の領域に作用し、その領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する上記対応関係を求める学習ステップをさらに有することが好ましい。
例えば、この学習ステップを採用して、複数の有効なフィルタを抽出するとともに、各フィルタに変換する、そのフィルタで算出される特徴量とそのフィルタを作用させた領域に検出対象のオブジェクトが存在する確率を表わす一次評価値との対応関係を求め、オブジェクトの検出の際に有効に利用することができる。
また、本発明のオブジェクト検出方法において、原画像と間引画像とがなる画像群を生成する画像群生成ステップを有する場合、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された所定寸法の複数の画像からなる、所定寸法の複数の教師画像それぞれを上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、その領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を上記の複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する上記対応関係を求める学習ステップをさらに有することが好ましい。
この学習ステップを置くことにより、画像群生成ステップにより生成された画像群を構成する複数の寸法の画像それぞれに適合した複数のフィルタを抽出することができる。
また、本発明のオブジェクト検出方法において、上記段階的検出ステップで複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合ステップをさら有することが好ましい。
例えば人物頭部を検出対象とする場合において、画像上の人物の顔をほぼ中心に含む第1の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第1の領域と比べると一部が重なり一部が外れた第2の領域との双方が人物頭部の領域として抽出されることがある。このようなことが予想されるオブジェクトを検出対象とする場合には、領域統合ステップを実行し、複数の領域の重なりの程度に応じて1つの領域に統合することが好ましい。
また、本発明のオブジェクト検出方法において、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することが好ましい。
例えば人物頭部を検出対象のオブジェクトする場合など、人物は映像上で移動するため、上記の差分画像を作成してその差分画像をオブジェクト検出対象の画像とすることにより、人物の移動の特徴を捉えた頭部検出(オブジェクト検出)が可能となる。さらに、差分画像作成前の個々の画像と差分画像との双方を、オブジェクト検出対象の画像とすることにより、更に高精度のオブジェクト検出が可能となる。
ここで、本発明のオブジェクト検出方法は、上記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、このオブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出方法であってもよい。
本発明のオブジェクト検出方法は、人物頭部を検出対象する場合に好適である。ただし、本発明のオブジェクト検出方法は、人物頭部の検出にのみ好適なものではなく、人物の顔の検出、屋外での野鳥視察用の野鳥の検出など、特定種類のオブジェクトを検出する様々な分野に適用することができるものである。
また、上記目的を達成する本発明のオブジェクト検出装置は、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタをそれら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の上記所定の広さの領域に複数のフィルタを作用させて複数の特徴量を算出し上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
一次評価値算出部で求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
二次評価値算出部で求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、この領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする。
ここで、本発明のオブジェクト検出装置において、上記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、各フィルタそれぞれに応じた上記対応関係に対応づけられてなるフィルタ群を、上記の対応関係とともに記憶しておくものであり、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
上記一次評価値算出部に、画像群生成部により生成された画像群のうちの相対的に小さい第1の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出させ、それら複数の第1のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、上記二次評価値算出部に、一次評価値算出部で求められた、複数の第1のフィルタに対応する複数の一次評価値を総合させることにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、上記領域抽出部に、二次評価値算出部で求められた二次評価値と第1の閾値とを比較させて第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第1の抽出過程と、
再び上記一次評価値算出部に、画像群生成部により生成された画像群のうちの上記第1の画像よりも画素数が一段階多い第2の画像の、上記一次候補領域に相当する領域にフィルタ記憶部に記憶されたフィルタ群のうちの上記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、それら複数の第2のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び上記二次評価値算出部に、一次評価値算出部で求められた、前記複数の第2のフィルタに対応する複数の一次評価値を総合させることにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び上記領域抽出部に、二次評価値算出部で求められた二次評価値と第2の閾値とを比較させて第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第2の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部、二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部とを備え、領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するものであることが好ましい。
この場合に、さらに、上記画像群生成部が、上記画像群の生成に加え、さらに、原画像に補間演算を施すことにより、上記画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
上記領域抽出演算制御部は、画像群生成部で生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部、二次評価算出部、および領域抽出部に繰り返させるものであることが好ましい。
また、本発明のオブジェクト検出装置において、上記段階的検出部で複数の領域が検出された場合における複数の領域を、それら複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合部をさら備えることが好ましい。
さらに、本発明のオブジェクト検出装置において、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えることが好ましい。
ここで、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、本発明のオブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであってもよい。
また、上記目的を達成する本発明のオブジェクト検出プログラムは、プログラムを実行する演算装置内で実行され、その演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
上記演算装置を、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、それら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の上記所定の広さの領域に複数のフィルタを作用させて複数の特徴量を算出し上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
一次評価値算出部で求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
二次評価値算出部で求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、この領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする。
ここで、本発明のオブジェクト検出プログラムにおいて、上記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが各フィルタそれぞれに応じた上記対応関係に対応づけられてなるフィルタ群を、上記の対応関係とともに記憶しておくものであり、
上記演算装置を、さらに、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
上記一次評価値算出部に、画像群生成部により生成された画像群のうちの相対的に小さい第1の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出させ、それら複数の第1のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、上記二次評価値算出部に、一次評価値算出部で求められた、複数の第1のフィルタに対応する複数の一次評価値を総合させることにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、上記領域抽出部に、二次評価値算出部で求められた二次評価値と第1の閾値とを比較させて第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第1の抽出過程と、
再び上記一次評価値算出部に、画像群生成部により生成された画像群のうちの上記第1の画像よりも画素数が一段階多い第2の画像の、上記一次候補領域に相当する領域にフィルタ記憶部に記憶されたフィルタ群のうちの上記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、それら複数の第2のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び上記二次評価値算出部に、一次評価値算出部で求められた、複数の第2のフィルタに対応する複数の一次評価値を総合させることにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び上記領域抽出部に、二次評価値算出部で求められた二次評価値と第2の閾値とを比較させて第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第2の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部、二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を有し、領域抽出部で最終的に領域を抽出することにより特定画像を検出するオブジェクト検出装置として動作させるプログラムであることが好ましい。
この場合にさらに、上記画像群生成部が、上記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、上記画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
上記領域抽出演算制御部が、画像群生成部で生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部、二次評価算出部、および領域抽出部に繰り返させるプログラムであることが好ましい。
さらに、本発明のオブジェクト検出プログラムは、上記演算装置を、上記領域抽出部で複数の領域が検出された場合における複数の領域を、それら複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させるプログラムであることが好ましい。
さらに、本発明のオブジェクト検出プログラムは、上記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させるプログラムであることも好ましい態様である。
ここで、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、本発明のオブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであってもよい。
以上の本発明によれば、検出対象のオブジェクトが画像上に多様な形状で写し出される場合であっても、そのオブジェクトを高精度に検出することができる。
以下、図面を参照して本発明の実施の形態を説明する。
図1は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
図1に示す監視カメラシステム1の概略構成図には、監視カメラ10と、インターネット20と、本発明にいうオブジェクト検出装置の一実施形態である頭部検出装置として動作するパーソナルコンピュータ30とが示されている。
監視カメラ10は、例えば銀行に設置されたものであって、店内の様子を撮影するものである。この監視カメラ10は、インターネット20に接続されており、ネットワーク通信を介して、動画像を表す画像データをパーソナルコンピュータ30に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。
パーソナルコンピュータ30は、インターネット20に接続されており、ネットワーク通信を介して、監視カメラ10から送信される動画像を受け取る。また、このパーソナルコンピュータ30は、監視カメラ10で撮影された動画像を一括管理するものである。
監視カメラ10は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の頭部検出装置として動作するパーソナルコンピュータ30についてさらに説明する。
図2は、図1に1つのブロックで示すパーソナルコンピュータ30の外観斜視図、図3は、そのパーソナルコンピュータ30のハードウエア構成図である。
ここでは、このパーソナルコンピュータ30のハードウエアおよびOS(Operating System)と、このパーソナルコンピュータ30にインストールされて実行される頭部検出プログラムとにより、本発明の一実施形態としての頭部検出装置が構成されている。
このパーソナルコンピュータ30は、外観構成上、本体装置31、その本体装置31からの指示に応じて表示画面32a上に画像を表示する画像表示装置32、本体装置31に、キー操作に応じた各種の情報を入力するキーボード33、および、表示画面32a上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス34を備えている。この本体装置31は、外観上、光磁気ディスク(MO)を装填するためのMO装填口31a、およびCDやDVDを装填するためのCD/DVD装填口31bを有する。
本体装置31の内部には、図3に示すように、各種プログラムを実行するCPU301、ハードディスク装置303に格納されたプログラムが読み出されCPU301での実行のために展開される主メモリ302、各種プログラムやデータ等が保存されたハードディスク装置303、MO331が装填されてその装填されたMO331をアクセスするMOドライブ304、CDやDVD(ここでは区別せずにCD/DVDと称する)が装填され、その装填されたCD/DVD332をアクセスするCD/DVDドライブ305、および図1に示すインターネット20に接続され監視カメラ10での撮影により得られた画像データを受信するインターフェース306が内蔵されている。これらの各種要素と、さらに図2にも示す画像表示装置32、キーボード33、およびマウス34は、バス307を介して相互に接続されている。
ここで、CD/DVD332には、このパーソナルコンピュータを頭部検出装置として動作させるための頭部検出プログラムが記憶されており、そのCD/DVD332は、CD/DVDドライブ305に装填され、そのCD/DVD332に記憶された頭部検出プログラムがこのパーソナルコンピュータ30にアップロードされてハードディスク303に格納される。このハードディスク装置303に格納された頭部検出プログラムは、このハードディスク装置303から読み出され主メモリ302上に展開されてCPU301で実行されることにより、このパーソナルコンピュータ30が頭部検出装置として動作する。
また、ハードディスク装置303には、頭部検出プログラムの他にも、画像表示装置32の表示画面32aの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、図4に示す学習ステップS10を実現するための各種の支援プログラムも格納されている。
図4は、図1〜図3に示すパーソナルコンピュータ30を利用して実施される頭部検出方法の一例を示すフローチャートである。
この図4に示す頭部検出方法は、学習ステップS10と、この学習ステップS10を除いた他のステップS21〜S24の集合からなる検出ステップS20とを有する。学習ステップS10は検出ステップS20のための準備のステップであり、ここでは、厖大な数の画像を使っての機械学習(例えばAba Boostingのアルゴリズムを用いた学習)を行なって、検出ステップS20での頭部検出対象の原画像に作用させる各種のフィルタを抽出するための処理が行なわれる。詳細は後述する。
また、検出ステップS20は、学習ステップS10で抽出された各種のフィルタを使って、検出対象の原画像から人物頭部を自動検出するステップであり、画像群生成ステップS21、輝度補正ステップS22、差分画像作成ステップS23、段階的検出ステップS24、および領域統合ステップS25から構成され、段階的検出ステップS24は、さらに、一次評価値算出ステップS241、二次評価値算出ステップS242、および領域抽出ステップS243と、それらの各ステップS241,S242,S243の繰り返しが終了したか否かを判定する判定ステップS244とから構成されている。検出ステップS20を構成する各ステップについても詳細説明は後に譲る。
図5は、頭部検出装置の一例を示すブロック図である。この頭部検出装置100は、図1〜図3に示すパーソナルコンピュータ30内にアップロードされた頭部検出プログラムがパーソナルコンピュータ30内で実行されることによりそのパーソナルコンピュータ30内に実現されるアルゴリズムであり、画像群生成部110、輝度補正部120、差分画像作成部130、段階的検出部140、領域統合部150、フィルタ記憶部160、および領域抽出演算制御部170を有する。このうちの段階的検出部140は、さらに、一次評価値算出部141、二次評価値算出部142、および領域抽出部143から構成されている。
図4に示す頭部検出方法との対比では、図5の頭部検出装置100の全体が図4の頭部検出方法における検出ステップS20に相当し、画像群生成部110が画像群生成ステップS21に相当し、輝度補正部120が輝度補正ステップS22に相当し、差分画像作成部130が差分画像作成ステップS23に相当し、段階的検出部140と領域抽出演算制御部170とを合わせた構成が段階的検出ステップS24に相当し、領域統合部150が領域統合ステップS25に相当する。また、フィルタ記憶部160は、学習ステップS10で抽出された各種のフィルタ(後述する)を格納しておく、図4にも示す記憶部160である。
また、段階的検出部140を構成する一次評価値算出部141、二次評価値算出部142、および領域抽出部143は、それぞれ図4に示す頭部検出方法のうちの段階的検出ステップS24を構成する一次評価値算出ステップS241、二次評価値算出ステップS242、および領域抽出ステップS243に相当し、領域抽出演算制御部170は、段階的検出ステップS24を構成する判定ステップS244に相当する。
尚、パーソナルコンピュータ30内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図5に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。
以下では、図5に示す頭部検出装置100の各部の作用について概括的に説明する。この説明により頭部検出プログラムおよび図4に示す頭部検出方法の検出ステップS20を構成する各ステップの説明を兼ねるものとする。その後、図4に示す頭部検出方法の学習ステップS10の具体的な詳細説明、および頭部検出装置の具体的な詳細説明を行なう。
図5に示す頭部検出装置100は、二次元的に配列された画素で表現された画像から人物頭部を検出する頭部検出装置である。
フィルタ記憶部160には、図4に示す頭部検出方法の学習ステップS10で抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタは、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係に対応づけられてフィルタ記憶部に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ1/2の比率で段階的に異なる、複数(ここでは画素数で32×32、16×16、および8×8)の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタから構成されている。
画像群生成部110では、入力されてきた原画像を構成する画素が縦横それぞれ1/2の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部110では、1/2の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横1/2の比率で間引いて得られた間引画像(画素数は原画像の1/4(縦横それぞれ1/2))の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横1/2の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。
また、輝度補正部120は、画像上の1つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値(輝度値)の平均値と分散を用いてその注目画素の画素値(輝度値)を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部110から受け取った画像群を構成する各画像それぞれについて行なわれる。
この輝度補正部120における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部120を備えているが、本発明では必ずしも必要な処理ではない。
また差分画像作成部130は、図1に示す監視カメラ10からの動画像を入力し、隣接するフレームの差分画像を作成して、その差分画像を、段階的検出部130に渡す役割りを担っている。
ここで、段階的検出部140には、輝度補正部120で輝度補正された後の画像が直接に入力されるとともに、さらに、輝度補正部120で輝度補正された画像が差分画像作成部130に入力され、その差分画像作成部130で作成された差分画像も入力される。これは、頭部検出対象の画像として、1枚1枚の静止画像を利用するとともに、差分画像を利用することによって人物頭部の動きの情報も利用して、高精度な頭部検出を行なうためである。
段階的検出部140では、先ず一次評価値算出部141により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係(フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係)に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部142により、一次評価値算出部141で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部143では、二次評価値算出部142で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。図5に示す頭部検出装置100では、領域抽出部143で領域が抽出されることをもって、人物頭部が検出されることになる。
この段階的検出部140では、領域抽出演算制御部170のシーケンス制御を受けて、一次評価値算出部141、二次評価値算出部142、および領域抽出部143が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部170は、段階的検出部140を構成する一次評価値算出部141、二次評価値算出部142、および領域抽出部143の動作を以下のように制御する。
領域抽出演算制御部170は、先ず、一次評価値算出部141に、画像群生成部110により生成された画像群のうちの相対的に小さい第1の画像にフィルタ記憶部160に記憶された多数のフィルタのうちの相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部142に、一次評価値算出部141で求められた、複数の第1のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部143に、二次評価値算出部142で求められた二次評価値と第1の閾値とを比較させてその第1の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第1の抽出過程を実行させる。
次に、再び一次評価値算出部141に、画像群生成部110により生成された画像群のうちの上記の第1の画像よりも画素数が一段階多い第2の画像の、一次候補領域に相当する領域にフィルタ記憶部160に記憶されたフィルタ群のうちの上記の複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部142に、一次評価値算出部141で求められた、複数の第2のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部143に、二次評価値算出部142で求められた二次評価値と第2の閾値とを比較させて第2の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第2の抽出過程を実行させる。
領域抽出演算制御部170は、以上のような第1の抽出過程および第2の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部141、二次評価値算出部142、および領域抽出部143に繰り返させる。
図5の頭部検出装置100は、この繰り返しにより領域抽出部143で最終的に領域が抽出されることにより人物頭部が高精度に検出される。
ここで、前述したように、画像群生成部110では、補間演算と間引演算とにより1枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部170は、画像群生成部110で生成された複数の画像群(差分画像作成部130では差分画像の画像群が作成されるが、この差分画像作成部130で作成された差分画像の画像群を含む)それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部141、二次評価算出部142、および領域抽出部143に繰り返させる。
これにより、様々の寸法の人物頭部を検出することができる。
ここで、領域抽出部143からは、例えば、画像上の人物の顔をほぼ中心に含む第1の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第1の領域と比べると一部が重なり一部が外れた第2の領域との双方が人物頭部の領域として抽出されることがある。そこで、図5の頭部検出装置100は、領域統合部150を備え、このような場合に1つの領域に統合する処理を行なっている。具体的には、領域抽出部143で複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、1つの領域に統合する。更なる詳細については後述する。
次に、本発明の実施形態をさらに具体的に説明する。
図6は、図4に示す頭部検出方法の学習ステップS10の詳細フロー図である。
この図6は、上下2段に示されており、上段は差分をとる前の静止画像1枚1枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。
ここでは先ず教師画像を作成するための多数の画像200が用意される。これらの多数の画像200は、多数枚の静止画像201と、差分画像作成のための動画像202からなる。動画像202の1枚1枚を静止画像201として利用してもよい。これらの画像200は、頭部検出用の原画像の撮影を行なう監視カメラ10(図1参照)での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ10による撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。
これらの画像200には、アフィン(Affine)変換処理210、多重解像度展開処理220、輝度補正処理230がこの順に施され、動画像202からは差分演算処理240により差分画像が生成され、その後、切出し処理250により教師画像251が生成される。この教師画像251は、1つのシーンにつき、32×32画素の教師画像と、16×16画素の教師画像と、8×8画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。
以下、先ず、ここまでの各処理について説明する。
アフィン変換処理210は、極めて多数の画像を収集することに代えて、1枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の1枚の画像を−12°、−6°、0°、+6°、+12°だけそれぞれ傾けた画像を作成し、さらに縦方向に1.2倍、1.0倍、0.8倍に伸縮した画像、さらに横方向に1.2倍、1.0倍、0.8倍に伸縮した画像を作成する。これらのうち、傾き0°、縦方向1.0倍、かつ横方向1.0倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の1枚の画像から元々の1枚の画像を含め、5×3×3=45枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。
次に多重解像度展開処理220について説明する。
図7は、多重解像度展開処理の説明図である。
ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図6の多重解像度展開処理220では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。
すなわち、図7(A)に示す元の1枚の画像全体をLとし、その画像Lから縦横それぞれ1つおきに画素を間引くことにより縦横それぞれ1/2(面積で1/4)に縮小された画像Lを作成し、これと同様に、画像Lから縦横それぞれ1つおきに画素を間引くことにより縦横それぞれについてさらに1/2(面積でさらに1/4)に縮小された画像Lを作成する。図7(B)には、このようにして作成された、元々の画像Lを含む3枚の画像L,L,Lからなる画像群が逆ピラミッド構造で示されている。
次に、輝度補正処理230が行なわれる。
この輝度補正処理230では、補正前の画素Xの画素値(輝度値)をXorg、補正後の輝度をXcorとしたとき、
Figure 2009230703
但し、E(Xorg)、σ(Xorg)は、画素Xの近傍(例えば9×9画素)の画素値(輝度値)の、それぞれ平均値と分散である。
に従って補正後の画素値(輝度値)が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。
この輝度補正は、図7(B)に示す3層の画像L,L,Lのそれぞれについて行なわれる。すなわち、下層の画像L側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。
次に、動画像について差分処理240が行なわれる。
図8は、動画像の差分処理の説明図である。
図8(A)には、動画像のうちの隣接する2つのフレームの画像が示されており、これら2枚の画像からは、多重解像度展開処理220により、それぞれが3枚の画像L,L,L;L′,L′,L′からなる2つの画像群が作成される(図8(B))。
これら2つの画像群を構成する各画像L,L,L;L′,L′,L′には、輝度補正処理230が施された後、差分処理240が行なわれる。
この差分処理240では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ(|L′−L|、i=0,1,2)、図8(C)に示す3枚の差分画像からなる逆ピラミッド型の画像群が作成される。
次に切出処理250が行なわれる。
この切出処理250は、図7(B)や図8(C)に示すような3層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。
教師画像を切り出すにあたっては、図7(B)あるいは図8(C)に示す三層構造の画像のうちの最上層の画像から32×32画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の16×16画素の領域が切り出され、三層目の画像からは同一部分の8×8画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図7(B)や図8(C)に示すような、三層構造の逆ピラミッド型の教師画像群となる。
ここでは、このような三層構造の教師画像群251が多数作成され、学習に用いられる。
次に、それらの教師画像により学習される側のフィルタについて説明する。
図9は、フィルタの構造の説明図、図10は各種のフィルタを図解して例示した図である。
ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の32×32画素の領域に作用するフィルタと、画像上の16×16画素の領域に作用するフィルタと、画像上の8×8画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの32×32画素の領域に作用するフィルタ候補は図9(A)に示す三層構造の教師画像群のうちの32×32画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの16×16画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの16×16画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの8×8画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの8×8画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。
図9(B)に示すように、1つのフィルタは、タイプと、層と、6つの画素座標{pt,pt,pt,pt,pt,pt}の属性を持ち、それら6つの画素座標にある画素の画素値(輝度値)をそれぞれ、Xpt0,Xpt1,Xpt2,Xpt3,Xpt4,Xpt5としたとき、
Figure 2009230703
なる演算により、3つの差分値のベクトルが算出される。
「タイプ」は、図10にタイプ0〜タイプ8を示すような、大分類を表わしている。例えば、図10左上のタイプ0は、横方向(θ=0°)の方向の差分をとるフィルタであることを表わしており、タイプ1は、縦方向(θ=±90°)の方向の差分をとるフィルタであることを表わしており、タイプ2〜4は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ5〜8は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、32×32画素の領域に作用するフィルタであるか、16×16画素の領域に作用するフィルタであるか、8×8画素の領域に作用するフィルタであるかの識別標識である。
さらに、6つの画素座標{pt,pt,pt,pt,pt,pt}は、例えば8×8画素の領域に作用する場合の8×8=64画素のうちの6つの画素の座標を指定するものである。16×16画素の領域に作用するフィルタ、32×32画素の領域に作用する画素の場合も同様である。
上記(2)式による演算は、6つの画素座標{pt,pt,pt,pt,pt,pt}で指定される6つの画素について行なわれ、例えば、図10の左上のタイプ0のうちのさらに最上段のフィルタの場合は、数値0を付した画素の輝度値をX、数値1を付した画素の輝度値をX、数値2を付した画素(ここでは、数値2を付した画素は数値1を付した画素と同一の画素である)の輝度値をX(=X)、数値3を付した画素の輝度値をX、数値4を付した画素(ここでは数値4を付した画素は数値1を付した画素と同一である)の輝度値をX(=X)、数値5を付した画素の輝度値をXとしたとき、
Figure 2009230703
となる。
タイプ5の左側のフィルタにも数値0〜5を付してあり、(3)式と同じ演算が行なわれる。
これらは例示であり、図10に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。
図6に示すように、教師画像群251が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ270が抽出される。
次に、機械学習について説明する。
図11は、機械学習の概念図である。
これまで説明してきたようにして、多数の教師画像群251が用意されるとともに、多数のフィルタ候補260が用意され、先ずは、それらの教師画像群251のうちの8×8画素の多数の教師画像251Aを使って8×8画素の領域に作用するフィルタ候補260Aの中から頭部検出に用いられるフィルタ270Aが抽出され、次にその抽出結果を反映させながら、16×16画素の多数の教師画像251Bを使って16×16画素の領域に作用するフィルタ候補260Bの中から頭部検出に用いられるフィルタ270Bが抽出され、さらに、その抽出結果を反映させながら、32×32画素の多数の教師画像251Cを使って、32×32画素の領域に作用するフィルタ候補260Cの中から頭部検出に用いられるフィルタ270Cが抽出される。
ここでは、機械学習の一例としてAba Boostアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。
図12は、教師画像の概念図である。
ここでは、8×8画素の多数枚の教師画像a,b,c,…,mが用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。
図13は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。
ここでは、8×8画素の領域に作用する多数種類のフィルタ(この段階ではフィルタ候補)a,b,…,nが用意され、図12に示す多数枚の教師画像を用いて各フィルタa,b,…,nについてそれぞれ学習が行なわれる。
図13に示す各グラフは、各フィルタについての学習結果を示している。
各フィルタでは、(2)式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。
各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。
ここでは、各フィルタa,b,…,nについてそれぞれ一回目の学習を行なった結果、図13に示すような学習結果が表われ、フィルタnを使ったときの正答率が最高であったとする。この場合、先ずはフィルタnを頭部検出用のフィルタとして採用し、2回目の学習はフィルタnを除く他のフィルフタa,b,…について行なわれる。
図13(C)に示すように、各教師画像a,b,c,…,mについての一次評価値がx,y,z,zであったとする。
図14は、教師画像の重み付けを示す説明図である。
一回目の学習では、全ての教師画像a,b,c,…,mについて同一の重み1.0で学習が行なわれるが、2回目の学習では、各教師画像a,b,c,…,mは1回目の学習で最高の正答率を得たフィルタnによる各教師画像ごとの確率x,y,z,zが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは2回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして2回目の学習を行ない、2回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像a,b,c,…,mについての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、8×8画素の領域に作用する多数のフィルタ270A(図11参照)が抽出される。
図15は、8×8画素用のフィルタの抽出が終了し、16×16画素のフィルタの学習への移行時の重み付け方法の説明図である。
8×8画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを1つずつ独立に使ったときの、特徴量と一次評価値との対応関係(例えば図13に示すグラフ)が求められ、1つ1つの教師画像(例えば教師画像a)について8×8画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図15に示すように、各教師画像a,b,c,…,mについて、各二次評価値A,B,C,…,Mが求められたものとする。このとき、8×8画素の教師画像a,b,c,…,mのそれぞれに対応する16×16画素の教師画像a,b,c,…,mの重みが、各二次評価値A,B,C,…,Mを使って、全ての画像について平等な1.0から変更され、16×16画素の領域に作用するフィルタの抽出のための学習に利用される。
これ以降の16×16画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、32×32画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。
以上のようにして、8×8画素の領域に作用する多数のフィルタ270A、16×16画素の領域に作用する多数のフィルタ270B、および32×32の領域に作用する多数のフィルタ270Cからなるフィルタ群270が抽出されるとともに、各フィルタについての特徴量(前述した(2)式のベクトル)と一次評価値との対応関係(グラフ、表、関数式などのいずれでもよい)が求められ、図4、図5に示すフィルタ記憶部160に格納される。
次に、以上のようにしてフィルタ記憶部160に格納されたフィルタを利用した頭部検出処理について説明する。
図5に示す画像群生成部110、輝度補正部120、および差分画像作成部130では、学習時における、図6に示す多重解像度展開処理220、輝度補正処理230、差分演算処理240とそれぞれ同様の処理が行なわれる。ただし、画像群生成部110における処理は、前述の多重解像度展開処理220とは多少異なっており、以下において説明する。
図16は、図5に示す画像群生成部110の処理を示す模式図である。
この画像群生成部110には、図1に示す監視カメラ10での撮影により得られた動画像が入力され、その動画像を構成する1枚1枚の画像について図16に示す処理が行なわれる。
ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像1が求められ、さらにその補間画像1よりもサイズが少しだけ小さい補間画像2が求められ、同様にして補間画像3も求められる。
原画像と補間画像1との間の画像サイズの比率Sσは、縦横それぞれについて
Figure 2009230703
但し、Nは、原画像を含む補間画像の数(図16に示す例ではN=4)である。
の比率である。
このようにして補間画像(図16に示す例では補間画像1,2,3)を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて1画素おきに間引くことにより縦横それぞれについて1/2のサイズの画像が作成され、縦横それぞれについてさらに1/2のサイズの画像が作成され、もう1つさらに1/2のサイズの画像が作成され、これにより図16に示す例では、1枚の原画像から4層の逆ピラミッド型の画像群が4つ作成される。
このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。
図5の輝度補正部120および差分画像作成部130の処理は、図6を参照して説明した、輝度補正処理230および差分演算処理240と同じであり、重複説明は省略する。
図16に示す逆ピラミッド型の画像群は、輝度補正部120における輝度補正処理を受けた後、さらには、差分画像作成部130で差分画像の逆ピラミッド型の画像群に変換された後、段階的検出部140に入力される。この段階的検出部140では、領域抽出演算制御部170によるシーケンス制御を受けながら以下の演算処理が行なわれる。
先ず、一次評価値算出部141において、フィルタ記憶部160から8×8画素の領域に作用する多数のフィルタが読み出され、図16に示す逆ピラミッド型の4層の画像群を構成する各4枚の画像のうちの、サイズが最も小さい画像、および2番目に小さい画像が8×8画素の各フィルタでラスタスキャンされて、順次移動する各領域ごとに特徴量を表わすベクトル((2)式参照)が求められ、各フィルタごとの、特徴量と一次評価値との対応関係(図13参照)が参照されて、その特徴量が一次評価値に換算される。
二次評価値算出部142では、8×8画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部143ではその二次評価値が所定の第1の閾値以上である(頭部が写されている可能性が高い)一次抽出領域が抽出される。
次にその一次抽出領域の位置情報が一次評価値算出部141に伝達され、一次評価値算出部141では、今度は、フィルタ記憶部160から16×16画素の領域に作用する多数のフィルタが読み出されて、図16に示す逆ピラミッド型の4つの画像群それぞれについて、小さい方から2番目の画像と3番目(大きい方から2番目)の画像上の、領域抽出部143で抽出された一次抽出領域に対応する領域に16×16の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、16×16画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部142において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部143において第2の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部141に伝達され、今度は、その一次評価値算出部141では、フィルタ記憶部160から32×32画素の領域に作用する多数のフィルタが読み出されて、図16に示す逆ピラミッド型の4つの画像群それぞれを構成する大きい方から2番目の画像と最も大きい画像上の、領域抽出部143で抽出された二次抽出領域に対応する領域に、36×36画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの32×32画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部142において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部143において第3の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置pos(領域の左上隅の座標(l,t)と右下隅の座標(r,b)と最終的な二次評価値likenessが、図5に示す領域統合部150に入力される。
図17は領域統合部150における領域統合処理の説明図である。
この領域統合部150は複数の頭部領域(三次抽出領域)H(i=1,…,M)の情報H(pos,likeness)が入力されると、その領域統合部150では、それらの頭部領域情報Hが二次評価値likenessの順に並べ替えられる。ここでは、2つの領域Href,Hについて互いの領域の一部の重なりが認められるものとし、領域
refの方が領域Hよりも二次評価値likenessが高いものとする。
領域Hrefの面積をSHref,領域Hの面積をSHx、相互に重なった部分の面積をScrossとしたとき、重なりの比率
Figure 2009230703
が算出され、この比率ρが閾値ρlow以上であったときに、領域統合演算が行なわれる。すなわち、領域Hrefの4隅の座標と領域Hの4隅の座標のうちの対応する座標にその領域のlikenessによる重みが付されて、1つに統合される。
例えば、各領域Href,Hの左上隅の左右方向の座標lref,lが、各領域Href,Hの各likenessであるlikeness(ref),likeness(x)を用いて、統合された座標
Figure 2009230703
に変換される。このような演算が位置posを表わす4つの座標
pos=(l,t,r,b)
のそれぞれについて行なわれ、2つの領域Href,Hが1つの領域に統合される。
3つ以上の領域が重なっている場合も同様である。
本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。
本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。 図1に1つのブロックで示すパーソナルコンピュータの外観斜視図である。 パーソナルコンピュータのハードウエア構成図である。 図1〜図3に示すパーソナルコンピュータを利用して実施される頭部検出方法の一例を示すフローチャートである。 頭部検出装置の一例を示すブロック図である。 図4に示す頭部検出方法の学習ステップの詳細フロー図である。 多重解像度展開処理の説明図である。 動画像の差分処理の説明図である。 フィルタの構造の説明図である。 各種のフィルタを図解して例示した図である。 機械学習の概念図である。 教師画像の概念図である。 各種フィルタとそれらのフィルタの学習結果を示す概念図である。 教師画像の重み付けを示す説明図である。 8×8画素用のフィルタの抽出が終了し、16×16画素のフィルタの学習への移行時の重み付け方法の説明図である。 図5に示す画像群生成部の処理を示す模式図である。 領域統合部における領域統合処理の説明図である。
符号の説明
10 監視カメラ
20 インターネット
30 パーソナルコンピュータ
31 本体装置
32 画像表示装置
33 キーボード
34 マウス
100 頭部検出装置
110 画像群生成部
120 輝度補正部
130 差分画像作成部
140 段階的検出部
141 一次評価値算出部
142 二次評価値算出部
143 領域抽出部
150 領域統合部
160 フィルタ記憶部
170 領域抽出演算制御部
200 画像
201 静止画像
202 動画像
210 アフィン変換処理
220 多重解像度展開処理
230 輝度補正処理
240 差分演算処理
250 切出し処理
251 教師画像群
260 フィルタ候補
270 フィルタ

Claims (20)

  1. 二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
    画像との二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを、オブジェクト検出対象の画像上の前記所定の広さの領域に作用させて複数の特徴量を算出し、前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
    前記一次評価値算出ステップで求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
    前記二次評価値算出ステップで求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、該領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出方法。
  2. 前記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるものであり、
    オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
    前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第1の画像に相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出し、該複数の第1のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第1のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第1の閾値とを比較して該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第1の抽出過程と、
    前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの前記第1の画像よりも画素数が一段階多い第2の画像の、前記一次候補領域に相当する領域に前記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、該複数の第2のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第2のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第2の閾値とを比較して該第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第2の抽出過程と
    を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、前記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする請求項1記載のオブジェクト検出方法。
  3. 前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
    前記一次評価値算出ステップ、前記二次評価値算出ステップ、および領域抽出ステップが、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことを特徴とする請求項2記載のオブジェクト検出方法。
  4. 特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像と、画像上の該所定寸法の領域に作用し該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする請求項1記載のオブジェクト検出方法。
  5. 特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像それぞれを前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を前記複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する前記対応関係を求める学習ステップをさらに有することを特徴とする請求項2又は3記載のオブジェクト検出方法。
  6. 前記領域抽出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合ステップをさらに有することを特徴とする請求項1から5のうちいずれか1項記載のオブジェクト検出方法。
  7. 複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする請求項1から6のうちいずれか1項記載のオブジェクト検出方法。
  8. 前記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項1から7のうちいずれか1項記載のオブジェクト検出方法。
  9. 二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
    画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
    オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
    前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
    前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出装置。
  10. 前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
    オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
    前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第1の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出させ、該複数の第1のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第1のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第1の閾値とを比較させて該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第1の抽出過程と、
    再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第1の画像よりも画素数が一段階多い第2の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、該複数の第2のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第2のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第2の閾値とを比較させて該第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第2の抽出過程と
    を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を備え、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする請求項9記載のオブジェクト検出装置。
  11. 前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
    前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする請求項10記載のオブジェクト検出装置。
  12. 前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合部をさらに備えたことを特徴とする請求項9から11のうちいずれか1項記載のオブジェクト検出装置。
  13. 複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする請求項9から12のうちいずれか1項記載のオブジェクト検出装置。
  14. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項9から13のうちいずれか1項記載のオブジェクト検出装置。
  15. プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
    前記演算装置を、
    画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
    オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
    前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
    前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
  16. 前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、1つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
    前記演算装置を、
    オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
    前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第1の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第1のフィルタを作用させて複数の特徴量を算出させ、該複数の第1のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第1のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第1の閾値とを比較させて該第1の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第1の抽出過程と、
    再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第1の画像よりも画素数が一段階多い第2の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第1のフィルタよりも一段広い領域に作用する複数の第2のフィルタを作用させて複数の特徴量を算出させ、該複数の第2のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第2のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第2の閾値とを比較させて該第2の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第2の抽出過程と
    を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部をさらに有し、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする請求項15記載のオブジェクト検出プログラム。
  17. 前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の1つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した1つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
    前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする請求項16記載のオブジェクト検出プログラム。
  18. 前記演算装置を、前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、1つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項15から17のうちいずれか1項記載のオブジェクト検出プログラム。
  19. 前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項15から18のうちいずれか1項記載のオブジェクト検出プログラム。
  20. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであることを特徴とする請求項15から19のうちいずれか1項記載のオブジェクト検出プログラム。
JP2008078636A 2008-03-25 2008-03-25 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム Active JP5227629B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008078636A JP5227629B2 (ja) 2008-03-25 2008-03-25 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
US12/406,693 US20090245575A1 (en) 2008-03-25 2009-03-18 Method, apparatus, and program storage medium for detecting object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008078636A JP5227629B2 (ja) 2008-03-25 2008-03-25 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム

Publications (2)

Publication Number Publication Date
JP2009230703A true JP2009230703A (ja) 2009-10-08
JP5227629B2 JP5227629B2 (ja) 2013-07-03

Family

ID=41117268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008078636A Active JP5227629B2 (ja) 2008-03-25 2008-03-25 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム

Country Status (2)

Country Link
US (1) US20090245575A1 (ja)
JP (1) JP5227629B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345983B2 (en) 2007-07-20 2013-01-01 Fujifilm Corporation Image processing apparatus, image processing method, image processing system and computer readable medium
US8363953B2 (en) 2007-07-20 2013-01-29 Fujifilm Corporation Image processing apparatus, image processing method and computer readable medium
WO2013066095A1 (ko) * 2011-11-03 2013-05-10 인텔 코오퍼레이션 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
JP2015118583A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
KR20170087817A (ko) * 2016-01-21 2017-07-31 삼성전자주식회사 얼굴 검출 방법 및 장치
KR20220026880A (ko) * 2020-08-26 2022-03-07 엔에이치엔 주식회사 이미지 기반 상품검색 방법 및 그 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5558431B2 (ja) * 2011-08-15 2014-07-23 株式会社東芝 画像処理装置、方法及びプログラム
US9665941B2 (en) 2012-10-30 2017-05-30 Hewlett-Packard Development Company, L.P. Object segmentation
CN105844253A (zh) * 2016-04-01 2016-08-10 乐视控股(北京)有限公司 移动终端图像识别的数据比对方法及装置
CN109446901B (zh) * 2018-09-21 2020-10-27 北京晶品特装科技有限责任公司 一种可嵌入式移植的实时人形目标自动识别算法
CN110910429B (zh) * 2019-11-19 2023-03-17 成都市联洲国际技术有限公司 一种运动目标检测方法、装置、存储介质及终端设备
CN111079604A (zh) * 2019-12-06 2020-04-28 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 面向大尺度遥感图像的微小目标快速检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202184A (ja) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
JP2007006324A (ja) * 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 監視記録装置及び監視記録方法
JP2007193740A (ja) * 2006-01-23 2007-08-02 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2008033424A (ja) * 2006-07-26 2008-02-14 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69331719T2 (de) * 1992-06-19 2002-10-24 Agfa-Gevaert, Mortsel Verfahren und Vorrichtung zur Geräuschunterdrückung
WO2006025185A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 監視記録装置およびその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202184A (ja) * 2005-01-24 2006-08-03 Konica Minolta Holdings Inc 検出装置、検出方法及び検出プログラム
JP2007006324A (ja) * 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 監視記録装置及び監視記録方法
JP2007193740A (ja) * 2006-01-23 2007-08-02 Fujifilm Corp 顔検出方法および装置並びにプログラム
JP2008033424A (ja) * 2006-07-26 2008-02-14 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200701405007; 大矢 将史 Masashi OYA: '動画像中からの人物の正面顔抽出 Frontal Face Extraction in Video' 映像情報メディア学会技術報告 Vol.31 No.59 ITE Technical Report 第31巻, (社)映像情報メディア学会 The Institute of Image *
JPN6012028827; 大矢 将史 Masashi OYA: '動画像中からの人物の正面顔抽出 Frontal Face Extraction in Video' 映像情報メディア学会技術報告 Vol.31 No.59 ITE Technical Report 第31巻, (社)映像情報メディア学会 The Institute of Image *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345983B2 (en) 2007-07-20 2013-01-01 Fujifilm Corporation Image processing apparatus, image processing method, image processing system and computer readable medium
US8363953B2 (en) 2007-07-20 2013-01-29 Fujifilm Corporation Image processing apparatus, image processing method and computer readable medium
US8532394B2 (en) 2007-07-20 2013-09-10 Fujifilm Corporation Image processing apparatus, image processing method and computer readable medium
WO2013066095A1 (ko) * 2011-11-03 2013-05-10 인텔 코오퍼레이션 얼굴 검출 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US10339414B2 (en) 2011-11-03 2019-07-02 Intel Corporation Method and device for detecting face, and non-transitory computer-readable recording medium for executing the method
JP2015118583A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
KR20170087817A (ko) * 2016-01-21 2017-07-31 삼성전자주식회사 얼굴 검출 방법 및 장치
KR102655789B1 (ko) * 2016-01-21 2024-04-09 삼성전자주식회사 얼굴 검출 방법 및 장치
KR20220026880A (ko) * 2020-08-26 2022-03-07 엔에이치엔 주식회사 이미지 기반 상품검색 방법 및 그 시스템
KR102401626B1 (ko) * 2020-08-26 2022-05-25 엔에이치엔 주식회사 이미지 기반 상품검색 방법 및 그 시스템

Also Published As

Publication number Publication date
JP5227629B2 (ja) 2013-07-03
US20090245575A1 (en) 2009-10-01

Similar Documents

Publication Publication Date Title
JP5227639B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5227629B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5214533B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
JP7523711B2 (ja) 画像処理装置、画像処理方法
JP5227888B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
US10334168B2 (en) Threshold determination in a RANSAC algorithm
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
JP5027030B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN102087703B (zh) 确定正面的脸部姿态的方法
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
CN106650619A (zh) 一种人体动作识别方法
JP2018181273A (ja) 画像処理装置及びその方法、プログラム
CN113312973B (zh) 一种手势识别关键点特征提取方法及系统
JP7230345B2 (ja) 情報処理装置及び情報処理プログラム
CN107784284A (zh) 人脸识别方法及系统
JP2009251892A (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
Zhou et al. Human recognition at a distance in video by integrating face profile and gait
Zhou et al. MH pose: 3D human pose estimation based on high-quality heatmap
Xie et al. A method of small face detection based on CNN
Chuan et al. Head pose estimation via multi-task cascade CNN
Kourbane et al. Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
Jiang [Retracted] Application of Rotationally Symmetrical Triangulation Stereo Vision Sensor in National Dance Movement Detection and Recognition
Liu et al. Free-head pose estimation under low-resolution scenarios
Jiang et al. Machine Vision and Big Data‐Driven Sports Athletes Action Training Intervention Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

R150 Certificate of patent or registration of utility model

Ref document number: 5227629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250