JP2008097245A - 回転角度検出装置、回転角度検出装置の制御方法および制御プログラム - Google Patents
回転角度検出装置、回転角度検出装置の制御方法および制御プログラム Download PDFInfo
- Publication number
- JP2008097245A JP2008097245A JP2006277185A JP2006277185A JP2008097245A JP 2008097245 A JP2008097245 A JP 2008097245A JP 2006277185 A JP2006277185 A JP 2006277185A JP 2006277185 A JP2006277185 A JP 2006277185A JP 2008097245 A JP2008097245 A JP 2008097245A
- Authority
- JP
- Japan
- Prior art keywords
- rotation angle
- likelihood
- pixel extraction
- extraction pattern
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】各画素抽出パターンについて抽出した複数の画素の画像特徴量を検出し、各画素抽出パターンに対応する画像特徴量および予め記憶した尤度に基づいて最大尤度を有する回転角度をオブジェクトの回転角度として判別する。
【選択図】図9
Description
例えば、証明写真では、写真中の位置、サイズ、顔の方向などが厳密に定められている。
また、顔検出、顔認識技術は、様々なものが知られているが、顔が直立状態にあることを前提に行われている。
このように顔の方向を検出し、直立に補正することは、アプリケーションの広がりと、顔検出、顔認識精度に大きく影響することが容易に理解できる。
このような技術として、特許文献1には、肌色領域の重心と顔の特徴点とから、参照パラメータを算出して顔の画像平面上における回転角度(傾き)を検出する技術が開示されている。
この結果、上記従来の技術では、必ずしも正確なオブジェクトの回転角度を検出することはできないという問題点があった。
そこで、本発明の目的は、肌の色や照明の影響を低減し、簡易かつ高速にオブジェクトの回転角度を検出することが可能な回転角度検出装置、回転角度検出装置の制御方法および制御プログラムを提供することにある。
上記構成によれば、特徴量検出部は、各前記画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する。
これにより回転角度判別部は、各前記画素抽出パターンに対応する画像特徴量および尤度記憶部に記憶されている尤度に基づいて最大尤度を有する回転角度をオブジェクトの回転角度として判別する。
したがって、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
上記構成によれば、記憶容量の増大を抑制し、処理の高速化が図れる。
上記構成によれば、容易な処理で判別結果の信頼性の向上が図れる。
上記構成によれば、オブジェクトが人の顔画像であるような場合であっても、人種による肌の色の違いあるいは照明状況の影響を低減して、より確実にオブジェクトの回転角度を検出することができる。
上記構成によれば、単純な演算で高速に画像特徴量を検出することが可能となる。
上記構成によれば、検出対象画像と画素抽出パターンとの相対的な大きさの変更を毎回行うことにより、リサイズ処理に要するメモリ容量を必要以上に大きくすることなく、オブジェクトの回転角度を検出させることができる。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
これにより尤度算出部は、原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出し、抽出パターン選択部は、算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する。
したがって、抽出パターン選択部は、尤度のばらつきに基づいて、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
したがって、抽出パターン選択部は、尤度の大きさに基づいて、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
したがって、抽出パターン選択部は、同一の回転角度について算出した尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択することとなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
上記構成によれば、抽出パターン生成部は、複数種類の原画素抽出パターンを生成する。
したがって、抽出パターン選択部は、いずれかの回転角度について得られる最大尤度と、他の回転角度における尤度の大きさとの差に基づいて、より差の大きな原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択することとなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
上記構成によれば、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
上記構成によれば、オブジェクトの回転角度検出に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
この場合において、抽出パターン選択工程は、算出した尤度の大きさに基づいてより尤度の大きな原画素抽出パターンを前記画素抽出パターンとして選択したり、同一の回転角度について算出した尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する画素抽出パターンとして選択したり、あるいは、同一の回転角度に対し、最大尤度を有する複数の原画素抽出パターンのうち、最大尤度と、同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな原画素抽出パターンを画素抽出パターンとして選択するようにしてもよい。
上記構成によれば、画像特徴量(例えば、輝度差)および最大尤度に基づいてオブジェクトの回転角度を簡易かつ高速に判別して検出することができる。
上記構成によれば、オブジェクトの回転角度検出に有効な画素抽出パターンとして選択することができ、より確実に回転角度を検出することができる。
この場合において、画素抽出パターンの選択に際し、算出させた尤度の大きさに基づいてより尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択させたり、同一の回転角度について算出させた尤度の大きさに基づいて、より尤度の大きな原画素抽出パターンを当該回転角度に対応する画素抽出パターンとして選択させたり、あるいは、同一の回転角度に対し、最大尤度を有する複数の原画素抽出パターンのうち、最大尤度と、同一の回転角度以外の他の回転角度に対応する尤度の大きさと、の差の大きな原画素抽出パターンを画素抽出パターンとして選択させるようにしてもよい。
以下の説明においては、オブジェクト画像の回転角度を検出するための検出窓の大きさを一定とし、検出対象画像をリサイズ(リサイズ画像)して、オブジェクト画像としての人の顔画像の回転角度を検出する場合について説明する。
図1は、実施形態の回転角度検出装置の概要構成ブロック図である。
回転角度検出装置10は、パーソナルコンピュータとして構成されており、オブジェクト画像の回転角度の検出処理を行う検出装置本体11と、画像入力装置としての撮像カメラ12と、各種操作を行うためのキーボード、マウスなどの入力装置13と、各種表示を行う液晶ディスプレイなどの表示装置14と、印刷を行うプリンタなどの出力装置15と、各種データを記憶するハードディスク装置などの外部記憶装置16と、を備えている。
検出装置本体11は、当該検出装置本体11全体の制御を行うマイクロプロセッサユニット(MPU)21と、各種データを記憶するROM22と、LAN、インターネットなどの外部の通信ネットワーク23との間のインタフェース動作を行う通信インタフェース部24と、を備えている。
図2は、第1実施形態実施形態の回転角度検出装置の機能ブロック図である。
回転角度検出装置10は、回転角度検出対象のオブジェクト画像を含む検出対象画像から回転角度検出用の複数の画素(画素領域)を抽出するための画素抽出パターンを記憶する画素抽出パターン記憶部31と、各画素抽出パターン毎に画像特徴量に対応させて所定の角度毎の回転角度の尤度を記憶する尤度記憶部32と、検出対象画像から画像特徴量を生成する画像特徴量生成部33と、上記検出対象画像のリサイズを行い新たな検出対象画像を生成するリサイズ部(リサイズ処理部)34と、前記画像特徴量生成部が画像特徴量の生成を高速に行うために画像特徴量の積分画像を生成する積分画像処理部35と、画像特徴量および尤度に基づいてオブジェクトの回転角度を判別する回転角度判別部36と、を備えている。
図3(a)は、第1の例の画素抽出パターン40Aであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される長方形状(矩形形状)の画素領域を抽出し、対応する画素領域を代表する輝度値(代表輝度値)が正の値を持つように定義された第1画素抽出領域40A1と、対応する画素領域の輝度値(代表輝度値)が負の値を持つように定義された第2画素抽出領域40A2とに分けた二つの画素抽出領域を有している。
ここで、第2画素抽出領域は、さらに二つの画素抽出領域40A21、40A22に分けられている。
そして、図3(a)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
V=V1+V21+V22
となる。
そして、図3(b)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40B1を構成する画素抽出領域40B11に対応する検出対象画像の画素を代表する輝度の値を輝度値V11とし、画素抽出領域40B12に対応する検出対象画像の画素を代表する輝度の値を輝度値V12とし、 第2画素抽出領域40B2を構成する画素抽出領域40B21に対応する検出対象画像の画素を代表する輝度の値を輝度値V21とし、画素抽出領域40B22に対応する検出対象画像の画素を代表する輝度の値を輝度値V22とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V11+V12+V21+V22
となる。
そして、図3(c)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40C1に対応する検出対象画像の画素を代表する輝度の値を輝度値V1とし、第2画素抽出領域40C2に対応する検出対象画像の画素を代表する輝度の値を輝度値V2とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V1+V2
となる。
そして、図3(d)に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第1画素抽出領域40D1に対応する検出対象画像の画素を代表する輝度の値を輝度値V1とし、第2画素抽出領域40D2に対応する検出対象画像の画素を代表する輝度の値を輝度値V2とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Vは、
V=V1+V2
となる。
補正輝度値=(オブジェクト画像の輝度値−オブジェクト画像の輝度平均値)
/(オブジェクト画像の輝度の標準偏差)/補正値
ここで、補正値は、定数であり、例えば、2.0が用いられる。
実際に輝度差を用いる場合には、最大輝度差および最小輝度差をサンプル画像から推定し、輝度差の量子化(例えば、32段階あるいは64段階)を行う。
図4は、検出対象画像に対応する輝度値積分画像生成の概要説明図である。
図4は、検出対象画像が640×480画素の場合である。
積分画像処理部35は、検出対象画像を構成する基準位置画素PX0,0および対象画素PXm,nを対角線上の頂点とする矩形RA内のすべての画素PX0,0〜PXm,nの画像特徴量である輝度値を積分して当該対象画素PXm,nに対応する輝度積分値としている。
具体的には、図5に示すように、対象画素PXm,n=PX3,3である場合には、基準位置画素PX0,0および対象画素PX3,3を対角線上の頂点とする矩形RA1内のすべての画素PX0,0〜PX3,3の値を積分(実際には、単純加算)して当該対象画素PX3,3に対応する輝度積分値ΣPX3,3が算出される。
図6においては、理解の容易のため、輝度が0〜3の値を採る場合について説明しているが、実際には、より多段階(例えば、256段階)の輝度値が用いられる。
具体的には、図6の場合、輝度積分値は次式により算出される。
ΣPX3,3=0+0+0+0+0+0+1+1+0+1+2+3+0+1+3+1
=13
図7は、画像抽出パターンを構成する画素抽出領域の設定状態の説明図である。
例えば、図3(a)に示した画素抽出領域40A1、40A21、40A22のサイズをそれぞれ20×20画素とした場合、初期状態(第1回目)において、画素抽出領域40A21は、開始画素PX0,0および終了画素PX19,19を対角線上の頂点とする矩形の領域に相当するものとなっている。
同様にして、P=580(=639−59)、Q=460(=479−19)となるまで、画素抽出領域40A1、40A21、40A22の設定を繰り返すこととなる。
ここで輝度積分値の算出の原理について説明する。
画素PXx,yにおける輝度(画像特徴量)をCとした場合の、積分画像II(PXx,y)は、次式により算出される。
いずれかの画素抽出領域の範囲を(x0≦x≦x1、y0≦y≦y1)とすれば、輝度積分値は、次式により表される。
図8は、積分輝度値の算出の説明図である。
積分輝度値の算出において、検出装置本体11は、画素抽出領域40A21に対応する画素の積分輝度値を算出する場合には、矩形RA11〜RA14の各矩形毎の積分値を用いて行う。
具体的には、上述したように画素抽出領域40A21の大きさを20×20画素とすると、画素抽出領域40A21の開始画素がPXS,Tである場合には、終了画素がPXS+19,T+19となる。
このとき、矩形RA11は、開始画素PX0,0および終了画素PXS-1,T-1を対角線上の頂点とする矩形となる。したがって、矩形RA11の積分値ΣRA11は、ΣPXS-1,T-1となる。
また、矩形RA13は、開始画素PX0,0および終了画素PXS-1,T+19を対角線上の頂点とする矩形となる。したがって、矩形RA13の積分値ΣRA13は、ΣPXS-1,T+19となる。
また、矩形RA14は、開始画素PX0,0および終了画素PXS+19,T+19を対角線上の頂点とする矩形となる。したがって、矩形RA13の積分値ΣRA14は、ΣPX+19,T+19となる。
ΣDW=ΣRA14+ΣRA11−ΣRA12−ΣRA13
図9は、第1実施形態の処理フローチャートである。
図2に示したように、回転角度検出装置10に検出対象画像50が入力されると、検出装置本体11のMPU21は、画素抽出パターン記憶部31として機能する外部記憶装置16から画素抽出パターン(具体的には、上述した画素抽出パターン40A〜40Dのいずれか一つ)を読み出す(ステップS11)。
つづいて抽出した画素の画像特徴量(積分輝度値)を上述した積分輝度値の算出方法に基づいて算出する(ステップS12)。
そして算出した画像特徴量を量子化し、尤度記憶部32として機能する外部記憶装置16に記憶した角度尤度テーブルを参照して、当該画像特徴量(積分輝度値)に対応する尤度を判別用尤度メモリに回転角度別に積算して積算尤度を算出する(ステップS13)。
図10は、いずれかの画素抽出パターンに対応する角度尤度テーブルの一例であり、図11は、他の画素抽出パターンに対応する角度尤度テーブルの一例である。各値は、出現頻度を表しており、図9および図10は、サンプル画像数=1000の場合の出現頻度を表している。すなわち、190/1000という表記は、1000サンプル数中、190サンプルが該当した旨を表している。
これらの角度尤度テーブルの作成については、第2実施形態で詳述するので、ここでは、説明を省略する。
積算尤度は、各回転角度(例えば、0〜355°の範囲で5°単位)毎に全ての画素抽出パターンに対応する尤度を積算した値を有し、初期状態においては、積算尤度はすべて0とされている。
そして、この量子化された輝度値に対応させてオブジェクトの回転角度毎の尤度を角度尤度テーブルとして外部記憶装置に画素抽出パターン数だけ予め記憶している。
図12(a)は、画素抽出パターン40Aを適用した場合、図12(b)、(c)は、画素抽出パターン40Cを適用した場合のものである。
図12に示した場合は、検出対象画像(あるいはリサイズ検出対象画像)50内でオブジェクトである顔画像が回転角度=0°(基準配置位置)の場合であるが、実際には、検出対象画像50内でオブジェクトが所定の回転角度となっているのが一般的である。
この状態で、画像特徴量生成部33として機能する検出装置本体11は、各画素抽出パターンについて画像特徴量である積分輝度値を量子化し、角度尤度テーブルを参照する毎に、読み出した尤度の対数値(対数尤度)を角度毎に加算して積算尤度テーブルを生成することとなる。この場合に積算尤度テーブルは、0〜355°に対応するの72個のメモリ領域を有している。また、対数尤度を加算しているのは、計算の容易化のためである。
そして、回転角度毎に尤度テーブルの値の対数値を積算尤度テーブルに加算する。
すなわち輝度差0の尤度テーブル32A1を参照した時点で積算尤度テーブルが初期状態であった場合には、積算尤度テーブルの値は、0°側から順次、log(190/1000+c)、log(45/1000+c)、…、log(500/1000+c)、…、log(10/1000+c)、log(2/1000+c)となる。ここで、cは、非常に小さな値を有する定数であり、理論上あるいは演算処理上において対数値が定まらなくなるのを防止するためのものである。
同様に、他の画素抽出パターンに対応する角度尤度テーブルが図10に示すような場合に、量子化された輝度差が−5である場合には、輝度差−5の尤度テーブル32B1が参照される。
そして、全ての画素抽出パターンについて、積算尤度の算出が終了したか否かを判別する(ステップS14)。
ステップS14の判別において、未だ全ての画素抽出パターンについて積算尤度の算出が終了していない場合には(ステップS14;No)、処理を再びステップS11に移行して、以下、同様に処理を行う。
以上の説明のように、本実施形態によれば、回転角度の検出に輝度値を用いているため、照明の性質(明るさおよび色温度等)の影響を受ける人の肌の色などの色情報を使用しないので、正確な回転角度検出が行える。
また輝度差を画像特徴量として回転角度の検出を行っているので、照明の変化の影響をあまり受けずに回転角度を検出することができる。
さらに回転角度検出に際し、予め記憶した(算出した)尤度に基づいているので、簡易かつ高速な回転角度検出が行える。
以上の第1実施形態においては、角度尤度テーブルは予め記憶していたが、本第2実施形態は、角度尤度テーブルの生成から行う場合の実施形態である。
図13は、第2実施形態の回転角度検出装置の機能ブロック図である。
図13において、図2の第1実施形態と同様の部分には、同一の符号を付すものとする。
第2実施形態の回転角度検出装置10Aは、サンプル画像51-1〜51-nから回転角度検出用の複数の画素(画素領域)を抽出する複数の画素抽出パターンを予め記憶する第1画素抽出パターン記憶部41と、回転角度検出対象のオブジェクト画像を含む検出対象画像から回転角度検出用の複数の画素(画素領域)を抽出するための画素抽出パターンを記憶する第2画素抽出パターン記憶部42と、第2画素抽出パターン記憶部42に記憶された各画素抽出パターン毎に画像特徴量に対応させて所定の角度毎の回転角度の尤度を記憶する尤度記憶部32と、検出対象画像から画像特徴量を生成する画像特徴量生成部33と、上記検出対象画像のリサイズを行い新たな検出対象画像を生成するリサイズ部(リサイズ処理部)34と、前記画像特徴量生成部が画像特徴量の生成を高速に行うために画像特徴量の積分画像を生成する積分画像処理部35と、画像特徴量および尤度に基づいてオブジェクトの回転角度を判別する回転角度判別部36と、を備えている。
この場合において、サンプル画像記憶部37には、予めサンプル画像51-1〜51-nが記憶されているものとする。
まず、回転角度検出装置10Aは、オペレータの指示あるいは設定にしたがって、多数の画素抽出パターン(原画素抽出パターン)を生成し、第1画素抽出パターン記憶部41に記憶する(ステップS21)。
次に第1画素抽出パターン記憶部41から未だ未選択状態にある画素抽出パターンを選択する(ステップS22)。
サンプル画像記憶部37に記憶したいずれかのサンプル画像51-x(x:1〜n)を選び、ステップS22で選択された画素抽出パターンに対応する画像特徴量(本実施形態では輝度差)を所定の回転角度毎(本実施形態では、0〜355゜の範囲で5゜単位)算出する(ステップS23)。
そして、量子化された画像特徴量である輝度差の量子化値と、対応する回転角度と、に基づいて尤度記憶部32の角度尤度テーブルを更新する(ステップS25)。
次に選択した画素抽出パターンについて全サンプル画像について処理が終了したか否かを判別する(ステップS26)。
ステップS26の処理において、未だ全サンプル画像について角度尤度テーブルを更新する処理が終了していない場合には(ステップS26;No)、再び処理をステップS23に移行し、同様の処理を繰り返す。
ステップS26の処理において、全サンプル画像について角度尤度テーブルを更新する処理が終了した場合には、全ての画素抽出パターンについて処理を終了したか否かを判別する(ステップS27)。
ステップS27の判別において、全ての画素抽出パターンについて角度尤度テーブルを更新する処理を終了した場合には(ステップS27;Yes)、処理を終了する。
図15において、出現頻度が高いとは、選択した画素抽出パターンを用いた場合に、当該画像特徴量(輝度差)となったサンプル画像が多数存在するということである。
図16は、実際の処理に用いる画素抽出パターンを選択する選択処理の処理フローチャートである。
まず、検出装置本体11は、第1画素抽出パターン記憶部41の画素抽出パターン(原画素抽出パターン)に対応するそれぞれの尤度の分散値(尤度のばらつき)を算出する(ステップS31)。
続いて、第1画素抽出パターン記憶部41に記憶している画素抽出パターン(原画素抽出パターン)のそれぞれの尤度のばらつきについて、尤度のばらつきが大きい順に実際の回転角度検出に用いる画素抽出パターンの数だけ、画素抽出パターンを選択する(ステップS32)。すなわち、各回転角度について尤度のばらつきの最も大きな画素抽出パターンを当該回転角度における画素抽出パターンとして選択する。
次に検出装置本体11は、選択した画素抽出パターンを第2画素抽出パターン記憶部42に記憶する(ステップS33)。これにより第2画素抽出パターン記憶部42は、第1実施形態における画素抽出パターン記憶部31と同様に機能することとなるので、第1実施形態と同様の手法により回転角度を検出することとなる。
[3]第3実施形態
上記第2実施形態においては、ステップS31〜S33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、最大の尤度を示す順に、画素抽出パターンを選択するように構成することも可能である。
本第3実施形態によれば、より簡易な構成で、第2実施形態と同等の効果を得ることができる。
[4]第4実施形態
上記第2実施形態においては、ステップS31〜33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、検出対象である所定の角度(0°、5°など各角度ごと)に対して、最大の尤度を示す順に、画素抽出パターンを選択するように構成することも可能である。
本第4実施形態によれば、回転角度毎に尤度の大きな原画素抽出パターンを画素抽出パターンとして選択することととなるので、オブジェクトの回転角度に有効な画素抽出パターンを選択することができ、より確実に回転角度を検出することができる。
上記第2実施形態においては、ステップS31〜33の判別において、尤度のばらつきに基づき画素抽出パターンとして選択していたが、検出対象である所定の角度(0°、5°など各角度ごと)に対して、最大の尤度を示し、かつ所定の角度以外に示す尤度の差が大きい順に、画素抽出パターンを選択するように構成することも可能である。
すなわち、特定の回転角度の尤度(最大尤度)の大きさが他の回転角度に対して突出して大きくなっている場合に、当該原画素抽出パターンを画素抽出パターンとして選択することができ、より確実に回転角度を検出することができる。
以上の説明においては、画像特徴量である積分輝度値を生成する際に、画素抽出パターンの大きさを一定にし、検出対象画像のサイズをリサイズする構成を採っていたが、検出対象画像のリサイズは行わず、画素抽出パターンの大きさを検出対象画像の大きさを超えない範囲でリサイズ(拡大または縮小)する構成を採ることも可能である。
Claims (14)
- 検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出する回転角度検出装置において、
前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、
各前記画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する特徴量検出部と、
前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部と、
各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別する回転角度判別部と、
を備えたことを特徴とする回転角度検出装置。 - 請求項1記載の回転角度検出装置において、
前記尤度記憶部は、前記画像特徴量を複数段階に量子化し、
前記段階毎、かつ、所定回転角度毎に前記尤度を記憶していることを特徴とする回転角度検出装置。 - 請求項1または請求項2記載の回転角度検出装置において、
前記回転角度判別部は、全ての前記画素抽出パターンに対応する尤度を前記所定回転角度毎に積算して積算尤度を生成し、前記積算尤度が最も高い前記所定回転角度を前記オブジェクトの回転角度として判別することを特徴とする回転角度検出装置。 - 請求項1ないし請求項3記載の回転角度検出装置において、
前記画像特徴量は、前記画像特徴量を検出する複数画素で構成される画素領域を二つの画素領域としたときの各画素領域を代表する輝度の輝度差であることを特徴とする回転角度検出装置。 - 請求項記載の回転角度検出装置において、
所定の基準位置画素および対象画素を対角線上の頂点とする矩形内のすべての画素の輝度値を積分して当該対象画素に対応する積分画素値とし、前記検出対象画像を構成するすべての画素に対応する積分画素値を求めて積分画像を生成する積分画像生成部を備え、
前記特徴量検出部は、前記積分画像に基づいて前記画像特徴量を検出することを特徴とする回転角度検出装置。 - 請求項1ないし請求項5のいずれかに記載の回転角度検出装置において、
前回の前記検出対象画像のリサイズあるいは前回の画素抽出パターンのリサイズを行って今回の検出対象画像あるいは今回の画素抽出パターンを生成することにより、検出対象画像と画素抽出パターンとの相対的な大きさの変更を行うリサイズ処理部を備えたことを特徴とする回転角度検出装置。 - 請求項1ないし請求項6のいずれかに記載の回転角度検出装置において、
複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
を備えたことを特徴とする回転角度検出装置。 - 請求項1ないし請求項6のいずれかに記載の回転角度検出装置において、
複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
算出した尤度の大きさに基づいてより前記尤度の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
を備えたことを特徴とする回転角度検出装置。 - 請求項1ないし請求項6のいずれかに記載の回転角度検出装置において、
複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
同一の前記回転角度について算出した尤度の大きさに基づいて、より前記尤度の大きな前記原画素抽出パターンを当該回転角度に対応する前記画素抽出パターンとして選択する抽出パターン選択部と、
を備えたことを特徴とする回転角度検出装置。 - 請求項1ないし請求項6のいずれかに記載の回転角度検出装置において、
複数種類の原画素抽出パターンを生成する抽出パターン生成部と、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出部と、
同一の前記回転角度に対し、最大尤度を有する複数の前記原画素抽出パターンのうち、前記最大尤度と、前記同一の回転角度以外の他の回転角度に対応する尤度の大きさの差の大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択部と、
を備えたことを特徴とする回転角度検出装置。 - 検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出するために前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部を備えた回転角度検出装置の制御方法において、
前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンについて抽出した複数の画素の画像特徴量を検出する特徴量検出過程と、
各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別する回転角度判別過程と、
を備えたことを特徴とする回転角度検出装置の制御方法。 - 請求項11記載の回転角度検出装置の制御方法において、
複数種類の原画素抽出パターンを生成する抽出パターン生成過程と、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出する尤度算出過程と、
算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択する抽出パターン選択過程と、
を備えたことを特徴とする回転角度検出装置の制御方法。 - 検出対象画像に含まれるオブジェクトの基準配置位置に対する回転角度を検出するために前記回転角度の尤度を、予め前記画像特徴量に対応づけて前記画素抽出パターン毎に記憶する尤度記憶部を備えた回転角度検出装置をコンピュータにより制御するための制御プログラムにおいて、
前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンについて抽出した複数の画素の画像特徴量を検出させ、
各前記画素抽出パターンに対応する画像特徴量および前記尤度に基づいて最大尤度を有する回転角度を前記オブジェクトの回転角度として判別させる、
ことを特徴とする制御プログラム。 - 請求項13記載の制御プログラムにおいて、
複数種類の原画素抽出パターンを生成させ、
前記原画素抽出パターンおよび回転角度が既知の複数のサンプル画像に基づいて、回転角度毎の尤度を算出させ、
算出した尤度のばらつきに基づいてより尤度のばらつきの大きな前記原画素抽出パターンを前記画素抽出パターンとして選択させる、
ことを特徴とする制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006277185A JP4840066B2 (ja) | 2006-10-11 | 2006-10-11 | 回転角度検出装置、および回転角度検出装置の制御方法 |
US11/869,141 US7995866B2 (en) | 2006-10-11 | 2007-10-09 | Rotation angle detection apparatus, and control method and control program of rotation angle detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006277185A JP4840066B2 (ja) | 2006-10-11 | 2006-10-11 | 回転角度検出装置、および回転角度検出装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008097245A true JP2008097245A (ja) | 2008-04-24 |
JP4840066B2 JP4840066B2 (ja) | 2011-12-21 |
Family
ID=39303163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006277185A Expired - Fee Related JP4840066B2 (ja) | 2006-10-11 | 2006-10-11 | 回転角度検出装置、および回転角度検出装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7995866B2 (ja) |
JP (1) | JP4840066B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014092189A1 (ja) * | 2012-12-14 | 2014-06-19 | 株式会社メディポリ | 画像認識装置、画像認識方法及び画像認識プログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5091591B2 (ja) * | 2007-08-30 | 2012-12-05 | 株式会社東芝 | 情報処理装置、プログラム及び情報処理方法 |
CN101470802B (zh) * | 2007-12-28 | 2012-05-09 | 清华大学 | 物体检测装置和方法 |
JP5106366B2 (ja) * | 2008-12-10 | 2012-12-26 | キヤノン株式会社 | 画像読取システム及び画像読取装置および画像読取システムの制御方法 |
JP2010224987A (ja) * | 2009-03-24 | 2010-10-07 | Sharp Corp | 画像処理装置、画像処理方法、プログラム、および記録媒体 |
US8463074B2 (en) * | 2009-11-11 | 2013-06-11 | General Dynamics Advanced Information Systems | System and method for rotating images |
CN105205490B (zh) * | 2015-09-23 | 2019-09-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
CN110248082B (zh) * | 2018-11-20 | 2020-12-08 | 浙江大华技术股份有限公司 | 一种规划摄像机运动控制曲线的方法及装置 |
DE102019211929A1 (de) * | 2019-08-08 | 2021-02-11 | Prüftechnik Dieter Busch GmbH | Verfahren und System zur Drehzahlbestimmung mittels Videokamera |
CN114834851B (zh) * | 2022-04-12 | 2023-04-18 | 三一重工股份有限公司 | 确定回转角度的方法、装置、可读存储介质和抓料机 |
CN116740704B (zh) * | 2023-06-16 | 2024-02-27 | 安徽农业大学 | 基于深度学习的小麦叶片表型参数变化率监测方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111867A2 (en) * | 2003-06-17 | 2004-12-23 | Mitsubishi Denki Kabushiki Kaisha | Analisis of object orientation in an image, followed by object recognition |
JP2005174179A (ja) * | 2003-12-15 | 2005-06-30 | Canon Inc | パターン検出装置及びパターン検出方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5237156A (en) * | 1990-05-17 | 1993-08-17 | Canon Kabushiki Kaisha | Image storing method and apparatus including detecting index information included in image information read out from a recording medium |
JPH05312549A (ja) * | 1992-02-06 | 1993-11-22 | Hitachi Ltd | パターン検出方法及びその装置 |
WO1996002873A1 (en) * | 1994-07-19 | 1996-02-01 | Hologram Technology International, Inc. | Image recording medium and method of making same |
US5793901A (en) * | 1994-09-30 | 1998-08-11 | Omron Corporation | Device and method to detect dislocation of object image data |
US6201880B1 (en) * | 1996-12-31 | 2001-03-13 | Electro-Optical Sciences | Method and apparatus for electronically imaging a tooth through transillumination by light |
US6456727B1 (en) * | 1999-09-02 | 2002-09-24 | Hitachi, Ltd. | Method of extracting digital watermark information and method of judging but value of digital watermark information |
US6964009B2 (en) * | 1999-10-21 | 2005-11-08 | Automated Media Processing Solutions, Inc. | Automated media delivery system |
JP2002262094A (ja) * | 2001-02-27 | 2002-09-13 | Konica Corp | 画像処理方法及び画像処理装置 |
JP3729154B2 (ja) * | 2002-05-10 | 2005-12-21 | 株式会社日立製作所 | パターン欠陥検査方法及びその装置 |
JP2006059215A (ja) | 2004-08-23 | 2006-03-02 | Seiko Epson Corp | オブジェクトの回転角度検出装置、顔の回転角度検出プログラムおよび顔の回転角度検出方法 |
-
2006
- 2006-10-11 JP JP2006277185A patent/JP4840066B2/ja not_active Expired - Fee Related
-
2007
- 2007-10-09 US US11/869,141 patent/US7995866B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111867A2 (en) * | 2003-06-17 | 2004-12-23 | Mitsubishi Denki Kabushiki Kaisha | Analisis of object orientation in an image, followed by object recognition |
JP2005174179A (ja) * | 2003-12-15 | 2005-06-30 | Canon Inc | パターン検出装置及びパターン検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014092189A1 (ja) * | 2012-12-14 | 2014-06-19 | 株式会社メディポリ | 画像認識装置、画像認識方法及び画像認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4840066B2 (ja) | 2011-12-21 |
US7995866B2 (en) | 2011-08-09 |
US20080089588A1 (en) | 2008-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4840066B2 (ja) | 回転角度検出装置、および回転角度検出装置の制御方法 | |
US7925118B2 (en) | Image processing apparatus and method thereof | |
KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
US20170229099A1 (en) | Display apparatus and method for controlling display apparatus | |
US10430962B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions | |
US9805445B2 (en) | Image zooming | |
US10839529B2 (en) | Image processing apparatus and image processing method, and storage medium | |
JP2007128127A (ja) | 顔検出方法および装置並びにプログラム | |
TWI496105B (zh) | 影像合成裝置及用於影像合成之電腦程式 | |
US10389936B2 (en) | Focus stacking of captured images | |
US10455163B2 (en) | Image processing apparatus that generates a combined image, control method, and storage medium | |
WO2014074959A1 (en) | Real-time face detection using pixel pairs | |
US8873839B2 (en) | Apparatus of learning recognition dictionary, and method of learning recognition dictionary | |
CN106954054B (zh) | 一种图像矫正方法、装置及投影仪 | |
JP6091172B2 (ja) | 特徴点検出装置およびプログラム | |
US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6511950B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20160260227A1 (en) | Image processing apparatus, image pickup apparatus, and storage medium for storing image processing program | |
JP2019175283A (ja) | 認識装置、認識システム、プログラムおよび位置座標検出方法 | |
JP2007065784A (ja) | 画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体 | |
JP2008102593A (ja) | オブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラム | |
JP2017098900A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020086216A (ja) | 撮像制御装置、撮像装置及び撮像制御プログラム | |
JP2014006871A (ja) | 画像領域分割装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090901 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4840066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |