JP2015032220A - Image identification device and program - Google Patents

Image identification device and program Download PDF

Info

Publication number
JP2015032220A
JP2015032220A JP2013162702A JP2013162702A JP2015032220A JP 2015032220 A JP2015032220 A JP 2015032220A JP 2013162702 A JP2013162702 A JP 2013162702A JP 2013162702 A JP2013162702 A JP 2013162702A JP 2015032220 A JP2015032220 A JP 2015032220A
Authority
JP
Japan
Prior art keywords
image
mapping
identification
unit
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013162702A
Other languages
Japanese (ja)
Other versions
JP6099146B2 (en
Inventor
加藤 晴久
Haruhisa Kato
晴久 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013162702A priority Critical patent/JP6099146B2/en
Publication of JP2015032220A publication Critical patent/JP2015032220A/en
Application granted granted Critical
Publication of JP6099146B2 publication Critical patent/JP6099146B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image identification device capable of identifying an image accurately without receiving limitation due to color scheme of an identification object.SOLUTION: A mapping part 2 applies mapping by mapping factor to an input image for generating a mapping pixel signal. A calculation part 3 calculates a local feature amount of the mapping pixel signal. A collation part 4 collates the calculated local feature amount and a local feature amount of the identification object, for identifying whether the input image corresponds to the identification object or not. At the time, the applied mapping factor is determined as factor for reducing correlation of the signals by the image of the identification object. The local feature amount of the identification object is calculated in the mapping pixel signal in which the mapping based on the determined mapping factor is applied, to the image of the identification object.

Description

本発明は、画像識別装置及びプログラムに関し、特に、識別対象の画像から信号間相関を低減させる写像係数を算出して、識別対象画像に適用した上で高精度に識別する画像識別装置及びプログラムに関するものである。   The present invention relates to an image identification device and a program, and more particularly to an image identification device and a program for calculating a mapping coefficient for reducing a correlation between signals from an image to be identified and applying it to the image to be identified with high accuracy. Is.

従来の画像識別において識別性能を向上させる方式としては、識別対象の特徴量を算出・照合する方法がある。   As a method for improving the identification performance in the conventional image identification, there is a method of calculating / collating the feature quantity of the identification target.

代表的な特徴量としてはSIFT(Scale Invariant Feature Transform) やSURF(Speeded Up Robust Features) などが知られており、これらは被写体の拡大縮小、回転等に頑強な特徴を持つ。   As typical feature quantities, SIFT (Scale Invariant Feature Transform) and SURF (Speeded Up Robust Features) are known, and these have features that are robust to enlargement / reduction and rotation of the subject.

前記特徴量の照合に関しては、RANSAC(Random Sample Consensus) などのロバスト推定を行うことで、アウトライヤの除去がある程度可能となる。   Regarding the matching of the feature amounts, outlier removal can be performed to some extent by performing robust estimation such as RANSAC (Random Sample Consensus).

特許文献1では、色空間変換部が変換する色空間として、照明変動に強い色空間を予め決めておくことで、色の違いによる特徴量への影響を軽減して、より適切な特徴量を得ることを可能とする手法を開示している。   In Patent Document 1, a color space that is resistant to illumination fluctuations is determined in advance as a color space to be converted by the color space conversion unit, thereby reducing the influence on the feature amount due to the difference in color, and a more appropriate feature amount. Disclosed are techniques that can be obtained.

特開2012-146221号公報JP 2012-146221 A

David G. Lowe, "Distinctive image features from scale-invariant key- points," Int. Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.David G. Lowe, "Distinctive image features from scale-invariant key- points," Int. Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004. H. Bay, T. Tuytelaars, and L. Van Gool, "SURF: Speeded Up Robust Features," In ECCV, pp.404-417, 2006.H. Bay, T. Tuytelaars, and L. Van Gool, "SURF: Speeded Up Robust Features," In ECCV, pp.404-417, 2006.

非特許文献1及び非特許文献2では、色空間が予め決定されているため、識別対象の配色によっては特徴点及び特徴量を算出できないという問題がある。   In Non-Patent Document 1 and Non-Patent Document 2, since the color space is determined in advance, there is a problem in that feature points and feature amounts cannot be calculated depending on the color scheme of the identification target.

特許文献1では、色空間変換を考慮しているものの、照明変動に頑健な色空間変換の利用の有無しか言及されていないため、照明変動以外の色の違いによる特徴量への影響を軽減できないという問題がある。また、識別対象の配色によっては特徴点及び特徴量を算出できないという前記問題は解決されていない。   Although Patent Document 1 considers color space conversion, it only mentions whether or not to use color space conversion that is robust to illumination fluctuations, and thus cannot affect the effect on the feature amount due to color differences other than illumination fluctuations. There is a problem. Further, the problem that the feature points and the feature amounts cannot be calculated depending on the color scheme of the identification target has not been solved.

本発明の目的は上記の従来技術の問題点を解消し、識別性能の高い画像識別装置及びプログラムを提供することにある。   An object of the present invention is to solve the above-described problems of the prior art and to provide an image identification device and program having high identification performance.

上記目的を達成するため、本発明は、入力画像が識別対象に該当するかを識別する画像識別装置であって、前記入力画像に、写像係数による写像を適用して、写像画素信号となす写像部と、前記写像画素信号の局所特徴量を算出する算出部と、前記算出された局所特徴量と、前記識別対象の局所特徴量とを照合することで、前記入力画像が前記識別対象に該当するかを識別する照合部と、を備え、前記適用される写像係数は、前記識別対象の画像より、その信号間の相関を低減させるものとして求められた写像係数であり、前記識別対象の局所特徴量は、前記識別対象の画像に対して、前記求められた写像係数による写像を適用した写像画素信号において算出されたものであることを特徴とする。   In order to achieve the above object, the present invention provides an image identification device for identifying whether an input image corresponds to an identification object, and applying a mapping based on a mapping coefficient to the input image to generate a mapped pixel signal The input image corresponds to the identification target by collating the calculated local feature quantity with the local feature quantity of the identification target. A matching unit for identifying whether the mapping coefficient to be applied is a mapping coefficient obtained by reducing the correlation between the signals of the image to be identified, and the local area of the identification target. The feature amount is calculated in a mapping pixel signal obtained by applying mapping based on the obtained mapping coefficient to the image to be identified.

また、本発明は、コンピュータを上記画像識別装置として機能させることを画像識別プログラムであることを特徴とする。   In addition, the present invention is an image identification program for causing a computer to function as the image identification device.

本発明によれば、所定の色空間で構成された識別対象の画素信号に対して、予め信号間の冗長性を低減させる写像画素信号へと変換する写像係数を求めておき、当該写像係数を識別対象と入力画像に共通して適用することにより、写像画素信号の一部に情報量が集中するので、特徴量が生じやすくなる上、特徴量同士に差が生じやすく、照合時の識別性能が向上する。   According to the present invention, for a pixel signal to be identified configured in a predetermined color space, a mapping coefficient to be converted into a mapping pixel signal that reduces redundancy between signals is obtained in advance, and the mapping coefficient is calculated. By applying it in common to the identification target and the input image, the amount of information is concentrated on a part of the mapped pixel signal, which makes it easy to generate feature amounts and also causes differences between the feature amounts. Will improve.

一実施形態に係る画像識別装置の機能ブロック図である。It is a functional block diagram of the image identification device concerning one embodiment. 第一機能部及び第二機能部による処理の流れの概要を、処理されるデータの観点から説明するための図である。It is a figure for demonstrating the outline | summary of the flow of a process by a 1st function part and a 2nd function part from the viewpoint of the data processed.

図1は、一実施形態に係る画像識別装置1の機能ブロック図である。画像識別装置1は、第一機能部100、第二機能部200及び第三機能部300を備える。第一機能部100は、写像部2、算出部3、照合部4、写像係数記憶部20及び局所特徴量記憶部40を備える。第二機能部200は、識別対象記憶部10、写像算出部11、前段写像部21及び前段算出部31を備える。第三機能部300は、撮像部301、加工部302及び前段加工部303を備える。   FIG. 1 is a functional block diagram of an image identification device 1 according to an embodiment. The image identification device 1 includes a first function unit 100, a second function unit 200, and a third function unit 300. The first function unit 100 includes a mapping unit 2, a calculation unit 3, a matching unit 4, a mapping coefficient storage unit 20, and a local feature amount storage unit 40. The second function unit 200 includes an identification target storage unit 10, a mapping calculation unit 11, a preceding stage mapping unit 21, and a preceding stage calculation unit 31. The third functional unit 300 includes an imaging unit 301, a processing unit 302, and a pre-processing unit 303.

図2は、本発明においてなされる処理の流れの概要を、順次処理される各データの観点で示した図であり、ここでは特に、第一機能部100及び第二機能部200における処理が示されている。(なお、第三機能部300では、後述するように当該図2の処理を前提に、さらに追加的な処理がなされる。)図2では、上段側に示される入力画像Fより、当該入力画像Fが識別対象i(i=1, 2, ..., M)に該当するものであるかを、下段側に示す識別結果FO[i]として得るまでの一連の流れが示されている。   FIG. 2 is a diagram showing an outline of the flow of processing performed in the present invention from the viewpoint of each data that is sequentially processed. In particular, the processing in the first functional unit 100 and the second functional unit 200 is shown. Has been. (Note that the third function unit 300 performs additional processing on the premise of the processing of FIG. 2 as described later.) In FIG. 2, the input image F is shown from the input image F shown on the upper side. A series of flows until F is obtained as an identification result FO [i] shown on the lower side indicating whether F corresponds to the identification object i (i = 1, 2,..., M) is shown.

なお、本発明においては、識別対象は一般に複数のM個につきそれぞれ識別結果を得ることができるので、当該複数であるものとして説明を行うが、M=1として単一の識別対象を扱うようにしてもよい。   In the present invention, generally, identification results can be obtained for each of a plurality of M objects. Therefore, the description will be made assuming that there are a plurality of identification objects, but a single identification object is handled as M = 1. May be.

図2におけるデータ間に引かれた矢印の線L11等は、図1の各部でなされる処理に対応しており、矢印の根元に示されるデータを入力として利用することで、矢印の先に示されるデータが出力として得られることを表している。以下、図1の各部の処理の概要を、当該図2に示す各データ及び矢印を適宜参照しながら説明する。   The arrow line L11 drawn between the data in FIG. 2 corresponds to the processing performed in each part of FIG. 1, and the data indicated at the root of the arrow is used as an input, and is indicated at the tip of the arrow. Data is obtained as output. Hereinafter, an outline of the processing of each unit in FIG. 1 will be described with reference to each data and arrow shown in FIG.

第一機能部100は、入力画像Fを受け取り、当該入力画像が各識別対象 i (i=1, 2, ..., M) に該当するかを識別結果FO[i] (i=1, 2, ..., M) としてそれぞれ出力する。この際、各部は以下のように機能する。なお、入力画像Fはデジタルカメラ等の撮像手段より受け取ってもよいし、予め録画された画像等としてネットワーク等を経由して受け取ってもよい。   The first functional unit 100 receives the input image F and determines whether the input image corresponds to each identification object i (i = 1, 2,..., M) as an identification result FO [i] (i = 1, 2, ..., M) respectively. At this time, each unit functions as follows. The input image F may be received from an imaging unit such as a digital camera, or may be received as a pre-recorded image or the like via a network or the like.

写像部2は、図2の矢印L2-1, L2-2の処理を担い、(照合部4において)識別対象iを識別すべく、入力画像Fに対して、写像係数記憶部20に記憶されている識別対象iの写像係数C[i]による写像を適用し、入力画像Fの写像画素信号F[i][低減](写像画素信号にて構成された画像)を得る。ここで、写像係数C[i]は、第二機能部200の説明にて後述するように、識別対象iの画像O[i]において、その信号間の相関を低減させるものとして、予め算出され、写像係数記憶部20に記憶されている。 The mapping unit 2 is responsible for the processing of arrows L2-1 and L2-2 in FIG. 2, and is stored in the mapping coefficient storage unit 20 for the input image F in order to identify the identification target i (in the verification unit 4). The mapping by the mapping coefficient C [i] of the identification target i is applied to obtain the mapped pixel signal F [i] [reduced] (image constituted by the mapped pixel signal) of the input image F. Here, as will be described later in the description of the second functional unit 200, the mapping coefficient C [i] is calculated in advance to reduce the correlation between the signals in the image O [i] of the identification target i. Are stored in the mapping coefficient storage unit 20.

算出部3は、図2の矢印L3の処理を担い、写像部2で得た写像画素信号F[i][低減]より、当該識別対象iを識別するために特化した局所特徴量f1[i], f2[i], ..., fn[i]を算出する。局所特徴量には、周知のSIFT、SURF、Fernsその他、各種の中から所定のものを利用してよい。 The calculation unit 3 is responsible for the processing of the arrow L3 in FIG. 2, and the local feature amount f 1 specialized for identifying the identification target i from the mapped pixel signal F [i] [reduction] obtained by the mapping unit 2. [i] , f 2 [i] , ..., f n [i] are calculated. As the local feature amount, a predetermined one of various known features such as SIFT, SURF, Ferns, and the like may be used.

照合部4は、図2の矢印L4-1,L4-2の処理を担い、算出部3で算出された識別対象iを識別するために特化した局所特徴量f1[i], f2[i], ..., fn[i]と、局所特徴量記憶部40に記憶されている当該識別対象iの局所特徴量o1[i], o2[i], ..., om[i]と、を照合し、その一致度合いに対する閾値判定により、入力画像F内に識別対象iがあるか否かの識別結果FO[i]を得る。当該識別結果FO[i]は、閾値判断を下す前段階の、一致度合いの数値として与えるようにしてもよい。 The collation unit 4 is responsible for the processing of arrows L4-1 and L4-2 in FIG. 2, and local feature quantities f 1 [i] and f 2 specialized for identifying the identification target i calculated by the calculation unit 3 are used. [i] , ..., f n [i] and local feature values o 1 [i] , o 2 [i] , ..., of the identification target i stored in the local feature value storage unit 40 o m [i] is collated, and a discrimination result FO [i] indicating whether or not there is an identification target i in the input image F is obtained by threshold determination for the degree of coincidence. The identification result FO [i] may be given as a numerical value of the degree of coincidence before the threshold determination.

ここで、当該識別対象iの局所特徴量o1[i], o2[i], ..., om[i]は、第二機能部200の説明にて後述するように、識別対象iの画像O[i]において、その信号を低減される写像係数C[i]を適用した写像画素信号O[i][低減]より、予め算出され、局所特徴量記憶部40に記憶されている。 Here, the local feature amount o 1 [i] , o 2 [i] , ..., o m [i] of the identification target i is the identification target as described later in the description of the second functional unit 200. In the image O [i] of i, it is calculated in advance from the mapping pixel signal O [i] [reduction] to which the mapping coefficient C [i] for reducing the signal is applied, and is stored in the local feature amount storage unit 40. Yes.

なお、照合部4にて、識別対象iに特化した局所特徴量f1[i], f2[i], ..., fn[i]と、識別対象iの局所特徴量o1[i], o2[i], ..., om[i]と、の両者を照合して一致度合いを求める際には、局所特徴量を用いた物体認識等における周知の手法を利用できる。例えば、各局所特徴量fj (j=1[i], 2[i], ..., n[i]) の点につき、距離d(fj, ok)が最短となるような局所特徴量okの点を対応点であるとして選択すると共に、RANSAC等のロバスト推定を組み合わせることで、全体としての一致度合いを求めることができる。 Note that the matching unit 4 determines the local feature amount f 1 [i] , f 2 [i] , ..., f n [i] specialized for the identification target i and the local feature amount o 1 of the identification target i. [i] , o 2 [i] , ..., o m [i] are collated to find the degree of match, using a well-known method in object recognition using local features it can. For example, for each local feature f j (j = 1 [i], 2 [i], ..., n [i]), the local where the distance d (f j , o k ) is the shortest while selecting a point feature quantity o k as a corresponding point, by combining the robust estimation of such RANSAC, it is possible to determine the degree of matching as a whole.

第二機能部200は、第一機能部100が以上のようにして入力画像Fが識別対象iに該当するかを識別する際に必要となる、写像係数記憶部20に記憶される識別対象iの写像係数C[i]と、局所特徴量記憶部40に記憶される識別対象iの局所特徴量o1[i], o2[i], ..., om[i]と、を、第一機能部100の処理がなされる前に予め求める処理を担う。なお、機能部の名称に「前段」とあるのは、当該前もって処理がなされる旨を表すと共に、第一機能部100にて同一処理を担う機能部(ただし、処理対象は異なる)と区別するためである。 The second function unit 200 is the identification target i stored in the mapping coefficient storage unit 20 that is required when the first function unit 100 identifies the input image F as the identification target i as described above. Mapping coefficient C [i] and local feature quantity o 1 [i] , o 2 [i] , ..., o m [i] of identification object i stored in local feature quantity storage unit 40 In addition, the first function unit 100 performs processing that is obtained in advance before the processing is performed. Note that “previous stage” in the name of the functional part represents that the process is performed in advance, and is distinguished from the functional part responsible for the same process in the first functional unit 100 (however, the processing target is different). Because.

識別対象記憶部10は、各識別対象i (i=1, 2, ..., M)の画像O[i]を記憶している。当該画像O[i]は、マニュアル作業等により予め用意しておく。   The identification target storage unit 10 stores an image O [i] of each identification target i (i = 1, 2,..., M). The image O [i] is prepared in advance by manual work or the like.

写像算出部11は、図2の矢印L11の処理を担い、識別対象記憶部10より識別対象iの画像O[i]を取得して、当該画像O[i]の信号間における冗長性を低減させる写像係数C[i]を算出する。当該各識別対象iにつき算出された写像係数C[i]は、写像係数記憶部20に記憶されると共に、前段写像部21へ渡される。   The mapping calculation unit 11 is responsible for the processing of the arrow L11 in FIG. 2, acquires the image O [i] of the identification target i from the identification target storage unit 10, and reduces redundancy between signals of the image O [i]. The mapping coefficient C [i] to be calculated is calculated. The mapping coefficient C [i] calculated for each identification object i is stored in the mapping coefficient storage unit 20 and is also passed to the preceding mapping unit 21.

前段写像部21は、図2の矢印L21-1, L21-2の処理を担い、識別対象記憶部10より識別対象iの画像O[i]を取得して、写像算出部11の算出した写像係数C[i]を適用し、写像画素信号O[i][低減]となす。なお、写像算出部11による算出や前段写像部21による適用の詳細等は後述する。 The preceding mapping unit 21 is responsible for the processing of arrows L21-1 and L21-2 in FIG. 2, acquires the image O [i] of the identification target i from the identification target storage unit 10, and calculates the mapping calculated by the mapping calculation unit 11 The coefficient C [i] is applied to obtain the mapped pixel signal O [i] [reduction] . The details of the calculation by the mapping calculation unit 11 and the application by the preceding-stage mapping unit 21 will be described later.

前段算出部31は、図2の矢印L31の処理を担い、識別対象iにつき前段写像部21により得られた写像画素信号O[i][低減]より、局所特徴量o1[i], o2[i], ..., om[i]を算出する。当該識別対象iにつき算出された局所特徴量o1[i], o2[i], ..., om[i]は、局所特徴量記憶部40に記憶される。ここで、前段算出部31は、算出部3と同種類の局所特徴量を算出する。 Front calculating unit 31 is responsible for processing the arrow L31 in FIG. 2, mapping pixel signals O obtained by the pre-stage mapping unit 21 per identification target i [i] [reduced] from the local feature amount o 1 [i], o 2 [i] , ..., o m [i] is calculated. Local feature values o 1 [i] , o 2 [i] ,..., O m [i] calculated for the identification target i are stored in the local feature value storage unit 40. Here, the upstream calculation unit 31 calculates the same type of local feature as the calculation unit 3.

以上、第一機能部100及び第二機能部200の概要を説明したように、本発明では、次のような原理によって高精度な識別が可能となっている。すなわち、本発明では、識別対象iの画像O[i]より、その信号間の相関を低減させる写像係数C[i]を求め、入力画像F及び識別対象iの画像O[i]の両者につき、当該共通の写像係数C[i]による写像を適用した写像画素信号に変換する。すなわち、両画像において、色空間に共通の変換を施す。なお、図2にてF[i][低減]及びO[i][低減]をグレー表記しているのは、当該共通の変換が施された旨を表している。 As described above, the outline of the first functional unit 100 and the second functional unit 200 has been described. In the present invention, high-precision identification is possible based on the following principle. That is, in the present invention, the mapping coefficient C [i] for reducing the correlation between the signals is obtained from the image O [i] of the identification object i, and both the input image F and the image O [i] of the identification object i are obtained. Then, it is converted into a mapping pixel signal to which a mapping by the common mapping coefficient C [i] is applied. That is, common conversion is applied to the color space in both images. In FIG. 2, F [i] [reduction] and O [i] [reduction] are grayed out to indicate that the common conversion has been performed.

当該変換される色空間は、画像O[i]より算出したものであり、識別対象iに対して、その局所特徴量を顕著に生じさせ、局所特徴量同士の差を際だたせるものである。従って、当該識別対象iの識別に特化した色空間において、局所特徴量同士を照合することにより、入力画像Fが識別対象iに該当するかを、高精度に識別することが可能となる。   The color space to be converted is calculated from the image O [i], and the local feature amount is remarkably generated for the identification target i, and the difference between the local feature amounts is emphasized. Therefore, it is possible to identify with high accuracy whether the input image F corresponds to the identification target i by collating the local feature amounts in the color space specialized for identification of the identification target i.

次に、第三機能部300を説明する。第三機能部300は省略可能な構成であるが、利用する場合、識別処理において次のような追加的な効果を達成するものである。   Next, the third functional unit 300 will be described. The third functional unit 300 can be omitted, but when used, the third functional unit 300 achieves the following additional effect in the identification process.

すなわち、ホワイトバランスや露出補正等の加工処理が入力画像Fに予め施されている場合に、より高精度な識別が可能となる。この際の処理の流れの概要は、次の通りである。すなわち、第三機能部300が、当該入力画像Fに予め施されているのと同様の加工処理を、識別対象iの画像O[i]にも予め適用したうえで、第一機能部100及び第二機能部200が以上説明したのと同様の処理を実行する。なお、図1では、当該識別対象iの画像O[i]にも同様の加工処理を予め適用する際の流れを、点線の矢印によって示している。当該第三機能部300の各部は次の通りである。   That is, when processing such as white balance and exposure correction is performed on the input image F in advance, more accurate identification is possible. The outline of the flow of processing at this time is as follows. That is, after the third function unit 300 applies in advance the same processing as that previously applied to the input image F to the image O [i] of the identification target i, the first function unit 100 and The second function unit 200 executes the same processing as described above. In FIG. 1, a flow when a similar processing process is applied in advance to the image O [i] of the identification target i is indicated by a dotted arrow. Each part of the third functional unit 300 is as follows.

撮像部301は、カメラ等として構成され、加工処理がなされていない状態での入力画像F(撮像画像F)を取得し、加工部302に渡す。加工部302は、当該未加工の入力画像Fに対して、ホワイトバランスや露出補正等の加工処理を施す。ここで、以降の説明のため、当該所定の加工処理と、その加工処理におけるパラメータとを、記号eで表して、画像Xがこの処理により加工された画像をX(e)と表すものとする。   The imaging unit 301 is configured as a camera or the like, acquires an input image F (captured image F) in a state where no processing is performed, and passes it to the processing unit 302. The processing unit 302 performs processing such as white balance and exposure correction on the unprocessed input image F. Here, for the following description, the predetermined processing and the parameters in the processing are represented by the symbol e, and the image X processed by this processing is represented as X (e). .

当該表記のもと、加工部302は、入力画像Fを加工して加工画像F(e)となし、当該加工画像F(e)を第一機能部100における写像部2に渡すと共に、当該加工情報e(何の加工処理をどのようなパラメータで適用したかの情報)を、前段加工部303に渡す。   Based on the notation, the processing unit 302 processes the input image F to be processed image F (e), passes the processed image F (e) to the mapping unit 2 in the first function unit 100, and processes the processed image F (e). Information e (information about what processing is applied with what parameters) is passed to the upstream processing unit 303.

前段加工部303は、識別対象記憶部10より各識別対象iの画像O[i]を受け取り、加工部302より取得した加工情報eを用いて、当該画像O[i]に、入力画像Fに対して施されたのと同様の加工処理を施し、識別対象iの加工画像O[i](e)となし、当該識別対象iの加工画像O[i](e)を、写像算出部11及び前段写像部21に渡す。   The pre-stage processing unit 303 receives the image O [i] of each identification target i from the identification target storage unit 10, and uses the processing information e acquired from the processing unit 302 to input the image O [i] into the input image F. The same processing as that performed for the identification target i is performed, and the processed image O [i] (e) of the identification target i is not included. And it passes to the preceding stage mapping unit 21.

以上の第三機能部300の処理のもとで、第一機能部100及び第二機能部200が、入力画像F及び識別対象iの画像O[i]に代えて、これらがそれぞれ加工された画像F(e)及びO[i](e)を対象として処理を行うことで、加工処理eを反映した高精度な識別が可能となる。すなわち、識別対象iにつき予め算出され局所特徴量記憶部40に記憶される局所特徴量も、o1[i](e), o2[i](e), ..., om[i](e)のように、入力画像F(e)と共通の加工処理eを反映した形で与えられるため、高精度な識別が可能となる。 Under the above processing of the third function unit 300, the first function unit 100 and the second function unit 200 were processed instead of the input image F and the image O [i] of the identification target i, respectively. By performing processing on the images F (e) and O [i] (e), high-precision identification reflecting the processing process e is possible. That is, the local feature amounts calculated in advance for the identification target i and stored in the local feature amount storage unit 40 are also o 1 [i] (e) , o 2 [i] (e) ,..., O m [i ] (e) , it is given in a form reflecting the processing e common to the input image F (e), so that it is possible to identify with high accuracy.

なお、撮像部301がリアルタイムに撮像を行い、各時点tの画像につき加工部302が最適な加工処理を決定して時間変化する加工処理e(t)を行う場合は、写像係数及び局所特徴量を、写像係数記憶部20及び局所特徴量記憶部40に固定値(所定の加工処理eにおける固定値)として記憶しておくことができないので、次のようにする。   In addition, when the imaging unit 301 performs imaging in real time, and the processing unit 302 determines the optimal processing for each time t image and performs the processing e (t) that changes with time, the mapping coefficient and the local feature amount Cannot be stored as fixed values (fixed values in the predetermined processing e) in the mapping coefficient storage unit 20 and the local feature amount storage unit 40.

すなわち、第二機能部200においても、写像算出部11及び前段写像部21で当該時間変化e(t)を反映させてリアルタイムに処理を行い、写像部2で参照される写像係数C[i]と、照合部4で参照される識別対象iの局所特徴量o1[i](e), o2[i](e), ..., om[i](e)とを、e(t)の影響をリアルタイムに反映させた値とする必要がある。(なお、加工処理eが固定されていれば、リアルタイム処理を行うのは第一機能部100のみでよい。) That is, also in the second function unit 200, the mapping calculation unit 11 and the preceding mapping unit 21 perform processing in real time by reflecting the time change e (t), and the mapping coefficient C [i] referred to by the mapping unit 2 And the local feature quantity o 1 [i] (e) , o 2 [i] (e) , ..., o m [i] (e) of the identification target i referred to by the matching unit 4 is expressed as e It is necessary to have a value that reflects the effect of (t) in real time. (If the processing process e is fixed, only the first functional unit 100 may perform real-time processing.)

あるいは、当該リアルタイムに反映させる第二機能部200の負荷を発生させないため、次のようにしてもよい。すなわち、想定される画像処理eの全てを識別対象画像O[i]に適応させたときの写像係数C[i](e)及び局所特徴量o1[i](e), o2[i](e), ..., om[i](e)の全てを、予め第二機能部200で計算したうえで第一機能部100にて保持しておき、該当する写像係数C[i](e)を入力画像F(e)に適用すればよい。 Alternatively, in order not to generate a load on the second functional unit 200 to be reflected in real time, the following may be performed. That is, the mapping coefficient C [i] (e) and local feature values o 1 [i] (e) , o 2 [i when all the assumed image processing e is applied to the identification target image O [i]. ] (e) , ..., o m [i] (e) are all calculated in advance by the second function unit 200 and stored in the first function unit 100, and the corresponding mapping coefficient C [ i] (e) may be applied to the input image F (e).

なお、以上のリアルタイム処理の場合、第一機能部100は、各時点tにて適用された画像加工処理の情報eを取得し、対応する写像係数C[i](e)及び局所特徴量o1[i](e), o2[i](e), ..., om[i](e)を保持された情報の中から選択して用いる。当該情報eの取得の流れは図1では描くのを省略している。 In the case of the above real-time processing, the first function unit 100 acquires the image processing processing information e applied at each time t, and the corresponding mapping coefficient C [i] (e) and the local feature amount o 1 [i] (e) , o 2 [i] (e) , ..., o m [i] (e) are selected from the stored information and used. The flow of obtaining the information e is not shown in FIG.

同様に、時間帯や天候等の推移による見え方の変化を考慮し、各識別対象iにつき、パラメータcでその撮像条件として指定される時間帯毎、天候毎の識別対象画像O[i](c)を用意し、それぞれの写像係数及び局所特徴量を保持しておく。画像識別装置1は、当該パラメータcを特定するものとしてマニュアル入力等によって別途取得される、入力画像Fにおける時刻情報、天候情報に合わせ、適用する写像係数及び局所特徴量を切り替えることで、照合部4での識別性能を向上させることができる。   Similarly, taking into account changes in appearance due to changes in time zones, weathers, etc., for each identification target i, identification target image O [i] ( c) is prepared, and each mapping coefficient and local feature amount are retained. The image identification device 1 is obtained separately by manual input or the like as specifying the parameter c, and switches the mapping coefficient and the local feature to be applied in accordance with time information and weather information in the input image F. The identification performance in 4 can be improved.

例えば、ある識別対象iにつき、天候として、晴天で撮影された画像O[i](晴天)と、曇天で撮影された画像O[i][曇天]と、を用意しておくと共に、入力画像Fにつき撮影が晴天と曇天のいずれでなされたかの情報を別途取得することで、識別対象iを識別する際は、当該撮影の際の天候を考慮した高精度な識別が可能となる。同様に例えば、時間帯として昼間、夕方、夜の区別を設けて高精度な識別が可能となる。天候及び時間帯などのようにして、複数項目で撮像条件が指定されてもよい。   For example, an image O [i] (sunny) photographed in fine weather and an image O [i] [cloudy] photographed in cloudy weather are prepared as an input image for a certain identification target i. By separately acquiring information about whether shooting was performed on a fine day or cloudy day for F, when identifying the identification target i, it is possible to perform high-precision identification in consideration of the weather at the time of shooting. Similarly, for example, it is possible to distinguish between daytime, evening, and night as a time zone, thereby enabling highly accurate identification. The imaging conditions may be specified by a plurality of items such as weather and time zone.

以下、写像算出部11による識別対象iの識別対象の画像O[i]の写像係数C[i]の算出と、当該算出された写像係数C[i]による写像の、前段写像部21による画像O[i]への適用と、写像部2による入力画像Fへの適用と、の詳細を、その他の機能部において関連する事項と共に説明する。   Hereinafter, calculation of the mapping coefficient C [i] of the identification target image O [i] of the identification target i by the mapping calculation unit 11, and the mapping by the preceding mapping unit 21 of the mapping by the calculated mapping coefficient C [i] Details of application to O [i] and application to the input image F by the mapping unit 2 will be described together with related items in other functional units.

写像係数C[i]の具体的な算出手順は、まず、識別対象iの画像のO[i]の画素を、m 個の信号に分離する。信号を分離する種類や数は問わないが、一例としてRGB 信号やY UV 信号ないしY CbCr 信号など色空間の信号を利用することが可能である。なお、基本的には当該識別対象iの画像O[i]における当初からの構成における信号の全てに分離すればよい。例えば、RGB信号で構成されていれば、当該3つの信号に分離すればよい。   The specific calculation procedure of the mapping coefficient C [i] first separates the O [i] pixel of the image of the identification target i into m signals. The type and number of signals to be separated are not limited, but as an example, it is possible to use a signal in a color space such as an RGB signal, a Y UV signal, or a Y CbCr signal. Basically, it may be separated into all signals in the configuration from the beginning in the image O [i] of the identification target i. For example, if it is composed of RGB signals, it may be separated into the three signals.

ここで、識別対象jの画像のO[j](別に使用される添え字iと区別するためjとした)の画素がN個(空間上のピクセル位置としての個数)であり、RGB信号(m=3)で構成されているものとして、当該N 個の各画素にてm=3個に分離される信号をR i、G i、B i(i=1, 2, ..., N)で表した場合、まず、当該信号を分離したものとして、行列Pは次の(式1)で表される。 Here, there are N pixels (the number of pixel positions in space) of O [j] (identified as a subscript i used separately) in the image of the identification target j, and an RGB signal ( m = 3), R i , G i , B i (i = 1, 2, ..., N) are divided into m = 3 signals in each of the N pixels. ), First, the matrix P is expressed by the following (Equation 1) on the assumption that the signal is separated.

続いて、(式2)のように、行列Pとその転置行列Ptとの積を行列Aとして算出する。ここで、上付きのtは行列に対する転置操作を表している。 Subsequently, as in (Expression 2), the product of the matrix P and its transposed matrix P t is calculated as a matrix A. Here, the superscript t represents a transposition operation on the matrix.

このとき、行列Aは行と列の数がいずれも分離された信号の要素数mである対称行列(サイズがm×mの対称行列)となる。よって、行列Aを(式3)のように行列の積に分解することができる。   At this time, the matrix A is a symmetric matrix (a symmetric matrix having a size of m × m) that is the number m of signal elements in which both the number of rows and columns are separated. Therefore, the matrix A can be decomposed into matrix products as in (Equation 3).

ここで、Uはm×mの直交行列、Σは行列A の特異値σi(1≦i≦rankA)を降順に並べたm×mの対角行列を表す。特異値σiは、AtAの固有値λiの平方である。当該(式3)のように分解する具体的な手順は、まずAtAの固有値を求め、特異値を算出することで、Σを求める。次に、直交行列U及びVは、その定義からUtU=I、VtV=Iであることを利用して(Iは単位行列)、まず、以下の(式4)を得る。 Here, U represents an m × m orthogonal matrix, and Σ represents an m × m diagonal matrix in which singular values σ i (1 ≦ i ≦ rank A) of the matrix A are arranged in descending order. Singular value sigma i is the square of the eigenvalue lambda i of A t A. Specific procedures degrades as the equation (3) determines the eigenvalues of A t A First, by calculating the singular value, determining the sigma. Next, the orthogonal matrices U and V are obtained from the definitions using U t U = I and V t V = I (I is a unit matrix), and first, the following (Equation 4) is obtained.

従って、(式5)で示すようにVの列ベクトルviはAtAの固有値σi 2に対応する固有ベクトルとして求められる。 Accordingly, the column vector v i of V as shown by (Equation 5) is obtained as the eigenvector corresponding to the eigenvalue sigma i 2 of A t A.

こうして、写像算出部11により当該求まる直交行列Vが写像係数C[i]として、前段写像部21により以下の(式6)に示すように、識別対象iの画像O[i]を構成する画素Pに適用され、前段算出部31で局所特徴量を算出するための写像画素信号P′を求めることができる。ここで、写像画素信号P′を画像と構成する際の位置に関しては、信号P′における各要素を、対応する信号Pにおける要素の当初の画像O[i]内における位置に配置すればよい。   In this way, the orthogonal matrix V obtained by the mapping calculation unit 11 is used as the mapping coefficient C [i], and the pixels constituting the image O [i] of the identification target i by the preceding mapping unit 21 as shown in (Equation 6) below. The mapping pixel signal P ′ applied to P and used for calculating the local feature amount by the pre-stage calculation unit 31 can be obtained. Here, regarding the position when the mapped pixel signal P ′ is configured as an image, each element in the signal P ′ may be arranged at a position in the original image O [i] of the element in the corresponding signal P.

なお、上記(式6)は、前段算出部31が写像画素信号を得る処理として説明したが、算出部3においても、識別対象iの画像O[i]に代えて入力画像Fを対象として、全く同様の処理によって入力画像Fの写像画素信号を得る。   Note that the above (Equation 6) has been described as the process in which the pre-stage calculation unit 31 obtains the mapped pixel signal, but the calculation unit 3 also targets the input image F instead of the image O [i] of the identification target i, A mapped pixel signal of the input image F is obtained by exactly the same processing.

また、前段写像部21にてP′の写像画素信号の一部だけを使う場合は、必要な写像だけを適用すればよい。当該一部は、空間的な一部、時間的な一部(処理フレームレートを下げる場合)、信号数の一部のいずれか若しくは任意の組み合わせを含み、予め設定しておく。以下、当該一部だけを使う場合の例として、第一例及び第二例を説明する。   Further, when only a part of the P ′ mapped pixel signal is used in the upstream mapping unit 21, only the necessary mapping may be applied. The part includes a spatial part, a temporal part (when the processing frame rate is lowered), a part of the number of signals, or any combination thereof, and is set in advance. Hereinafter, a first example and a second example will be described as an example in which only a part is used.

第一例として、信号数の一部を使う場合に、信号数が1である場合は、以下の(式7)で写像画素信号を得る。   As a first example, when a part of the number of signals is used and the number of signals is 1, a mapped pixel signal is obtained by the following (Equation 7).

なお、信号数として2以上を使うようにする場合、第一機能部100及び第二機能部200の両者において、上記(式7)によって各信号における写像画素信号を求め、さらに、各信号における局所特徴量を求めたうえで、照合部4での識別の際には、各信号における識別の結果を所定割合で重みづけしたうえで、最終的な識別結果を得ればよい。   In addition, when using two or more as the number of signals, in both the first function unit 100 and the second function unit 200, the mapped pixel signal in each signal is obtained by the above (Equation 7), and further, the local in each signal After the feature amount is obtained, when the identification is performed by the collation unit 4, the identification result in each signal is weighted at a predetermined ratio and the final identification result is obtained.

ここで、当該重み付けするための所定割合は、各信号の情報量に基づいて設定しておくことができる。例えば、(式1)〜(式6)のように主成分分析で信号を算出した場合には、固有値σi 2にて情報量が与えられる。主成分分析以外のその他の手法で算出した場合も、各手法にて対応する情報量を利用すればよい。 Here, the predetermined ratio for weighting can be set based on the information amount of each signal. For example, when signals are calculated by principal component analysis as in (Expression 1) to (Expression 6), the information amount is given by the eigenvalue σ i 2 . Even when the calculation is performed by another method other than the principal component analysis, the information amount corresponding to each method may be used.

第二例として、画像O[i]における空間的な一部を使う場合は、画像全体の画像からではなく当該一部における画素のみからPを求めたうえで、(式1)〜(式6)を適用すればよい。当該空間的な一部を使う場合は、画像O[i]においてどの部分を使うかを予め追加情報として与えておく必要がある。   As a second example, when using a spatial part in the image O [i], after obtaining P from only the pixel in the part rather than from the entire image, (Equation 1) to (Equation 6) ) Should be applied. In the case of using the spatial part, it is necessary to give in advance as additional information which part is used in the image O [i].

なお、写像係数C[i]を、識別対象iをより高精度に識別するような係数として求めるためには、上記空間的な一部として、画像O[i]内の識別対象iの領域を利用することが好ましい。この場合、画像O[i]の全体から識別対象iの領域を特定するには、周知の物体抽出技術及び/又はマニュアル作業によって、前もって特定しておけばよい。   In order to obtain the mapping coefficient C [i] as a coefficient for identifying the identification target i with higher accuracy, the region of the identification target i in the image O [i] It is preferable to use it. In this case, in order to specify the region of the identification target i from the entire image O [i], it may be specified in advance by a known object extraction technique and / or manual operation.

以下、本発明における補足事項(1)〜(9)を説明する。   Hereinafter, supplementary items (1) to (9) in the present invention will be described.

(1)入力画像Fが構成されている色空間と、識別対象iの画像O[i]の当初の色空間とは、共通である必要があるので、画像O[i]はそのような共通の色空間で構成されたものを予め用意しておく。例えば、入力画像FがRGB画像であれば、画像O[i]もRGB画像として用意しておく。   (1) Since the color space in which the input image F is configured and the original color space of the image O [i] of the identification target i need to be common, the image O [i] is common to such Prepared in advance in a color space. For example, if the input image F is an RGB image, the image O [i] is also prepared as an RGB image.

(2)入力画像Fに加工処理eが施された画像F(e)であり、第二機能部200において識別対象iの画像O[i]にも当該処理eを施してO[i](e)とする実施形態においては、当初用意しておく画像O[i]は、未加工のものとして用意しておく。   (2) The image F (e) obtained by performing the processing process e on the input image F. The second function unit 200 also performs the process e on the image O [i] of the identification target i to obtain O [i] ( In the embodiment designated as e), the image O [i] that is initially prepared is prepared as an unprocessed one.

(3)前段算出部31にて識別対象iの画像O[i]の写像画素信号O[i][低減]より局所特徴量o1[i], o2[i], ..., om[i]を算出し、局所特徴量記憶部40に記憶させる際に、識別対象iに起因する局所特徴量のみを選別し、関係のない背景などから算出された局所特徴量は排除するようにしてもよい。この場合、画像内において識別対象の占める領域の情報を予め用意しておき、当該情報を用いて、当該領域内から算出された局所特徴量のみを選別すればよい。 (3) From the mapped pixel signal O [i] [reduction] of the image O [i] of the identification target i in the former calculation unit 31, the local feature quantities o 1 [i] , o 2 [i] , ..., o When calculating m [i] and storing it in the local feature quantity storage unit 40, only the local feature quantity caused by the identification target i is selected, and the local feature quantity calculated from an unrelated background is excluded. It may be. In this case, information on the area occupied by the identification target in the image may be prepared in advance, and only the local feature amount calculated from the area may be selected using the information.

なお、前述の写像係数C[i]を識別対象iの占める領域の画素のみから算出する例においては、自動的に当該背景などから算出される局所特徴量が排除される効果が得られる。   In the example in which the mapping coefficient C [i] is calculated only from the pixels in the region occupied by the identification target i, an effect of automatically eliminating the local feature amount calculated from the background or the like can be obtained.

(4)識別対象i (i=1, 2, ..., M)が多数存在する場合に、写像部2において入力画像Fに対して全ての識別対象iについての写像係数C[i]を適用する負荷を下げるために、次のようにしてもよい。すなわち、全ての写像係数C[i](i=1, 2, ..., M)からなる集合に対して周知手法によりクラスタリングを施し、類似するものを1つのクラス(1つのグループ)にまとめると共に、クラス毎に量子化した写像係数(各クラスの代表となる1つの写像係数)を求める。   (4) When there are a large number of identification objects i (i = 1, 2,..., M), mapping unit 2 calculates mapping coefficients C [i] for all identification objects i with respect to input image F in mapping unit 2. In order to reduce the applied load, the following may be performed. That is, clustering is performed on a set of all mapping coefficients C [i] (i = 1, 2, ..., M) by a well-known method, and similar items are grouped into one class (one group). At the same time, a quantized mapping coefficient (one mapping coefficient representing each class) is obtained for each class.

こうして、第一機能部100側では、当該クラスに属する識別対象iについては全て、写像部2では当該クラスの代表となる写像係数における写像画素信号をクラス毎に1つのみ求め、同様にして算出部3ではクラス毎に共通の局所特徴量を1つのみ求めればよいため、負荷を低減することができる。   In this way, on the first function unit 100 side, for all identification targets i belonging to the class, the mapping unit 2 obtains only one mapping pixel signal for each class of mapping coefficient that represents the class, and calculates in the same manner. Since only one local feature value common to each class needs to be obtained in part 3, the load can be reduced.

なお、第二機能部200側では、写像算出部11にて全ての写像係数C[i]を求めた後、クラスタリングを行う必要がある。前段写像部21及び前段算出部31では、各識別対象iの画像O[i]につき、対応するクラスの代表となる写像係数を用いて処理を行い、当該代表写像係数のもとでの局所特徴量を、局所特徴量記憶部40に記憶させる。   On the second function unit 200 side, it is necessary to perform clustering after obtaining the mapping coefficient C [i] in the mapping calculation unit 11. The pre-mapping unit 21 and the pre-calculation unit 31 process the image O [i] of each identification target i using a mapping coefficient that is representative of the corresponding class, and local features under the representative mapping coefficient The amount is stored in the local feature amount storage unit 40.

(5)複数の識別対象i(i=1, 2, ..., M)のそれぞれについて識別結果を得る際は、各対象iにおける一致度合いのそれぞれを数値として与えるようにしてもよいし、当該一致度合いの数値が最大のものが、識別結果の対象であるとして与えるようにしてもよいし、また、各対象iにつき、一致度合いの数値に対する閾値判定により対象iであるか否かの判定結果を与えるようにしてもよい。   (5) When obtaining an identification result for each of a plurality of identification objects i (i = 1, 2,..., M), each of the matching degrees in each object i may be given as a numerical value, It may be possible to give the one with the largest numerical value of the matching degree as an object of the identification result, and for each target i, it is determined whether or not it is the target i by threshold determination with respect to the numerical value of the matching degree You may make it give a result.

(6)(式1)〜(式7)等では、写像係数C[i]の算出において、特異値分解による主成分分析を利用する例を説明したが、独立成分分析を利用しても算出してもよい。あるいは、予め設定された複数の算出手法による写像係数を用意しておき、それぞれを適用した際に照合部4での照合度に優れた写像係数を選択し、当該写像係数の際の結果を最終的な出力として利用することもできる。   (6) In (Equation 1) to (Equation 7), etc., the example in which principal component analysis by singular value decomposition is used in the calculation of mapping coefficient C [i] has been described. May be. Alternatively, mapping coefficients obtained by a plurality of preset calculation methods are prepared, and when each is applied, a mapping coefficient having an excellent matching degree in the matching unit 4 is selected, and the result of the mapping coefficient is finalized. It can also be used as a typical output.

すなわち、各算出手法で一致度合いを求め、各識別対象につき、一致度合いが最大となる結果を採用するようにしてもよい。   That is, the degree of coincidence may be obtained by each calculation method, and a result that maximizes the degree of coincidence may be adopted for each identification target.

(7)局所特徴量記憶部40に記憶される局所特徴量に、マニュアル等でさらに、当該画像O[i]が所定姿勢で撮影された際の基準座標情報を組み込んでおき、照合部4で適切に照合された識別対象iにおいては、AR(拡張現実)分野などで周知のマーカーの位置姿勢算出処理(平面射影変換行列を算出する)を適用し、その位置姿勢が推定されるようにしてもよい。   (7) In the local feature quantity stored in the local feature quantity storage unit 40, the reference coordinate information when the image O [i] is photographed in a predetermined posture is further incorporated manually, etc. Appropriately matched identification target i applies a marker position / orientation calculation process (calculates a planar projection transformation matrix) well known in the AR (augmented reality) field, etc., so that the position / orientation is estimated. Also good.

(8)本発明は、識別対象iの画像O[i]を予め用意する形ではなく、未知のものとして用意して入力しても、同様に実施可能である。この場合、未知の入力画像Fと、未知の画像O[i]と、の2つが入力となり、それぞれに含まれる対象が一致するものであるか、あるいは数値としてどの程度一致しているか、が出力として得られることとなる。   (8) The present invention can be similarly implemented even if the image O [i] of the identification object i is not prepared in advance and is prepared and input as an unknown one. In this case, the unknown input image F and the unknown image O [i] are input, and the output includes whether the objects included in the images match or are numerically matched. Will be obtained.

(9)本発明は、コンピュータに読み込まれ実行されることで、当該コンピュータを図1の画像識別装置1の一部又は全部として機能させるプログラムとして提供されてもよい。   (9) The present invention may be provided as a program that, when read and executed by a computer, causes the computer to function as part or all of the image identification device 1 of FIG.

1…画像識別装置、100…第一機能部、200…第二機能部、300…第三機能部、2…写像部、3…算出部、4…照合部、20…写像係数記憶部、40…局所特徴量記憶部、10…識別対象記憶部、11…写像算出部、21…前段写像部、31…前段算出部、301…撮像部、302…加工部、303…前段加工部   DESCRIPTION OF SYMBOLS 1 ... Image identification apparatus, 100 ... 1st function part, 200 ... 2nd function part, 300 ... 3rd function part, 2 ... Mapping part, 3 ... Calculation part, 4 ... Collation part, 20 ... Mapping coefficient memory | storage part, 40 DESCRIPTION OF SYMBOLS ... Local feature-value memory | storage part, 10 ... Identification object memory | storage part, 11 ... Mapping calculation part, 21 ... Pre-stage mapping part, 31 ... Pre-stage calculation part, 301 ... Imaging part, 302 ... Processing part, 303 ... Pre-stage processing part

Claims (11)

入力画像が識別対象に該当するかを識別する画像識別装置であって、
前記入力画像に、写像係数による写像を適用して、写像画素信号となす写像部と、
前記写像画素信号の局所特徴量を算出する算出部と、
前記算出された局所特徴量と、前記識別対象の局所特徴量とを照合することで、前記入力画像が前記識別対象に該当するかを識別する照合部と、を備え、
前記適用される写像係数は、前記識別対象の画像より、その信号間の相関を低減させるものとして求められた写像係数であり、
前記識別対象の局所特徴量は、前記識別対象の画像に対して、前記求められた写像係数による写像を適用した写像画素信号において算出されたものであることを特徴とする画像識別装置。
An image identification device for identifying whether an input image corresponds to an identification target,
A mapping unit configured to apply a mapping by a mapping coefficient to the input image to obtain a mapped pixel signal;
A calculation unit for calculating a local feature amount of the mapped pixel signal;
A collation unit that identifies whether the input image corresponds to the identification target by collating the calculated local feature quantity with the local feature quantity of the identification target;
The applied mapping coefficient is a mapping coefficient obtained by reducing the correlation between the signals from the image to be identified,
The image identification apparatus according to claim 1, wherein the local feature amount of the identification target is calculated in a mapping pixel signal obtained by applying a mapping based on the obtained mapping coefficient to the identification target image.
前記写像係数は、主成分分析又は独立成分分析によって求められることを特徴とする請求項1に記載の画像識別装置。   The image identification apparatus according to claim 1, wherein the mapping coefficient is obtained by principal component analysis or independent component analysis. 前記写像係数は、複数の所定の算出手法でそれぞれ求められており、
前記写像部は、当該算出手法毎の写像画素信号を求め、
前記算出部は、当該算出手法毎の局所特徴量を算出し、
前記照合部では、当該算出手法毎に識別の際の照合度合いを求め、当該照合度合いが最大となる算出手法における結果を採用することを特徴とする請求項1または2に記載の画像識別装置。
The mapping coefficient is determined by a plurality of predetermined calculation methods,
The mapping unit obtains a mapped pixel signal for each calculation method,
The calculation unit calculates a local feature amount for each calculation method,
3. The image identification apparatus according to claim 1, wherein the collation unit obtains a collation degree at the time of identification for each calculation method, and employs a result of a calculation method that maximizes the collation degree.
前記写像係数は、前記識別対象の画像のうちの一部分から求められていることを特徴とする請求項1ないし3のいずれかに記載の画像識別装置。   4. The image identification device according to claim 1, wherein the mapping coefficient is obtained from a part of the image to be identified. 前記一部分が、前記識別対象の画像のうち、当該識別対象の占める領域であることを特徴とする請求項4に記載の画像識別装置。   The image identification apparatus according to claim 4, wherein the part is an area occupied by the identification target in the identification target image. 前記照合部は、前記写像画素信号の各信号における局所特徴量を用いて照合を実施して一致度合いを求め、当該各信号における一致度合いを、当該各信号の情報量に基づいた重み付けしたものにより、前記識別を行い、
前記写像係数は、主成分分析又は独立成分分析によって求められ、
前記情報量は、当該いずれかの分析の際の情報量であることを特徴とする請求項1ないし5のいずれかに記載の画像識別装置。
The matching unit performs matching using a local feature amount in each signal of the mapped pixel signal to obtain a matching degree, and weights the matching degree in each signal based on the information amount of each signal. , Perform the identification,
The mapping coefficient is obtained by principal component analysis or independent component analysis,
The image identification apparatus according to claim 1, wherein the information amount is an information amount at the time of the analysis.
前記識別対象は複数存在し、
前記写像係数は、識別対象毎に算出された後、クラスタリングされて各クラスの代表写像係数が定められ、
前記識別対象の局所特徴量は、対応するクラスにおける代表写像係数により算出され、
前記写像部は、各クラスの代表写像係数を適用して各クラスの写像画素信号となし、
前記算出部は、当該各クラスの局所特徴量を算出し、
前記照合部は、当該識別対象において対応するクラスにおいて前記算出部による算出された局所特徴量と、前記識別対象の局所特徴量と、を照合することを特徴とする請求項1ないし6のいずれかに記載の画像識別装置。
There are a plurality of identification objects,
The mapping coefficient is calculated for each identification object and then clustered to determine a representative mapping coefficient for each class,
The local feature amount of the identification target is calculated by a representative mapping coefficient in the corresponding class,
The mapping unit applies a representative mapping coefficient of each class to obtain a mapping pixel signal of each class,
The calculation unit calculates a local feature amount of each class,
The said collation part collates the local feature-value calculated by the said calculation part in the class corresponding in the said identification object, and the local feature-value of the said identification target, The one of Claim 1 thru | or 6 characterized by the above-mentioned. The image identification device described in 1.
前記入力画像に対して予め施された加工処理の情報を取得する手段と、
当該取得した加工情報に即した画像加工を予め前記識別対象の画像に適用する手段と、をさらに備えることを特徴とする請求項1ないし7のいずれかに記載の画像識別装置。
Means for acquiring information of processing performed in advance on the input image;
The image identification apparatus according to claim 1, further comprising: a unit that applies in advance an image processing based on the acquired processing information to the image to be identified.
前記取得する手段と、前記適用する手段と、が、リアルタイム得られる入力画像に連動してリアルタイムに処理を行うことを特徴とする請求項8に記載の画像識別装置。   The image identification apparatus according to claim 8, wherein the obtaining unit and the applying unit perform processing in real time in conjunction with an input image obtained in real time. 前記入力画像における撮像条件を取得する手段をさらに備え、
前記識別対象の画像は、撮像条件ごとに用意されており、
前記照合部では、前記取得した撮像条件に対応する前記識別対象の局所特徴量を用いて、前記照合することを特徴とする請求項1ないし9のいずれかに記載の画像識別装置。
Means for obtaining an imaging condition in the input image;
The image to be identified is prepared for each imaging condition,
10. The image identification apparatus according to claim 1, wherein the collation unit performs the collation by using a local feature amount of the identification target corresponding to the acquired imaging condition.
コンピュータを請求項1ないし10のいずれかに記載の画像識別装置として機能させることを特徴とする画像識別プログラム。   An image identification program for causing a computer to function as the image identification apparatus according to claim 1.
JP2013162702A 2013-08-05 2013-08-05 Image identification apparatus and program Expired - Fee Related JP6099146B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013162702A JP6099146B2 (en) 2013-08-05 2013-08-05 Image identification apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013162702A JP6099146B2 (en) 2013-08-05 2013-08-05 Image identification apparatus and program

Publications (2)

Publication Number Publication Date
JP2015032220A true JP2015032220A (en) 2015-02-16
JP6099146B2 JP6099146B2 (en) 2017-03-22

Family

ID=52517463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013162702A Expired - Fee Related JP6099146B2 (en) 2013-08-05 2013-08-05 Image identification apparatus and program

Country Status (1)

Country Link
JP (1) JP6099146B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283224A (en) * 2000-03-31 2001-10-12 Nec Corp Face collating method, recording medium stored with the collating method and face collator
JP2007041762A (en) * 2005-08-02 2007-02-15 Seiko Epson Corp Image recognizing device
JP2007072620A (en) * 2005-09-05 2007-03-22 Toshiba Corp Image recognition device and its method
JP2008134791A (en) * 2006-11-28 2008-06-12 Fuji Xerox Co Ltd Image processor and image processing program
JP2012027617A (en) * 2010-07-21 2012-02-09 Canon Inc Pattern identification device, pattern identification method and program
JP2012146221A (en) * 2011-01-13 2012-08-02 Nippon Telegr & Teleph Corp <Ntt> Feature amount acquisition device, similar image retrieval device, feature amount acquisition method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283224A (en) * 2000-03-31 2001-10-12 Nec Corp Face collating method, recording medium stored with the collating method and face collator
JP2007041762A (en) * 2005-08-02 2007-02-15 Seiko Epson Corp Image recognizing device
JP2007072620A (en) * 2005-09-05 2007-03-22 Toshiba Corp Image recognition device and its method
JP2008134791A (en) * 2006-11-28 2008-06-12 Fuji Xerox Co Ltd Image processor and image processing program
JP2012027617A (en) * 2010-07-21 2012-02-09 Canon Inc Pattern identification device, pattern identification method and program
JP2012146221A (en) * 2011-01-13 2012-08-02 Nippon Telegr & Teleph Corp <Ntt> Feature amount acquisition device, similar image retrieval device, feature amount acquisition method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
花村 剛、外2名: ""カラー画像の符号化・特徴解析を目的とした色空間変換"", テレビジョン学会技術報告, vol. 17, no. 6, JPN6016050714, 22 January 1993 (1993-01-22), JP, pages 1 - 6, ISSN: 0003472648 *

Also Published As

Publication number Publication date
JP6099146B2 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
CN109583483B (en) Target detection method and system based on convolutional neural network
CN111160375B (en) Three-dimensional key point prediction and deep learning model training method, device and equipment
CN108304820B (en) Face detection method and device and terminal equipment
WO2018082308A1 (en) Image processing method and terminal
CN107862680B (en) Target tracking optimization method based on correlation filter
CN113128478B (en) Model training method, pedestrian analysis method, device, equipment and storage medium
US20180232400A1 (en) Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
CN110827312A (en) Learning method based on cooperative visual attention neural network
CN109977834B (en) Method and device for segmenting human hand and interactive object from depth image
CN111783506A (en) Method and device for determining target characteristics and computer-readable storage medium
CN112036260A (en) Expression recognition method and system for multi-scale sub-block aggregation in natural environment
CN114419406A (en) Image change detection method, training method, device and computer equipment
CN111160225A (en) Human body analysis method and device based on deep learning
CN110826534B (en) Face key point detection method and system based on local principal component analysis
CN113628261B (en) Infrared and visible light image registration method in electric power inspection scene
JP6202938B2 (en) Image recognition apparatus and image recognition method
CN112070181B (en) Image stream-based cooperative detection method and device and storage medium
CN111368637B (en) Transfer robot target identification method based on multi-mask convolutional neural network
JP6099146B2 (en) Image identification apparatus and program
Zhu et al. One-shot texture retrieval with global context metric
JP2015219756A (en) Image comparison method, image comparison device, and program
CN112529081A (en) Real-time semantic segmentation method based on efficient attention calibration
CN113112522A (en) Twin network target tracking method based on deformable convolution and template updating
CN111583168A (en) Image synthesis method, image synthesis device, computer equipment and storage medium
Peng et al. Deep-Learning-Based Precision Visual Tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170216

R150 Certificate of patent or registration of utility model

Ref document number: 6099146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees