JP2014052726A - Face image collation device, face image collation method, and program - Google Patents
Face image collation device, face image collation method, and program Download PDFInfo
- Publication number
- JP2014052726A JP2014052726A JP2012195302A JP2012195302A JP2014052726A JP 2014052726 A JP2014052726 A JP 2014052726A JP 2012195302 A JP2012195302 A JP 2012195302A JP 2012195302 A JP2012195302 A JP 2012195302A JP 2014052726 A JP2014052726 A JP 2014052726A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- person
- target face
- persons
- collation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は、顔画像照合装置、顔画像照合方法、及び、プログラムに関する。 The present invention relates to a face image matching device, a face image matching method, and a program.
近年、ＳＮＳ（Social Networking Service）やデジタル写真アルバムサービスのように、大量の写真が蓄積されるインターネットサービスが増えている。これらのサービスでは、利用者により入力された、写真に写っている人物の名前が、ラベルとして写真に付与され、ラベルを用いた写真の検索が可能である。さらに、利用者の利便性を高めるため、利用者が写真に写っている人物の名前を入力する代わりに、顔照合技術などを用いて、写真に写っている複数の人物を特定し、特定された人物の名前をラベルとして登録するシステムが登場している。 In recent years, Internet services such as SNS (Social Networking Service) and digital photo album services that store a large amount of photos are increasing. In these services, the name of a person appearing in a photograph input by a user is given to the photograph as a label, and the photograph using the label can be searched. In addition, in order to improve user convenience, instead of entering the name of the person in the photo, the user identifies and identifies multiple people in the photo using face matching technology, etc. A system for registering the names of people as labels has appeared.
このようなシステムで利用可能な顔照合技術の一例が、例えば、特許文献１に記載されている。特許文献１に記載の画像処理装置では、入力画像内の複数の顔領域に対して、順番に認識（照合）の処理が行われる。
An example of a face matching technique that can be used in such a system is described in
特許文献１の画像処理装置のように、入力画像内の複数の顔に対して、順番に照合を行うシステムでは、照合対象である登録済みの顔の数が膨大な場合、照合処理に時間がかかり、利用者に対するシステムのレスポンスが悪くなる。
In a system that sequentially collates a plurality of faces in an input image as in the image processing apparatus of
これに対して、入力画像内の複数の顔の各々に対する照合処理を、並列分散で実行することで、システムのレスポンスを改善する方法がある。しかしながら、この方法を用いても、照合処理全体の計算量は変わらないため、サービス提供者は計算リソースを削減できない。 On the other hand, there is a method of improving the response of the system by executing collation processing for each of a plurality of faces in the input image in parallel distribution. However, even if this method is used, the calculation amount of the entire matching process does not change, so the service provider cannot reduce the calculation resources.
本発明の目的は、上述の課題を解決し、複数の顔画像に対する照合処理に要する時間や計算量を低減できる顔画像照合装置、顔画像照合方法、及び、プログラムを提供することである。 An object of the present invention is to provide a face image matching device, a face image matching method, and a program that can solve the above-described problems and reduce the time and amount of calculation required for matching processing for a plurality of face images.
本発明の顔画像照合装置は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶する顔画像情報記憶手段と、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する出現情報記憶手段と、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、顔画像照合手段と、を備える。 The face image matching device according to the present invention includes a face image information storage unit that stores a feature amount of a face image of the person corresponding to each identifier of the plurality of persons, and a person corresponding to each identifier of the plurality of persons. Appearance information storage means for storing a set of identifiers of one or more appearing persons who are other persons whose face images were included in the same image data as the image data including the face image of For each of the plurality of target face images included in the image data, the feature amount of the target face image and the feature amount of each face image of the plurality of persons are sequentially collated, When a collation process for identifying a person of the target face image is performed, and a person of the first target face image is identified in the collation process for the first target face image among the plurality of target face images, A second one of the plurality of target face images In the matching process for the elephant face image, the matching of the second target face image and the face image of each of the one or more appearance characters with respect to the person of the specified first target face image is performed with priority. And face image matching means.
本発明の顔画像照合方法は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う。 In the face image matching method of the present invention, the feature amount of the face image of the person is stored for each identifier of the plurality of persons, and the face image of the person is included for each identifier of the plurality of persons. A set of identifiers of one or more appearing persons who are other persons whose face images were included in the same image data as the image data that had been stored, and a plurality of target face images included in the input image data A matching process for sequentially matching the feature amount of the target face image with the feature amount of the face image of each of the plurality of persons and identifying a person of the target face image from the plurality of persons. And when a person of the first target face image is specified in the collation process for the first target face image of the plurality of target face images, the second of the plurality of target face images In the matching process for the target face image, Performing matching between each of the face images of the one or more occurrences person with respect to the said identified as second target face image first of the target face image person preferentially.
本発明のプログラムは、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶し、前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、処理をコンピュータに実行させる。 The program of the present invention stores a feature amount of a face image of the person in correspondence with each identifier of the plurality of persons, and an image in which the face image of the person is included in correspondence with each identifier of the plurality of persons. A set of identifiers of one or more appearing persons who are other persons whose face images are included in the same image data as the data is stored, and each of the plurality of target face images included in the input image data is stored. , Sequentially matching the feature amount of the target face image and the feature amount of each face image of the plurality of persons, and performing a matching process for identifying the person of the target face image from the plurality of persons, When a person of the first target face image is specified in the collation process for the first target face image of the plurality of target face images, the second target face image of the plurality of target face images In the verification process for the second Performing matching between each of the face images of the one or more occurrences person for the person of the first target face image that is the specific subject facial image preferentially to execute processing to computer.
本発明の効果は、複数の顔画像に対する照合処理に要する時間や計算量を低減できることである。 The effect of the present invention is that the time and the amount of calculation required for the collation processing for a plurality of face images can be reduced.
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。
(First embodiment)
Next, a first embodiment of the present invention will be described.
ここでは、ＳＮＳのように、複数の利用者の顔写真が登録されているシステムにおいて、複数の利用者が写っている写真が投稿された時に、その写真に写っている各利用者を特定する場合を例に、実施の形態を説明する。 Here, when a photograph showing a plurality of users is posted in a system in which a plurality of user face photographs are registered, such as SNS, each user shown in the photograph is specified. The embodiment will be described by taking the case as an example.
はじめに、本発明の第１の実施の形態の構成について説明する。図２は、本発明の第１の実施の形態における、顔画像照合装置１００の構成を示すブロック図である。
First, the configuration of the first exemplary embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration of the face
図２を参照すると、本発明の第１の実施の形態の顔画像照合装置１００は、顔画像検出部１１０、顔画像照合部１２０、顔画像情報記憶部１３０、及び、出現情報記憶部１４０を含む。
Referring to FIG. 2, the face
ここで、顔画像検出部１１０は、入力された画像データから、複数の人物の顔領域（対象顔画像２０１）を検出し、各対象顔画像２０１の特徴量を算出する。なお、画像データから複数の人物の顔画像についての特徴量を算出できれば、顔画像検出部１１０における顔領域の検出や特徴量の算出には、どのような技術を用いてもよい。
Here, the face
顔画像情報記憶部１３０は、複数の人物の各々の顔画像の特徴量を示す、顔画像情報１３１を記憶する。図６は、本発明の第１の実施の形態における、顔画像情報１３１の例を示す図である。顔画像情報１３１は、複数の人物の各々の識別子（人物ＩＤ）、及び、当該人物の顔画像の特徴量を含む。
The face image
出現情報記憶部１４０は、出現情報１４１を記憶する。出現情報１４１は、顔画像情報１３１に登録された複数の人物（登録人物）の各々について、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物（出現人物）を示す。図７は、本発明の第１の実施の形態における、出現情報１４１（更新前）の例を示す図である。出現情報１４１は、複数の人物の各々の人物ＩＤ、及び、当該人物に対する１以上の出現人物の人物ＩＤの集合を含む。
The appearance
顔画像照合部１２０は、入力された画像データに含まれる複数の対象顔画像２０１の各々について、照合処理を実行し、各対象顔画像２０１の人物を特定する。
The face
顔画像照合部１２０は、制御部１２１、及び、複数の照合処理部１２２（１２２＿１、２、…、ｍ）を含む。
The face
制御部１２１は、各照合処理部１２２における照合処理を制御する。
The
照合処理部１２２は、対象顔画像２０１についての照合処理を行う。ここで、複数の照合処理部１２２の各々は、例えば、複数のＣＰＵ（Central Processing Unit）上で動作する複数のプロセス等、複数の計算機リソースの各々で動作し、各対象顔画像２０１の照合処理を並列に実行する。照合処理部１２２は、対象顔画像２０１の特徴量と、顔画像情報１３１上の登録人物の各々の顔画像の特徴量とを順次照合して、登録人物の中から対象顔画像２０１の人物を特定する。
The matching processing unit 122 performs matching processing for the
本発明の第１の実施の形態では、ある人物の顔画像が画像データに含まれている場合、出現情報１４１における当該人物に対する出現人物の顔画像が、当該画像データに含まれている可能性が高いと仮定する。 In the first embodiment of the present invention, when a face image of a certain person is included in the image data, the face image of the appearing person for the person in the appearance information 141 may be included in the image data. Is assumed to be high.
照合処理部１２２は、他の照合処理部１２２において、他の対象顔画像２０１の人物が先に特定された時は、特定された人物（特定済み人物）に対する出現人物の顔画像との照合を優先的に行う。
The collation processing unit 122 collates the face image of the appearing person with respect to the identified person (identified person) when the other collation processing unit 122 identifies the person of the other
なお、対象顔画像２０１の特徴量と顔画像情報１３１上の登録人物の顔画像の特徴量とから、対象顔画像２０１の人物が特定できれば、顔画像照合部１２０における照合処理には、どのような技術を用いてもよい。
If the person of the
また、顔画像検出部１１０と顔画像照合部１２０とは、ＣＰＵとプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。また、顔画像検出部１１０と、顔画像照合部１２０とは、異なる装置に含まれていてもよい。また、複数の照合処理部１２２（１２２＿１、２、…、ｍ）が、異なる装置に含まれていてもよい。また、顔画像記憶部１３０と、出現情報記憶部１４０とは、それぞれ個別の記憶媒体でも、１つの記憶媒体によって構成されてもよい。また、顔画像記憶部１３０と、出現情報記憶部１４０とは、顔画像照合装置１００以外の他の装置内にあってもよい。
The face
次に、本発明の第１の実施の形態における顔画像照合装置１００の動作について説明する。
Next, the operation of the face
ここで、顔画像情報記憶部１３０には、システムに登録された利用者ごとの顔写真（顔画像）を基に、図６の顔画像情報１３１が記憶されていると仮定する。また、出現情報記憶部１４０には、図７の出現情報１４１が記憶されていると仮定する。
Here, it is assumed that the face image information 131 shown in FIG. 6 is stored in the face image
図３は、本発明の第１の実施の形態における、顔画像照合装置１００の処理を示すフローチャートである。
FIG. 3 is a flowchart showing the processing of the face
はじめに、顔画像照合装置１００の顔画像検出部１１０は、利用者等から投稿（入力）された、写真等の画像データから、複数（ｎ個）の対象顔画像２０１を検出し、各対象顔画像２０１の特徴量を算出する（ステップＳ１０１）。
First, the face
図８は、本発明の第１の実施の形態における、画像データの例を示す図である。例えば、顔画像検出部１１０は、図８の画像データから、３つの対象顔画像２０１（２０１＿１、２、３）を検出し、各対象顔画像２０１の特徴量を抽出する。
FIG. 8 is a diagram showing an example of image data in the first embodiment of the present invention. For example, the face
顔画像検出部１１０は、ｎ個の対象顔画像２０１の特徴量を、顔画像照合部１２０へ送信する（ステップＳ１０２）。
The face
顔画像照合部１２０の制御部１２１は、ｎ個の対象顔画像２０１の特徴量を、それぞれ、各照合処理部１２２へ送信する（ステップＳ２０１）。
The
例えば、制御部１２１は、対象顔画像２０１＿１、２、３を、それぞれ、照合処理部１２２＿１、２、３へ送信する。
For example, the
次に、照合処理部１２２（１２２＿１、…、ｍ）は、受信した各対象顔画像２０１についての照合処理を並列に実行する。
Next, the matching processing unit 122 (122_1,..., M) executes the matching processing for the received
各照合処理部１２２の照合処理において、はじめに、照合処理部１２２は、受信した対象顔画像２０１と顔画像情報１３１上の登録人物の各々の顔画像との照合を行う（ステップＳ３０１）。
In the collation processing of each collation processing unit 122, the collation processing unit 122 first collates the received
図４は、本発明の第１の実施の形態における、図３のフローチャートのステップＳ３０１、Ｓ３２１の詳細を示すフローチャートである。 FIG. 4 is a flowchart showing details of steps S301 and S321 in the flowchart of FIG. 3 according to the first embodiment of the present invention.
照合処理部１２２は、顔画像情報１３１上の登録人物の人物ＩＤを、一つ選択する（ステップＳ３０１１）。 The matching processing unit 122 selects one person ID of the registered person on the face image information 131 (step S3011).
照合処理部１２２は、顔画像情報１３１から、選択した登録人物の顔画像の特徴量を取得する（ステップＳ３０１２）。 The collation processing unit 122 acquires the feature amount of the face image of the selected registered person from the face image information 131 (step S3012).
照合処理部１２２は、対象顔画像２０１の特徴量と登録人物の顔画像の特徴量とが、同じ人物の顔画像である度合（同一性スコア）を算出する（ステップＳ３０１３）。
The matching processing unit 122 calculates the degree (identity score) that the feature amount of the
照合処理部１２２は、同一性スコアが、所定の閾値を越えているかどうかを判定する（ステップＳ３０１４）。 The matching processing unit 122 determines whether the identity score exceeds a predetermined threshold (step S3014).
ステップＳ３０１４において、所定の閾値を越えている場合（ステップＳ３０１４／Ｙ）、照合処理部１２２は、登録人物を、対象顔画像２０１の人物と特定し（ステップＳ３０１５）、処理を終了する。 If the predetermined threshold value is exceeded in step S3014 (step S3014 / Y), the collation processing unit 122 identifies the registered person as the person of the target face image 201 (step S3015), and ends the process.
一方、ステップＳ３０１４において、所定の閾値を越えていない場合（ステップＳ３０１４／Ｎ）、照合処理部１２２は、全ての登録人物に対して処理が行わるまで、ステップＳ３０１１からの処理を繰り返す（ステップＳ３０１６）。 On the other hand, if the predetermined threshold value is not exceeded in step S3014 (step S3014 / N), the collation processing unit 122 repeats the processing from step S3011 until the processing is performed for all registered persons (step S3016). ).
次に、照合処理部１２２は、ステップＳ３０１において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３０２）。
Next, when the person of the
例えば、照合処理部１２２＿１、２、３の各々は、図６の顔画像情報１３１上の登録人物の人物ＩＤ「１」、「２」、…、の順番に、対象顔画像２０１と登録人物の各々の顔画像との照合を順次行う。ここで、照合処理部１２２＿１が、対象顔画像２０１＿１の人物を、人物ＩＤ「１００」の人物と特定したと仮定する。照合処理部１２２＿１は、特定済み人物の人物ＩＤ「１００」を制御部１２１へ送信する。
For example, each of the matching processing units 122_1, 2 and 3 in the order of the registered person person IDs “1”, “2”,... On the face image information 131 in FIG. Collation with each face image is sequentially performed. Here, it is assumed that the matching processing unit 122_1 identifies the person of the target face image 201_1 as the person with the person ID “100”. The matching processing unit 122_1 transmits the person ID “100” of the identified person to the
制御部１２１は、照合処理部１２２から特定済み人物の人物ＩＤを受信した場合、当該人物ＩＤを、当該特定済み人物を特定した照合処理部１２２以外の各照合処理部１２２へ送信する（ステップＳ２０２）。
When the
例えば、制御部１２１は、特定済み人物の人物ＩＤ「１００」を、照合処理部１２２＿２、３へ送信する。
For example, the
照合処理部１２２は、特定済み人物の人物ＩＤを受信した場合、ステップＳ３０１の処理（顔画像情報１３１上の登録人物の各々との照合の繰り返し）を中断し（ステップＳ３１１）、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行う（ステップＳ３１２）。すなわち、照合処理部１２２は、特定済み人物に対する出現人物の顔画像との照合を、優先的に行う。
When the collation processing unit 122 receives the person ID of the identified person, the collation processing unit 122 interrupts the process of step S301 (repetition of collation with each registered person on the face image information 131) (step S311), and the
図５は、本発明の第１の実施の形態における、図３のフローチャートのステップＳ３１２の詳細を示すフローチャートである。 FIG. 5 is a flowchart showing details of step S312 of the flowchart of FIG. 3 in the first embodiment of the present invention.
照合処理部１２２は、出現情報１４１から、特定済み人物に対する出現人物の人物ＩＤの集合を取得する（ステップＳ３１２１）。 The matching processing unit 122 acquires a set of person IDs of the appearing persons with respect to the identified person from the appearance information 141 (step S3121).
照合処理部１２２は、取得した出現人物の人物ＩＤを、一つ選択する（ステップＳ３１２２）。 The matching processing unit 122 selects one person ID of the acquired appearance person (step S3122).
照合処理部１２２は、ステップＳ３０１２〜３０１５と同様に、対象顔画像２０１と選択した出現人物との間の同一性スコアを算出し、同一性スコアが所定の閾値を越えている場合、当該出現人物を対象顔画像２０１の人物と特定する（ステップＳ３１２３〜３１２６）。所定の閾値を越えていない場合、照合処理部１２２は、ステップＳ３１２１で取得した全ての出現人物に対して処理が行わるまで、ステップＳ３１２２からの処理を繰り返す（ステップＳ３１２７）。
Similar to steps S3012 to 3015, the matching processing unit 122 calculates an identity score between the
次に、照合処理部１２２は、ステップＳ３１２において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３１３）。
Next, when the person of the
例えば、照合処理部１２２＿２、３の各々は、登録人物の人物ＩＤ「１」、「２」、…、に対する、照合の繰り返しを中断する。そして、照合処理部１２２＿２、３の各々は、図７の出現情報１４１から、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝を取得する。そして、照合処理部１２２＿２、３は、取得した出現人物の人物ＩＤ「２００」、「３５０」、…、の順番に、対象顔画像２０１と出現人物の各々の顔画像との照合を順次行う。ここで、照合処理部１２２＿２が、対象顔画像２０１＿２の人物を、人物ＩＤ「２００」の人物と特定したと仮定する。照合処理部１２２＿２は、特定済み人物の人物ＩＤ「２００」を制御部１２１へ送信する。
For example, each of the verification processing units 122_2 and 3 interrupts the repetition of verification for the registered person IDs “1”, “2”,. Then, each of the matching processing units 122_2 and 122 acquires the set {200, 350, 400} of the person IDs of the appearing persons with respect to the person ID “100” of the specified person from the appearance information 141 of FIG. Then, the collation processing units 122_2 and 3 sequentially collate the
一方、照合処理部１２２は、ステップＳ３１２において対象顔画像２０１の人物を特定できなかった場合、ステップＳ３１１にて中断したステップＳ３０１の処理（顔画像情報１３１上の登録人物の各々との照合の繰り返し）を再開する（ステップＳ３２１）。
On the other hand, if the person in the
照合処理部１２２は、ステップＳ３２１において対象顔画像２０１の人物を特定できた場合、特定済み人物の人物ＩＤを、制御部１２１へ送信する（ステップＳ３２２）。なお、ステップＳ３２１において対象顔画像２０１の人物を特定できなかった場合、照合処理部１２２は、対象顔画像２０１に対応する登録人物が無いことを示す応答を、制御部１２１へ送信してもよい。
If the person of the
例えば、照合処理部１２２＿３は、顔画像情報１３１上の登録人物の各々との照合の繰り返しを再開する。ここで、照合処理部１２２＿３が、対象顔画像２０１＿３の人物を、人物ＩＤ「３００」の人物と特定したと仮定する。照合処理部１２２＿３は、特定済み人物の人物ＩＤ「３００」を制御部１２１へ送信する。
For example, the matching processing unit 122_3 resumes the matching with each registered person on the face image information 131. Here, it is assumed that the matching processing unit 122_3 identifies the person of the target face image 201_3 as the person with the person ID “300”. The matching processing unit 122_3 transmits the person ID “300” of the identified person to the
制御部１２１は、各照合処理部１２２から受信した、ｎ個の特定済み人物の人物ＩＤを用いて、出現情報１４１を更新する（ステップＳ２０３）。ここで、制御部１２１は、出現情報１４１における、各特定済み人物に対する出現人物の人物ＩＤの集合を、当該集合とｎ個の特定済み人物の人物ＩＤの集合（但し、当該特定済み人物の人物ＩＤ除く）との和集合で更新する。
The
図９は、本発明の第１の実施の形態における、出現情報１４１（更新後）の例を示す図である。例えば、制御部１２１は、図７の出現情報１４１における、人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝を、当該集合と特定済み人物の人物ＩＤの集合｛２００，３００｝との和集合、｛２００，３００，３５０，４００｝で、図９のように更新する。同様に、制御部１２１は、人物ＩＤ「２００」、「３００」に対する出現人物の人物ＩＤの集合を、図９のように更新する。
FIG. 9 is a diagram illustrating an example of the appearance information 141 (after update) according to the first embodiment of this invention. For example, in the appearance information 141 in FIG. 7, the
また、制御部１２１は、ｎ個の特定済み人物の人物ＩＤを出力する（ステップＳ２０４）。
Further, the
例えば、制御部１２１は、特定済み人物の人物ＩＤ「１００」、「２００」、「３００」を出力する。そして、例えば、システムは、投稿された写真（画像データ）に対して、人物ＩＤ「１００」、「２００」、「３００」をラベルとして付与する。
For example, the
以上により、本発明の第１の実施の形態の動作が完了する。 Thus, the operation of the first exemplary embodiment of the present invention is completed.
なお、本発明の第１の実施の形態においては、複数の照合処理部１２２の各々が、各対象顔画像２０１の照合処理を並列に実行する場合を例に説明したが、１つの照合処理部１２２が、各対対象顔画像２０１の照合処理を順番に実行してもよい。この場合、最初の対象顔画像２０１に対する照合処理で、当該対象顔画像２０１の人物が特定された場合、以降の対象顔画像２０１に対する照合処理で、特定済み人物に対する出現人物の顔画像との照合が優先的に行われる。
In the first embodiment of the present invention, a case has been described in which each of the plurality of matching processing units 122 executes matching processing of each
次に、本発明の第１の実施の形態の特徴的な構成を説明する。図１は、本発明の第１の実施の形態の特徴的な構成を示すブロック図である。 Next, a characteristic configuration of the first exemplary embodiment of the present invention will be described. FIG. 1 is a block diagram showing a characteristic configuration of the first embodiment of the present invention.
図１を参照すると、顔画像照合装置１００は、顔画像情報記憶部１３０、出現情報記憶部１４０、及び、顔画像照合部１２０を含む。
Referring to FIG. 1, the face
ここで、顔画像情報記憶部１３０は、複数の人物の各々の識別子対応に、当該人物の顔画像の特徴量を記憶する。
Here, the face image
出現情報記憶部１４０は、複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する。
The appearance
顔画像照合部１２０は、入力された画像データに含まれる複数の対象顔画像２０１の各々について、当該対象顔画像２０１の特徴量と複数の人物の各々の顔画像の特徴量とを順次照合して、複数の人物の中から当該対象顔画像２０１の人物を特定する照合処理を実行し、複数の対象顔画像２０１の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、第２の対象顔画像についての照合処理において、当該第２の対象顔画像と特定された第１の対象顔画像の人物に対する１以上の出現人物の各々の顔画像との照合を優先的に行う。
The face
次に、本発明の第１の実施の形態の効果を説明する。 Next, effects of the first exemplary embodiment of the present invention will be described.
図１０は、特許文献１における照合処理時間の例と、本発明の第１の実施の形態における照合処理時間の例を示す図である。
FIG. 10 is a diagram illustrating an example of collation processing time in
特許文献１の画像処理装置のように、ｎ個の対象顔画像２０１（２０１＿１、２、…、ｎ）について順番に照合を行うシステムにおいて、顔画像情報１３１上の登録人物の数がｚの場合、１つの対象顔画像２０１に対する照合処理における照合回数の平均値はｚ／２である。ここで、１回の照合の処理時間をｔと仮定すると、ｎ個の対象顔画像２０１に対する照合処理全体の時間の平均値は、ｎ×（ｚ／２）×ｔである（図１０の例（１））。また、ｎ個の対象顔画像２０１に対する照合処理が、n個の計算機リソースで並列に実行される場合、照合処理全体の時間の平均値は、（ｚ／２）×ｔである（図１０の例（２））。
In a system that sequentially collates n target face images 201 (201_1, 2,..., N) as in the image processing apparatus of
図１０の例（２）において、ｎ個の対象顔画像２０１の内の対象顔画像２０１＿２に対する照合処理のように、最初に終了した照合処理における照合回数は、ｚ／２よりも小さい可能性がある。ここで、最初に終了した照合処理における照合回数がｚ／２−α回であり、また、その照合処理における特定済み人物に対する出現人物の数がδ個であると仮定する。また、終了していない照合処理における対象顔画像２０１の人物は、特定済み人物に対する出現人物に含まれると仮定する。
In the example (2) in FIG. 10, the number of collations in the collation process that is first completed may be smaller than z / 2, as in the collation process for the target face image 201_2 among the n target face
この場合、本発明の第１の実施の形態の顔画像照合装置１００では、ｎ個の対象顔画像２０１に対する照合処理全体の時間は、（ｚ／２−α＋δ）×ｔである（図１０の例（３））。ここで、δがｚに対して十分小さい場合、照合処理全体の照合回数、及び、時間が低減される。
In this case, in the face
このように、本発明の第１の実施の形態によれば、複数の顔画像に対する照合処理に要する時間や計算量を低減できる。その理由は、顔画像照合部１２０が、複数の対象顔画像２０１の内の第１の対象顔画像についての照合処理において人物が特定された場合、第２の対象顔画像についての照合処理において、当該第２の対象顔画像と特定済み人物に対する出現人物の顔画像との照合を優先的に行うためである。
As described above, according to the first embodiment of the present invention, it is possible to reduce the time and amount of calculation required for the collation processing for a plurality of face images. The reason is that, when the face
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
本発明の第２の実施の形態では、出現情報１４１が、本発明の第１の実施の形態における出現情報１４１の内容に加えて、さらに、各出現人物の人物ＩＤに対する出現回数を含む。出現回数は、当該出現人物が、登録人物の顔画像が含まれていた画像データと同じ画像データに含まれていた回数（画像データの数）である。 In the second embodiment of the present invention, the appearance information 141 includes, in addition to the contents of the appearance information 141 in the first embodiment of the present invention, the number of appearances of each character with respect to the person ID. The number of appearances is the number of times (the number of image data) that the appearance character is included in the same image data as the image data that includes the face image of the registered person.
本発明の第２の実施の形態では、ある人物の顔画像が画像データに含まれている場合、出現情報１４１における当該人物に対する出現人物の内、出現回数の大きい出現人物の顔画像が、当該画像データに含まれている可能性が高いと仮定する。 In the second embodiment of the present invention, when a face image of a certain person is included in the image data, a face image of an appearing person having a large number of appearances among the appearing persons for the person in the appearance information 141 is Assume that the image data is likely to be included.
照合処理部１２２は、上述のステップＳ３１２において、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行うときに、出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行う。
When the collation processing unit 122 performs collation between the
例えば、上述の具体例のように、照合処理部１２２＿２、３が、照合処理部１２２＿１における特定済み人物の人物ＩＤ「１００」を受信したと仮定する。また、出現情報１４１において、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤと出現回数の集合が｛２００（１０），３５０（２０），４００（３０）｝であると仮定する。ここで、（）は、出現人物の人物ＩＤに対する出現回数を示す。照合処理部１２２＿２、３は、取得した出現人物の人物ＩＤ「４００」、「３５０」、「２００」の順番に、対象顔画像２０１と出現人物の各々の顔画像との照合を順次行う。
For example, as in the above-described specific example, it is assumed that the matching processing units 122_2 and 3 have received the person ID “100” of the identified person in the matching processing unit 122_1. Also, in the appearance information 141, it is assumed that the set of the person ID and the number of appearances of the appearance person for the person ID “100” of the specified person is {200 (10), 350 (20), 400 (30)}. Here, () indicates the number of appearances of the appearing person with respect to the person ID. The collation processing units 122_2 and 3 sequentially collate the
本発明の第２の実施の形態によれば、第１の実施の形態に比べて、複数の顔画像に対する照合処理に要する時間や計算量を、さらに低減できる。その理由は、顔画像照合部１２０が、対象顔画像２０１と特定済み人物に対する出現人物の各々の顔画像との照合を行うときに、出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行うためである。
According to the second embodiment of the present invention, compared to the first embodiment, the time and the amount of calculation required for the collation processing for a plurality of face images can be further reduced. The reason is that when the face
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
(Third embodiment)
Next, a third embodiment of the present invention will be described.
本発明の第３の実施の形態では、複数の対象顔画像２０１の人物が特定された場合、照合処理部１２２は、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行う。
In the third embodiment of the present invention, when a person of a plurality of target face
制御部１２１は、上述のステップＳ３１３において照合処理部１２２から送信された特定済み人物の人物ＩＤを受信した場合、当該人物ＩＤを、対象顔画像２０１の人物が特定されていない照合処理部１２２へ送信する。
When the
照合処理部１２２は、複数の特定済み人物の人物ＩＤを受信した場合、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の各々の顔画像との照合を優先的に行う。 When the collation processing unit 122 receives person IDs of a plurality of specified persons, the collation processing unit 122 is a product set of a set of appearance persons for each of the plurality of specified persons, or a face image of each of the appearance persons included in the union Priority is given to collation.
例えば、上述の具体例のように、照合処理部１２２＿２、３が、照合処理部１２２＿１における特定済み人物の人物ＩＤ「１００」を受信し、当該特定済み人物に対する出現人物の顔画像との照合を優先的に行い、照合処理部１２２＿２が、特定済み人物の人物ＩＤ「２００」を制御部１２１へ送信したと仮定する。
For example, as in the specific example described above, the collation processing units 122_2 and 3 receive the person ID “100” of the identified person in the collation processing unit 122_1 and collate with the face image of the appearing person for the identified person. It is assumed that the collation processing unit 122_2 has transmitted the person ID “200” of the specified person to the
制御部１２１は、照合処理部１２２＿２から受信した特定済み人物の人物ＩＤ「２００」を、照合処理部１２２＿３へ送信する。
The
照合処理部１２２＿３は、特定済み人物の人物ＩＤ「１００」に対する出現人物の人物ＩＤの集合｛２００，３５０，４００｝と人物ＩＤ「２００」に対する出現人物の人物ＩＤの集合｛１００，４００，５００，５８０｝の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行う。積集合を用いる場合、照合処理部１２２＿３は、積集合｛４００｝に含まれる出現人物の顔画像との照合を行う。また、和集合を用いる場合、照合処理部１２２＿３は、特定済み人物を除いた和集合｛３５０，４００，５００，５８０｝に含まれる出現人物の顔画像との照合を行う。 The matching processing unit 122_3 sets the set {200, 350, 400} of the appearance person IDs for the person ID “100” of the specified person and the set {100, 400, 500 of the appearance person IDs for the person ID “200”. , 580}, or collation with the face images of the characters included in the union set. When the product set is used, the matching processing unit 122_3 performs matching with the face images of the characters included in the product set {400}. When the union is used, the matching processing unit 122_3 performs matching with the face images of the appearing persons included in the union {350, 400, 500, 580} excluding the specified person.
本発明の第３の実施の形態によれば、第１の実施の形態に比べて、複数の顔画像に対する照合処理に要する時間や計算量を、さらに低減できる。その理由は、顔画像照合部１２０が、複数の特定済み人物の各々に対する出現人物の集合の積集合、または、和集合に含まれる出現人物の顔画像との照合を優先的に行うためである。
According to the third embodiment of the present invention, it is possible to further reduce the time and amount of calculation required for the collation processing for a plurality of face images, as compared with the first embodiment. The reason is that the face
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
１００ 顔画像照合装置
１１０ 顔画像検出部
１２０ 顔画像照合部
１２１ 制御部
１２２ 照合処理部
１３０ 顔画像情報記憶部
１４０ 出現情報記憶部
２０１ 対象顔画像
DESCRIPTION OF
Claims (9)
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶する出現情報記憶手段と、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、顔画像照合手段と、
を備えた顔画像照合装置。 Face image information storage means for storing a feature quantity of the face image of the person corresponding to each identifier of the plurality of persons;
The identifiers of one or more appearance characters that are other persons whose face images were included in the same image data as the image data that included the face images of the persons in correspondence with the identifiers of the plurality of persons. Appearance information storage means for storing a set of
For each of the plurality of target face images included in the input image data, the feature amount of the target face image and the feature amount of each face image of the plurality of persons are sequentially collated, and A collation process for identifying a person of the target face image is executed, and a person of the first target face image is identified in the collation process for the first target face image among the plurality of target face images. In the collation process for the second target face image among the plurality of target face images, the one or more appearance persons with respect to the person of the second target face image and the specified first target face image A face image matching means for preferentially matching each face image of
A face image collation device comprising:
請求項１に記載の顔画像照合装置。 The face image collating means uses a set of identifiers of the one or more appearing persons for each person of the specified plurality of target face images as an identifier of the person of the set and the specified plurality of target face images. Update the union with the set of
The face image collation apparatus according to claim 1.
請求項１または２に記載の顔画像照合装置。 The face image collating unit executes collation processing of the plurality of target face images in parallel, and when the person of the first target face image is specified in the collation processing for the first target face image, In the matching process for the second target face image, the matching between the second target face image and each of the plurality of person's face images is stopped, and the second target face image and the identified first Collating the face image of each of the one or more appearance characters with respect to a person of one target face image;
The face image collation apparatus according to claim 1 or 2.
前記顔画像照合手段は、前記第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の顔画像との照合において、前記出現回数が他の出現人物よりも大きい出現人物との照合を優先的に行う、
請求項１乃至３のいずれかに記載の顔画像照合装置。 The appearance information storage means further includes the same image data as the image data in which the appearance person includes the face image of the person corresponding to the identifier of each of the one or more appearance persons of each of the plurality of persons. Remember the number of appearances that were included in the
The face image collating means is configured to collate the second target face image with the face image of the one or more appearing persons with respect to the person of the identified first target face image, and the appearance count is another appearance. Prioritize matching with characters that are larger than people,
The face image collation device according to claim 1.
請求項１乃至４のいずれかに記載の顔画像照合装置。 When the person of the second target face image is identified in the collation processing for the second target face image, the face image collating unit is configured to perform the first operation on the person of the identified first target face image. Calculating a product set or union of the set of identifiers of the appearing characters and the set of identifiers of the one or more appearing characters with respect to the person of the specified second target face image; In the collation process for the third target face image of the target face images, the third target face image is collated with the face images of the characters included in the calculated product set or union set. Priority is given,
The face image collation apparatus according to claim 1.
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、
顔画像照合方法。 The feature quantity of the face image of the person is stored in correspondence with each identifier of the plurality of persons,
The identifiers of one or more appearance characters that are other persons whose face images were included in the same image data as the image data that included the face images of the persons in correspondence with the identifiers of the plurality of persons. Remember the set of
For each of the plurality of target face images included in the input image data, the feature amount of the target face image and the feature amount of each face image of the plurality of persons are sequentially collated, and A collation process for identifying a person of the target face image is executed, and a person of the first target face image is identified in the collation process for the first target face image among the plurality of target face images. In the collation process for the second target face image among the plurality of target face images, the one or more appearance persons with respect to the person of the second target face image and the specified first target face image Prioritize collation with each face image of
Face image matching method.
請求項６に記載の顔画像照合方法。 Further, a set of identifiers of the one or more appearance characters for each person of the specified plurality of target face images is a sum of the set and a set of identifiers of the persons of the specified target face images. Update with a set,
The face image matching method according to claim 6.
前記複数の人物の各々の識別子対応に、当該人物の顔画像が含まれていた画像データと同じ画像データに顔画像が含まれていたことがある他の人物である１以上の出現人物の識別子の集合を記憶し、
入力された画像データに含まれる複数の対象顔画像の各々について、当該対象顔画像の特徴量と前記複数の人物の各々の顔画像の特徴量とを順次照合して、前記複数の人物の中から当該対象顔画像の人物を特定する照合処理を実行し、前記複数の対象顔画像の内の第１の対象顔画像についての照合処理において当該第１の対象顔画像の人物が特定された場合、前記複数の対象顔画像の内の第２の対象顔画像についての照合処理において、当該第２の対象顔画像と前記特定された前記第１の対象顔画像の人物に対する前記１以上の出現人物の各々の顔画像との照合を優先的に行う、
処理をコンピュータに実行させるプログラム。 The feature quantity of the face image of the person is stored in correspondence with each identifier of the plurality of persons,
The identifiers of one or more appearance characters that are other persons whose face images were included in the same image data as the image data that included the face images of the persons in correspondence with the identifiers of the plurality of persons. Remember the set of
For each of the plurality of target face images included in the input image data, the feature amount of the target face image and the feature amount of each face image of the plurality of persons are sequentially collated, and A collation process for identifying a person of the target face image is executed, and a person of the first target face image is identified in the collation process for the first target face image among the plurality of target face images. In the collation process for the second target face image among the plurality of target face images, the one or more appearance persons with respect to the person of the second target face image and the specified first target face image Prioritize collation with each face image of
A program that causes a computer to execute processing.
処理をコンピュータに実行させる請求項８に記載のプログラム。 Further, a set of identifiers of the one or more appearance characters for each person of the specified plurality of target face images is a sum of the set and a set of identifiers of the persons of the specified target face images. Update with a set,
The program according to claim 8, which causes a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012195302A JP2014052726A (en) | 2012-09-05 | 2012-09-05 | Face image collation device, face image collation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012195302A JP2014052726A (en) | 2012-09-05 | 2012-09-05 | Face image collation device, face image collation method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014052726A true JP2014052726A (en) | 2014-03-20 |
Family
ID=50611194
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012195302A Pending JP2014052726A (en) | 2012-09-05 | 2012-09-05 | Face image collation device, face image collation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014052726A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008052549A (en) * | 2006-08-25 | 2008-03-06 | Hitachi Kokusai Electric Inc | Image processing system |
| JP2008134868A (en) * | 2006-11-29 | 2008-06-12 | Seiko Epson Corp | Image recognition device, electronic device, image recognition method and control program |
-
2012
- 2012-09-05 JP JP2012195302A patent/JP2014052726A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008052549A (en) * | 2006-08-25 | 2008-03-06 | Hitachi Kokusai Electric Inc | Image processing system |
| JP2008134868A (en) * | 2006-11-29 | 2008-06-12 | Seiko Epson Corp | Image recognition device, electronic device, image recognition method and control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6451246B2 (en) | Method, system and program for determining social type of person | |
| CN110309388B (en) | Method and device for identifying illegal risk of data object information and computer system | |
| CA2827652C (en) | Label privileges | |
| CN104537000B (en) | A kind of method and apparatus for pushed information | |
| US20150161613A1 (en) | Methods and systems for authentications and online transactions | |
| JP2016528596A5 (en) | ||
| KR20140091599A (en) | Facial recognition using social networking information | |
| WO2015167974A1 (en) | Grouping and ranking images based on facial recognition data | |
| US9147128B1 (en) | Machine learning enhanced facial recognition | |
| JP2014523028A5 (en) | ||
| CN103324636A (en) | System and method for recommending friend in social network | |
| RU2012111200A (en) | JOINTLY USED FACIAL TRAINING | |
| WO2017143773A1 (en) | Crowdsourcing learning method and device | |
| WO2013103747A1 (en) | Detecting overlapping clusters | |
| CN107809370B (en) | User recommendation method and device | |
| US11368524B1 (en) | Systems and methods for rate-based load balancing | |
| WO2021068613A1 (en) | Face recognition method and apparatus, device and computer-readable storage medium | |
| US20190005841A1 (en) | Representation of group emotional response | |
| CN105512208B (en) | Information publishing method, device and system | |
| JP5881396B2 (en) | Identification information management support system, identification information management support method, and program | |
| CN109657889B (en) | Attendance checking method and device | |
| JP2014052726A (en) | Face image collation device, face image collation method, and program | |
| CN110705733A (en) | Number obtaining method and device, electronic equipment and computer readable storage medium | |
| US10922700B2 (en) | Systems and methods to provide a software benefit when a consumer object is recognized in an image | |
| CN112286662B (en) | Task pushing method, device and equipment based on shared resources and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150824 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170207 |