JP2017526989A - 関連ユーザー確定方法および装置 - Google Patents

関連ユーザー確定方法および装置 Download PDF

Info

Publication number
JP2017526989A
JP2017526989A JP2016532556A JP2016532556A JP2017526989A JP 2017526989 A JP2017526989 A JP 2017526989A JP 2016532556 A JP2016532556 A JP 2016532556A JP 2016532556 A JP2016532556 A JP 2016532556A JP 2017526989 A JP2017526989 A JP 2017526989A
Authority
JP
Japan
Prior art keywords
face
user
related user
gender
age
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016532556A
Other languages
English (en)
Other versions
JP6263263B2 (ja
Inventor
涛 張
涛 張
飛 龍
飛 龍
志軍 陳
志軍 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Publication of JP2017526989A publication Critical patent/JP2017526989A/ja
Application granted granted Critical
Publication of JP6263263B2 publication Critical patent/JP6263263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Abstract

本開示は、関連ユーザー確定方法および装置に関する。関連ユーザー確定方法は、複数のユーザーの顔集合が含まれる顔アルバムを取得することと、前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することと、前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定することとを含む。【選択図】図1

Description

本願は、出願番号201510463635.X、出願日2015年7月31日の中国特許出願に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許出願のすべての内容がここで参照により本明細書に組み込まれる。
本開示は、画像技術処理分野に関し、特に関連ユーザー確定方法および装置に関する。
移動端末技術の急激な発展に伴い、様々な移動端末例えば携帯電話は、非常に人気があり、かつ、機能がますます強くなる。例えば、ユーザーは、携帯電話を使用して写真を撮ることができ、且つ友達と写真を共有することができる。
写真の数がますます増えていることに伴い、ユーザーが家族アルバムを作成したいなどの操作を行う場合、あるユーザーまたはいくつかのユーザーの関連ユーザーを手動で検索し、その後関連ユーザーに基づいてその後の家族アルバムを作成するなどの操作を実行する必要がある。例えば、現在、子供のアルバムのみがあるので、大量の写真から子供の関連ユーザー即ち彼の父親と母親を検索して家族アルバムを作成する必要がある。
ただし、関連ユーザーを手動で確定する操作は、比較的煩雑であり、ユーザーの大量の時間を浪費する。
本開示の実施例は、現在の、関連ユーザーを確定する操作が比較的煩雑である課題を解決するように、関連ユーザー確定方法および装置を提供する。
本開示の実施例の第1の態様による関連ユーザー確定方法は、
複数のユーザーの顔集合が含まれる顔アルバムを取得することと、
前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することと、
前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定することとを含む。
一つの実施例において、前記の前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することは、
前記顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得された前記ターゲットユーザー以外のユーザーの顔源写真を前記ターゲットユーザーの顔源写真と比較することと、
前記ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを前記候補関連ユーザーとすることとを含む。
一つの実施例において、前記の前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定することは、
前記候補関連ユーザーの性別および年齢情報を取得し、前記年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除することと、
残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザー数を超えるかを判断し、超えない場合、前記残りの候補関連ユーザーが前記関連ユーザーであると確定し、超える場合、予め設定された条件に応じて前記関連ユーザーを確定することとを含む。
一つの実施例において、前記の前記候補関連ユーザーの性別および年齢情報を取得することは、
訓練サンプルを収集し、gabor特徴が含まれる前記訓練サンプルの特徴を抽出し、前記特徴に基づいてSVM分類器が含まれる分類器を訓練することと、
前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得することとを含む。
一つの実施例において、前記の予め設定された条件に応じて前記関連ユーザーを確定することは、
前記残りの候補関連ユーザーの顔数を取得し、前記顔数が最大の候補関連ユーザーを前記関連ユーザーとすることを含む。
一つの実施例において、前記の前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得することは、
各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得し、前記年齢と前記写真撮影時間に基づいて各顔に対応する誕生時間を計算し、計算された前記誕生時間に基づいて前記現在の候補関連ユーザーの所属する年齢層を確定することと、
各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の性別を取得し、取得された性別が同じである場合、取得された性別を前記現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザーの顔数を統計し、前記数がより大きい顔に対応する性別を前記現在の候補関連ユーザーの性別とすることとを含む。
一つの実施例において、前記の前記分類器を使用して現在の候補関連ユーザーの各顔の年齢および性別を取得することは、
現在の候補関連ユーザーの各顔に対して、前記分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、前記現在の顔の照度および姿態情報を計算し、計算結果が照度と姿態要求に合う場合、取得された年齢および性別を前記現在の顔の年齢および性別とし、そして前記現在の顔およびそれに対応する年齢および性別をデータベースに記憶し、計算結果が照度と姿態要求に合わない場合、前記データベースから前記現在の顔のマッチング顔を取得し、そして前記マッチング顔の年齢および性別を前記現在の顔の年齢および性別することとを含む。
本公開実施例の第2の態様による関連ユーザー確定装置は、
複数のユーザーの顔集合が含まれる顔アルバムを取得するように構成される取得モジュールと、
前記取得モジュールにより取得された前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択するように構成される確定選択モジュールと、
前記確定選択モジュールにより選択された前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定するように構成される確定設定モジュールとを含む。
一つの実施例において、前記確定選択モジュールは、
前記顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得された前記ターゲットユーザー以外のユーザーの顔源写真を前記ターゲットユーザーの顔源写真と比較するように構成される取得比較サブモジュールと、
前記ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを前記候補関連ユーザーとするように構成される確定サブモジュールとを含む。
一つの実施例において、前記確定設定モジュールは、
前記候補関連ユーザーの性別および年齢情報を取得し、前記年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除するように構成される取得削除サブモジュールと、
残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザー数を超えるかを判断し、超えない場合、前記残りの候補関連ユーザーが前記関連ユーザーであると確定し、超える場合、予め設定された条件に応じて前記関連ユーザーを確定するように構成される判断確定サブモジュールとを含む。
一つの実施例において、前記取得削除サブモジュールは
訓練サンプルを収集し、gabor特徴が含まれる前記訓練サンプルの特徴を抽出し、前記特徴に基づいてSVM分類器が含まれる分類器を訓練するように構成される収集抽出訓練ユニットと、
前記収集抽出訓練ユニットにより訓練された前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得するように構成される取得ユニットとを含む。
一つの実施例において、前記判断確定サブモジュールは、
前記残りの候補関連ユーザーの顔数を取得し、前記顔数が最大の候補関連ユーザーを前記関連ユーザーとするように構成される。
一つの実施例において、前記取得ユニットは
各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得し、前記年齢と前記写真撮影時間に基づいて各顔に対応する誕生時間を計算し、計算された前記誕生時間に基づいて前記現在の候補関連ユーザーの所属する年齢層を確定し、
各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の性別を取得し、取得された性別が同じである場合、取得された性別を前記現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザー顔の数を統計し、前記数がより大きい顔に対応する性別を前記現在の候補関連ユーザーの性別とするように構成される。
一つの実施例において、前記取得ユニットは
現在の候補関連ユーザーの各顔に対して、前記分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、前記現在の顔の照度および姿態情報を計算し、計算結果が照度と姿態要求に合う場合、取得された年齢および性別を前記現在の顔の年齢および性別とし、前記現在の顔およびそれに対応する年齢および性別をデータベースに記憶し、計算結果が照度と姿態要求に合わない場合、前記データベースから前記現在の顔のマッチング顔を取得し、前記マッチング顔の年齢および性別を前記現在の顔の年齢および性別とするように構成される。
本公開の実施例の第3の態様による関連ユーザー確定装置は、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを含み、
ここで、プロセッサが、
複数のユーザーの顔集合が含まれる顔アルバムを取得し、
前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、
前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定するように構成される。
本開示の実施例による技術的解決手段は、顔アルバムを取得し、顔アルバムにおけるターゲットユーザーを確定し、顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、その後候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、最後関連ユーザーのためにラベル情報を設定することにより、実現過程が迅速かつ簡単であり、ユーザが頻雑な操作を行う必要がなく、ユーザーのために大量の時間を節約するという有益な効果を含むことができる。
候補関連ユーザーを確定する方式は、簡単であり、容易に実現される。
候補関連ユーザーの属性情報に基づいて関連ユーザを確定する方式は、簡単であり、容易に実現される。
間連ユーザーの属性情報を取得する方式は、簡単かつ柔軟である。
予め設定された条件に応じて関連ユーザーを確定する方式は、簡単でありかつ正確率が高い。
各候補関連ユーザーのすべての顔に対応する性別および年齢情報を取得し、その後すべての顔に対応する性別および年齢情報に基づいて候補関連ユーザーの性別および年齢層を確定することにより、正確率が高い。
現在の顔が照度および姿態要求に合う場合、取得された年齢および性別を直接に現在の顔の年齢および性別とし、現在の顔が照度および姿態要求に合わない場合、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とすることにより、現在の顔の性別および性別の識別正確率が保証される。
以上の一般的な説明と後の詳細な説明は、例示的なものと解釈的なものであるが、本開示を限定できないと理解すべきである。
一つの例示的な実施例による関連ユーザー確定方法のフローチャートである。 一つの例示的な実施例による顔アルバムを示す図である。 一つの例示的な実施例による顔集合を示す図である。 一つの例示的な実施例による関連ユーザー確定方法のシーン図。 一つの例示的な実施例によるユーザーの属性情報を取得するフローチャートである。 一つの例示的な実施例による現在の候補関連ユーザーの年齢情報を取得するフローチャートである。 一つの例示的な実施例による顔年齢を取得するフローチャートである。 一つの例示的な実施例による関連ユーザー確定装置のブロック図である。 一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。 一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。 一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。 一つの例示的な実施例による関連ユーザー確定装置に適用するブロック図である。
ここの図面は、明細書に組み込まれて本明細書の一部分を構成し、本発明に合う実施例を示し、明細書とともに本発明の原理を解釈することに用いられる。
ここで、例示的な実施例を詳しく説明し、その例が図面に示される。以下の説明が図面に関する場合、他に示されない限り、異なる図面の同じ数字は、同じまたは類似の要素を表す。以下の例示的な実施例において説明された実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、特許請求の範囲に詳しく記載される、本発明のいくつかの方面と一致する装置および方法の例だけである。
図1は一つの例示的な実施例による関連ユーザー確定方法のフローチャートである。図1に示すように、当該関連ユーザー確定方法は、移動端末に応用されることができ、当該移動端末が携帯電話を含むがこれに限定されなく、当該方法は、以下のステップS101−S103を含む。
ステップS101において、複数のユーザーの顔集合が含まれる顔アルバムを取得する。
当該実施例において、移動端末例えば携帯電話が「顔アルバム」を開いた場合、サービス側から複数のユーザーの顔集合が含まれる顔アルバムを取得することができる。
図2aに顔アルバムの例が示される。当該顔アルバムは、複数のユーザーの顔集合を含み、あるユーザーの顔集合が図2bに示されることができる。
ステップS102において、当該顔アルバムにおけるターゲットユーザーを確定し、当該顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択する。
当該実施例において、ターゲットユーザーが子供であってよく、顔アルバムを取得した後、当該顔アルバムから子供の顔集合を識別し、同時に子供の顔集合における顔の数に基づいてターゲットユーザーを確定することができる。例えば、現在の顔アルバムにおいて二つの子供の顔集合があると仮定し、一番目の子供の顔集合に含まれる顔の数が4であり、二番目の子供の顔集合に含まれる顔の数は50である場合、二番目の子供がターゲットユーザーであると確定できる。
ターゲットユーザーを確定する後、以下の方式により顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することができるが、これらの方式に限定しない。前記方式は、顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得されたターゲットユーザー以外のユーザーの顔源写真をターゲットユーザーの顔源写真と比較し、その後ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを候補関連ユーザーとすることである。
ここで、顔源写真が顔がある写真であり、写真1に顔1と顔2が含まれる場合、顔1と顔2の源写真がいずれも写真1であり、写真2に顔3が含まれる場合、顔3の源写真が写真2である。前記予め設定された数は、必要に応じて柔軟に設定されることができ、例えば、10枚、15枚などであってよい。
現在の顔アルバムにユーザー1−5の合計のユーザーの顔集合が含まれると仮定し、ユーザー1がターゲットユーザーであり、この五つのユーザーの顔源写真を取得し、ユーザー2−5の顔源写真をそれぞれユーザー1の顔源写真と比較し、ユーザー2とユーザー1の間の同じ顔源写真の数が2枚である場合、ユーザー2とユーザー1が2枚の集合写真があり、ユーザー3とユーザー1の間の同じ顔源写真の数が30枚である場合、ユーザー3とユーザー1が30枚の集合写真があり、ユーザー4とユーザー1の間の同じ顔源写真の数が33枚である場合、ユーザー4とユーザー1が33枚の集合写真があり、ユーザー5とユーザー1の間の同じ顔源写真の数が20枚である場合、ユーザー5とユーザー1が20枚の集合写真があることを発見すると仮定し、予め設定された数が10枚であると仮定する場合、ユーザー3、ユーザー4とユーザー5がターゲットユーザーの候補関連ユーザーであると確定できる。
ステップS103において、候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、関連ユーザーのためにラベル情報を設定する。
ターゲットユーザーの候補関連ユーザーを確定する後、候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定することができる。
例えば、候補関連ユーザーの性別および年齢情報を取得し、年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除し、その後残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザーの数を超えるかを判断し、超えない場合、残りの候補関連ユーザーが関連ユーザーであると確定し、超える場合、予め設定された条件例えば候補関連ユーザーの顔数に基づいて関連ユーザーを確定することができる。
上記の例を続けて説明する。ユーザー3の性別が男であり、所属する年齢層が10−15であり、ユーザー4の性別が女であり、所属する年齢層が25−30であり、ユーザー5の性別が男であり、所属する年齢層が28−35であることを取得したと仮定し、ユーザー3の年齢層が年齢要求に合わないため、ユーザー3を削除し、ユーザー4とユーザー5の性別に基づいてユーザー4とユーザー5が関連ユーザー数の要求に合うと確定できるため、ユーザー4とユーザー5がターゲットユーザーの関連ユーザーであり、例えば、ユーザー4がターゲットユーザーの母親であり、ユーザー5がターゲットユーザーの父親であると確定する。
ただし、ユーザー3の性別が男であり、所属する年齢層が25−30であることを取得したと仮定する場合、ユーザー3−5がいずれも年齢要求に合い、ユーザー3とユーザー5がいずれも男性であり、関連ユーザー数を超え、この場合、予め設定条件に応じてユーザー3とユーザー5に対してさらに選択する必要があり、例えば、ユーザー3とユーザー5の顔数を取得でき、ユーザー3の顔数(30枚)がユーザー5の顔数(20枚)より大きいため、ユーザー3がターゲットユーザーの関連ユーザーであると確定する。
前記の予め設定された条件に応じて関連ユーザーを確定する方式は、簡単かつ正確率が高い。
ターゲットユーザーの関連ユーザーを確定する後、ラベル情報に基づいて操作を実行することができるように、関連ユーザーのためにラベル情報を設定することができる。
ここで、当該ラベル情報は、「子供の父親」または「子供の母親」であってもよく、「子供の父親」または「子供の母親」を表すマークであってもよい。また、移動端末は、設定されたラベル情報を表示でき、例えば顔アルバムにおけるユーザー顔の底部または上部にラベル情報を表示してよく、ユーザー顔にラベル情報を表示してもよく、例えば、ユーザー顔の右上隅などの位置にラベル情報を表示する。ここでラベル情報の様式および設定された位置に対して具体的に限定しない。
さらに、関連ユーザーのためにラベル情報を設定した後、ユーザーが家族アルバムを作成するなどの操作をトリガした場合、移動端末は、ターゲットユーザーの関連ユーザーを手動で検索してから、関連ユーザーの顔を一つずつ抽出することなく、ターゲットユーザーおよび当該ターゲットユーザーの関連ユーザーの顔を同時に抽出することができ、実現が簡単かつ迅速である。
以下に図3を参照して本開示を例示的に説明する。図3に示すように、ユーザーは、携帯電話31を使用して子供と自身のために多くの写真を撮ることができ、同時に写真をサーバー32にアップロードすることができ、ユーザーが「顔アルバム」を開くというオプションをクリックした場合、携帯電話31はサーバー32から顔アルバムを取得し、同時に、ターゲットユーザー例えば現在のユーザーの子供を自動的に識別し、当該顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、その後候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザー即ち子供の父親と母親を確定し、子供の父親と母親のためにラベル情報を設定することができ、それによって後のラベル情報に基づいて操作することに便利を与える。
前記関連ユーザー確定方法の実施例において、顔アルバムを取得し、顔アルバムにおけるターゲットユーザーを確定し、顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、その後候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、最後関連ユーザーのためにラベル情報を設定することにより、実現過程が迅速かつ簡単であり、ユーザーが煩雑な操作を行う必要がなく、大量の時間を節約する。
図4aは一つの例示的な実施例によるユーザーの属性情報を取得するフローチャートであり、当該実施例により候補関連ユーザーの性別および年齢情報を取得できる。図4aに示すように、当該過程は、以下のステップを含む。
ステップS401において、訓練サンプルを収集し、訓練サンプルの特徴を抽出し、特徴に基づいて分類器を訓練する。
当該実施例において性別および年齢情報を取得するので、性別訓練サンプルと年齢訓練サンプルを収集する必要があり、対応する訓練サンプルの特徴を抽出し、当該特徴がgabor特徴を含むことができるがこれに限られなく、その後、特徴に基づいて対応する分類器を訓練する。前記分類器は、サポートベクターマシン(SVM:Support Vector Machine)分類器を含むことができるがこれに限られない。
ここで、gabor特徴は、画像の局所的特徴測定方法であり、主に局所的テクスチャ特徴を描写することに用いられる。
ステップS402において、分類器を使用して候補関連ユーザーの性別および所属する年齢層を取得する。
顔アルバムに候補関連ユーザーの複数の顔が含まれるため、当該実施例は、対応する分類器により各候補関連ユーザーのすべての顔の性別および年齢情報を取得し、その後すべての顔の性別および年齢情報を統計することで、統計結果に基づいて対応する候補関連ユーザーの性別および所属する年齢層を取得する。
例えば、各候補関連ユーザーに対して、現在の候補関連ユーザーの年齢情報を取得する過程は、図4bに示されることができ、以下のステップを含む。
ステップS4031において、分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得する。
ステップS4032において、取得された年齢および写真撮影時間に基づいて、各顔に対応する誕生時間を計算する。
ステップS4033において、計算された誕生時間に基づいて現在の候補関連ユーザーの所属する年齢層を確定する。
現在の候補関連ユーザーが40つの顔があり、10つの顔に対応する誕生時間が1988年であり、8つの顔に対応する誕生時間が1990年であり、7つの顔に対応する誕生時間が1989年であり、8つの顔に対応する誕生時間が1987年であり、2つの顔に対応する誕生時間が1980年であり、2つの顔に対応する誕生時間が1981年であり、2つの顔に対応する誕生時間が1995年であり、1つの顔に対応する誕生時間が1996年であると仮定する場合、現在の候補関連ユーザーの所属する年齢層が25−28であると確定する。
前記方式により年齢層を確定する場合、正確率が高い。
また、例えば、各候補関連ユーザーに対して、分類器を使用して現在の候補関連ユーザーの各顔に対応する性別を取得し、取得された性別が同じである場合、取得された性別を現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザーの顔の数を統計し、数がより大きい顔に対応する性別を現在の候補関連ユーザーの性別とする。
現在の候補関連ユーザーが40つの顔があり、38つの顔に対応する性別が男であり、2つの顔に対応する性別が女であると仮定する場合、現在の候補関連ユーザーの性別が男であると確定する。
前記方式により性別を確定する場合、正確率が高い。
前記実施例において、各候補関連ユーザーのすべての顔に対応する性別および年齢情報を取得し、その後すべての顔に対応する性別および年齢情報に基づいて対応する候補関連ユーザーの性別および年齢層を確定することにより、正確率が高い。
図5は、一つの例示的な実施例による顔年齢および性別を取得するフローチャートである。図5に示すように、現在の候補関連ユーザーの各顔に対して、現在の顔の年齢および性別を取得することは、以下のステップを含むことができる。
ステップS501において、分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、現在の顔の照度および姿態情報を計算し、計算結果を取得する。
撮影角度、撮影光線などの原因で、通常、同じユーザーの異なる顔および年齢の識別結果が正確ではない。この問題を解決するために、本実施例において、現在の顔の照度および姿態情報を計算する必要がある。
ここで、照度情報は、ピクセルグレー値の平均値および分散を使用して計算されることができる。
ステップS502において、計算結果が照度および姿態要求に合うかを判断し、合う場合、ステップS503を実行し、合わない場合、ステップS504を実行する。
当該実施例において、ユーザーの姿態が正面姿態であるか、かつピクセルグレー値の平均値が予め設定された範囲例えば50−100に位置するかを判断でき、ユーザーの姿態が正面姿態であり、かつピクセルグレー値の平均値が50−100に位置する場合、現在の顔が照度および姿態要求に合うと確定し、そうでない場合、現在の顔が照度および姿態要求に合わないと確定する。
ここで、複数の方式によりユーザーの姿態が正面姿であるかを判断することができ、例えば、現在の顔におけるいくつかの点の位置例えば左目と右目の位置を抽出し、その後左目と右目が対称するかを判断することができ、対称する場合、正面姿であると表明した。
ステップS503において、取得された年齢および性別を現在の顔の年齢および性別とし、現在の顔およびそれに対応する年齢および性別をデータベースに記憶する。
現在の顔が照度および姿態要求に合う場合、取得された年齢および性別を現在の顔の年齢および性別とすることができ、その後のマッチングのために、現在の顔およびそれに対応する年齢および性別をデータベースに記憶することができる。
ステップS504において、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とする。
現在の顔が照度および姿態要求に合わない場合、例えば、現在の顔が側面であり、かつ光線が暗い場合、取得された年齢および性別を現在の顔の年齢および性別とすることは正確ではなく、正確率を向上するように、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とする必要がある。
前記実施例において、現在の顔が照度および姿態要求に合う場合、取得された年齢および性別を直接に現在の顔の年齢および性別とする。現在の顔が照度および姿態要求に合わない場合、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とし、それによって現在の顔の性別および年齢の識別正確率を保証する。
前記関連ユーザー確定方法の実施例に対応して、本開示は、また、関連ユーザー確定装置の実施例を提供する。
図6は、一つの例示的な実施例による関連ユーザー確定装置のブロック図である。図6に示すように、関連ユーザー確定装置は、取得モジュール61、確定選択モジュール62および確定設定モジュール63を含む。
取得モジュール61は、複数のユーザーの顔集合が含まれる顔アルバムを取得するように構成される。
確定選択モジュール62は、取得モジュール61により取得された顔アルバムにおけるターゲットユーザーを確定し、顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択するように構成される。
確定設定モジュール63は、確定選択モジュール62により選択された候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、関連ユーザーのためにラベル情報を設定するように構成される。
図6に示す関連ユーザー確定装置が関連ユーザーを確定する過程は、図1に示す実施例を参照できるので、ここで詳細な説明は省略する。
前記関連ユーザー確定装置の実施例について、取得モジュールにより顔アルバムを取得し、確定選択モジュールにより顔アルバムにおけるターゲットユーザーを確定し、顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、その後確定設定モジュールにより候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、関連ユーザーのためにラベル情報を設定し、このようにして、実現過程が迅速かつ簡単であり、ユーザーが煩雑な操作を行う必要がなく、ユーザーのために大量の時間を節約する。
図7は、一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。図7に示すように、前記図6に示す実施例に基づいて、確定選択モジュール62は、取得比較サブモジュール621と確定サブモジュール622を含むことができる。
取得比較サブモジュール621は、顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得されたターゲットユーザー以外のユーザーの顔源写真をターゲットユーザーの顔源写真と比較するように構成される。
確定サブモジュール622は、ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを候補関連ユーザーとするように構成される。
図7に示す関連ユーザー確定装置が関連ユーザーを確定する過程は、図1に示す実施例の対応する部分を参照できるので、ここで詳細な説明は省略する。
前記実施例について、候補関連ユーザーを確定する方式は、簡単であり、容易に実現される。
図8は、一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。図8に示すように、前記図6に示す実施例に基づいて、確定設置モジュール63は、取得削除サブモジュール631と判断確定サブモジュール632を含むことができる。
取得削除サブモジュール631は、候補関連ユーザーの性別および年齢情報を取得し、年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除するように構成される。
判断確定サブモジュール632は、残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザー数を超えるかを判断し、超えない場合、残りの候補関連ユーザーが関連ユーザーであると確定し、超える場合、予め設定された条件に応じて関連ユーザーを確定するように構成される。
一つの実施例において、判断確定サブモジュール632は、残りの候補関連ユーザーの顔数を取得し、顔数が最大の候補関連ユーザーを関連ユーザーとするように構成される。
図8に示す関連ユーザー確定装置が関連ユーザーを確定する過程は、図1に示す実施例の対応する部分を参照できるので、ここで詳細な説明は省略する。
前記実施例について、候補関連ユーザーの属性情報に基づいて関連ユーザーを確定する方式は、簡単であり、容易に実現される。
図9は、一つの例示的な実施例による別の関連ユーザー確定装置のブロック図である。図9に示すように、前記図8に示す実施例に基づいて、取得削除サブモジュール631は、収集抽出訓練ユニット6311と取得ユニット6312を含むことができる。
収集抽出訓練ユニット6311は、訓練サンプルを収集し、gabor特徴が含まれる訓練サンプルの特徴を抽出し、特徴に基づいてSVM分類器が含まれる分類器を訓練するように構成される。
取得ユニット6312は、収集抽出訓練ユニット6311により訓練された分類器を使用して候補関連ユーザーの性別よび所属する年齢層を取得するように構成される。
一つの実施例において、取得ユニット6312は、各候補関連ユーザーに対して、分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得し、年齢および写真撮影時間に基づいて各顔に対応する誕生時間を計算し、計算された誕生時間に基づいて現在の候補関連ユーザーの所属する年齢層を確定し、各候補関連ユーザーに対して、分類器を使用して現在の候補関連ユーザーの各顔に対応する性別を取得し、取得された性別が同じである場合、取得された性別を現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザーの顔の数を統計し、数がより大きい顔に対応する性別を現在の候補関連ユーザーの性別とするように構成されることができる。
別の実施例において、取得ユニット6312は、現在の候補関連ユーザーの各顔に対して、分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、現在の顔の照度および姿態情報を計算し、計算結果が照度および姿態要求に合う場合、取得された年齢および性別を現在の顔の年齢および性別とし、現在の顔およびそれに対応する年齢および性別をデータベースに記憶し、計算結果が照度および姿態要求に合わない場合、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とするように構成されることができる。
図9に示す関連ユーザー確定装置が関連ユーザーを確定する過程は、図4a,図4bと図5に示す実施例の対応する部分を参照できるので、ここで詳細な説明は省略する。
前記実施例について、関連ユーザーの属性情報を取得する方式は、柔軟、多様であり、かつ正確率が高い。
前記実施例における装置について、各モジュール、サブモジュールが操作を実行する具体的な方式は、すでに当該方法に関する実施例に詳しく説明されたので、ここで詳細な説明は省略する。
図10は、一つの例示的な実施例による関連ユーザー確定装置に適用するブロック図である。例えば、装置1000は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレットデバイス、医療装置、フィットネス機器、パーソナルデジタルアシスタントおよび航空機などであってよい。
図10を参照して、装置1000は、処理コンポーネント1002、メモリ1004、電源コンポーネント1006、マルチメディアコンポーネント1008、オーディオコンポーネント1010、入力/出力(I/O)インタフェース1012、センサーコンポーネント1014および通信コンポーネント1016の1つ以上のコンポーネントを含むことができる。
処理コンポーネント1002は、一般的に、制御装置1000の全体操作、例えば表示、電話コール、データ通信、カメラ操作および記憶操作に関する操作を制御する。処理コンポーネント1002は、上述した方法の全部または一部のステップを完成するように、1つ以上のプロセッサ1020を含んでコマンドを実行することができる。また、処理コンポーネント1002は、他のコンポーネントとのインタラクションを容易にするように、1つ以上のモジュールを含むことができる。例えば、処理コンポーネント1002は、マルチメディア1008とのインタラクションを容易にするように、マルチメディアモジュールを含むことができる。
メモリ1004は、装置1000での操作をサポートするように、様々なデータを記憶するように構成される。これらのデータの例は、装置1000で操作されるいかなるアプリケーションプログラムまたは方法のためのコマンド、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ1004は、いかなるタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせ、例えばスタティックランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクによって実現されることができる。
電源コンポーネント1006は、装置1000の各コンポーネントに電力を提供する。電源コンポーネント1006は、電源管理システム、1つ以上の電源、および装置1000のために電力を生成、管理および割り当てることに関する他のコンポーネントを含むことができる。
マルチメディアコンポーネント1008は、前記装置1000とユーザーの間にある、一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレー(LCD)とタッチパネル(TP)を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザーからの入力信号を受信するように、タッチスクリーンとして実現されることができる。タッチパネルーは、タッチ、スライドおよびタッチパネル上のジェスチャーをセンシングするように、1つ以上のタッチセンサーを含む。前記タッチセンサーは、タッチまたはスライド動作の限界をセンシングすることができるだけでなく、前記タッチまたはスライド操作に関する持続時間および圧力を検出することができる。いくつかの実施例において、マルチメディアコンポーネント1008は、一つのフロントカメラおよび/またはリアカメラを含む。装置1000が操作モード、例えば撮影モードまたはビデオモードにある場合、フロントカメラおよび/またはリアカメラは、外部のマルチメディアデータを受信できる。各フロントカメラおよび/またはリアカメラは、固定された光学レンズシステムであってよく、または焦点距離および光学ズーム機能を備える。
オーディオコンポーネント1010は、オーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント1010は一つのマイク(MIC)を含み、装置1000が呼び出しモード、記録モードおよび音声識別モードのような操作モードにある場合、マイクは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ1004に記憶され、または、通信コンポーネント1016を介して送信されることができる。いくつかの実施例において、オーディオコンポーネント1010は、さらに、オーディオ信号を出力するためのスピーカーを含む。
I/Oインタフェース1012は、処理コンポーネント1002と周辺インタフェースモジュールの間にインタフェースを提供する。前記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってよい。これらのボタンは、ホームページボタン、音量ボタン、スタートボタンとロックボタンを含むことができるがこれらに限られない。
センサーコンポーネント1014は、装置1000のために各方面の状態評価を提供するための1つ以上のセンサーを含む。例えば、センサーコンポーネント1014は、装置1000のオン/オフ状態、コンポーネントの相対的な位置決め、例えば前記コンポーネントが装置10000のディスプレイとキーパッドであることを検出でき、センサーコンポーネント1014は、さらに装置1000または装置1000の一つのコンポーネントの位置変化、ユーザーと装置1000の接触の有無、装置1000の方位または加速/減速と装置1000の温度変化を検出することができる。センサーコンポーネント1014は、さらに、いかなる物理的な接触がない場合に付近物体の存在を検査するように構成される近接センサーを含むことができる。センサーコンポーネント1014は、さらにイメージングアプリケーションに使用されるCMOSまたはCCD画像センサーのような光センサーを含むことができる。いくつかの実施例において、当該センサーコンポーネント1014は、さらに、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサーまたは温度センサーを含むことができる。
通信コンポーネント1016は、装置1000と他の設備との有線または無線通信を容易にするように構成される。装置1000は、WiFi、2Gまたは3G、またはそれらの組み合わせのような通信基準に基づく無線ネットワークにアクセスすることができる。一つの例示的な実施例において、通信ユニット1016は、放送チャネルを介して外部放送管理システムからの放送信号または放送に関する情報を受信する。一つの例示的な実施例において、前記通信コンポーネント1016は、さらに、近距離通信を促進するように、近距離通信(NFC)モジュールを含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、ウルトラワイドバンド(UWB)技術、ブルートゥース(登録商標)(BT)技術と他の技術に基づいて実現されることができる。
例示的な実施例において、装置1000は、1つ以上の特定用途向け集積回路(ASIC)、ディジタル信号処理機(DSP)、ディジタル信号処理設備(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブル ゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって実現されることができ、前記方法を実行することに用いられる。
例示的な実施例において、コマンドが含まれるメモリ1004のような非一時的なコンピュータ可読記憶媒体が提供される。前記コマンドは、装置1000のプロセッサ1020によって実行されて前記方法を完成する。例えば、前記非一時的なコンピュータ可読記憶媒体は、ROM、ランダムアクセスメモリ(RAM)、CD−ROM、磁気テープ、フロッピーディスクと光データ記憶設備などであってよい。
当業者は、明細書を考えてここで開示された実施例を実践した後、本開示のほかの実施案を容易に想到する。本出願は、本公開のいかなる変形、用途または適応的変化をカバーすることを意図し、これらの変形、用途または適応的変化が本開示の一般的な原理に従いかつ本開示に開示されない本分野の周知の常識または慣用技術手段を含む。明細書と実施例は、例示的なものと見なされるだけであり、本開示の本当の範囲と精神は、以下の特許請求の範囲によって示される。
本発明は、上述され且つ図面に示される精確な構造に限定されるものではなく、かつその範囲から逸脱することなく様々な変形および変更を行うことができると理解すべきである。本公開の範囲は、添付の特許請求の範囲のみによって限定される。
本開示の実施例による技術的解決手段は、顔アルバムを取得し、顔アルバムにおけるターゲットユーザーを確定し、顔アルバムからターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、その後候補関連ユーザーの属性情報を取得し、属性情報に基づいてターゲットユーザーの関連ユーザーを確定し、最後関連ユーザーのためにラベル情報を設定することにより、実現過程が迅速かつ簡単であり、ユーザが頻雑な操作を行う必要がなく、ユーザーのために大量の時間を節約するという有益な効果を含むことができる。
候補関連ユーザーを確定する方式は、簡単であり、容易に実現される。
候補関連ユーザーの属性情報に基づいて関連ユーザを確定する方式は、簡単であり、容易に実現される。
間連ユーザーの属性情報を取得する方式は、簡単かつ柔軟である。
予め設定された条件に応じて関連ユーザーを確定する方式は、簡単でありかつ正確率が高い。
各候補関連ユーザーのすべての顔に対応する性別および年齢情報を取得し、その後すべての顔に対応する性別および年齢情報に基づいて候補関連ユーザーの性別および年齢層を確定することにより、正確率が高い。
現在の顔が照度および姿態要求に合う場合、取得された年齢および性別を直接に現在の顔の年齢および性別とし、現在の顔が照度および姿態要求に合わない場合、データベースから現在の顔のマッチング顔を取得し、マッチング顔の年齢および性別を現在の顔の年齢および性別とすることにより、現在の顔の性別および性別の識別正確率が保証される。

Claims (15)

  1. 関連ユーザー確定方法であって、
    複数のユーザーの顔集合が含まれる顔アルバムを取得することと、
    前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することと、
    前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定することとを含む前記関連ユーザー確定方法。
  2. 前記の前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択することは、
    前記顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得された前記ターゲットユーザー以外のユーザーの顔源写真を前記ターゲットユーザーの顔源写真と比較することと、
    前記ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを前記候補関連ユーザーとすることとを含むことを特徴とする
    請求項1に記載の関連ユーザー確定方法。
  3. 前記の前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定することは、
    前記候補関連ユーザーの性別および年齢情報を取得し、前記年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除することと、
    残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザー数を超えるかを判断し、超えない場合、前記残りの候補関連ユーザーが前記関連ユーザーであると確定し、超える場合、予め設定された条件に応じて前記関連ユーザーを確定することとを含むことを特徴とする
    請求項1に記載の関連ユーザー確定方法。
  4. 前記の前記候補関連ユーザーの性別および年齢情報を取得することは、
    訓練サンプルを収集し、gabor特徴が含まれる前記訓練サンプルの特徴を抽出し、前記特徴に基づいてSVM分類器が含まれる分類器を訓練することと、
    前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得することとを含むことを特徴とする
    請求項3に記載の関連ユーザー確定方法。
  5. 前記の予め設定された条件に応じて前記関連ユーザーを確定することは、
    前記残りの候補関連ユーザーの顔数を取得し、前記顔数が最大の候補関連ユーザーを前記関連ユーザーとすることを含むことを特徴とする
    請求項3に記載の関連ユーザー確定方法。
  6. 前記の前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得することは、
    各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得し、前記年齢よび前記写真撮影時間に基づいて各顔に対応する誕生時間を計算し、計算された前記誕生時間に基づいて前記現在の候補関連ユーザーの所属する年齢層を確定することと、
    各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の性別を取得し、取得された性別が同じである場合、取得された性別を前記現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザー顔の数を統計し、前記数がより大きい顔に対応する性別を前記現在の候補関連ユーザーの性別とすることとを含むことを特徴とする
    請求項4に記載の関連ユーザー確定方法。
  7. 前記の前記分類器を使用して前記現在の候補関連ユーザーの各顔の年齢および性別を取得することは、
    現在の候補関連ユーザーの各顔に対して、前記分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、前記現在の顔の照度および姿態情報を計算し、計算結果が照度および姿態要求に合う場合、取得された年齢および性別を前記現在の顔の年齢および性別とし、前記現在の顔およびそれに対応する年齢および性別をデータベースに記憶し、計算結果が照度および姿態要求に合わない場合、前記データベースから前記現在の顔のマッチング顔を取得し、前記マッチング顔の年齢および性別を前記現在の顔の年齢および性別とすることとを含むことを特徴とする
    請求項6に記載の関連ユーザー確定方法。
  8. 関連ユーザー確定装置であって、
    複数のユーザーの顔集合が含まれる顔アルバムを取得するように構成される取得モジュールと、
    前記取得モジュールにより取得された前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択するように構成される確定選択モジュールと、
    前記確定選択モジュールにより選択された前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定するように構成される確定設定モジュールとを含む前記関連ユーザー確定装置。
  9. 前記確定選択モジュールは、
    前記顔アルバムにおけるすべてのユーザーの顔源写真を取得し、取得された前記ターゲットユーザー以外のユーザーの顔源写真を前記ターゲットユーザーの顔源写真と比較するように構成される取得比較サブモジュールと、
    前記ターゲットユーザーと同じ顔源写真の数が予め設定された数より大きいユーザーを前記候補関連ユーザーとするように構成される確定サブモジュールとを含むことを特徴とする
    請求項8に記載の関連ユーザー確定装置。
  10. 前記確定設定モジュールは、
    前記候補関連ユーザーの性別および年齢情報を取得し、前記年齢情報に基づいて年齢要求に合わない候補関連ユーザーを削除するように構成される取得削除サブモジュールと、
    残りの候補関連ユーザーの性別に基づいて残りの候補関連ユーザーが関連ユーザー数を超えるかを判断し、超えない場合、前記残りの候補関連ユーザーを前記関連ユーザーとし、超える場合、予め設定された条件に応じて前記関連ユーザーを確定するように構成される判断確定サブモジュールとを含むことを特徴とする
    請求項8に記載の関連ユーザー確定装置。
  11. 前記取得削除サブモジュールは
    訓練サンプルを収集し、gabor特徴が含まれる前記訓練サンプルの特徴を抽出し、前記特徴に基づいてSVM分類器が含まれる分類器を訓練するように構成される収集抽出訓練ユニットと、
    前記分類器を使用して前記候補関連ユーザーの性別および所属する年齢層を取得するように構成される取得ユニットとを含むことを特徴とする
    請求項10に記載の関連ユーザー確定装置。
  12. 前記判断確定サブモジュールは
    前記残りの候補関連ユーザーの顔数を取得し、前記顔数が最大の候補関連ユーザーを前記関連ユーザーとするように構成されることを特徴とする
    請求項10に記載の関連ユーザー確定装置。
  13. 前記取得ユニットは
    各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の年齢を取得し、各顔に対応する写真撮影時間を取得し、前記年齢および前記写真撮影時間に基づいて各顔に対応する誕生時間を計算し、計算された前記誕生時間に基づいて前記現在の候補関連ユーザーの所属する年齢層を確定し、
    各候補関連ユーザーに対して、前記分類器を使用して現在の候補関連ユーザーの各顔の性別を取得し、取得された性別が同じである場合、取得された性別を前記現在の候補関連ユーザーの性別とし、取得された性別が異なる場合、異なる性別に属する現在の候補関連ユーザー顔の数を統計し、前記数がより大きい顔に対応する性別を前記現在の候補関連ユーザーの性別とするように構成されることを特徴とする
    請求項11に記載の関連ユーザー確定装置。
  14. 前記取得ユニットは
    現在の候補関連ユーザーの各顔に対して、前記分類器を使用して現在の候補関連ユーザーの現在の顔の年齢および性別を取得し、前記現在の顔の照度および姿態情報を計算し、計算結果が照度および姿態要求に合う場合、取得された年齢および性別を前記現在の顔の年齢および性別とし、前記現在の顔およびそれに対応する年齢および性別をデータベースに記憶し、計算結果が照度および姿態要求に合わない場合、前記データベースから前記現在の顔のマッチング顔を取得し、前記マッチング顔の年齢および性別を前記現在の顔の年齢および性別とするように構成されることを特徴とする
    請求項13に記載の関連ユーザー確定装置。
  15. 関連ユーザー確定装置であって、
    プロセッサと、
    プロセッサ実行可能命令を記憶するためのメモリとを含み、
    ここで、前記プロセッサが、
    複数のユーザーの顔集合が含まれる顔アルバムを取得し、
    前記顔アルバムにおけるターゲットユーザーを確定し、前記顔アルバムから前記ターゲットユーザーの少なくとも一つの候補関連ユーザーを選択し、
    前記候補関連ユーザーの属性情報を取得し、前記属性情報に基づいて前記ターゲットユーザーの関連ユーザーを確定し、前記関連ユーザーのためにラベル情報を設定するように構成されることを特徴とする、前記関連ユーザー確定装置。
JP2016532556A 2015-07-31 2015-12-16 関連ユーザー確定方法および装置 Active JP6263263B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510463635.X 2015-07-31
CN201510463635.XA CN105069083B (zh) 2015-07-31 2015-07-31 关联用户的确定方法及装置
PCT/CN2015/097611 WO2017020476A1 (zh) 2015-07-31 2015-12-16 关联用户的确定方法及装置

Publications (2)

Publication Number Publication Date
JP2017526989A true JP2017526989A (ja) 2017-09-14
JP6263263B2 JP6263263B2 (ja) 2018-01-17

Family

ID=54498453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016532556A Active JP6263263B2 (ja) 2015-07-31 2015-12-16 関連ユーザー確定方法および装置

Country Status (8)

Country Link
US (1) US9892314B2 (ja)
EP (1) EP3125188A1 (ja)
JP (1) JP6263263B2 (ja)
KR (1) KR101771153B1 (ja)
CN (1) CN105069083B (ja)
MX (1) MX361672B (ja)
RU (1) RU2664003C2 (ja)
WO (1) WO2017020476A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069083B (zh) 2015-07-31 2019-03-08 小米科技有限责任公司 关联用户的确定方法及装置
CN105488470A (zh) * 2015-11-30 2016-04-13 小米科技有限责任公司 确定人物属性信息的方法及装置
CN106295499B (zh) * 2016-07-21 2019-10-11 北京小米移动软件有限公司 年龄估计方法及装置
CN110020155A (zh) * 2017-12-06 2019-07-16 广东欧珀移动通信有限公司 用户性别识别方法及装置
CN110162956B (zh) * 2018-03-12 2024-01-19 华东师范大学 确定关联账户的方法和装置
CN108806699B (zh) * 2018-05-30 2021-03-23 Oppo广东移动通信有限公司 语音反馈方法、装置、存储介质及电子设备
WO2020136794A1 (ja) * 2018-12-27 2020-07-02 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN109886158B (zh) * 2019-01-30 2023-01-10 广州轨道交通建设监理有限公司 一种基于施工现场的定位标签佩戴监控方法与装置
CN110351389B (zh) * 2019-08-07 2020-12-25 北京瑞策科技有限公司 用户社区关联数据的上链方法及其装置
CN112256982B (zh) * 2020-09-15 2022-08-16 中国科学院信息工程研究所 基于稀疏采样时空数据的目标同行关系分析方法及电子装置
CN112817920A (zh) * 2021-03-03 2021-05-18 深圳市知小兵科技有限公司 分布式大数据的清理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514575A (ja) * 2008-01-25 2011-05-06 イーストマン コダック カンパニー 個人的写真集合からの社会的関係の割出し
JP2012079354A (ja) * 2012-01-26 2012-04-19 Casio Comput Co Ltd 画像表示制御装置、画像表示制御方法及びプログラム
JP2013069024A (ja) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd 画像検索プログラム及び画像検索装置
JP2014194810A (ja) * 2009-08-07 2014-10-09 Google Inc ソーシャルネットワークの支援による顔認識

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1755268A1 (ru) * 1989-01-06 1992-08-15 Рижское Высшее Военно-Политическое Краснознаменное Училище Им.Бирюзова С.С. Анализатор изображений
JP2004227158A (ja) * 2003-01-21 2004-08-12 Omron Corp 情報提供装置および情報提供方法
US8041082B1 (en) 2007-11-02 2011-10-18 Google Inc. Inferring the gender of a face in an image
CN104866553A (zh) 2007-12-31 2015-08-26 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
JP5080524B2 (ja) 2008-03-26 2012-11-21 富士フイルム株式会社 画像シェアリング用保存装置、画像シェアリングおよび方法
US9087059B2 (en) 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
CN102043820A (zh) * 2009-10-26 2011-05-04 鸿富锦精密工业(深圳)有限公司 人脉关系分析系统及方法
KR101138822B1 (ko) 2009-11-19 2012-05-10 한국과학기술원 디지털 사진들에 첨부된 인물들의 이름들을 관리하는 방법 및 시스템
US8805079B2 (en) 2009-12-02 2014-08-12 Google Inc. Identifying matching canonical documents in response to a visual query and in accordance with geographic information
US8462224B2 (en) * 2010-06-01 2013-06-11 Hewlett-Packard Development Company, L.P. Image retrieval
US8929615B2 (en) * 2011-11-03 2015-01-06 Facebook, Inc. Feature-extraction-based image scoring
CN103399896B (zh) * 2013-07-19 2019-08-23 广州华多网络科技有限公司 识别用户间关联关系的方法及系统
US20150032535A1 (en) * 2013-07-25 2015-01-29 Yahoo! Inc. System and method for content based social recommendations and monetization thereof
KR101479260B1 (ko) * 2013-09-10 2015-01-09 부산대학교 산학협력단 사진 기반 인물 친밀도 검색 방법
US9420442B2 (en) * 2014-10-06 2016-08-16 Facebook, Inc. Ping compensation factor for location updates
CN104299001B (zh) * 2014-10-11 2018-08-07 小米科技有限责任公司 生成影集的方法及装置
CN104408402B (zh) * 2014-10-29 2018-04-24 小米科技有限责任公司 人脸识别方法及装置
CN104715007A (zh) * 2014-12-26 2015-06-17 小米科技有限责任公司 用户标识方法及装置
CN105069083B (zh) * 2015-07-31 2019-03-08 小米科技有限责任公司 关联用户的确定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514575A (ja) * 2008-01-25 2011-05-06 イーストマン コダック カンパニー 個人的写真集合からの社会的関係の割出し
JP2014194810A (ja) * 2009-08-07 2014-10-09 Google Inc ソーシャルネットワークの支援による顔認識
JP2013069024A (ja) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd 画像検索プログラム及び画像検索装置
JP2012079354A (ja) * 2012-01-26 2012-04-19 Casio Comput Co Ltd 画像表示制御装置、画像表示制御方法及びプログラム

Also Published As

Publication number Publication date
KR101771153B1 (ko) 2017-08-24
CN105069083A (zh) 2015-11-18
RU2664003C2 (ru) 2018-08-14
CN105069083B (zh) 2019-03-08
US9892314B2 (en) 2018-02-13
RU2016119495A (ru) 2017-11-23
MX361672B (es) 2018-12-13
EP3125188A1 (en) 2017-02-01
JP6263263B2 (ja) 2018-01-17
MX2016006745A (es) 2017-06-28
KR20170023768A (ko) 2017-03-06
WO2017020476A1 (zh) 2017-02-09
US20170032180A1 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6263263B2 (ja) 関連ユーザー確定方法および装置
EP3079082B1 (en) Method and apparatus for album display
KR101680714B1 (ko) 실시간 동영상 제공 방법, 장치, 서버, 단말기기, 프로그램 및 기록매체
JP6401865B2 (ja) 写真共有方法、装置、プログラム及び記録媒体
WO2017084182A1 (zh) 图片处理方法及装置
US10534972B2 (en) Image processing method, device and medium
CN106792004B (zh) 内容项目推送方法、装置及系统
JP6474393B2 (ja) 顔アルバムに基づく音楽再生方法、装置および端末デバイス
JP2018506755A (ja) 画像処理方法、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN105631403A (zh) 人脸识别方法及装置
US10230891B2 (en) Method, device and medium of photography prompts
CN105335714A (zh) 照片处理方法、装置和设备
CN108848303A (zh) 拍摄提示方法及装置
CN105426904A (zh) 照片处理方法、装置和设备
CN112396675A (zh) 图像处理方法、装置及存储介质
CN107239490B (zh) 一种命名人脸图像的方法、装置及计算机可读存储介质
CN109145151B (zh) 一种视频的情感分类获取方法及装置
CN112825544A (zh) 图片处理方法、装置及存储介质
WO2021237744A1 (zh) 拍摄方法及装置
CN105808668A (zh) 信息的输出方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171215

R150 Certificate of patent or registration of utility model

Ref document number: 6263263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250