JP2021520015A - 画像処理方法、装置、端末機器、サーバおよびシステム - Google Patents

画像処理方法、装置、端末機器、サーバおよびシステム Download PDF

Info

Publication number
JP2021520015A
JP2021520015A JP2021508057A JP2021508057A JP2021520015A JP 2021520015 A JP2021520015 A JP 2021520015A JP 2021508057 A JP2021508057 A JP 2021508057A JP 2021508057 A JP2021508057 A JP 2021508057A JP 2021520015 A JP2021520015 A JP 2021520015A
Authority
JP
Japan
Prior art keywords
human body
image
face
information
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021508057A
Other languages
English (en)
Inventor
▲呉▼春▲虎▼
▲陳▼前
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Publication of JP2021520015A publication Critical patent/JP2021520015A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本出願の実施例は、画像処理方法、装置、端末機器、サーバおよびシステムを提供し、当該方法は、第1画像を処理して、前記第1画像内の第1顔を取得することと、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することと、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することとを含む。前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。【選択図】図2

Description

本願は、2018年09月10日に中国特許局に提出された、出願番号がCN201811051583.5である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本出願の実施例は、コンピュータ技術に関し、特に、画像処理方法、装置、端末機器、サーバおよびシステムに関する。
実際のニーズに応じて、いくつかの企業や組織は、訪問回数の統計、人物の身元の識別および人物の特徴の分析などに使用されるための、公衆場所での人の流れに対する追跡および識別を必要とする場合がある。
関連技術では、顔追跡の方式により追跡および識別を実行し、カメラによってキャプチャされた画面内の顔に対して特徴マッチング分析を実行することにより、顔情報を識別する。しかしながら、関連技術の方法を使用して取得された追跡識別結果の正確度は高くない。
本出願の実施例は、画像処理の技術的解決策を提供する。
第1態様によれば、画像処理方法を提供し、前記方法は、第1画像を処理して、前記第1画像内の第1顔を取得することと、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することと、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することとを含む。
いくつかの実施例において、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定することをさらに含む。
いくつかの実施例において、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することを含む。
いくつかの実施例において、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも1つを含む。
いくつかの実施例において、前記方法は、前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む。
いくつかの実施例において、前記第1人物識別要求メッセージは、前記第1顔の追跡識別子情報または第1顔の検出フレーム識別子情報をさらに含む。
いくつかの実施例において、前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む。
いくつかの実施例において、前記決定された結果、即ち、前記第1顔とマッチングする人体が存在するかどうかに基づいて、前記人体の画像情報に基づいて前記第1顔に対して人物識別を実行するかどうかを決定する。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人物識別要求メッセージが第1顔の画像情報を含むかどうかを決定する。
いくつかの実施例において、前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、ここで、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む。
いくつかの実施例において、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信する前に、前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む。
いくつかの実施例において、前記決定された結果に従って、前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む。
いくつかの実施例において、前記第1画像の少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することは、前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含むことと、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することと、前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することとを含む。
いくつかの実施例において、前記少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であることと、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定することとを含む。
いくつかの実施例において、前記目標対象は、耳および顔のうちの少なくとも1つを含む。
いくつかの実施例において、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することは、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することとを含む。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することは、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得することであって、前記人体追跡結果は、前記ビデオシーケンスのうちの少なくとも1つの画像の人体追跡情報を含むことと、前記ビデオシーケンスの少なくとも一部の画像の顔追跡結果に、前記第1画像のフレーム番号に対応する人体追跡情報に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することとを含む。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索することとをさらに含む。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む。
いくつかの実施例において、前記方法は、前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む。
いくつかの実施例において、前記方法は、前記人体追跡結果に、前記第1画像のフレーム番号に対応する人体追跡情報が存在しないことに応答して、前記第1画像に対して人体検出を実行することにより取得された少なくとも1つの人体から、前記第1顔とマッチングする人体が存在するかどうかを決定することをさらに含む。
いくつかの実施例において、前記第1画像を処理して、前記第1画像内の第1顔を取得することは、前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得することを含む。
いくつかの実施例において、前記方法は、前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得することと、第2人物識別要求メッセージを前記サーバに送信することであって、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含むこととをさらに含む。
いくつかの実施例において、前記第1画像を処理して、前記第1画像内の第1顔を取得する前に、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することをさらに含む。
いくつかの実施例において、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することを含む。
第2態様によれば、画像処理方法を提供し、前記方法は、第1端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第1人体の画像情報を含むことと、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む。
いくつかの実施例において、前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、ここで、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む。
いくつかの実施例において、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することと、前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶することとを含む。
いくつかの実施例において、前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することは、前記第1人体の画像から第1顔の画像を取得することを含む。
いくつかの実施例において、前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得することと、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む。
いくつかの実施例において、前記方法は、前記新しく追加された人物識別子情報および前記第1顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するをさらに含む。
いくつかの実施例において、前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む。
いくつかの実施例において、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することと、前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む。
いくつかの実施例において、前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することは、前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得することと、人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶することと、前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することとを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに属する人物の人体識別子情報を前記第1人体の人体識別子情報として決定することを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第1人体の人体識別子情報として決定することを含む。
いくつかの実施例において、前記方法は、前記新しく追加された人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む。
いくつかの実施例において、前記方法は、前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む。
いくつかの実施例において、前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む。
いくつかの実施例において、前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用されることと、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む。
いくつかの実施例において、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む。
いくつかの実施例において、前記方法は、前記第1人体が属する人物の人物識別子情報を第2端末機器に送信することをさらに含む。
いくつかの実施例において、前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される。
第3態様によれば、画像処理装置を提供し、前記装置は、第1画像を処理して、前記第1画像内の第1顔を取得するように構成される取得モジュールと、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される第1決定モジュールと、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える。
第4態様によれば、画像処理装置を提供し、前記装置は、第1端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第1人体の画像情報を含む受信モジュールと、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える。
第5態様によれば、端末機器を提供し、前記機器は、プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、上述の第1態様に記載の方法のステップを実行するように構成されるプロセッサとを備える。
第6態様によれば、サーバを提供し、前記サーバは、プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、上述の第2態様に記載の方法のステップを実行するように構成されるプロセッサとを備える。
第7態様によれば、画像処理システムを提供し、上述の第5態様に記載の端末機器および上述の第6態様に記載のサーバを含む。
第8態様によれば、読み取り可能な記憶媒体を提供し、前記読み取り可能な記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、上述の第1態様または第2態様に記載の方法を実行するために使用される。
本出願の実施例で提供される技術的解決策では、画像内の第1顔を取得することにより、画像に対応する少なくとも1つの人体のうち、第1顔とマッチングする人体が存在するかどうかを決定し、決定された結果に基づいて、人物識別要求メッセージをサーバに送信し、それにより、人物識別の正確度を向上させるのに有益である。
本出願または先行技術の技術的解決策をより明確に説明するために、実施例または先行技術の説明で使用される図面を以下に簡単に紹介する。明らかなこととして、以下に説明される図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、創造的な努力なしにこれらの図面に従って他の図面を得ることができる。
本出願の実施例のシステムアーキテクチャの概略図である。 本出願の実施例によって提供された画像処理方法の例示的なフローチャートである。 本出願の実施例によって提供された画像処理方法の別の例示的なフローチャートである。 本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。 本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。 本出願の実施例によって提供された画像処理方法のさらに別の例示的なフローチャートである。 本出願の実施例によって提供された画像処理装置のモジュールの構造図である。 本出願の実施例によって提供された画像処理装置の別のモジュールの構造図である。 本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された別の画像処理装置のさらに別のモジュールの構造図である。 本出願の実施例によって提供された端末機器の例示的なブロック図である。 本出願の実施例によって提供されたサーバの例示的なブロック図である。 本出願の実施例によって提供された画像処理システムのアーキテクチャの概略図である。
本出願の目的、技術的解決策および利点をより明確にするために、以下、本出願の実施例における図面を参照して、本出願の実施例における技術的解決策を明確且つ完全に説明するが、説明された実施例は、本出願の実施例の一部であり、全ての実施例ではないことは明らかである。本出願の実施例に基づき、当業者が創造性のある労働を必要とせずに得られる他の実施例の全ては、本願の保護範囲に含まれるべきである。
関連技術では、主に、顔情報に基づいて人物の追跡識別を実行するが、実際の環境では、顔追跡識別は、オクルージョンや撮影角度などの問題により、検出漏れや検出品質の低下の結果を招く場合があり、したがって、取得された追跡識別結果の正確度は高くない。本出願の実施例は、上述の問題に基づき、画像処理方法を提案し、クライアントは、顔および人体をマッチングすることにより、且つマッチング結果に従って、人物識別要求メッセージをサーバに送信する。顔および人体を同時にマッチングするため、追跡識別結果の正確度を大幅に向上させることができる同時に、マッチング結果をサーバに送信した後に、サーバが当該マッチング結果に従って正確な顧客データ分析を実行するようにすることもできる。
本出願の実施例で提供される方法は、人物の追跡識別を実行する必要がある様々なシナリオに適用されることができる。例えば、スーパーマーケットや小売店などのシナリオでは、スーパーマーケットまたは小売店の経営者は、スーパーマーケットまたは小売店内の客の流れを追跡および識別して、客の流れの統計、顧客識別、顧客の訪問回数などの情報を取得するため、これらの情報を企業管理の重要な参照情報として使用する。さらに例えば、交差点や鉄道駅などの公衆場所のモニタリングシナリオでは、これらのシナリオにおいて個人追跡識別を実行することにより、いくつかの特定人物の身元情報などを決定することができる。
本出願の以下の実施例では、小売店のシナリオを例として本出願の実施例の技術案を説明するが、本出願の実施例はこれらに限定されないことは明らかである。
図1は、本出願の実施例のシステムアーキテクチャの概略図であり、図1に示されたように、当該アーキテクチャは、第1端末機器11、サーバ12および第2端末機器13を含む。小売店のシナリオでは、当該第1端末機器にはクライアントが実行され、当該第1端末機器は小売店内に展開され、且つ小売店内に配置されたカメラに接続され、カメラによって撮影されたビデオ画像を取得して、追跡、マッチングなど処理を実行する。当該第1端末機器のクライアントはサーバに接続され、サーバは、第1端末機器のクライアントからデータを受信した後に識別処理を実行して、処理結果を第2端末機器のクライアントに送信する。当該第2端末機器のクライアントは、小売店の経営者の管理システムなどであってもよく、当該第2端末機器のクライアントは、サーバによって送信された情報を分析することにより、前記客の流れの統計、顧客識別、顧客の訪問回数などの情報を取得することができる。
本出願の以下の実施例は、それぞれ前記クライアントおよびサーバの角度から本出願の実施例の技術案を説明する。以下、先ず、クライアントの処理プロセスを説明する。図2に示されたように、本出願の実施例で提供される画像処理方法において、当該方法の実行主体は前記クライアントであってもよく、または他の端末機器であってもよいが、本出願の実施例はこれらに限定されない。理解を容易にするために、以下、クライアントが実行する方法を例として説明する。図2に示された方法は、次のステップを含む。
ステップS201において、第1画像を処理して、当該第1画像内の第1顔を取得する。
ここで、当該第1画像は、カメラによってリアルタイムで撮影されたビデオシーケンスのうちの1フレームの画像であり得、または当該第1画像は静的画像であり得、本出願の実施例は、第1画像の具体的な実現に対して限定しない。
いくつかの実施例において、カメラを介してリアルタイムで撮影して、連続するビデオストリームを取得し、カメラは、ビデオストリームをクライアントにリアルタイムでまたは定期的に送信することができる。クライアントは、ビデオストリームをデコーディングして、ビデオシーケンスを取得することができる。当該ビデオシーケンスは、複数のフレームの画像を含む。クライアントは、本出願の実施例の方法を使用して、当該複数のフレームの画像または当該複数のフレームの画像のうちの一部の画像のそれぞれを処理することができる。
いくつかの実施例において、他の方式により、ビデオシーケンスまたは第1画像を取得することもでき、本出願の実施例は、取得する具体的な方式に対して限定しない。いくつかの実施例において、クライアントは、ビデオシーケンスに含まれる複数の画像から第1画像を選択することができる。例えば、クライアントは、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択してもよく、または、クライアントは、プリセットの閾値に基づいてビデオシーケンスから第1画像を選択してもよいが、本出願の実施例は、フレームを選択する具体的な実現に対して限定しない。
いくつかの実施例において、クライアントは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる複数の画像から前記第1画像を選択することができる。例示的に、クライアントは、ビデオシーケンスに含まれるQ(Qは整数であり、例えば、10である)フレームの連続する画像から最も品質の良いフレームを第1画像として選択することができる。例えば、各画像の品質評点を決定し、最も高い品質評点を持つ画像を第1画像として使用することができる。ここで、品質評点は、顔の鮮明度、顔の角度、顔の大きさ、顔検出の信頼度などの1つまたは任意の組み合わせなどの、画像の要素の1つまたは複数に基づいて、画像の品質評点を決定することができ、または他の要素に基づいて、画像の品質評点を決定することもできる。なお、ニューラルネットワークに基づいて画像の品質評点を決定することができ、または他のアルゴリズムに基づいて画像の品質評点を取得することができるなどの、様々な方式により画像の品質評点を取得することができ、本出願の実施例は、品質評点の取得方式および影響因子に対して限定しない。
さらに例えば、クライアントは、ビデオシーケンスから、品質評点がプリセットの閾値に達する画像を第1画像として使用する。ここで、一例において、画像の総合的な品質評点を決定し、総合的な品質評点がプリセットの閾値に達するかどうかに基づいて当該画像を選択するかどうかを決定することができ、または、顔の角度、顔の大きさ、顔の鮮明度のうちの1つまたは任意の複数のそれぞれに閾値を設定するなど、画像の各品質要素の閾値を設定し、各品質要素が、対応する閾値に達するかどうかに基づいて当該画像を選択するかどうかを決定することができる。または、総合的な品質評点および各品質要素のそれぞれに対応する閾値を設定することもでき、本出願の実施例は、それらの具体的な実現に対して限定しない。
例示的な方式として、クライアントは、第1画像に対して顔検出を実行して、第1顔を取得することができ、この場合、クライアントは、第1顔の画像および、第1顔の検出フレーム識別子など、第1顔の識別子情報を取得することができる。または、クライアントは、第1画像内の第1顔を取得するために、第1画像に対して顔追跡を実行することができ、この場合、別の方式として、クライアントは、第1顔の画像および第1顔の追跡識別子情報を取得することができる。
いくつかの実施例において、クライアントは、顔キーポイントに基づいて顔追跡を実行することができ、例えばクライアントは、第1画像の前に位置する第2画像に対して顔検出を実行して、顔画像を取得し、顔画像に対してキーポイント検出を実行して、第2画像におけるキーポイントの位置情報を取得することができ、ここで、第2画像と第1画像との間の間隔は、プリセットされた値より低い可能性がある。その後、クライアントは、第2画像におけるキーポイントの位置情報および、オプティカルフロー情報などの第2画像に対する第1画像の移動情報に基づいて、第1画像におけるキーポイントの予測位置情報を決定し、第1画像におけるキーポイントの予測位置情報に基づいて、第1顔の画像を取得することができる。
いくつかの実施例において、他の方式に基づいて顔追跡を実行することもできる、本出願の実施例は、顔追跡の具体的な実現に対して限定しない。いくつかの実施例において、顔追跡により第1顔を取得した後に、クライアントは、当該第1顔が位置する画像のフレーム識別子を記録することもできる。
ステップS202において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する。
いくつかの実施例において、第1画像に含まれる少なくとも1つの人体のうち、第1顔とマッチングする人体が存在するかどうかを決定することができる。
本出願の実施例において、様々な方式により、第1画像に含まれる少なくとも1つの人体の情報を取得することができる。いくつかの実施例において、第1画像に対して人体検出を実行して、第1画像内の少なくとも1つの人体を取得することができ、この場合、一方式として、各人体の画像、および検出フレーム識別子などの各人体の識別子情報を取得することができる。他のいくつかの可能な実施形態において、第1画像に対して人体追跡を実行して、第1画像内の少なくとも1つの人体を取得することができ、例えば、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得することができ、ここで、当該人体追跡結果は、当該ビデオシーケンスのうちの少なくとも1つの画像の人体追跡情報を含む。この場合、別の方式として、各人体の画像および各人体の追跡識別子情報を取得することができる。さらに別の方式として、各人体において、クライアントは、当該人体が位置する画像のフレーム識別子をさらに記録することもできるが、本出願の実施例はこれらに限定されない。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、当該方法は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索することとをさらに含む。
いくつかの実施例において、ビデオシーケンスの少なくとも一部の画像の人体追跡結果から前記第1顔のフレーム番号に対応する人体追跡情報を検索することができる。ある場合には、人体追跡結果に、前記第1顔のフレーム番号に対応する人体追跡情報が存在すると、第1画像のフレーム番号に対応する人体追跡情報から第1顔とマッチングする人体を検索する。別の場合では、人体追跡結果に、前記第1顔のフレーム番号に対応する人体追跡情報が存在しない場合、第1画像に対して人体検出を実行し、第1画像に対して人体検出を実行して取得した少なくとも1つの人体から第1顔とマッチングする人体が存在するかどうかを決定することができる。別のいくつかの可能な実施形態において、第1画像に対して人体検出を直接に実行し、第1画像に対して人体検出を実行して取得した少なくとも1つの人体から第1顔とマッチングする人体が存在するかどうかを決定することができる。
本出願の実施例は、第1画像の少なくとも1つの人体の取得方式に対して限定しない。
ステップS203において、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信する。
いくつかの実施例において、前記決定された結果は、第1顔とマッチングする人体が存在すること、または、第1顔とマッチングする人体が存在しないことを含む。
いくつかの実施例において、前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む。
異なる決定された結果に対して、クライアントは、異なる第1人物識別要求メッセージをサーバに送信することができ、即ち、異なる決定された結果に対して、第1人物識別要求メッセージに含まれる情報は異なることができる。例えば、決定された結果に基づいて、即ち、第1顔とマッチングする人体が存在するかどうかに基づいて、人体の画像情報に基づいて第1顔に対して人物識別を実行するかどうかを決定することができる。さらに例えば、決定された結果に基づいて、第1人物識別要求メッセージに第1顔の画像情報が含まれるかどうかを決定することができる。
本出願の実施例では、クライアントは、顔と人体をマッチングすることにより、且つ、マッチング結果に従って、人物識別要求メッセージをサーバに送信し、人物識別の正確度を向上させるのに有益である。いくつかの実施例において、ターゲット領域のモニタリングシナリオでは、一般的に、1つまたは複数の位置にカメラを配置するが、光、オクルージョン、顔の角度などの要素により、顔を介して人物識別を実行することができない場合、または人物識別の正確度が比較的に低い場合があるため、本出願の実施例は、第1顔とマッチングする人体が存在するかどうかを決定することにより、且つ、マッチング結果に基づいてサーバによって送信された第1人物識別要求メッセージに第1顔の画像情報が含まれるかどうかを決定することにより、人物識別の正確度を向上させるのに有益である。
上述の実施例の基で、以下、決定された結果に従って第1人物識別要求メッセージをサーバに送信する方法を説明する。以上に記載されたように、前記決定された結果は、第1顔とマッチングする人体が存在すること、または、第1顔とマッチングする人体が存在しないことを含むことができる。これらの2つの場合での処理方式をそれぞれ説明する。
1、第1顔とマッチングする人体が存在する
いくつかの実施例において、第1顔とマッチングする人体が存在する(当該マッチングする人体を第1人体と称する)場合、クライアントは、当該第1人体の画像情報を含む第1人物識別要求メッセージをサーバに送信することができる。
一可能な実現方式において、第1顔とマッチングする人体が存在することに応答して、第1人物識別要求メッセージに第1人体の画像情報を含むことを直接に決定することができる。この場合、一方式として、第1人物識別要求メッセージに第1顔の画像情報をさらに含むことができ、それに対応して、サーバは、当該第1人物識別要求メッセージを受信した後に、第1顔の画像情報および第1人体の画像情報に基づいて人物識別を実行することができる。または、第1人物識別要求メッセージは、第1顔の画像情報を含まないことができ、それに対応して、サーバは、第1人物識別要求メッセージを受信した後に、第1人体の画像情報に基づいて人物識別を実行することができ、本出願の実施例はこれらに限定されない。
別の可能な実現方式において、第1人体の画質を判断することにより、且つ、第1画質に基づいて第1人物識別要求メッセージが第1人体の画像情報を含むかどうかを決定することもできる。一方式として、第1人体の画質が、プリセットされた品質要件を満たすかどうかを判断することにより、第1人物識別要求メッセージに第1人体の画像情報が含まれているかどうかを決定することができる。
ある場合には、第1人体の画質が品質要件を満たすと、サーバに送信される第1タスク識別要件メッセージは、第1人体の画像情報を含む。それに対応して、サーバは、第1人体の画像情報に基づいて人物識別を実行することができる。例えば、サーバは、第1人体の画像から第1顔の画像をキャプチャするなど、第1人体の画像情報から第1顔の画像情報を取得し、第1顔の画像情報に基づいて人物識別を実行することができるが、本出願の実施例はこれらに限定されない。
別の場合では、第1人体の画質が品質要件を満たさない場合、サーバに送信される第1人物識別要求メッセージは第1人体の画像情報を含まず、前記第1顔の画像情報のみを含み、ここで、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される。
このようにして、本出願の実施例の技術的解決策において、人体の画質の良い場合には、人体の画像情報から顔の画像情報を取得することにより人物識別を実行するが、人体の画質の悪い場合には、顔検出または顔追跡により取得された顔の画像情報を使用して人物識別を実行するなど、画像の実際の状況に応じて、人体検出または人体追跡により取得された人体の画像情報または顔検出または顔追跡により取得された顔の画像情報に基づいて人物識別を実行することを決定することができ、それにより、人物識別を実行するときに顔の角度やオクルージョンなどの要素による識別正確度が低いという問題を回避し、人物識別の正確度を向上させる。
ここで、本出願の実施例において、品質要件は、実際の状況に従って設定されることができる。一可能な実現方式において、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの1つまたは任意の組み合わせを含み得る。
一例において、品質要件は、人体の検出フレームの信頼度がプリセットの閾値に達すること、顔の完全性が特定の要件に達すること(例えば、完全な人体を含むなど)、顔の鮮明度が特定の要件に達すること、顔の大きさが特定の要件に達すること、顔の角度が特定の範囲内にあることの組み合わせのうちの少なくとも1つを含み、このようにして、サーバは、人体画像から品質の良い顔画像を取得し、当該顔画像に基づいて人物識別を実行して、人物識別の正確度を向上させることができる。
一方式として、品質要件は、他のタイプのパラメータ要件を含むこともでき、本出願の実施例は、それらの具体的な実現に対して限定しない。本出願の実施例において、上述の任意の手段によりサーバに送信される第1人物識別要求メッセージが第1人体の画像情報を含むことを決定すると、一例において、当該メッセージは、第1顔の画像情報をさらに含むことができ、この場合、サーバは、第1人物識別要求メッセージを受信した後に、メッセージに含まれる第1顔の画像情報または第1人体の画像情報を使用して人物識別を実行すること、または両者を組み合わせて人物識別を実行することを選択することができるが、本出願の実施例は、これらに限定されない。別の例において、当該メッセージは第1顔の画像情報を含まなくてもよく、それに対応して、当該メッセージを送信する前に、前記第1顔の画像情報を前記第1人体の画像情報に切り替えると決定することができ、それにより、第1人物識別要求メッセージに第1人体の画像情報を含むが、第1顔の画像情報を含まない。それに対応して、サーバは、第1人物識別要求メッセージを受信した後に、メッセージに含まれる第1人体の画像情報に基づいて人物識別を実行するが、本出願の実施例はこれらに限定されない。
2、第1顔とマッチングする人体が存在しない
いくつかの実施例において、第1顔とマッチングする人体が存在しないことに応答して、クライアントは、サーバに送信可能な第1人物識別要求メッセージが前記第1顔の画像情報を含む。このようにして、第1顔に対応する第1人物識別要求メッセージは、第1顔の画像情報、第1人体の画像情報、または第1人体の画像および第1顔の画像情報を含み得る。
本出願の実施例において、一可能な実現方式において、第1人体の画像情報は、第1人体の画像を含む。この場合、サーバは、第1人体の画像に基づいて人物識別を実行することができる。例えば、サーバは、第1人体の画像から第1顔の画像を取得し、第1顔の画像および顔テンプレートに基づいて人物識別を実行し、さらに例えば、第1人体の画像、人体テンプレートおよび人物−人体関連ライブラリに基づいて人物識別を実行するなど、本出願の実施例は、サーバが第1人体の画像に基づいて人物識別を実行する具体的な実現に対して限定しない。
別の可能な実現方式において、第1人体の画像情報は、第1人体の画像の特徴情報を含み、ここで、一方式として、第1人体の画像の特徴情報は、人体の特徴情報を含み得、または顔の特徴情報を含み得、または人体の特徴情報および顔の特徴情報を含み得る。ここで、第1人体の画像の人体の特徴情報は、第1人体の画像に対して特徴抽出を実行することにより取得され、第1人体の画像の顔の特徴情報は、第1人体の画像内の顔領域画像に対して特徴抽出を実行することにより取得される。いくつかの実施例において、第1顔の画像情報は、第1顔の画像および/または第1顔の画像の特徴情報を含み、ここで、第1顔の画像の特徴情報は、第1顔の画像に対して特徴抽出を実行することにより取得され、本出願の実施例はこれらに限定されない。一実現方式として、第1人物識別要求メッセージは、第1人体の画像情報および/または第1顔の画像情報を含む以外にも、追跡識別子情報または検出フレーム識別子情報などの第1顔の識別子情報をさらに含み得る。サーバは、これらの情報を取得した後に、これらの情報に従ってより正確な人物の身元識別を実行し、および/または分析処理をさらに実行することができる。
理解を容易にするために、「第1人体の画像情報」という用語は、画像に対して人体検出または人体追跡を実行することにより取得された画像情報を指し、なお、上述の実施例において、「第1顔の画像情報」という用語は、画像に対して顔検出または顔追跡を実行することにより取得された画像情報を指す。以下の実施例において、「第1顔の画像情報」という用語は、メッセージにおける人体の画像情報に基づいて取得された顔の画像情報を指すこともできる。
さらに、「第1人物識別要求メッセージ」という用語は、顔検出または顔追跡により取得された人物を識別することを要求する人物識別要求メッセージを指し、「第2人物識別要求メッセージ」という用語は、人体検出または人体追跡により取得された人物を識別することを要求する人物識別要求メッセージを指すことを理解されたい。なお、クライアントは、第1画像に対して人体検出または人体追跡を実行して、顔検出または顔追跡の結果を取得し、人体検出または人体追跡の結果をサーバに送信することもできる。
一例において、クライアントは、第1画像に対して人体追跡または人体検出を実行して、第1画像内の第2人体を取得し、第2人物識別要求メッセージをサーバに送信することができ、当該第2人物識別要求メッセージは第2人体の画像情報および第2人体の識別子情報を含み、ここで、第2人体の画像情報は、第2人体の画像および/または第2人体の画像の人体の特徴情報を含み得、本出願の実施例は、これらに対して限定しない。サーバは、第2人物識別要求メッセージを受信した後に、第2人体の画像情報に基づいて人物識別を実行することができる。
図3は、本出願の実施例によって提供された画像処理方法の別の例示的なフローチャートである。
ステップS301において、第1画像内の少なくとも1つの顔および少なくとも1つの人体に従って、N(Nは、1より大きいか等しい整数である)個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、ここで、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は、前記第1顔を含む。
いくつかの実施例において、第1画像に対して顔検出または顔追跡を実行することにより少なくとも1つの顔を取得することができ、第1画像に対して人体検出または人体追跡を実行することにより少なくとも1つの人体を取得することができる。
少なくとも1つの第1顔および少なくとも1つの第1人体を取得した後に、少なくとも1つの人体および少なくとも1つの顔のうちの任意の顔−人体の組み合わせを候補ペアとして使用して、N個の候補ペアを取得することができ、即ち、
Figure 2021520015
であり、ここで、n1およびn2は、それぞれ、少なくとも1つの顔の数および少なくとも1つの人体の数であり、または、少なくとも1つの人体および少なくとも1つの顔のうちの一部の顔−人体の組み合わせを候補ペアとして使用して、N個の候補ペアを取得することができ、本出願の実施例は、N個の候補ペアの具体的な実現に対して限定しない。
一方式では、前記少なくとも1つの顔および前記少なくとも1つの人体を取得した後に、各顔の基で、前記顔と、少なくとも1つの人体のうちの一部または各人体または一部の人体の候補ペアを確立することができる。別の方式では、前記少なくとも1つの顔および前記少なくとも1つの人体を取得した後に、各人体の基で、前記人体と、少なくとも1つの顔のうちの各顔または一部の顔の候補ペアを確立することができる。
いくつかの実施例において、候補ペアのマッチング確率情報は、候補ペアに含まれる顔と人体のマッチング度を識別するために使用される。一例において、マッチング確率情報は、マッチング確率を含み得、候補ペアのマッチング確率が大きいほど、候補ペアに含まれる顔と人体のマッチング度が高くなることを表す。別の例において、マッチング確率情報は、マッチング重みを含み得、候補ペアのマッチング重みが小さいほど、候補ペアに含まれる顔と人体のマッチング度が高くなることを表し、本出願の実施例は、これに対して限定しない。
本出願の実施例において、様々な方式によりN個の候補ペアにおける各候補ペアのマッチング確率情報を取得することができ、一例において、機械学習または他の方法に基づくマッチングアルゴリズムを介して、N個の候補ペアにおける各候補ペアのマッチング確率情報を取得する。例えば、候補ペア中に含まれる顔および人体の画像情報をニューラルネットワークに入力して処理することにより、当該候補ペアのマッチング確率情報を出力することができるが、本出願の実施例は、候補ペアのマッチング確率情報を取得する具体的な実現に対して限定しない。
ステップS302において、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔および前記少なくとも1つの人体のターゲットマッチング結果を決定する。
いくつかの実施例において、N個の候補ペアにおける各候補ペアのマッチング確率情報に基づいて、少なくとも1つの人体と少なくとも1つの顔のうち、マッチングする各顔−人体ペアを決定することができる。例えば、当該ターゲットマッチング結果は、マッチングするn1個の顔−人体ペアを含み得、この場合、n1個の顔のうちの各顔には、当該顔とマッチングする人体がそれぞれ存在する、ここで、n1はn2より小さい場合あり、この場合、n2個の人体のうちの一部の人体には、当該人体とマッチングする顔が存在せず、または、n1がn2と等しい場合、n1個の顔およびn2個の人体は一対一でマッチングする。さらに例えば、当該ターゲットマッチング結果は、マッチングするn2個の顔−人体ペアを含み得、さらに、n2はn1より小さく、この場合、n2個の体のうちの各人体には、当該人体とマッチングする顔がそれぞれ存在するが、n1個の顔のうちの一部の顔には当該顔とマッチングする人体が存在しない。さらに例えば、当該ターゲットマッチング結果は、マッチングするn3個の顔−人体ペアを含み得、ここで、n3はn1およびn2より小さく、この場合、n1個の顔のうちの一部の顔とn2個の人体のうちの一部の人体のマッチングを実現し、本出願の実施例は、ターゲットマッチング結果の具体的な実現に対して限定しない。
ステップS303において、前記ターゲットマッチング結果に基づいて、前記第1画像内の少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する。
いくつかの実施例において、当該少なくとも1つの顔と少なくとも1つの人体のターゲットマッチング結果は、少なくとも1つのマッチングする人体と顔のペア(即ち、少なくとも1つのマッチングする顔−人体ペア)を含む。対応的に、第1顔とマッチングする人体が存在するかどうかを決定するために、前記ターゲットマッチング結果において第1顔を検索することができる。いくつかの実施例において、第1顔とマッチングする人体が存在すると、第1顔とマッチングする人体の情報をさらに取得することができる。
一方式では、以下の方式により、N個の候補ペアにおける第1候補ペアのマッチング確率情報を決定することができ、ここで、当該第1候補ペアは、N個の候補ペアにおける任意の候補ペアであってもよく、第1候補ペアは、第2顔および第2人体を含む。第1候補ペアに含まれる第2人体および当該第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、ここで、前記目標対象は人体の一部を含む。その後、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定する。
いくつかの実施例において、前記目標対象は、耳、顔、または目や鼻体などの顔の特定の器官などの人体の一部であってもよく、または人体の他の部分であってもよく、本出願の実施例は、目標対象の具体的な実現に対して限定しない。一可能な実現方式において、第2人体および第2顔のうちの1つに基づいて目標対象の推定位置情報を決定することができ、別の1つに基づいて目標対象の実際の位置情報を決定することができる。このようにして、目標対象の推定位置情報および実際の位置情報に基づいて、例えば、目標対象の推定位置情報と実際の位置情報を比較することにより、または目標対象の推定位置情報に対応する世推定位置と、実際の位置情報に対応する実際の位置との間の距離を決定することにより、第1候補ペアにおける第2顔と第2人体のマッチング度を決定することができるが、本出願の実施例はこれらに限定されない。
本出願の実施例において、目標対象の実際の位置情報および推定位置情報の決定は、同時に実行されてもよく、任意の順序で実行されてもよく、本出願の実施例はこれらに限定されない。一例において、前記目標対象が耳である場合、第2人体および第2顔に基づいて、耳の推定位置および実際の位置を取得することができるため、距離などの、推定位置と実際の位置との差に従って、第2人体と第2顔のマッチング確率情報を決定することができる。
以下、第2人体および第2顔に基づいて耳の推定位置および実際の位置を得る一例を詳細に説明する。いくつかの実施例において、ステップS301において、前記第2人体に基づいて、耳の実際の位置情報を決定し、前記第2顔に基づいて、耳の推定位置情報を決定する。本出願の実施例において、様々な方式により第2人体に基づいて耳の実際の位置情報を決定することができる。一例において、クライアントによって取得された第2人体は第2人体の画像を含み、この場合、第2人体の画像に対してキーポイント検出を実行して、耳キーポイントの位置情報を取得することができ、ここで、前記耳の実際の位置情報は、耳キーポイントの位置情報を含む。別の例において、クライアントによって取得された第2人体は、第2人体の位置情報を含み、この場合、前記第2人体の位置情報に基づいて、前記第1画像から前記第2人体の画像を取得し、第2人体の画像に対してキーポイント検出を実行して、耳キーポイントの位置情報を取得することができ、または、クライアントは、他の方式により、耳の実際の位置情報を決定することもでき、本出願の実施例はこれらに限定されない。
いくつかの実施例において、前記耳キーポイントの位置情報は、少なくとも1つの耳のキーポイントの位置情報を含み得、即ち、左耳キーポイントの位置情報および/または右耳キーポイントの位置情報を含み得、本出願の実施例はこれらに限定されない。いくつかの実施例において、ニューラルネットワークを介して第2人体の画像に対してキーポイントの検出を実行することができる。例えば、事前にトレーニングされたキーポイント検出モデルを介して、前記第2人体の画像を当該キーポイント検出モデルに入力することができ、当該キーポイント検出モデルは、前記第2人体における耳キーポイント情報を出力することができる。または、他のキーポイント検出アルゴリズムを介して、第2人体の画像のキーポイント情報を取得することもでき、本出願の実施例は、これらに限定されない。本出願の実施例において、クライアントは、様々な方式により前記第2顔に基づいて耳の推定位置情報を決定することができる。一方式として、第2顔の顔限定フレームの位置情報または第2顔の位置情報に基づいて、耳の推定位置情報を決定する。一可能な実現方式において、前記第2顔の中心点位置および前記第2顔のサイズ情報に基づいて、耳の推定位置情報を決定することができる。
いくつかの実施例において、前記第2顔のサイズ情報は、第2顔の高さと幅を含み得る。
別の可能な実施形態において、第2顔の顔限定フレームの複数の頂点の位置情報に基づいて、耳の推定位置情報を決定することができる。いくつかの実施例において、先ず、第2顔の顔限定フレームを取得し、当該顔限定フレームの情報に基づいて、顔の高さおよび幅を取得することができる。例えば、第1画像の少なくとも一部のに対して顔検出または顔追跡を実行することにより、第2顔の顔限定フレームを取得し、当該顔限定フレームの情報は、画像における複数の頂点の座標を含み、または中心点の位置および顔限定フレームの幅と高さを含むなど、当該顔限定フレームの位置情報を含み得る。一例において、顔の高さが顔限定フレームの高さと等しい可能性があり、顔の幅が顔限定フレームの幅と等しい可能性があるが、本出願の実施例はこれらに限定されない。
一可能な実現方式において、ガウス分布モデルを介して前記耳の推定位置情報を決定することができ、ここで、当該耳の推定位置情報は、推定の左耳位置および/または推定の右耳位置を含み得る。
例えば、耳の推定位置は式(1)で取得される。
Figure 2021520015
ここで、
Figure 2021520015
は、耳の推定位置パラメータであり、手動で設定されまたはトレーニングにより取得さえることができ、
Figure 2021520015
は、第2顔の中心点位置であり、
Figure 2021520015
は、第2顔の幅であり、
Figure 2021520015
は第2顔の高さである。
別の可能な実施形態において、ニューラルネットワークを介して耳の推定位置情報を決定することができる。この場合、第2顔の画像をニューラルネットワークに入力して処理することにより、耳の推定位置情報を取得することができるが、本出願の実施例は、これらに限定されない。
クライアントは、耳の推定位置情報および実際の位置情報を決定した後に、前記耳の推定位置情報および前記耳の実際の位置情報に基づいて第1候補ペアの第1マッチング確率情報を決定する。
いくつかの実施例において、前記耳の実際の位置情報に対応する位置と、前記耳の推定位置情報に対応する位置の距離を計算し、当該距離および前記ガウス分布モデルにおけるモデルパラメータに従って確率密度を取得することができ、当該確率密度は、第1候補ペアのマッチング確率として使用されることができ、または、当該確率密度を介して、第1候補ペアのマッチング確率を決定することができ、本出願の実施例はこれらに限定されない。
別の例において、前記目標対象は顔である。この場合、一方式として、第2人体に基づいて、第2顔の推定位置情報を決定し、第2顔の推定位置情報および第2顔の実際の位置情報に基づいて、第1候補ペアのマッチング確率情報を決定することができる。いくつかの実施例において、前記第2人体の限定フレーム情報に基づいて、前記第2顔の中心点の推定位置情報を決定することができる。さらに、前記第2顔の位置情報に基づいて、前記第2顔の中心点の実際の位置情報を決定する。その後、第2顔の中心点の推定位置情報および第2顔の中心点の実際の位置情報に基づいて、第1候補ペアのマッチング確率情報を決定することができる。
第2顔の位置情報に基づいて第2顔の中心点の実際の位置情報を決定するプロセスは、上記した実施例の説明を参照することができ、ここでは繰り返して説明しない。クライアントは、様々な方式により、第2人体の位置情報(即ち、人体限定フレームの位置情報)に従って、第2顔の中心点の推定位置情報を決定することができる。一方式として、クライアントは、前記人体限定フレームの位置情報に従って、人体限定フレームの頂点座標、人体の高さおよび人体の幅のうちの少なくとも1つを決定することができる。さらに、前記頂点座標、人体の高さおよび人体の幅のうちの少なくとも1つに従って、第2顔の中心点の推定位置情報を決定する。
一例において、ガウス分布モデルを介して第2顔の中心点の推定位置を決定することができる。
例えば、第2顔の中心点の推定位置は式(2)で取得される。
Figure 2021520015
ここで、
Figure 2021520015
は人体限定フレームの頂点座標であり、
Figure 2021520015
および
Figure 2021520015
は第2顔の中心点の推定位置パラメータであり、プリセットされまたはトレーニングにより取得されることができ、
Figure 2021520015
は人体の幅であり、
Figure 2021520015
は人体の高さである。
別の例において、検出された顔の検出フレームの位置情報に基づいて第2顔の中心点の推定位置情報を決定するなど、第2人体の画像に対して顔検出を実行することにより、且つ検出結果に基づいて、第2顔の中心点の推定位置情報を決定することができる。
別の例において、ニューラルネットワークを介して第2顔の中心点の推定位置情報を決定することができる。この場合、第2人体の画像をニューラルネットワークに入力して処理することにより、第2顔の中心点の推定位置情報を取得することができるが、本出願の実施例は、これらに限定されない。
第2顔の中心点の推定位置情報および実際の位置情報を取得した後に、それらに基づいて、第1候補ペアのマッチング確率情報を決定することができる。
いくつかの実施例において、前記第1顔の中心点の推定位置および前記第1顔の中心点の実際の位置に従って二次元ガウス関数を確立することができ、それにより、確率密度を取得し、当該確率密度を第1候補ペアのマッチング確率として使用し、または、当該確率密度を介して、第1候補ペアのマッチング確率を決定することができ、本出願の実施例は、これらに限定されない。
ステップS302において、前記少なくとも1つの顔および前記少なくとも1つの人体のターゲットマッチング結果を決定する一方式は、次の通りである。前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、ここで、当該候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、当該m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定する。
いくつかの実施例において、前記候補マッチング結果はm個の候補ペアのセットであり、当該セット内の候補ペアは重複せず、即ち、候補マッチング結果に含まれるm個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なる。即ち、候補マッチング結果は、N個の候補ペアのうち、マッチングすると仮定したm個の顔−人体ペアのセットである。
いくつかの実施例において、前記mは、前記少なくとも1つの人体または前記少なくとも1つの顔の数と等しい可能性がある。または、N個の候補ペアにおける各候補ペアのマッチング確率情報に基づいて、N個の候補ペアに対してフィルタリング処理を実行して、M個の候補ペアを取得し、M個の候補ペアに基づいて少なくとも1つの候補マッチング結果を取得することができ、この場合、mは、少なくとも1つの人体の数より小さく且つ少なくとも1つの顔の数より小さいが、本出願の実施例は、これらに限定されない。
一可能な実現方式において、候補マッチング結果のマッチング確率情報を決定した後に、候補マッチング結果に含まれるm個の候補ペアのマッチング確率の和を当該候補マッチング結果のマッチング確率情報に対応するマッチング確率として使用することができる。
例示的に、特定の候補マッチング結果には3個の候補ペアが含まれ、各候補ペアは1つのマッチング確率をそれぞれ有し、それぞれは、確率1、確率2および確率3であり、当該候補マッチング結果のマッチング確率は、当該率1、当該率2および確率3の和である。
別の可能な実施形態において、m個の候補ペアの加重マッチング確率の和を当該候補マッチング結果のマッチング確率として使用することができる。または、他の方式によりm個の候補ペアのマッチング確率を処理して、候補マッチング結果のマッチング確率を取得することもでき、例えば、候補マッチング結果のマッチング確率は、m個の候補ペアのマッチング確率の平均値、最大値または最小値と等しく、本出願の実施例は、これらに限定されない。
少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を取得した後に、各候補マッチング結果のマッチング確率情報に基づいて、少なくとも1つの候補マッチング結果からターゲットマッチング結果を決定することができる。一方式として、前記少なくとも1つの候補マッチング結果に、マッチング確率情報に対応する最も大きいマッチング確率候補マッチング結果を前記ターゲットマッチング結果として使用することができる。または、閾値をプリセットする方式により、少なくとも1つの候補マッチング結果からターゲットマッチング結果を決定することができ、本出願の実施例は、これらに限定されない。
図3に示された例において、特に、第1画像内の顔の少なくとも過半数を分析して処理する必要がある場合に、先ず、第1画像内の少なくとも1つの顔および少なくとも1つの人体の全体的なマッチング状況を決定し、その後、全体的なマッチング状況に応じて少なくとも1つの顔における第1顔の人体マッチング状況を決定し、第1画像内の全ての顔と人体のマッチング結果を一度に取得することができ、画像処理効率を向上させることができる。
他のいくつかの可能な実施形態において、第1顔と第1画像の少なくとも1つの人体における各人体のマッチング確率情報に応じて、少なくとも1つの人体から第1顔とマッチングする人体を決定することができるが、本出願の実施例は、これらに限定されない。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索することとをさらに含む。
いくつかの実施例において、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、前記方法は、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む。
いくつかの実施例において、前記方法は、前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む。
本出願の実施例で提供される別の画像処理方法は、図4に示し、当該方法の実行主体は、サーバまたは人物識別を実行可能な他の機器であり、理解を容易にするために、以下では、当該方法をサーバによって実行することを例として説明するが、本出願の実施例は、これらに限定されない。
ステップS401において、第1端末機器によって送信された人物識別要求メッセージを受信し、当該人物識別要求メッセージは第1人体の画像情報を含む。
一可能な実現方式において、当該第1端末機器は、上述の図1の端末機器であってもよいが、本出願の実施例は、これに限定されない。
いくつかの実施例において、人物識別要求メッセージは、上記した実施例の顔検出または顔追跡に基づいて取得された第1人物識別要求メッセージであり得、または上記した実施例の人体検出または人体追跡に基づいて取得された第2人物識別要求メッセージであり得、本出願の実施例は、これらに限定されない。
ステップS402において、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定する。
サーバは、人物識別要求メッセージに含まれる第1人体の画像情報に基づいて、人物識別子情報を決定する。ここで、サーバが人物識別を実行するプロセスにおいて、顔テンプレートデータベース、人体テンプレートデータベースおよび関連データベースの3つのデータベースのうちの1つまたは複数に関する可能性がある。
ここで、顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶するために使用され、顔テンプレートは、顔画像または顔の特徴情報を含み得、人物識別子(person−id)など、属する人物の人物識別子情報を有し、当該人物識別子は、個人を一意に識別することができる。人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶するために使用され、人体テンプレートは、人体画像または人体の特徴情報を含み得、人体識別子(body−idまたはRe−Id)など、属する人物の人物識別子情報を有し、当該人体識別子は、人体を一意に識別することができる。
関連データベースは、顔に基づく第1人物識別子情報(例えば、人物識別子など)と人体に基づく第2人物識別子情報(例えば、人体識別子など)との間の対応関係を記憶するために使用され、または、人体に基づく第2人物識別子情報を人体識別子情報と称し、この場合、関連データベースは、人物識別子情報と人体識別子情報との間の対応関係を記憶するために使用される。例えば、関連データベースは、複数の記録を含むことができ、各記録は、1つの人体識別子および、当該人体識別子並びに対応する人物識別子を含む。
なお、顔テンプレート、人体テンプレートおよび関連データベースのうちの任意の1つまたは複数は、手動で入力された顔画像に対して特徴抽出を実行することにより取得されるか、人物識別プロセス中に動的に更新されるなど、手動で入力するか、手動入力情報に基づいて取得されるものであり得、本出願の実施例は、これらに限定されない。
以下、人物識別要求メッセージの異なる内容の場合のステップS402の具体的な実現を詳細に説明する。
本出願の実施例で提供される別の画像処理方法は、図5に示し、ここで、当該例において、サーバによって受信された人物識別要求メッセージが第1人物識別要求メッセージであると仮定する。この場合、サーバは、ステップS501およびステップS502を通じて、顔に基づく人物識別を実行することにより、または、ステップS503を通じて人体に基づく人物識別を実行することにより、または顔に基づく人物識別および人体に基づく人物識別を組み合わせて、最後的な人物識別結果を取得することができる。
ステップS501において、前記第1人体の画像情報に基づいて、前記第1人体の第1顔の画像情報を取得する。
いくつかの実施例において、前記第1人体の画像情報は第1人体の画像を含む。この場合、サーバは、第1人体の画像から第1顔の画像を取得することができる。一例において、サーバは、第1人体の画像に対して顔検出を実行して、第1顔の画像を取得することができる。または、サーバは、第1顔の位置情報を取得し、第1顔の位置情報に基づいて、第1人体の画像から第1顔の画像を取得することができる。例えば、第1人物識別要求メッセージは第1顔の位置情報を含み、または、第1人物識別要求メッセージは第1顔のキーポイント情報を含むなど、本出願の実施例は、サーバが第1顔の画像を取得する具体的な実現に対して限定しない。いくつかの実施例において、第1人体の画像情報は、第1人体の画像の人体の特徴情報および/または第1人体の画像の顔の特徴情報を含む。この場合、サーバは、第1人体の画像情報に含まれる顔の特徴情報を取得することができるが、本出願の実施例は、これらに限定されない。
ステップS502において、前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定する。いくつかの実施例において、サーバは、顔テンプレートデータベースに、第1顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定することができる。
一可能な実現方式において、第1顔の画像情報は、第1顔の画像を含む。この場合、一例において、顔テンプレートデータベースにおける顔テンプレートが顔の特徴情報を含む場合、サーバは、前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得することができ、第1顔の特徴情報と少なくとも1つの顔テンプレートにおける顔の特徴情報の類似度または距離に基づいて、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定する。別の例において、顔テンプレートデータベースにおける顔テンプレートが顔画像を含む場合、サーバは、第1顔の画像と、顔テンプレートデータベースに含まれる少なくとも1つの顔テンプレートの類似度に基づいて、顔テンプレートデータベースに、第1顔の画像とマッチングする顔テンプレートが存在するかどうかを決定することができる。
別の可能な実施形態において、第1顔の画像情報は、第1人体の画像の顔の特徴情報を含み、それに対応して、サーバは、第1人体の画像の顔の特徴情報に基づいて顔テンプレートデータベースに第1顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定することができ、本出願の実施例は、顔テンプレートデータベースに、第1顔の画像情報とマッチングする顔テンプレートが存在するかどうかを決定する具体的な実現に対して限定しない。その後、サーバは、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することができ、ここで、一例として、第1人体が属する人物の人物識別子情報は人物識別子を含む。
一例として、前記決定された結果が、顔テンプレートデータベースに、前記第1顔の画像情報とマッチングする顔テンプレートが存在することである場合、一方式として、サーバは、当該マッチングする顔テンプレートに対応する人物識別子情報を、第1人体が属する人物の人物識別子情報として決定する。
いくつかの実施例において、顔テンプレートデータベースにおける各顔テンプレートのそれぞれが1つの人物身元識別子に対応するため、顔テンプレートデータベースに第1顔の画像情報とマッチングする顔テンプレートが存在すると、当該第1顔に対応する人物がサーバ端末によって記録された人物であることを表す。この場合、一方式として、サーバは、当該人物の出現回数に1をプラスしたり、時間情報、位置情報、対応するカメラ情報、収集された画像などの1つまたは複数など、当該人物の今回の出現情報を記憶したりすることができ、本出願の実施例は、これらに限定されない。
別の例として、前記決定された結果が、顔テンプレートデータベースに、前記第1顔の画像情報とマッチングする顔テンプレートが存在しないことである場合、一方式として、サーバは、人物識別子を追加するなど、人物識別子情報を新しく追加し、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することができる。
顔テンプレートデータベースに、第1顔の特徴情報とマッチングする顔テンプレートが存在しない場合、サーバは、当該第1顔が属する人物が新規人物であることを確認し、当該新規人物に対して、新しく追加された人物識別子情報を割り当てることができる。
いくつかの実施例において、サーバは、当該新規人物に対して人物識別子情報を割り当てた後に、当該新しく追加された人物識別子情報および前記第1顔の画像情報を前記顔テンプレートデータベースに追加することができ、ここで、一方式として、当該新しく追加された人物識別子情報と前記第1顔の画像情報は、1つの新しいレコードとして顔テンプレートデータベースに入力されることができ、それにより、当該新しく追加された人物識別子情報と第1顔の画像情報との間の対応関係を確立する。または、サーバは、第1顔の画像情報を顔テンプレートデータベースに追加し、第1顔の画像情報と新しく追加された人物識別子情報との間の対応関係を記録することもできる。
ステップS503において、第1人体の画像情報および人体テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定する。
いくつかの実施例において、前記第1人体の画像情報は第1人体の画像を含む。この場合、一例において、人体テンプレートデータベースにおける人体テンプレートは人体の特徴情報を含み、サーバは、前記第1人体の画像に対して特徴抽出処理を実行して、前記第1人体の特徴情報を取得し、第1人体の特徴情報と少なくとも1つの人体テンプレートにおける人体の特徴情報の類似度または距離に基づいて、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することができる。
別の例において、人体テンプレートデータベースにおける人体テンプレートは人体画像を含み、サーバは、第1人体の画像と、人体テンプレートデータベースに含まれる少なくとも1つの人体テンプレートの類似度に基づいて、人体テンプレートデータベースに、第1人体の画像とマッチングする人体テンプレートが存在するかどうかを決定することができる。
別の可能な実現方式において、第1人体の画像情報は、第1人体の画像の人体の特徴情報を含み、それに対応して、サーバは、第1人体の画像の人体の特徴情報に基づいて人体テンプレートデータベースに第1人体の画像情報とマッチングする人体テンプレートが存在するかどうかを決定することができ、本出願の実施例は、人体テンプレートデータベースに第1人体の画像情報とマッチングする人体テンプレートが存在するかどうかを決定する具体的な実現に対して限定しない。
その後、サーバは、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することができ、ここで、一例として、第1人体が属する人物の人物識別子情報は人体識別子を含む。
一例として、前記決定された結果が、人体テンプレートデータベースに前記第1人体の画像情報とマッチングする人体テンプレートが存在することである場合、一方式として、サーバは、当該マッチングする人体テンプレートに対応する第2人物識別子情報を、第1人体が属する人物の人物識別子情報として決定する。または、サーバは、関連データベースにおいて当該マッチングする人体テンプレートに対応する第2人物識別子情報に対応する第1人物識別子情報を照会し、照会して取得した当該第1人物識別子情報を、当該第1人体が属する人物の人物識別子情報として決定することもできる。
いくつかの実施例において、人体テンプレートデータベースにおける各人体テンプレートのそれぞれは、1つの人体識別子に対応し、したがって、人体テンプレートデータベースに、第1人体の画像情報とマッチングする人体テンプレートが存在すると、当該第1人体がサーバ端末によって記憶された人体であることを表す。この場合、一方式として、サーバは、当該人体の出現回数に1をプラスしたり、時間情報、位置情報、対応するカメラ情報、収集された画像などの1つまたは複数など、当該人体の今回の出現情報を記憶したりすることができ、本出願の実施例は、これらに限定されない。
別の例として、前記決定された結果が、人体テンプレートデータベースに前記第1人体の画像情報とマッチングする人体テンプレートが存在しないことである場合、一方式として、サーバは、人体識別子を新しく追加するなど、第2人物識別子情報または人体識別子情報を新しく追加し、新しく追加された第2人物識別子情報を、前記第1人体が属する人物の人物識別子情報として決定することができる。人体テンプレートデータベースに第1人体の特徴情報とマッチングする人体テンプレートが存在しない場合、サーバは、当該第1人体が属するが新規人物であることを確認し、当該新規人物に対して、新しく追加された人物識別子情報を割り当てることができる。
いくつかの実施例において、サーバは、当該新規人物に対して第2人物識別子情報を割り当てた後に、当該新しく追加された第2人物識別子情報および前記第1人体の画像情報を前記人体テンプレートデータベースに追加することができ、ここで、一方式として、当該新しく追加された人物識別子情報と前記第1人体の画像情報は、1つの新しいレコードとして人体テンプレートデータベースに入力されることができ、それにより、当該新しく追加された第2人物識別子情報と第1人体の画像情報との間の対応関係を確立する。または、サーバは、第1人体の画像情報を人体テンプレートデータベースに追加し、第1人体の画像情報と、新しく追加された第2人物識別子情報との間の対応関係を記録することもできる。
別の可能な実現方式において、サーバは、顔に基づく人物識別および人体に基づく人物識別を実行して、顔に基づく第1人物識別子情報(例えば、人物識別子など)および人体に基づく第2人物識別子情報(例えば、人体識別子など)を取得した後に、第1人物識別子情報と第2人物識別子情報との間の対応関係を確立し、第1人物識別子情報と第2人物識別子情報との間の対応関係を関連データベースに追加するが、本出願の実施例は、これらに限定されない。いくつかの実施例において、前記第1人物識別要求メッセージは、検出フレーム識別子情報または追跡識別子情報など、前記第1人体の第1顔の識別子情報をさらに含み得る。サーバは、第1顔の検出フレーム情報または第1顔の追跡識別子情報に従って、さらなる身元識別や客の流れの分析などを実行することができる。
本出願の実施例で提供される別の画像処理方法は、図6に示し、ここで、この例において、サーバによって受信された人物識別要求メッセージが第2人物識別要求メッセージであると仮定する。
ステップS601において、前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報(または第2人物識別子情報)を決定する。この方式において、サーバは、第1人体の画像情報および人体テンプレートデータベースに基づいて、第1人体の人体識別子情報または第2人物識別子情報を決定することができる。ステップS602において、前記第1人体の人体識別子情報(または第2人物識別子情報)に基づいて、前記第1人体が属する人物の人物識別子情報を決定する。
いくつかの実施例において、第1人体の人体識別子情報を決定した後に、サーバは、関連データベースに、前記第1人体の人体識別子情報とマッチングする関連関係が存在するかどうかを決定する方式により、第1人体が属する人物の人物識別子情報を決定することができ、ここで、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用される。前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得する。
いくつかの実施例において、前記関連データベースに、前記第1人体の人体識別子情報とマッチングする関連関係が存在する場合、サーバは、当該マッチングする関連関係における人物識別子情報(または第1人物識別子情報と称する)を、前記第1人体が属する人物の人物識別子情報として決定する。関連データベースに、第1人体の人体識別子とマッチングする関連関係が存在する場合、当該第1人体が属する人物の人物がサーバに記憶された人物であることを説明し、サーバは、第1人体の人体識別子に対応する人物身元識別子に対応する人物が第1人体が属する人物であることを決定することができる。いくつかの実施例において、関連データベースに、前記第1人体の人体識別子情報とマッチングする関連関係が存在しない場合、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定する。関連データベースに、第1人体の人体識別子情報とマッチングする関連関係が存在しない場合、サーバは、当該第1人体が属する人物が新規人物であることを確認することができ、当該新規人物は、新しく追加された人物識別子情報に対応することができる。
上述の各実施例については、一方式として、サーバが第1人体の人物識別子情報を決定した後に、前記第1人体が属する人物の人物識別子情報を第2端末機器に送信することができ、第2端末機器は、特定の業者が所有する端末機器などであってもよく、第2端末機器は、第1人体が属する人物の人物識別子情報に基づいて、客の流れの統計、顧客識別、顧客の訪問回数の統計などの処理を実行することができ、本出願の実施例は、これらに対して限定しない。
別の実施例では、サーバによって受信されたメッセージが顔のみを含む場合、前記顔テンプレートデータベースに従って当該顔に対して識別処理を実行することができる。いくつかの実施例において、サーバは、当該顔と、顔テンプレートデータベースにおける顔テンプレートとのマッチング処理を実行し、前記決定された結果に従って識別することができる。いくつかの実施例において、顔テンプレートデータベースに、前記顔とマッチングする顔テンプレートが存在する場合、サーバは、当該顔が属する人物の人物識別子情報が、当該マッチングする顔テンプレートに対応する人物識別子情報であることを決定することができる。いくつかの実施例において、顔テンプレートデータベースに、前記顔とマッチングする顔テンプレートが存在しない場合、サーバは、前記顔の特徴情報を顔テンプレートデータベースに追加し、当該顔が属する人物の人物識別子情報を割り当てることができる。
本出願の実施例で提供される画像処理装置は、図7に示し、当該装置は、第1画像を処理して、前記第1画像内の第1顔を取得するように構成される取得モジュール701と、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される第1決定モジュール702と、前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信するように構成される送信モジュール703とを備える。
別の実施例では、送信モジュール703は、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用される。
本出願の実施例で提供される別の画像処理装置は、図8に示し、当該装置は、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定するように構成される第2決定モジュール704をさらに備える。
別の実施例では、送信モジュール703は、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成される。
別の実施例では、前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、完全な顔を含むかどうかのことうちの少なくとも1つを含む。
別の実施例では、送信モジュール703は、前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される。
別の実施例では、前記第1人物識別要求メッセージは、前記第1顔の追跡識別子情報または第1顔の検出フレーム識別子情報をさらに含む。別の実施例では、前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、ここで、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む。
本出願の実施例で提供される別の画像処理装置は、図9に示し、当該装置は、前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第3決定モジュール705をさらに備える。
別の実施例では、送信モジュール703は、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む第1人物識別要求メッセージを前記サーバに送信するように構成され、ここで、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される。
別の実施例では、第1決定モジュール702は、前記第1画像の少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される。
別の実施例では、第1決定モジュール702は、前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、ここで、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含み、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定し、前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される。
別の実施例では、第1決定モジュール702は、第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、ここで、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であり、前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定するように構成される。
別の実施例では、前記目標対象は、耳および顔のうちの少なくとも1つを含む。
別の実施例では、第1決定モジュール702は、前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、ここで、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定するように構成される。
別の実施例では、第1決定モジュール702は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、人体追跡結果を取得し、ここで、前記人体追跡結果は、前記ビデオシーケンスのうちの少なくとも1つの画像の人体追跡情報を含み、前記ビデオシーケンスの少なくとも一部の画像の顔追跡結果に、前記第1画像のフレーム番号に対応する人体追跡情報に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される。別の実施例では、第1決定モジュール702は、前記人体追跡結果に、前記第1画像のフレーム番号に対応する人体追跡情報が存在しないことに応答して、前記第1画像に対して人体検出を実行することにより取得された少なくとも1つの人体から、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される。
別の実施例では、当該装置は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える。
別の実施例では、当該装置は、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える。
別の実施例では、当該装置は、前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える。
別の実施例では、当該装置は、前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える。
別の実施例では、取得モジュール701は、前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得するように構成される。
本出願の実施例で提供される別の画像処理装置は、図10に示し、前記装置は、前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得するように構成される追跡モジュール706をさらに備える。送信モジュール703は、さらに、第2人物識別要求メッセージを前記サーバに送信するように構成され、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含む。
本出願の実施例で提供される別の画像処理装置は、図11に示し、前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される選択モジュール707をさらに備える。別の実施例では、選択モジュール707は、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される。
本出願の実施例で提供される別の画像処理装置は、図12に示し、当該装置は、第1端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュール1201であって、前記人物識別要求メッセージは第1人体の画像情報を含む受信モジュール1201と、前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される決定モジュール1202とを備える。
別の実施例では、前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、ここで、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む。
本出願の実施例は、別の画像処理装置を提供し、図13に示されたように、決定モジュール1202は、前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得するように構成される第1決定ユニット12021と、前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第2決定ユニット12022であって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶する第2決定ユニット12022とを備える。
別の実施例では、第1決定ユニット12021は、前記第1人体の画像から第1顔の画像を取得するように構成される。別の実施例では、第2決定ユニット12022は、前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得し、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される。別の実施例では、第2決定ユニット12022は、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される。別の実施例では、第2決定ユニット12022は、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される。
本出願の実施例で提供される別の画像処理装置は、図14に示し、当該装置は、前記新しく追加された人物識別子情報および前記第1顔の情報(例えば、第1顔の特徴情報など)を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第1追加モジュール1203をさらに備える。別の実施例では、前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む。
本出願の実施例で提供される別の画像処理装置は、図15に示し、決定モジュール1202は、前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定するように構成される第3決定ユニット12023と、前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第4決定ユニット12024とをさらに含む。
別の実施例では、第3決定ユニット12023は、前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得し、人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、ここで、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶し、前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得するように構成される。別の実施例では、第3決定ユニット12023は、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される。別の実施例では、第3決定ユニット12023は、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される。
本出願の実施例で提供される別の画像処理装置は、図16に示し、当該装置は、前記追加される人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第2追加モジュール1204をさらに備える。
本出願の実施例は、別の画像処理装置を提供し、図17に示し、当該装置は、前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第3追加モジュール1205をさらに備える。
別の実施例では、前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む。別の実施例では、第4決定ユニット12024は、関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、ここで、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用され、前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される。別の実施例では、第4決定ユニット12024は、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される。別の実施例では、第4決定ユニット12024は、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される。
本出願の実施例で提供される別の画像処理装置は、図18に示し、当該装置は、前記第1人体が属する人物の人物識別子情報を第2端末機器に送信するように構成される送信モジュール1206をさらに備える。別の実施例では、前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される。
本出願の実施例で提供される端末機器は、図19に示し、当該端末機器1900は、プログラム命令を記憶するように構成されるメモリ1901と、メモリ1901のプログラム命令を呼び出して実行して、上記した方法の実施例における、クライアントによって実行される方法のステップを実行するように構成されるプロセッサ1902とを含む。
本出願の実施例で提供されるサーバは、図20に示し、当該サーバ2000は、プログラム命令を記憶するように構成されるメモリ2002と、メモリ2002プログラム命令を呼び出して実行して、上記した方法の実施例における、サーバによって実行される方法のステップを実行するように構成されるプロセッサ2001とを含む。
本出願の実施例で提供される画像処理システムは、図21に示し、当該システム2100は、通信接続するカメラ1800、端末機器1900およびサーバ2000を含む。実施プロセスでは、ビデオ画像をカメラ1800を介してリアルタイムで撮影して、端末機器1900に送信し、端末機器は、ビデオ画像従って追跡やマッチングなどの処理を実行して、人体情報および顔情報を取得し、情報をサーバ2000に送信するため、サーバは、受信された情報に従って識別処理を実行する。
当業者は、上述の各方法の実施例のステップの全てまたは一部を実現するには、プログラム命令に関するハードウェアを介して完了させることができることを理解することができる。前述のプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行されるとき、上記の各方法の実施例のステップを実行し、前記記憶媒体は、ROM、RAM、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。最後に留意されたいことは、以上の各実施例は、本出願の技術的解決策を説明するのみに使用され、それらを限定することではない。上記した各実施例を参照して本出願を詳細に説明しているが、当業者は、依然として、上記した各実施例で説明された技術的解決策を修正し、またはその中の技術的特徴の一部または全てに対して同等の置換を実行することができ、これらの修正または置換は、対応する技術的解決策の本質が本出願の各実施例の技術的解決策の範囲を超えるようにするものではないことを理解するはずである。
第8態様によれば、読み取り可能な記憶媒体を提供し、前記読み取り可能な記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、上述の第1態様または第2態様に記載の方法を実行するために使用される。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
画像処理方法であって、
第1画像を処理して、前記第1画像内の第1顔を取得することと、
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することと、
前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することとを含む、前記画像処理方法。
(項目2)
前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することは、
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
項目1に記載の画像処理方法。
(項目3)
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定することをさらに含む、
項目2に記載の画像処理方法。
(項目4)
前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することを含む、
項目2または3に記載の画像処理方法。
(項目5)
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも1つを含む、
項目4に記載の画像処理方法。
(項目6)
前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む、
項目2ないし5のいずれか一項に記載の画像処理方法。
(項目7)
前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
項目2ないし6のいずれか一項に記載の画像処理方法。
(項目8)
前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信する前に、
前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む、
項目2ないし7のいずれか一項に記載の画像処理方法。
(項目9)
前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む、
項目1ないし8のいずれか一項に記載の画像処理方法。
(項目10)
前記決定された結果に従って、前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
項目1ないし9のいずれか一項に記載の画像処理方法。
(項目11)
前記第1画像の少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することは、
前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含むことと、
前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することと、
前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することとを含む、
項目1ないし10のいずれか一項に記載の画像処理方法。
(項目12)
前記少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、
第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であることと、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定することとを含む、
項目11に記載の画像処理方法。
(項目13)
前記目標対象は、耳および顔のうちの少なくとも1つを含む、
項目12に記載の画像処理方法。
(項目14)
前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することは、
前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、
前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することとを含む、
項目11ないし13のいずれか一項に記載の画像処理方法。
(項目15)
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、
前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む、
項目1ないし14のいずれか一項に記載の画像処理方法。
(項目16)
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、
前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、
前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索することとをさらに含む、
項目1ないし15のいずれか一項に記載の画像処理方法。
(項目17)
前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む、
項目16に記載の画像処理方法。
(項目18)
前記第1画像を処理して、前記第1画像内の第1顔を取得することは、
前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得することを含む、
項目1ないし17のいずれか一項に記載の画像処理方法。
(項目19)
前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得することと、
第2人物識別要求メッセージを前記サーバに送信することであって、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含むこととをさらに含む、
項目1ないし18のいずれか一項に記載の画像処理方法。
(項目20)
前記第1画像を処理して、前記第1画像内の第1顔を取得する前に、
ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することをさらに含む、
項目1ないし19のいずれか一項に記載の画像処理方法。
(項目21)
前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することを含む、
項目20に記載の画像処理方法。
(項目22)
画像処理方法であって、
第1端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第1人体の画像情報を含むことと、
前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む、前記画像処理方法。
(項目23)
前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
項目22に記載の画像処理方法。
(項目24)
前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することと、
前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶することとを含む、
項目22または23に記載の画像処理方法。
(項目25)
前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することは、
前記第1人体の画像から第1顔の画像を取得することを含む、
項目24に記載の画像処理方法。
(項目26)
前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得することと、
前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む、
項目24または25に記載の画像処理方法。
(項目27)
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
項目26に記載の画像処理方法。
(項目28)
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
項目26または27に記載の画像処理方法。
(項目29)
前記新しく追加された人物識別子情報および前記第1顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加することをさらに含む、
項目28に記載の画像処理方法。
(項目30)
前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
項目22ないし29のいずれか一項に記載の画像処理方法。
(項目31)
前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することと、
前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む、
項目22ないし30のいずれか一項に記載の画像処理方法。
(項目32)
前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することは、
前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得することと、
人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶することと、
前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することとを含む、
項目31に記載の画像処理方法。
(項目33)
前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第1人体の人体識別子情報として決定することを含む、
項目32に記載の画像処理方法。
(項目34)
前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第1人体の人体識別子情報として決定することを含む、
項目32または33に記載の画像処理方法。
(項目35)
前記追加される人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む、
項目34に記載の画像処理方法。
(項目36)
前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む、
項目35に記載の画像処理方法。
(項目37)
前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む、
項目31ないし36のいずれか一項に記載の画像処理方法。
(項目38)
前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用されることと、
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む、
項目31ないし37のいずれか一項に記載の画像処理方法。
(項目39)
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
項目38に記載の画像処理方法。
(項目40)
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1体が属する人物の人物識別子情報として決定することを含む、
項目38に記載の画像処理方法。
(項目41)
前記第1人体が属する人物の人物識別子情報を第2端末機器に送信することをさらに含む、
項目31ないし40のいずれか一項に記載の画像処理方法。
(項目42)
前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される、
項目22ないし41のいずれか一項に記載の画像処理方法。
(項目43)
画像処理装置であって、
第1画像を処理して、前記第1画像内の第1顔を取得するように構成される取得モジュールと、
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される第1決定モジュールと、
前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える、前記画像処理装置。
(項目44)
前記送信モジュールは、
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用される、
項目43に記載の画像処理装置。
(項目45)
前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定するように構成される第2決定モジュールをさらに備える、
項目44に記載の画像処理装置。
(項目46)
前記送信モジュールは、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成される、
項目44または45に記載の画像処理装置。
(項目47)
前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも1つを含む、
項目46に記載の画像処理装置。
(項目48)
前記送信モジュールは、前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される、
項目44ないし47のいずれか一項に記載の画像処理装置。
(項目49)
前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
項目44ないし48のいずれか一項に記載の画像処理装置。
(項目50)
前記装置は、前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第2決定モジュールをさらに備える、
項目44ないし49のいずれか一項に記載の画像処理装置。
(項目51)
前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む、
項目43ないし50のいずれか一項に記載の画像処理装置。
(項目52)
前記送信モジュールは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される、
項目43ないし50のいずれか一項に記載の画像処理装置。
(項目53)
前記第1決定モジュールは、
前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含み、
前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定し、
前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される、
項目43ないし52のいずれか一項に記載の画像処理装置。
(項目54)
前記第1決定モジュールは、
第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であり、
前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定するように構成される、
項目53に記載の画像処理装置。
(項目55)
前記目標対象は、耳および顔のうちの少なくとも1つを含む、
項目54に記載の画像処理装置。
(項目56)
前記第1決定モジュールは、
前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、
前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定するように構成される、
項目53ないし55のいずれか一項に記載の画像処理装置。
(項目57)
前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える、
項目43ないし56のいずれか一項に記載の画像処理装置。
(項目58)
前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、
前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える、
項目43ないし57のいずれか一項に記載の画像処理装置。
(項目59)
前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える、
項目58に記載の画像処理装置。
(項目60)
前記取得モジュールは、前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得するように構成される、
項目43ないし59のいずれか一項に記載の画像処理装置。
(項目61)
前記装置は、前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得するように構成される追跡モジュールをさらに備え、前記送信モジュールは、さらに、第2人物識別要求メッセージを前記サーバに送信するように構成され、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含む、
項目43ないし60のいずれか一項に記載の画像処理装置。
(項目62)
前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される選択モジュールをさらに備える、
項目43ないし61のいずれか一項に記載の画像処理装置。
(項目63)
前記選択モジュールは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される、
項目62に記載の画像処理装置。
(項目64)
画像処理装置であって、
第1端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第1人体の画像情報を含む受信モジュールと、
前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える、前記画像処理装置。
(項目65)
前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
項目64に記載の画像処理装置。
(項目66)
前記決定モジュールは、
前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得するように構成される第1決定ユニットと、
前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第2決定ユニットであって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶する第2決定ユニットとを備える、
項目64または65に記載の画像処理装置。
(項目67)
前記第1決定ユニットは、前記第1人体の画像から第1顔の画像を取得するように構成される、
項目66に記載の画像処理装置。
(項目68)
前記第2決定ユニットは、
前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得し、
前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される、
項目66または67に記載の画像処理装置。
(項目69)
前記第2決定ユニットは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
項目68に記載の画像処理装置。
(項目70)
前記第2決定ユニットは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
項目68または69に記載の画像処理装置。
(項目71)
前記新しく追加された人物識別子情報および前記第1顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第1追加モジュールをさらに備える、
項目70に記載の画像処理装置。
(項目72)
前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
項目64ないし71のいずれか一項に記載の画像処理装置。
(項目73)
前記決定モジュールは、
前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定するように構成される第3決定ユニットと、
前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第4決定ユニットとをさらに備える、
項目64ないし72のいずれか一項に記載の画像処理装置。
(項目74)
前記第3決定ユニットは、
前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得し、
人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶し、
前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得するように構成される、
項目73に記載の画像処理方法。
(項目75)
前記第3決定ユニットは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される、
項目74に記載の画像処理装置。
(項目76)
前記第3決定ユニットは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、新しく追加された人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される、
項目74に記載の画像処理装置。
(項目77)
前記新しく追加された人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第2追加モジュールをさらに備える、
項目76に記載の画像処理装置。
(項目78)
前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第2追加モジュールをさらに備える、
項目77に記載の画像処理装置。
(項目79)
前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む、
項目73ないし78のいずれか一項に記載の画像処理装置。
(項目80)
前記第4決定ユニットは、
関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用され、
前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される、
項目73ないし79のいずれか一項に記載の画像処理装置。
(項目81)
前記第4決定ユニットは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
項目80に記載の画像処理装置。
(項目82)
前記第4決定ユニットは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
項目80に記載の画像処理装置。
(項目83)
前記第1人体が属する人物の人物識別子情報を第2端末機器に送信するように構成される送信モジュールをさらに備える、
項目73ないし82のいずれか一項に記載の画像処理装置。
(項目84)
前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される、
項目73ないし83のいずれか一項に記載の画像処理装置。
(項目85)
端末機器であって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、項目1ないし21のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記端末機器。
(項目86)
サーバであって、
プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、項目22ないし42のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記サーバ。
(項目87)
画像処理システムであって、
項目85に記載の端末機器および項目86に記載のサーバを含む、前記画像処理システム。
(項目88)
読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムは、項目1ないし21のいずれか一項に記載の方法または項目22ないし42のいずれか一項に記載の方法を実行するように構成される、前記読み取り可能な記憶媒体。

Claims (88)

  1. 画像処理方法であって、
    第1画像を処理して、前記第1画像内の第1顔を取得することと、
    前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することと、
    前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することとを含む、前記画像処理方法。
  2. 前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信することは、
    前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
    請求項1に記載の画像処理方法。
  3. 前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定することをさらに含む、
    請求項2に記載の画像処理方法。
  4. 前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することを含む、
    請求項2または3に記載の画像処理方法。
  5. 前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも1つを含む、
    請求項4に記載の画像処理方法。
  6. 前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることをさらに含む、
    請求項2ないし5のいずれか一項に記載の画像処理方法。
  7. 前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
    前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
    請求項2ないし6のいずれか一項に記載の画像処理方法。
  8. 前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信する前に、
    前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定することをさらに含む、
    請求項2ないし7のいずれか一項に記載の画像処理方法。
  9. 前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む、
    請求項1ないし8のいずれか一項に記載の画像処理方法。
  10. 前記決定された結果に従って、前記第1人物識別要求メッセージを前記サーバに送信することは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信することであって、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用されることを含む、
    請求項1ないし9のいずれか一項に記載の画像処理方法。
  11. 前記第1画像の少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することは、
    前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することであって、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含むことと、
    前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することと、
    前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定することとを含む、
    請求項1ないし10のいずれか一項に記載の画像処理方法。
  12. 前記少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定することは、
    第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定することであって、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であることと、
    前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定することとを含む、
    請求項11に記載の画像処理方法。
  13. 前記目標対象は、耳および顔のうちの少なくとも1つを含む、
    請求項12に記載の画像処理方法。
  14. 前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することは、
    前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定することであって、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なることと、
    前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定することとを含む、
    請求項11ないし13のいずれか一項に記載の画像処理方法。
  15. 前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、
    前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む、
    請求項1ないし14のいずれか一項に記載の画像処理方法。
  16. 前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定する前に、
    前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得することと、
    前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索することとをさらに含む、
    請求項1ないし15のいずれか一項に記載の画像処理方法。
  17. 前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得することをさらに含む、
    請求項16に記載の画像処理方法。
  18. 前記第1画像を処理して、前記第1画像内の第1顔を取得することは、
    前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得することを含む、
    請求項1ないし17のいずれか一項に記載の画像処理方法。
  19. 前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得することと、
    第2人物識別要求メッセージを前記サーバに送信することであって、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含むこととをさらに含む、
    請求項1ないし18のいずれか一項に記載の画像処理方法。
  20. 前記第1画像を処理して、前記第1画像内の第1顔を取得する前に、
    ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することをさらに含む、
    請求項1ないし19のいずれか一項に記載の画像処理方法。
  21. 前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択することを含む、
    請求項20に記載の画像処理方法。
  22. 画像処理方法であって、
    第1端末機器によって送信された人物識別要求メッセージを受信することであって、前記人物識別要求メッセージは第1人体の画像情報を含むことと、
    前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む、前記画像処理方法。
  23. 前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
    前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
    請求項22に記載の画像処理方法。
  24. 前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
    前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することと、
    前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することであって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶することとを含む、
    請求項22または23に記載の画像処理方法。
  25. 前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得することは、
    前記第1人体の画像から第1顔の画像を取得することを含む、
    請求項24に記載の画像処理方法。
  26. 前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
    前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得することと、
    前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定することと、
    前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む、
    請求項24または25に記載の画像処理方法。
  27. 前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
    請求項26に記載の画像処理方法。
  28. 前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
    請求項26または27に記載の画像処理方法。
  29. 前記新しく追加された人物識別子情報および前記第1顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加することをさらに含む、
    請求項28に記載の画像処理方法。
  30. 前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
    請求項22ないし29のいずれか一項に記載の画像処理方法。
  31. 前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
    前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することと、
    前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することとを含む、
    請求項22ないし30のいずれか一項に記載の画像処理方法。
  32. 前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定することは、
    前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得することと、
    人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定することであって、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶することと、
    前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することとを含む、
    請求項31に記載の画像処理方法。
  33. 前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第1人体の人体識別子情報として決定することを含む、
    請求項32に記載の画像処理方法。
  34. 前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得することは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、追加される人体識別子情報を前記第1人体の人体識別子情報として決定することを含む、
    請求項32または33に記載の画像処理方法。
  35. 前記追加される人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加することをさらに含む、
    請求項34に記載の画像処理方法。
  36. 前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加することをさらに含む、
    請求項35に記載の画像処理方法。
  37. 前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む、
    請求項31ないし36のいずれか一項に記載の画像処理方法。
  38. 前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定することは、
    関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定することであって、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用されることと、
    前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することとを含む、
    請求項31ないし37のいずれか一項に記載の画像処理方法。
  39. 前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定することを含む、
    請求項38に記載の画像処理方法。
  40. 前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得することは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1体が属する人物の人物識別子情報として決定することを含む、
    請求項38に記載の画像処理方法。
  41. 前記第1人体が属する人物の人物識別子情報を第2端末機器に送信することをさらに含む、
    請求項31ないし40のいずれか一項に記載の画像処理方法。
  42. 前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される、
    請求項22ないし41のいずれか一項に記載の画像処理方法。
  43. 画像処理装置であって、
    第1画像を処理して、前記第1画像内の第1顔を取得するように構成される取得モジュールと、
    前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される第1決定モジュールと、
    前記決定された結果に従って、第1人物識別要求メッセージをサーバに送信するように構成される送信モジュールとを備える、前記画像処理装置。
  44. 前記送信モジュールは、
    前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1人体の画像情報は、前記サーバが人物識別を実行するために使用される、
    請求項43に記載の画像処理装置。
  45. 前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする第1人体が存在することに応答して、前記第1人体の画質に従って、前記第1人物識別要求メッセージが前記第1人体の画像情報を含むかどうかを決定するように構成される第2決定モジュールをさらに備える、
    請求項44に記載の画像処理装置。
  46. 前記送信モジュールは、前記第1人体の画質が品質要件を満たすことに応答して、前記第1人体の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成される、
    請求項44または45に記載の画像処理装置。
  47. 前記品質要件は、顔の鮮明度要件、顔の大きさ要件、顔の角度要件、顔検出の信頼度要件および人体検出の信頼度要件、顔の完全性要件のうちの少なくとも1つを含む、
    請求項46に記載の画像処理装置。
  48. 前記送信モジュールは、前記第1人体の画質が品質要件を満たさないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される、
    請求項44ないし47のいずれか一項に記載の画像処理装置。
  49. 前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
    前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
    請求項44ないし48のいずれか一項に記載の画像処理装置。
  50. 前記装置は、前記第1顔の画像情報を前記第1人体の画像情報に置き換えて人物識別を実行することを決定するように構成される第2決定モジュールをさらに備える、
    請求項44ないし49のいずれか一項に記載の画像処理装置。
  51. 前記第1人物識別要求メッセージは、前記第1顔の識別子情報をさらに含む、
    請求項43ないし50のいずれか一項に記載の画像処理装置。
  52. 前記送信モジュールは、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在しないことに応答して、前記第1顔の画像情報を含む前記第1人物識別要求メッセージを前記サーバに送信するように構成され、前記第1顔の画像情報は、前記サーバが人物識別を実行するために使用される、
    請求項43ないし50のいずれか一項に記載の画像処理装置。
  53. 前記第1決定モジュールは、
    前記第1画像に対応する少なくとも1つの顔および前記少なくとも1つの人体に従って、N個の候補ペアにおける各候補ペアのマッチング確率情報を決定し、前記候補ペアは、前記少なくとも1つの顔のうちの1つの顔および前記少なくとも1つの人体のうちの1つの人体を含み、前記少なくとも1つの顔は前記第1顔を含み、
    前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定し、
    前記ターゲットマッチング結果に基づいて、前記第1画像に対応する少なくとも1つの人体のうち、前記第1顔とマッチングする人体が存在するかどうかを決定するように構成される、
    請求項43ないし52のいずれか一項に記載の画像処理装置。
  54. 前記第1決定モジュールは、
    第1候補ペアに含まれる第2人体および前記第1候補ペアに含まれる第2顔に基づいて、目標対象の推定位置情報および実際の位置情報を決定し、前記N個の候補ペアは前記第1候補ペアを含み、前記目標対象は人体の一部であり、
    前記目標対象の推定位置情報および前記目標対象の実際の位置情報に基づいて、前記第1候補ペアのマッチング確率情報を決定するように構成される、
    請求項53に記載の画像処理装置。
  55. 前記目標対象は、耳および顔のうちの少なくとも1つを含む、
    請求項54に記載の画像処理装置。
  56. 前記第1決定モジュールは、
    前記N個の候補ペアにおける各候補ペアのマッチング確率情報に従って、前記少なくとも1つの顔と前記少なくとも1つの人体の少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報を決定し、前記候補マッチング結果は、前記N個の候補ペアにおけるm(1≦m≦N)個の候補ペアを含み、前記m個の候補ペアにおける2つの候補ペアごとに含まれる顔および人体はそれぞれ異なり、
    前記少なくとも1つの候補マッチング結果における各候補マッチング結果のマッチング確率情報に基づいて、前記少なくとも1つの候補マッチング結果から、前記少なくとも1つの顔と前記少なくとも1つの人体のターゲットマッチング結果を決定するように構成される、
    請求項53ないし55のいずれか一項に記載の画像処理装置。
  57. 前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える、
    請求項43ないし56のいずれか一項に記載の画像処理装置。
  58. 前記第1画像が属するビデオシーケンスの少なくとも一部の画像に対して人体追跡を実行して、前記ビデオシーケンスの人体追跡結果を取得するように構成される人体追跡モジュールと、
    前記第1画像のフレーム番号に基づいて、前記ビデオシーケンスの顔追跡結果から、前記第1画像の人体追跡情報を検索するように構成される追跡情報検索モジュールとをさらに備える、
    請求項43ないし57のいずれか一項に記載の画像処理装置。
  59. 前記ビデオシーケンスの人体追跡結果で前記第1画像の人体追跡情報が見つからなかったことに応答して、前記第1画像に対して人体検出を実行して、前記第1画像に対応する少なくとも1つの人体を取得するように構成される人体検出モジュールをさらに備える、
    請求項58に記載の画像処理装置。
  60. 前記取得モジュールは、前記第1画像に対して顔追跡を実行して、前記第1画像内の第1顔を取得するように構成される、
    請求項43ないし59のいずれか一項に記載の画像処理装置。
  61. 前記装置は、前記第1画像に対して人体追跡を実行して、前記第1画像内の第3人体を取得するように構成される追跡モジュールをさらに備え、前記送信モジュールは、さらに、第2人物識別要求メッセージを前記サーバに送信するように構成され、前記第2人物識別要求メッセージは、前記第3人体の画像情報および前記第3人体の追跡識別子情報を含む、
    請求項43ないし60のいずれか一項に記載の画像処理装置。
  62. 前記装置は、ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される選択モジュールをさらに備える、
    請求項43ないし61のいずれか一項に記載の画像処理装置。
  63. 前記選択モジュールは、画像に含まれる顔の品質に基づいて、前記ビデオシーケンスに含まれる、連続するプリセットの数の画像から前記第1画像を選択するように構成される、
    請求項62に記載の画像処理装置。
  64. 画像処理装置であって、
    第1端末機器によって送信された人物識別要求メッセージを受信するように構成される受信モジュールであって、前記人物識別要求メッセージは第1人体の画像情報を含む受信モジュールと、
    前記第1人体の画像情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される決定モジュールとを備える、前記画像処理装置。
  65. 前記第1人体の画像情報は、前記第1人体の画像を含み、および/または、
    前記第1人体の画像情報は、前記第1人体の画像の特徴情報を含み、前記第1人体の画像の特徴情報は、人体の特徴情報および顔の特徴情報のうちの少なくとも1つを含む、
    請求項64に記載の画像処理装置。
  66. 前記決定モジュールは、
    前記第1人体の画像情報に基づいて、前記第1人体に含まれる第1顔の画像情報を取得するように構成される第1決定ユニットと、
    前記第1顔の画像情報および顔テンプレートデータベースに基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第2決定ユニットであって、前記顔テンプレートデータベースは、少なくとも1つの顔テンプレートを記憶する第2決定ユニットとを備える、
    請求項64または65に記載の画像処理装置。
  67. 前記第1決定ユニットは、前記第1人体の画像から第1顔の画像を取得するように構成される、
    請求項66に記載の画像処理装置。
  68. 前記第2決定ユニットは、
    前記第1顔の画像に対して特徴抽出処理を実行して、前記第1顔の特徴情報を取得し、
    前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在するかどうかを決定し、
    前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される、
    請求項66または67に記載の画像処理装置。
  69. 前記第2決定ユニットは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在することに応答して、前記マッチングする顔テンプレートに対応する人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
    請求項68に記載の画像処理装置。
  70. 前記第2決定ユニットは、前記顔テンプレートデータベースに、前記第1顔の特徴情報とマッチングする顔テンプレートが存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
    請求項68または69に記載の画像処理装置。
  71. 前記新しく追加された人物識別子情報および前記第1顔の情報を新しい顔テンプレートとして前記顔テンプレートデータベースに追加するように構成される第1追加モジュールをさらに備える、
    請求項70に記載の画像処理装置。
  72. 前記人物識別要求メッセージは、前記第1人体の第1顔の検出フレーム識別子情報または追跡識別子情報をさらに含む、
    請求項64ないし71のいずれか一項に記載の画像処理装置。
  73. 前記決定モジュールは、
    前記第1人体の画像情報に基づいて、前記第1人体の人体識別子情報を決定するように構成される第3決定ユニットと、
    前記第1人体の人体識別子情報に基づいて、前記第1人体が属する人物の人物識別子情報を決定するように構成される第4決定ユニットとをさらに備える、
    請求項64ないし72のいずれか一項に記載の画像処理装置。
  74. 前記第3決定ユニットは、
    前記第1人体の画像に対して特徴抽出を実行して、前記第1人体の特徴情報を取得し、
    人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在するかどうかを決定し、前記人体テンプレートデータベースは、少なくとも1つの人体テンプレートを記憶し、
    前記決定された結果に基づいて、前記第1人体の人体識別子情報を取得するように構成される、
    請求項73に記載の画像処理方法。
  75. 前記第3決定ユニットは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在することに応答して、前記マッチングする人体テンプレートに対応する人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される、
    請求項74に記載の画像処理装置。
  76. 前記第3決定ユニットは、前記人体テンプレートデータベースに、前記第1人体の特徴情報とマッチングする人体テンプレートが存在しないことに応答して、新しく追加された人体識別子情報を前記第1人体の人体識別子情報として決定するように構成される、
    請求項74に記載の画像処理装置。
  77. 前記新しく追加された人体識別子情報および前記第1人体の情報を新しい顔テンプレートとして前記人体テンプレートデータベースに追加するように構成される第2追加モジュールをさらに備える、
    請求項76に記載の画像処理装置。
  78. 前記第1人体の人体識別子情報および前記第1人体が属する人物の人物識別子情報と、前記第1人体が属する人物の人体識別子情報との間の関連関係を関連データベースに追加するように構成される第2追加モジュールをさらに備える、
    請求項77に記載の画像処理装置。
  79. 前記人物識別要求メッセージは、前記第1人体の追跡識別子情報または前記第1人体の検出フレーム識別子情報をさらに含む、
    請求項73ないし78のいずれか一項に記載の画像処理装置。
  80. 前記第4決定ユニットは、
    関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在するかどうかを決定し、前記関連データベースは、人体識別子情報と人物識別子情報との間の少なくとも1つの関連関係を記憶するために使用され、
    前記決定された結果に基づいて、前記第1人体が属する人物の人物識別子情報を取得するように構成される、
    請求項73ないし79のいずれか一項に記載の画像処理装置。
  81. 前記第4決定ユニットは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在することに応答して、前記マッチングする関連関係における人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
    請求項80に記載の画像処理装置。
  82. 前記第4決定ユニットは、前記関連データベースに、前記第1人体の人体識別子とマッチングする関連関係が存在しないことに応答して、新しく追加された人物識別子情報を前記第1人体が属する人物の人物識別子情報として決定するように構成される、
    請求項80に記載の画像処理装置。
  83. 前記第1人体が属する人物の人物識別子情報を第2端末機器に送信するように構成される送信モジュールをさらに備える、
    請求項73ないし82のいずれか一項に記載の画像処理装置。
  84. 前記人物識別要求メッセージは、前記第1端末機器がビデオシーケンスのうちの少なくとも1つの画像に対して顔追跡を実行することに基づいて取得される、
    請求項73ないし83のいずれか一項に記載の画像処理装置。
  85. 端末機器であって、
    プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項1ないし21のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記端末機器。
  86. サーバであって、
    プログラム命令を記憶するように構成されるメモリと、前記メモリ内のプログラム命令を呼び出して実行して、請求項22ないし42のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサとを備える、前記サーバ。
  87. 画像処理システムであって、
    請求項85に記載の端末機器および請求項86に記載のサーバを含む、前記画像処理システム。
  88. 読み取り可能な記憶媒体であって、
    コンピュータプログラムが記憶され、前記コンピュータプログラムは、請求項1ないし21のいずれか一項に記載の方法または請求項22ないし42のいずれか一項に記載の方法を実行するように構成される、前記読み取り可能な記憶媒体。
JP2021508057A 2018-09-10 2019-05-24 画像処理方法、装置、端末機器、サーバおよびシステム Pending JP2021520015A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811051583.5A CN110889314B (zh) 2018-09-10 2018-09-10 图像处理方法、装置、电子设备、服务器及系统
CN201811051583.5 2018-09-10
PCT/CN2019/088432 WO2020052275A1 (zh) 2018-09-10 2019-05-24 图像处理方法、装置、终端设备、服务器及系统

Publications (1)

Publication Number Publication Date
JP2021520015A true JP2021520015A (ja) 2021-08-12

Family

ID=69745170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508057A Pending JP2021520015A (ja) 2018-09-10 2019-05-24 画像処理方法、装置、端末機器、サーバおよびシステム

Country Status (7)

Country Link
US (1) US20210049390A1 (ja)
JP (1) JP2021520015A (ja)
KR (1) KR20200136034A (ja)
CN (1) CN110889314B (ja)
PH (1) PH12020551800A1 (ja)
SG (1) SG11202010672YA (ja)
WO (1) WO2020052275A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967370B (zh) * 2020-08-12 2021-12-07 广州小鹏自动驾驶科技有限公司 一种交通灯识别的方法和装置
CN113544701B (zh) * 2020-12-29 2024-06-14 商汤国际私人有限公司 关联对象的检测方法及装置、电子设备及存储介质
CN112784760B (zh) * 2021-01-25 2024-04-12 北京百度网讯科技有限公司 人体行为识别方法、装置、设备以及存储介质
CN113283305B (zh) * 2021-04-29 2024-03-26 百度在线网络技术(北京)有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN114694184B (zh) * 2022-05-27 2022-10-14 电子科技大学 一种基于多模板特征更新的行人重识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127630A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 生体認証システム、生体認証方法及び生体認証プログラム
CN103210332A (zh) * 2011-04-18 2013-07-17 松下电器产业株式会社 摄像装置、摄像装置的对焦控制方法及集成电路
JP2014120139A (ja) * 2012-12-19 2014-06-30 Canon Inc 画像処理装置およびその制御方法、撮像装置、および表示装置
JP2014232453A (ja) * 2013-05-29 2014-12-11 富士通株式会社 認証装置、認証方法および認証プログラム
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2016051482A (ja) * 2014-08-28 2016-04-11 ケビン・アラン・チューシーKevin Alan Tussy 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备
JP2018088049A (ja) * 2016-11-28 2018-06-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158679A (ja) * 2006-12-21 2008-07-10 Toshiba Corp 人物認証システムおよび人物認証方法
JP5841030B2 (ja) * 2012-09-18 2016-01-06 ビッグローブ株式会社 辞書更新方法、辞書更新システム、及び辞書更新プログラム
CN106412491A (zh) * 2015-07-30 2017-02-15 中兴通讯股份有限公司 视频监控方法、装置及系统
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
CN108230252B (zh) * 2017-01-24 2022-02-01 深圳市商汤科技有限公司 图像处理方法、装置以及电子设备
CN106845432B (zh) * 2017-02-07 2019-09-17 深圳市深网视界科技有限公司 一种人脸与人体共同检测的方法和设备
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN107680188A (zh) * 2017-09-30 2018-02-09 四川民工加网络科技有限公司 一种建筑工地基于图像识别的考勤登记方法及系统
CN108280399A (zh) * 2017-12-27 2018-07-13 武汉普利商用机器有限公司 一种场景自适应人脸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012127630A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 生体認証システム、生体認証方法及び生体認証プログラム
CN103210332A (zh) * 2011-04-18 2013-07-17 松下电器产业株式会社 摄像装置、摄像装置的对焦控制方法及集成电路
JP2014120139A (ja) * 2012-12-19 2014-06-30 Canon Inc 画像処理装置およびその制御方法、撮像装置、および表示装置
JP2014232453A (ja) * 2013-05-29 2014-12-11 富士通株式会社 認証装置、認証方法および認証プログラム
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2016051482A (ja) * 2014-08-28 2016-04-11 ケビン・アラン・チューシーKevin Alan Tussy 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
JP2018088049A (ja) * 2016-11-28 2018-06-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106991395A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 信息处理方法、装置及电子设备

Also Published As

Publication number Publication date
KR20200136034A (ko) 2020-12-04
SG11202010672YA (en) 2020-11-27
CN110889314A (zh) 2020-03-17
WO2020052275A1 (zh) 2020-03-19
PH12020551800A1 (en) 2021-06-14
US20210049390A1 (en) 2021-02-18
CN110889314B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
JP2021520015A (ja) 画像処理方法、装置、端末機器、サーバおよびシステム
CN105404860B (zh) 用于管理走失人员信息的方法和设备
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
US11443551B2 (en) Facial recognitions based on contextual information
CN110825765B (zh) 一种人脸识别的方法和装置
US20170300744A1 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
US8130285B2 (en) Automated searching for probable matches in a video surveillance system
KR20200098875A (ko) 3d 얼굴인식 시스템 및 방법
WO2018116488A1 (ja) 解析サーバ、監視システム、監視方法及びプログラム
US20130169853A1 (en) Method and system for establishing autofocus based on priority
CN111353336B (zh) 图像处理方法、装置及设备
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN110969644A (zh) 人员轨迹追踪方法、装置及系统
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN110889315B (zh) 图像处理方法、装置、电子设备及系统
JP2021515321A (ja) メディア処理方法、その関連装置及びコンピュータプログラム
CN111191506A (zh) 人员流量统计方法、装置、计算机设备和存储介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN103609098A (zh) 使用基于面部辨认的识别系统在远程呈现系统中注册
CN113313062A (zh) 路径获取方法、装置、系统、电子设备及存储介质
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品
CN115359542A (zh) 基于人脸识别和行人重识别的人员身份确定方法及系统
CN112333182B (zh) 档案处理方法、装置、服务器及存储介质
CN113642519A (zh) 一种人脸识别系统和人脸识别方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220713

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230222