JP2022511058A - 画像内の参加者識別 - Google Patents

画像内の参加者識別 Download PDF

Info

Publication number
JP2022511058A
JP2022511058A JP2021531991A JP2021531991A JP2022511058A JP 2022511058 A JP2022511058 A JP 2022511058A JP 2021531991 A JP2021531991 A JP 2021531991A JP 2021531991 A JP2021531991 A JP 2021531991A JP 2022511058 A JP2022511058 A JP 2022511058A
Authority
JP
Japan
Prior art keywords
image
person
participant
processor
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021531991A
Other languages
English (en)
Inventor
ジェラルド ヒューズ,
クレイグ カールソン,
ジカン ディン,
ジョセフ シー. クッチネリ,
デイビッド ベナイム,
ジョー リーガン,
アンドリュー ピー. ゴールドファーブ,
Original Assignee
フォト バトラー インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォト バトラー インコーポレイテッド filed Critical フォト バトラー インコーポレイテッド
Publication of JP2022511058A publication Critical patent/JP2022511058A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

イベントに関する画像内の少なくとも1人の参加者を識別するための方法およびシステム。本明細書において説明される方法は、イベントに関する画像を受信することと、画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャと、画像内の少なくとも1つの顔を識別するための顔識別プロシージャとのうちの少なくとも一方を実行することとを伴い得る。そして、本明細書において説明される方法は、印識別プロシージャおよび顔識別プロシージャの実行のうちの少なくとも一方に基づいて、画像内の人物を識別し得る。

Description

(関連出願の相互参照)
本願は、2018年12月7日に出願された、同時係属中の米国仮特許出願第62/777,062号の利益を主張し、その開示全体が、全体として本明細書に記載されているかのように、参照することによって援用される。
(技術分野)
本願は、概して、画像を分析するためのシステムおよび方法に関し、より具体的には、排他的ではないが、画像内のイベント参加者を識別するためのシステムおよび方法に関する。
レース、コンテスト、または同等のもの等のイベントに参加する人々は、そのようなイベント中の自身の画像を保有すること、または少なくともそれを視認することに興味を持っている。同様に、イベント主催者は、そのイベントに関する写真撮影および/またはビデオサービスを提供することに興味を持っている。写真またはビデオは、多くの場合、イベント場所において、専門の写真家によって撮影されるか、または他の人からクラウドソーシングされる。
この画像内の人々を識別するための技法は、概して、参加者の背中、胸部、腕(単数または複数)、手首(単数または複数)、頭部、機器、または同等のもの上に装着されるビブまたはある他のタイプの識別子に依拠する。他の既存の技法は、加えて、または代替として、レースタイミング情報に依拠し得る。しかしながら、両方のクラスのソリューションは、それらの限界を有する。
例えば、ビブのみを使用することは、ビブが参加者によってなくされるかもしくは装着されない場合、参加者のビブ上の番号が見えない場合、または、ビブ上のいくつかの番号が、認識可能ではないかもしくは別様に不明瞭である場合があるので、信頼性がない。同様に、時間ベースの技法は、通常、複数の参加者が同時に同一の地点に存在し得るので、ほぼ同時に撮影された他の参加者の画像を返す。したがって、これらの技法は、ユーザに、他の参加者の画像を通してフィルタリングすることを要求する。
したがって、既存の技法の欠点を克服する画像内のイベント参加者を識別するためのシステムおよび方法の必要性が、存在する。
この概要は、発明を実施するための形態の節において以下でさらに説明される一連の概念を単純化された形式で紹介するために提供される。この概要は、請求される主題の重要な特徴または不可欠な特徴を識別または除外することは意図されず、かつ、請求される主題の範囲を決定することの補助として使用されることも意図されない。
1つの側面では、実施形態は、イベントに関する画像内の少なくとも1人の参加者を識別するための方法に関する。方法は、イベントに関する画像を受信することと、メモリ上に記憶されている命令を実行するプロセッサを使用して、画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャと、画像内の少なくとも1つの顔を識別するための顔識別プロシージャとのうちの少なくとも一方を実行することと、プロセッサを使用して、印識別プロシージャおよび顔識別プロシージャの実行のうちの少なくとも一方に基づいて、画像内の人物を識別することとを含む。
いくつかの実施形態では、方法は、画像採集デバイスから、画像が採集されたときに関する時間データを受信することと、印が認識されたときに関する時間データを受信することと、画像採集デバイスからの時間データと印が認識されたときに関する時間データとの間の差異に基づいて、プロセッサを較正することとを含む。
いくつかの実施形態では、方法は、受信された画像が採集された場所を決定するための位置特定プロシージャを実行することを含み、画像内の人物を識別することは、受信された画像が採集された場所を利用することをさらに含む。いくつかの実施形態では、位置特定プロシージャは、画像採集デバイスと関連付けられた場所データと、画像内の人物と関連付けられた場所データとのうちの少なくとも一方を分析する。
いくつかの実施形態では、方法は、プロセッサを使用して、画像内の衣服を識別するための衣服認識プロシージャを実行することをさらに含み、画像内の人物を識別することは、識別された衣服を利用することをさらに含む。
いくつかの実施形態では、方法は、画像内で識別された人物に関するフィードバックを受信することと、受信されたフィードバックに基づいて、印識別プロシージャと顔識別プロシージャとのうちの少なくとも一方を更新することとをさらに含む。
いくつかの実施形態では、視覚的な印は、画像内の人物によって装着される識別子の少なくとも一部を含む。
いくつかの実施形態では、方法は、画像が採集されたときに関する時間データを受信することをさらに含み、画像内の人物を識別することは、画像に関する受信された時間データを参加者に関する時間データのうちの少なくとも1つと合致させることをさらに含む。
いくつかの実施形態では、方法は、印識別プロシージャおよび顔認識プロシージャの実行のうちの少なくとも一方に基づいて、信頼度スコアを画像部分に割り当てることと、割り当てられた信頼度スコアが閾値を超過するかどうかを決定することをさらに含み、画像内の人物を識別することは、閾値を超過する画像部分の割り当てられた信頼度スコアに基づいて、人物を識別することを含む。
いくつかの実施形態では、方法は、後の読出のために、識別された人物を含む画像の複数の画像部分を索引付けすることをさらに含む。
いくつかの実施形態では、方法は、第1の参加者のベースライン画像を受信することと、第1の識別子を受信することと、第1の参加者のベースライン画像に基づいて、第1の識別子を第1の参加者と関連付けることとをさらに含む。
別の側面によると、実施形態は、イベントに関する画像内の少なくとも1人の参加者を識別するためのシステムに関する。システムは、イベントに関する画像を受信するためのインターフェースと、メモリ上に記憶されている命令を実行するプロセッサとを備え、プロセッサは、画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャと、画像内の顔を識別するための顔識別プロシージャとのうちの少なくとも一方を実行することと、印識別プロシージャおよび顔識別プロシージャのうちの少なくとも一方の実行に基づいて、画像内の人物を識別することとを行うように構成される。
いくつかの実施形態では、プロセッサは、受信された画像が採集された場所を決定するための位置特定プロシージャを実行することと、画像が採集された場所を利用して、画像内の人物を識別することとを行うようにさらに構成される。いくつかの実施形態では、位置特定プロシージャは、画像採集デバイスと関連付けられた場所データと、画像内の人物と関連付けられた場所データとのうちの少なくとも一方を分析する。
いくつかの実施形態では、プロセッサは、画像内の衣服を識別するための衣服認識プロシージャを実行することと、識別された衣服を利用して、画像内の人物を識別することとを行うようにさらに構成される。
いくつかの実施形態では、インターフェースは、画像内で識別された人物に関するフィードバックを受信するようにさらに構成され、プロセッサは、受信されたフィードバックに基づいて、印識別プロシージャと顔識別プロシージャとのうちの少なくとも一方を更新するようにさらに構成される。
いくつかの実施形態では、視覚的な印は、画像内の人物によって装着される識別子の少なくとも一部を含む。
いくつかの実施形態では、プロセッサは、画像に関する時間データを受信することと、画像に関する受信された時間データを利用して、人物を識別することとを行うようにさらに構成される。
いくつかの実施形態では、プロセッサは、印識別プロシージャおよび顔認識プロシージャの実行のうちの少なくとも一方に基づいて、信頼度スコアを画像部分に割り当てることと、割り当てられた信頼度スコアが閾値を超過するかどうかを決定することと、閾値を超過する割り当てられた信頼度スコアに基づいて、画像部分内の人物を識別することとを行うようにさらに構成される。
いくつかの実施形態では、プロセッサは、後の読出のために、識別された人物を含む画像の複数の像部分を索引付けするようにさらに構成される。
本開示の非限定的かつ非網羅的な実施形態が、以下の図を参照して説明され、同様の参照番号は、別様に規定されない限り、種々の図面全体を通して同様の部分を指す。
図1は、一実施形態による、イベントに関する画像内の少なくとも1人の参加者を識別するためのシステムを図示する。
図2は、一実施形態による、イベントに関する画像内の少なくとも1人の参加者を識別するための方法を図示する。
種々の実施形態が、添付図面を参照して、以下により完全に説明され、添付図面は、実施形態の一部を形成し、かつ特定の例示的実施形態を示す。しかしながら、本開示の概念は、多くの異なる形態で実装され得、本明細書に述べられる実施形態に限定されるように解釈されるべきではなく、むしろ、これらの実施形態は、当業者に本開示の概念、技術、および実装の範囲を完全に伝達するための、徹底的かつ完全な開示の一部として提供される。実施形態は、方法、システム、またはデバイスとして実践され得る。故に、実施形態は、ハードウェア実装、全体的なソフトウェア実装、またはソフトウェア側面とハードウェア側面とを組み合わせる実装の形態をとり得る。したがって、以下の詳細な説明は、限定する意味としてとらえられないものとする。
本明細書における「1つの実施形態」または「ある実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本開示による少なくとも1つの例示的実装または技法に含まれることを意味する。本明細書中の種々の場所における語句「1つの実施形態では」の出現は、必ずしも全てが同一の実施形態を指しているわけではない。本明細書中の種々の場所における語句「いくつかの実施形態では」の出現は、必ずしも全てが同一の実施形態を指しているわけではない。
後に続く説明のいくつかの部分は、コンピュータメモリ内に記憶されている非一過性信号上の動作の象徴的表現の観点から提示される。これらの説明および表現は、その研究の内容を他の当業者に最も効率的に伝達するために、データ処理分野における当業者によって使用される。そのような動作は、典型的には、物理量の物理的操作を要求する。通常、必ずしもというわけではないが、これらの量は、記憶され、転送され、組み合わせられ、比較され、かつ別様に操作されることが可能である電気信号、磁気信号または光信号の形態をとる。主として一般的な使用の理由のために、これらの信号を、ビット、値、要素、記号、文字、アイテム、数、または同等のものと称することが、時として便宜的である。さらに、物理量の物理的操作を要求するステップのある配列を、モジュールまたはコードデバイスと称することもまた、時として、一般性を失うことなく、便宜的である。
しかしながら、これらおよび同様の用語の全ては、適切な物理量と関連付けられるものとし、これらの量に適用される単なる便宜的なラベルにすぎない。特に以下の議論から明白に別様に述べられない限り、説明全体を通して、「処理する」または「算出する」または「計算する」または「決定する」または「表示する」または同等のもの等の用語を利用する議論は、コンピュータシステムメモリもしくはレジスタ、または他のそのような情報記憶デバイス、情報伝送デバイスもしくは表示デバイス内で物理(電子)量として表されるデータを操作および変換させるコンピュータシステムまたは同様の電子コンピューティングデバイスの作用およびプロセスを指す。本開示の一部は、プロセスおよび命令を含み、プロセスおよび命令は、ソフトウェア、ファームウェア、またはハードウェアとして具現化され得、ソフトウェアとして具現化されるとき、ダウンロードされ、種々のオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、かつそこから動作させられ得る。
本開示はまた、本明細書中の動作を実施するための装置に関する。この装置は、要求される目的のために専用に構成され得るか、または、この装置は、コンピュータ内に記憶されているコンピュータプログラムによって選択的にアクティブ化もしくは再構成される汎用コンピュータを備え得る。そのようなコンピュータプログラムは、限定ではないが、フロッピー(登録商標)ディスク、光学ディスク、CD-ROM、磁気光学ディスク、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードもしくは光学カード、特定用途向け集積回路(ASIC)を含む任意のタイプのディスク、または、電子命令を記憶するために好適な任意のタイプの媒体等のコンピュータ可読記憶媒体内に記憶され得、それらの各々が、コンピュータシステムバスに結合され得る。さらに、本明細書において言及されるコンピュータは、単一のプロセッサを含み得るか、または増加させられた演算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本明細書中に提示されるプロセスおよびディスプレイは、本質的に、いかなる特定のコンピュータまたは他の装置とも関連しない。種々の汎用システムが、本明細書中の教示によるプログラムと併用され得るか、または、1つ以上の方法ステップを実施するためにより特殊な装置を構築することが便宜的であると証明し得る。種々のこれらのシステムのための構造が、以下の説明において議論される。加えて、本開示の技術および実装を達成するために十分である任意の特定のプログラミング言語が、使用され得る。種々のプログラミング言語が、本明細書において議論されるように、本開示を実装するために使用され得る。
加えて、本明細書中で使用される言語は、主として、読み易さおよび指導的目的のために選択されており、開示される主題を境界付けするためまたは範囲を定めるために選択されてはいない場合がある。故に、本開示は、本明細書に議論される概念の範囲を例証しているものであり、それを限定するものではないことが意図される。
本明細書において説明される実施形態は、画像内のイベント参加者を識別するためのシステムおよび方法を提供する。具体的には、本明細書において説明される実施形態は、ビブ等の視覚的な印またはマーカ、識別された顔、認識された衣服、場所データ、および時間データのうちの任意の1つ以上に依拠し得る。したがって、本明細書において説明されるシステムおよび方法は、最先端の認識ソフトウェアを使用して、既存の技法を用いて可能であるよりも、採集された画像内の参加者の精密かつ高い信頼度の識別を達成し得る。
いくつかの実施形態では、対象イベントは、マラソン、ハーフマラソン、10キロメートルレース(「10k」)、5キロメートルレース(「5k」)、または同等のもの等のレースであり得る。本願は、主に、参加者が走る、歩く、またはジョギングするレースイベントを議論するが、説明される実施形態は、トライアスロン、十種競技、自転車レース、または同等のもの等の他のタイプのスポーツイベントまたはレースと併せて使用され得る。
動作時、イベント主催者等のユーザが、レースにおける参加者のリストを生成または別様に受信し得る。そして、主催者は、各参加者に、数字識別子、英字識別子、英数字識別子、記号識別子、または同等のもの等のいくつかの識別子(単純化のために、「識別子」)を割り当て得る。
レースの前に、イベント主催者は、参加者に、彼らが装着するためのビブまたはいくつかの他のラベルを発行し得る。より具体的には、各参加者は、彼らの割り当てられた識別子を有するビブを発行され得る。そして、参加者は、最低限彼らがイベントに参加するために登録されていることをイベント主催者に保証するために、その発行されたビブを装着するように指示され得る。
レース中、参加者の画像が、レース経路の全体を通した種々の場所において採集され得る。本願の文脈では、用語「画像」は、写真、ビデオ(例えば、分析され得るもののフレーム)、ミニクリップ、アニメーション化された写真、ビデオクリップ、モーションフォト、または同等のものを指し得る。画像は、参加者の家族または友人によって、専門のビデオ撮影家によって、イベント主催者によって雇われた写真家によって、固定式画像採集デバイスによって、またはそれらのいくつかの組み合わせによって採集され得る。
採集された画像は、分析のために、1つ以上のプロセッサに通信され得る。そして、プロセッサ(単数または複数)は、画像内の参加者を識別するために、または、別様に、ある参加者を含む画像を識別するために、種々の技法のうちの1つ以上を使用して、受信された画像を分析し得る。
故に、本明細書に説明される方法およびシステムは、最も関連のある像を識別するためにイベントの画像を分析するための新規の方法を提供する。そして、画像は、ある参加者を含む画像が視認のために記憶され続いて読み出され得るように、索引付けされ得る。
図1は、一実施形態による、イベントに関する画像内の少なくとも1人の参加者を識別するためのシステム100を図示する。システム100は、ユーザ106への提示のためのユーザインターフェース104を実行するユーザデバイス102を含み得る。ユーザ106は、イベント画像を精査する任務を負うイベント管理者または別の者、イベント参加者、参加者の友人または家族の一員、またはイベント参加者の画像を採集または精査することに関連する他の者であり得る。
ユーザデバイス102は、ユーザインターフェース104を実行することが可能な任意のハードウェアデバイスであり得る。ユーザデバイス102は、ラップトップ、PC、タブレット、モバイルデバイス、テレビ、または同等のものとして構成され得る。ユーザデバイス102の厳密な構成は、それがユーザインターフェース104を実行し、これをユーザ106に提示し得る限り、変動し得る。ユーザインターフェース104は、ユーザ106が、例えば、識別子を参加者と関連付けること、イベントに関する画像を視認すること、着目参加者(すなわち、画像を選択するための参加者)を選択すること、着目参加者を含む選択された画像を視認すること、フィードバックを提供すること、または同等のことを行うことを可能にし得る。
ユーザデバイス102は、1つ以上のネットワーク136を経由して1つ以上のプロセッサ108と通信し得る。プロセッサ(単数または複数)108は、メモリ110上に記憶されている命令を実行し、本明細書において説明される種々の実施形態の目的を遂行することが可能であるハードウェアデバイスのうちの任意の1つ以上であり得る。プロセッサ(単数または複数)108は、現在入手可能なものか、または今後発明されるものかにかかわらず、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、もしくは別の同様のデバイス上で実行するソフトウェアとして実装され得る。
いくつかの実施形態では、システム100は、インターネットを横断して実行するウェブベースまたはアプリケーションベースのインターフェースに依拠し得る。例えば、ユーザデバイス102は、ウェブユーザインターフェースをレンダリングし得る。しかしながら、他の場合では、システム100は、ユーザのモバイルデバイスまたは他のタイプのデバイス上でソフトウェアを実行するアプリケーションバージョンに依拠し得る。
いくつかの実施形態では、代わりに、1つ以上のASICに依拠するもの等、部分的にソフトウェアを介して提供されるものとして説明される機能性が、ASICの設計に構成され得、したがって、関連付けられるソフトウェアが、省略され得る。プロセッサ(単数または複数)108は、ユーザインターフェース104が実行するユーザデバイス102(ラップトップ等)の一部として構成され得るか、または、おそらく、ある遠隔場所にあるかもしくはクラウドベースのソリューションとして構成される異なるコンピューティングデバイス上に位置し得る。
図1は、単一のプロセッサ108を図示するのみであるが、動作時、いくつかの処理デバイスが存在し得る。これらは、サーバソフトウェアを実行するプロセッサと、ユーザデバイス106(またはエンドユーザと関連付けられる他のデバイス)上で起動するプロセッサ(単数または複数)とを含み得る。
メモリ110は、L1、L2、L3キャッシュまたはRAMメモリ構成であり得る。メモリ110は、上記で議論されるように、フラッシュメモリ、EPROM、EEPROM、ROM、およびPROM等の不揮発性メモリ、または静的RAMもしくは動的RAM等の揮発性メモリを含み得る。メモリ110の厳密な構成/タイプは、当然ながら、画像内のイベント参加者を識別するための命令が、プロセッサ108によって実行され、本明細書において説明される種々の実施形態の特徴を遂行し得る限り、変動し得る。
プロセッサ108は、メモリ110上に記憶されている命令を実行して、本明細書において説明される実施形態の目的を遂行するための種々のモジュールを提供し得る。具体的には、プロセッサ108は、インターフェース112と、識別子生成モジュール114と、印識別モジュール116と、顔識別モジュール118と、時間分析モジュール120と、場所分析モジュール122と、画像選択モジュール124とを実行するか、または別様に含み得る。
既に議論されたように、ユーザ106は、最初に、イベントにおける参加者のリストを取得または別様に受信し得る。このリストは、1つ以上のデータベース126の中に記憶されるか、または別様にそれから受信され得る。
そして、ユーザ106は、識別子を各参加者に割り当て得る。例えば、ユーザ106は、識別子「0001」を第1のリストアップされた参加者に割り当て、「0002」を第2のリストアップされた参加者に割り当て得、以下同様であり得る。
代替として、識別子生成モジュール114は、次いで、複数の無作為の識別子を生成し、それらの各々が異なる参加者に割り当てられ得る。故に、各参加者は、ある一意の識別子と関連付けられ得る。
レースまたはイベントの開始に先立って、各参加者は、彼らの関連付けられる識別子を有するビブを受け取り得る。これらのビブは、参加者の衣服にわたって装着され得、参加者の正面側および/または参加者の背面側に識別子を提示し得る。言い換えると、観客は、参加者の識別子が参加者の正面にあるか背面にあるかにかかわらず、参加者の識別子を見ることができる。同様に、参加者の画像もまた、参加者の識別子を含み得る。
いくつかの実施形態では、プロセッサ108はまた、参加者のうちの1人以上のベースライン画像を受信し得る。例えば、参加者は、レースの前に(例えば、「自撮写真」を撮影することによって)自身の画像を採集し得、データベース(単数または複数)126内での記憶のために、それらの採集された画像をプロセッサ108に通信し得る。または、ユーザ106もしくはある他のイベント人員が、イベントに先立って、参加者のベースライン画像、ならびにその衣服、ビブ、もしくは同等のものを採集し得る。本願の文脈では、用語「衣服」は、画像内の参加者と関連付けられるように見え得るように、参加者によって装着されるか、または別様にそれにもしくはその上に取り付けられるあらゆるものを指し得る。この衣服は、限定ではないが、ブレスレット、腕時計もしくは他のデバイス、帽子、キャップ、靴、リュック、旗、横断幕、または同等のものを含み得る。
プロセッサ108は、次いで、ベースライン画像を参加者の氏名および彼らの識別子に据え付けるか、または別様に関連付け得る。例えば、1人以上の参加者に関して、このデータが、以下の形態でデータベース(単数または複数)126の中に記憶され得る。
Figure 2022511058000002
故に、ベースライン画像は、採集されたイベントの画像内の参加者を識別することに役立ち得る。例えば、顔識別モジュール118は、他の画像内の参加者の識別を促進するように、ベースライン画像の特徴を分析し、参加者の顔の種々の特性について学習し得る。
本明細書において説明されるシステムおよび方法の実施形態の全てが、前述のベースライン画像を考慮するわけでも、別様にそれに依拠するわけでもない。同様に、本明細書におけるシステムおよび方法の実施形態の全てが、イベントに先立って、参加者と彼らの識別子との間の関連付けを把握することを必要とするわけではない。むしろ、システム100は、例えば、参加者の顔の特性および/または彼らの識別子によって、イベント画像内で彼らを認識するように学習し得る。
例えば、いくつかの実施形態では、イベント主催者等のユーザ106は、イベントの前に参加者のリストを提供されない場合がある。この場合、(下記に議論される)OCRエンジン138が、受信された画像を分析し、参加者の候補リストを生成し得る。
プロセッサ108は、ユーザ106から、ならびに1つ以上のネットワーク136を経由して1つ以上の画像採集機128、130、132、および134(単純化のために、「採集機」)からイベント画像を受信し得る。採集機128-34は、ラップトップ、スマートフォン、カメラ、スマートウォッチ、およびPC等のデバイス、またはイベントの画像を採集するように構成されるかもしくは別様にそのための画像採集デバイス(例えば、カメラ)と連動する任意の他のタイプのデバイスとして図示される。カメラ132に関して、画像が、カメラのオペレータによって採集され、SDカード上に記憶され得る。後に、SDカード上に記憶されている画像が、分析のために、プロセッサ108に提供され得る。
採集機128-34は、イベント観客等の人々を含み得る。例えば、これらの観客は、イベント参加者の友人、参加者の家族の一員、参加者のファン、または別様に、イベントを観ることおよびその画像を採集することに興味を持つ人々であり得る。いくつかの実施形態では、採集機128は、イベント主催者によって雇われた専門の写真家またはビデオ撮影家であり得る。
採集機128-34は、画像を採集する(例えば、ピクチャを撮影する)ときに、採集された画像がプロセッサ108に自動的にアップロードされるように、採集機のそれぞれの画像採集デバイスを構成し得る。または、採集機128-34は、分析のためにそれらの画像をプロセッサ108に通信する前に、それらの採集された画像を精査し得る。
ユーザ106が、イベントのためのプロジェクトを生成すると、ユーザ106は、招待を任意の好適な方法を介して採集機128-34に通信し得る。例えば、ユーザ106は、電子メール、SMSを経由して、ソーシャルメディアを通して、テキストを通して、または同等のものによって、招待を送信し得る。メッセージは、リンクを含み得、リンクは、アクティブ化されると、採集機128-34がそれらの画像をプロセッサ108にアップロードすることを可能にする。
ネットワーク136は、種々のタイプのネットワーク接続を用いてこれらの種々の資産および構成要素とリンクし得る。ネットワーク(単数または複数)136は、インターネット、イントラネット、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、ストレージエリアネットワーク(SAN)、フレームリレー接続、高度インテリジェントネットワーク(AIN)接続、同期光通信網(SONET)接続、デジタルT1、T3、E1、またはE3ライン、デジタルデータサービス(DDS)接続、デジタル加入者回線(DSL)接続、イーサネット(登録商標)接続、総合型サービスデジタル通信網(ISDN)ライン、V.90、V.34、もしくはV.34bisアナログモデム接続等の電話回線ポート、ケーブルモデム、非同期転送モード(ATM)接続、ファイバ分散型データインタフェース(FDDI)接続、銅線分散型データインタフェース(CDDI)接続、または、光/DWDMネットワークのうちの任意の1つ以上から成るか、またはそれらにインターフェース接続し得る。
ネットワーク(単数または複数)136はまた、ワイヤレスアプリケーションプロトコル(WAP)リンク、Wi-Fiリンク、マイクロ波リンク、汎用パケット無線サービス(GPRS)リンク、グローバルシステムフォーモバイルコミュニケーションG(SM)リンク、符号分割多元接続(CDMA)リンク、または時分割多元接続(TDMA)リンク(携帯電話チャネル、全地球測位システム(GPS)リンク、セルラーデジタルパケットデータ(CDPD)リンク、リサーチインモーション社(RIM)デュプレックスページングタイプデバイス、Bluetooth(登録商標)無線リンク、もしくはIEEE 802.11系リンク等)のうちの任意の1つ以上を備えるか、それらを含むか、またはそれらとインターフェース接続し得る。
データベース(単数または複数)126は、例えば、ある人々(例えば、彼らの顔の特徴)、場所、イベントと関連付けられるデータ、または同等のものに関連する画像および他のデータを記憶し得る。言い換えると、データベース(単数または複数)126は、プロセッサ108の種々のモジュールが、受信された画像内でこれらの人々またはエンティティを認識し得るように、特定の人々または他のエンティティに関するデータを記憶し得る。データベース(単数または複数)126の中に記憶されているデータの厳密なタイプは、本明細書において説明される種々の実施形態の特徴が遂行され得る限り、変動し得る。例えば、いくつかの実施形態では、データベース(単数または複数)126は、レースの経路および/またはタイミング等のイベントに関するデータを記憶し得る。
プロセッサインターフェース112が、ユーザデバイス102(例えば、ユーザデバイス102のカメラ)から、種々のフォーマットで画像を受信し得る。画像は、限定ではないが、電子メール、SMSテキストメッセージ、iMessage、Whatsapp、Facebook、Instagram、Snapchat、他のソーシャルメディアプラットフォームまたはメッセージングアプリケーション等の任意の好適なプロトコルまたはアプリケーションを介して送信され得る。同様に、インターフェース112は、採集機128-34からもイベント画像を受信し得る。
プロセッサ108は、次いで、種々のプロシージャのうちの任意の1つ以上を実行して、受信された画像を分析し得る。例えば、印識別モジュール116は、OCR(光学文字認識)エンジン138およびバーコードリーダ140のうちの1つ以上を実行し得る。OCRエンジン138は、受信された画像内の識別子(単数または複数)を分析するための任意の好適な技法を実装し得る。いくつかの実施形態では、OCRエンジン138は、マトリクスマッチングプロシージャを実行し、受信された画像の一部分(例えば、識別子に対応するもの)が、ピクセルに基づいてグリフと比較され得る。
他の実施形態では、OCRエンジン138は、特徴抽出技法を実行し、グリフが、線、線方向、ループ、または同等のものに基づいて特徴に分解され、識別子(単数または複数)の構成要素を認識し得る。OCRエンジン138はまた、受信された画像のアスペクト比を正規化すること、受信された画像から歪み除去すること、受信された画像から斑点除去すること、または同等のもの等の任意のタイプの前処理ステップを実施し得る。
バーコードリーダ140は、任意のタイプの視覚的印または記号的印に関して画像を走査し得る。これらは、限定ではないが、参加者のビブまたは同等のもの上に存在し得るバーコードもしくはクイックレスポンス(QR)コードを含み得る。
いくつかの実施形態は、ビブ以外の識別子を置換物としてかまたは拡張物として使用し得る。これらは、限定ではないが、参加者の身体、ヘッドバンド、手首バンド、腕バンド、または脚バンド上の上記で議論されるようなQRコード(登録商標)、幾何学パターン、または色パターンを含み得る。これらの識別子は、参加者を一意に識別し、したがって、混乱の可能性を低減させ得る。
1つの例示的シナリオでは、参加者は、2345のような番号を有するヘッドバンドを装着し得、番号が加算され、最後の桁は、ヘッドバンドの色を導出するために使用される(2+3+4+5=14)。最後の桁は、4であり、4は、黄色にマッピングされることになる。印識別モジュール116は、先頭の2を検出し損ねたが「345」および黄色の色のみが見える場合、桁の合計が4で終わるためには、欠損している桁が2である必要があることを把握する。
顔識別モジュール118は、種々の顔検出プログラムを実行して、種々の画像部分内の顔の存在を検出し得る。プログラムは、例えば、OPENCV、具体的には、ニューラルネットワークを含むか、またはそれに基づき得る。再び、これらのプログラムは、ユーザデバイス102上および採集機128-34と関連付けられるデバイス上、ならびに/または、遠隔場所にあるサーバ上で実行し得る。厳密な技法またはプログラムは、本明細書において説明される種々の実施形態の特徴を遂行するために画像内の顔特徴を検出し得る限り、変動し得る。
顔識別モジュール118は、種々の顔認識プログラムを実行し、種々の画像部分内のある人々を識別し得る。顔識別モジュール118は、上記で議論されるようなベースライン画像等、人々および彼らの顔特性に関するデータを記憶している1つ以上のデータベース126と通信し得る。顔識別モジュール118は、幾何学形状ベースのアプローチおよび/または測光ベースのアプローチを使用し得、主成分分析、線形判別分析、ニューラルネットワーク、弾性バンチグラフマッチング、HMM、多重線形部分空間学習、もしくは同等のものに基づく技法を使用し得る。
顔識別モジュール118は、顔の埋込を通して顔属性を検出し得る。検出される顔属性は、限定ではないが、Hasglasses、Hassmile、年齢、性別、および顔座標(pupilLeft、pupilRight、noseTip、mouthLeft、mouthRight、eyebrowLeftOuter、eyebrowLeftInner、eyeLeftOuter、eyeLeftTop、eyeLeftBottom、eyeLeftInner、eyebrowRightInner、eyebrowRightOuter、EyeRightInner、eyeRightTop、eyeRightBottom、eyeRightOuter、noseRootLeft、noseRootRight、noseLeftAlarTop、noseRightAlarTop、noseLeftAlarOutTip、noseRightAlarOutTip、upperLipTop、upperLipBottom、underLipTop、underLipBottom、または同等のものに関するもの)を含み得る。
顔識別モジュール118は、受信された画像の内容を分析するための種々の視覚技法を実装し得る。これらの技法は、限定ではないが、スケール不変特徴変換(SIFT)、高速化ロバスト特徴(SURF)技法、または同等のものを含み得る。これらは、教師あり機械学習技法および教師なし機械学習技法を含み得る。使用される厳密な技法は、受信された画像の内容を分析して、本明細書において説明される種々の実施形態の特徴を遂行し得る限り、変動し得る。
顔識別モジュール118は、選択画像部分を、1人以上の人々と関連付けられる画像の一部であるものとして群化し得る。すなわち、画像部分は、ある人物を含むものとして識別される多くのもののうちの1つであり得る。これらの画像部分は、後の読出および視認のために、索引付けされ、記憶され得る。
時間分析モジュール120は、画像のタイミングに関するデータを受信し得る。具体的には、画像が採集されたときに関するデータが、採集された画像内の参加者を識別することに役立つように使用され得る。例えば、画像が撮影されたときおよび場所に関するデータ、ならびにユーザがその時間および場所において写真家の近傍にいたかどうかが、例えば顔認識を使用して識別されるべき画像内の可能性として考えられる参加者のセットを低減させることによって、識別率をさらに高め得る。これは、参加者が、ある場所およびある時間において参加者を位置決めする電子タグを装着しており、写真家が同一の場所にいる(かつ、画像が、時間データを含む)ときに生じ得る。このデータを用いて、プロセッサ108は、参加者が特定の時間において撮影された画像内に存在していることの信頼度を増加させ、同様に、他の時間に撮影された画像の信頼度を低減させ、または、さらにそれを除外さえし得る。
位置特定モジュール122は、画像を採集するときの画像採集デバイスの場所に関するデータと、参加者の場所に関するデータとを活用し得る。本明細書において説明されるシステムおよび方法の実施形態は、時間および空間における参加者の場所を識別するための複数の手段を使用し得る。これらは、限定ではないが、RFID、NFC、Bluetooth(登録商標)、Wifi、GPS、または他の技法もしくはデバイスを含み、それらは、画像採集デバイスに近接するセンサまたはビーコンを検出するかもしくは別様にこれらと相互作用する参加者(単数または複数)によって装着される。いくつかの実施形態では、これらのセンサまたはビーコンは、レースの経路の全体を通した種々の場所に設置され得る。加えて、または代替として、これらのセンサは、単に、ある時間間隔で参加者の場所および位置を記録し得る。
いくつかの実施形態では、採集された画像は、その捕捉時間およびその場所をタグ付けされ得る。画像の場所は、暗黙的(例えば、写真家が特定の場所に割り当てられている場合)であるか、またはカメラ/携帯電話の場所情報を介して判定され得る。この情報は、典型的には、例えば、GPS、Wifi、携帯電話中継塔、および他の測位技術によって採集される。
故に、この時間および場所データは、それぞれ、時間分析モジュール120およびに位置特定モジュール122によって分析され、ある参加者が受信された画像内に存在するかどうかを識別することに役立ち得る。
そして、モジュール116-22のうちの1つ以上によって行われた分析に基づいて、画像選択モジュール124は、1人以上の選択された参加者を含む画像部分を選択し得る。画像選択モジュール124は、参加者が他の画像部分よりもいくつかの画像部分内に存在することの高い信頼度を有し得る。
いくつかの実施形態では、モジュール116-22のうちの1つ以上は、参加者がある画像部分内に存在することの「投票」を提供し得る。例えば、顔識別モジュール118は、参加者が受信された画像部分内に存在することを決定し得る。しかしながら、画像部分は、参加者の識別子が画像部分内に完全に示されていないようなオクルージョンを有し得る。この場合、顔識別モジュール118は、参加者が画像部分内に存在することの投票を出力し得るが、印識別モジュール116は、参加者の関連付けられた識別子を識別していなかったため、画像部分が参加者を含んでいないことの投票を出力し得る。しかしながら、位置特定モジュール122が、画像が採集された時間において画像採集デバイスの場所に参加者がいたことを示唆する場所データを受信していた場合、位置特定モジュール122は、参加者が画像内に存在することの投票を出力し、それによって、他の2つのモジュール116、118間の結びつきを断絶させ得る。
いくつかの実施形態では、画像選択モジュール124は、画像部分が参加者を含むことと決定する前に、参加者が画像内に存在することのある数の「投票」を要求し得る。例えば、上記のシナリオでは、顔識別モジュール118および位置特定モジュール122からの出力は、画像選択モジュール124が、参加者が受信された像部分内に存在することを決定するために十分であり得る。他のより感度のアプリケーションは、画像部分が参加者を含むと結論付ける前に、モジュール116-22のうちの1つのみが、参加者がある画像部分内に存在することを決定することを要求し得る。
これらの「投票」は、本質的には、画像部分がある参加者を含む信頼レベルを表し得る。この信頼レベルは、上記に議論されるモジュール116-22によって実施される分析に加えて、いくつかの要因に依存し得る。例えば、データベース(単数または複数)126が、参加者のベースライン画像を含み、受信された画像内の参加者が、ベースライン画像内の参加者に合致する場合、本明細書にいて説明されるシステムおよび方法は、参加者が受信された画像内に存在することの(例えば、ある所定の閾値を上回る)高い信頼度を有し得る。
投票に関する上記の議論は、画像が選択され得る方法の簡略化された実施形態を提供することを意図しているにすぎない。他の実施形態では、これらの投票は、ランダムフォレストまたは他のもの等の種々の機械学習プロシージャに依拠する新規のアルゴリズムに従って融合されてもよい。故に、本願は、これらの投票を集約するための任意の特定のプロシージャに限定されるべきではない。
別の例として、参加者のビブが別の参加者または他の物体によって遮られた場合、それらの識別子は、全体的に示されない場合がある。この場合、他のデータが考慮されない場合、本明細書において説明されるシステムおよび方法は、ある参加者が受信された画像内に存在していることの低い信頼度を有し得る。
同様に、システムおよび方法が、ビブ識別子認識に関してより低い信頼度を有しているか、または識別子のいくつかの桁を認識していなかった(もしくは見えてすらいなかった)だけではなく、顔合致の中程度の信頼度も有している場合であっても、システムおよび方法は、参加者がこの画像内に存在する可能性が高いことを結論付けることができる。言い換えると、ある情報(またはその欠如)は、他のタイプの識別情報によって補完され、参加者を識別し得る。
故に、個々の画像部分に割り当てられる信頼値またはスコアに影響を及ぼし得るいくつかの要因が、存在する。閾値を上回る信頼値またはスコアを有する画像部分が、選択され得る。いくつかの実施形態では、ユーザ106は、最初に、最高信頼度スコアを有する複数の画像部分を提示され得る。ユーザ106はまた、同様に、より低い信頼度スコアを有する他の画像部分を視認するための選択肢を提示され得る。
画像選択モジュール124はまた、最良の画像部分を選択するためのポジティブ/ネガティブ顔美観ニューラルネットワークを実装し得る。例えば、ニューラルネットワークは、参加者の眼が閉じられている参加者の画像部分よりも、その眼が開けられている参加者の画像部分を選択し得る。考慮され得る複数の画像美観が存在し得る。画像分析は、ぼやけている写真、焦点があっている写真、適切に中心に位置合わせされている写真等を検出し得る。
ある参加者を含むと決定された画像部分が、選択され、ユーザ106に提示され得る。ユーザは、次いで、画像部分(単数または複数)が実際に着目参加者を含むかどうかに関するフィードバックを提供し得る。このフィードバックは、プロセッサ(単数または複数)108によって実施される分析を洗練し、または向上させることに役立ち得る。
加えて、プロセッサ(単数または複数)108は、受信された画像に関するデータに基づいて、統計値を生成し得る。上記で議論されるように、採集された画像に関するタイミングデータが、印認識に関するデータと組み合わせられ得る。このデータの組み合わせは、例えば、画像が固定式画像採集デバイスによって撮影されたときと、識別された印を参加者が装着する経過との間の遅延についての統計値(例えば、平均値、標準偏差)を生成するために使用され得る。
例えば、レースは、レース経路に沿って種々の場所に位置付けられた複数の固定式画像採集デバイスを有し得る。プロセッサ108が、ある参加者が平均でレース経路に沿ったそれらの場所に到達する3秒前にこれらの画像採集デバイスが写真を撮影していることを決定した場合、プロセッサ108は、画像採集デバイスに、写真を撮影することを数秒遅延させるように命令し、画像採集デバイスがある参加者の画像を採集することを確実にし得る。
レース経路の知識もまた、信頼値を生成することおよび画像部分を選択することを補助し得る。例えば、いくつかのイベントでは、レース経路が、一連の異なる障害物を有し得る。タイミングデータは、ある参加者が時間tにおいてレース中の第2の障害物に存在することを示し得る。画像部分が、時間t>tにおいてレース中の第1の障害物に参加者を示している(これは、第2の障害物の前に生じる)と考えられる場合、本明細書において説明されるシステムおよび方法は、参加者は、第2の障害物に存在する前に第1の障害物に存在するはずであるため、それがこの参加者ではあり得ないことを把握し得る。
これらの生成された統計値は、画像部分の信頼値を計算に入れ得る。例えば、ある画像部分が、ある参加者を含むように思われ得、その画像部分は、参加者がその時間において存在することが予期された場所で採集された。したがって、この画像部分は、(例えば、平均値または標準偏差値によって測定されるような)参加者のタイミングデータのかなり前またはかなり後に撮影された別の画像部分より高い信頼度スコアを有し得る。
図2は、一実施形態による、イベントに関連する画像内の少なくとも1人の参加者を識別するための方法200のフローチャートを描写する。図1のシステム100またはその構成要素は、方法200のステップを実施し得る。
ステップ202は、インターフェースで画像を受信することを伴う。画像は、既に議論されたもの等のいくつかの異なるタイプの画像を含み得る。画像は、既に議論されたようないくつかの採集機によって受信され得、スマートフォン、または、例えばDSLRカメラもしくは任意の他のデバイスを使用して撮影されたビデオおよび写真を含み得る。この画像の集合はまた、例えば、イベント主催者によって雇われた専門の写真家によって与えられた写真も含み得る。
随意のステップ204は、画像が採集されたときに関する時間データを受信することを伴う。例えば、受信された画像は、画像が採集されたとき(例えば、何時)を示すメタデータを含み得る。
ステップ206は、メモリ上に記憶されている命令を実行するプロセッサを使用して、画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャ、および画像内の少なくとも1つの顔を識別するための顔識別プロシージャのうちの少なくとも一方を実行することを伴う。印識別プロシージャは、図1の印識別モジュール116によって実施され得、顔識別プロシージャは、図1の顔識別モジュール118によって実施され得る。故に、ステップ206は、1つ以上のコンピュータビジョンまたは機械学習技法を実行し、受信された画像を分析してその画像の内容について学習することを伴い得る。具体的には、ステップ206は、(該当する場合)どの参加者が受信された画像部分内に存在するかについて学習することに役立ち得る。
ステップ208は、プロセッサを使用して、印識別プロシージャおよび顔識別プロシージャの実行のうちの少なくとも一方に基づいて、画像内の人物を識別することを伴う。ステップ208は、印識別モジュール116、顔識別モジュール118、または両方からの出力を考慮することを伴い得る。
ステップ210は、画像内の識別された人物に関するフィードバックを受信することと、受信されたフィードバックに基づいて、印識別プロシージャおよび顔識別プロシージャのうちの少なくとも一方を更新することとを伴う。例えば、ユーザ106等のユーザが、ある参加者を含むと考えられる複数の画像部分を提示され得る。そして、ユーザは、参加者が実際に像部分内に存在するかどうかを確認し得る。同様に、ユーザは、実際に誰が分析された画像内に存在するかを示し得る。このフィードバックは、画像分析を向上させるかまたは洗練するために使用され得る。
上記に議論される画像分析は、イベントに関して受信された全ての画像部分にわたって行われ得る。故に、図2の方法200は、ある参加者を含む全ての画像部分を識別するために使用され得る。そして、ある参加者を含むと決定された画像部分が、ユーザ(参加者自身等)に返され得る。
図2の方法200は、例示的にすぎず、本明細書において開示される特徴は、種々の方法において、種々の計画に従って実施され得る。例えば、開示される論理のいくつかが、(すなわち、画像の個々の断片の分析)画像部分のレベルにおいて実施され得る。そして、本明細書において説明されるシステムおよび方法は、画像部分のより総体的な精査を実施し得る。例えば、これは、同一の参加者の顔をともに群化またはクラスタ化することを伴い得る。このクラスタ化から、システムおよび方法は、検出された顔間の「距離」を算出し、それから信頼値を計算することが可能であり得る。これらのステップの他の例は、既に議論されたように、最初に供給されていない場合、あり得る印を識別することと、既に議論されたように、画像に関する統計値を算出することと、ある参加者を含み得る全ての画像部分の順序付けられたリストを創出することとを含み得、リストは、信頼度によって画像部分を等級付ける。
上記に議論された方法、システム、およびデバイスは、例である。種々の構成が、適切に種々のプロシージャまたは構成要素を省略、代用、または追加し得る。例えば、代替構成では、方法は、説明されたものとは異なる順序で実施され得、その種々のステップが、追加され、省略され、または組み合わせられ得る。また、ある構成に関して説明される特徴は、種々の他の構成において組み合わせられ得る。構成の異なる側面および要素が、同様の様式で組み合わせられ得る。また、技術は進化し、したがって、要素のうちの多くのものが、例であり、本開示または請求項の範囲を限定するものではない。
本開示の実施形態は、例えば、本開示の実施形態による方法、システム、およびコンピュータプログラム製品のブロック図および/または動作図を参照して上記に説明される。ブロック内に記載された機能/作用は、任意のフローチャートに示されるような順序以外で生じ得る。例えば、連続して示される2つのブロックは、伴われる機能性/作用に応じて、事実上、実質的に同時に実行され得、または、ブロックは、時として、逆の順序で実行され得る。加えて、または代替として、任意のフローチャート内に示されるブロックの全てが、実施および/または実行される必要はない。例えば、所与のフローチャートが、機能/作用を包む5つのブロックを有する場合、5つのブロックのうちの3つだけが、実施および/または実行される場合があり得る。この例では、5つのブロックの3つのうちのいずれかが、実施および/または実行され得る。
値が第1の閾値を超過する(または、それを上回る)という記述は、値が、第1の閾値より僅かに高い第2の閾値を満たす、またはそれを超過するという記述と同等であり、例えば、第2の閾値は、関連系の解像度において第1の閾値よりも1の値高い。値が第1の閾値を下回る(または、それ以内である)という記述は、値が第1の閾値より僅かに低い第2の閾値を下回る、またはそれに等しいという記述と同等であり、例えば、第2の閾値は、関連する系の解像度において第1の閾値よりも1の値低い。
具体的な詳細が、説明において与えられ、(実装を含む)例示的構成の徹底的な理解を提供する。しかしながら、構成は、これらの具体的な詳細を伴わず実用化され得る。例えば、周知の回路、プロセス、アルゴリズム、構造、および技術は、構成を不明瞭にすることを回避するために、不必要な詳細なく示されている。この説明は、例示的構成を提供するにすぎず、請求項の範囲、適用性、または構成を限定するものではない。むしろ、構成の前述の説明は、当業者に、説明される技術を実装するための実現可能な説明を提供するであろう。種々の変更が、本開示の意図または範囲から逸脱することなく、要素の機能および配列において成され得る。
いくつかの例示的構成を説明してきたが、種々の修正、代替構成、および均等物が、本開示の意図から逸脱することなく使用され得る。例えば、上記の要素は、より大きなシステムの構成要素であり得、他の規則が、本開示の種々の実装または技術の用途の上位に存在するかまたはそれを別様に修正し得る。また、いくつかのステップが、上記の要素が考慮される前、その間、またはその後に、着手され得る。
本願の説明および図を提供されてきたが、当業者は、以下の請求項の範囲から逸脱しない本願において議論される一般的な発明概念に属する変形例、修正、ならびに代替実施形態を想起し得る。

Claims (20)

  1. イベントに関する画像内の少なくとも1人の参加者を識別するための方法であって、
    前記イベントに関する画像を受信することと、
    メモリ上に記憶されている命令を実行するプロセッサを使用して、
    前記画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャと、
    前記画像内の少なくとも1つの顔を識別するための顔識別プロシージャと
    のうちの少なくとも一方を実行することと、
    前記プロセッサを使用して、前記印識別プロシージャおよび前記顔識別プロシージャの実行のうちの少なくとも一方に基づいて、前記画像内の人物を識別することと
    を含む、方法。
  2. 画像採集デバイスから、画像が採集されたときに関する時間データを受信することと、
    印が認識されたときに関する時間データを受信することと、
    画像採集デバイスからの前記時間データと、印が認識されたときに関する前記時間データとの間の差異に基づいて、前記プロセッサを較正するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記受信された画像が採集された場所を決定するための位置特定プロシージャを実行することをさらに含み、前記画像内の前記人物を識別することは、前記受信された画像が採集された場所を利用することをさらに含む、請求項1に記載の方法。
  4. 前記位置特定プロシージャは、画像採集デバイスと関連付けられた場所データと、前記画像内の前記人物と関連付けられた場所データとのうちの少なくとも一方を分析する、請求項3に記載の方法。
  5. 前記プロセッサを使用して、前記画像内の衣服を識別するための衣服認識プロシージャを実行することをさらに含み、前記画像内の前記人物を識別することは、前記識別された衣服を利用することをさらに含む、請求項1に記載の方法。
  6. 前記画像内で識別された前記人物に関するフィードバックを受信することと、
    前記受信されたフィードバックに基づいて、前記印識別プロシージャと前記顔識別プロシージャとのうちの少なくとも一方を更新することと
    をさらに含む、請求項1に記載の方法。
  7. 前記視覚的な印は、前記画像内の人物によって装着される識別子の少なくとも一部を含む、請求項1に記載の方法。
  8. 前記画像が採集されたときに関する時間データを受信することをさらに含み、前記画像内の前記人物を識別することは、前記画像に関する前記受信された時間データを、前記参加者に関する時間データのうちの少なくとも1つと合致させることをさらに含む、請求項1に記載の方法。
  9. 前記印識別プロシージャおよび前記顔認識プロシージャの実行のうちの少なくとも一方に基づいて、信頼度スコアを画像部分に割り当てることと、
    前記割り当てられた信頼度スコアが閾値を超過するかどうかを決定することであって、前記画像内の前記人物を識別することは、前記閾値を超過する前記画像部分の前記割り当てられた信頼度スコアに基づいて、前記人物を識別することを含む、ことと
    をさらに含む、請求項1に記載の方法。
  10. 後の読出のために、識別された人物を含む前記画像の複数の画像部分を索引付けすることをさらに含む、請求項1に記載の方法。
  11. 第1の参加者のベースライン画像を受信することと、
    第1の識別子を受信することと、
    前記第1の参加者の前記ベースライン画像に基づいて、前記第1の識別子を前記第1の参加者と関連付けることと
    をさらに含む、請求項1に記載の方法。
  12. イベントに関する画像内の少なくとも1人の参加者を識別するためのシステムであって、
    イベントに関する画像を受信するためのインターフェースと、
    メモリ上に記憶されている命令を実行するプロセッサと
    を備え、前記プロセッサは、
    前記画像内の少なくとも1つの視覚的な印を識別するための印識別プロシージャと、
    前記画像内の顔を識別するための顔識別プロシージャと
    のうちの少なくとも一方を実行することと、
    前記印識別プロシージャおよび前記顔識別プロシージャのうちの少なくとも一方の実行に基づいて、前記画像内の人物を識別することと
    を行うように構成される、システム。
  13. 前記プロセッサは、前記受信された画像が採集された場所を決定するための位置特定プロシージャを実行することと、前記画像が採集された場所を利用して、前記画像内の前記人物を識別することとを行うようにさらに構成される、請求項12に記載のシステム。
  14. 前記位置特定プロシージャは、画像採集デバイスと関連付けられた場所データと、前記画像内の前記人物と関連付けられた場所データとのうちの少なくとも一方を分析する、請求項13に記載のシステム。
  15. 前記プロセッサは、前記画像内の衣服を識別するための衣服認識プロシージャを実行することと、前記識別された衣服を利用して、前記画像内の前記人物を識別することとを行うようにさらに構成される、請求項12に記載のシステム。
  16. 前記インターフェースは、前記画像内で識別された前記人物に関するフィードバックを受信するようにさらに構成され、前記プロセッサは、前記受信されたフィードバックに基づいて、前記印識別プロシージャと前記顔識別プロシージャとのうちの少なくとも一方を更新するようにさらに構成される、請求項12に記載のシステム。
  17. 前記視覚的な印は、前記画像内の人物によって装着される識別子の少なくとも一部を含む、請求項12に記載のシステム。
  18. 前記プロセッサは、前記画像に関する時間データを受信することと、前記画像に関する前記受信された時間データを利用して、前記人物を識別することとを行うようにさらに構成される、請求項12に記載のシステム。
  19. 前記プロセッサは、
    前記印識別プロシージャおよび前記顔認識プロシージャの実行のうちの少なくとも一方に基づいて、信頼度スコアを画像部分に割り当てることと、
    前記割り当てられた信頼度スコアが閾値を超過するかどうかを決定することと、
    前記閾値を超過する前記割り当てられた信頼度スコアに基づいて、前記画像部分内の前記人物を識別することと
    を行うようにさらに構成される、請求項12に記載のシステム。
  20. 前記プロセッサは、後の読出のために、識別された人物を含む前記画像の複数の画像部分を索引付けするようにさらに構成される、請求項12に記載のシステム。
JP2021531991A 2018-12-07 2019-12-06 画像内の参加者識別 Pending JP2022511058A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862777062P 2018-12-07 2018-12-07
US62/777,062 2018-12-07
PCT/US2019/065017 WO2020118223A1 (en) 2018-12-07 2019-12-06 Participant identification in imagery

Publications (1)

Publication Number Publication Date
JP2022511058A true JP2022511058A (ja) 2022-01-28

Family

ID=70974019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531991A Pending JP2022511058A (ja) 2018-12-07 2019-12-06 画像内の参加者識別

Country Status (5)

Country Link
US (1) US20210390312A1 (ja)
EP (1) EP3891657A4 (ja)
JP (1) JP2022511058A (ja)
CN (1) CN113396420A (ja)
WO (1) WO2020118223A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
WO2010075430A1 (en) * 2008-12-24 2010-07-01 Strands, Inc. Sporting event image capture, processing and publication
US20160035143A1 (en) * 2010-03-01 2016-02-04 Innovative Timing Systems ,LLC System and method of video verification of rfid tag reads within an event timing system
US9471849B2 (en) * 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
AU2014364248B2 (en) * 2013-12-09 2019-11-21 Todd Martin System and method for event timing and photography

Also Published As

Publication number Publication date
EP3891657A1 (en) 2021-10-13
EP3891657A4 (en) 2022-09-28
CN113396420A (zh) 2021-09-14
US20210390312A1 (en) 2021-12-16
WO2020118223A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US11462017B2 (en) System for event timing and photography using image recognition of a portion of race-day attire
US10900772B2 (en) Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
US20190171868A1 (en) Systems and methods for facial representation
US9977951B2 (en) Picture ranking method, and terminal
CN110427859A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN109829418B (zh) 一种基于背影特征的打卡方法、装置和系统
JP2022509637A (ja) スカベンジャーハント促進
JP2018151833A (ja) 識別器学習装置および識別器学習方法
TWI602434B (zh) 路跑活動的拍照系統及其操作方法
CN108985174A (zh) 会员认证方法和装置
JP2022511058A (ja) 画像内の参加者識別
CN110324528A (zh) 摄像装置、影像处理系统及方法
CN106777030A (zh) 信息推送方法及装置
US20230267738A1 (en) System and Method for Identifying a Brand Worn by a Person in a Sporting Event
Gujarathi et al. Automatic Attendance System using a Group Image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240520

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240619