CN110869941A - 生成照片警方指认队列的系统和方法 - Google Patents

生成照片警方指认队列的系统和方法 Download PDF

Info

Publication number
CN110869941A
CN110869941A CN201880045718.9A CN201880045718A CN110869941A CN 110869941 A CN110869941 A CN 110869941A CN 201880045718 A CN201880045718 A CN 201880045718A CN 110869941 A CN110869941 A CN 110869941A
Authority
CN
China
Prior art keywords
image
images
suspect
photo
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880045718.9A
Other languages
English (en)
Inventor
M·C·格雷姆
T·M·麦金太尔
A·克洛茨
杨向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intergraph Corp
Original Assignee
Intergraph Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intergraph Corp filed Critical Intergraph Corp
Publication of CN110869941A publication Critical patent/CN110869941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Photoreceptors In Electrophotography (AREA)

Abstract

各种实施方式使计算机能够自动创建供警方使用的照片指认队列，并且这样做消除了与人工针对这样的照片指认队列进行陪衬者的选择中涉及的主观判断有关的风险。此外，各方面通过选择与嫌疑人的图像相似但不是太过相似的陪衬者图像，提高了照片指认队列的可靠性。

Description

生成照片警方指认队列的系统和方法
本专利申请要求2017年6月12日提交的题为“Familiar Face”并且发明人署名为Michael Copeland Graham、Timothy Mark McIntire、Anthony Klotz和Xiangdong Yang[执业者档案2686/1124]的美国临时专利申请No.62/518,192的优先权，其全部内容通过引用并入本文。
技术领域
本发明涉及警方指认队列(line-up)，尤其涉及基于照片的警方指认队列。
背景技术
警方指认队列是用于识别犯罪嫌疑人的众所周知的工具。传统上，警探会创建一个包括一名嫌疑人和若干陪衬者(filler)的真人指认队列。最近，警方已经开始使包括嫌疑人照片以及若干陪衬者照片的照片指认队列。
发明内容
根据一个实施方式，一种用于创建照片指认队列的系统，该照片指认队列包括犯罪活动中的嫌疑人的图像，该系统包括：陪衬者模块，该陪衬者模块配置为：将所述嫌疑人的图像与多个可用图像进行比较，并且从所述多个可用图像中选择陪衬者图像的集合，所述陪衬者图像与所述嫌疑人的图像相似但又不过分相似。该系统还包括指认队列生成模块，该指认队列生成模块被配置为生成包括所述嫌疑人的图像和所述陪衬者图像的照片指认队列。一些实施方式还包括通信接口，该通信接口被配置为接收嫌疑人的图像。
一些实施方式通过使用统一应用的分析系统(例如微软Azure的面部验证设施)来对嫌疑人的图像和多个可用图像中的每个可用图像进行特征化，来将嫌疑人的图像与多个可用图像进行比较。为此，这种系统可以包括面部分析模块，该面部分析模块被配置为根据所述嫌疑人的图像生成嫌疑人面部特征集合。如果对于多个可用图像中的每个可用图像该对应的面部特征集合都不可用，则面部分析模块从那些可用图像中生成这种对应的面部特征集合。陪衬者模块被配置为通过将嫌疑人面部特征集合与多个可用图像中的每个可用图像的对应的面部特征集合进行比较，来将嫌疑人的图像与多个可用图像进行比较。例如，微软Azure的面部验证设施生成置信度得分，以表明该可用图像中的面部属于嫌疑人图像中的人的可能性(即，两个图像中的面部属于同一个人的可能性有多大)。在将可用图像与嫌疑人的图像进行比较方面，微软Azure的面部验证设施会生成一个置信度得分，该置信度得分指示可用图像中的面部属于嫌疑人的可能性有多大，其中1.0是最高可能性，并且0.0是最低可能性，而在0.0到1.0之间的置信度得分表示处于在0.0到1.0之间的点。
陪衬者模块将规则应用于置信度得分，以确定是否将该可用图像包括在陪衬者图像的集合中。例如，如果置信度得分超过高阈值，则该规则将拒绝该可用图像(即，从照片指认队列中排除该可用图像)，这表明该可用图像中的面部很可能是嫌疑人的面部。用于确定置信度得分表明这种高可能性的阈值可以由法律、或由系统的设计者、或创建指认队列的人或用户来制定。例如，置信度得分等于或大于0.8可以是这种高可能性。
如果置信度得分表明可能性太低(即，低于低阈值)，则规则也会拒绝该可用图像，因为这个图像中的面部很可能与嫌疑人的面部非常不同。例如，置信度得分等于或低于0.2可以是这种低可能性。
对于在0.2到0.8之间的任何置信度得分，该规则接受将该可用图像以包含在陪衬者图像的集合中。
当然，在前述示例中使用的置信度得分仅是说明性的，并且可以针对不同的应用指定不同的得分。
一旦建立了陪衬者图像的集合，一个人可以通过将嫌疑人的图像以及该陪衬者图像集合中的一些或全部图像包含在照片指认队列内来创建照片指认队列。为此，创建照片指认队列包括布置嫌疑人的图像和陪衬者图像。一些实施方式还包括指认队列呈现模块，该指认队列呈现模块被配置为在计算机屏幕上显示所述照片指认队列。在一些实施例中，该指认队列呈现模块还被配置为将嫌疑人的图像以及陪衬者图像的集合中的一些图像或全部图像布置在该指认队列中。例如，指认队列呈现模块可以将嫌疑人的图像相对于陪衬者图像放置在随机选择的位置处，或者在其他实施方式中，相对于陪衬者图像放置在用户指定的位置处。
一些实施方式还包括证据模块，该证据模块被配置为以不可更改的方式记录目击者从所述照片指认队列中对单个图像的选择。证据模块还可以被配置为记录目击者对所述选择的认证，例如签名。
另一实施方式的一种用于创建照片指认队列的系统，该照片指认队列包括犯罪活动中的嫌疑人的图像，该系统包括：通信接口，该通信接口被配置为接收所述嫌疑人的图像；陪衬者模块，该陪衬者模块配置为：将所述嫌疑人的图像与多个可用图像进行比较，并且从所述多个可用图像中选择陪衬者图像的集合，所述陪衬者图像与所述嫌疑人的图像相似但又不过分相似。该系统还包括指认队列生成模块，该指认队列生成模块被配置为生成包括所述嫌疑人的图像和所述陪衬者图像的照片指认队列。
一些实施方式还包括：指认队列呈现模块，该指认队列呈现模块被配置为在显示设备上显示所述照片指认队列。一些这样的实施方式还包括：证据模块，该证据模块被配置为记录目击者从所述照片指认队列中对单个图像的选择。此外，在一些这样的实施方式中，所述证据模块还被配置为记录所述目击者对所述选择的认证。
在说明性实施方式中，所述嫌疑人的图像在所述照片指认队列内相对于所述陪衬者图像位于随机选择的位置处。在其他实施方式中，所述嫌疑人的图像在所述照片指认队列内相对于所述陪衬者图像位于指定位置处。
一些实施方式包括面部分析模块，该面部分析模块被配置为根据所述嫌疑人的图像生成嫌疑人面部特征集合。在这种实施方式中，所述陪衬者模块被配置为通过将所述嫌疑人面部特征集合与所述多个可用图像中的每个可用图像的对应的面部特征集合进行比较，来将所述嫌疑人的图像与多个可用图像进行比较。此外，在一些这样的实施方式中，所述陪衬者模块被配置为针对所述多个可用图像中的每个可用图像生成置信度得分，所述置信度得分表明该可用图像与所述嫌疑人的图像的相似度；并且所述陪衬者模块被配置为对每个这样的置信度得分应用规则，该规则从所述多个可用图像中选择陪衬者图像的集合。另外，在一些实施方式中，如果所述多个可用图像中的给定图像的置信度得分超过高阈值，则所述规则拒绝所述给定图像，并且在一些实施方式中，如果所述多个可用图像中的给定图像的置信度得分低于低阈值，则所述规则拒绝所述给定图像。
另一种实施方式提供了一种操作包括嫌疑人的面部图像的照片指认队列的方法。该方法包括：分析所述嫌疑人的面部图像，以得出目标嫌疑人面部特征集合；以及分析潜在陪衬者图像集合中的每个面部，以针对该陪衬者图像的集合中的每个面部得出目标陪衬者面部特征集合。针对所述陪衬者图像的集合中的每个面部，该方法应用将所述目标嫌疑人面部特征与多个可用图像中的每个可用图像的对应的目标面部特征集合进行比较的规则，以从所述潜在陪衬者图像集合中选择选定的陪衬者图像的集合。然后，规则包括生成照片指认队列，该照片指认队列包括嫌疑人的面部图像以及所选择的陪衬者图像的集合。
在一些实施方式中，分析潜在陪衬者图像集合中的每个面部还包括：基于所述陪衬者面部特征集合，得出针对陪衬者图像的集合中的每个面部的置信度得分，该置信度得分针对所述潜在陪衬者图像集合中的每个面部表明该面部是所述嫌疑人的面部的可能性；并且其中应用规则包括将所述置信度得分与阈值进行比较。在一些实施方式中，应用还规则包括：当所述置信度得分超过所述阈值时，拒绝图像。在一些实施方式中，应用规则还包括：当所述置信度得分低于所述阈值时，拒绝图像。
在一些实施方式中，生成照片指认队列包括：当给定图像的置信度得分在低阈值到高阈值之间时，将所述给定图像包括在所述照片指认队列中。
一些实施方式还包括将所述照片指认队列呈现给目击者。一些实施方式还包括从所述目击者接收对所述指认队列中的图像的选择。
附图说明
通过结合附图参考下面的详细描述，将更容易理解前述的实施方式的特征，其中：
图1示意性地例示了各种实施方式的网络环境；
图2示意性地例示了实现照片指认队列的系统；
图3A是实现照片指认队列的方法的流程图；
图3B是选择陪衬者图像的方法的流程图；
图4示意性地例示了面部分析；
图5示意性地例示了照片指认队列的实施方式。
具体实施方式
各种实施方式通过选择与嫌疑人的图像适度相似(即相似但不过于相似)的陪衬者图像来提高照片指认队列的可靠性。此外，一些实施方式使得能够实时创建照片指认队列，从而可以在目击者(witness)离开犯罪现场之前和/或在嫌疑人改变外貌之前将照片指认队列呈现给目击者。
传统指认队列的一个缺点是，很难(通常不可能)在犯罪活动和指认队列之间没有潜在显著延迟的情况下建立指认队列。例如，即使犯罪活动发生后立即在犯罪现场将嫌疑人逮捕，并且即使立即找到目击者，仍可能需要几天或几周的时间才能找到其他人(称为“陪衬者”)来充实指认队列。此外，创建指认队列本来就至少包括由选择陪衬者的人表现出的偏见的风险。例如，选择陪衬者的人可能有意或无意地选择看起来不太像嫌疑人的陪衬者，从而使嫌疑人从陪衬者中突出。另选地，对于选择者来说可用的陪衬者可能只是看起来不太像嫌疑人，那么即使没有偏见或意图，嫌疑人也会再次从陪衬者中突出。
使用嫌疑人的图像和陪衬者的图像的照片指认队列可以减轻这其中的一些顾虑。例如，如果有照片数据库，则只要嫌疑人的照片可用，侦查员就可以通过从数据库中选择照片作为陪衬者来立即创建照片指认队列。但是，即使是照片指认队列，也会经受选择者的偏见。
图1示意性地例示了网络环境，其中可以使用下面描述的系统和方法。
当嫌疑人被逮捕时，逮捕人员可以使用相机111拍摄嫌疑人的数码照片。即使没有逮捕嫌疑人，也可以从例如犯罪现场附近的监控摄像头113获得嫌疑人的图像101。这样的图像101可以用在照片指认队列中。
即使没有这样的图像，侦查员也可以基于通过侦查获得的信息(例如目击者的建议或在犯罪现场找到的文件)来怀疑罪犯的身份。如果由于先前的逮捕而从诸如警方数据库之类的数据库服务器112或者从车管局或其他来源可获得嫌疑人的图像101，则该图像101可以用于照片指认队列。
然而，照片指认队列仍经受缺点。例如，即使有可用的此类资源，例如当选择陪衬者的人必须通过对具有大量照片的数据库进行梳理以选择若干照片来充实照片指认队列时，创建照片指认队列也可能会花费不希望的时间。实际上，计算机技术的使用可能会通过其存储大量潜在陪衬者照片并将其呈现给选择者的能力而加剧该问题。
而且，即使使用这种技术，也存在由选择陪衬者的人表现出的偏见的风险。
本文描述的实施方式通过使用图像处理规则来减轻或消除了一些或所有前述问题。图2示意性地例示了根据说明性实施方式被配置为创建照片指认队列的系统200，并且图3A是例示了根据说明性实施方式的用于创建照片指认队列的方法300的流程图。
系统200包括通信接口210，该通信接口210被配置为通过数据通信网络120从数据库服务器112接收图像、或接收由相机111或监控摄像头113拍摄的图像，例如嫌疑人的图像101。
在一些实施方式中，通信接口210还可被配置为从数据库231接收陪衬者图像。另选地或附加地，系统200可包括陪衬者模块230，例如，陪衬者模块230被配置为将潜在陪衬的图像可搜索地存储在数据库231中。
当系统200具有用于包括在照片指认队列中的嫌疑人的图像101时，面部分析模块220分析嫌疑人的图像101以确定目标面部特征集合，该目标面部特征集合可被用于比较嫌疑人的图像101中的嫌疑人的面部与潜在陪衬者图像231中的面部。图4中示意性地例示了图像101中的面部410的目标面部特征集合400的示例。在说明性实施方式中，该目标面部特征集合中的每个成员(member)通过以下项来限定：该成员在面部上的位置、和/或该成员相对于目标面部特征集合中其他成员的位置、和/或该成员相对于面部410的面部特征的位置。
在一些实施方式中，通过针对特征(在图4的示例中为26个面部特征)的集合分析嫌疑人的图像101来创建面部特征400的目标集合。
在一些实施方式中，如果对于潜在陪衬者图像232中的面部来说对应的目标面部特征集合不可用，则面部分析模块220以与针对嫌疑人的图像生成目标面部特征集合相同的方式，针对潜在陪衬者图像232生成目标面部特征集合，以利于指认队列生成模块240比较图像。
陪衬者模块230被配置为将嫌疑人的图像101与多个可用图像232(每个可用图像都是潜在陪衬者图像)进行比较，其中多个可用图像232中的至少一些可用图像可被用作陪衬者图像。一些实施方式通过使用统一应用的分析系统(例如微软Azure的面部验证设施)对嫌疑人的图像101和多个可用图像232中的每个可用图像进行特征化，来将嫌疑人的图像与多个可用图像232进行比较。
对于每个这样的比较，微软Azure的面部验证设施都会生成置信度得分，该置信度得分表明一个图像中的面部与第二个图像中的面部属于一个人(即同一个人)的可能性。在比较可用图像232与嫌疑人的图像101方面，微软Azure的面部验证设施会生成置信度得分，该置信度得分表明可用图像232中的面部属于嫌疑人的可能性，其中1.0为最高可能性，0.0是最低可能性，而0.0到1.0之间的置信度得分表示两者之间的可能性。
对于与嫌疑人的图像101相比较的每个可用图像232，陪衬者模块230对置信度得分应用规则，以确定是否将该可用图像232包括在陪衬者图像集合中。例如，如果置信度得分表明可用图像中的面部是嫌疑人的面部的可能性高，则规则会拒绝该可用图像232(将其从可用图像集合中排除)。用于确定置信度得分表明这种高可能性的阈值可以由法律、或由系统200的设计者、或创建指认队列的人来制定。例如，置信度得分等于或大于0.8可以是这种高可能性。
如果置信度得分表明可能性太低，则规则也会拒绝该可用图像，因为这个图像中的面部很可能与嫌疑人的面部非常不同，以致对于目击者来说该可用图像会使嫌疑人的图像突出。用于确定置信度得分太低的阈值可以由法律、或由系统200的设计者、或创建指认队列的人来制定。例如，置信度得分等于或低于0.2可以是这种低可能性。
针对那些端点之间的任何置信度得分(在此示例中为0.2到0.8之间的置信度得分)，规则接受将该可用图像包含在陪衬者图像集合中。以这种方式接受的可用图像232可以被描述为与嫌疑人的图像101相似，但又不过分相似。如上所述，识别陪衬者图像的处理涉及的不仅是找到相似的面部。
当然，在前述示例中使用的置信度得分仅是说明性的，并且针对不同的应用可以指定不同的得分。通常，对于上限到下限之间的任何置信度得分，规则接受(或选择)可用图像以将其包括在陪衬者图像集合中，否则就拒绝可用图像。在优选实施方式中，规则可以被陈述如下：“如果置信度得分小于下限或大于上限，则从陪衬者图像集合中排除可用图像。”
下表列出了这种限制的示例：
Figure BDA0002359458020000071
一旦建立了陪衬者图像集合，人们就可以通过包括嫌疑人的图像101和一些或全部陪衬者图像来创建照片指认队列。
系统200还包括指认队列生成模块240，该指认队列生成模块240被配置为从陪衬者图像集合以及嫌疑人的图像生成照片指认队列。可用陪衬者图像的集合可以被称为“面部照片(mugshot)”数据库，尽管可用陪衬者图像本身不必是面部照片。
指认队列生成模块240使用嫌疑人图像的目标面部特征集合和可用的潜在陪衬者图像的目标面部特征集合，从面部照片数据库中选择陪衬者图像。以这种方式，使用统一地应用在可用陪衬者图像的处理来客观地选择陪衬者图像。嫌疑人的图像101和陪衬者图像可以被称为指认队列图像。
一些实施方式允许创建照片指认队列的人拒绝指认队列图像中包括的一个或更多个陪衬者图像。例如，创建照片指认队列的人如果认识到陪衬者图像是嫌疑人的旧照片、或者是与嫌疑人不同性别的人的照片、或者是具有显然与犯罪嫌疑人有所区别特征的人(例如，面部纹身，如果嫌疑人没有这种纹身)、或者是年龄或种族与嫌疑人不同的人，则可以拒绝该陪衬者图像。然而，优选实施方式被配置为防止创建照片指认队列的人将不是由指认队列生成模块240选择的陪衬者图像添加到照片指认队列。
在一些实施方式中，系统200还包括指认队列呈现模块250，该指认队列呈现模块250被配置成将照片指认队列呈现给目击者，或者向目击者能看见的显示设备发送该指认队列。为此，指认队列呈现模块250将指认队列图像相对于彼此进行布置，以用于呈现在显示屏(或“显示设备”)131上。显示屏131可以是计算机130上的屏幕，例如执法车辆中常见的巡逻车计算机、膝上型计算机、台式计算机、服务器或平板电脑(例如iPad)，仅举几个示例。在一个简单示例中，指认队列图像可以以网格图案来呈现，例如，可以如图5A中的照片指认队列510示意性地示出。
在一些实施方式中，可以由计算机130随机地生成嫌疑人的图像101在照片指认队列510内相对于陪衬者图像511的位置。在其他实施方式中，可以由创建照片指认队列的人选择或改变这种位置。
在一些实施方式中，指认队列呈现模块250还被配置为呈现选择标记521，该选择标记521表明目击者99从照片指认队列中对图像的选择。例如，在图5B中，选择标记521是所选图像520周围的框。
在一些实施方式中，指认队列呈现模块250还被配置为呈现认证设备530，认证设备530被配置为捕获目击者对于目击者选择的认证。例如，在图5C中，认证设备530是被配置为接收目击者的签名531的签名框。
在一些实施方式中，系统200还包括证据模块，该证据模块被配置为以固定的、非暂时性的、不可修改的格式记录照片指认队列510、选择标记521和目击者的认证531。以这种方式，指认队列、选择标记521和认证531被保留并且可以例如用作法庭上的证据。
在一些实施方式中，系统200可以在诸如计算机130的单个计算机上实现。在其他实施方式中，系统200的部分可以在两个或更多个互连的计算机上实现。
图3A是示出创建照片指认队列的方法300的实施方式的流程图。方法300的步骤通常实现上述系统200的模块的功能。方法300的一些步骤或全部步骤可以被实现为计算机处理，例如通过在计算机130上执行的计算机代码来实现。
在步骤301处，计算机130获得嫌疑人的图像101。例如，这可以例如通过在接口210处从相机111、摄像头113，或从服务器112上的数据库231接收图像而发生。
在步骤303处，该方法如上所述分析图像。
在步骤305处，陪衬者模块230提供多个潜在陪衬者图像，这也如上所述，并且结合图3B中的流程图。
在步骤307处，指认队列生成模块240生成照片指认队列510。在优选实施方式中，步骤307包括针对每个可用图像生成置信度得分，并对该置信度得分应用规则，以确定是否将该可用图像包括在陪衬者图像集合中。上面提供了此类规则及其应用的示例。
在优选实施方式中，照片指认队列的生成是完全自动化的，但是在其他实施方式中，诸如侦探或侦查者之类的人可能已经针对照片指认队列的准备进行了输入。例如，准备照片指认队列510的人可以拒绝陪衬者图像中的图像，并通过返回并重新执行步骤305来获得其他陪衬者图像，以替换在步骤306处被拒绝的陪衬者图像。
在步骤309处，将照片指认队列510呈现给目击者99。如果并且当目击者从照片指认队列510的图像中选择图像时，方法300在步骤311处表明该选择并记录目击者的认证。
最后，在步骤313处，方法300记录照片指认队列510、目击者的选择和选择指示符以及目击者的认证。
如果目击者拒绝作出选择，则方法300在步骤312处终止。
图3B是选择陪衬者图像或陪衬者图像的集合的方法350的实施方式的流程图。
通常，方法350将嫌疑人的图像101与多个潜在陪衬者图像中的每个潜在陪衬者图像232进行比较。这样的比较是客观的，因为它是对数据进行操作，并从该处理中消除了主观的人为判断。该方法的说明性实施方式可被描述为自动地和客观地将潜在陪衬者图像231与嫌疑人的图像101进行比较，以将从潜在陪衬者图像231中选择的一个或更多个陪衬者图像511的集合512包括在照片指认队列510中。
图像面部之间的比较在面部识别领域中是已知的。然而，面部识别技术寻找相似性，其中两个图像之间的更高的相似性会生成两个面部属于同一个人的更高概率(例如，置信度得分)。相较而言，选择陪衬者图像的方法350被配置为避免一个面部与另一个面部匹配，并且避免选择嫌疑人的第二图像作为陪衬者图像511。不如说，用于选择陪衬者图像的方法350被配置为找到与嫌疑人的面部相似但不太过相似的面部。
为此，在步骤3B的实施方式中，步骤353分析嫌疑人的图像101，以获得目标嫌疑人面部特征集合，如在面部识别领域中已知的那样。在一些实施方式中，步骤353可以从嫌疑人的图像101中提取标志或特征，包括图4中列出的一个或更多个特征和/或眼睛、鼻子、颧骨和下巴的(相对)位置、大小和/或形状，仅举几个示例。
步骤355分析潜在陪衬者图像232的集合中的每个面部。对于潜在陪衬者图像集合中的每个这样的面部，步骤355都会获得目标陪衬者面部特征集合，该目标陪衬者面部特征集合优选地对应于步骤353处获得的目标嫌疑人面部特征。
在步骤357处，方法350将规则应用于每个潜在陪衬者图像。该规则将目标嫌疑人面部特征集合与对应的目标陪衬者面部特征集合进行比较，以从潜在陪衬者图像集合中选择选定的陪衬者图像的集合511。在说明性实施方式中，如上所述，将目标嫌疑人面部特征集合与对应的目标陪衬者面部特征集合进行比较是通过将置信度得分与一个或更多个阈值进行比较。
如果潜在陪衬者图像231中的面部与嫌疑人图像101中的嫌疑人对象的面部过于相似(例如，置信度得分超过高阈值)，则该规则拒绝该潜在陪衬者图像231。在优选实施方式中，如果潜在陪衬者图像231中的面部与嫌疑人图像101中的嫌疑人的面部过于不同(或不够相似)(例如，置信度为低于低阈值)，则规则也会拒绝该潜在陪衬者图像231。相较而言，如果陪衬者图像中的面部与嫌疑人的面部不太过相似且不太过不同(例如，置信度得分不超过上限且不低于下限)，则在步骤359处，规则选择要包含在照片指认队列中的陪衬者图像。通过对潜在陪衬者图像集合中的每个面部重复此处理，该方法选择了陪衬者图像的集合以包含在照片指认队列中。
上文结合微软Azure的面部验证设施描述了这种规则的一个实施方式，但是本文描述的实施方式不限于该示例。
如在面部识别领域中已知的，比较面部的第一图像与面部的第二图像的面部识别算法能够基于目标嫌疑人面部特征相对于对应的目标陪衬者面部特征集合的评估来确定这些面部是否彼此足够相似，以得出这些面部属于同一个人的结论。例如，一般而言，面部识别算法得出的结论是，这些面部属于同一个人存在特定的可能性。如上所述，这种特定可能性可以被认为是置信度得分，并且可以被用来选择给定的潜在陪衬者图像以作为陪衬者图像511包括在照片指认队列中，或者拒绝该给定的潜在陪衬者图像232。
如本文所使用，“计算机处理”是使用计算机硬件(例如处理器、现场可编程门阵列或其他电子组合逻辑或类似设备)的计算机中所描述功能的执行，其可在软件或者固件或者在这些中任何一种的组合的控制下运行，或者不在前述任何一种的控制下运行。所描述的功能的全部或部分可以由有源或无源电子组件(诸如晶体管或电阻器)执行。在使用术语“计算机处理”时，我们不一定需要可调度的实体、或计算机程序或、计算机程序一部分的操作，尽管在某些实施方式中，计算机处理可以由此类可调度的实体、或计算机程序或、计算机程序一部分的操作来实现。此外，除非上下文另有要求，否则可以使用多于一台处理器或多于一台(单处理器或多处理器)计算机来实现“处理”。
上面概述的实施方式具有将创建警方指认队列的性质从在物理世界中已经存在的警方指认队列转变为部分或完全自动化的警方指认队列，以及能够减少或消除创建该指认队列的人的主观偏见的效果。这些改进使计算机可以创建照片警方指认队列，而之前在没有人工输入和指导的情况下计算机从未这样做过。由于这些以及其他的一些原因，以下权利要求书所定义的活动不是本发明技术领域的技术人员容易理解、例行或常规的。
本发明的各种实施方式可以至少部分地以任何传统的计算机编程语言来实现。例如，一些实施方式可以以过程型编程语言(例如，“C”)作为可视化编程处理来实现，或以面向对象的编程语言(例如，“C++”)来实现。本发明的其他实施方式可以被实现为预配置的独立硬件元件和/或被预编程的硬件元件(例如，专用集成电路、FPGA和数字信号处理器)或其他相关部件。
在替代实施方式中，所公开的装置和方法(例如，参见上述方法)可以被实现为与计算机系统一起使用的计算机程序产品。这样的实现可以包括固定在有形的非暂时性介质(例如计算机可读介质，例如软盘、CD-ROM、ROM或固定盘)上的一系列计算机指令。这一系列计算机指令可以具体实现本文先前关于系统描述的全部或部分功能。
本领域技术人员应当理解，可以用多种编程语言来编写这样的计算机指令，以与许多计算机体系结构或操作系统一起使用。此外，这样的指令可以存储在诸如半导体、磁存储设备、光存储设备或其他存储设备之类的任何存储设备中，并且可以使用诸如光传输技术、红外传输技术、微波传输技术或其他传输技术之类的任何通信技术来传输。
在其他方式中，这样的计算机程序产品可以作为可移动介质分布，并带有随附的印刷或电子文档(例如，现成软件)、预载有计算机系统(例如，在系统ROM或固定磁盘上)、或通过网络(例如因特网或万维网)从服务器或电子公告板进行分发。实际上，一些实施方式可以以软件即服务模型(“SAAS”)或云计算模型来实现。当然，本发明的一些实施方式可以实现为软件(例如，计算机程序产品)和硬件两者的组合。本发明的其他实施方式完全实现为硬件或完全实现为软件。
上面描述的本发明的实施方式仅是示例性的；对于本领域技术人员而言，许多变型和修改将是显而易见的。所有这些变型和修改都旨在落入任何所附权利要求书所限定的本发明的范围内。

Claims (20)

1.一种用于创建照片指认队列的系统，该照片指认队列包括犯罪活动中的嫌疑人的图像，该系统包括：
通信接口，该通信接口被配置为接收所述嫌疑人的图像；
陪衬者模块，该陪衬者模块配置为：
将所述嫌疑人的图像与多个可用图像进行比较，并且
从所述多个可用图像中选择陪衬者图像的集合，所述陪衬者图像与所述嫌疑人的图像相似但又不过分相似，以及
指认队列生成模块，该指认队列生成模块被配置为生成包括所述嫌疑人的图像和所述陪衬者图像的照片指认队列。
2.根据权利要求1所述的系统，所述系统还包括：指认队列呈现模块，该指认队列呈现模块被配置为在显示设备上显示所述照片指认队列。
3.根据权利要求2所述的系统，所述系统还包括：证据模块，该证据模块被配置为记录目击者从所述照片指认队列中对单个图像的选择。
4.根据权利要求3所述的系统，其中，所述证据模块还被配置为记录所述目击者对所述选择的认证。
5.根据权利要求1所述的系统，其中，所述嫌疑人的图像在所述照片指认队列内相对于所述陪衬者图像位于随机选择的位置处。
6.根据权利要求1所述的系统，其中，所述嫌疑人的图像在所述照片指认队列内相对于所述陪衬者图像位于指定位置处。
7.根据权利要求1所述的系统，其中：
所述系统还包括面部分析模块，该面部分析模块被配置为根据所述嫌疑人的图像生成嫌疑人面部特征集合；并且
其中，所述陪衬者模块被配置为，通过将所述嫌疑人面部特征集合与多个可用图像中的每个可用图像的对应的面部特征集合进行比较，来将所述嫌疑人的图像与所述多个可用图像进行比较。
8.根据权利要求1所述的系统，其中：
所述系统还包括面部分析模块，该面部分析模块被配置为根据所述嫌疑人的图像生成嫌疑人面部特征集合；并且
其中，所述陪衬者模块被配置为针对所述多个可用图像中的每个可用图像生成置信度得分，所述置信度得分表明该可用图像与所述嫌疑人的图像的相似度；并且其中
所述陪衬者模块被配置为对每个这样的置信度得分应用规则，该规则从所述多个可用图像中选择陪衬者图像的集合。
9.根据权利要求8所述的系统，其中，如果所述多个可用图像中的给定图像的置信度得分超过高阈值，则所述规则拒绝所述给定图像。
10.根据权利要求8所述的系统，其中，如果所述多个可用图像中的给定图像的置信度得分低于低阈值，则所述规则拒绝所述给定图像。
11.一种操作照片指认队列的方法，该照片指认队列包括嫌疑人的面部图像，该方法包括以下步骤：
分析所述嫌疑人的面部图像，以得出目标嫌疑人面部特征集合；
分析潜在陪衬者图像集合中的每个面部，以针对所述陪衬者图像集合中的每个面部得出目标陪衬者面部特征集合；
针对所述陪衬者图像集合中的每个面部，应用规则以将所述目标嫌疑人面部特征集合与对应的目标面部特征集合进行比较，从而从所述潜在陪衬者图像集合中选择选定的陪衬者图像集合；以及
生成照片指认队列，该照片指认队列包括所述嫌疑人的面部图像和所选定的陪衬者图像集合。
12.根据权利要求11所述的方法，其中：
分析潜在陪衬者图像集合中的每个面部还包括：基于所述陪衬者面部特征集合，得出针对陪衬者图像集合中的每个面部的置信度得分，该置信度得分针对所述潜在陪衬者图像集合中的每个面部表明该面部是所述嫌疑人的面部的可能性；并且其中
应用规则包括：将所述置信度得分与阈值进行比较。
13.根据权利要求12所述的方法，其中，应用规则还包括：当所述置信度得分超过所述阈值时，拒绝图像。
14.根据权利要求12所述的方法，其中，应用规则还包括：当所述置信度得分低于所述阈值时，拒绝图像。
15.根据权利要求12所述的方法，其中，生成照片指认队列包括：当给定图像的置信度得分在低阈值到高阈值之间时，将所述给定图像包括在所述照片指认队列中。
16.根据权利要求11所述的方法，所述方法还包括以下步骤：将所述照片指认队列呈现给目击者。
17.根据权利要求16所述的方法，所述方法还包括以下步骤：从所述目击者接收对所述指认队列中的图像的选择。
18.一种用于创建照片指认队列的系统，所述照片指认队列包括犯罪活动中的嫌疑人的图像，该系统包括：
通信接口，该通信接口被配置为接收所述嫌疑人的图像；
用于将所述嫌疑人的图像与多个可用图像进行比较的装置；
用于从所述多个可用图像中选择陪衬者图像的集合的装置，所述陪衬者图像与所述嫌疑人的图像相似但不过分相似，以及
用于生成包括所述嫌疑人的图像和所述陪衬者图像的集合的照片指认队列的装置。
19.根据权利要求18所述的系统，所述系统还包括用于将所述照片指认队列显示给目击者的装置。
20.根据权利要求19所述的系统，所述系统还包括用于从所述目击者接收该目击者对所述照片指认队列中的图像的选择的装置。
CN201880045718.9A 2017-06-12 2018-06-12 生成照片警方指认队列的系统和方法 Pending CN110869941A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762518192P 2017-06-12 2017-06-12
US62/518,192 2017-06-12
PCT/US2018/037063 WO2018231797A1 (en) 2017-06-12 2018-06-12 System and Method for Generating a Photographic Police Lineup

Publications (1)

Publication Number Publication Date
CN110869941A true CN110869941A (zh) 2020-03-06

Family

ID=62779143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045718.9A Pending CN110869941A (zh) 2017-06-12 2018-06-12 生成照片警方指认队列的系统和方法

Country Status (6)

Country Link
US (1) US11783440B2 (zh)
EP (1) EP3639194A1 (zh)
CN (1) CN110869941A (zh)
AU (1) AU2018284102B2 (zh)
CA (1) CA3066718A1 (zh)
WO (1) WO2018231797A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220100999A1 (en) * 2020-09-30 2022-03-31 Rekor Systems, Inc. Systems and methods for suspect vehicle identification in traffic monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090210245A1 (en) * 2007-12-28 2009-08-20 Edwin Leonard Wold Drawing and data collection systems
US20100172550A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing images by correlating faces
US8914346B1 (en) * 2012-02-03 2014-12-16 Google Inc. Clustered search indexing for correlated data groups
CN104243927A (zh) * 2014-09-27 2014-12-24 江阴延利汽车饰件股份有限公司 自动识别嫌疑人的安保机器人控制平台

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
AU2003282943A1 (en) * 2002-10-11 2004-05-04 Digimarc Corporation Systems and methods for recognition of individuals using multiple biometric searches
US7804997B2 (en) * 2004-06-10 2010-09-28 Technest Holdings, Inc. Method and system for a three dimensional facial recognition system
WO2009116043A1 (en) * 2008-03-18 2009-09-24 Atlas Invest Holdings Ltd. Method and system for determining familiarity with stimuli
EP2546782B1 (en) * 2011-07-11 2014-06-25 Accenture Global Services Limited Liveness detection
US10839196B2 (en) * 2015-09-22 2020-11-17 ImageSleuth, Inc. Surveillance and monitoring system that employs automated methods and subsystems that identify and characterize face tracks in video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090210245A1 (en) * 2007-12-28 2009-08-20 Edwin Leonard Wold Drawing and data collection systems
US20100172550A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing images by correlating faces
US8914346B1 (en) * 2012-02-03 2014-12-16 Google Inc. Clustered search indexing for correlated data groups
CN104243927A (zh) * 2014-09-27 2014-12-24 江阴延利汽车饰件股份有限公司 自动识别嫌疑人的安保机器人控制平台

Also Published As

Publication number Publication date
US20190095752A1 (en) 2019-03-28
AU2018284102A1 (en) 2020-01-02
CA3066718A1 (en) 2018-12-20
AU2018284102B2 (en) 2023-01-12
EP3639194A1 (en) 2020-04-22
WO2018231797A1 (en) 2018-12-20
US11783440B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
CN106407914B (zh) 用于检测人脸的方法、装置和远程柜员机系统
CN111886842B (zh) 使用基于阈值的匹配进行远程用户身份验证
CN109325933A (zh) 一种翻拍图像识别方法及装置
US10061996B1 (en) Face recognition method and system for personal identification and authentication
US20070174272A1 (en) Facial Recognition in Groups
US11126827B2 (en) Method and system for image identification
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN108229375B (zh) 用于检测人脸图像的方法和装置
JP7419080B2 (ja) コンピュータシステムおよびプログラム
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
CN111738199B (zh) 图像信息验证方法、装置、计算装置和介质
CN114463828B (zh) 基于人证统一的监考方法及系统、电子设备和存储介质
CN111241883A (zh) 防止远程被测人员作弊的方法和装置
CN110869941A (zh) 生成照片警方指认队列的系统和方法
CN107169093B (zh) 一种目标图像的获取方法及装置
JP6542819B2 (ja) 画像監視システム
Ferreira et al. A method to compute saliency regions in 3D video based on fusion of feature maps
KR101817440B1 (ko) 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템
US20140016859A1 (en) Systems, methods, and media for optical recognition
CN111783677A (zh) 人脸识别方法、装置、服务器和计算机可读介质
RU2541918C2 (ru) Устройство автоматизированного распознавания лиц при обработке групповой фотографии
CN110929583A (zh) 一种高检测精度人脸识别方法
WO2022266878A1 (zh) 景别确定方法、装置及计算机可读存储介质
CN111898529B (zh) 脸部检测方法、装置、电子设备和计算机可读介质
CN113902030A (zh) 行为的识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination