CN110121737A - 信息处理系统、顾客识别装置、信息处理方法和程序 - Google Patents

信息处理系统、顾客识别装置、信息处理方法和程序 Download PDF

Info

Publication number
CN110121737A
CN110121737A CN201780079814.0A CN201780079814A CN110121737A CN 110121737 A CN110121737 A CN 110121737A CN 201780079814 A CN201780079814 A CN 201780079814A CN 110121737 A CN110121737 A CN 110121737A
Authority
CN
China
Prior art keywords
people
settlement process
information processing
processing system
selecting unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780079814.0A
Other languages
English (en)
Other versions
CN110121737B (zh
Inventor
关根瑞人
北田正人
江原誉典
后藤彩加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=62627022&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110121737(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN110121737A publication Critical patent/CN110121737A/zh
Application granted granted Critical
Publication of CN110121737B publication Critical patent/CN110121737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种信息处理系统(100)，包括：获取单元(11)，获取由摄像头生成的面部的图像；选择单元(14)，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；识别单元(12)，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；结算单元(结账单元(21))，针对所识别的人执行结算处理。

Description

信息处理系统、顾客识别装置、信息处理方法和程序
技术领域
本发明涉及信息处理系统、顾客识别装置、信息处理方法和程序。
背景技术
专利文献1公开了一种使用面部认证处理进行结算操作的信息处理系统。专利文献1公开了：信息处理系统获取包括访客的面部信息在内的信息，并使用包括在所获取的信息中的访客的面部信息和已经登记在成员数据库中的每个成员登记的面部信息来执行面部认证。
现有技术文献
专利文献
专利文献1：日本未审专利公开第2016-126749号公报
发明内容
技术问题
在使用面部认证处理来识别要进行结算的人的技术中，存在如下问题：在从图像中提取多个人的情况下，识别要进行结算的人的准确度降低。本发明的一个目的是提高使用面部认证处理来识别要进行结算的人的准确度。
根据本发明，提供了一种信息处理系统，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
另外，根据本发明，提供了一种顾客识别装置，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
通知单元，针对由所述识别单元识别的、执行所述结算处理的人，向所述结账装置通知用于识别该人的信息。
另外，根据本发明，提供了一种由计算机执行的信息处理方法，该方法包括：
获取步骤，获取由摄像头生成的面部的图像；
选择步骤，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别步骤，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别所选择的人；以及
结算步骤，针对所识别的人执行所述结算处理。
另外，根据本发明，提供了一种程序，该程序使计算机用作：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
发明的有益效果
根据本发明，可以提高使用面部认证处理来识别要进行结算的人的准确度。
附图说明
根据下面将描述的优选示例实施例和下面的附图，上述目的、其他目的、特征和优点将更显而易见。
图1是示出本示例实施例的信息处理系统的功能框图的示例。
图2是概念性地示出本示例实施例的系统和装置的硬件配置的示例的图。
图3是示出本示例实施例的信息处理系统的处理流程的示例的序列图。
图4是示出本示例实施例的信息处理系统的处理流程的示例的序列图。
图5是示出本示例实施例的信息处理系统的处理流程的示例的序列图。
图6是本示例实施例的信息处理系统的功能框图的示例。
图7是本示例实施例的结账装置的功能框图的示例。
图8是本示例实施例的顾客识别装置的功能框图的示例。
图9是示出本示例实施例的信息处理系统的实现示例的图。
图10是示出本示例实施例的信息处理系统的实现示例的图。
图11是本示例实施例的信息处理系统的功能框图的示例。
图12是本示例实施例的信息处理系统的功能框图的示例。
图13是本示例实施例的信息处理系统的功能框图的示例。
图14是本示例实施例的信息处理系统的功能框图的示例。
具体实施方式
<第一示例实施例>
图1示出了本示例实施例的信息处理系统100的功能框图的示例。如图所示，信息处理系统100包括获取单元11、识别单元12、选择单元14和结账单元21。本示例实施例的信息处理系统100是例如销售点(POS)收银机。可以假设POS收银机由销售员操作或由顾客操作。
这里，将描述信息处理系统100的硬件配置的示例。包括在本示例实施例的信息处理系统100中的各个功能单元由任何计算机的硬件和软件的任何组合实现，该任何计算机基于中央处理单元(CPU)、存储器、加载在存储器上的程序、诸如存储程序的硬盘之类的存储单元(除了从交付装置的阶段预先存储的程序之外，还能够存储从诸如压缩光盘(CD)之类的存储介质、互联网上的服务器等下载的程序)和用于网络连接的接口。此外，本领域技术人员理解，对于实现商店系统的方法和装置，存在各种修改示例。
图2是示出本示例实施例的信息处理系统100的硬件配置的框图。如图2所示，信息处理系统100包括处理器1A、存储器2A、输入和输出接口3A、外围电路4A和总线5A。外围电路4A包括各种模块。
总线5A是用于由处理器1A、存储器2A、外围电路4A以及输入和输出接口3A彼此收发数据的数据传输路径。处理器1A是例如中央处理单元(CPU)或图形处理单元(GPU)等算术处理装置。存储器2A是例如随机存取存储器(RAM)或只读存储器(ROM)等存储器。输入和输出接口3A包括用于从输入装置(例如：键盘、鼠标、麦克风、物理键、触摸板显示器、代码阅读器等)、外部装置、外部服务器、外部传感器等获取信息的接口，以及用于向输出装置(例如：显示器、扬声器、打印机、电子邮件发送器等)、外部设备、外部服务器等输出信息的接口。处理器1A可以向每个模块输出指令并基于每个模块的算术结果执行算术操作。
下面，将详细描述图1中所示的每个功能单元。
结账单元21包括执行登记待结账产品的处理(登记处理)的单元(登记单元)，以及执行结算处理的单元(结算单元)。
首先，将描述由结账单元21执行的登记处理。结账单元21包括用于输入用于识别待结账产品的信息的单元。输入由诸如代码读取器、物理键、触摸板显示器、麦克风和摄像头之类的各种装置实现。
例如，可以通过用代码读取器读取附在产品上并指示用于识别产品的信息的代码，来输入用于识别产品的信息。另外，可以通过对物理键或触摸板显示器的操作来输入用于识别产品的信息。另外，可以通过麦克风借助于语音来输入用于识别产品的信息。另外，可以使用拍摄待结账产品的摄像头、以及基于产品外观的特征值或包括在图像中的代码(附在产品上并用于识别产品的信息)来识别包括在由摄像头生成的图像中的产品的单元，来输入用于识别产品的信息。
结账单元21可以从先前准备的产品基础信息中获取与用于识别待结账产品的信息相对应的产品信息(例如，价格等)。此外，结账单元21可以计算待结账的一个或多个产品的价格总和。此外，结账单元21可以在显示器等上显示用于识别待结账产品的信息、计算的总和等。
下面，将描述由结账单元21执行的结算处理。结算处理是指通过所选择的支付方法(现金、信用卡、点数等)完成已确定待支付金额的销售交易。结账单元21可以使用电子货币信息或点数信息来执行结算处理，该电子货币信息或点数信息对应于通过面部认证处理识别的顾客。也就是说，在获取了用于识别由识别单元12(将在下面描述)识别的顾客(对产品进行支付的人)的信息的情况下，结账单元21可以从服务器获取与该顾客相对应的电子货币信息或点数信息。此外，结账单元21可以使用电子货币信息或点数信息来执行结算处理。也就是说，可以执行使用电子货币或点数来支付待结账产品的价格总和的结算处理，或者可以执行将本次购物中给出的点数添加到由点数信息指示的剩余点数的结算处理。另外，在安装在公司等组织内部的商店中的信息处理系统100的情况下，可以通过与用于在该组织内识别顾客的信息(例如：员工编号)相关联地累积待支付金额，并从工资中扣除待支付金额，从而执行结算处理。
应当注意，结账单元21可以使用现金、信用卡、其他类型的电子货币、其他类型的点数等来执行结算处理。例如，在识别单元12未识别出顾客的情况下，可以使用例示的另一种方法来执行结算处理。
结账单元21先执行登记处理，然后执行结算处理。当在登记至少一个产品的登记处理之后执行了开始结算处理的操作时，结账单元21根据该操作开始结算处理。
为了开始结算处理而执行的操作可以是例如按下与“结算处理开始”相对应的物理键。另外，该操作可以是例如在触摸面板区域上的与“结算处理开始”相对应的区域上执行的操作(例如：触摸)。另外，该操作可以是例如通过麦克风的与“结算处理开始”相对应的规定字词的输入。注意，这里的示例仅是一例，本发明不限于此。
获取单元11获取由拍摄顾客的摄像头生成的图像(顾客的面部图像)。例如，摄像头安装在信息处理系统100的附近，例如，安装成与信息处理系统100集成。此外，安装摄像头以拍摄位于信息处理系统100附近的顾客(更具体地，是正在结账的顾客)。摄像头可以连续拍摄运动图像，或者可以在规定的定时拍摄静止图像。也就是说，获取单元11可以从摄像头获取与以规定时间间隔连续生成的多个帧相对应的图像，或者可以从摄像头获取在特定定时生成的一个图像。
选择单元14可以提取由获取单元11获取的图像中的人，在提取了多个人的情况下，可以基于距结账装置(在本示例实施例的情况下，是信息处理系统100)的距离、出现频率(即，在规定的时间范围期间通过用摄像头拍摄而获取的频率)和出现时间段(即，在规定的时间范围期间通过用摄像头拍摄而获取的时间段)中的至少一个，来从多个人中选择执行结算处理的人。
本示例实施例的选择单元14可以主要基于距结账装置的距离来从多个人中选择执行结算处理的人。在摄像头安装在结账装置附近(例如，安装成与结账装置集成在一起)的情况下，“摄像头与人之间的距离”指示“结账装置与人之间的距离”。
例如，选择单元14可以选择距摄像头的距离最短的人作为执行结算处理的人。另外，选择单元14可以选择距摄像头的距离等于或小于参考值的人作为执行结算处理的人的候选。此外，在存在基于距摄像头的距离而选择的多个候选的情况下，选择单元14可以基于另一条件来从多个候选中选择执行结算处理的人。
可以通过图像分析来估计距摄像头的距离。例如，可以将拍摄的身体规定部分(例如：眼睛之间的间隔)的长度最长的人确定为距摄像头的距离最短的人。另外，可以将拍摄的身体规定部分(例如：眼睛之间的间隔)的长度等于或大于参考值的人确定为距摄像头的距离等于或小于参考值的人。注意，可以使用其他方法来估计距摄像头的距离。
这里，将描述在存在基于距结账装置的距离而选择的多个候选的情况下应用的另一条件。例如，选择单元14可以从多个候选中选择在规定的时间范围期间通过用摄像头拍摄而获取的时间段(包括在图像中的时间段)最长的人作为执行结算处理的人。另外，选择单元14可以从多个候选中选择在规定的时间范围期间通过用摄像头拍摄而获取的频率(包括在图像中的频率)最高的人作为执行结算处理的人。通过用摄像头拍摄而获取的频率可以是以例如以下方式计数的次数：在从与一帧相对应的图像中提取出时，计为一次。通过用摄像头拍摄而获取的时间段与包括在运动图像中的时间段具有相同的含义。为了计算通过用摄像头拍摄而获取的时间段和频率，有必要将包括在与多个帧相对应的图像中的相同的人分组。例如，可以将从图像中提取的、并且特征值相似的人分为一组。
规定的时间范围开始的定时可以是例如在开始结算处理的操作之前执行的规定操作。作为一例，示出执行最初的产品的登记的定时等，但本发明不限于此。作为规定的时间范围结束的定时的一例，例如示出执行开始结算处理的操作的定时等，但本发明不限于此。
将描述另一条件的另一示例。例如，选择单元14可以从多个候选中选择执行预先决定的规定行为的人作为执行结算处理的人。该规定行为是被认为由执行结算处理的人执行的规定行为。例如，例示“举手”、“用手指等指自己”等，但本发明不限于此。这些行为被认为是由执行结算处理的人响应于来自销售员的询问“谁将进行支付？”而执行的。
将描述另一条件的另一示例。例如，选择单元14可以从多个候选中选择说出预先决定的话语的人作为执行结算处理的人。该话语的内容被认为是由执行结算处理的人给出的。例如，用于指定结算方法等的信息可以被认为是该话语的内容。也就是说，可以考虑“现金”、“卡”、规定的支付服务的名称或流行名称等。例如，在使用面部认证的支付服务的名称是“刷脸”的情况下，选择单元14可以识别说出“刷脸”的话语的人。
在该示例的情况下，信息处理系统100可以包括麦克风(语音获取单元)。此外，选择单元14可以通过对由麦克风收集的声音执行语音分析来检测如上所述的规定的话语。此外，选择单元14可以分析由摄像头拍摄的运动图像，并且可以识别在检测到规定的话语的定时处嘴部正在运动的人(或执行与话语内容相对应的规定运动的人)。
应当注意，选择单元14可以从基于图像估计的估计年龄等于或大于参考值的人中选择执行结算处理的人(满足距摄像头的距离条件或另一条件的人)。换句话说，选择单元14可以将基于图像估计的估计年龄小于参考值的人排除在执行结算处理的人之外。
应当注意，在从图像中提取了估计年龄等于或大于参考值的人和估计年龄小于参考值的人的情况下，选择单元14可以从估计年龄等于或大于参考值的人中选择执行结算处理的人。也就是说，在仅提取了估计年龄小于参考值的人的情况下，选择单元14可以从估计年龄小于参考值的人中选择执行结算处理的人。
另外，选择单元14可以从移动的人中选择执行结算处理的人(满足距摄像头的距离条件或另一条件的人)。换句话说，选择单元14可以将不移动的人排除在执行结算处理的人之外。
应当注意，在从图像中提取了一个人的情况下，选择单元14可以选择该人作为执行结算处理的人。
识别单元12基于登记了多个人中的每个人的外观的特征值的数据库信息来识别在图像中提取的人。识别单元12提取从图像中提取的人的外观的特征值。此外，识别单元12将从图像中提取的人的特征值与包括在数据库信息中的多个人中的每个人的外观的特征值进行核对，并确定相似度等于或大于参考值的人。
在可以在数据库信息中确定相似度等于或大于参考值的人的情况下，识别单元12输出用于识别该人的信息作为识别结果。另一方面，在无法在数据库信息中确定相似度等于或大于参考值的人的情况下，识别单元12输出“无人相关”作为识别结果。
这里，将参考图3的序列图描述信息处理系统100的处理流程的示例。这里，假设选择单元14选择距摄像头的距离最短的人作为执行结算处理的人。
信息处理系统100并行地执行登记和结算处理以及认证处理(识别执行结算处理的人的处理)。首先，在登记和结算处理中，在产品登记处理开始的情况下(S10)，将对这一情况的通知提供给认证处理(S11)。根据该情况，在认证处理中开始识别顾客的处理。具体地，获取图像(S14)，从包括在图像中的人中选择执行结算处理的人(S15)。在S15中，首先，提取包括在图像中的人。此外，在包括在图像中的人的数目是多个的情况下，选择距摄像头的距离最短的人作为执行结算处理的人。另一方面，在包括在图像中的人的数目是一个的情况下，选择该一个人作为执行结算处理的人。
此后，信息处理系统100执行识别执行结算处理的人的处理(S16)。也就是说，提取在S15中被选择以执行结算处理的人的外观的特征值，并且使用数据库信息执行核对处理。此外，信息处理系统100累积通过核对处理获取的识别结果(用于识别人的信息或无人相关)(S17)。在认证处理中，重复S14至S17，直至接收到S18中的通知为止。
另一方面，在登记和结算处理中，即使在S10中的产品登记处理开始之后也接收产品登记(S12)。在开始结算处理的操作未被执行期间(S13中的“否”)，接收产品登记(S12)。在开始结算处理的操作被执行的情况下(S13中的“是”)，将对这一情况的通知提供给认证处理(S18)。
在认证处理中，例如，根据S18的通知结束识别顾客的处理(S14至S17)。此外，从到该时刻为止累积的识别结果(在识别结果中，用于识别人的信息或无人相关与执行了图像分析的帧中的每个帧相关联)中提取规定的识别结果(与规定的帧相关联的、用于识别人的信息或无人相关)(S19)，并且将规定的识别结果通知给登记和结算处理(S20)。
例如，可以提取在提供S18中的通知的时间点处的最新识别结果。此外，在最新识别结果是用于识别人的信息的情况下，可以将该识别结果通知给登记和结算处理。另一方面，在最新识别结果是无人相关的情况下，可以在规定的搜索条件下提取另一识别结果。此外，在另一识别结果是用于识别人的信息的情况下，可以将该识别结果通知给登记和结算处理。另一方面，在另一识别结果是无人相关的情况下，可以在规定的搜索条件下进一步提取另一识别结果。此外，在识别结果连续是无人相关达规定数目的情况下，可以将无人相关通知给登记和结算处理。
在登记和结算处理中，基于在S20中获取的识别结果来执行结算处理(S21)。例如，在获取了用于识别人的信息作为识别结果的情况下，可以从服务器获取与该用于识别人的信息相对应的电子货币信息或点数信息，并且使用该电子货币信息或点数信息执行结算处理。另一方面，在获取了无人相关作为识别结果的情况下，可以使用例如另一种方法来执行结算处理。
这里，描述了摄像头拍摄运动图像的示例。在摄像头拍摄静止图像的情况下，根据S11的通知，执行认证处理中的S14至S16的处理，并且在任何定时处将识别结果通知给登记和结算处理。此外，在登记和结算处理中接收到开始结算处理的操作(S13中的“是”)的情况下，基于在任何定时处从认证处理通知的识别结果来执行结算处理(S21)。
下面，将参考图4的序列图描述本示例实施例的信息处理系统100的处理流程的另一示例。这里，假设选择单元14将距摄像头的距离等于或小于参考值的人决定为执行结算处理的人的候选，并且将候选中满足规定条件的人决定为执行结算处理的人。
信息处理系统100并行地执行登记和结算处理以及认证处理(识别执行结算处理的人的处理)。首先，在登记和结算处理中，在产品登记处理开始的情况下(S30)，将对这一情况的通知提供给认证处理(S31)。在认证处理中，根据该通知，开始识别顾客的处理。具体地，获取图像(S34)，从包括在图像中的人中选择执行结算处理的候选(S35)。在S35中，首先，提取包括在图像中的人。此外，从包括在图像中的人中选择距摄像头的距离等于或小于参考值的人作为执行结算处理的人的候选。
此后，信息处理系统100执行识别执行结算处理的人的每个候选的处理(S36)。也就是说，提取每个候选的外观的特征值，并使用数据库信息执行核对处理。此外，信息处理系统100累积每个候选的识别结果(用于识别人的信息或无人相关)(S37)。在认证处理中，重复S34至S37，直至接收到S38的通知为止。
另一方面，在登记和结算处理中，即使在S30中的产品登记处理开始之后也接收产品登记(S32)。在开始结算处理的操作未被执行期间(S33中的“否”)，接收产品登记(S32)。当开始结算处理的操作被执行时(S33中的“是”)，将对该情况的通知提供给认证处理(S38)。
在认证处理中，例如，根据S38的通知，结束识别顾客的处理(S34至S37)。此外，在执行结算处理的人的候选中决定执行结算处理的人(S39)，并且将该人的识别结果通知给登记和结算处理(S40)。
在S39中，信息处理系统100基于例如到该时刻为止累积的结果(例如：在识别结果中，每个候选的识别结果(用于识别人的信息或无人相关)以及外观的特征值与执行了图像分析的每个帧相关联)，来将在多个帧中被选择作为候选的相同的人分组。例如，可以将从图像中提取的各个人的类似特征值分为一组。此外，在生成多个组的情况下，信息处理系统100可以判定出存在执行结算处理的人的多个候选。另一方面，在生成一个组的情况下，信息处理系统100可以判定出存在执行结算处理的人的一个候选。
在存在执行结算处理的人的多个候选的情况下，可以从候选中选择满足另一条件的人作为执行结算处理的人。另一条件与如上所述相同。另一方面，在存在执行结算处理的人的一个候选的情况下，可以选择该人作为执行结算处理的人。
在登记和结算处理中，基于在S40中获取的识别结果来执行结算处理(S41)。例如，在获取了用于识别人的信息作为识别结果的情况下，可以从服务器获取与该用于识别人的信息相对应的电子货币信息或点数信息，并且使用该电子货币信息或点数信息执行结算处理。另一方面，在获取了无人相关作为识别结果的情况下，可以使用例如另一种方法来执行结算处理。
这里，描述了摄像头拍摄运动图像的示例。在摄像头拍摄静止图像的情况下，根据S31的通知，认证处理中的S34、S35、S36和S39按照此顺序执行，并且在任何定时处将识别结果通知给登记和结算处理。此外，在登记和结算处理中接收到开始结算处理的操作(S33中的“是”)的情况下，基于在任何定时处从认证处理通知的识别结果来执行结算处理(S41)。
根据本示例实施例的上述信息处理系统100，例如，即使在图像中包括多个人并且从图像中提取了多个人的情况下，也可以从多个人中选择执行结算处理的一个人。因此，可以基于与所选择的人相对应的信息(例如：电子货币信息或点数信息)适当地执行结算处理。
另外，本示例实施例的信息处理系统100可以基于距结账装置的距离来选择执行结算处理的人。例如，认为执行结算处理的人位于结账装置附近，以便执行结算操作或与销售员交易。因此，本示例实施例的信息处理系统100可以选择距结账装置的距离最短的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，信息处理系统100可以选择距结账装置的距离等于或小于参考值并且满足另一条件的人作为执行结算处理的人。另外，信息处理系统100可以选择出现频率等于或大于规定值并且满足另一条件的人作为执行结算处理的人。另外，信息处理系统100可以选择出现时间段等于或大于规定值并且满足另一条件的人作为执行结算处理的人。
例如，认为执行结算处理的人为了执行结算操作或与销售员交易，最长时间地位于信息处理系统100或销售员的前面，并且最长时间地包括在摄像头拍摄的图像中。因此，信息处理系统100可以选择距结账装置的距离等于或小于参考值并且在规定的时间范围(例如：执行结账期间的时间范围)中通过用摄像头拍摄而获取的频率或时间段最大的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，可以选择距结账装置的距离等于或小于参考值并且做出了用于结算的规定的讲话和行为的人作为执行结算处理的人。例如，可以选择说出支付方法的话语的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，例如，在父母和孩子来到商店的情况下，认为父母进行结算。因此，例如，在提取了估计年龄等于或大于参考值的人和估计年龄小于参考值的人的情况下，本示例实施例的信息处理系统100可以在选择执行结算处理的人时将估计年龄小于参考值的人排除在外。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，例如，在图像中包括包含在海报、招牌等中的人的情况下，信息处理系统100可以从图像中提取该人。本示例性实施例的信息处理系统100在选择执行结算处理的人时将不移动的人排除在外，因此可以在选择执行结算处理的人时将包括在海报、招牌等中的人排除在外。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，在本示例实施例中，可以基于诸如“距结账装置的距离等于或小于参考值”之类的条件来选择执行结算处理的人，这些条件可以相对容易地判定。此外，仅在利用这种指标选择了多个人的情况下，即，仅在人数没有被缩减为一个人的情况下，可以基于检测难度更高的另一条件来选择执行结算处理的人。利用该配置，可以减轻计算机的处理负担。
<第二示例实施例>
在本示例实施例的信息处理系统100中，选择单元14的配置与第一示例实施例不同。其他配置与第一示例实施例中的相同。
在提取了包括在图像中的人并且提取多个人的情况下，选择单元14主要基于出现频率(即在规定的时间范围期间通过用摄像头拍摄而获取的频率)和出现时间段(即在规定的时间范围期间通过用摄像头拍摄而获取的时间段)中的至少一个来选择执行结算处理的人。
例如，选择单元14可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人，或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段最长的人作为执行结算处理的人。另外，选择单元14可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值的人作为执行结算处理的人的候选。此外，在存在基于在规定的时间范围期间通过用摄像头拍摄而获取的频率或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段而选择的多个候选的情况下，选择单元14可以基于另一条件来从多个候选中选择执行结算处理的人。
这里，将描述在存在基于在规定的时间范围期间通过用摄像头拍摄而获取的频率或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段而选择的多个候选的情况下应用的另一条件。例如，选择单元14可以从多个候选中选择距结账装置(在本示例实施例的情况下，是信息处理系统100)的距离最短的人作为执行结算处理的人。例如，可以选择在规定的时间范围期间，距结账装置的距离最小的频率高的人或者距结账装置的距离最小的时间段长的人作为执行结算处理的人。另外，可以选择在规定的定时(例如：开始结算处理的操作被执行的定时)处距结账装置的距离最短的人作为执行结算处理的人。
将描述另一条件的另一示例。例如，选择单元14可以从多个候选中选择执行预先决定的规定的行为的人作为执行结算处理的人。该规定行为是被认为由执行结算处理的人执行的规定行为。例如，例示“举手”、“用手指等指自己”等，但本发明不限于此。这些行为被认为是由执行结算处理的人响应于来自销售员的询问“谁将进行支付？”而执行的。
将描述另一条件的另一示例。例如，选择单元14可以从多个候选中选择说出预先决定的话语的人作为执行结算处理的人。该话语的内容被认为是由执行结算处理的人给出的。例如，用于指定结算方法等的信息可以被认为是该话语的内容。也就是说，可以考虑“现金”、“卡”、规定的支付服务的名称或流行名称等。例如，在使用面部认证的支付服务的名称是“刷脸”的情况下，选择单元14可以识别说出“刷脸”的话语的人。
在该示例的情况下，信息处理系统100可以包括麦克风。此外，选择单元14可以通过对由麦克风收集的声音执行语音分析来检测如上所述的规定的话语。此外，选择单元14可以分析由摄像头拍摄的运动图像，并且可以识别在检测到规定的话语的定时处嘴部正在运动的人(或执行与话语内容相对应的规定的运动的人)。
应当注意，选择单元14可以从基于图像估计的估计年龄等于或大于参考值的人中选择执行结算处理的人(满足距摄像头的距离条件或另一条件的人)。换句话说，选择单元14可以将基于图像估计的估计年龄小于参考值的人排除在执行结算处理的人之外。
应当注意，在从图像中提取了估计年龄等于或大于参考值的人和估计年龄小于参考值的人的情况下，选择单元14可以从估计年龄等于或大于参考值的人中选择执行结算处理的人。也就是说，在仅提取了估计年龄小于参考值的人的情况下，选择单元14可以从估计年龄小于参考值的人中选择执行结算处理的人。
另外，选择单元14可以从移动的人中选择执行结算处理的人(满足距摄像头的距离条件或另一条件的人)。换句话说，选择单元14可以将不移动的人排除在执行结算处理的人之外。
应当注意，在从图像中提取了一个人的情况下，选择单元14可以选择该人作为执行结算处理的人。
这里，将参考图5的序列图描述本示例实施例的信息处理系统100的处理流程的示例。这里，选择单元14基于在规定的时间范围期间通过用摄像头拍摄而获取的频率或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段，来选择执行结算处理的人。注意，摄像头拍摄运动图像。
信息处理系统100并行地执行登记和结算处理以及认证处理(识别执行结算处理的人的处理)。首先，在登记和结算处理中，在产品登记处理开始的情况下(S50)，将对这一情况的通知提供给认证处理(S51)。
在登记和结算处理中，即使在S50中的产品登记处理开始之后也接收产品登记(S52)。在开始结算处理的操作未被执行期间(S53中的“否”)，接收产品登记(S52)。在开始结算处理的操作被执行的情况下(S53中的“是”)，将对这一情况的通知提供给认证处理(S54)。
在认证处理中，根据S54的通知，开始识别顾客的处理。具体地说，处理在规定的时间范围期间(例如：在S51的通知和S54的通知之间)由摄像头生成的运动图像，并选择执行结算处理的人(S55)。
例如，可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人、或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段最长的人作为执行结算处理的人。另外，可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值的人作为执行结算处理的人的候选。此外，在存在基于在规定的时间范围期间通过用摄像头拍摄而获取的频率或者在规定的时间范围期间通过用摄像头拍摄而获取的时间段而决定的多个候选的情况下，可以基于另一条件来从多个候选中选择执行结算处理的人。细节与如上所述相同。
此后，针对被选择作为执行结算处理的人，从图像中提取该人的外观的特征值，并且基于该特征值和登记了多个人中的每个人的外观的特征值的数据库信息来识别执行结算处理的人(S56)。此外，将识别结果(用于识别人的信息或无人相关)通知给登记和结算处理(S57)。
在登记和结算处理中，基于在S57中获取的识别结果来执行结算处理(S58)。例如，在获取了用于识别人的信息作为识别结果的情况下，可以从服务器获取与该用于识别人的信息相对应的电子货币信息或点数信息，以使用该电子货币信息或点数信息执行结算处理。另一方面，在获取了无人相关作为识别结果的情况下，可以使用例如另一种方法来执行结算处理。
根据本示例实施例的上述信息处理系统100，例如，即使在图像中包括多个人并且从图像中提取了多个人的情况下，也可以从多个人中选择一个执行结算处理的人。因此，可以基于与所选择的人相对应的信息(例如：电子货币信息或点数信息)适当地执行结算处理。
另外，本示例实施例的信息处理系统100可以基于在规定的时间范围期间通过用摄像头拍摄而获取的频率和在规定的时间范围期间通过用摄像头拍摄而获取的时间段中的至少一个，来选择执行结算处理的人。例如，认为执行结算处理的人为了执行结算操作或与销售员交易，最长时间地位于信息处理系统100或销售员的前面，并且最长时间地包括在摄像头拍摄的图像中。因此，信息处理系统100可以选择在规定的时间范围(例如：在执行结账期间的时间范围)期间通过用摄像头拍摄而获取的频率最高或通过用摄像头拍摄而获取的时间段最长的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，信息处理系统100可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值，并且满足另一条件的人作为执行结算处理的人。
例如，认为执行结算处理的人位于信息处理系统100附近，以便执行结算操作或与销售员交易。因此，本示例实施例的信息处理系统100可以决定在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值，并且距信息处理系统100的距离最短的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，可以选择在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值，并且做出了用于结算的规定的讲话和行为的人作为执行结算处理的人。例如，可以选择说出关于支付方法的话语的人作为执行结算处理的人。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，例如，在父母和孩子来到商店的情况下，认为父母进行结算。因此，例如，在提取了估计年龄等于或大于参考值的人和估计年龄小于参考值的人的情况下，本示例实施例的信息处理系统100可以在选择执行结算处理的人时将估计年龄小于参考值的人排除在外。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，例如，在图像中包括包含在海报、招牌等中的人的情况下，信息处理系统100可以从图像中提取该人。本示例性实施例的信息处理系统100在选择执行结算处理的人时将不移动的人排除在外，因此可以在选择执行结算处理的人时将包括在海报、招牌等中的人排除在外。结果是，可以从多个提取的人中准确地选择执行结算处理的人。
另外，在本示例实施例中，可以基于诸如“在规定的时间范围期间通过用摄像头拍摄而获取的频率、或在规定的时间范围期间通过用摄像头拍摄而获取的时间段等于或大于参考值”之类的条件来选择执行结算处理的人，这些条件可以相对容易地判定。此外，仅在利用这种指标选择了多个人的情况下，即，仅在人数没有被缩减为一个人的情况下，可以基于检测难度更高的另一条件来选择执行结算处理的人。利用该配置，可以减轻计算机的处理负担。
<第三示例实施例>
图11示出了本示例实施例的信息处理系统100的功能框图的示例。本示例实施例的信息处理系统100与第一示例实施例和第二示例实施例的信息处理系统100的不同之处在于，信息处理系统100包括第二选择单元15。其他配置与第一示例实施例和第二示例实施例中的相同。
第二选择单元15选择执行规定行为的人作为执行结算处理的人。
例如，第二选择单元15可以从包括在由获取单元11获取的图像中的人中选择执行预先决定的规定行为的人作为执行结算处理的人。该规定行为是被认为由执行结算处理的人执行的规定行为。例如，例示“举手”、“用手指等指自己”等，但本发明不限于此。这些行为被认为是由执行结算处理的人响应于来自销售员的询问“谁将进行支付？”而执行的。
应当注意，在第二选择单元15选择了多个人的情况下，可以由选择单元14执行从该多个人中选择执行结算处理的人的处理。例如，选择单元14可以从由第二选择单元15选择的多个人中，选择距结账装置的距离最短的人、在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人、或者通过用摄像头拍摄而获取的时间段长的人等作为执行结算处理的人。
在本示例实施例中，也可以实现与第一示例实施例和第二示例实施例中相同的有益效果。另外，根据本示例实施例，可以在通过第二选择单元15的处理缩减了执行结算处理的人的候选之后，执行选择单元14的处理。
<第四示例实施例>
图12示出了本示例实施例的信息处理系统100的功能框图的示例。本示例实施例的信息处理系统100与第一示例实施例和第二示例实施例的信息处理系统100的不同之处在于，信息处理系统100包括第三选择单元16。其他配置与第一示例实施例和第二示例实施例中的相同。
第三选择单元16选择说出规定的话语的人作为执行结算处理的人。
例如，第三选择单元16可以在包括在由获取单元11获取的图像中的人中，选择说出预先决定的话语的人作为执行结算处理的人。该话语的内容被认为是由执行结算处理的人给出的。例如，用于识别结算方法等的信息可以被认为是话语的内容。也就是说，可以考虑“现金”、“卡”、规定的支付服务的名称或流行名称等。例如，在使用面部认证的支付服务的名称是“刷脸”的情况下，第二选择单元15可以识别说出“刷脸”的话语的人。
在该示例的情况下，信息处理系统100可以包括麦克风(语音获取单元)。此外，在对由麦克风收集的声音执行了语音分析的情况下，第三选择单元16可以检测到有人说出了如上所述的规定的话语。此外，第三选择单元16可以分析由摄像头拍摄的运动图像，并且可以识别在检测到规定的话语的定时处嘴部正在运动的人(或正在执行与话语内容相对应的规定的运动的人)。
应当注意，在第三选择单元16选择了多个人的情况下，可以由选择单元14执行从该多个人中选择执行结算处理的人的处理。例如，选择单元14可以从由第三选择单元16选择的多个人中，选择距结账装置的距离最短的人、在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人、或者通过用摄像头拍摄而获取的时间段长的人等作为执行结算处理的人。
在本示例实施例中，也可以实现与第一示例实施例和第二示例实施例中相同的有益效果。另外，根据本示例实施例，可以在通过第三选择单元16的处理缩减了执行结算处理的人的候选之后，执行选择单元14的处理。
<第五示例实施例>
图13是本示例实施例的信息处理系统100的功能框图的示例。本示例实施例的信息处理系统100与第一示例实施例和第二示例实施例的信息处理系统100的不同之处在于，信息处理系统100包括第四选择单元17。其他配置与第一示例实施例和第二示例实施例中的相同。
第四选择单元17选择基于由获取单元11获取的图像估计的估计年龄等于或大于参考值的人作为执行结算处理的人。
在从图像中提取了估计年龄等于或大于参考值的人和估计年龄小于参考值的人的情况下，第四选择单元17可以选择估计年龄等于或大于参考值的人作为执行结算处理的人。此外，在仅提取了估计年龄小于参考值的人的情况下，第四选择单元17可以选择估计年龄小于参考值的人作为执行结算处理的人。
应当注意，在第四选择单元17选择了多个人的情况下，可以由选择单元14执行从该多个人中选择执行结算处理的人的处理。例如，选择单元14可以从由第四选择单元17选择的多个人中，选择距结账装置的距离最短的人、在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人、或者通过用摄像头拍摄而获取的时间段长的人等作为执行结算处理的人。
在本示例实施例中，也可以实现与第一示例实施例和第二示例实施例中相同的有益效果。另外，根据本示例实施例，可以在通过第四选择单元17的处理缩减了执行结算处理的人的候选之后，执行选择单元14的处理。
<第六示例实施例>
图14是本示例实施例的信息处理系统100的功能框图的示例。本示例实施例的信息处理系统100与第一示例实施例和第二示例实施例的信息处理系统100的不同之处在于，信息处理系统100包括第五选择单元18。其他配置与第一示例实施例和第二示例实施例中的相同。
第五选择单元18选择进行了移动的人作为执行结算处理的人。
应当注意，在第五选择单元18选择了多个人的情况下，可以由选择单元14执行从该多个人中选择执行结算处理的人的处理。例如，选择单元14可以从由第五选择单元18选择的多个人中，选择距结账装置的距离最短的人、在规定的时间范围期间通过用摄像头拍摄而获取的频率最高的人、或者通过用摄像头拍摄而获取的时间段长的人等作为执行结算处理的人。
在本示例实施例中，也可以实现与第一示例实施例和第二示例实施例中相同的有益效果。另外，根据本示例实施例，可以在通过第五选择单元18的处理缩减了执行结算处理的人的候选之后，执行选择单元14的处理。
<第七示例实施例>
如图6所示，本示例实施例的信息处理系统100包括顾客识别装置10和结账装置20。信息处理系统100通过由顾客识别装置10和结账装置20协同执行的处理来实现第一示例实施例至第六示例实施例中描述的规定处理。尽管稍后将描述实现示例，但是顾客识别装置10和结账装置20可以被配置为在物理上和/或在逻辑上集成，或者可以被配置为在物理上和/或在逻辑上分离。
首先，将描述顾客识别装置10和结账装置20的硬件配置的示例。包括在本示例实施例的顾客识别装置10和结账装置20中的各个功能单元由任何计算机的硬件和软件的任何组合实现，该任何计算机基于中央处理单元(CPU)、存储器、加载在存储器上的程序、诸如存储程序的硬盘之类的存储单元(除了从交付装置的阶段预先存储的程序之外，能够存储从诸如CD之类的存储介质、互联网上的服务器等下载的程序)和用于网络连接的接口。此外，本领域技术人员理解，存在用于实现方法及其装置的各种修改示例。
图2是示出本示例实施例的顾客识别装置10和结账装置20的硬件配置的框图。如图2所示，顾客识别装置10和结账装置20包括处理器1A、存储器2A、输入和输出接口3A、外围电路4A和总线5A。外围电路4A包括各种模块。注意，在顾客识别装置10和结账装置20被配置为在物理上和/或逻辑上分离的情况下，顾客识别装置10和结账装置20中的每一个包括如图2所示的硬件配置。
总线5A是用于由处理器1A、存储器2A、外围电路4A以及输入和输出接口3A彼此收发数据的数据传输路径。处理器1A是例如诸如中央处理单元(CPU)或图形处理单元(GPU)之类的算术处理单元。存储器2A是例如随机存取存储器(RAM)或只读存储器(ROM)等存储器。输入和输出接口3A包括用于从输入装置(例如：键盘、鼠标、麦克风、物理键、触摸板显示器、代码阅读器等)、外部装置、外部服务器、外部传感器等获取信息的接口，以及用于向输出装置(例如：显示器、扬声器、打印机、电子邮件发送器等)、外部设备、外部服务器等输出信息的接口。处理器1A可以向每个模块输出指令并基于每个模块的算术结果执行算术操作。
图7示出了结账装置20的功能框图的示例。如图所示，结账装置20包括结账单元21。由于结账单元21的配置与第一示例实施例至第六示例实施例中的相同，因此将不重复其描述。
图8示出了顾客识别装置10的功能框图的示例。如图所示，顾客识别装置10包括获取单元11、识别单元12、通知单元13和选择单元14。顾客识别装置10还可以包括第二选择单元15、第三选择单元16、第四选择单元17或第五选择单元18。由于获取单元11、识别单元12、选择单元14、第二选择单元15、第三选择单元16、第四选择单元17和第五选择单元18的配置与第一示例实施例至第六示例实施例中的相同，因此将不重复其描述。
通知单元13将识别单元12对人的识别结果通知给结账装置20，这个人是被选择单元14决定为执行结算处理的人。识别结果是用于识别执行结算处理的人的信息或无人相关。
应当注意，顾客识别装置10和结账装置20可以相互发送和接收信息。例如，结账装置20从顾客识别装置10获取识别结果。
另外，结账装置20向顾客识别装置10通知：规定的操作已被执行。作为示例，当在针对某个顾客的结账处理(登记处理、结算处理等)期间，执行了在执行开始结算处理的操作之前执行的规定操作时，结账装置20可以响应于该操作，向顾客识别装置10通知该操作已被执行。例如，结账装置20可以向顾客识别装置10通知：在针对顾客的结账处理期间执行了最初的产品的登记。作为另一示例，结账装置20可以向顾客识别装置10通知：开始结算处理的操作已被执行。
本示例实施例的信息处理系统100的处理流程与图3和图5的序列图中所示的相同。图中所示的登记和结算处理由结账装置20执行，图中所示的认证处理由顾客识别装置10执行。
下面，将描述由顾客识别装置10和结账装置20实现的本示例实施例的信息处理系统100的实现示例。
如图9所示，顾客识别装置10和结账装置20可以由物理上和/或逻辑上分开的POS收银机1和附接装置2实现。POS收银机1和附接装置2被配置为能够以有线和/或无线方式彼此通信。POS收银机1和附接装置2可以如图所示一对一地连接，或者多个POS收银机1可以连接到一个附接装置2。
在图9的示例的情况下，结账装置20可以由POS收银机1实现，顾客识别装置10可以由附接装置2实现。
另外，结账装置20的功能和顾客识别装置10的部分功能可以由POS收银机1实现，顾客识别装置10的另一部分功能可以由附接装置2实现。例如，顾客识别装置10的获取单元11的功能和识别单元12的部分功能(例如：从图像中提取人的功能和提取人的特征值的功能)可以由POS收银机1实现。此外，识别单元12的另一部分功能(例如：将从图像中提取人的特征值与登记了多个人中的每个人的外观特征值的数据库信息核对的功能)、通知单元13和选择单元14可以由附接装置2实现。附接装置2还可以包括第二选择单元15、第三选择单元16、第四选择单元17或第五选择单元18。
根据本示例实施例的上述信息处理系统100获取与第一示例实施例和第二示例实施例中相同的有益效果。另外，如图9所示，在通过POS收银机1和另一装置(附接装置2)实现信息处理系统100的配置的情况下，可以使用不包括执行面部认证处理的功能的现有POS收银机1。结果是，可以节省引入新系统的成本。
<第八示例实施例>
在本示例实施例中，与第七示例实施例相同，信息处理系统100由顾客识别装置10和结账装置20实现。本示例实施例的信息处理系统100的实现示例与第七示例实施例的实现示例不同。其他配置与第七示例实施例中的相同。
在本示例实施例中，如图10所示，顾客识别装置10和结账装置20由物理上和/或逻辑上分开的POS收银机1和服务器3实现。POS收银机1和服务器3被配置为能够以有线和/或无线方式彼此通信。如图所示，多个POS收银机1连接到一个服务器3。
在图10的示例的情况下，结账装置20可以由POS收银机1实现，顾客识别装置10可以由服务器3实现。
另外，结账装置20的功能和顾客识别装置10的部分功能可以由POS收银机1实现，顾客识别装置10的另一部分功能可以由服务器3实现。例如，顾客识别装置10的获取单元11的功能和识别单元12的部分功能(例如：从图像中提取人的功能和提取人的特征值的功能)可以由POS收银机1实现。此外，识别单元12的另一部分功能(例如：将从图像中提取人的特征值与登记了多个人中的每个人的外观特征值的数据库信息核对的功能)、通知单元13和选择单元14可以由服务器3实现。服务器3还可以包括第二选择单元15、第三选择单元16、第四选择单元17或第五选择单元18。
根据本示例实施例的上述信息处理系统100获取与第一示例实施例至第七示例实施例中相同的有益效果。另外，如图10所示，在通过POS收银机1和另一装置(服务器3)实现信息处理系统100的配置的情况下，可以使用不包括执行面部认证处理的功能的现有POS收银机1。结果是，可以节省引入新系统的成本。
尽管以上示例实施例的一部分或全部可以被描述为下面的附加内容，但是本发明不限于以下内容。
1.一种信息处理系统，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
2.根据1所述的信息处理系统，
其中，所述选择单元将距所述结账装置的距离短的人决定为执行所述结算处理的人。
3.根据1所述的信息处理系统，
其中，所述选择单元选择在规定的时间范围期间通过用所述摄像头拍摄而获取的频率高的人和在规定的时间范围期间通过用所述摄像头拍摄而获取的时间段长的人中的至少任何一个人作为执行所述结算处理的人。
4.根据1至3中任一项所述的信息处理系统，还包括：
第二选择单元，选择执行规定行为的人作为执行所述结算处理的人。
5.根据1至4中任一项所述的信息处理系统，还包括：
语音获取单元，获取语音；以及
第三选择单元，基于所获取的语音，选择说出规定的话语的人作为执行所述结算处理的人。
6.根据1至5中任一项所述的信息处理系统，还包括：
第四选择单元，选择基于所述图像估计的估计年龄等于或大于参考值的人作为执行所述结算处理的人。
7.根据1至6中任一项所述的信息处理系统，还包括：
第五选择单元，选择进行了移动的人作为执行所述结算处理的人。
8.一种顾客识别装置，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
通知单元，针对由所述识别单元识别的、执行所述结算处理的人，向所述结账装置通知用于识别该人的信息。
9.一种由计算机执行的信息处理方法，所述方法包括：
获取步骤，获取由摄像头生成的面部的图像；
选择步骤，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别步骤，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算步骤，针对所识别的人执行所述结算处理。
10.一种程序，所述程序使计算机用作：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
11.一种由计算机执行的顾客识别方法，所述方法包括：
获取步骤，获取由摄像头生成的面部的图像；
选择步骤，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别步骤，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
通知步骤，针对由所述识别单元识别的、执行所述结算处理的人，向所述结账装置通知用于识别该人的信息。
12.一种程序，所述程序使计算机用作：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
通知单元，针对由所述识别单元识别的、执行所述结算处理的人，向所述结账装置通知用于识别该人的信息。
在上文中，尽管参考示例实施例描述了本发明，但是本发明不限于上述示例实施例。对于本发明的配置和细节，在本发明的范围内可以做出本领域技术人员可以理解的各种修改。
本申请要求基于2016年12月22日递交的日本专利申请2016-248811的优先权，其全部公开内容通过引用并入本文。

Claims (10)

1.一种信息处理系统，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
2.根据权利要求1所述的信息处理系统，
其中，所述选择单元将距所述结账装置的距离短的人决定为执行所述结算处理的人。
3.根据权利要求1所述的信息处理系统，
其中，所述选择单元选择在规定的时间范围期间通过用所述摄像头拍摄而获取的频率高的人和在规定的时间范围期间通过用所述摄像头拍摄而获取的时间段长的人中的至少任何一个人作为执行所述结算处理的人。
4.根据权利要求1至3中任一项所述的信息处理系统，还包括：
第二选择单元，选择执行规定行为的人作为执行所述结算处理的人。
5.根据权利要求1至4中任一项所述的信息处理系统，还包括：
语音获取单元，获取语音；以及
第三选择单元，基于所获取的语音，选择说出规定的话语的人作为执行所述结算处理的人。
6.根据权利要求1至5中任一项所述的信息处理系统，还包括：
第四选择单元，选择基于所述图像估计的估计年龄等于或大于参考值的人作为执行所述结算处理的人。
7.根据权利要求1至6中任一项所述的信息处理系统，还包括：
第五选择单元，选择进行了移动的人作为执行所述结算处理的人。
8.一种顾客识别装置，包括：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
通知单元，针对由所述识别单元识别的、执行所述结算处理的人，向所述结账装置通知用于识别该人的信息。
9.一种由计算机执行的信息处理方法，所述方法包括：
获取由摄像头生成的面部的图像；
提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
针对所识别的人执行所述结算处理。
10.一种程序，所述程序使计算机用作：
获取单元，获取由摄像头生成的面部的图像；
选择单元，提取所获取的图像中的人，并且在提取了多个人的情况下，基于距结账装置的距离、出现频率和出现时间段中的至少一个来选择执行结算处理的人；
识别单元，基于包括所选择的人的图像，并且基于登记了面部的特征值的数据库信息，来识别该所选择的人；以及
结算单元，针对所识别的人执行所述结算处理。
CN201780079814.0A 2016-12-22 2017-09-06 信息处理系统、顾客识别装置、信息处理方法和程序 Active CN110121737B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-248811 2016-12-22
JP2016248811 2016-12-22
PCT/JP2017/032080 WO2018116537A1 (ja) 2016-12-22 2017-09-06 情報処理システム、顧客特定装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110121737A true CN110121737A (zh) 2019-08-13
CN110121737B CN110121737B (zh) 2022-08-02

Family

ID=62627022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079814.0A Active CN110121737B (zh) 2016-12-22 2017-09-06 信息处理系统、顾客识别装置、信息处理方法和程序

Country Status (4)

Country Link
US (5) US11017400B2 (zh)
JP (2) JP7067485B2 (zh)
CN (1) CN110121737B (zh)
WO (1) WO2018116537A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106965A (ja) * 2018-12-26 2020-07-09 トヨタ自動車株式会社 車載装置、制御方法、プログラム及び車両
JP7485916B2 (ja) 2020-04-03 2024-05-17 株式会社デンソーウェーブ 食堂決済システム、および、食堂決済装置
JP2023077805A (ja) * 2021-11-25 2023-06-06 東芝テック株式会社 決済者監視装置及びそのプログラム、決済者監視方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0892388A1 (en) * 1997-07-18 1999-01-20 Lucent Technologies Inc. Method and apparatus for providing speaker authentication by verbal information verification using forced decoding
US20040162726A1 (en) * 2003-02-13 2004-08-19 Chang Hisao M. Bio-phonetic multi-phrase speaker identity verification
JP2004302644A (ja) * 2003-03-28 2004-10-28 Sony Corp 顔識別装置、顔識別方法、記録媒体、及びロボット装置
JP2007109168A (ja) * 2005-10-17 2007-04-26 Vinculum Japan Corp 販売情報管理システム
JP2007114957A (ja) * 2005-10-19 2007-05-10 Toshiba Tec Corp 商品情報表示システム
US20070253603A1 (en) * 2006-04-28 2007-11-01 Omron Corporation Monitoring device, method and program thereof
JP4230049B2 (ja) * 1999-05-10 2009-02-25 株式会社野村総合研究所 顧客画像データベース作成装置
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
JP2010055248A (ja) * 2008-08-27 2010-03-11 Shoei Computer:Kk 客層付販売情報生成システム
US8010402B1 (en) * 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
CN102187355A (zh) * 2008-10-14 2011-09-14 Nec软件有限公司 信息提供装置、信息提供方法和记录介质
CN102194456A (zh) * 2010-03-11 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN102831730A (zh) * 2011-06-17 2012-12-19 卡西欧计算机株式会社 销售数据处理装置
JP2013003872A (ja) * 2011-06-17 2013-01-07 Casio Comput Co Ltd 売上データ処理装置及びプログラム
CN104346883A (zh) * 2013-08-04 2015-02-11 郁晓东 一种识别顾客的pos装置
CN105741451A (zh) * 2014-12-29 2016-07-06 东芝泰格有限公司 信息处理系统及信息处理方法
CN205644837U (zh) * 2016-04-20 2016-10-12 宁波大学 一种基于面部识别的超市终端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244279A (ja) 2005-03-04 2006-09-14 Mitsubishi Electric Corp 画像分類装置
CN102631730B (zh) 2012-05-03 2013-07-10 蔡根顺 一种顶出自毁式注射器
US20160189162A1 (en) 2014-12-29 2016-06-30 Toshiba Tec Kabushiki Kaisha Information processing system, and storage medium which stores information processing program
US20160217407A1 (en) * 2015-01-28 2016-07-28 100INSIGHTS, Inc. Computerized systems and methods for sales and marketing process management

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0892388A1 (en) * 1997-07-18 1999-01-20 Lucent Technologies Inc. Method and apparatus for providing speaker authentication by verbal information verification using forced decoding
JP4230049B2 (ja) * 1999-05-10 2009-02-25 株式会社野村総合研究所 顧客画像データベース作成装置
US8010402B1 (en) * 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
US20040162726A1 (en) * 2003-02-13 2004-08-19 Chang Hisao M. Bio-phonetic multi-phrase speaker identity verification
JP2004302644A (ja) * 2003-03-28 2004-10-28 Sony Corp 顔識別装置、顔識別方法、記録媒体、及びロボット装置
JP2007109168A (ja) * 2005-10-17 2007-04-26 Vinculum Japan Corp 販売情報管理システム
JP2007114957A (ja) * 2005-10-19 2007-05-10 Toshiba Tec Corp 商品情報表示システム
US20070253603A1 (en) * 2006-04-28 2007-11-01 Omron Corporation Monitoring device, method and program thereof
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
JP2010055248A (ja) * 2008-08-27 2010-03-11 Shoei Computer:Kk 客層付販売情報生成システム
CN102187355A (zh) * 2008-10-14 2011-09-14 Nec软件有限公司 信息提供装置、信息提供方法和记录介质
CN102194456A (zh) * 2010-03-11 2011-09-21 索尼公司 信息处理设备、信息处理方法和程序
CN102831730A (zh) * 2011-06-17 2012-12-19 卡西欧计算机株式会社 销售数据处理装置
JP2013003872A (ja) * 2011-06-17 2013-01-07 Casio Comput Co Ltd 売上データ処理装置及びプログラム
CN104346883A (zh) * 2013-08-04 2015-02-11 郁晓东 一种识别顾客的pos装置
CN105741451A (zh) * 2014-12-29 2016-07-06 东芝泰格有限公司 信息处理系统及信息处理方法
CN205644837U (zh) * 2016-04-20 2016-10-12 宁波大学 一种基于面部识别的超市终端设备

Also Published As

Publication number Publication date
CN110121737B (zh) 2022-08-02
US20210241285A1 (en) 2021-08-05
WO2018116537A1 (ja) 2018-06-28
US20230394934A1 (en) 2023-12-07
JPWO2018116537A1 (ja) 2019-10-24
US11562364B2 (en) 2023-01-24
JP2023121779A (ja) 2023-08-31
US11861993B2 (en) 2024-01-02
US11017400B2 (en) 2021-05-25
US20190311370A1 (en) 2019-10-10
JP2022105052A (ja) 2022-07-12
US20230410614A1 (en) 2023-12-21
US20230137409A1 (en) 2023-05-04
JP7310969B2 (ja) 2023-07-19
JP7067485B2 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
CN105741451B (zh) 信息处理系统及信息处理方法
CN109508974B (zh) 一种基于特征融合的购物结账系统和方法
US20080040278A1 (en) Image recognition authentication and advertising system
JP7310969B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP7298865B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP7163604B2 (ja) 精算システム、精算方法及びプログラム
JP2016181100A (ja) 情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラム
US20240169359A1 (en) Self-service terminal (sst) item return anti-fraud processing
JP6942984B2 (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP2011014174A (ja) 電子決済システム、個人用端末、加盟店用端末、認証・決済装置、電子決済方法、および電子決済プログラム
JP2017102846A (ja) 接客対応評価装置及び接客対応評価方法
CN106897871A (zh) 一种购物方法和计算机可读存储媒体
JP2023162229A (ja) 監視装置及びプログラム
JP7513161B2 (ja) 情報処理システム、顧客特定装置、情報処理方法及びプログラム
JP2001306985A (ja) 顧客の人体特徴を利用した決済システム
JP7458538B1 (ja) プログラム、情報処理装置、および情報処理方法
JP6905120B1 (ja) 情報処理方法及び情報処理装置
JP6380610B2 (ja) 情報処理装置、情報表示方法及びプログラム
JP2017068694A (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP2024007721A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2023170890A (ja) 決済システム
JP2023048516A (ja) 人物の属性と人物の画像に基づくデータとを対応付ける装置、方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant