CN112132868A - 一种支付信息的确定方法、装置及设备 - Google Patents

一种支付信息的确定方法、装置及设备 Download PDF

Info

Publication number
CN112132868A
CN112132868A CN202011096698.3A CN202011096698A CN112132868A CN 112132868 A CN112132868 A CN 112132868A CN 202011096698 A CN202011096698 A CN 202011096698A CN 112132868 A CN112132868 A CN 112132868A
Authority
CN
China
Prior art keywords
target object
target
specified type
behavior
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011096698.3A
Other languages
English (en)
Other versions
CN112132868B (zh
Inventor
毛恩云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202011096698.3A priority Critical patent/CN112132868B/zh
Publication of CN112132868A publication Critical patent/CN112132868A/zh
Application granted granted Critical
Publication of CN112132868B publication Critical patent/CN112132868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种支付信息的确定方法、装置及设备,该方法包括:获取目标对象的第一目标图像和运动轨迹;若基于第一目标图像确定目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;获取目标对象的第二目标图像,第二目标图像中的所述目标对象存在指定类型行为,并将第二目标图像发送给所述管理设备,以使管理设备基于第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。通过本申请的技术方案,能够实现指定区域中非自助商品的无感支付。

Description

一种支付信息的确定方法、装置及设备
技术领域
本申请涉及人工智能领域,尤其是一种支付信息的确定方法、装置及设备。
背景技术
近年来,随着人员用工成本的逐年增加,房租成本的逐渐攀升,使得便利店的利润空间不断被挤压。同时,受到劳动力成本和空间限制,一般便利店很难配备足够的服务人员,导致高峰排队现象普遍,顾客的购物体验较差。
基于上述情况,无人便利店得到了快速发展,无人便利店无需雇佣收银员,降低了人力成本。无人便利店模式简单,应用场景多,容易大规模复制。无人便利店能够最大程度的减少排队、付款等待时间,从而提升了顾客的体验。
在无人便利店中,基于计算机视觉技术,可以实现指定区域(如无人便利店的任意区域)中自助商品(如不需要临时加工的商品,比如矿泉水、饼干等)的无感支付。但是,在相关技术中,还无法实现指定区域中非自助商品(如需要店员参与的临时加工的商品,比如生鲜商品或鲜食商品等)的无感支付。
发明内容
本申请提供一种支付信息的确定方法,所述方法包括:
获取目标对象的第一目标图像和运动轨迹;
若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,并将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
在一种可能的实施方式中,基于所述第一目标图像确定所述目标对象是否存在指定类型行为的过程,具体包括:
若确定所述第一目标图像包括指定类型对象,且基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域,则基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为;其中,所述指定区域是指定类型对象能够进入且非指定类型对象不能进入的区域。
在一种可能的实施方式中,所述指定类型对象的运动轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻;所述基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域,包括:
确定所述第一目标图像的获取时刻,并从该运动轨迹包括的多个采集时刻中选取与所述获取时刻匹配的目标采集时刻;
若该运动轨迹中的与所述目标采集时刻对应的物理坐标位于所述指定区域,则确定所述指定类型对象位于所述指定区域。
在一种可能的实施方式中,所述基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为,包括:
将所述第一目标图像输入给行为识别模型;
通过所述行为识别模型确定所述第一目标图像的特征信息;
通过所述行为识别模型确定与所述特征信息匹配的标签信息,所述标签信息用于表示存在指定类型行为或者不存在指定类型行为;
基于所述标签信息确定所述目标对象与所述指定类型对象之间存在指定类型行为,或所述目标对象与所述指定类型对象之间不存在指定类型行为。
本申请提供一种支付信息的确定方法,所述方法包括:
获取目标对象的运动轨迹的跟踪标识,并基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,基于所述第二目标图像生成所述目标对象的商品清单;
根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
在一种可能的实施方式中,所述基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息之前,所述方法还包括:
获取所述目标对象的全局轨迹;其中,所述全局轨迹包括所述目标对象在摄像机的探测范围内的运动轨迹,并记录所述全局轨迹的全局标识与该运动轨迹的跟踪标识、该摄像机的设备信息之间的第一映射关系;
获取所述目标对象进入门禁设备的管理信息;其中,所述管理信息包括所述目标对象进入门禁设备的开门时间、所述目标对象的身份信息;
确定与所述开门时间匹配的所述目标对象的全局轨迹,记录所述全局轨迹的全局标识与所述目标对象的身份信息之间的第二映射关系。
本申请提供一种支付信息的确定装置,所述装置包括:
获取模块,用于获取目标对象的第一目标图像和运动轨迹;
发送模块,用于若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
所述获取模块,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;
所述发送模块,还用于将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
本申请提供一种支付信息的确定装置,所述装置包括:
获取模块,用于获取目标对象的运动轨迹的跟踪标识;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;确定模块,用于基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;所述获取模块,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;生成模块,用于基于所述第二目标图像生成所述目标对象的商品清单;所述确定模块,还用于根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
本申请提供一种电子设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现上述的方法步骤。
本申请提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现上述的方法步骤。
由以上技术方案可见,本申请实施例中,若基于第一目标图像确定目标对象存在指定类型行为(如商品传递行为),则基于运动轨迹的跟踪标识确定目标对象的身份信息,基于第二目标图像生成目标对象的商品清单,并根据身份信息和商品清单确定目标对象的支付信息,继而利用该支付信息实现目标对象的无感支付,能够实现指定区域中非自助商品的无感支付。借助行为识别技术自动识别商品传递行为,能够准确识别出商品传递行为,降低人为识别的出错概率。在发生商品传递行为后,可以自动确定目标对象的支付信息,利用该支付信息实现目标对象的无感支付,实现了自主对非自助商品和/或自助商品的无感支付,实现了非自助商品和/或自助商品的统一结算,无需再隔离自助商品区域与非自助商品区域,实现了自助商品区域和非自助商品区域的统一管理。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的支付信息的确定方法的流程示意图;
图2是本申请一种实施方式中的支付信息的确定方法的流程示意图;
图3是本申请一种实施方式中的支付信息的确定方法的流程示意图;
图4是本申请一种实施方式中的系统结构示意图;
图5是本申请一种实施方式中的支付信息的确定装置的结构示意图;
图6是本申请一种实施方式中的支付信息的确定装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本申请的技术方案之前,先介绍与本申请实施例有关的如下概念:
机器学习:机器学习是实现人工智能的一种途径,用于研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能。深度学习属于机器学习的子类,是一种使用数学模型对真实世界中的特定问题进行建模,以解决该领域内相似问题的过程。神经网络是深度学习的实现方式,为了方便描述,本文以神经网络为例,介绍神经网络的结构和功能,对于机器学习的其它子类,与神经网络的结构和功能类似。
神经网络:神经网络包括但不限于卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全连接网络等,神经网络的结构单元包括但不限于卷积层(Conv)、池化层(Pool)、激励层、全连接层(FC)等,对此不做限制。
在实际应用中,可以根据不同需求,将一个或多个卷积层,一个或多个池化层,一个或多个激励层,以及一个或多个全连接层进行组合构建神经网络。
在卷积层中,通过使用卷积核对输入数据特征进行卷积运算,使输入数据特征增强,该卷积核可以是m*n大小的矩阵,卷积层的输入数据特征与卷积核进行卷积,可以得到卷积层的输出数据特征,卷积运算实际是一个滤波过程。
在池化层中,通过对输入数据特征(如卷积层的输出)进行取最大值、取最小值、取平均值等操作,从而利用局部相关性的原理,对输入数据特征进行子抽样,减少处理量,并保持特征不变性,池化层运算实际是一个降采样过程。
在激励层中,可以使用激活函数(如非线性函数)对输入数据特征进行映射,从而引入非线性因素,使得神经网络通过非线性的组合增强表达能力。
该激活函数可以包括但不限于ReLU(Rectified Linear Units,整流线性单元)函数,该ReLU函数用于将小于0的特征置0,而大于0的特征保持不变。
在全连接层中,用于将输入给本全连接层的所有数据特征进行全连接处理,从而得到一个特征向量,且该特征向量中可以包括多个数据特征。
指定类型对象和非指定类型对象:指定类型对象可以为工作人员,如店员、管理者、职工、营业员等,对此指定类型对象不做限制,具有服务属性的人员均可以作为指定类型对象。非指定类型对象可以为非工作人员,如顾客、消费者、客户等,对此非指定类型对象不做限制,具有接受服务属性的人员均可以作为非指定类型对象。在后续实施例中,以指定类型对象是店员,非指定类型对象是顾客为例,对于其它类型的指定类型对象和非指定类型对象不再赘述。
自助商品区域和非自助商品区域:自助商品区域是用于存放自助商品的区域,自助商品是不需要临时加工或无需店员参与的商品,如矿泉水、饼干等商品。非自助商品区域是用于存放非自助商品的区域,非自助商品是需要临时加工或需要店员参与的商品,如生鲜商品(果蔬肉蛋等需要现场称重的商品等)或鲜食商品(包子、便当、关东煮等需要现场加热和制作的商品)等。
运动轨迹和全局轨迹:由于目标场景(如无人便利店等)存在多个摄像机,针对每个摄像机来说,均可以跟踪到对象的轨迹,为了区分方便,将摄像机跟踪到的轨迹称为运动轨迹,将该运动轨迹的标识称为跟踪标识。比如说,摄像机1跟踪到对象1的运动轨迹11和对象2的运动轨迹12,摄像机2跟踪到对象1的运动轨迹21,对象2的运动轨迹22和对象3的运动轨迹23,以此类推。
由于运动轨迹11和运动轨迹21是同一个对象1的运动轨迹,因此,需要对运动轨迹11和运动轨迹21进行融合,得到对象1的融合后的完整运动轨迹,该完整运动轨迹可以包括对象1在各个摄像机下的运动轨迹,同理,可以得到对象2的完整运动轨迹,以此类推。为了区分方便,可以将对象的完整运动轨迹称为该对象的全局轨迹,并将该全局轨迹的标识称为全局标识。
需要注意的是,同一摄像机跟踪到的运动轨迹的跟踪标识不同,如运动轨迹11的跟踪标识和运动轨迹12的跟踪标识不同。不同摄像机跟踪到的运动轨迹的跟踪标识可能相同,也可能不同,如运动轨迹11的跟踪标识和运动轨迹22(或运动轨迹21)的跟踪标识可能相同,也可能不同。不同全局轨迹的全局标识不同,如对象1的全局轨迹的全局标识与对象2的全局轨迹的全局标识不同。
目标对象:在通过摄像机采集到图像后,将图像中的人员均记为对象,可以基于对象所处位置信息或者对象对应身份信息来区分对象的类型,如该对象可以为指定类型对象(如店员)或者非指定类型对象(如顾客)。若该对象为非指定类型对象,则将该对象称为目标对象,表示该对象是需要进行无感支付的目标对象。本实施例中,是需要确定目标对象的支付信息,继而基于目标对象的支付信息对该目标对象进行无感支付。
本申请实施例中提出一种支付信息的确定方法,该方法可以应用于摄像机,参见图1所示,为支付信息的确定方法的流程图,该方法可以包括:
步骤101,获取目标对象的第一目标图像和运动轨迹。
步骤102,若基于该第一目标图像确定该目标对象存在指定类型行为,则将该运动轨迹的跟踪标识发送给管理设备,以使管理设备基于该运动轨迹的跟踪标识确定该目标对象的身份信息(用于识别目标对象的身份)。
步骤103,获取该目标对象的第二目标图像,该第二目标图像中的该目标对象存在指定类型行为,并将该第二目标图像发送给管理设备,以使管理设备基于该第二目标图像生成该目标对象的商品清单,并根据该身份信息和该商品清单确定该目标对象的支付信息(用于实现目标对象的支付)。
在一种可能的实施方式中,基于该第一目标图像确定该目标对象是否存在指定类型行为的过程,可以包括:若确定第一目标图像包括指定类型对象,且基于指定类型对象的运动轨迹确定该指定类型对象位于指定区域,则基于该第一目标图像确定该目标对象与该指定类型对象之间是否存在指定类型行为。该指定区域是指定类型对象能够进入且非指定类型对象不能进入的区域。
示例性的,指定类型对象的运动轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻;基于指定类型对象的运动轨迹确定该指定类型对象位于指定区域,可以包括:确定第一目标图像的获取时刻,并从该运动轨迹包括的多个采集时刻中选取与该获取时刻匹配的目标采集时刻;若该运动轨迹中的与目标采集时刻对应的物理坐标位于指定区域,则确定指定类型对象位于指定区域。
示例性的,基于该第一目标图像确定该目标对象与该指定类型对象之间是否存在指定类型行为,可以包括:将第一目标图像输入给行为识别模型;通过行为识别模型确定第一目标图像的特征信息;通过行为识别模型确定与该特征信息匹配的标签信息,该标签信息用于表示存在指定类型行为或者不存在指定类型行为;基于该标签信息确定该目标对象与该指定类型对象之间存在指定类型行为,或该目标对象与该指定类型对象之间不存在指定类型行为。
本申请实施例中提出一种支付信息的确定方法,该方法可以应用于管理设备,参见图2所示,为支付信息的确定方法的流程图,该方法可以包括:
步骤201,获取目标对象的运动轨迹的跟踪标识,并基于该运动轨迹的跟踪标识确定该目标对象的身份信息。示例性的,该跟踪标识是摄像机基于该目标对象的第一目标图像确定该目标对象存在指定类型行为时发送的。
步骤202,获取目标对象的第二目标图像,第二目标图像中的该目标对象存在指定类型行为,基于第二目标图像生成该目标对象的商品清单。
步骤203,根据该身份信息和该商品清单确定该目标对象的支付信息。
在一种可能的实施方式中,基于该运动轨迹的跟踪标识确定该目标对象的身份信息之前,还可以获取目标对象的全局轨迹,该全局轨迹包括目标对象在摄像机的探测范围内的运动轨迹,并记录该全局轨迹的全局标识与该运动轨迹的跟踪标识、该摄像机的设备信息之间的第一映射关系。获取该目标对象进入门禁设备的管理信息,该管理信息包括目标对象进入门禁设备的开门时间、目标对象的身份信息。确定与该开门时间匹配的目标对象的全局轨迹,记录该全局轨迹的全局标识与该目标对象的身份信息之间的第二映射关系。
示例性的,基于该运动轨迹的跟踪标识确定该目标对象的身份信息,可以包括:通过该运动轨迹的跟踪标识和摄像机的设备信息查询第一映射关系,得到与该跟踪标识和该设备信息对应的全局轨迹的全局标识。然后,通过该全局标识查询第二映射关系,得到该目标对象的身份信息。
示例性的,在一种可能的实施方式中,基于该运动轨迹的跟踪标识确定该目标对象的身份信息之前,还可以获取目标对象的全局轨迹,该全局轨迹包括目标对象在摄像机的探测范围内的运动轨迹。获取该目标对象进入门禁设备的管理信息,该管理信息包括目标对象进入门禁设备的开门时间、目标对象的身份信息。确定与该开门时间匹配的目标对象的全局轨迹。记录该全局轨迹的全局标识、该运动轨迹的跟踪标识、该摄像机的设备信息与该目标对象的身份信息之间的第三映射关系。
示例性的,基于该运动轨迹的跟踪标识确定该目标对象的身份信息,可以包括:通过该运动轨迹的跟踪标识、摄像机的设备信息查询第三映射关系,得到该目标对象的身份信息。
示例性的,获取目标对象的全局轨迹,可以包括但不限于:获取第一摄像机探测到的第一目标在该第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在该第二摄像机探测范围内的第二运动轨迹;该第一摄像机和该第二摄像机具有重叠探测范围;当根据该第一运动轨迹和该第二运动轨迹确定该第一目标和该第二目标为同一目标对象时,获取该目标对象的全局轨迹,该目标对象的全局轨迹可以包括第一运动轨迹和第二运动轨迹。
示例性的,目标对象的全局轨迹至少包括多个物理坐标以及每个物理坐标对应的采集时刻;确定与该开门时间匹配的目标对象的全局轨迹,可以包括但不限于:从该全局轨迹包括的多个采集时刻中选取与该开门时间匹配的目标采集时刻;若该全局轨迹中的与该目标采集时刻对应的物理坐标位于门禁设备的进入区域,则将该全局轨迹确定为与该开门时间匹配的全局轨迹。
本申请实施例提出一种支付信息的确定方法,用于在目标场景(如便利店、无人便利店、超市等)实现无感支付,参见图3所示,为该方法的流程图。
步骤301,摄像机获取目标对象的第一目标图像和运动轨迹。
示例性的,可以通过摄像机采集视野范围内的图像,该图像中可能包括至少一个对象,针对每个对象来说,可以区分该对象为指定类型对象还是非指定类型对象,若该对象为非指定类型对象,则可以将该对象称为目标对象,并将该图像称为目标对象的第一目标图像,且第一目标图像包括该目标对象。
示例性的,位于指定监测范围(如鲜食区等)的摄像机可以采集视野范围内的第一目标图像,即第一目标图像由位于指定监测范围的摄像机采集,该第一目标图像可以是全局图像,也可以是局部图像,对此第一目标图像的类型不做限制。
示例性的,针对每个对象来说,可以确定该对象是否为指定类型对象,若否,则可以确定该对象为非指定类型对象,即目标对象。关于确定该对象是否为指定类型对象的实现方式,可以参见后续实施例,在此不再赘述。
示例性的,针对每个对象来说,可以获取该对象的运动轨迹。目标对象及指定类型对象的运动轨迹的获取方式相似,此处以目标对象举例进行说明。比如说,通过摄像机采集包括该目标对象的多个第一目标图像,基于这些第一目标图像对该目标对象进行跟踪,得到该目标对象在该摄像机的探测范围内的运动轨迹,该运动轨迹包括至少一个轨迹点,每个轨迹点包括目标对象的物理坐标和物理坐标的采集时刻,表示目标对象在该采集时刻处于该物理坐标,即,针对摄像机在该采集时刻采集的第一目标图像,可以确定目标对象处于该物理坐标。
物理坐标是目标对象在真实世界的物理位置,例如,以真实世界的某位置为原点建立世界坐标系,物理坐标是该世界坐标系下的物理位置。
基于多个第一目标图像,可以采用任意目标跟踪算法对目标对象进行跟踪,得到目标对象的运动轨迹,本文对此目标跟踪算法不做限制。
步骤302,若摄像机基于该第一目标图像确定该目标对象存在指定类型行为,则摄像机将该目标对象的运动轨迹的跟踪标识发送给管理设备。
在一种可能的实施方式中,该指定类型行为可以包括但不限于商品传递行为(如非自助商品的传递行为或者自助商品的传递行为等),当然,商品传递行为只是指定类型行为的一个示例,对此指定类型行为不做限制。
针对商品传递行为,第一目标图像可以包括至少两个对象,以两个对象为例,一个对象为指定类型对象(关于如何确定该对象为指定类型对象,参见后续实施例),另一个对象为目标对象,且基于第一目标图像分析出指定类型对象将商品传递给目标对象时,则确定该目标对象存在指定类型行为。
为了提高识别准确率,减少指定类型行为的误报,需要指定类型行为的一个对象为指定类型对象(如店员),且指定类型行为的另一个对象不为指定类型对象,即另一个对象为目标对象(如顾客)。此外,需要指定类型对象位于指定区域(如非自助商品区域等)。在此基础上,若第一目标图像包括指定类型对象和目标对象,且指定类型对象位于指定区域,且基于第一目标图像分析出指定类型对象将商品传递给目标对象,则确定该目标对象存在指定类型行为。
在一种可能的实施方式中,基于该第一目标图像,可以采用如下步骤确定该目标对象是否存在指定类型行为,当然,如下方式只是示例,对此不做限制,只要能够基于该第一目标图像确定出目标对象是否存在指定类型行为即可。
步骤a1、若确定第一目标图像包括指定类型对象,则基于该指定类型对象的运动轨迹确定该指定类型对象是否位于指定区域。如果是,则执行步骤a2。如果否,则确定该目标对象与该指定类型对象之间不存在指定类型行为。
示例性的,若第一目标图像同时包括指定类型对象和目标对象,则需要先确定该指定类型对象是否位于指定区域。如果是,则执行步骤a2。
示例性的,可以预先配置至少一个区域作为指定区域,如无人便利店的应用场景,配置非自助商品区域作为指定区域,指定区域是指定类型对象能够进入的区域,且非指定类型对象不能进入的区域。比如说,可以配置指定区域的几个顶点的物理坐标,基于这些顶点的物理坐标,就可以获知指定区域的区间范围,即获知指定区域内的所有物理坐标。当然,上述方式只是示例,只要能够获知指定区域内的所有物理坐标即可,如穷举指定区域内的所有物理坐标。
步骤a1中,需要基于指定类型对象的运动轨迹确定该指定类型对象是否位于指定区域,以下对此进行说明:指定类型对象的运动轨迹可以包括多个物理坐标以及每个物理坐标对应的采集时刻。确定第一目标图像的获取时刻,并从该运动轨迹包括的多个采集时刻中选取与该获取时刻匹配的目标采集时刻;若该运动轨迹中的与该目标采集时刻对应的物理坐标位于该指定区域,则确定该指定类型对象位于指定区域,即在第一目标图像的获取时刻位于指定区域。
比如说,在通过摄像机获取到目标对象的第一目标图像时,可以确定第一目标图像的获取时刻,将该获取时刻记为时刻a。由于指定类型对象的运动轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻,因此,可以从这些采集时刻中选取与时刻a匹配的目标采集时刻,如目标采集时刻为时刻a,或者,目标采集时刻与时刻a近似相同(如二者的差值小于预设阈值)。
然后,从运动轨迹的多个物理坐标中选取与该目标采集时刻对应的物理坐标,记为物理坐标1,并确定物理坐标1是否位于指定区域内,如物理坐标1是否位于指定区域的区间范围。如果物理坐标1不位于指定区域内,则确定指定类型对象不位于指定区域。如果物理坐标1位于指定区域内,则确定指定类型对象位于指定区域,即,指定类型对象在时刻a位于指定区域。
步骤a2、基于第一目标图像确定该目标对象与该指定类型对象之间是否存在指定类型行为。若是,则可以确定该目标对象存在指定类型行为(如商品传递行为等),若否,则可以确定该目标对象不存在指定类型行为。
在一种可能的实施方式中,基于第一目标图像,可以采用如下方式确定目标对象与指定类型对象之间是否存在指定类型行为,当然,如下方式只是示例。
步骤a21、将第一目标图像输入给行为识别模型。
示例性的,步骤a21之前,需要先训练行为识别模型,如采用机器学习算法训练行为识别模型,该行为识别模型包括特征信息与标签信息的映射关系,以机器学习算法采用神经网络为例,对行为识别模型的训练过程进行说明。
首先,需要获取训练样本集合,对此获取方式不做限制。该训练样本集合包括多个正样本图像和多个负样本图像。针对每个正样本图像来说,正样本图像是指存在指定类型行为的图像,即,正样本图像包括目标对象和指定类型对象,且目标对象与指定类型对象之间存在指定类型行为,该正样本图像的标签信息为第一取值,第一取值表示该正样本图像存在指定类型行为。针对每个负样本图像来说,负样本图像是指不存在指定类型行为的图像,即,负样本图像不包括目标对象和/或指定类型对象,或者,虽然包括目标对象和指定类型对象,但是目标对象与指定类型对象之间不存在指定类型行为,该负样本图像的标签信息为第二取值,第二取值表示该负样本图像不存在指定类型行为。
其次,将训练样本集合中的多个正样本图像和多个负样本图像输入给神经网络,以通过多个正样本图像和多个负样本图像对神经网络进行训练,即,训练神经网络内的各神经网络参数,如卷积层参数(如卷积核参数)、池化层参数、激励层参数、全连接层参数等,对此神经网络的训练过程不做限制。
最后,在神经网络训练完成后,可以将已训练的神经网络作为行为识别模型,该行为识别模型可以拟合出特征信息与标签信息的映射关系。示例性的,该特征信息可以表示存在指定类型行为的特征信息或者不存在指定类型行为的特征信息,该标签信息可以为第一取值或者第二取值,该第一取值用于表示存在指定类型行为,该第二取值用于表示不存在指定类型行为。
示例性的,上述行为识别模型可以由管理设备训练,在行为识别模型训练完成后,将行为识别模型部署到摄像机。或者,上述行为识别模型可以由摄像机训练,在行为识别模型训练完成后,直接在本设备部署行为识别模型。
综上所述,可以在摄像机部署行为识别模型,基于此,摄像机在得到第一目标图像后,可以将该第一目标图像输入给该行为识别模型。
步骤a22、通过行为识别模型确定第一目标图像的特征信息。
步骤a23、通过行为识别模型确定与该特征信息匹配的标签信息,该标签信息用于表示存在指定类型行为或者不存在指定类型行为。
步骤a24、基于该标签信息确定目标对象与指定类型对象之间存在指定类型行为,或者,目标对象与指定类型对象之间不存在指定类型行为。
示例性的,在将第一目标图像输入给行为识别模型后,行为识别模型可以对该第一目标图像进行处理,例如,基于行为识别模型的各网络层(如卷积层、池化层、激励层、全连接层等)对该第一目标图像进行处理,得到该第一目标图像的特征信息,对此处理过程不做限制。由于行为识别模型可以拟合出特征信息与标签信息的映射关系,因此,在得到该第一目标图像的特征信息后,可以通过该第一目标图像的特征信息查询上述映射关系,得到与该特征信息匹配的标签信息,该标签信息可以为第一取值或者第二取值,该第一取值用于表示存在指定类型行为,该第二取值用于表示不存在指定类型行为。
若该标签信息为第一取值,则基于该标签信息确定目标对象与指定类型对象之间存在指定类型行为,或者,若该标签信息为第二取值,则基于该标签信息确定目标对象与指定类型对象之间不存在指定类型行为。
综上所述,摄像机可以基于第一目标图像确定目标对象存在指定类型行为,或者目标对象不存在指定类型行为。若目标对象存在指定类型行为,则摄像机可以将目标对象的运动轨迹的跟踪标识发送给管理设备,或者,将目标对象的运动轨迹的跟踪标识和摄像机的设备信息(如IP地址等)发送给管理设备。
步骤303,管理设备获取目标对象的运动轨迹的跟踪标识,并基于该目标对象的运动轨迹的跟踪标识确定该目标对象的身份信息。示例性的,管理设备可以获取目标对象的运动轨迹的跟踪标识和摄像机的设备信息,并基于该目标对象的运动轨迹的跟踪标识和该摄像机的设备信息确定该目标对象的身份信息。
在一种可能的实施方式中,为了实现基于目标对象的运动轨迹的跟踪标识确定目标对象的身份信息,在基于目标对象的运动轨迹的跟踪标识确定目标对象的身份信息之前,可以采用如下步骤维护第一映射关系和第二映射关系:
步骤b1、获取目标对象的全局轨迹,该全局轨迹可以包括该目标对象在摄像机(如多个摄像机)的探测范围内的运动轨迹,并记录该全局轨迹的全局标识与该运动轨迹的跟踪标识、该摄像机的设备信息之间的第一映射关系。
示例性的,若至少两个摄像机均能够采集到包括目标对象的第一目标图像,针对每个摄像机来说,可以基于自身采集到的多个第一目标图像,对目标对象进行跟踪,得到目标对象在该摄像机的探测范围内的运动轨迹,并将该运动轨迹发送给管理设备,该运动轨迹可以包括多个轨迹点,每个轨迹点包括目标对象的物理坐标和该物理坐标的采集时刻,且该运动轨迹具有跟踪标识。
管理设备得到多个摄像机发送的目标对象的运动轨迹后,将目标对象在每个摄像机的探测范围内的运动轨迹进行融合,得到目标对象的全局轨迹。比如说,得到目标对象1在摄像机1的探测范围内的运动轨迹1,目标对象1在摄像机2的探测范围内的运动轨迹2,目标对象1在摄像机3的探测范围内的运动轨迹3,将运动轨迹1、运动轨迹2和运动轨迹3进行融合,得到目标对象1的全局轨迹,该全局轨迹包括多个摄像机的探测范围内的多个轨迹点,每个轨迹点包括目标对象的物理坐标和该物理坐标的采集时刻,且全局轨迹具有全局标识。
由于运动轨迹1、运动轨迹2和运动轨迹3可能会有重复部分,因此,在将运动轨迹1、运动轨迹2和运动轨迹3进行融合时,需要去掉重复部分。
管理设备在得到目标对象的全局轨迹后,还可以维护第一映射关系,该第一映射关系包括全局轨迹的全局标识与运动轨迹的跟踪标识、摄像机的设备信息(如IP地址)之间的映射关系,参见表1所示,为第一映射关系的一个示例。
表1
Figure BDA0002723992690000151
在表1中,aaa1表示目标对象1的全局轨迹的全局标识,bbb1表示目标对象1在摄像机1的探测范围内的运动轨迹1的跟踪标识,1.1.1.1表示摄像机1的设备信息,bbb1表示目标对象1在摄像机2的探测范围内的运动轨迹2的跟踪标识,1.1.1.2表示摄像机2的设备信息,bbb3表示目标对象1在摄像机3的探测范围内的运动轨迹3的跟踪标识,1.1.1.3表示摄像机3的设备信息。
示例性的,由于管理设备可以得到多个目标对象的运动轨迹,如何将同一目标对象在多个摄像机的探测范围内的运动轨迹进行匹配,并将这些运动轨迹进行融合,从而得到该目标对象的全局轨迹,可以采用如下方式:
获取第一摄像机探测到的第一目标在第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在第二摄像机探测范围内的第二运动轨迹;第一摄像机和第二摄像机具有重叠探测范围;当根据第一运动轨迹和第二运动轨迹确定第一目标和第二目标为同一目标对象时,则获取该目标对象的全局轨迹,该目标对象的全局轨迹包括该第一运动轨迹和该第二运动轨迹。
比如说,若第一运动轨迹的某个轨迹点包括物理坐标a1和物理坐标a1的采集时刻b1,第二运动轨迹的某个轨迹点包括物理坐标a2和物理坐标a2的采集时刻b2。假设物理坐标a1和物理坐标a2相同,采集时刻b1和采集时刻b2相同,则第一运动轨迹和第二运动轨迹存在相同轨迹点,第一运动轨迹和第二运动轨迹是同一目标对象的运动轨迹,确定第一目标和第二目标为同一目标对象。
比如说,摄像机1和摄像机2存在重叠探测范围,摄像机2和摄像机3存在重叠探测范围,管理设备得到目标对象1在摄像机1探测范围的运动轨迹11和目标对象2在摄像机1探测范围的运动轨迹12,得到目标对象1在摄像机2探测范围的运动轨迹21,得到目标对象1在摄像机3探测范围的运动轨迹31。
在此基础上,若确定运动轨迹11对应的目标对象和运动轨迹21对应的目标对象为同一目标对象,则管理设备获取该目标对象的全局轨迹s1,全局轨迹s1包括运动轨迹11和运动轨迹21。若确定全局轨迹s1对应的目标对象和运动轨迹31对应的目标对象为同一目标对象,则管理设备将该目标对象的全局轨迹更新为全局轨迹s2,全局轨迹s2包括全局轨迹s1和运动轨迹31,以此类推。
步骤b2、获取目标对象进入门禁设备的管理信息,该管理信息可以包括该目标对象进入门禁设备的开门时间、该目标对象的身份信息。
示例性的,在目标对象进入门禁设备时,目标对象可以执行刷卡动作,而该卡绑定了目标对象的身份信息,因此,若该身份信息符合进入要求,则开启门禁设备,允许目标对象进入门禁设备。综上所述,在目标对象执行刷卡动作时,能够得到该卡绑定的目标对象的身份信息。或者,在目标对象进入门禁设备时,可以识别目标对象的人脸信息,这个人脸信息绑定了目标对象的身份信息,因此,若该身份信息符合进入要求,则开启门禁设备,允许目标对象进入门禁设备。综上所述,通过识别目标对象的人脸信息,能够得到人脸信息绑定的目标对象的身份信息。当然,还可以采用其它方式允许目标对象进入门禁设备,对此不做限制,无论采用哪种方式,均可以得到目标对象的身份信息,目标对象的身份信息是用于识别目标对象的身份的唯一标识,如会员标识、二维码,IC卡号等,且这个身份信息与目标对象的付款账号绑定,如可以绑定银行卡号,支付宝付款账号等,可以利用目标对象的付款账号实现支付功能。
示例性的,在目标对象进入门禁设备时,可以获取目标对象进入门禁设备的开门时间。比如说,将开启门禁设备的时间确定为该开门时间,或者,门禁设备上部署有红外感应设备,当红外感应设备感知目标对象通过时,将目标对象通过的时间作为该开门时间。当然,上述只是几个示例,对此不做限制。
综上所述,门禁设备可以获取到目标对象进入门禁设备的管理信息,并将该管理信息发送给管理设备,以使管理设备获取到该管理信息,该管理信息可以包括但不限于:目标对象进入门禁设备的开门时间、该目标对象的身份信息。
步骤b3、确定与该开门时间匹配的目标对象的全局轨迹,并记录该全局轨迹的全局标识与该目标对象的身份信息之间的第二映射关系。
示例性的,在目标对象进入门禁设备时,已经有摄像机获取该目标对象的运动轨迹,且管理设备已生成该目标对象的全局轨迹,因此,基于目标对象进入门禁设备的开门时间,可以从所有目标对象的全局轨迹中选取与该开门时间匹配的该目标对象的全局轨迹,并记录该全局轨迹的全局标识与该目标对象的身份信息之间的第二映射关系。参见表2所示,为第二映射关系的一个示例。
表2
Figure BDA0002723992690000171
Figure BDA0002723992690000181
在表2中,aaa1表示目标对象1的全局轨迹的全局标识,身份信息1表示目标对象1的身份信息,如目标对象1的会员标识、二维码,IC卡号等。
示例性的,由于管理设备可以得到多个目标对象的全局轨迹,且管理设备可以得到多个目标对象的管理信息,因此,如何将同一目标对象的全局轨迹和管理信息进行匹配,从而维护上述第二映射关系,可以采用如下方式:
目标对象的全局轨迹可以包括多个物理坐标以及每个物理坐标对应的采集时刻,可以从该全局轨迹包括的多个采集时刻中选取与该开门时间匹配的目标采集时刻;若全局轨迹中的与目标采集时刻对应的物理坐标位于门禁设备的进入区域,则将该全局轨迹确定为与该开门时间匹配的全局轨迹。
比如说,在得到目标对象1的管理信息时,从该管理信息中获取开门时间,将该开门时间记为时刻b。针对每个全局轨迹来说,该全局轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻,因此,管理设备从这些采集时刻中选取与时刻b匹配的目标采集时刻,如目标采集时刻为时刻b,或目标采集时刻与时刻b近似相同,如二者的差值小于预设阈值。然后,从该全局轨迹的多个物理坐标中选取与目标采集时刻对应的物理坐标,记为物理坐标1,确定物理坐标1是否位于门禁设备的进入区域,该进入区域是门禁设备附近的区域,如门禁设备前、门禁设备后、门禁设备中,对此进入区域不做限制。若物理坐标1不位于该进入区域,则确定该全局轨迹不是与该开门时间匹配的全局轨迹。若物理坐标1位于该进入区域,则确定该全局轨迹是与该开门时间匹配的全局轨迹,记录该全局轨迹的全局标识与该目标对象的身份信息之间的第二映射关系。
基于步骤b1-步骤b3,管理设备可以维护第一映射关系和第二映射关系,基于该第一映射关系和该第二映射关系,以及,目标对象的运动轨迹的跟踪标识,在步骤303中,管理设备可以采用如下步骤确定目标对象的身份信息。
步骤b4、管理设备在得到目标对象的运动轨迹的跟踪标识和摄像机的设备信息后,通过运动轨迹的跟踪标识和摄像机的设备信息查询第一映射关系,得到与该跟踪标识和该设备信息对应的全局轨迹的全局标识。
比如说,摄像机1在基于第一目标图像确定目标对象存在指定类型行为时,摄像机1可以将该目标对象的运动轨迹的跟踪标识(如bbb1)和摄像机1的设备信息(如1.1.1.1)发送给管理设备。然后,管理设备通过该跟踪标识bbb1和该设备信息1.1.1.1查询表1所示的第一映射关系,得到全局标识aaa1。
步骤b5、通过该全局标识查询第二映射关系,得到目标对象的身份信息。
比如说,管理设备在得到全局轨迹的全局标识aaa1后,可以通过该全局标识aaa1查询表2所示的第二映射关系,得到目标对象的身份信息1。
步骤304,摄像机获取该目标对象的第二目标图像,并将该第二目标图像发送给管理设备,该第二目标图像中的目标对象存在指定类型行为。
在一种可能的实施方式中,摄像机基于第一目标图像确定目标对象存在指定类型行为时,可以获取该目标对象的第二目标图像。比如说,摄像机直接将第一目标图像作为第二目标图像,或者,在目标对象存在指定类型行为时,摄像机重新采集包括该目标对象的目标图像,若重新采集的目标图像中的目标对象存在指定类型行为,则将重新采集的目标图像作为第二目标图像。
步骤305,管理设备获取目标对象的第二目标图像,基于第二目标图像生成目标对象的商品清单,该商品清单包括但不限于商品种类和商品数量等信息。
示例性的,由于第二目标图像中的目标对象存在指定类型行为,如商品传递行为,因此,管理设备可以基于第二目标图像分析出商品种类(发生商品传递行为时的商品的种类)和商品数量(发生商品传递行为时的商品的数量)等信息,基于商品种类和商品数量生成目标对象的商品清单,如商品种类是a类,商品数量为3个。或者,管理设备将第二目标图像显示给工作人员,工作人员基于第二目标图像获知商品种类和商品数量等信息,将商品种类和商品数量输入给管理设备,由管理设备基于商品种类和商品数量生成目标对象的商品清单。
步骤306,管理设备根据身份信息和商品清单确定目标对象的支付信息。
示例性的,目标对象的支付信息可以包括但不限于目标对象的付款金额和目标对象的付款账号,对此支付信息不做限制,基于目标对象的支付信息能够实现目标对象的无感支付。比如说,管理设备可以基于商品清单(如商品种类和商品数量等)确定目标对象的付款金额,由于目标对象的身份信息与目标对象的付款账号(如银行卡号,支付宝付款账号等)绑定,因此,可以基于目标对象的身份信息确定目标对象的付款账号,至此,可以基于该付款账号扣除该付款金额,从而实现目标对象的无感支付,对此过程不做限制。
综上所述,摄像机可以采集视野范围内的第一目标图像,针对指定监测范围(如鲜食区等)内的第一目标图像进行行为识别,若识别到目标对象存在指定类型行为,则将第一目标图像中的目标对象(如顾客)的运动轨迹的跟踪标识、第一目标图像中的指定类型对象(如店员)的运动轨迹的跟踪标识、目标对象的第二目标图像发送给管理设备。管理设备根据目标对象的运动轨迹的跟踪标识和指定类型对象的运动轨迹的跟踪标识确定这2个对象的身份,若符合预设条件(一个是店员一个是顾客,和/或店员在鲜食区内),则识别第二目标图像中的商品信息(如商品种类和商品数量),基于第二目标图像中的商品信息生成目标对象的商品清单,根据目标对象的身份信息和商品清单生成目标对象的支付信息。
在一种可能的实施方式中,摄像机采集到图像后,需要确定图像中的对象是否为指定类型对象,为此,采用如下方式确定对象是否为指定类型对象:
方式1、摄像机部署有已训练的对象识别模型,该对象识别模型包括特征信息与标签信息的对应关系,该特征信息是指定类型对象的特征信息或者非指定类型对象的特征信息,该标签信息为第一取值或者第二取值。若标签信息为第一取值,则表示对象是指定类型对象,若标签信息为第二取值,则表示对象不是指定类型对象。对象识别模型的训练过程与上述行为识别模型的训练过程类似,在此不再赘述。基于已训练的对象识别模型,摄像机采集到图像后,将该图像输入给对象识别模型。针对该图像中的每个对象,通过该对象识别模型确定该对象的特征信息,通过该对象识别模型确定与该特征信息匹配的标签信息,该标签信息为第一取值或第二取值。若该标签信息为第一取值,则确定该对象是指定类型对象,若该标签信息为第二取值,则该确定对象不是指定类型对象。
方式2、摄像机采集到图像后,针对该图像中的每个对象,基于该对象的运动轨迹确定该对象是否位于指定区域,若该对象位于指定区域,则确定该对象是指定类型对象。比如说,由于指定区域是指定类型对象能够进入的区域,非指定类型对象不能进入的区域,因此,当确定该对象位于指定区域时,说明该对象具有进入指定区域的权限,因此,将该对象识别为指定类型对象。
方式3、针对每个对象,基于步骤b1-步骤b5,确定该对象的身份信息,对此确定过程不再赘述。步骤b2中,若该对象为指定类型对象,则管理信息中的身份信息表示该对象为指定类型对象。步骤b5中,在确定该对象的身份信息后,若该身份信息表示该对象为指定类型对象,将该对象识别为指定类型对象。若该身份信息未表示该对象为指定类型对象,将该对象识别为非指定类型对象。
示例性的,上述执行顺序只是为了方便描述给出的示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见,本申请实施例中,若基于第一目标图像确定目标对象存在指定类型行为(如商品传递行为),则基于运动轨迹的跟踪标识确定目标对象的身份信息,基于第二目标图像生成目标对象的商品清单,并根据身份信息和商品清单确定目标对象的支付信息,继而利用该支付信息实现目标对象的无感支付,能够实现指定区域中非自助商品的无感支付。借助行为识别技术自动识别商品传递行为,能够准确识别出商品传递行为,降低人为识别的出错概率。在发生商品传递行为后,可以自动确定目标对象的支付信息,利用该支付信息实现目标对象的无感支付,实现了自主对非自助商品和/或自助商品的无感支付,实现了非自助商品和/或自助商品的统一结算,无需再隔离自助商品区域与非自助商品区域,实现了自助商品区域和非自助商品区域的统一管理。
以下结合具体应用场景,对本申请实施例的上述技术方案进行说明。
参见图4所示,为本申请实施例的系统结构示意图,摄像机可以为模拟摄像机,也可以为IPC(IP CAMERA,网络摄像机),对此不做限制,摄像机可以包括轨迹生成模块和行为识别模块。门禁设备用于控制对象的进入。轨迹融合模块,身份绑定模块和行为身份绑定模块可以部署在同一设备,也可以部署在不同设备,本实施例中,以轨迹融合模块,身份绑定模块和行为身份绑定模块部署在同一设备为例,将该设备称为管理设备(如服务器、终端设备等)。
门禁设备:在目标对象进入门禁设备时,门禁设备可以获取目标对象的管理信息,如开门时间和目标对象的身份信息等,并将目标对象的管理信息发送给身份绑定模块,以使身份绑定模块存储目标对象的管理信息。
轨迹生成模块:轨迹生成模块用于获取目标对象的运动轨迹,并将该目标对象的运动轨迹发送给轨迹融合模块,且该运动轨迹具有跟踪标识。
轨迹融合模块:轨迹融合模块接收多个摄像机的轨迹生成模块发送的目标对象的运动轨迹,将目标对象的多个运动轨迹进行融合,得到目标对象的全局轨迹,将该全局轨迹发送给身份绑定模块,且该全局轨迹具有全局标识。
身份绑定模块:身份绑定模块获取到目标对象的管理信息和目标对象的全局轨迹,基于该管理信息和该全局轨迹,可以维护第一映射关系和第二映射关系,具体过程参见上述实施例,在此不再赘述。第一映射关系包括全局轨迹的全局标识与运动轨迹的跟踪标识、摄像机的设备信息之间的映射关系,第二映射关系包括全局轨迹的全局标识与目标对象的身份信息之间的映射关系。
行为识别模块:行为识别模块基于目标对象的第一目标图像确定该目标对象是否存在指定类型行为,若是,则将该目标对象的运动轨迹的跟踪标识发送给行为身份绑定模块。行为识别模块还可以将行为事件标识发送给行为身份绑定模块,该行为事件标识用于表示该目标对象存在指定类型行为。
行为身份绑定模块:行为身份绑定模块在得到目标对象的运动轨迹的跟踪标识和该行为事件标识后,基于该行为事件标识确定该目标对象存在指定类型行为,并从身份绑定模块查询与该跟踪标识对应的该目标对象的身份信息。比如说,先基于该跟踪标识查询第一映射关系,得到全局轨迹的全局标识,然后,基于该全局标识查询第二映射关系,得到目标对象的身份信息。
在图4的基础上,还可以包括支付模块(如POS模块),该支付模块可以部署在管理设备,也可以部署在其它设备,对此不做限制。摄像机获取目标对象的第二目标图像,并将第二目标图像发送给支付模块,行为身份绑定模块得到目标对象的身份信息后,可以将目标对象的身份信息发送给支付模块。支付模块基于第二目标图像生成目标对象的商品清单,并根据身份信息和商品清单确定目标对象的支付信息,继而基于该支付信息实现目标对象的无感支付。
基于与上述方法同样的申请构思,本申请实施例中提出一种支付信息的确定装置,参见图5所示,为所述装置的结构示意图,所述装置可以包括:
获取模块51,用于获取目标对象的第一目标图像和运动轨迹;
发送模块52,用于若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
所述获取模块51,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;
所述发送模块52,还用于将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
在一种可能的实施方式中,所述装置还包括(在图中未视出):确定模块,用于基于所述第一目标图像确定所述目标对象是否存在指定类型行为;具体用于:若确定所述第一目标图像包括指定类型对象,且基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域,则基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为;其中,所述指定区域是指定类型对象能够进入且非指定类型对象不能进入的区域。
在一种可能的实施方式中,所述指定类型对象的运动轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻;所述确定模块基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域时具体用于:确定所述第一目标图像的获取时刻,并从该运动轨迹包括的多个采集时刻中选取与所述获取时刻匹配的目标采集时刻;若该运动轨迹中的与所述目标采集时刻对应的物理坐标位于所述指定区域,则确定所述指定类型对象位于所述指定区域。
在一种可能的实施方式中,所述确定模块基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为时具体用于:将所述第一目标图像输入给行为识别模型;通过所述行为识别模型确定所述第一目标图像的特征信息;通过所述行为识别模型确定与所述特征信息匹配的标签信息,所述标签信息用于表示存在指定类型行为或者不存在指定类型行为;基于所述标签信息确定所述目标对象与所述指定类型对象之间存在指定类型行为,或所述目标对象与所述指定类型对象之间不存在指定类型行为。
基于与上述方法同样的申请构思,本申请实施例中提出一种支付信息的确定装置,参见图6所示,为所述装置的结构示意图,所述装置可以包括:
获取模块61,用于获取目标对象的运动轨迹的跟踪标识;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;确定模块62,用于基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;所述获取模块61,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;生成模块63,用于基于所述第二目标图像生成所述目标对象的商品清单;所述确定模块62,还用于根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
所述获取模块61还用于:获取所述目标对象的全局轨迹;其中,所述全局轨迹包括所述目标对象在摄像机的探测范围内的运动轨迹,并记录所述全局轨迹的全局标识与该运动轨迹的跟踪标识、该摄像机的设备信息之间的第一映射关系;获取所述目标对象进入门禁设备的管理信息;其中,所述管理信息包括所述目标对象进入门禁设备的开门时间、所述目标对象的身份信息;所述确定模块62还用于:确定与所述开门时间匹配的所述目标对象的全局轨迹,记录所述全局轨迹的全局标识与所述目标对象的身份信息之间的第二映射关系。
所述确定模块62基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息时具体用于:通过所述运动轨迹的跟踪标识和摄像机的设备信息查询所述第一映射关系,得到与所述跟踪标识和所述设备信息对应的所述全局轨迹的全局标识;通过该全局标识查询所述第二映射关系,得到所述目标对象的身份信息。
所述获取模块61获取所述目标对象的全局轨迹时具体用于:
获取第一摄像机探测到的第一目标在所述第一摄像机探测范围内的第一运动轨迹;获取第二摄像机探测到的第二目标在所述第二摄像机探测范围内的第二运动轨迹;所述第一摄像机和所述第二摄像机具有重叠探测范围;
当根据所述第一运动轨迹和所述第二运动轨迹确定所述第一目标和所述第二目标为同一目标对象时,获取所述目标对象的全局轨迹;其中,所述目标对象的全局轨迹包括所述第一运动轨迹和所述第二运动轨迹。
目标对象的全局轨迹至少包括多个物理坐标以及每个物理坐标对应的采集时刻;所述确定模块62确定与所述开门时间匹配的所述目标对象的全局轨迹时具体用于:从全局轨迹包括的多个采集时刻中选取与所述开门时间匹配的目标采集时刻;若所述全局轨迹中的与所述目标采集时刻对应的物理坐标位于所述门禁设备的进入区域,将所述全局轨迹确定为与所述开门时间匹配的全局轨迹。
基于与上述方法同样的申请构思,本申请实施例中提出一种电子设备(如摄像机或者管理设备等),该电子设备可以包括:处理器和机器可读存储介质,机器可读存储介质存储有能够被处理器执行的机器可执行指令;处理器用于执行机器可执行指令,以实现本申请上述示例公开的支付信息的确定方法。
例如,当电子设备是摄像机时,处理器用于执行机器可执行指令,以实现如下步骤:获取目标对象的第一目标图像和运动轨迹;
若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,并将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
例如,当电子设备是管理设备时,处理器用于执行机器可执行指令,以实现如下步骤:获取目标对象的运动轨迹的跟踪标识,并基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,基于所述第二目标图像生成所述目标对象的商品清单;
根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的支付信息的确定方法。
其中,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种支付信息的确定方法,其特征在于,所述方法包括:
获取目标对象的第一目标图像和运动轨迹;
若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,并将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
2.根据权利要求1所述的方法,其特征在于,基于所述第一目标图像确定所述目标对象是否存在指定类型行为的过程,具体包括:
若确定所述第一目标图像包括指定类型对象,且基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域,则基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为;其中,所述指定区域是指定类型对象能够进入且非指定类型对象不能进入的区域。
3.根据权利要求2所述的方法,其特征在于,所述指定类型对象的运动轨迹包括多个物理坐标以及每个物理坐标对应的采集时刻;所述基于所述指定类型对象的运动轨迹确定所述指定类型对象位于指定区域,包括:
确定所述第一目标图像的获取时刻,并从该运动轨迹包括的多个采集时刻中选取与所述获取时刻匹配的目标采集时刻;
若该运动轨迹中的与所述目标采集时刻对应的物理坐标位于所述指定区域,则确定所述指定类型对象位于所述指定区域。
4.根据权利要求2所述的方法,其特征在于,所述基于所述第一目标图像确定所述目标对象与所述指定类型对象之间是否存在指定类型行为,包括:
将所述第一目标图像输入给行为识别模型;
通过所述行为识别模型确定所述第一目标图像的特征信息;
通过所述行为识别模型确定与所述特征信息匹配的标签信息,所述标签信息用于表示存在指定类型行为或者不存在指定类型行为;
基于所述标签信息确定所述目标对象与所述指定类型对象之间存在指定类型行为,或所述目标对象与所述指定类型对象之间不存在指定类型行为。
5.一种支付信息的确定方法,其特征在于,所述方法包括:
获取目标对象的运动轨迹的跟踪标识,并基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;
获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为,基于所述第二目标图像生成所述目标对象的商品清单;
根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
6.根据权利要求5所述的方法,其特征在于,所述基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息之前,所述方法还包括:
获取所述目标对象的全局轨迹;其中,所述全局轨迹包括所述目标对象在摄像机的探测范围内的运动轨迹,并记录所述全局轨迹的全局标识与该运动轨迹的跟踪标识、该摄像机的设备信息之间的第一映射关系;
获取所述目标对象进入门禁设备的管理信息;其中,所述管理信息包括所述目标对象进入门禁设备的开门时间、所述目标对象的身份信息;
确定与所述开门时间匹配的所述目标对象的全局轨迹,记录所述全局轨迹的全局标识与所述目标对象的身份信息之间的第二映射关系。
7.一种支付信息的确定装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象的第一目标图像和运动轨迹;
发送模块,用于若基于所述第一目标图像确定所述目标对象存在指定类型行为,则将所述运动轨迹的跟踪标识发送给管理设备,以使所述管理设备基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
所述获取模块,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;
所述发送模块,还用于将所述第二目标图像发送给所述管理设备,以使所述管理设备基于所述第二目标图像生成所述目标对象的商品清单,并根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
8.一种支付信息的确定装置,其特征在于,所述装置包括:
获取模块,用于获取目标对象的运动轨迹的跟踪标识;其中,所述跟踪标识是摄像机基于所述目标对象的第一目标图像确定所述目标对象存在指定类型行为时发送的;
确定模块,用于基于所述运动轨迹的跟踪标识确定所述目标对象的身份信息;
所述获取模块,还用于获取所述目标对象的第二目标图像,所述第二目标图像中的所述目标对象存在指定类型行为;
生成模块,用于基于所述第二目标图像生成所述目标对象的商品清单;
所述确定模块,还用于根据所述身份信息和所述商品清单确定所述目标对象的支付信息。
9.一种电子设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现权利要求1-4任一项所述的方法步骤,或者,实现权利要求5-6任一项所述的方法步骤。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现权利要求1-4任一项所述的方法步骤,或者,实现权利要求5-6任一项所述的方法步骤。
CN202011096698.3A 2020-10-14 2020-10-14 一种支付信息的确定方法、装置及设备 Active CN112132868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011096698.3A CN112132868B (zh) 2020-10-14 2020-10-14 一种支付信息的确定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011096698.3A CN112132868B (zh) 2020-10-14 2020-10-14 一种支付信息的确定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112132868A true CN112132868A (zh) 2020-12-25
CN112132868B CN112132868B (zh) 2024-02-27

Family

ID=73852591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011096698.3A Active CN112132868B (zh) 2020-10-14 2020-10-14 一种支付信息的确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112132868B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545697A (zh) * 2022-11-08 2022-12-30 广东车卫士信息科技有限公司 一种无感支付方法、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389110A (zh) * 2018-02-26 2018-08-10 惠州市超人盒子网络科技有限公司 面向无人值守商店的自助购物方法、系统
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺(北京)科技有限公司 结算方法、装置和系统
CN109840503A (zh) * 2019-01-31 2019-06-04 深兰科技(上海)有限公司 一种确定种类信息的方法及装置
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409175A (zh) * 2017-08-16 2019-03-01 图灵通诺(北京)科技有限公司 结算方法、装置和系统
CN108389110A (zh) * 2018-02-26 2018-08-10 惠州市超人盒子网络科技有限公司 面向无人值守商店的自助购物方法、系统
CN109840503A (zh) * 2019-01-31 2019-06-04 深兰科技(上海)有限公司 一种确定种类信息的方法及装置
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115545697A (zh) * 2022-11-08 2022-12-30 广东车卫士信息科技有限公司 一种无感支付方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN112132868B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US11587149B2 (en) Associating shoppers together
US11087130B2 (en) Simultaneous object localization and attribute classification using multitask deep neural networks
US10943128B2 (en) Constructing shopper carts using video surveillance
Liu et al. A smart unstaffed retail shop based on artificial intelligence and IoT
US11521248B2 (en) Method and system for tracking objects in an automated-checkout store based on distributed computing
US20210241490A1 (en) Image processing for tracking actions of individuals
US11960998B2 (en) Context-aided machine vision
CN107909443A (zh) 信息推送方法、装置及系统
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
WO2020134102A1 (zh) 物品识别方法、装置、售货系统和存储介质
CN112651386B (zh) 一种身份信息的确定方法、装置及设备
CN108805495A (zh) 物品存放管理方法和系统及计算机可读介质
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互系统
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN107392614A (zh) 线下交易的实现方法和装置
US11488400B2 (en) Context-aided machine vision item differentiation
Balaska et al. Smart counting of unboxed stocks in the Warehouse 4.0 ecosystem
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN112132868B (zh) 一种支付信息的确定方法、装置及设备
CN110246280B (zh) 人货绑定方法及装置、计算机设备及可读介质
EP3629228B1 (en) Image processing for determining relationships between tracked objects
Zohaib et al. 3d key-points estimation from single-view rgb images
CN112164096A (zh) 一种对象识别方法、装置及设备
CN110955879A (zh) 设备控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant