CN108830251A - 信息关联方法、装置和系统 - Google Patents

信息关联方法、装置和系统 Download PDF

Info

Publication number
CN108830251A
CN108830251A CN201810667415.2A CN201810667415A CN108830251A CN 108830251 A CN108830251 A CN 108830251A CN 201810667415 A CN201810667415 A CN 201810667415A CN 108830251 A CN108830251 A CN 108830251A
Authority
CN
China
Prior art keywords
article
target object
video frame
processing
frame images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810667415.2A
Other languages
English (en)
Inventor
李云锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810667415.2A priority Critical patent/CN108830251A/zh
Publication of CN108830251A publication Critical patent/CN108830251A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种信息关联方法、装置和系统，涉及智能识别技术领域，该方法包括：获取目标区域内的多个视频帧图像；从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；如果物品处理动作轨迹中包含指定的处理动作，获取处理动作对应物品的物品信息；将物品信息与目标对象关联。本发明可以较为全面地知晓顾客的感兴趣物品，有利于提高顾客购物行为分析的精确性；且实现成本较低。

Description

信息关联方法、装置和系统
技术领域
本发明涉及智能识别技术领域，尤其是涉及一种信息关联方法、装置和系统。
背景技术
现有的超市、便利店等无人购物场所中，通常采用RFID(Radio FrequencyIdentification，无线射频识别)技术标识不同的物品；即在每个物品或物品的外包装上粘贴射频标签，该射频标签中保存了相关的物品信息，例如物品名称、编码、价格等；顾客选购好物品后，工作人员通过扫描设备扫描物品上的射频标签获得物品信息，从而为顾客结账。
这种方式中，物品供货方通常仅能通过顾客最终购买结账的物品进行数据分析，获知物品的欢迎程度或者每个顾客的购物偏好等信息，难以获知顾客在物品选购过程中都接触过哪些物品，以及对各种物品的具体选择过程，导致对顾客购物行为的分析精确度较低；另外，这种方式需要每个物品都粘贴射频标签；由于射频标签本身成本较高，且回收再利用率较低，导致购物场所的整体营业成本较高。
发明内容
有鉴于此，本发明的目的在于提供一种信息关联方法、装置和系统，以提高顾客购物行为分析的精确性，同时降低成本。
第一方面，本发明实施例提供了一种信息关联方法，该方法包括：获取目标区域内的多个视频帧图像；从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；如果物品处理动作轨迹中包含指定的处理动作，获取处理动作对应物品的物品信息；将物品信息与目标对象关联。
进一步，本发明实施例提供了第一方面的第一种可能的实施方式，上述从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，方法还包括：通过第一神经网络对视频帧图像进行人脸检测，得到目标对象的人脸数据；通过第二神经网络对人脸数据进行人脸特征提取，得到目标对象的人脸特征。
进一步，本发明实施例提供了第一方面的第二种可能的实施方式，上述从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，方法还包括：通过第三神经网络对视频帧图像进行行人检测，得到目标对象的人形数据；人形数据通过行人检测框标识；根据预设的坐标系确定目标对象的位置信息；坐标系通过摄像装置在目标区域内的位置建立；通过第四神经网络对人形数据进行人形特征提取，得到目标对象的人形特征；将多个视频帧图像中，相邻视频帧图像之间的人形特征的数值距离小于设定数值阈值的人形数据，确定为同一个目标对象的人形数据；连接同一个目标对象的人形数据，得到目标对象的位置移动轨迹。
进一步，本发明实施例提供了第一方面的第三种可能的实施方式，上述方法还包括：如果多个视频帧图像中包含多组视频帧图像，分别识别每组视频帧图像中目标对象的位置移动轨迹；其中，每组视频帧图像来自同一摄像装置；根据目标对象的人脸特征，以及每组视频帧图像对应的目标对象的位置移动轨迹，生成目标对象的最终位置移动轨迹。
进一步，本发明实施例提供了第一方面的第四种可能的实施方式，上述从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤，包括：根据目标对象的位置信息以及物品货架的位置信息，确定目标对象与物品货架的空间距离；从目标对象的位置移动轨迹中，提取空间距离小于设定空间阈值的轨迹片段；对轨迹片段进行采样处理，得到多个待识别子片段；根据各个待识别子片段中的处理动作，得到对应的物品处理动作轨迹；处理动作包括拿取物品、放回物品或无动作。
进一步，本发明实施例提供了第一方面的第五种可能的实施方式，上述根据各个待识别子片段的处理动作，得到对应的物品处理动作轨迹的步骤之前，方法还包括：通过第五神经网络对每个待识别子片段进行动作分类评分，得到每个待识别子片段的分值组合；分值组合中包含待识别子片段与每类处理动作的匹配度分值；对相邻待识别子片段之间的分值组合进行均值平滑处理；将处理后的每个待识别子片段的分值组合中，最高分值对应的处理动作确定为待识别子片段的处理动作。
进一步，本发明实施例提供了第一方面的第六种可能的实施方式，上述根据各个待识别子片段中的处理动作，得到对应的物品处理动作轨迹的步骤，包括：按照时间顺序，对多个待识别子片段的处理动作进行合并排列，得到处理动作组合，将处理动作组合确定为目标对象在指定位置范围内的物品处理动作轨迹。
进一步，本发明实施例提供了第一方面的第七种可能的实施方式，上述指定的处理动作包括拿取物品或放回物品；上述获取处理动作对应物品的物品信息的步骤，包括：通过第六神经网络识别处理动作对应的视频帧图像中的物品信息。
进一步，本发明实施例提供了第一方面的第八种可能的实施方式，上述方法还包括：统计关联后的物品信息与目标对象，确定物品信息对应物品的目标人群和/或目标对象喜好的物品类型。
第二方面，本发明实施例还提供一种信息关联装置，该装置包括：图像获取模块，用于获取目标区域内的多个视频帧图像；识别模块，用于从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；信息获取模块，用于如果物品处理动作轨迹中包含指定的处理动作，获取处理动作对应物品的物品信息；关联模块，用于将物品信息与目标对象关联。
第三方面，本发明实施例提供了一种信息关联系统，该系统包括：摄像装置、处理器和存储装置；摄像装置，用于采集视频帧图像；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如第一方面提供的任一种所述方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面提供的任一种所述方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的上述信息关联方法、装置和系统，获取到目标区域内的多个视频帧图像之后，从该多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；如果该物品处理动作轨迹中包含指定的处理动作，则获取该处理动作对应物品的物品信息，并将该物品信息与目标对象关联。该方式中，通过摄像装置采集到的视频帧图像可以获知目标对象在购物过程中所接触的物品，相对于现有的通过RFID技术跟踪顾客购物行为的方式，本实施例中的方式能够较为全面地知晓该目标对象的感兴趣的物品，提高了顾客购物行为分析的精确性。
采用本实施例上述方式获得的物品信息与目标对象关联信息，不仅可以针对每个顾客，分析各顾客购物行为，还可以针对各个物品，分析每个物品的受欢迎的程度等信息。因而，还可以提高物品销售状况分析的精确性。
另外，本实施例上述方式仅需要在目标区域一次性投入安装摄像装置后，即可长期使用，相对于现有的在物品上粘贴RFID标签的方式，本实施例的方式仅需一次性投入成本，成本较低，且有利于成本控制。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图；
图2为本发明实施例提供的一种信息关联方法的流程图；
图3为本发明实施例提供的另一种信息关联方法的流程图；
图4为本发明实施例提供的一种信息关联装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有的通过RFID技术跟踪顾客购物行为的方式精确度较低且成本较高的问题，本发明实施例提供了一种信息关联方法、装置和系统；该技术可以应用于商场、超市、便利店等购物场所中，也可以应用于书店、游乐场、健身房或其他场所中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。
实施例一：
首先，参照图1来描述用于实现本发明实施例的目标对象与物品信息的关联方法、装置及系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及多个摄像装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。
所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述摄像装置110可以采集视频帧图像，并且将采集到的图像存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的目标对象与物品的关联方法、装置及系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将多个摄像装置分离设置于购物场所等目标区域的各个位置。
实施例二：
本实施例提供了一种信息关联方法，该方法由上述处理设备执行；该处理设备可以为网关，也可以是具有数据处理能力的其它设备，诸如上位机、本地服务器、云服务器等。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。
本实施例中，采集视频帧图像的摄像装置可以分布在目标区域的各个位置，以较为全面的采集顾客的图像数据；每个摄像装置采集到的图像既可以用于顾客的人脸检测，也可以用于行人检测；当然，也可以一台摄像装置专用于人脸检测或行人检测，以便针对具体的功能选择相应配置参数的设备。
下面首先描述一种具体的摄像装置分布方式，但不作为对本发明实施例的限定；该方式中，一台摄像装置可以同时用于人脸检测和行人检测，或者在同一个位置，用于人脸检测的摄像装置和用于行人检测的摄像装置成对设置；在目标区域的入口处设置一台或一对摄像装置，用于在目标对象进入目标区域时即获取该目标对象的人脸特征，并开始对目标对象的位置移动轨迹进行跟踪；在每个货架的顶部或两端可以设置有一台或一对摄像装置，用于获取目标对象的人脸特征，以及在该货架附近的位置运动轨迹等。
另外，对于在同一个位置成对设置用于人脸检测的摄像装置和用于行人检测的摄像装置的情况，可以根据目标对象的位置信息，将人脸特征和位置移动轨迹相匹配。例如，通过用于人脸检测的摄像装置采集到目标对象1的位置坐标为A，以及人脸特征为F；与此同时，通过用于行人检测的摄像装置采集到目标对象2的位置坐标为A，以及位置移动轨迹为K；由于在同一时刻，目标对象1和目标对象2的位置坐标相同，可以确定二者为同一个目标对象，因而上述人脸特征F和位置移动轨迹K均属于该目标对象。
由于一台摄像装置的监控范围可能仅仅局限在一台或数台货架，甚至为一台货架的一部分，因而对于整个目标区域而言，往往需要安装多台摄像装置。通过目标对象的人脸特征，可以将多台摄像装置采集到的该目标对象的多段位置移动轨迹进行合并，形成该目标对象完整的位置移动轨迹。
如图2所示，上述信息关联方法具体包括如下步骤：
步骤S202，获取目标区域内的多个视频帧图像；
该目标区域可以为需要监控目标对象位置、动作行为的区域，例如，指定的超市，商场等购物场所，也可以为书店、游乐场、健身房等场所，目标区域的具体场景本实施例不做限制；多个视频帧图像可以为连续的视频帧图片；连续的视频帧图片在时间上通常连续，具体可以将摄像装置采集到的视频按照时间顺序以一定的采样间隔采样得到，也可以通过摄像装置以一定的采样间隔直接采集到视频帧图片；在实际实现时，多个视频帧图像通常由不同的摄像装置采集得到，因此，该多个视频帧图像可以包含多组视频帧图像；其中，每组的视频帧图像由一台摄像装置采集，因而为连续的视频帧图片。
步骤S204，从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；本实施例中的目标对象通常为购物场所、图书馆、游乐场等目标区域中的游客、顾客、消费者等；目标区域内的物品可以为商品、图书、玩具游乐设施、健身器材等。
通常，需要首先识别图像中存在目标对象，以及该目标对象的身份信息，进而再对该目标对象的位置移动轨迹进行跟踪；在跟踪过程中，如果发现目标对象靠近物品货架，可以检测该目标对象的物品处理动作，例如，拿取物品、放回物品或者无动作等。
如果目标对象距离物品货架较远，其产生的动作通常与物品关系不大，为节约运算内存，上述指定位置范围可以设置为目标对象相对货架的距离范围；当检测出目标对象位于该指定位置范围内时，即位于靠近货架的位置，才检测目标对象的动作，从而得到上述物品处理动作轨迹。
该物品处理动作轨迹通常包含一段连续的处理动作，如拿取物品、放回物品、再拿取物品；再如拿取物品、放回物品、无动作、再拿取物品、放回物品等。
步骤S206，如果物品处理动作轨迹中包含指定的处理动作，获取处理动作对应物品的物品信息；
步骤S208，将物品信息与目标对象关联。
该指定的处理动作可以为与物品相关的动作，例如上述拿取物品和放回物品；如果上述物品处理动作轨迹中包含指定的处理动作，说明该目标对象与该物品产生了接触，即代表该目标对象对该物品有兴趣，此时则获取该物品的物品信息(如物品类别、名称、编码等)，并将该物品信息与目标对象关联；如果目标对象最终购买了该物品，对应的物品信息可以标识为该目标对象喜好的物品；如果该目标对象最终没有购买该物品，对应的物品信息可以标识为目标对象潜在感兴趣的物品。目标对象最终是否购买该物品，可以通过下述方式确定：在收银台设置用于人脸检测的摄像装置，同时获取该目标对象的购物清单，将该目标对象的人脸特征和购物清单关联保存。
上述处理动作对应物品的物品信息，具体可以通过视频帧图像获得，例如截取物品已被目标对象从货架拿出的图像，通过图像处理或机器学习的方式提取图像中物品的特征，并查询得到该特征对应的物品信息。
另外，上述步骤S208中，可以预先为该目标对象开辟对应的数据存储空间，将获取到的物品信息保存至该数据存储空间中，从而实现将物品信息与目标对象的关联。在关联过程中，还可以根据目标对象对该物品的感兴趣程度，对物品信息进行分类，如上述根据目标对象是否购买该物品对物品信息进行分类，还可以根据目标对象接触该物品的时间长短，对物品信息进行进一步分类。例如，如果目标对象拿取物品后进行了长时间的查看，即使最终没有购买该物品，也可以将该物品对应的物品信息标识为顾客非常感兴趣的物品。
上述步骤S208中的将物品信息与目标对象关联后，生成的关联数据可以用于统计分析；例如，通过统计关联后的物品信息与目标对象，确定物品信息对应物品的目标人群和/或目标对象喜好的物品类型。
具体而言，如果需要统计物品信息对应物品的目标人群，可以将该物品信息关联的目标对象提取出来，分析各个目标对象的性别、年龄、以及该目标对象的其他相关的购物喜好等；如果需要统计目标对象喜好的物品类型，可以将该目标对象关联的物品信息提取出来，分析各个物品信息的类别、价格、以及与该物品信息相关联的其他目标对象等；当然，还可以同时分析上述物品信息对应物品的目标人群和目标对象喜好的物品类型。
本发明实施例提供的上述信息关联方法，获取到目标区域内的多个视频帧图像之后，从该多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；如果该物品处理动作轨迹中包含指定的处理动作，则获取该处理动作对应物品的物品信息，并将该物品信息与目标对象关联。该方式中，通过摄像装置采集到的视频帧图像可以获知目标对象在购物过程中所接触的物品，相对于现有的通过RFID技术跟踪顾客购物行为的方式，本实施例中的方式能够较为全面地知晓该目标对象的感兴趣的物品，提高了顾客购物行为分析的精确性。
采用本实施例上述方式获得的物品信息与目标对象关联信息，不仅可以针对每个顾客，分析各顾客购物行为，还可以针对各个物品，分析每个物品的受欢迎的程度等信息。因而，还可以提高分析物品销售状况的精确性。
另外，本实施例上述方式仅需要在目标区域一次性投入安装摄像装置后，即可长期使用，相对于现有的在物品上粘贴RFID标签的方式，本实施例的方式仅需一次性投入成本，成本较低，且有利于成本控制。
实施例三：
本发明实施例提供了另一种信息关联方法，该方法在上述实施例的基础上实现；该方法中，首先对视频帧图像进行人脸检测，发现人脸后，再提取人脸特征，该人脸特征可以作为目标对象的唯一标识信息；然后再对视频帧图像进行行人检测，发现目标对象的人形后，对该目标对象进行定位和跟踪，从而得到位置移动轨迹；进而再识别目标对象的物品处理动作以及对应的物品信息。如图3所示，该方法具体包括如下步骤：
步骤S302，获取目标区域内的多个视频帧图像；
步骤S304，通过第一神经网络对视频帧图像进行人脸检测，得到目标对象的人脸数据；
具体可以将视频帧图像输入至第一神经网络中，该第一神经网络根据预先训练的人脸检测模型，识别该图像中是否存在人脸，如果存在，则输出人脸在图像中的具体位置，通常可以以人脸检测框的形式将识别出的人脸标识出来。该检测框内的图像数据即为目标对象的人脸数据。通过该步骤，可以获知视频帧图像中存在目标对象，但该目标对象的具体人脸特征、身份信息等，需通过下述步骤得到。
步骤S306，通过第二神经网络对人脸数据进行人脸特征提取，得到目标对象的人脸特征。
第二神经网络可以根据预先训练的人脸识别模型，提取目标对象的人脸特征；该人脸特征具体可以为目标对象人脸的深度特征；一个目标对象的人脸特征可以包含多个子特征，例如，人脸数据输入至第二神经网络后，输出子特征F1和子特征F2，F1和F2共同作为该目标对象的人脸特征。
如果系统中预先保存有该人脸特征对应的目标对象的身份信息(如姓名、身份证号、会员ID等)，可以将身份信息直接作为该目标对象的标识信息，后续与该目标对象相关的位置移动轨迹、物品处理动作轨迹、物品信息等均可以与该身份信息相关联。如果系统中没有保存该人脸特征对应的目标对象的身份信息，则可以将该人脸特征作为该目标对象的标识信息，上述位置移动轨迹、物品处理动作轨迹、物品信息等与目标对象的人脸特征相关联。
获取到目标对象的人脸特征后，即开始对该目标对象的位置移动轨迹进行跟踪，具体通过下述步骤实现。
步骤S308，通过第三神经网络对视频帧图像进行行人检测，得到目标对象的人形数据；该人形数据通过行人检测框标识；
具体可以将视频帧图像输入至第三神经网络中，该第三神经网络根据预先训练的行人检测模型，识别该图像中是否存在行人，如果存在行人，说明该图像中存在目标对象需要跟踪，则输出该行人的具体位置；该具体位置可以通过上述行人检测框标识；行人检测框内部的图像数据即为上述行人的人形数据，即该人形数据通常包含目标对象从头部到脚部的完整的人形图像。
步骤S310，根据预设的坐标系确定目标对象的位置信息；该坐标系通过摄像装置在目标区域内的位置建立；
具体可以根据目标区域内各摄像装置的安装位置，在当前环境中预先建立一个坐标系，该坐标系中标注了各个摄像装置的位置信息；根据各摄像装置的位置信息，以及目标对象与摄像装置的相对位置，可以获得目标对象的绝对位置，即上述位置信息。货架的位置信息也可以通过上述方式获得，还可以由工作人员直接标注在上述坐标系中。上述目标对象与摄像装置的相对位置，可以根据目标对象所处的摄像装置视野范围内的位置，以及该摄像装置的摄像机坐标系与上述基准坐标系的转换关系进行转化获得。
步骤S312，通过第四神经网络对人形数据进行人形特征提取，得到目标对象的人形特征；
第四神经网络可以根据预先训练的人形识别模型，提取目标对象的人形特征；该人形特征具体可以为目标对象人形的深度特征。不同目标对象的人形特征存在特异性，因此通过提取到的人形特征，可以区分视频帧图像中可能包含的多个目标对象，并将不同视频帧图像中，属于同一目标对象的人形数据予以关联。
步骤S314，将多个视频帧图像中，相邻视频帧图像之间的人形特征的数值距离小于设定数值阈值的人形数据，确定为同一个目标对象的人形数据；
对于同一个目标对象，在不同视频帧图像内，其动作、姿势可能会发生变化，但其体貌特征、衣着特征等几乎不变，另外，对于连续的视频帧图像，其相邻视频帧图像之间，同一目标对象的动作、姿势变化非常细微，因此，从相邻视频帧图像间提取到的同一目标对象的人形特征差异也很小；基于此，可以采用上述数值距离的方式判断相邻视频帧图像之间的人形特征是否属于同一个目标对象。
上述人形特征可以包含多个子特征(如子特征F3和子特征F4)，因此，可以逐一为相邻视频帧图像之间的每个子特征计算上述数据距离，再综合各个子特征的结果判断是否属于同一个目标对象。上述数值距离具体可以为欧式距离，当然也可以采用其他方式判断人形特征之间的相似性；上述数值阈值，或每个子特征对应的数值阈值可以根据经验设置。
步骤S316，连接同一个目标对象的人形数据，得到目标对象的位置移动轨迹。
由于目标对象的人形数据通过行人检测框进行标识，因此具体可以将同一个目标对象的行人检测框连接；在实际实现时，可以为每个目标对象分配一个编码，通过该编码将属于同一编码的行人检测框连接，在视频帧图像上通过实体的线条连接同一编码的行人检测框，从而实现对目标对象的位移追踪，得到上述位置移动轨迹。
通过位置移动轨迹可以看出目标对象都去过目标区域内的哪些地方，接触过哪些货架上的物品等，通过位置移动轨迹还可以分析出目标对象的购物习惯；以目标区域为购物场所为例，有的目标对象的位置移动轨迹较为简洁，直接到指定货架拿取需要的物品后结账，说明该目标对象的购物习惯具有较强的目的性；而有的目标对象的位置移动轨迹较为反复，几乎涉及购物场所的整个区域，说明该目标对象购物目的性不强。进而根据客户的购物喜好，可以为客户推送相关的物品推荐信息。
由上述摄像装置的分布方式可知，目标对象从进入目标区域到拿取物品、结账、离开目标区域的过程中，可能有多台摄像装置都记录下了该目标对象的一部分位置移动轨迹，为了得到该目标对象在目标区域内完整的位置移动轨迹，需要对每台摄像装置对应的位置移动轨迹进行整合，具体实现步骤如下：
步骤1，如果多个视频帧图像中包含多组视频帧图像，分别识别每组视频帧图像中目标对象的位置移动轨迹；其中，每组视频帧图像来自同一摄像装置；
步骤2，根据目标对象的人脸特征，以及每组视频帧图像对应的目标对象的位置移动轨迹，生成目标对象的最终位置移动轨迹。
通常，每组视频帧图像为连续的视频帧图像，因此每组视频帧图像对应的位置移动轨迹也是相对连续的；每组视频帧图像识别的位置移动轨迹携带有目标对象的人脸特征，或者对应的身份信息；将多组视频帧图像中，携带有同一人脸特征或身份信息的位置移动轨迹进行整合，可以得到目标对象的最终位置移动轨迹。
具体的整合方式可以根据各段位置移动轨迹对应的视频帧图像的生成时间，将位置移动轨迹进行排列；一相关示例具体如下述表1所示：
表1
由表1中的生成时间字段可知，目标对象A可能先经过3号摄像装置的拍摄范围，再依次经过1号摄像装置和2号摄像装置的拍摄范围，因此，这三段位置移动轨迹需要按照如下方式排列：位置移动轨迹3、位置移动轨迹1和位置移动轨迹2，这三段位置移动轨迹组合成了该目标对象A完整的位置移动轨迹。
上述步骤S304至S316通常在从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前执行，从而为该步骤提供了目标对象的人脸特征和位置移动轨迹的数据基础，以便得到目标对象的标识信息和后续的指定位置范围。下面对多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤进行具体描述。
步骤S318，根据目标对象的位置信息以及物品货架的位置信息，确定目标对象与物品货架的空间距离；
该步骤中，目标对象的位置信息可以通过上述预设的坐标系确定，物品货架的位置信息可以预先由工作人员标识在坐标系上，根据货架的编号可以查询到对应的位置信息；目标对象的位置信息和物品货架的位置信息可以通过坐标表示，其中，目标对象的位置信息可以为一个坐标点，而考虑到物品货架体积较大，该物品货架的位置信息可以为一个坐标范围；举例而言，目标对象的坐标点为(x1，y1)；物品货架的坐标范围[(x2，x3)，(y2，y3)]，该坐标范围可以代表一个矩形，该矩形的左上角坐标为(x2，y2)，右下角坐标为(x3，y3)。而目标对象与物品货架的空间距离可以为目标对象的坐标点到达上述矩形最近一条边的垂直距离。
步骤S320，从目标对象的位置移动轨迹中，提取空间距离小于设定空间阈值的轨迹片段；
该设定空间阈值可以根据经验设置，例如，设置为20cm、30cm等；当目标对象与物品货架的空间距离小于该空间阈值时，说明目标对象距离货架较近，有可能会接触货架上的物品；此时则从该目标对象的位置移动轨迹中调取对应的轨迹片段；由于位置移动轨迹由该目标对象的人形数据组成，因此位置移动轨迹也包含该目标对象的手臂动作，以获知该目标对象是否接触物品，下面对目标对象的手部动作进行识别处理。
步骤S322，对轨迹片段进行采样处理，得到多个待识别子片段；
通常，为了保证待识别子片段之间的连续性，可以对轨迹片段进行有重叠的采样，即相邻待识别子片段的两端有部分人形数据是相同的。例如，轨迹片段包括100个视频帧图像对应的人形数据，每十个作为一个待识别子片段，此时，第一个待识别子片段包括第1至第10个人形数据，第二个待识别子片段包括第8至第18个人形数据，第三个待识别子片段包括第16至第26个人形数据，以此类推。相邻待识别子片段的两端重叠的人形数据的具体个数可以根据实际需求设置，在此不做限定。
上述采样完成后，需要首先识别各待识别子片段中包含的处理动作，具体通过下述方式实现：
步骤1，通过第五神经网络对每个待识别子片段进行动作分类评分，得到每个待识别子片段的分值组合；该分值组合中包含待识别子片段与每类处理动作的匹配度分值；
第五神经网络可以根据预先训练的动作分类模型，为每个待识别子片段进行动作分类评分；具体而言，可以设置几类处理动作，例如拿取物品、放回物品和无动作；通过这几种处理动作的典型图像训练上述第五神经网络，提取出各处理动作的动作特征。在对待识别子片段进行动作分类评分时，可以根据待识别子片段内包含的动作，与上述几类处理动作的动作特征的匹配程度，为该待识别子片段进行打分；例如，设置满分为10分，当前的待识别子片段的分值组合如下述表2所示。由表2可以看出，该待识别子片段针对“拿取物品”的匹配度分值最高，针对“无动作”匹配度分值最低，因此该待识别子片段的处理动作为拿取物品。
表2
处理动作 匹配度分值
拿取物品 9
放回物品 3
无动作 0
步骤2，对相邻待识别子片段之间的分值组合进行均值平滑处理；
步骤3，将处理后的每个待识别子片段的分值组合中，最高分值对应的处理动作确定为待识别子片段的处理动作。
该均值平滑处理可以抑制待识别子片段针对错误动作的匹配度分值，提高针对正确动作的匹配度分值，进而提高对待识别子片段的动作类型识别的准确度，并使识别结果更加稳定；一具体示例如下述表3和表4所示。
表3
表4
表3中列出了同一目标对象连续的七个待识别子片段的分值组合，该分值组合由上述第五神经网络输出；表3中分值组合经均值平滑处理后，得到表4中的分值组合；对比表3和表4可以看出，经均值平滑处理后，待识别子片段2和待识别子片段6的分值组合发生了较为明显的变化。
对于待识别子片段2，该待识别子片段2位于待识别子片段1和待识别子片段3之间，由于处理动作的连续性，三个待识别子片段应当处于同一个处理动作；待识别子片段1和待识别子片段3的动作类型评分的区别较为明显，可以确定为“拿取物品”，而待识别子片段2，可能由于第五神经网络的识别误差，动作类型评分的区别较小，难以确定待识别子片段2具体属于哪个处理动作；但是将待识别子片段2的分值组合与待识别子片段1和待识别子片段3的分值组合均值平滑处理后，提高了动作类型评分的区别程度，因而也能够确定该待识别子片段2的动作类型为“拿取物品”。
同理，对于待识别子片段6，其分值组合与待识别子片段5和待识别子片段7的分值组合均值平滑处理后，也提高了动作类型评分的区别程度，因而能够明显确定该待识别子片段6的动作类型为“拿取物品”。
步骤S324，根据各个待识别子片段中的处理动作，得到对应的物品处理动作轨迹；该处理动作包括拿取物品、放回物品或无动作。其中，“无动作”可以理解为目标对象仅仅站立在货架旁，手臂没有伸向货架，也没有从货架方向收回的动作。
该物品处理动作轨迹可以为单独的处理动作，也可以为连续的处理动作；例如，如果目标对象从货架拿取物品后就离开货架，那上述轨迹片段中各个待识别子片段中的处理动作可能均为“拿取物品”，则该物品处理动作轨迹即为“拿取物品”。如果目标对象在当前货架上反复挑选物品，那上述轨迹片段中各个待识别子片段中的处理动作可能会不断变化，则该物品处理动作轨迹可能为“拿取物品”“放回物品”“无状态”“拿取物品”，这种连续的处理动作。
上述步骤S324具体可以通过下述方式实现：按照时间顺序，对多个待识别子片段的处理动作进行合并排列，得到处理动作组合，将处理动作组合确定为目标对象在指定位置范围内的物品处理动作轨迹。
例如，一个轨迹片段划分为100个待识别子片段，按照时间顺序，如果前20个待识别子片段的处理动作均为“拿取物品”，第21至第50个待识别子片段的处理动作均为“放回物品”，第51至第70个待识别子片段的处理动作均为“拿取物品”，第71至第100个待识别子片段的处理动作均为“放回物品”，则对相邻的待识别子片段的相同的处理动作进行合并，得到的处理动作组合为：“拿取物品”、“放回物品”、“拿取物品”和“放回物品”；该组合即为上述物品处理动作轨迹。
上述提及的三种处理动作中，拿取物品和放回物品这两种处理动作说明目标对象与物品产生了接触；因此，可以将拿取物品和放回物品作为指定的处理动作；如果目标对象的物品处理动作轨迹中包含拿取物品和放回物品，或二者之一，则获取该处理动作对应物品的物品信息。获取物品信息的具体可以通过下述步骤实现。
步骤S326，判断物品处理动作轨迹中是否包含拿取物品或放回物品，如果是，执行步骤S328；如果否，结束；
步骤S328，通过第六神经网络识别处理动作对应的视频帧图像中的物品信息。
该第六神经网络可以根据预先训练的动作分类物品识别模型，提取到视频帧图像中物品的物品特征，根据该物品特征查找对应的物品信息，例如物品类别、名称、编码等。
另外，如果物品处理动作轨迹中包含拿取物品或放回物品，还可以调用该目标对象附近的摄像装置采集相关物品的视频帧图像，通过专用的神经网络(可以称为第七神经网络)识别该视频帧图像中的物品状态，该物品状态包括物品增加、物品减少或无变化；如果该物品的物品状态为物品增加或物品减少，再截取该物品的图像，识别出该物品的物品信息；同时，根据该物品的具体物品状态，对该目标对象所携带的物品进行统计。
具体而言，可以预先为每个目标对象设置一个携带物品清单，当当前物品的物品状态为物品减少时，则将该物品的物品信息添加至该物品清单中，并统计该目标对象携带物品的数量等信息。
步骤S330，将该物品信息与目标对象关联保存。
上述目标对象的携带物品清单，还可以根据目标对象在当前位置上的物品处理动作轨迹进行更新；例如，如果该物品处理动作轨迹中，只有拿取物品的处理动作，或者最终的处理动作为拿取物品，则将该物品的物品信息添加至该物品清单中；如果该物品处理动作轨迹中，只有放回物品的处理动作，则将该物品的物品信息从该物品清单中删除；如果该物品处理动作轨迹中，先出现拿取物品的处理动作，再出现放回物品的处理动作，则该物品清单不更新。
上述第一神经网络、第二神经网络、第三神经网络、第四神经网络、第五神经网络、第六神经网络和第七神经网络都可以通过CNN(Convolutional Neural Networks，卷积神经网络)或其他类型的神经网络实现，根据网络的具体用途，可以配置相应的网络结构和网络参数。
本发明实施例提供的上述信息关联方法，通过神经网络首先对视频帧图像进行人脸检测，发现人脸后，再提取人脸特征；然后再对视频帧图像进行行人检测，发现目标对象的人形后，对该目标对象进行定位和跟踪，从而得到位置移动轨迹；进而再识别目标对象的物品处理动作以及对应的物品信息。该方式通过摄像装置采集到的视频帧图像可以获知目标对象在购物过程中所接触的物品，可以较为全面地知晓该目标对象的感兴趣的物品，从而提高了顾客购物行为分析的精确性；同时也有利于成本控制。
实施例四：
对应于上述方法实施例，参见图4所示的一种信息关联装置的结构示意图，该装置包括：
图像获取模块40，用于获取目标区域内的多个视频帧图像；
识别模块41，用于从多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；
信息获取模块42，用于如果物品处理动作轨迹中包含指定的处理动作，获取处理动作对应物品的物品信息；
关联模块43，用于将物品信息与目标对象关联。
本发明实施例提供的上述信息关联装置，获取到目标区域内的多个视频帧图像之后，从该多个视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；如果该物品处理动作轨迹中包含指定的处理动作，则获取该处理动作对应物品的物品信息，并将该物品信息与目标对象关联。该方式中，通过摄像装置采集到的视频帧图像可以获知目标对象在购物过程中所接触的物品，相对于现有的通过RFID技术跟踪顾客购物行为的方式，本实施例中的方式可以较为全面地知晓该目标对象的感兴趣的物品，从而提高了顾客购物行为分析的精确性。
进一步地，上述装置还包括：统计模块，用于统计关联后的物品信息与目标对象，确定物品信息对应物品的目标人群和/或目标对象喜好的物品类型。
进一步地，上述装置还包括：人脸检测模块，用于通过第一神经网络对视频帧图像进行人脸检测，得到目标对象的人脸数据；人脸特征提取模块，用于通过第二神经网络对人脸数据进行人脸特征提取，得到目标对象的人脸特征。
进一步地，上述装置还包括：行人检测模块，用于通过第三神经网络对视频帧图像进行行人检测，得到目标对象的人形数据；人形数据通过行人检测框标识；位置信息确定模块，用于根据预设的坐标系确定目标对象的位置信息；坐标系通过摄像装置在目标区域内的位置建立；人形特征提取模块，用于通过第四神经网络对人形数据进行人形特征提取，得到目标对象的人形特征；第一轨迹生成模块，用于将多个视频帧图像中，相邻视频帧图像之间的人形特征的数值距离小于设定数值阈值的人形数据，确定为同一个目标对象的人形数据；连接同一个目标对象的人形数据，得到目标对象的位置移动轨迹。
进一步地，上述装置还包括：轨迹识别模块，用于如果多个视频帧图像中包含多组视频帧图像，分别识别每组视频帧图像中目标对象的位置移动轨迹；其中，每组视频帧图像来自同一摄像装置；第二轨迹生成模块，用于根据目标对象的人脸特征，以及每组视频帧图像对应的目标对象的位置移动轨迹，生成目标对象的最终位置移动轨迹。
进一步地，上述识别模块41还用于：根据目标对象的位置信息以及物品货架的位置信息，确定目标对象与物品货架的空间距离；从目标对象的位置移动轨迹中，提取空间距离小于设定空间阈值的轨迹片段；对轨迹片段进行采样处理，得到多个待识别子片段；根据各个待识别子片段中的处理动作，得到对应的物品处理动作轨迹；处理动作包括拿取物品、放回物品或无动作。
进一步地，上述装置还包括：评分模块，用于通过第五神经网络对每个待识别子片段进行动作分类评分，得到每个待识别子片段的分值组合；分值组合中包含待识别子片段与每类处理动作的匹配度分值；平滑处理模块，用于对相邻待识别子片段之间的分值组合进行均值平滑处理；处理动作确定模块，用于将处理后的每个待识别子片段的分值组合中，最高分值对应的处理动作确定为待识别子片段的处理动作。
进一步地，上述识别模块41还用于：按照时间顺序，对多个待识别子片段的处理动作进行合并排列，得到处理动作组合，将处理动作组合确定为目标对象在指定位置范围内的物品处理动作轨迹。
进一步地，上述指定的处理动作包括拿取物品或放回物品；上述信息获取模块42，用于通过第六神经网络识别处理动作对应的视频帧图像中的物品信息。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
实施例五：
本发明实施例提供了一种信息关联系统，该系统包括：摄像装置、处理器和存储装置；该摄像装置，用于采集视频帧图像；该存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述信息关联方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
进一步地，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述信息关联方法的步骤。
本发明实施例所提供的信息关联方法、装置和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种信息关联方法，其特征在于，所述方法包括：
获取目标区域内的多个视频帧图像；
从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；
如果所述物品处理动作轨迹中包含指定的处理动作，获取所述处理动作对应物品的物品信息；
将所述物品信息与所述目标对象关联。
2.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，所述方法还包括：
通过第一神经网络对所述视频帧图像进行人脸检测，得到目标对象的人脸数据；
通过第二神经网络对所述人脸数据进行人脸特征提取，得到所述目标对象的人脸特征。
3.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤之前，所述方法还包括：
通过第三神经网络对所述视频帧图像进行行人检测，得到目标对象的人形数据；所述人形数据通过行人检测框标识；
根据预设的坐标系确定所述目标对象的位置信息；所述坐标系通过摄像装置在所述目标区域内的位置建立；
通过第四神经网络对所述人形数据进行人形特征提取，得到所述目标对象的人形特征；
将多个所述视频帧图像中，相邻视频帧图像之间的人形特征的数值距离小于设定数值阈值的所述人形数据，确定为同一个目标对象的人形数据；
连接同一个目标对象的人形数据，得到所述目标对象的位置移动轨迹。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果多个所述视频帧图像中包含多组视频帧图像，分别识别每组视频帧图像中目标对象的位置移动轨迹；其中，每组所述视频帧图像来自同一摄像装置；
根据所述目标对象的人脸特征，以及每组所述视频帧图像对应的所述目标对象的位置移动轨迹，生成所述目标对象的最终位置移动轨迹。
5.根据权利要求1所述的方法，其特征在于，所述从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹的步骤，包括：
根据目标对象的位置信息以及物品货架的位置信息，确定所述目标对象与所述物品货架的空间距离；
从所述目标对象的位置移动轨迹中，提取所述空间距离小于设定空间阈值的轨迹片段；
对所述轨迹片段进行采样处理，得到多个待识别子片段；
根据各个所述待识别子片段中的处理动作，得到对应的物品处理动作轨迹；所述处理动作包括拿取物品、放回物品或无动作。
6.根据权利要求5所述的方法，其特征在于，所述根据各个所述待识别子片段的处理动作，得到对应的物品处理动作轨迹的步骤之前，所述方法还包括：
通过第五神经网络对每个所述待识别子片段进行动作分类评分，得到每个所述待识别子片段的分值组合；所述分值组合中包含所述待识别子片段与每类处理动作的匹配度分值；
对相邻所述待识别子片段之间的所述分值组合进行均值平滑处理；
将处理后的每个所述待识别子片段的分值组合中，最高分值对应的处理动作确定为所述待识别子片段的处理动作。
7.根据权利要求5所述的方法，其特征在于，所述根据各个所述待识别子片段中的处理动作，得到对应的物品处理动作轨迹的步骤，包括：
按照时间顺序，对多个所述待识别子片段的处理动作进行合并排列，得到处理动作组合，将所述处理动作组合确定为所述目标对象在指定位置范围内的物品处理动作轨迹。
8.根据权利要求1所述的方法，其特征在于，所述指定的处理动作包括拿取物品或放回物品；
所述获取所述处理动作对应物品的物品信息的步骤，包括：通过第六神经网络识别所述处理动作对应的视频帧图像中的物品信息。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
统计关联后的所述物品信息与所述目标对象，确定所述物品信息对应物品的目标人群和/或所述目标对象喜好的物品类型。
10.一种信息关联装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标区域内的多个视频帧图像；
识别模块，用于从多个所述视频帧图像中识别目标对象在指定位置范围内的物品处理动作轨迹；
信息获取模块，用于如果所述物品处理动作轨迹中包含指定的处理动作，获取所述处理动作对应物品的物品信息；
关联模块，用于将所述物品信息与所述目标对象关联。
11.一种信息关联系统，其特征在于，所述系统包括：摄像装置、处理器和存储装置；
所述摄像装置，用于采集视频帧图像；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至9任一项所述的方法的步骤。
CN201810667415.2A 2018-06-25 2018-06-25 信息关联方法、装置和系统 Pending CN108830251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810667415.2A CN108830251A (zh) 2018-06-25 2018-06-25 信息关联方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810667415.2A CN108830251A (zh) 2018-06-25 2018-06-25 信息关联方法、装置和系统

Publications (1)

Publication Number Publication Date
CN108830251A true CN108830251A (zh) 2018-11-16

Family

ID=64138810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810667415.2A Pending CN108830251A (zh) 2018-06-25 2018-06-25 信息关联方法、装置和系统

Country Status (1)

Country Link
CN (1) CN108830251A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001748A (zh) * 2018-07-16 2018-12-14 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN109686015A (zh) * 2018-11-30 2019-04-26 广东拓迪智能科技有限公司 一种无人智慧图书馆中图书借阅管理方法及系统
CN109766914A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于图像识别的物品识别方法、装置、设备及存储介质
CN110007755A (zh) * 2019-03-15 2019-07-12 百度在线网络技术（北京）有限公司 基于动作识别的物体事件触发方法、装置及其相关设备
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 一种对象识别方法和装置
CN110570234A (zh) * 2019-08-20 2019-12-13 苏州佳世达电通有限公司 商品侦测方法及商品侦测系统
CN110766717A (zh) * 2019-09-02 2020-02-07 广东天波信息技术股份有限公司 一种基于图像识别的跟随服务方法及装置
CN111260685A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN111325151A (zh) * 2020-02-20 2020-06-23 京东数字科技控股有限公司 展示优先级的获取方法、装置、终端及计算机可读介质
CN111325492A (zh) * 2018-12-14 2020-06-23 阿里巴巴集团控股有限公司 供应链优化方法及系统
CN111476609A (zh) * 2020-04-10 2020-07-31 广西中烟工业有限责任公司 零售数据获取方法、系统、设备及存储介质
CN111680657A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111813995A (zh) * 2020-07-01 2020-10-23 盛视科技股份有限公司 一种基于时空关系的行人提取物品行为检测方法及系统
CN111931546A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 一种收银行为监控方法及装置
CN111951598A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 一种车辆跟踪监测方法、装置及系统
CN112422652A (zh) * 2020-11-06 2021-02-26 重庆电子工程职业学院 用于特殊人群的防丢失系统及方法
CN112416961A (zh) * 2020-11-19 2021-02-26 北京爱笔科技有限公司 一种人货关联关系确认方法及装置
CN112784091A (zh) * 2021-01-26 2021-05-11 上海商汤科技开发有限公司 兴趣分析方法和相关装置、设备
CN113468926A (zh) * 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 一种取放行为的识别方法、装置及电子设备
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
EP3901841A4 (en) * 2020-03-09 2022-03-16 YI Tunnel (Beijing) Technology Co., Ltd. PROCEDURE, APPARATUS AND SETTLEMENT SYSTEM
CN118154116A (zh) * 2024-01-30 2024-06-07 广州伯威逊科技有限公司 一种商城商户智能管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043020A2 (ko) * 2011-09-23 2013-03-28 주식회사 크리에이츠 복수의 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN106776619A (zh) * 2015-11-20 2017-05-31 百度在线网络技术（北京）有限公司 用于确定目标对象的属性信息的方法和装置
CN107862360A (zh) * 2017-11-01 2018-03-30 北京旷视科技有限公司 目标对象与商品信息的关联方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013043020A2 (ko) * 2011-09-23 2013-03-28 주식회사 크리에이츠 복수의 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN106776619A (zh) * 2015-11-20 2017-05-31 百度在线网络技术（北京）有限公司 用于确定目标对象的属性信息的方法和装置
CN107862360A (zh) * 2017-11-01 2018-03-30 北京旷视科技有限公司 目标对象与商品信息的关联方法、装置及系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001748A (zh) * 2018-07-16 2018-12-14 北京旷视科技有限公司 目标对象与物品的关联方法、装置及系统
CN111260685A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN109686015A (zh) * 2018-11-30 2019-04-26 广东拓迪智能科技有限公司 一种无人智慧图书馆中图书借阅管理方法及系统
CN111260685B (zh) * 2018-11-30 2023-03-31 阿里巴巴集团控股有限公司 视频处理方法、装置及电子设备
CN111325492B (zh) * 2018-12-14 2023-04-28 阿里巴巴集团控股有限公司 供应链优化方法及系统
CN111325492A (zh) * 2018-12-14 2020-06-23 阿里巴巴集团控股有限公司 供应链优化方法及系统
CN109766914A (zh) * 2018-12-14 2019-05-17 深圳壹账通智能科技有限公司 基于图像识别的物品识别方法、装置、设备及存储介质
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN110007755A (zh) * 2019-03-15 2019-07-12 百度在线网络技术（北京）有限公司 基于动作识别的物体事件触发方法、装置及其相关设备
CN111931546A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 一种收银行为监控方法及装置
CN111951598A (zh) * 2019-05-17 2020-11-17 杭州海康威视数字技术股份有限公司 一种车辆跟踪监测方法、装置及系统
CN110443190A (zh) * 2019-07-31 2019-11-12 腾讯科技（深圳）有限公司 一种对象识别方法和装置
CN110443190B (zh) * 2019-07-31 2024-02-02 腾讯科技(成都)有限公司 一种对象识别方法和装置
CN110570234A (zh) * 2019-08-20 2019-12-13 苏州佳世达电通有限公司 商品侦测方法及商品侦测系统
CN110766717B (zh) * 2019-09-02 2022-06-24 广东天波信息技术股份有限公司 一种基于图像识别的跟随服务方法及装置
CN110766717A (zh) * 2019-09-02 2020-02-07 广东天波信息技术股份有限公司 一种基于图像识别的跟随服务方法及装置
CN111325151A (zh) * 2020-02-20 2020-06-23 京东数字科技控股有限公司 展示优先级的获取方法、装置、终端及计算机可读介质
EP3901841A4 (en) * 2020-03-09 2022-03-16 YI Tunnel (Beijing) Technology Co., Ltd. PROCEDURE, APPARATUS AND SETTLEMENT SYSTEM
CN113468926A (zh) * 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 一种取放行为的识别方法、装置及电子设备
WO2021197195A1 (zh) * 2020-03-31 2021-10-07 阿里巴巴集团控股有限公司 一种取放行为的识别方法、装置及电子设备
CN111476609A (zh) * 2020-04-10 2020-07-31 广西中烟工业有限责任公司 零售数据获取方法、系统、设备及存储介质
CN111680657B (zh) * 2020-06-15 2023-05-05 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111680657A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种物品取放事件的触发人员确定方法、装置及设备
CN111813995A (zh) * 2020-07-01 2020-10-23 盛视科技股份有限公司 一种基于时空关系的行人提取物品行为检测方法及系统
CN112422652B (zh) * 2020-11-06 2023-04-07 重庆电子工程职业学院 用于特殊人群的防丢失系统及方法
CN112422652A (zh) * 2020-11-06 2021-02-26 重庆电子工程职业学院 用于特殊人群的防丢失系统及方法
CN112416961A (zh) * 2020-11-19 2021-02-26 北京爱笔科技有限公司 一种人货关联关系确认方法及装置
CN112416961B (zh) * 2020-11-19 2024-03-12 北京爱笔科技有限公司 一种人货关联关系确认方法及装置
CN112784091A (zh) * 2021-01-26 2021-05-11 上海商汤科技开发有限公司 兴趣分析方法和相关装置、设备
CN113627403B (zh) * 2021-10-12 2022-03-08 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
CN113627403A (zh) * 2021-10-12 2021-11-09 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
CN118154116A (zh) * 2024-01-30 2024-06-07 广州伯威逊科技有限公司 一种商城商户智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN108830251A (zh) 信息关联方法、装置和系统
CN108198052B (zh) 用户选购商品识别方法、装置以及智能货架系统
CN111415461B (zh) 物品识别方法及系统、电子设备
CN106776619B (zh) 用于确定目标对象的属性信息的方法和装置
Zhang et al. Toward new retail: A benchmark dataset for smart unmanned vending machines
CN108898109A (zh) 物品关注度的确定方法、装置和系统
CN109166007A (zh) 一种基于自动售货机的商品推荐方法及其装置
CN108051777B (zh) 目标的追踪方法、装置及电子设备
Patruno et al. People re-identification using skeleton standard posture and color descriptors from RGB-D data
CN107403332B (zh) 货架取物侦测系统及方法
US11106901B2 (en) Method and system for recognizing user actions with respect to objects
CN109993595A (zh) 个性化推荐商品及服务的方法、系统及设备
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
JP2009048430A (ja) 顧客動作分析装置、顧客動作判定システム、及び顧客購買行動分析システム
CN110050284A (zh) 一种自动店内登记系统
CN109255642A (zh) 人流分析方法、人流分析装置以及人流分析系统
CN108335317A (zh) 一种线下导购方法及装置
CN113326816B (zh) 一种线下顾客行为识别方法、系统、存储介质及终端
Yang et al. Depth sequential information entropy maps and multi-label subspace learning for human action recognition
CN107871111A (zh) 一种行为分析方法及系统
CN112215167A (zh) 一种基于图像识别的智能商店控制方法和系统
CN112150193A (zh) 一种客群分析方法、系统及存储介质
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
JPWO2019171574A1 (ja) 商品分析システム、商品分析方法および商品分析プログラム
CN111310610B (zh) 货品识别方法、货品识别系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116