CN112989988A - 信息整合方法、装置、设备、可读存储介质及程序产品 - Google Patents

Abstract

本发明公开了一种信息整合方法、装置、设备、可读存储介质及程序产品，所述方法包括：获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。本发明实现了将线下门店客户的线下实际信息与线上订单信息进行整合，为线下门店的营销人员提供了更加丰富的营销策略参考信息，有利于门店实现精准营销。

Description

信息整合方法、装置、设备、可读存储介质及程序产品

技术领域

本发明涉及人工智能技术领域，尤其涉及一种信息整合方法、装置、设备、可读存储介质及程序产品。

背景技术

随着科学技术的发展，我国零售业有了很大的进展，当前线上零售已经成为获取客户信息的主要途径，但是在新零售的推动下，为实现精准营销，线下门店如何获取客户信息也变得非常重要。然而线下门店一般只能记录到一些简单的销售数据，而难以获得更多与客户相关的线下客户数据，因此，目前，如何结合线上线下客户信息也成为了技术上的一大难点。

发明内容

本发明的主要目的在于提供一种信息整合方法、装置、设备、可读存储介质及程序产品，旨在解决如何结合线下门店的线上线下客户信息的技术问题。

为实现上述目的，本发明提供一种信息整合方法，所述方法包括以下步骤：

获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

可选地，所述对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤包括：

对所述视频数据中的各帧图像分别进行人体区域检测，得到各帧图像中的人体区域；

对所述人体区域进行特征提取，得到各所述人体区域分别对应的特征信息；

根据所述特征信息对各帧图像中的人体区域进行匹配，得到各人体区域组，其中，一个所述人体区域组对应一个客户，一个人体区域组至少包括匹配成功的两个处于不同帧图像的人体区域；

将所述人体区域组对应的特征信息作为对应客户的客户特征信息，根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息。

可选地，所述根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息的步骤包括：

根据所述人体区域组中各人体区域在所处帧图像中的位置，确定所述人体区域组中各人体区域在门店内所处的实际地点；

将所述人体区域组中处于相同实际地点的人体区域划分至相同小组，得到各人体区域小组；

将所述人体区域小组中各人体区域所处帧图像的时间戳和所述人体区域小组对应的实际地点进行关联，得到所述人体区域组对应的客户在门店内不同实际地点处的时间属性信息。

可选地，根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户的步骤包括：

将所述时间属性信息中在门店收银台处的停留时间与各线上订单信息中的订单生成时间进行匹配；

若匹配成功则确定所述时间属性信息对应的客户为下单客户。

可选地，所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤之前，还包括：

根据所述下单客户对应的线上订单信息中的订单编号检测所述下单客户是否是通过线上点单系统点单的客户；

若是，则获取所述下单客户在所述线上点单系统中的历史订单信息，并将所述下单客户对应的线下实际信息、线上点单信息和所述历史订单信息进行关联存储；

若否，则执行所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤。

可选地，所述获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤之后，还包括：

将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型；

所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤包括：

对于客户类型是新客户的下单客户，将所述下单客户对应的线下实际信息和线上订单信息关联存储至所述预设数据库；

对于客户类型是新客户的非下单客户，将所述非下单客户对应的线下实际信息打上未下单标签后存储至所述预设数据库；

对于客户类型是老客户的下单客户，将所述下单客户对应的线上订单信息与所述预设数据库中所述下单客户的历史信息关联存储；

对于客户类型是老客户的非下单客户，根据所述非下单客户的线下实际信息生成未下单记录，将所述未下单记录与所述预设数据库中所述非下单客户的历史信息关联存储。

可选地，所述将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型的步骤之后，还包括：

对于客户类型是老客户的客户，从所述预设数据库中获取所述老客户的历史订单信息，并根据所述历史订单信息确定针对所述老客户的推荐商品。

为实现上述目的，本发明还提供一种信息整合装置，所述装置包括：

分析模块，用于获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

匹配模块，用于根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

关联模块，用于将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

为实现上述目的，本发明还提供一种信息整合设备，所述信息整合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信息整合程序，所述信息整合程序被所述处理器执行时实现如上所述的信息整合方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有信息整合程序，所述信息整合程序被处理器执行时实现如上所述的信息整合方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的信息整合方法的步骤。

本发明中，通过获取拍摄线下门店所采集的视频数据，并对视频数据中各帧图像进行人体跟踪分析，得到各个客户的线下实际信息，线下实际信息包括了客户的特征信息和在门店内的时间属性信息；根据时间属性信息将各个客户与视频数据拍摄期间记录的线上订单信息进行匹配，得到下单客户，并将下单客户对应的线上订单信息和线下实际信息进行关联存储，以完成线上线下信息的整合。这样原本与客户无关的线上订单信息连接上了客户的线下实际信息，线下实际信息中包括客户的特征信息，从而使得线下门店的营销人员可以根据客户的特征信息对线上订单信息进行分类，以便于从客户的特征维度对订单数据进行分析，从而为线下门店的营销策略提供有力参考。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明信息整合方法第一实施例的流程示意图；

图3为本发明信息整合装置较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例信息整合设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。

如图1所示，该信息整合设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对信息整合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及信息整合程序。操作系统是管理和控制设备硬件和软件资源的程序，支持信息整合程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的信息整合程序，并执行以下操作：

获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

进一步地，所述对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤包括：

对所述视频数据中的各帧图像分别进行人体区域检测，得到各帧图像中的人体区域；

对所述人体区域进行特征提取，得到各所述人体区域分别对应的特征信息；

根据所述特征信息对各帧图像中的人体区域进行匹配，得到各人体区域组，其中，一个所述人体区域组对应一个客户，一个人体区域组至少包括匹配成功的两个处于不同帧图像的人体区域；

将所述人体区域组对应的特征信息作为对应客户的客户特征信息，根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息。

进一步地，所述根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息的步骤包括：

根据所述人体区域组中各人体区域在所处帧图像中的位置，确定所述人体区域组中各人体区域在门店内所处的实际地点；

将所述人体区域组中处于相同实际地点的人体区域划分至相同小组，得到各人体区域小组；

将所述人体区域小组中各人体区域所处帧图像的时间戳和所述人体区域小组对应的实际地点进行关联，得到所述人体区域组对应的客户在门店内不同实际地点处的时间属性信息。

进一步地，根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户的步骤包括：

将所述时间属性信息中在门店收银台处的停留时间与各线上订单信息中的订单生成时间进行匹配；

若匹配成功则确定所述时间属性信息对应的客户为下单客户。

进一步地，所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤之前，处理器1001还可以用于调用存储器1005中存储的信息整合程序，并执行以下操作：

根据所述下单客户对应的线上订单信息中的订单编号检测所述下单客户是否是通过线上点单系统点单的客户；

若是，则获取所述下单客户在所述线上点单系统中的历史订单信息，并将所述下单客户对应的线下实际信息、线上点单信息和所述历史订单信息进行关联存储；

若否，则执行所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤。

进一步地，所述获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤之后，处理器1001还可以用于调用存储器1005中存储的信息整合程序，并执行以下操作：

将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型；

所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤包括：

对于客户类型是新客户的下单客户，将所述下单客户对应的线下实际信息和线上订单信息关联存储至所述预设数据库；

对于客户类型是新客户的非下单客户，将所述非下单客户对应的线下实际信息打上未下单标签后存储至所述预设数据库；

对于客户类型是老客户的下单客户，将所述下单客户对应的线上订单信息与所述预设数据库中所述下单客户的历史信息关联存储；

对于客户类型是老客户的非下单客户，根据所述非下单客户的线下实际信息生成未下单记录，将所述未下单记录与所述预设数据库中所述非下单客户的历史信息关联存储。

进一步地，所述将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型的步骤之后，处理器1001还可以用于调用存储器1005中存储的信息整合程序，并执行以下操作：

对于客户类型是老客户的客户，从所述预设数据库中获取所述老客户的历史订单信息，并根据所述历史订单信息确定针对所述老客户的推荐商品。

基于上述的结构，提出信息整合方法的各个实施例。

参照图2，图2为本发明信息整合方法第一实施例的流程示意图。

本发明实施例提供了信息整合方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明信息整合方法各个实施例的执行主体可以是智能手机、个人计算机和服务器等设备，为便于描述，以下各实施例中省略执行主体进行阐述。在本实施例中，信息整合方法包括：

步骤S10，获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

现有的线下门店只能记录门店的实际销售数据，也即只能记录每个点单(订单)的金额和商品类型等客户无关的信息(以下将其称为线上订单信息)，而无法获取点单客户的线下实际信息，如客户的年龄、性别、外貌等特征信息，这样不利于实现精准营销。因此，本实施例提出一种基于计算机视觉的方法获取客户的线下实际信息，并整合客户的线上订单信息，实现线上线下信息整合，进而为精准营销提供更多、更准备的参考数据。

在本实施例中，可在线下门店内的合适位置安装摄像头，能够拍摄到门店内部范围的图像或视频。可实时地从摄像头获取门店的视频数据，或者在需要对门店内的客户进行线上线下信息整合时，从摄像头获取历史一段时间内拍摄的视频数据，例如，每隔一个小时获取一次视频数据。

视频数据包括连续多帧图像，可对视频数据中的全部帧图像或者等距间隔几帧抽取出的帧图像进行人体跟踪分析。人体跟踪分析可采用现有常用的人体跟踪技术来实现，目的是将出现在视频中的各个客户按照人体特征区分开来，得到各个客户在各帧图像中的位置，根据在图像中的位置即可确定各个客户在门店内的位置，进而可以确定各个客户在店内各个实际地点的停留时间。

通过人体跟踪分析后可得到出现在视频数据中的各个客户对应的线下实际信息；线下实际信息可包括客户特征信息，客户特征信息可以是客户的人脸特征信息，还可以包括客户的性别和年龄等特征信息；线下实际信息还包括客户在门店内的时间属性信息，当仅需要对下单客户进行信息整合时，时间属性信息可以是客户在门店内收银台处的停留时间，停留时间一般是一个时间段。

步骤S20，根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

在视频拍摄期间，门店内收银台处的收银装置记录了客户的订单信息，订单信息可包括基本的商品类型和商品金额信息，还可包括是否开具发票等其他附加信息。此外，订单信息还对应一个订单生成时间。

若线下门店还支持通过线上点单系统点单，例如，通过APP点餐，则当客户通过线上点单系统点单后，线上点单系统会生成一个订单信息，当客户从线下门店取走该订单对应的商品时，门店的收银员可在收银装置中输入该订单的订单编号，收银装置可记录该输入操作完成时的时间戳，作为该订单编号对应的订单的完成时间，并与该订单编号对应关联。

在进行线上线下信息整合时，可从收银装置拉取视频数据的拍摄时间段内所记录的订单信息，以及拉取在该时间段内记录的通过线上点单系统点单的订单编号，并从线上点单系统拉取订单编号对应的订单信息。将拉取到的这些订单信息统称为线上订单信息。

在通过分析视频数据得到各个客户的线下实际信息后，可根据客户的时间属性信息将各个客户分别与线上订单信息进行匹配，以确定各客户是否是线上订单的下单客户。若客户与线上订单信息匹配成功，则说明该客户是该线上订单信息的下单客户，若该客户与每一个线上订单信息都不匹配，则说明该客户不是下单客户，也即是非下单客户。

所述步骤S20包括：

步骤S201，将所述时间属性信息中在门店收银台处的停留时间与各线上订单信息中的订单生成时间进行匹配；

步骤S202，若匹配成功则确定所述时间属性信息对应的客户为下单客户。

具体地，客户的时间属性信息中包括了该客户在门店内收银台处的停留时间，将这个停留时间与线上订单信息对应的订单生成时间进行匹配，若匹配成功，则确定该客户是该线上订单信息的下单客户，若匹配失败，则确定该客户不是该线上订单信息的下单客户。

进一步地，如果线上订单信息是从线上点单系统拉取的，则将时间属性信息中客户在门店内收银台处的停留时间与该线上订单信息对应的完成时间进行匹配，若匹配成功则确定该客户是该线上订单信息的下单客户，若匹配失败，则确定该客户不是该线上订单信息的下单客户。

其中，订单生成时间一般是一个时间点，将若该时间点落入停留时间的时间段内，即可确定该订单生成时间与该停留时间匹配，若未落入，则确定不匹配。将停留时间与订单完成时间进行匹配的方式也同理。

步骤S30，将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

在确定各个客户中的下单客户，以及各个下单客户对应的线上订单信息后，可将下单客户对应的线下实际信息和线上订单信息进行关联存储。

此外，对于各个客户中的非下单客户，也可以将非下单客户的线下实际信息进行存储，以便于营销人员根据存储的信息分析线下门店的下单率，根据下单率调整营销策略。

在本实施例中，通过获取拍摄线下门店所采集的视频数据，并对视频数据中各帧图像进行人体跟踪分析，得到各个客户的线下实际信息，线下实际信息包括了客户的特征信息和在门店内的时间属性信息；根据时间属性信息将各个客户与视频数据拍摄期间记录的线上订单信息进行匹配，得到下单客户，并将下单客户对应的线上订单信息和线下实际信息进行关联存储，以完成线上线下信息的整合。这样原本与客户无关的线上订单信息连接上了客户的线下实际信息，线下实际信息中包括客户的特征信息，从而使得线下门店的营销人员可以根据客户的特征信息对线上订单信息进行分类，以便于从客户的特征维度对订单数据进行分析，从而为线下门店的营销策略提供有力参考，有利于门店实现精准营销。

进一步地，可将线上线下信息关联存储至预设的数据库中，当接收到分析指令时，对数据库中的订单信息进行分析，将分析结果进行可视化输出。具体地，分析指令中可携带有对订单信息进行划分的标准，例如，按性别划分、按年龄划分、按客户划分等；则当接收到分析指令后，根据分析指令中的划分标准对数据库中的订单信息进行划分类别，如，将数据库中的订单划分为男性客户的订单和女性客户的订单。并将划分结果可视化输出，例如按照柱状图、表格、折线图等等方式进行输出显示，以供线下门店的营销人员以输出显示的数据为参考制定营销策略。相比于仅依靠订单信息制定营销策略，本实施例中提供了更加丰富、更加准确的参考数据，从而提高了营销策略的精准度。

进一步地，基于上述第一实施例，提出本发明信息整合方法的第二实施例，在本实施例中，所述步骤S10中对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤包括：

步骤S101，对所述视频数据中的各帧图像分别进行人体区域检测，得到各帧图像中的人体区域；

进一步地，在本实施例中，提供一种对视频数据进行人体跟踪分析的方式。具体地，对视频数据中的各帧图像分别进人体区域检测，得到各帧图像中的人体区域。其中，人体区域可以是指仅包括人脸区域，也可以是包括整个人体的区域。对一帧图像进行人体区域检测的方式可以是将人脸或者人体的整个区域作为目标物，采用现有的目标物检测方法对该帧图像进行检测，得到该帧图像中的人体区域。需要说明的是，一帧图像中可能检测到多个人体区域，也即同时有多个客户出现在一帧图像中。

步骤S102，对所述人体区域进行特征提取，得到各所述人体区域分别对应的特征信息；

在得到各帧图像中的各个人体区域后，对每个人体区域进行特征提取。具体地，当人体区域进包括人脸区域时，可对人脸区域进行人脸属性特征提取，具体可采用现有的图像特征提取模型或算法实现，提取得到人脸特征信息，人脸特征信息可以是特征向量形式，或者还可以包括性别和年龄等特征信息。当人体区域是整个人体区域时，在对该区域内的人脸区域进行人脸属性特征提取得到人脸特征信息外，还可以对该区域内除人脸区域的部分进行外在属性特征提取，如可采用现有常用的语义分割模型或算法实现，也即，将眼镜、帽子和衣着等作为语义分割的类别，识别得到是否佩戴眼镜、是否佩戴帽子和衣着样式等外在属性特征信息。

通过特征提取后，可得到每个人体区域分别对应的特征信息。

步骤S103，根据所述特征信息对各帧图像中的人体区域进行匹配，得到各人体区域组，其中，一个所述人体区域组对应一个客户，一个人体区域组至少包括匹配成功的两个处于不同帧图像的人体区域；

根据特征信息对各帧图像中的人体区域进行匹配，得到各个人体区域组，也即，匹配成功的人体区域被划分为同一个组。需要说明的是，在一帧图像中一个人体区域对应一个客户，不可能一个客户在一帧图像中对应两个人体区域，故是将不同帧图像中的人体区域进行匹配。以两帧图像为例，将其中一帧图像中的一个人体区域分别与另一帧图像中的各个人体区域进行匹配，若与其中一个人体区域匹配成功，则将该人体区域与匹配成功的人体区域划分至同一个人体区域组，也即该两个人体区域对应的是同一客户；对该帧图像中的每个人体区域都做这样的匹配，即完成了两帧图像的匹配过程。多帧图像也以此类推。经过匹配后，得到多个人体区域组，一个人体区域组是对应一个客户的，一个人体区域组中至少包括两个人体区域，也即一个人体区域包括多个人体区域，且多个人体区域所处的帧图像都不同；那么一个人体区域组就对应多帧图像，这多帧图像一般是连续的。

具体地，将两个人体区域进行匹配具体是将两个人体区域的特征信息进行匹配，例如，当特征信息包括人脸属性特征信息，且是特征向量形式时，可计算两个特征向量之间的距离，例如欧式距离，若距离小于一定的距离，则确定两个人体区域匹配，若不小于，则确定不匹配。为提高匹配效率，当人脸属性特征信息还包括与客户的性别和年龄时，可先比对两个人体区域的性别和年龄是否相同，若不相同，则直接确定两个人体区域不匹配，若相同，则再进行特征向量的比对。

步骤S104，将所述人体区域组对应的特征信息作为对应客户的客户特征信息，根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息。

对于每个人体区域组，将该人体区域组对应的特征信息作为该人体区域组对应的客户的客户特征信息。具体地，每个人体区域都对应一个特征信息，则可以选取其中一个人体区域对应的特征信息欧威对应客户的客户特征信息。对每个人体区域组，可根据该人体区域组中各人体区域所处的帧图像来统计得到该人体区域组对应的客户在门店内的时间属性信息。也即，一个人体区域组是对应多帧图像的，每帧图像都对应一个时间戳，从而可以根据图像的时间戳统计得到该人体区域组对应的客户在门店内停留的时间，具体根据人体区域在图像中的位置，可以统计得到客户在收银台处的停留时间，将该停留时间作为该客户的时间属性信息。

进一步地，所述步骤S101包括：

步骤S1011，根据所述人体区域组中各人体区域在所处帧图像中的位置，确定所述人体区域组中各人体区域在门店内所处的实际地点；

具体地，在一实施方式中，对于每个人体区域组，根据该人体区域组中的各个人体区域在其所处帧图像中的位置，可以确定各个人体区域在门店内所处的实际地点。具体地，预先可以将门店内的区域进行划分，如将收银台周围一定范围划分为收银台区域，将商品架周围一定范围划分为商品架区域，那么实际地点就是这些区域。预先标定了帧图像中的各个像素点所对应的实际地点，那么，根据人体区域在图像中的像素点坐标即可确定该人体区域所在的实际地点，例如，可确定该人体区域是在收银台区域，还是在商品架区域，还是在餐桌区域等等。

步骤S1012，将所述人体区域组中处于相同实际地点的人体区域划分至相同小组，得到各人体区域小组；

在得到人体区域组中各人体区域对应的实际地点后，可按照实际地点将各个人体区域进行划分，也即，将处于相同实际地点的人体区域划分至同一个人体区域小组，划分之后即可得到各个实际地点对应的人体区域小组。

例如，将处于收银台区域的人体区域都划分至一个小组，那么这个小组内的人体区域所对应的帧图像就是人体区域组对应的客户在收银台区域时被拍摄的帧图像。将处于商品架区域的人体区域都划分至一个小组，那么这个小组内的人体区域所对应的帧图像就是人体区域组对应的客户在商品架区域时被拍摄的帧图像。

步骤S1013，将所述人体区域小组中各人体区域所处帧图像的时间戳和所述人体区域小组对应的实际地点进行关联，得到所述人体区域组对应的客户在门店内不同实际地点处的时间属性信息。

将人体区域小组中各人体区域所处帧图像的时间戳与该人体区域小组对应的实际地点进行关联，即可得到该人体区域组对应的客户在实际地点处的时间属性信息，也即，时间属性信息包括了客户所在的实际地点，以及客户在该实际地点的时间，这里可以将各帧图像的时间戳的跨度作为停留时间，那么时间属性信息就可客户在该实际地点处的停留时间。例如，该人体区域小组对应的实际地点是收银台区域，则该客户的时间属性信息包括该客户在收银台区域的停留时间。

每个人体区域小组对应的实际地点都不同，故可得到该人体区域组对应的客户在不同实际地点的时间属性信息。

在本实施例中，通过对视频数据中的各帧图像进行人体跟踪分析，得到各个客户对应的线下实际信息，线下实际信息中包括各个客户门店内不同实际地点的时间属性信息，通过将客户的线下实际信息与线上订单信息进行整合，可以为门店的营销人员提供更丰富的参考信息，例如，可通过分析各个客户在门店内各个实际地点的停留时间，确定客户对门店内各个区域布局的喜爱度，进而根据分析结果作出更加准确的门店内布局调整策略，以提高门店的客户好感度。

进一步地，基于上述第一和/或第二实施例，提出本发明信息整合方法的第三实施例，在本实施例中，所述步骤S30之前，还包括：

步骤S40，根据所述下单客户对应的线上订单信息中的订单编号检测所述下单客户是否是通过线上点单系统点单的客户；

进一步地，在本实施例中，若线下门店支持客户在线上点单系统中进行点单，则对于视频数据中出现的客户，若其通过线上点单系统进行点单，则可以将该客户的线上线下信息与其在线上点单系统的历史订单信息一并关联存储。

具体地，在确定下单客户后，可根据该下单客户对应的线上订单信息中的订单编号检测该下单客户是否是通过线上点单系统点单的客户，也即确定该下单客户是否是通过线上点单系统下的该订单。其中，对于客户通过线上点单系统下单的订单，可采用与通过收银装置下的订单不同的订单编号规则，故可以通过线上订单信息的订单编号区分该线上订单信息是否是在线上点单系统中生成的。

步骤S50，若是，则获取所述下单客户在所述线上点单系统中的历史订单信息，并将所述下单客户对应的线下实际信息、线上点单信息和所述历史订单信息进行关联存储；

若确定下单客户是通过线上点单系统点单的客户，则可以从线上点单系统中获取该下单客户在线上点单系统中的历史订单信息，具体可以根据该下单客户对应的该线上订单信息的订单编号，去线上点单系统中拉取历史记录的订单信息中与该点单编号为同一点单客户的订单信息。需要说明的是，线上点单系统中会每个订单信息都有对应的客户信息，如客户在线上点单系统中的账号信息、电话号码等等。

将获取到的该下单客户的历史订单信息与该下单客户的线下实际信息和线上点单信息进行关联存储。

若否，则执行所述步骤S30。

若确定下单客户不是通过线上点单系统点单的客户，则将该下单客户的线下实际信息和线上点单信息关联存储即可。

在本实施例中，通过对下单客户的点单方式进行识别，当下单客户是通过线上点单系统进行点单时，将下单客户的线下实际信息与本次的线上订单信息进行关联存储的基础上，还将线上点单系统中该下单客户的历史订单信息也一并关联存储，实现了更加精准的线上线下信息整合，从而为精准营销提供了更加丰富和准确的参考信息。

进一步地，基于上述第一、第二和/或第三实施例，提出本发明信息整合方法的第四实施例，在本实施例中，所述步骤S10之后，还包括：

步骤S60，将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型；

进一步地，在本实施例中，可将线上线下信息关联存储至预设的数据库中，那么该数据库中存储有门店历史客户的线上订单信息和线下实际信息。

在通过对视频数据进行人体跟踪分析，得到各个客户的线下实际信息后，可将客户的线下实际信息中的客户特征信息与该数据库中历史客户的客户特征信息进行匹配，来确定该客户的客户类型，其中，客户类型有新客户和老客户两种。对客户特征信息进行匹配的方式可按照上述实施例中对客户的特征信息进行匹配的方式，在此不进行详细赘述。

若匹配成功，则确定该客户是老客户，若与数据库中任何一个历史客户都不匹配，则确定该客户是新客户。也即，若视频中出现的客户是以前记录过的客户，那么该客户是老客户，若视频中出现的客户是以前未记录过的客户，那么该客户是新客户。

所述步骤S30包括：

步骤S301，对于客户类型是新客户的下单客户，将所述下单客户对应的线下实际信息和线上订单信息关联存储至所述预设数据库；

那么，在确定各个客户中的下单客户后，出现在视频数据中的各个客户可被分为四类：客户类型是新客户的下单客户、客户类型是新客户的非下单客户、客户类型老客户的下单客户和客户类型是老客户的非下单客户。

对于客户类型是新客户的下单客户，可将该下单客户对应的线下实际信息和线上订单信息关联存储至该数据库中。因为是新客户，所以在数据库中没有该客户的历史信息，故在数据库中为该客户建档，并存入第一条记录。

步骤S302，对于客户类型是新客户的非下单客户，将所述非下单客户对应的线下实际信息打上未下单标签后存储至所述预设数据库；

对于客户类型是新客户的非下单客户，由于该客户是新客户且并没有下单，则可以在数据库中为该客户建档，并将该客户的线下实际信息作为一条记录存入，且对该线下实际信息打上未下单的标签，以区分于下单客户。

步骤S303，对于客户类型是老客户的下单客户，将所述下单客户对应的线上订单信息与所述预设数据库中所述下单客户的历史信息关联存储；

对于客户类型是老客户的下单客户，数据库中记录有该客户历史信息，历史信息包括了该客户的线下实际信息和历史的订单信息，故将该客户的线上订单信息与历史信息关联存储即可，线下实际信息则可不存储，以避免重复。

步骤S304，对于客户类型是老客户的非下单客户，根据所述非下单客户的线下实际信息生成未下单记录，将所述未下单记录与所述预设数据库中所述非下单客户的历史信息关联存储。

对于客户类型是老客户的非下单客户，数据库中记录有该客户的历史信息，历史信息包括了该客户的线下实际信息和历史的订单信息，而该客户本次虽进入了门店，但并未下单，故可以生成一个未下单记录，将该未下单记录与该客户的历史信息关联存储，线下实际信息则可不存储，以避免重复。

在本实施例中，通过将客户的特征信息与数据库中历史客户的特征信息进行匹配，可确定客户的客户类型，从而利于对客户进行精准分类。并且，对于非下单客户的线下实际信息也进行记录，使得营销人员能够根据更多的客户线下实际信息进行营销策略的制定，例如可通过分析非下单客户与下单客户的比例来调整门店的营销策略等。

进一步地，所述步骤S60之后，还包括：

步骤S70，对于客户类型是老客户的客户，从所述预设数据库中获取所述老客户的历史订单信息，并根据所述历史订单信息确定针对所述老客户的推荐商品。

进一步地，当分析得出各个客户的客户类型后，对于客户类型是老客户的客户，可从预设数据库中获取该老客户的历史订单信息，并根据历史订单信息确定针对该老客户的推荐商品。例如，从历史订单信息中统计出该客户点单次数最多的商品，将该商品作为推荐商品。

进一步地，当通过对视频数据进行分析，确定该老客户在收银台区域时，可向收银台处的显示屏输出该推荐商品的图片，使得该客户可以参考显示屏中的推荐商品进行点单，提高客户对门店的好感度，也提高点单效率。

此外，此外本发明实施例还提出一种信息整合装置，参照图3，所述装置包括：

分析模块10，用于获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

匹配模块20，用于根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

关联模块30，用于将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

进一步地，所述分析模块10包括：

检测单元，用于对所述视频数据中的各帧图像分别进行人体区域检测，得到各帧图像中的人体区域；

提取单元，用于对所述人体区域进行特征提取，得到各所述人体区域分别对应的特征信息；

第一匹配单元，用于根据所述特征信息对各帧图像中的人体区域进行匹配，得到各人体区域组，其中，一个所述人体区域组对应一个客户，一个人体区域组至少包括匹配成功的两个处于不同帧图像的人体区域；

第一确定单元，用于将所述人体区域组对应的特征信息作为对应客户的客户特征信息，根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息。

进一步地，所述第一确定单元包括：

确定子单元，用于根据所述人体区域组中各人体区域在所处帧图像中的位置，确定所述人体区域组中各人体区域在门店内所处的实际地点；

划分子单元，用于将所述人体区域组中处于相同实际地点的人体区域划分至相同小组，得到各人体区域小组；

关联子单元，用于将所述人体区域小组中各人体区域所处帧图像的时间戳和所述人体区域小组对应的实际地点进行关联，得到所述人体区域组对应的客户在门店内不同实际地点处的时间属性信息。

进一步地，根据匹配模块20包括：

第二匹配单元，用于将所述时间属性信息中在门店收银台处的停留时间与各线上订单信息中的订单生成时间进行匹配；

第二确定单元，用于若匹配成功则确定所述时间属性信息对应的客户为下单客户。

进一步地，所述装置还包括：

检测模块，用于根据所述下单客户对应的线上订单信息中的订单编号检测所述下单客户是否是通过线上点单系统点单的客户；

所述关联模块30还用于：若是，则获取所述下单客户在所述线上点单系统中的历史订单信息，并将所述下单客户对应的线下实际信息、线上点单信息和所述历史订单信息进行关联存储；

若否，则将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

进一步地，所述匹配模块20，用于将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型；

所述关联模块还用于：

对于客户类型是新客户的下单客户，将所述下单客户对应的线下实际信息和线上订单信息关联存储至所述预设数据库；

对于客户类型是新客户的非下单客户，将所述非下单客户对应的线下实际信息打上未下单标签后存储至所述预设数据库；

对于客户类型是老客户的下单客户，将所述下单客户对应的线上订单信息与所述预设数据库中所述下单客户的历史信息关联存储；

对于客户类型是老客户的非下单客户，根据所述非下单客户的线下实际信息生成未下单记录，将所述未下单记录与所述预设数据库中所述非下单客户的历史信息关联存储。

进一步地，所述装置还包括：

推荐模块，用于对于客户类型是老客户的客户，从所述预设数据库中获取所述老客户的历史订单信息，并根据所述历史订单信息确定针对所述老客户的推荐商品。

本发明信息整合装置的具体实施方式的拓展内容与上述信息整合方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有信息整合程序，所述信息整合程序被处理器执行时实现如下所述的信息整合方法的步骤。

此外，本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的信息整合方法的步骤。

本发明信息整合设备、计算机可读存储介质和计算机程序产品的各实施例，均可参照本发明信息整合方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种信息整合方法，其特征在于，所述方法包括以下步骤：

获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

2.如权利要求1所述的信息整合方法，其特征在于，所述对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤包括：

对所述视频数据中的各帧图像分别进行人体区域检测，得到各帧图像中的人体区域；

对所述人体区域进行特征提取，得到各所述人体区域分别对应的特征信息；

根据所述特征信息对各帧图像中的人体区域进行匹配，得到各人体区域组，其中，一个所述人体区域组对应一个客户，一个人体区域组至少包括匹配成功的两个处于不同帧图像的人体区域；

将所述人体区域组对应的特征信息作为对应客户的客户特征信息，根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息。

3.如权利要求2所述的信息整合方法，其特征在于，所述根据所述人体区域组中各人体区域所处的帧图像统计得到对应客户在门店内的时间属性信息的步骤包括：

根据所述人体区域组中各人体区域在所处帧图像中的位置，确定所述人体区域组中各人体区域在门店内所处的实际地点；

将所述人体区域组中处于相同实际地点的人体区域划分至相同小组，得到各人体区域小组；

将所述人体区域小组中各人体区域所处帧图像的时间戳和所述人体区域小组对应的实际地点进行关联，得到所述人体区域组对应的客户在门店内不同实际地点处的时间属性信息。

4.如权利要求1所述的信息整合方法，其特征在于，根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户的步骤包括：

将所述时间属性信息中在门店收银台处的停留时间与各线上订单信息中的订单生成时间进行匹配；

若匹配成功则确定所述时间属性信息对应的客户为下单客户。

5.如权利要求1所述的信息整合方法，其特征在于，所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤之前，还包括：

根据所述下单客户对应的线上订单信息中的订单编号检测所述下单客户是否是通过线上点单系统点单的客户；

若是，则获取所述下单客户在所述线上点单系统中的历史订单信息，并将所述下单客户对应的线下实际信息、线上点单信息和所述历史订单信息进行关联存储；

若否，则执行所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤。

6.如权利要求1至4任一项所述的信息整合方法，其特征在于，所述获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息的步骤之后，还包括：

将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型；

所述将所述下单客户对应的线下实际信息和线上订单信息进行关联存储的步骤包括：

对于客户类型是新客户的下单客户，将所述下单客户对应的线下实际信息和线上订单信息关联存储至所述预设数据库；

对于客户类型是新客户的非下单客户，将所述非下单客户对应的线下实际信息打上未下单标签后存储至所述预设数据库；

对于客户类型是老客户的下单客户，将所述下单客户对应的线上订单信息与所述预设数据库中所述下单客户的历史信息关联存储；

对于客户类型是老客户的非下单客户，根据所述非下单客户的线下实际信息生成未下单记录，将所述未下单记录与所述预设数据库中所述非下单客户的历史信息关联存储。

7.如权利要求6所述的信息整合方法，其特征在于，所述将各客户的客户特征信息与预设数据库中历史客户的客户特征信息进行匹配，确定各客户的客户类型的步骤之后，还包括：

对于客户类型是老客户的客户，从所述预设数据库中获取所述老客户的历史订单信息，并根据所述历史订单信息确定针对所述老客户的推荐商品。

8.一种信息整合装置，其特征在于，所述装置包括：

分析模块，用于获取拍摄线下门店所采集的视频数据，对所述视频数据中的各帧图像进行人体跟踪分析，得到各客户对应的线下实际信息，其中，所述线下实际信息包括客户特征信息和客户在门店内的时间属性信息；

匹配模块，用于根据所述时间属性信息将各客户与线上订单信息进行匹配，得到下单客户，其中，所述线上订单信息是在所述视频数据的拍摄期间记录的；

关联模块，用于将所述下单客户对应的线下实际信息和线上订单信息进行关联存储。

9.一种信息整合设备，其特征在于，所述信息整合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的信息整合程序，所述信息整合程序被所述处理器执行时实现如权利要求1至7中任一项所述的信息整合方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息整合程序，所述信息整合程序被处理器执行时实现如权利要求1至7中任一项所述的信息整合方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的信息整合方法的步骤。

Images