CN111078804A

CN111078804A - 一种信息关联方法、系统及计算机终端

Info

Publication number: CN111078804A
Application number: CN201911248389.0A
Authority: CN
Inventors: 李晓雷; 王有振; 刘守军
Original assignee: Wuhan Shuwen Technology Co ltd
Current assignee: Wuhan Shuwen Technology Co ltd
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2020-04-28
Anticipated expiration: 2039-12-09
Also published as: CN111078804B

Abstract

本发明实施例涉及多维感知数据关联技术领域，公开了一种信息关联方法、系统及计算机终端，该方法包括：获取第一采集设备采集的观众线上数据和第二采集设备采集的观众线下图片数据；收集线上数据包括的ID号码、ID号码产生的读取请求、读取请求对应的第一位置信息、第一时间信息；提取图片数据中的人脸信息、第二位置信息、第二时间信息；根据第一位置信息和第二位置信息进行位置匹配，并且根据第一时间信息和第二时间信息进行时间匹配；若确定两个位置信息一致并且两个时间信息一致时，将ID号码和人脸信息进行关联；该方法能将观众的线下行为信息和线上信息进行准确的关联匹配，实现观众全面行为轨迹的提取，进一步便于后续对观众进行画像。

Description

一种信息关联方法、系统及计算机终端

技术领域

本发明涉及多维感知数据关联技术领域，尤其涉及一种信息关联方法、系统及计算机终端。

背景技术

在博物馆、美术馆、科技馆等面向公众服务的场馆在管理和服务过程中，迫切需要从多个维度感知观众的信息，用于分析观众的特征和行为，为智慧服务和智慧管理提供基础。目前大多数观众因个人隐私方面的考虑，在预约等线上操作中不会上传自己的人脸照片，导致观众的线上活动信息和观众参观馆内活动时抓拍的线下活动信息出现割裂，但这两种信息本是一个整体，关联在一起才能更好用于观众画像分析、行为分析等工作，因此，关联观众的线上身份信息和人脸信息能打通线上线下观众活动信息，实现提取观众全面的行为轨迹，进而支撑面向公众服务的场馆的智慧服务和智慧管理。

当前市面上解决观众线上活动信息和线下活动信息割裂的问题主要是利用实名认证的技术，但实名认证技术需要观众提供线上账号、对应的实名、人脸照片等，为观众带来极大的不变甚至引起观众的反感，且该实名认证的技术在使用中存在较大局限。

发明内容

本发明的目的在于针对现有技术的上述问题，提供一种信息关联方法，其包括：

获取第一采集设备采集的观众线上数据和第二采集设备采集的观众线下图片数据；

收集所述线上数据包括的ID号码、所述ID号码产生的读取请求、所述读取请求对应的第一位置信息、第一时间信息；

提取所述图片数据中的人脸信息、第二位置信息、第二时间信息；

根据所述第一位置信息和所述第二位置信息进行位置匹配，并且根据所述第一时间信息和所述第二时间信息进行时间匹配；

若确定两个位置信息一致并且两个时间信息一致时，将所述ID号码和所述人脸信息进行关联。

作为上述技术方案的进一步改进，在所述提取所述图片数据中的人脸信息、第二位置信息、第二时间信息步骤之前，还包括：

对所述图片数据进行预处理得到符合时间要求的图片数据。

作为上述技术方案的进一步改进，所述对所述图片数据进行预处理包括：

根据所述ID号码产生的读取请求的时间筛选出在预定时间范围的多个图片数据；

计算所述多个图片数据的清晰度，删除清晰度低于清晰度阈值的图片数据。

作为上述技术方案的进一步改进，当所述图片数据中包括至少两个人脸信息时，所述将所述ID号码和所述人脸信息进行关联包括第一关联规则和第二关联规则；

所述第一关联规则包括：获取所述ID号码在其他位置是否有匹配到唯一对应的人脸信息，若有，则将多个人脸信息与其他位置匹配到的唯一人脸信息进行比对以获得当前位置的正确人脸；

所述第二关联规则包括：调取所述ID号码产生的另一读取请求、所述另一读取请求对应的另一第一位置信息和第一时间信息；

调取与各所述人脸信息对应的其余第二位置信息和第二时间信息；

将各所述人脸信息相关的其余第二位置信息和第二时间信息与所述ID号码对应的其余第一位置信息和第一时间信息分别进行匹配，以得到同一个人脸信息和与之对应的ID信息实现关联。

作为上述技术方案的进一步改进，所述第一位置信息根据所述第一采集设备在预构建的活动区域的地图中的位置确定，所述第二位置信息根据所述第二采集设备在预构建的活动区域的地图中的位置确定。

作为上述技术方案的进一步改进，以第二采集设备的安装位置为基准确定用于解算所述第二采集设备采集的图片数据的方法，包括：

当所述第二采集设备的安装位置与待测观众的距离超过设定阈值时，采用单影像的摄影测量方法和/或基于双影像交汇的摄影测量方法解算所述图片数据以得到所述第二位置信息；

当所述第二采集设备的安装位置与待测观众距离不超过设定阈值时，采用计算监测范围和人脸信息的像素宽比解算所述图片数据以得到所述第二位置信息。

作为上述技术方案的进一步改进，所述第一采集设备通过识别观众线上预约的凭证码来获取所述凭证码对应的观众线上数据。

作为上述技术方案的进一步改进，所述第一采集设备响应观众线上预约的凭证码绑定的账号在扫码时产生的读取请求来获取所述读取请求对应的观众线上数据以实现后续步骤。

作为一个总的技术构思，本发明还提供一种信息关联系统，包括：

获取单元，用于获取第一采集设备采集的观众线上数据和第二采集设备采集的观众线下图片数据；

收集单元，用于收集所述线上数据包括的ID号码、所述ID号码产生的读取请求、所述读取请求对应的第一位置信息、第一时间信息；

提取单元，用于提取所述图片数据中的人脸信息、第二位置信息、第二时间信息；

匹配单元，用于匹配位置重合度一致的所述第一位置信息和所述第二位置信息，同时匹配时间重合度一致的所述第一时间信息和所述第二时间信息；

关联单元，用于将所述位置重合度和所述时间重合度都一致的所述ID号码和所述人脸信息进行关联。

作为一个总的技术构思，本发明还提供一种计算机终端，包括：

处理器和存储器；

所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行根据上述的信息关联方法。

作为一个总的技术构思，本发明还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被执行时实施所述资讯重要性判断方法。

与现有技术相比，本发明实施例提出了一种信息关联方法，首先获取第一采集设备采集的观众线上数据和第二采集设备采集的观众线下图片数据，若确定两个位置信息一致并且两个时间信息一致时，将相应的ID号码和人脸信息进行关联；能将观众的线下行为信息和线上信息进行准确的关联匹配，实现观众全面行为轨迹的提取，进一步便于后续对观众进行画像。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明中一种信息关联方法流程图；

图2示出了本发明中一种信息关联方法系统结构示意图；

图3示出了本发明中的采集器安装位置要求示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

目前面向公众的场馆内已经布设或可以布设多种数据采集设备，这些数据采集设备会从多个维度采集观众的信息，本发明利用场馆内的视频传感器和二维码扫码器、身份证阅读器等设备，收集和分析这些设备采集的数据及其对应的时间和空间位置，利用时间和空间位置的重合程度来分析不同设备采集的数据的相关性，然后建立这些数据的关联，能关联观众线上身份信息的数据和观众人脸信息。

在实际情况中，在开展相关工作前，需要统一活动区域内的数据采集设备的时间基准和位置基准。本发明中所指的活动区域包括博物馆、美术馆、科技馆等面向公众服务的场馆区域。本发明中以博物馆为例进行说明，首先需要统一博物馆内安装的所有二维码识别装置和所有摄像装置的时间基准。例如，可以通过NTP(网络时间协议)对各设备进行精确的时间同步。此外，还需统一所有设备的位置基准，在统一位置基准时，首先构建该博物馆的室内地图，然后在该地图上标记各设备的精确位置。

实施例1

如图1所示，本实施例提供一种信息关联方法，包括：

S101：获取第一采集设备采集的观众线上数据和第二采集设备采集的观众线下图片数据；

本实施例中，第一采集设备包括各类型的阅读器和识别器，例如护照阅读器、身份证阅读器、或者二维码识别器等。第二采集设备包括摄像机或者摄像头等。通过安装在馆内的各摄像机或者摄像头采集观众线下图片数据，该图片数据包括人脸信息、该人脸被拍摄时所处的位置信息、和拍摄该人脸时的时间信息。

此外，观众线上数据是指观众通过微信或者其他类型的网站预约入馆信息时在线上操作产生的相关线上身份信息的数据，该线上身份信息包括表示观众线上身份标识的ID信息。本发明中，收集观众线上数据的方式包括在观众入馆时使用预先在线上预约得到的包括ID信息的凭证码，设于入馆处的第一采集设备识别该凭证码时获取的线上数据。另一方面，还可以在观众在馆内时产生读取请求时获取与读取请求对应的线上数据，在实际中，读取请求由包括ID信息的微信号或者网页账户产生。

S102：收集线上数据包括的ID号码、所述ID号码产生的读取请求、所述读取请求对应的第一位置信息、第一时间信息。

此外，在不同的实施例中，线上数据还包括观众在线上操作时的其他类型的数据，例如账户信息、与账户绑定的身份证信息等其他能对用户进行画像的信息，此处仅举例说明，并不对线上信息的类型做穷举。

S103：提取图片数据中的人脸信息、第二位置信息、第二时间信息。

作为优选的实施方式，在提取图片数据中的人脸信息、第二位置信息、第二时间信息之前先对图片数据进行预处理，包括首先筛选与ID号码产生的读取请求的时间一致的图片数据；需要说明的是，在不同的实施例中，可以调整筛选的图片数据的时间的范围，只需满足保持与产生读取请求的时间的时间差在设定阈值范围内即可。

然后计算图片数据的清晰度，删除清晰度低于清晰度阈值的图片数据。在另一个实施例中，还可以计算图片数据的正脸度，删除正脸度低于阈值的图片数据；在其他的实施例中，还可以计算图片数据的人脸像素，删除人脸像素低于阈值的图片数据；在可选的实施例中，还可以同时计算图片数据的清晰度、正脸度、人脸像素，并对上述三者的计算结果进行数据融合，删除融合后的值小于阈值的图片数据以完成对图片数据的预处理。经过该预处理，可以得到更准确的图片数据，更快速的提取到图片数据中的相关信息。

筛选出符合要求的图片数据后，提取图片数据中的人脸信息，解算该人脸信息对应的第二时间信息和第二位置信息。

S104：根据第一位置信息和第二位置信息进行位置匹配，并且根据第一时间信息和第二时间信息进行时间匹配。

S105：若确定两个位置信息一致并且两个时间信息一致时，将ID号码和人脸信息进行关联。

作为可变换的实施方式，若两个位置信息之间的差值在预定范围内，或者两个时间信息之间的差值在预定范围内，也可以将相应的ID号码和人脸信息进行关联。

例如，某个图片数据包括：时间A出现在B位置的人脸信息H；某个读取请求包括在时间A出现在B位置的IDF，由于该图片数据包括的时间A与读取请求包括的时间A重合，该图片数据包括的位置B和读取请求包括的位置B重合，因此将人脸信息H对应的观众与F对应的ID进行关联。

需要说明的是，由于摄像装置在摄像时，其图片数据中很大可能出现了多张人脸，当图片数据包括至少两个人脸信息时，上述将人脸信息与ID号码进行匹配关联的步骤包括第一关联规则和第二关联规则。

第一关联规则包括：获取ID号码在其他位置是否有匹配到唯一对应的人脸信息，若有，则将多个人脸信息与其他位置匹配到的唯一人脸信息进行比对以获得当前位置的正确人脸；

第二关联规则包括：调取ID号码产生的另一读取请求、另一读取请求对应的另一第一位置信息和第一时间信息；

调取与各人脸信息对应的其余第二位置信息和第二时间信息；

将各人脸信息相关的其余第二位置信息和第二时间信息与ID号码对应的其余第一位置信息和第一时间信息分别进行匹配，以得到同一个人脸信息和与之对应的ID信息实现关联。

通过这种逐步匹配的方法，不会漏选某个人脸信息，能使最后得到的匹配结果更加准确。

例如，以某图像信息中有三个人脸为例对该情况进行举例说明。当提取到有人脸信息a、人脸信息b、和人脸信息c。同时解算到该图片数据对应的时间信息为C，位置信息为D，而通过二维码识别装置获取到的信息为：在时间信息为C，位置信息为D时，ID-1产生了读取请求，此时，通过时间和位置重合匹配，不能确定ID-1对应哪一个人脸信息。此时，获取其余的多条数据进行关联。例如，从其他某个图像信息中获取到人脸信息a、时间信息为C1，位置信息为D1；ID-1在时间信息为C1，位置信息为D1也产生了读取请求，则可以判定，ID-1与人脸信息a为同一个观众身份。

需要说明的是，在实际情况中，往往存在观众有时离摄像头距离很远，有时候离摄像头距离很近的情况，若采用同一种方法对摄像头获取的图片数据进行解算，则不能更好地贴近实际情况，解算结果不准确。因此，本实施例中，根据第二采集设备的安装位置确定用于解算第二采集设备采集的图片数据的方法，包括：

当第二采集设备的安装位置与待测观众的距离超过设定阈值时，采用单影像的摄影测量方法和/或基于双影像交汇的摄影测量方法解算图片数据以得到第二位置信息；

当第二采集设备的安装位置与待测观众距离不超过设定阈值时，采用计算监测范围和人脸信息的像素宽比解算图片数据以得到第二位置信息。

此外，采用标定技术获取需要拍摄较远距离观众的第二采集设备的空间位置、姿态和传感器的内部光学几何参数，用于解算拍摄的影像中观众当时所在的真实位置。例如，当拍摄某个较远距离的观众时，添加用于标定该观众的方位、站姿、朝向等的词语限定该观众，能提升拍摄距离较远的观众信息的准确性。

实施例2

本实施例以观众入场为例进行说明。目前面向公众的场馆常需要观众预约，在入馆时进行验证预约的凭证码方可入馆，该凭证码可以为二维码。在配置好各设备参数后，可以按照如下方案实施：

首先标记二维码扫码器在室内地图上位置，根据该位置可以获取观众入场时的位置信息。预先在二维码扫码器附近安装视频传感器，使其面向观众扫码位置，并使其能采集到观众正脸图像，观众入馆过程中，在出示预约二维码进行验证时，二维码扫码器识别二维码，获取其附带的观众线上身份数据(例如官网上账号、微信OpenID等)附带上设备ID、时间戳等信息；并将该信息发送至后系统，后台系统解算收到的观众入馆时刷二维码数据的空间位置，并记录对应观众线上身份数据和出现的空间位置和时间；视频传感器抓拍观众人脸图像，并将符合清晰度、正脸度和人脸像素数的人脸图像发送到本发明的后台系统。

后台系统解算人脸图像对应的观众位置，提取观众人脸信息并记录对应出现的时间和空间位置；后台系统对根据观众人脸信息和刷二维码数据的空间位置和时间进行分析匹配，判断是否是同一观众；后台服务对匹配上的观众人脸信息和观众身份信息进行关联并入库。

实施例3

实施例以观众在场馆内的活动行为为例进行说明。

在场馆内，对应于每个物品都设有用于获取解说信息的二维码，标记每个二维码在室内地图上的位置，并在各二维码附近安装视频传感器，使其面向观众扫码位置，并使其能采集到观众正脸图像。当观众走入某个陈设的需要了解物品前时，观众使用线上预约的通行信息(微信ID等)扫描该物品附近的二维码产生解说请求。此时，后台系统响应观众产生的读取请求，解算收到的观众请求数据的空间位置，并记录对应观众的ID号码和出现的空间位置和时间；视频传感器抓拍观众人脸图像，并将符合清晰度、正脸度和人脸像素数的人脸图像发送到本发明的后台系统。

后台系统解算人脸图像对应的观众位置，提取观众人脸信息并记录对应出现的时间和空间位置；后台系统对根据观众人脸信息和讲解请求数据的空间位置和时间进行分析匹配，判断是否是同一观众，对于人脸拍摄有多个观众被同时抓拍的情况，建立备选关联，其备选关联方法在上述实施例中已详细描述，在此，不多做赘述。经过多次匹配缩小对应范围直到能精确一一匹配；后台系统对匹配上的观众人脸信息和观众身份信息进行关联并入库。

实施例4

如图2所示，与上述实施例1相对应地，本实施例提供一种信息关联系统，包括：

本实施例的信息关联系统，还包括：

预处理单元，用于对所述图片数据进行预处理得到符合时间要求的图片数据。

本实施例中的上述各器件在安装时，需要调整摄像装置的安装位置和方向，尽量让其监测的范围和其他数据采集设备获取观众数据对应的空间位置重叠，如图3所示；且在安装视频传感器时注意规避逆光环境，在低照度环境下进行补光，确保拍摄人脸图像的效果。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims

1.一种信息关联方法，其特征在于，包括：

2.根据权利要求1所述的信息关联方法，其特征在于，在所述提取所述图片数据中的人脸信息、第二位置信息、第二时间信息步骤之前，还包括：

对所述图片数据进行预处理得到符合时间要求的图片数据。

3.根据权利要求2所述的信息关联方法，其特征在于，所述对所述图片数据进行预处理包括：

4.根据权利要求1或3所述的信息关联方法，其特征在于，当所述图片数据中包括至少两个人脸信息时，所述将所述ID号码和所述人脸信息进行关联包括第一关联规则和第二关联规则；

5.根据权利要求1所述的信息关联方法，其特征在于，所述第一位置信息根据所述第一采集设备在预构建的活动区域的地图中的位置确定，所述第二位置信息根据所述第二采集设备在预构建的活动区域的地图中的位置确定。

6.根据权利要求5所述的信息关联方法，其特征在于，以第二采集设备的安装位置为基准确定用于解算所述第二采集设备采集的图片数据的方法，包括：

7.根据权利要求1所述的信息关联方法，其特征在于，所述第一采集设备通过识别观众线上预约的凭证码来获取所述凭证码对应的观众线上数据。

8.根据权利要求1所述的信息关联方法，其特征在于，所述第一采集设备响应观众线上预约的凭证码绑定的账号在扫码时产生的读取请求来获取所述读取请求对应的观众线上数据以实现后续步骤。

9.一种信息关联系统，其特征在于，包括：

10.一种计算机终端，其特征在于，包括：

处理器和存储器；

所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机终端执行根据权利要求1至8中任一项所述的信息关联方法。