CN111367897A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111367897A
CN111367897A CN201911191759.1A CN201911191759A CN111367897A CN 111367897 A CN111367897 A CN 111367897A CN 201911191759 A CN201911191759 A CN 201911191759A CN 111367897 A CN111367897 A CN 111367897A
Authority
CN
China
Prior art keywords
data
real
target
name
name data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911191759.1A
Other languages
English (en)
Other versions
CN111367897B (zh
Inventor
曹中胜
项恒光
王怀远
魏忱
孟凡旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Publication of CN111367897A publication Critical patent/CN111367897A/zh
Application granted granted Critical
Publication of CN111367897B publication Critical patent/CN111367897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、设备及存储介质，方法包括：获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签；获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签；对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签；将每一个合并处理后的实名数据、每一未合并处理的静态实名数和动态实名数据，分别确定为一个实名类数据。应用本申请实施例提供的技术方案，提高了数据质量。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据处理方法、装置、设备及存储介质。
背景技术
目前，大数据成为一种重要的信息资产，大数据具有如下特点：海量的数据规模、快速的数据流转、多样的数据类型和价值密度低。很多用户都需要获取大数据，并对大数据进行分析处理。
相关方案中，大数据的来源较复杂，导致获取的大数据质量较差，比如重复数据、无效数据较多。目前亟需一种数据处理方案，以提高数据质量。
发明内容
本申请实施例的目的在于提供一种数据处理方法、装置、设备及存储介质，以提高数据质量。
为达到上述目的，本申请实施例提供了一种数据处理方法，包括：
获取静态实名数据包括的目标物的身份信息，以及所述静态实名数据中不同属性的数据分别对应的第一属性标签；
获取动态实名数据包括的目标物的身份信息，以及所述动态实名数据中不同属性的数据分别对应的第二属性标签；
对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据；
将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
可选的，所述方法还包括：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据，所述实名数据为静态实名数据或动态实名数据，所述最新身份信息为该实名数据中时间最近的身份信息，所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。
可选的，每一目标物的身份信息包括该目标物的特征信息；所述方法还包括：
获取实时抓拍数据以及获取所述实时抓拍数据的关联信息；
提取所述实时抓拍数据中包括的抓拍物的目标特征信息；
检测所述实名类数据中是否存在目标实名类数据，所述目标实名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述目标实名类数据，则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息；
若不存在所述目标实名类数据，则将所述目标特征信息和所述关联信息对应的添加至匿名类库中，所述匿名类库用于存储匿名类数据，所述匿名类数据包括身份信息未知的抓拍物的数据。
可选的，所述将所述目标特征信息和所述关联信息对应的添加至匿名类库中的步骤，包括：
检测匿名类库中是否存在第一目标匿名类数据，所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述第一目标匿名类数据，则在所述第一目标匿名类数据中所述目标属性标签下添加所述关联信息；
若不存在所述第一目标匿名类数据，则在所述匿名类库中添加第二目标匿名类数据，所述第二目标匿名类数据包括所述目标特征信息以及所述目标属性标签下的所述关联信息。
为达到上述目的，本申请实施例还提供了一种数据处理装置，包括：
第一获取单元，用于获取静态实名数据包括的目标物的身份信息，以及所述静态实名数据中不同属性的数据分别对应的第一属性标签；
第二获取单元，用于获取动态实名数据包括的目标物的身份信息，以及所述动态实名数据中不同属性的数据分别对应的第二属性标签；
合并单元，用于对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据；
确定单元，用于将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
可选的，所述合并单元，还用于：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据，所述实名数据为静态实名数据或动态实名数据，所述最新身份信息为该实名数据中时间最近的身份信息，所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。
可选的，每一目标物的身份信息包括该目标物的特征信息；所述装置还包括：
第三获取单元，用于获取实时抓拍数据以及获取所述实时抓拍数据的关联信息；
提取单元，用于提取所述实时抓拍数据中包括的抓拍物的目标特征信息；
检测单元，用于检测所述实名类数据中是否存在目标实名类数据，所述目标实名类数据包括与所述目标特征信息匹配的特征信息；
第一添加单元，用于若存在所述目标实名类数据，则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息；
第二添加单元，用于若不存在所述目标实名类数据，则将所述目标特征信息和所述关联信息对应的添加至匿名类库中，所述匿名类库用于存储匿名类数据，所述匿名类数据包括身份信息未知的抓拍物的数据。
可选的，所述第二添加单元，具体用于：
检测匿名类库中是否存在第一目标匿名类数据，所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述第一目标匿名类数据，则在所述第一目标匿名类数据中所述目标属性标签下添加所述关联信息；
若不存在所述第一目标匿名类数据，则在所述匿名类库中添加第二目标匿名类数据，所述第二目标匿名类数据包括所述目标特征信息以及所述目标属性标签下的所述关联信息。
为达到上述目的，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种数据处理方法。
为达到上述目的，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种数据处理方法。
本申请实施例提供的技术方案中，合并包括相同身份信息的静态实名数据和动态实名数据。合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，也就是，合并处理后的实名数据中的数据不会同时对应两个属性标签。这消除了重复的静态实名数据和动态实名数据，并且同一属性的数据不会记录在两个属性标签下，有效降低了数据规模，提高了数据质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据处理方法的第一种流程示意图；
图2为本申请实施例提供的数据处理方法的第二种流程示意图；
图3为本申请实施例提供的一种数据处理装置的第一种结构示意图；
图4为本申请实施例提供的一种数据处理装置的第二种结构示意图；
图5为本申请实施例提供的一种数据处理装置的第三种结构示意图；
图6为本申请实施例提供的一种数据处理装置的第四种结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
大数据成为一种重要的信息资产。相关方案中，大数据的来源较复杂，数据规模大，数据质量较差，比如重复数据、无效数据较多。
为了解决上述技术问题，本申请实施例提供了一种数据处理方法、装置、设备及存储介质。该方法及装置可以应用于服务器或其他电子设备，具体不做限定。下面首先对本申请实施例提供的数据处理方法进行详细说明。为便于描述，下面以电子设备为执行主体进行说明，并不起限定作用。
图1为本申请实施例提供的数据处理方法的第一种流程示意图，包括如下步骤：
步骤101，获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签。
其中，静态实名数据为第三方提供的数据。静态实名数据中一般存在大量冗余数据、无效数据、以及自定义的属性标签不准确的数据等，数据质量较差。
目标物可以为行人、人脸和车辆等。若目标物为行人或人脸，则目标物的身份信息可以包括行人的名称、出生年月、身份证号、身高、发型、人脸特征信息等信息。若目标物为车辆，则目标物的身份信息可以包括车牌号、车辆品牌、车辆类型、车辆颜色、车辆的外形特性信息等。
数据的属性可以根据实际需求进行设定。例如，若目标物为行人或人脸，则静态实名数据中数据的属性可以包括但不限于爱好、活动信息、观看过的电影等；若目标物为车辆，则静态实名数据中数据的属性可以包括但不限于运动轨迹、车辆年检信息等。
本申请实施例中，一个静态实名数据可以包括一种或多种属性的数据。一种属性对应一个属性标签。例如，属性标签包括爱好和活动信息。包括该属性标签的静态实名数据可以为：{爱好：羽毛球、篮球、看电影}，{活动信息：位置1、位置2、位置3}。
电子设备获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签。
一个可选的实施例中，电子设备存储有多条静态实名数据。电子设备获取这多条静态实名数据包括的目标物的身份信息；对包括相同身份信息的静态实名数据进行合并处理，得到合并处理后的静态实名数据；为每一合并处理后的静态实名数据中不同属性的数据分配对应的第一属性标签，并为每一未合并处理的静态实名数据中不同属性的数据也分配对应的第一属性标签，以保证每一静态实名数据中不同属性的数据分别对应有第一属性标签。本申请实施例中，对静态实名数据进行了去重处理，降低了静态实名数据的数据规模，提高了静态实名数据的数据质量。
一个可选的实施例中，电子设备为每一静态实名数据设置生命周期。若一静态实名数据超过了生命周期，则该静态实名数据就变为无效数据，电子设备删除该静态实名数据。
例如，对于某一公司的临时员工，该临时员工的静态实名数据的生命周期为30天。当该临时员工的静态实名数据的生命周期超过30天时，该临时员工的静态实名数据就变为无效数据，电子设备删除该静态实名数据。
本申请实施例中，清除了静态实名数据中的无效数据，提高了静态实名数据的数据质量。
一个可选的实施例中，为保证静态实名数据的数据质量，若静态实名数据中包括一属性的数据的质量不高，则电子设备可申请该属性的质量高的数据。
例如，当属性为身份证时，静态实名数据中该属性的数据为一代身份证的图片，由于二代身份证的图片质量高于一代身份证的图片质量，因此电子设备可申请二代身份证的图片，来替代该一代身份证的图片。
再一个可选的实施例中，每一目标物的身份信息包括一个或多个类型的身份数据。为保证后续静态实名数据和动态实名数据的准确合并，对于每一静态实名数据，若该静态实名数据包括目标物的多条身份信息，则确定该多条身份信息中时间最近的身份信息，该实名数据中除最新身份信息外的其他身份信息；删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并其他身份信息中剩余的身份数据和最新身份信息中的身份数据。
静态实名数据中多条身份信息合并的方法具体可以为：选取该静态实名数据中时间最近的最新身份信息的所有类型的身份数据，选取该静态实名数据中除最新身份信息以外的其他身份信息中，相对于最新身份信息新出现的类型的身份数据，并删除除最新身份信息以外的其他身份信息中，相对于最新身份信息重复的类型的身份数据。
例如，一静态实名数据包括身份信息1和身份信息2。身份信息1包括4个类型的身份数据，分别为人员名称1、地址1和身份证号1，身份信息2包括3个类型的身份数据，分别为人员名称2和身份证号1。其中，身份信息2为时间最近的身份信息。电子设备合并人员身份信息1和人员身份信息2，选取身份信息2中的所有类型的身份数据，即人员名称2和身份证号1；选取身份信息1中相对于身份信息2新出现的类型的身份数据，即地址1，并删除身份信息1中相对于身份信息2重复的类型的身份数据，即人员名称1和身份证号1。此时，电子设备得到合并后的身份信息包括：人员名称2、地址1和身份证号1。
步骤102，获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签。
其中，动态实名数据为由部署在不同区域、位置的边缘节点提供的数据。边缘节点可以包括智能抓拍设备(如人脸/人体/车辆抓拍设备)、视频监控摄像机、认证设备、门禁设备等。边缘节点还可以包括其它类型的节点，如消防烟感探测器、无线保真(WirelessFidelity，WIFI)探针等。边缘节点产生的数据类型不仅包括视频图片、结构化数据等，还可以包括点位数据、传感数据、地理数据、事件数据等。
动态实名数据中数据的属性可以根据实际需求进行设定。例如，若目标物为行人或人脸，则动态实名数据中数据的属性可以包括但不限于活动信息、观看过的电影、进处小区时间等；若目标物为车辆，则动态实名数据中数据的属性可以包括但不限于运动轨迹、车辆年检信息等。
本申请实施例中，一个动态实名数据可以包括一种或多种属性的数据。一种属性对应一个属性标签。例如，属性标签包括活动信息和进处小区时间。则包括该属性标签的动态实名数据可以为：{活动信息：位置1、位置2、位置3}，{进处小区时间：时间1、时间2、时间3}。
电子设备获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签。
一个可选的实施例中，每一目标物的身份信息包括一个或多个类型的身份数据。为保证后续静态实名数据和动态实名数据的准确合并，对于每一动态实名数据，若该动态实名数据包括目标物的多条身份信息，则确定该多条身份信息中时间最近的身份信息，该动态实名数据中除最新身份信息外的其他身份信息；删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并其他身份信息中剩余的身份数据和最新身份信息中的身份数据。
动态实名数据中多条身份信息合并的方法具体可参考上述静态实名数据中多条身份信息合并的方法。此处不再赘述。
一个可选的实施例中，若动态实名数据中包括一属性的数据的质量不高，则电子设备可申请该属性的质量高的数据。例如，当属性为抓拍的包括人员特征的图片，如人脸图片时，电子设备可通过实名信息，例如身份证号，去获取最新的人脸图片，替换抓拍的该包括人员特征的图片。
本申请实施例中不限定步骤101与步骤102的执行顺序。
步骤103，对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据。其中，合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括静态实名数据和动态实名数据中该属性标签对应的数据。
电子设备在获取到动态实名数据和静态实名数据后，对动态实名数据和静态实名数据进行合并处理。具体的，电子设备对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据。合并处理后的实名数据包括的一个属性的数据不会同时对应两个属性标签。
一个可选的实施例中，电子设备获取第一静态实名数据对应的第一属性标签以及第一动态实名数据对应的第二属性标签，其中，第一静态实名数据和第一动态实名数据包括的身份信息相同。电子设备对第一静态实名数据对应的第一属性标签以及第一动态实名数据对应的第二属性标签进行去重处理。之后，对于去重处理后的每一属性标签，电子设备合并第一静态实名数据和第一动态实名数据中该属性标签对应的数据。
例如，电子设备获取到静态实名数据1-2和动态实名数据1-2。
静态实名数据1包括身份信息1，静态实名数据1对应属性标签1-2；
静态实名数据2包括身份信息2，静态实名数据1对应属性标签1-2；
动态实名数据1包括身份信息1，动态实名数据1对应属性标签2-3；
动态实名数据2包括身份信息3，动态实名数据1对应属性标签1-3。
此时，静态实名数据1和动态实名数据1均包括身份信息1。其中，静态实名数据1对应属性标签1-2，动态实名数据1对应属性标签2-3。电子设备对属性标签1-2和属性标签2-3进行去重处理，得到属性标签1-3。基于属性标签1-3，电子设备合并静态实名数据1和动态实名数据1中属性标签1对应的数据，合并静态实名数据1和动态实名数据1中属性标签2对应的数据，以及合并静态实名数据1和动态实名数据1中属性标签3对应的数据。
步骤104，将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
仍以步骤103中的例子为例进行说明。电子设备获取到静态实名数据1-2和动态实名数据1-2，并合并了静态实名数据1和动态实名数据1，则将静态实名数据2作为一个实名类数据，将动态实名数据2作为一个实名类数据，将合并静态实名数据1和动态实名数据1后得到的实名数据，作为一个实名类数据。
一个可选的实施例中，电子设备为每一实名类数据设置生命周期。若一实名类数据超过了生命周期，则该实名类数据就变为无效数据，电子设备删除该实名类数据。本申请实施例中，清除了实名类数据中的无效数据，提高了实名类数据的数据质量。
本申请实施例提供的技术方案中，合并包括相同身份信息的静态实名数据和动态实名数据。合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，也就是，合并处理后的实名数据中的数据不会同时对应两个属性标签。这消除了重复的静态实名数据和动态实名数据，并且同一属性的数据不会记录在两个属性标签下，有效降低了数据规模，提高了数据质量。
在本申请的一个实施例中，每一目标物的身份信息包括该目标物的特征信息。例如，若目标物为行人或人脸，则该目标物的身份信息包括该目标物的人脸特征信息。若目标物为车辆，则该目标物的身份信息包括该目标物的外形特征信息。
基于此，根据上述图1所示的数据处理方法，本申请实施例还提供了一种数据处理方法，参考图2，可以包括如下步骤。
步骤201，获取实时抓拍数据以及获取实时抓拍数据的关联信息。
其中，实时抓拍数据包括但不限于视频图片、结构化数据、点位数据、传感数据、地理数据、事件数据等。实时抓拍数据的关联信息可以包括采集实时抓拍数据的设备的标识、实时抓拍数据的采集时间、实时抓拍数据包括的抓拍物的地理位置信息、传感信息、抓拍物携带的终端信息等。上述传感信息包括但不限于烟雾传感信息、温度传感信息、红外传感信息等。终端信息包括但不限于媒体访问控制(Media Access Control，MAC)地址等等。
实时抓拍数据中包括抓拍物，抓拍物可以为人脸、行人或车辆等。本申请实施例对此不进行限定。
一个可选的实施例中，实时抓拍数据的关联信息包括抓拍物的地理位置信息。电子设备提取实时抓拍数据中抓拍物的目标地理位置信息，并对提取的目标地理位置信息进行清洗。具体的，目标地理位置信息进行清洗过程包括：电子设备检测目标地理位置信息是否包括所有的预设坐标类型的坐标数据；若否，则确定目标地理位置信息不完整，通过预设地图中抓拍物所处场所的地理位置信息，补全目标地理位置信息缺失的预设坐标类型的坐标数据；将补全后的目标地理位置信息作为实时抓拍数据的关联信息；若目标地理位置信息包括所有的预设坐标类型的坐标数据，则电子设备确定目标地理位置信息完整，将提取的目标地理位置信息作为实时抓拍数据的关联信息。
例如预设坐标类型包括经度和维度。若电子设备提取的目标地理位置信息只包括经度或纬度，以目标地理位置信息只包括经度为例，则电子设备通过预设地图中抓拍物所处场所的地理位置信息，补全目标地理位置信息缺失的纬度；将补全后的目标地理位置信息作为实时抓拍数据的关联信息。
本申请实施例中，对实时抓拍数据的关联信息进行清洗，补全关联信息缺失的信息，提高了数据质量，增加了数据分析的准确度。
另外，本申请实施例中，每一关联信息均有相应的属性，按照关联信息的属性，确定关联信息对应的目标属性标签。如上述可从实时抓拍数据提取的目标地理位置信息对应的目标属性标签可以为活动信息。
步骤202，提取实时抓拍数据中包括的抓拍物的目标特征信息。
电子设备在获取到实时抓拍数据后，提取实时抓拍数据中包括的抓拍物的特征信息，作为目标特征信息。例如，若抓拍物为人脸，则电子设备可以提取实时抓拍数据中包括的抓拍物的人脸特征信息，作为目标人脸特征信息。
本申请实施例中，电子设备可以采用卷积神经网络、YOLO算法等提取目标特征信息。本申请实施例对提取目标特征信息所采用的算法不做具体限定。
步骤203，检测实名类数据中是否存在目标实名类数据，目标实名类数据包括与目标特征信息匹配的特征信息。若存在目标实名类数据，则执行步骤204。若不存在目标实名类数据，则执行步骤205。
一个可选的实施例中，在提取到目标特征信息后，电子设备计算目标特征信息与实名类数据包括的特征信息的相似度。若目标特征信息与一实名类数据包括的特征信息的相似度大于预设阈值，则电子设备可确定该目标特征信息和该实名类数据包括的特征信息匹配，该目标特征信息和该实名类数据包括的特征信息对应同一个目标物，该实名类数据即为目标实名类数据。执行步骤204。
若目标特征信息与每一实名类数据包括的特征信息的相似度均不大于预设阈值，则电子设备可确定不存在目标实名类数据。执行步骤205。
步骤204，在目标实名类数据中实时抓拍数据的关联信息对应的目标属性标签下添加实时抓拍数据的关联信息。
步骤205，将目标特征信息和实时抓拍数据的关联信息对应的添加至匿名类库中。其中，匿名类库用于存储匿名类数据，匿名类数据包括身份信息未知的抓拍物的数据。
本申请实施例中，若不存在目标实名类数据，则电子设备将目标特征信息和实时抓拍数据的关联信息对应的添加至匿名类库中，最大化保留了实时抓拍数据，避免数据资源的损失，便于后续数据的分析。
一个可选的实施例中，上述步骤205可以细化为以下步骤：
步骤a，检测匿名类库中是否存在第一目标匿名类数据，第一目标匿名类数据包括与目标特征信息匹配的特征信息。若存在第一目标匿名类数据，则执行步骤b。若不存在第一目标匿名类数据，则执行步骤c。
一个可选的实施例中，电子设备计算目标特征信息与匿名类数据包括的特征信息的相似度。若目标特征信息与一匿名类数据包括的特征信息的相似度大于预设阈值，则电子设备可确定该目标特征信息和该匿名类数据包括的特征信息匹配，该目标特征信息和该匿名类数据包括的特征信息对应同一个目标物，该匿名类数据即为第一目标匿名类数据，执行步骤b。若目标特征信息与每一匿名类数据包括的特征信息的相似度均不大于预设阈值，则电子设备可确定不存在第一目标匿名类数据。执行步骤c。
步骤b，在第一目标匿名类数据中目标属性标签下添加实时抓拍数据的关联信息。
步骤c，在匿名类库中添加第二目标匿名类数据，第二目标匿名类数据包括目标特征信息以及目标属性标签下的实时抓拍数据的关联信息。
一个可选的实施例中，为了便于用户区分不同目标物的匿名类数据，在将目标特征信息和实时抓拍数据的关联信息对应的添加至匿名类库中时，电子设备可以为目标特征信息分配一个自定义的身份信息，将自定义的身份信息、目标特征信息和实时抓拍数据的关联信息对应的添加至匿名类库中。
其中，自定义的身份信息可以包括自定义的目标物名称和身份标识等。例如，自定义的目标物名称可以为AA，自定义的身份标识可以为123456789。
一个可选的实施例中，电子设备为每一匿名类数据设置生命周期。若一匿名类数据超过了生命周期，则该匿名类数据就变为无效数据，电子设备删除该匿名类数据。本申请实施例中，清除了匿名类数据中的无效数据，提高了匿名类数据的数据质量。
一个可选的实施例中，电子设备若确定一匿名类数据预设时长内未增加信息，也就是，预设时长内没有任何特征信息与该匿名类数据包括的特征信息匹配，则确定该匿名类数据为无效数据，删除该匿名类数据。
随着时间的增加，匿名类库中包括的数据会无限增大，增加了存储、分析等资源开销。本申请实施例中，删除预设时长内未增加信息的匿名类数据，即删除匿名类库中的无效数据，提高了匿名类数据的数据质量。
在本申请的一个实施例中，电子设备还可以实时监控数据处理方法流程的运行状态，进而控制数据处理的数据量和速度，有效保证数据处理的稳定性。
与上述方法实施例相对应，本申请实施例还提供了一种数据处理装置，如图3所示，包括：
第一获取单元301，用于获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签；
第二获取单元302，用于获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签；
合并单元303，用于对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括静态实名数据和动态实名数据中该属性标签对应的数据；
确定单元304，用于将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
一个可选的实施例中，合并单元303，还可以用于：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并其他身份信息中剩余的身份数据和最新身份信息中的身份数据，实名数据为静态实名数据或动态实名数据，最新身份信息为该实名数据中时间最近的身份信息，其他身份信息为该实名数据中除最新身份信息外的身份信息。
一个可选的实施例中，每一目标物的身份信息包括该目标物的特征信息。基于图3，参考图4，上述数据处理装置还可以包括：
第三获取单元401，用于获取实时抓拍数据以及获取实时抓拍数据的关联信息；
提取单元402，用于提取实时抓拍数据中包括的抓拍物的目标特征信息；
检测单元403，用于检测实名类数据中是否存在目标实名类数据，目标实名类数据包括与目标特征信息匹配的特征信息；
第一添加单元404，用于若存在目标实名类数据，则在目标实名类数据中实时抓拍数据的关联信息对应的目标属性标签下添加实时抓拍数据的关联信息；
第二添加单元405，用于若不存在目标实名类数据，则将目标特征信息和实时抓拍数据的关联信息对应的添加至匿名类库中，匿名类库用于存储匿名类数据，匿名类数据包括身份标识未知的抓拍物的数据。
一个可选的实施例中，第二添加单元405，具体可以用于：
检测匿名类库中是否存在第一目标匿名类数据，第一目标匿名类数据包括与目标特征信息匹配的特征信息；
若存在第一目标匿名类数据，则在第一目标匿名类数据中目标属性标签下添加实时抓拍数据的关联信息；
若不存在第一目标匿名类数据，则在匿名类库中添加第二目标匿名类数据，第二目标匿名类数据包括目标特征信息以及目标属性标签下的实时抓拍数据的关联信息。
本申请实施例提供的技术方案中，合并包括相同身份信息的静态实名数据和动态实名数据。合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，也就是，合并处理后的实名数据中的数据不会同时对应两个属性标签。这消除了重复的静态实名数据和动态实名数据，并且同一属性的数据不会记录在两个属性标签下，有效降低了数据规模，提高了数据质量。
与上述方法实施例相对应，本申请实施例还提供了一种数据处理装置，如图5所示，包括：
数据接入模块501，用于接收第三方提供的静态实名数据，接收边缘节点提供的动态实名数据，将接收的静态实名数据和动态实名数据存入数据存储模块502；
数据存储模块502，用于存储静态实名数据和动态实名数据；
数据处理模块503，用于分析数据存储模块502中存储的数据结构，从数据存储模块502中获取静态实名数据包括的目标物的身份信息，以及静态实名数据中不同属性的数据分别对应的第一属性标签；并数据存储模块502中获取动态实名数据包括的目标物的身份信息，以及动态实名数据中不同属性的数据分别对应的第二属性标签；
数据处理模块503，还用于对数据存储模块502中包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括静态实名数据和动态实名数据中该属性标签对应的数据；将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
一个可选的实施例中，数据处理模块503，还可以用于：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并其他身份信息中剩余的身份数据和最新身份信息中的身份数据，将合并身份信息后的实名数据存储至数据存储模块502；其中，实名数据为静态实名数据或动态实名数据，最新身份信息为该实名数据中时间最近的身份信息，其他身份信息为该实名数据中除最新身份信息外的身份信息。
一个可选的实施例中，基于图5，参考图6，上述数据处理装置还可以包括：数据分析模块504；
数据接入模块501，还可以用于获取实时抓拍数据以及获取所述实时抓拍数据的关联信息，将获取实时抓拍数据写入数据存储模块502；
数据分析模块504，用于提取实时抓拍数据中包括的抓拍物的目标特征信息；检测实名类数据中是否存在目标实名类数据，目标实名类数据包括与目标特征信息匹配的特征信息；将检测结果写入数据处理模块503；
数据处理模块503，还用于若存在目标实名类数据，则在目标实名类数据中关联信息对应的目标属性标签下添加关联信息；若不存在目标实名类数据，则将目标特征信息和关联信息对应的添加至匿名类库中，匿名类库用于存储匿名类数据，匿名类数据包括身份信息未知的抓拍物的数据。
一个可选的实施例中，数据分析模块504，还可以用于：
检测匿名类库中是否存在第一目标匿名类数据，第一目标匿名类数据包括与目标特征信息匹配的特征信息；若存在第一目标匿名类数据，则在第一目标匿名类数据中目标属性标签下添加关联信息；若不存在第一目标匿名类数据，则在匿名类库中添加第二目标匿名类数据，第二目标匿名类数据包括目标特征信息以及目标属性标签下的关联信息。
本申请实施例提供的技术方案中，合并包括相同身份信息的静态实名数据和动态实名数据。合并处理后的实名数据对应的属性标签为对第一属性标签和第二属性标签进行去重处理后的属性标签，也就是，合并处理后的实名数据中的数据不会同时对应两个属性标签。这消除了重复的静态实名数据和动态实名数据，并且同一属性的数据不会记录在两个属性标签下，有效降低了数据规模，提高了数据质量。
与上述方法实施例相对应，本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702、存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述任一种数据处理方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
与上述方法实施例相对应，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一种数据处理方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取静态实名数据包括的目标物的身份信息，以及所述静态实名数据中不同属性的数据分别对应的第一属性标签；
获取动态实名数据包括的目标物的身份信息，以及所述动态实名数据中不同属性的数据分别对应的第二属性标签；
对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据；
将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据，所述实名数据为静态实名数据或动态实名数据，所述最新身份信息为该实名数据中时间最近的身份信息，所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。
3.根据权利要求1所述的方法，其特征在于，每一目标物的身份信息包括该目标物的特征信息；所述方法还包括：
获取实时抓拍数据以及获取所述实时抓拍数据的关联信息；
提取所述实时抓拍数据中包括的抓拍物的目标特征信息；
检测所述实名类数据中是否存在目标实名类数据，所述目标实名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述目标实名类数据，则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息；
若不存在所述目标实名类数据，则将所述目标特征信息和所述关联信息对应的添加至匿名类库中，所述匿名类库用于存储匿名类数据，所述匿名类数据包括身份信息未知的抓拍物的数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标特征信息和所述关联信息对应的添加至匿名类库中的步骤，包括：
检测匿名类库中是否存在第一目标匿名类数据，所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述第一目标匿名类数据，则在所述第一目标匿名类数据中所述目标属性标签下添加所述关联信息；
若不存在所述第一目标匿名类数据，则在所述匿名类库中添加第二目标匿名类数据，所述第二目标匿名类数据包括所述目标特征信息以及所述目标属性标签下的所述关联信息。
5.一种数据处理装置，其特征在于，包括：
第一获取单元，用于获取静态实名数据包括的目标物的身份信息，以及所述静态实名数据中不同属性的数据分别对应的第一属性标签；
第二获取单元，用于获取动态实名数据包括的目标物的身份信息，以及所述动态实名数据中不同属性的数据分别对应的第二属性标签；
合并单元，用于对包括相同身份信息的静态实名数据和动态实名数据进行合并处理，得到合并处理后的实名数据，所述合并处理后的实名数据对应的属性标签为对所述第一属性标签和所述第二属性标签进行去重处理后的属性标签，每一去重处理后的属性标签对应的数据包括所述静态实名数据和所述动态实名数据中该属性标签对应的数据；
确定单元，用于将每一个合并处理后的实名数据、每一未合并处理的静态实名数以及每一未合并处理的动态实名数据，分别确定为一个实名类数据。
6.根据权利要求5所述的装置，其特征在于，所述合并单元，还用于：
对于每一实名数据，若该实名数据包括目标物的多条身份信息，则删除其他身份信息中类型与最新身份信息中身份数据的类型相同的身份数据，并合并所述其他身份信息中剩余的身份数据和所述最新身份信息中的身份数据，所述实名数据为静态实名数据或动态实名数据，所述最新身份信息为该实名数据中时间最近的身份信息，所述其他身份信息为该实名数据中除所述最新身份信息外的身份信息。
7.根据权利要求5所述的装置，其特征在于，每一目标物的身份信息包括该目标物的特征信息；所述装置还包括：
第三获取单元，用于获取实时抓拍数据以及获取所述实时抓拍数据的关联信息；
提取单元，用于提取所述实时抓拍数据中包括的抓拍物的目标特征信息；
检测单元，用于检测所述实名类数据中是否存在目标实名类数据，所述目标实名类数据包括与所述目标特征信息匹配的特征信息；
第一添加单元，用于若存在所述目标实名类数据，则在所述目标实名类数据中所述关联信息对应的目标属性标签下添加所述关联信息；
第二添加单元，用于若不存在所述目标实名类数据，则将所述目标特征信息和所述关联信息对应的添加至匿名类库中，所述匿名类库用于存储匿名类数据，所述匿名类数据包括身份信息未知的抓拍物的数据。
8.根据权利要求7所述的装置，其特征在于，所述第二添加单元，具体用于：
检测匿名类库中是否存在第一目标匿名类数据，所述第一目标匿名类数据包括与所述目标特征信息匹配的特征信息；
若存在所述第一目标匿名类数据，则在所述第一目标匿名类数据中所述目标属性标签下添加所述关联信息；
若不存在所述第一目标匿名类数据，则在所述匿名类库中添加第二目标匿名类数据，所述第二目标匿名类数据包括所述目标特征信息以及所述目标属性标签下的所述关联信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201911191759.1A 2019-06-03 2019-11-28 一种数据处理方法、装置、设备及存储介质 Active CN111367897B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910477829 2019-06-03
CN2019104778293 2019-06-03

Publications (2)

Publication Number Publication Date
CN111367897A true CN111367897A (zh) 2020-07-03
CN111367897B CN111367897B (zh) 2023-09-08

Family

ID=71206189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191759.1A Active CN111367897B (zh) 2019-06-03 2019-11-28 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111367897B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385729A (zh) * 2021-12-20 2022-04-22 航天信息股份有限公司 一种数据处理方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285464A1 (en) * 2007-05-17 2008-11-20 Verint Systems, Ltd. Network identity clustering
CN102393858A (zh) * 2011-11-17 2012-03-28 陈洪 一种基于客户端实时聚合的元搜索引擎系统
US20130185429A1 (en) * 2012-01-13 2013-07-18 Alibaba Group Holding Limited Processing Store Visiting Data
WO2017153552A1 (en) * 2016-03-09 2017-09-14 Avatr Limited Data processing and generation of aggregated user data
WO2018004734A1 (en) * 2016-06-29 2018-01-04 Google Llc Using an image matching system to improve the quality of service of a video matching system
CN107656966A (zh) * 2017-08-28 2018-02-02 深圳市诚壹科技有限公司 一种处理数据的方法及服务器
CN108153793A (zh) * 2016-12-02 2018-06-12 航天星图科技（北京）有限公司 一种原始数据处理方法
CN108388675A (zh) * 2018-03-26 2018-08-10 深圳市买买提信息科技有限公司 一种身份标识拉通方法及终端设备
US20190012362A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing information
CN110020149A (zh) * 2017-11-30 2019-07-16 Tcl集团股份有限公司 用户信息的标签化处理方法、装置、终端设备及介质
CN110457350A (zh) * 2019-07-24 2019-11-15 阿里巴巴集团控股有限公司 用于在查询数据库中进行聚合查询的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080285464A1 (en) * 2007-05-17 2008-11-20 Verint Systems, Ltd. Network identity clustering
CN102393858A (zh) * 2011-11-17 2012-03-28 陈洪 一种基于客户端实时聚合的元搜索引擎系统
US20130185429A1 (en) * 2012-01-13 2013-07-18 Alibaba Group Holding Limited Processing Store Visiting Data
WO2017153552A1 (en) * 2016-03-09 2017-09-14 Avatr Limited Data processing and generation of aggregated user data
WO2018004734A1 (en) * 2016-06-29 2018-01-04 Google Llc Using an image matching system to improve the quality of service of a video matching system
CN108153793A (zh) * 2016-12-02 2018-06-12 航天星图科技（北京）有限公司 一种原始数据处理方法
US20190012362A1 (en) * 2017-07-04 2019-01-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for processing information
CN107656966A (zh) * 2017-08-28 2018-02-02 深圳市诚壹科技有限公司 一种处理数据的方法及服务器
CN110020149A (zh) * 2017-11-30 2019-07-16 Tcl集团股份有限公司 用户信息的标签化处理方法、装置、终端设备及介质
CN108388675A (zh) * 2018-03-26 2018-08-10 深圳市买买提信息科技有限公司 一种身份标识拉通方法及终端设备
CN110457350A (zh) * 2019-07-24 2019-11-15 阿里巴巴集团控股有限公司 用于在查询数据库中进行聚合查询的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385729A (zh) * 2021-12-20 2022-04-22 航天信息股份有限公司 一种数据处理方法、装置、设备及介质
CN114385729B (zh) * 2021-12-20 2024-10-29 航天信息股份有限公司 一种数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111367897B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN109426785B (zh) 一种人体目标身份识别方法及装置
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
CN109871815B (zh) 一种查询监控信息的方法及装置
CN106708844A (zh) 一种用户群体的划分方法和装置
US9947105B2 (en) Information processing apparatus, recording medium, and information processing method
CN112528716B (zh) 一种事件信息获取方法及装置
CN108932509A (zh) 一种基于视频跟踪的跨场景目标检索方法及装置
US20150189240A1 (en) System and method for detecting an object of interest
CN111368619A (zh) 可疑人员的检测方法、装置及设备
CN110210457A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
WO2021238664A1 (zh) 信息采集方法和装置、关注度检测方法、装置和系统
CN105303449B (zh) 基于相机指纹特征的社交网络用户的识别方法和系统
CN112182391A (zh) 一种用户画像方法与装置
CN112434612A (zh) 吸烟检测方法、装置、电子设备及计算机可读存储介质
CN112446361A (zh) 一种训练数据的清洗方法及设备
CN111367897B (zh) 一种数据处理方法、装置、设备及存储介质
CN113065893B (zh) 客户信息识别方法、装置、设备及存储介质
CN113596019A (zh) 高性能网络流量数据表示和提取方法和系统
CN112487082A (zh) 一种生物特征识别的方法及相关设备
CN106714099A (zh) 照片信息处理及景点识别方法、客户端、服务器
CN110956644B (zh) 一种运动轨迹确定方法及系统
CN114092809A (zh) 对象识别方法、装置及电子设备
CN112149451B (zh) 一种亲密度分析方法及装置
CN111382626B (zh) 视频中违规图像的检测方法、装置、设备及存储介质
CN111143626A (zh) 团伙识别方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant