CN113268482B - 数据关联方法、装置和电子设备 - Google Patents

数据关联方法、装置和电子设备 Download PDF

Info

Publication number
CN113268482B
CN113268482B CN202110479031.XA CN202110479031A CN113268482B CN 113268482 B CN113268482 B CN 113268482B CN 202110479031 A CN202110479031 A CN 202110479031A CN 113268482 B CN113268482 B CN 113268482B
Authority
CN
China
Prior art keywords
time
time interval
image
association
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110479031.XA
Other languages
English (en)
Other versions
CN113268482A (zh
Inventor
李大千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202110479031.XA priority Critical patent/CN113268482B/zh
Publication of CN113268482A publication Critical patent/CN113268482A/zh
Application granted granted Critical
Publication of CN113268482B publication Critical patent/CN113268482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2219Large Object storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了一种数据关联方法、装置和电子设备,包括:获取待关联对像的图像数据和待关联移动设备的设备码数据;确定图像数据中的抓拍时间和设备码数据中的采集时间对应的时间区间,得到图像时间区间和设备码时间区间;基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系;基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系;基于目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。本发明的方法降低了数据关联的计算量,节省了数据关联的时间,能得到准确的目标关联关系。

Description

数据关联方法、装置和电子设备
技术领域
本发明涉及数据分析的技术领域,尤其是涉及一种数据关联方法、装置和电子设备。
背景技术
数据关联在很多领域都有广泛的应用。例如,在对人员进行轨迹追踪时,往往先建立人像与移动设备码的关联关系,进而通过对目标移动设备码轨迹的追踪实现对目标人员的追踪。
目前,在建立人像与移动设备码的关联关系时,通常包括以下两种方法:一种方法是在图像采集设备进行人像采集时,同时触发侦码系统采集移动设备的移动设备码,进而直接将采集到的人像和移动设备码建立关联关系。该种方法在多人同时出现时,会采集到包含多个人像的图像和多个移动设备码,这样会造成关联混乱,得到的关联关系准确性差;另一种方法是遍历每个移动设备码,先提取移动设备码采集时间附近采集到的人像的特征值,然后将提取得到的特征值与档案库(其中保存有移动设备码与人像的关联关系)中的人像特征值进行对比,根据对比结果更新档案库中移动设备码与人像的关联关系,该种方法能够得到较为准确的关联关系,但是关联过程计算量大,耗时严重。
综上,现有的数据关联方法无法兼顾准确和耗时的问题。
发明内容
有鉴于此,本发明的目的在于提供一种数据关联方法、装置和电子设备,以缓解现有的数据关联方法无法兼顾准确和耗时的问题。
第一方面,本发明实施例提供了一种数据关联方法,包括:获取待关联对象的图像数据和待关联移动设备的设备码数据,其中,所述图像数据至少包括:所述待关联对象的图像的抓拍时间、采集所述图像的图像采集装置的标识和对象标识,所述设备码数据至少包括:设备码、所述设备码的采集时间和采集所述设备码的探针的标识;确定所述抓拍时间和所述采集时间对应的时间区间,得到图像时间区间和设备码时间区间;基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系;基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤,得到所述图像数据和所述设备码数据之间的目标关联关系;基于所述图像数据和所述设备码数据之间的目标关联关系、所述图像数据中的对象标识、所述设备码数据中的设备码,得到所述待关联对象和所述待关联移动设备的关联关系。
进一步的,获取设备映射关系,其中,所述设备映射关系为图像采集装置的标识和探针的标识之间的映射关系;基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系包括:若第二图像数据的图像时间区间和第二设备码数据的设备码时间区间匹配,且所述第二图像数据中的图像采集装置的标识和所述第二设备码数据中的探针的标识具有设备映射关系,则确定所述第二图像数据和所述第二设备码数据具有初始关联关系,其中,所述第二图像数据为所述图像数据中的任一图像数据,所述第二设备码数据为所述设备码数据中的任一设备码数据。
进一步的,将所述抓拍时间和/或所述采集时间作为准确时间,所述抓拍时间相应的时间区间为所述图像时间区间,所述采集时间相应的时间区间为所述设备码时间区间,确定所述准确时间对应的时间区间,得到相应的时间区间包括:将所述准确时间落入的时间区间作为当前时间区间,其中,所述时间区间是按照分区时长对时间进行划分得到的,每个时间区间包含起点时间和终点时间;若所述准确时间距离所述当前时间区间的起点时间小于第一时长阈值,则将所述当前时间区间和所述当前时间区间的上一时间区间作为所述准确时间对应的时间区间;若所述准确时间距离所述当前时间区间的终点时间小于第二时长阈值,则将所述当前时间区间和所述当前时间区间的下一时间区间作为所述准确时间对应的时间区间。
进一步的,当所述准确时间为抓拍时间时,确定所述采集时间对应的时间区间,得到设备码时间区间包括:将所述采集时间落入的时间区间作为所述设备码时间区间,或者,当所述准确时间为采集时间时,确定所述抓拍时间对应的时间区间,得到图像时间区间包括:将所述抓拍时间落入的时间区间作为所述图像时间区间。
进一步的,确定所述抓拍时间对应的时间区间包括:确定第一关联时长和第二关联时长,其中,所述第一关联时长为所述抓拍时间之前的预定时长,所述第二关联时长为所述抓拍时间之后的预定时长;根据所述第一关联时长和所述第二关联时长确定用于对所述抓拍时间进行分区处理的分区时长;基于所述抓拍时间、所述分区时长、所述第一关联时长和所述第二关联时长确定所述图像时间区间,其中,每个图像时间区间的时长为所述分区时长。
进一步的,基于所述抓拍时间、所述分区时长、所述第一关联时长和所述第二关联时长确定所述图像时间区间包括:将所述抓拍时间按照所述分区时长进行分区,得到第一图像时间区间的起点时间,进而得到第一图像时间区间;基于所述第一关联时长和所述第二关联时长,判断所述抓拍时间是否在所述第一图像时间区间的相邻图像时间区间;若所述抓拍时间在所述第一图像时间区间的相邻图像时间区间,则将所述第一图像时间区间和所述相邻图像时间区间作为所述图像时间区间;若所述抓拍时间不在所述第一图像时间区间的相邻图像时间区间,则将所述第一图像时间区间作为所述图像时间区间。
进一步的,基于所述第一关联时长和所述第二关联时长,判断所述抓拍时间是否在所述第一图像时间区间的相邻图像时间区间包括:若所述抓拍时间与所述第一图像时间区间的起点时间的差小于所述第一关联时长,则确定所述抓拍时间在所述第一图像时间区间的前一图像时间区间,其中,所述前一图像时间区间根据所述第一图像时间区间和所述分区时长确定;若所述抓拍时间与所述第二关联时长的和大于所述第一图像时间区间的起点时间与所述分区时长的和,则确定所述抓拍时间在所述第一图像时间区间的后一图像时间区间,其中,所述后一图像时间区间根据所述第一图像时间区间和所述分区时长确定;若所述抓拍时间与所述第一图像时间区间的起点时间的差不小于所述第一关联时长,且所述抓拍时间与所述第二关联时长的和不大于所述第一图像时间区间的起点时间与所述分区时长的和,则确定所述抓拍时间不在所述第一图像时间区间的相邻图像时间区间。
进一步的,确定所述采集时间对应的时间区间包括:确定第一关联时长和第二关联时长,其中,所述第一关联时长为所述抓拍时间之前的预定时长,所述第二关联时长为所述抓拍时间之后的预定时长;根据所述第一关联时长和所述第二关联时长确定用于对所述采集时间进行分区处理的分区时长;将所述采集时间按照所述分区时长进行分区,得到所述设备码时间区间的起点时间,进而得到所述设备码时间区间。
进一步的,基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤包括:在具有所述初始关联关系的第一图像数据和第一设备码数据中,计算所述第一图像数据中的抓拍时间和所述第一设备码数据中的采集时间的时间差;判断所述时间差是否小于关联时长;若小于所述关联时长,则确定所述第一图像数据和所述第一设备码数据具有所述目标关联关系。
进一步的,所述方法还包括:根据具有所述目标关联关系的目标图像数据和目标设备码数据,更新目标待关联对象和目标待关联移动设备的关联次数,其中,所述目标待关联对象为所述目标图像数据中的对象标识对应的待关联对象,所述目标待关联移动设备为所述目标设备码数据中的设备码对应的待关联移动设备。
第二方面,本发明实施例还提供了一种数据关联装置,包括:获取单元,用于获取待关联对象的图像数据和待关联移动设备的设备码数据,其中,所述图像数据至少包括:所述待关联对象的图像的抓拍时间、采集所述图像的图像采集装置的标识和对象标识,所述设备码数据至少包括:设备码、所述设备码的采集时间和采集所述设备码的探针的标识;第一确定单元,用于确定所述抓拍时间和所述采集时间对应的时间区间,得到图像时间区间和设备码时间区间;关系建立单元,用于基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系;过滤单元,用于基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤,得到所述图像数据和所述设备码数据之间的目标关联关系;第二确定单元,用于基于所述图像数据和所述设备码数据之间的目标关联关系、所述图像数据中的对象标识、所述设备码数据中的设备码,得到所述待关联对象和所述待关联移动设备的关联关系。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面,本发明实施例提供了一种计算机存储介质,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述第一方面任一项所述的方法的步骤。
在本发明实施例中,先获取待关联图像的图像数据和待关联移动设备的设备码数据;然后,确定图像数据中的抓拍时间和设备码数据中的采集时间对应的时间区间,得到图像时间区间和设备码时间区间;进而,基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系;再基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系;最后,基于图像数据和设备码数据之间的目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。通过上述描述可知,通过确定图像时间区间和设备码时间区间,进而基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系,降低了数据关联的计算量,节省了数据关联的时间,另外,对初始关联关系进行过滤,使得过滤得到的图像数据和设备码数据之间的目标关联关系更加准确,进而,基于目标关联关系确定的待关联对象和待关联移动设备的关联关系也更加准确,缓解了现有的数据关联方法无法兼顾准确和耗时的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备的示意图;
图2为本发明实施例提供的一种数据关联方法的流程图;
图3为本发明实施例提供的确定准确时间对应的时间区间的方法流程图;
图4为本发明实施例提供的确定抓拍时间对应的时间区间的方法流程图;
图5为本发明实施例提供的对初始关联关系进行过滤的方法流程图;
图6为本发明实施例提供的一种数据关联装置的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的数据关联方法。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108、摄像机110以及探针114,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP,Digital Signal Processing)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、可编程逻辑阵列(PLA,Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU,Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述摄像机110用于采集待关联对象的图像数据,所述探针114用于采集待关联移动设备的设备码数据,其中,摄像机所采集的图像数据和探针所采集的设备码数据经过所述数据关联方法进行关联之后得到待关联对象和待关联移动设备的关联关系,例如,摄像机可以拍摄其视角范围内的人像,进而处理得到图像数据,探针可以采集得到其探测范围内的设备码,进而处理得到设备码数据,然后,将该图像数据和设备码数据经过所述数据关联方法进行关联之后得到待关联对象和待关联移动设备的关联关系,摄像机还可以将所拍摄的人像存储在所述存储器104中,探针还可以将采集的设备码数据存储在所述存储器104中,存储器104中存储的数据可供其它组件使用。
示例性地,用于实现根据本发明实施例的数据关联方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端,还可以被实现为其它任何具备计算能力的设备。
实施例2:
根据本发明实施例,提供了一种数据关联方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种数据关联方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取待关联对象的图像数据和待关联移动设备的设备码数据。
待关联对象A携带有待关联设备B于时间C出现在地点D时,待关联对象A的图像会被地点D附近的图像采集装置P1采集到、且采集到的时间为C1,待关联设备B的设备码会被地点D的探针采集P2到、且采集到的时间为C2。C1、C2理论上应该相同且都等于C,实际上可能有微小差别。P1、P2通常有对应关系,例如P1、P2可集成在一个信息采集设备。也就说,如果一个图像数据和一个设备码数据被采集到的时间接近、被采集到的设备具有对应关系,则该图像数据所属的对象大概率携带设备码数据对应的移动设备。然而,在携带有待关联移动设备的待关联对象密集出现(待关联对象有多个、待关联设备也有多个)的场合,难以仅通过图像数据和设备码数据的一次共现关系确定图像数据所属的对象和设备码数据所对应的移动设备具有关联关系。本发明实施例中,通过大量待关联对象的图像数据和大量待关联移动设备的设备码数据之间的关联关系去推测待关联对象和待关联移动设备之间的关联关系。
在本发明实施例中,上述待关联对象可以为待关联人员或待关联动物等,只要待关联对象携带有移动设备即可。图像数据至少包括:待关联对象的图像的抓拍时间(即人脸抓拍图的抓拍时间)、采集图像的图像采集装置的标识(具体可以为图像采集装置ID)和对象标识。图像数据还可以包括待关联对象的图像和/或图像的存储地址。对象标识可以为待关联对象的ID。例如,可以将待关联对象的图像与图像-身份数据库中的图像进行比对,从而确定待关联对象的身份,根据身份确定对象标识。或者,可以将多个待关联对象的图像进行聚类、归档形成图像集合,同一图像集合的中的图像彼此相似度较大,可认为属于同一待关联对象。此时,给各图像集合赋予各不相同的ID,可作为该图像集合中所包含图像所对应的对象标识。
上述待关联移动设备可以为手机设备、平板电脑和无线车载设备等,凡是能够与信号接收设备连接通信的、具有唯一设备码的设备都可以作为本发明实施例中的待关联移动设备。上述设备码数据至少包括:设备码、采集待关联移动设备的设备码的探针的标识(具体可以为探针ID)和采集时间(设备码的采集时间),其中,设备码可以选自以下至少之一:国际移动用户识别码(International Mobile Subscriber Identity,IMSI)、国际移动设备识别码(International Mobile Equipment Identity number,IMEI)和MAC(MediaAccess Control或者Medium Access Control)地址。
在具体应用时,可以在安装图像采集装置的位置同时安装探针(用于采集待关联移动设备的设备码),安装在同一位置的图像采集装置和探针之间构成设备映射关系。
图像采集装置能够对经过其视场范围内的对象进行图像采集,然后,将图像发送至对象标识确定设备,或者将图像、图像抓拍时间、图像采集装置ID一同发送给对象标识确定设备。对象标识确定设备通过对象识别技术识别图像所对应的对象,也就得到了图像对应的对象标识,或者通过图像聚类技术对采集到的图像进行聚类和/或归档,从而确定图像属于哪个图像集合,其中一个待关联对象对应一个图像集合,可将图像所属的图像集合的标识作为对象标识。随后,对象标识确定设备可将图像、图像的抓拍时间、图像采集装置ID、对象标识发送给IOT设备或用于进行数据关联的设备。也可由对象标识确定设备将确定好的对象标识发送给图像采集设备,在由图像采集设备将图像、图像抓拍时间、图像采集装置ID、对象标识发送给IOT设备或用于进行数据关联的设备,在此不做限定。
另外,探针能够对在其探测范围内的移动设备进行探测,进而将探测得到的包含有设备码、设备码的采集时间、探针的标识、经纬度等信息的消息记录发送至IOT(物联网)设备。
一例中,图像数据中的抓拍时间和设备码数据中的采集时间可以是经过校准的。抓拍时间由图像采集设备产生,采集时间由探针产生,考虑到图像采集设备的时间不一定与探针的时间同步,所以在用于图像接入和用于设备码接入的IOT设备上设置有校准时间(通过校准时间实现图像采集设备的时间和探针的时间的同步),用于对抓拍时间和采集时间进行校准。例如,将当IOT设备在t1时刻接收到图像(自带图像抓拍时间t2)和设备码(自带设备码采集时间t3)时,可将该图像的图像抓拍时间和该设备码的设备码采集时间均设置为t1。
待关联对象的图像的抓拍时间、采集图像的图像采集装置的标识和对象标识被组装为图像数据,设备码、设备码的采集时间和采集设备码的探针的标识被组装为设备码数据。数据组装可以在时间校准后进行,由IOT设备完成。
为了便于后续匹配,可对多个图像数据按照图像数据中的图像抓拍时间以一定时间单位(例如一天)进行划分,对多个设备码数据按照设备码数据中的设备码采集时间以与对图像数据进行划分的时间单位相同的时间单位(例如一天)进行划分,以便后续用同一时间单位内的图像数据和设备码数据进行匹配,以减少匹配的运算量。
需要说明的是:通常一条消息记录中设备码字段中的IMSI字段、IMSE字段和MAC字段只有一个字段有值,当上述三个字段不止一个字段有值时,可以把一条消息记录拆分成多条消息记录,使得每条消息记录的设备码字段中只有一个值,便于后续计算,无需再对设备码的类型进行区分,简化了后续关联计算的过程。
一例中,图像数据和设备码数据被发布到kafka,数据实时处理模块在消费Kafka中的消息时,会对消息中的数据进行数据清洗、异常值检查和格式转换,减少杂乱数据对后续计算的影响。
上述数据实时处理模块得到的图像数据和设备码数据可以保存至数据存储系统(如HDFS),以供数据关联使用。
在进行数据关联时,数据关联模块便能获取数据存储系统中存储的图像数据和设备码数据。
步骤S204,确定抓拍时间和采集时间对应的时间区间,得到图像时间区间和设备码时间区间。
在得到图像数据和设备码数据后,确定抓拍时间和采集时间对应的时间区间,得到图像时间区间和设备码时间区间。在进行后续的数据关联时,只需按照图像时间区间与设备码时间区间将图像数据和设备码数据进行关联即可,大大简化了后续关联计算的计算量。
例如,3个图像数据的抓拍时间分别为1点2分3秒、1点2分4秒、1点2分5秒,三者都属于1点2分这个图像时间区间,3个设备码数据分别为1点3分3秒、1点3分4秒、1点3分5秒,三者都属于1点3分这个设备码时间区间。如果根据抓拍时间和采集时间进行数据关联,需要进行9次运算来判断3个图像数据和3个设备码数据是否匹配。而通过时间区间进行数据关联,只需确定1点2分这个图像时间区间和1点3分这个设备码时间区间是否匹配,能够大大减少计算量。
步骤S206,基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系。
在初始关联关系中,包括的字段至少有:对象标识、抓拍时间、采集时间和设备码。
若某个图像数据的图像时间区间和设备码数据的设备码时间区间匹配(例如相同),且该图像数据的图像采集装置标识和该设备码数据的探针标识具有对应关系,则该图像数据和该设备码数据具有初始关联关系。
步骤S208,基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系。
可以理解的是,图像时间区间和设备码时间区间是抓拍时间和采集时间的近似,虽然匹配快速但会带来较大的噪声,例如将抓拍时间和采集时间间隔较大的图像数据和设备码数据认为具有关联关系,因此需要基于抓拍时间和采集时间对初始关联关系进行进一步过滤。
可以理解的是,确定初始关联关系时已经过滤掉了大部分不可能匹配的图像数据和设备码数据,本步骤只需对具有初始关联关系的少量图像数据和设备码数据进行精细匹配。相对于直接对大量图像数据和设备码数据进行精细匹配,本发明实施例的方法能够大大减少运算量。
步骤S210,基于图像数据和设备码数据之间的目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。
当某图像数据和某设备码数据具有目标关联关系时,认为该图像数据对应待关联对象和该设备码数据对应的待关联移动设备之间具有关联关系,此时可计该图像数据对应的对象标识-该设备码数据对应的设备码关联1次。如此,在对大量待关联对象的图像数据和待关联移动设备的设备码数据进行匹配后,可统计出对象标识和设备码的匹配次数,如表1所示。
表1
一例中,可认为与某对象标识匹配次数最多的设备码是与该对象标识关联的设备码。
在本发明实施例中,先获取待关联图像的图像数据和待关联移动设备的设备码数据;然后,确定图像数据中的抓拍时间和设备码数据中的采集时间对应的时间区间,得到图像时间区间和设备码时间区间;进而,基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系;再基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系;最后,基于图像数据和设备码数据之间的目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。通过上述描述可知,通过确定图像时间区间和设备码时间区间,进而基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系,降低了数据关联的计算量,节省了数据关联的时间,另外,对初始关联关系进行过滤,使得过滤得到的图像数据和设备码数据之间的目标关联关系更加准确,进而,基于目标关联关系确定的待关联对象和待关联移动设备的关联关系也更加准确,缓解了现有的数据关联方法无法兼顾准确性和耗时的问题。
考虑到单次数据关联得到的结果可信度较差,所以需要融合历史的关联结果,在大量数据长时间累计的情况下,便能得到准确,可信度高的关联关系。本发明的一个可选实施例中,该方法还包括:
根据具有目标关联关系的目标图像数据和目标设备码数据,更新目标待关联对象和目标待关联移动设备的关联次数,其中,目标待关联对象为目标图像数据中的对象标识对应的待关联对象,目标待关联移动设备为目标设备码数据中的设备码对应的待关联移动设备。
如前所述,当目标图像数据和目标设备码数据具有关联关系时,认为该目标图像数据对应待关联对象和该目标设备码数据对应的待关联移动设备之间具有关联关系,此时可计该目标图像数据对应的对象标识-该目标设备码数据对应的设备码关联1次,即该目标图像数据对应的对象标识-该目标设备码数据对应的设备码对应的关联次数增加1次,也即更新目标待关联对象和目标待关联移动设备的关联次数,使其关联次数增加1。
最终,得到的关联结果为:对象标识、设备码、关联次数,如表1所示。进而,根据展示策略对关联结果进行处理,得到数据展示结果。
上述展示策略可以为:对于某一对象标识,按照关联次数降序的方式对其关联的设备码进行排序,随后只取前N个关联的设备码与该对象标识进行关联,以供前端查询。
上述内容对本发明的数据关联方法的一个可选实施例进行了简要介绍,下面对其中涉及到的具体内容进行介绍,该方法还包括:
获取设备映射关系,其中,设备映射关系为图像采集装置的标识和探针的标识之间的映射关系;
基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系包括:若第二图像数据的图像时间区间和第二设备码数据的设备码时间区间匹配,且第二图像数据中的图像采集装置的标识和第二设备码数据中的探针的标识具有设备映射关系,则确定第二图像数据和第二设备码数据具有初始关联关系,其中,第二图像数据为图像数据中的任一图像数据,第二设备码数据为设备码数据中的任一设备码数据。
上述建立初始关联关系的过程,不仅考虑了图像数据和设备码数据在时间上的匹配(时间区间匹配),还考虑了二者在空间上的映射匹配(在时间C地点D拍摄到对象A的图像并采集到对象A所携带的移动设备的设备码,图像采集装置和探针必然处于邻近位置,而邻近的图像采集装置的标识和探针的标识之间存在设备映射关系),使得关联得到的初始关联关系更加准确可靠。
下面对本发明的数据关联方法的过程进行详细介绍。
在本发明的一个可选实施例中,对如何得到时间区间进行限定。
若抓拍时间为1点1分30秒,可笃定的认为其属于1点1分-1点2分这一时间区间,即便抓拍时间的记录存在一定偏差(如±10s),修正后的抓拍时间仍属于1点1分-1点2分这一时间区间。然而,若抓拍时间为1点1分1秒或1点1分59秒,当抓拍时间的记录存在±10s偏差时,修正后的抓拍时间完全可能属于其他时间区间。本避免这种情况发生,导致本是匹配的图像时间区间和设备码时间区间不匹配,在确定抓拍时间和采集时间对应的时间区间时,可对由抓拍时间确定图像时间区间的方式、由采集时间确定设备码时间区间的方式、或由抓拍时间确定图像时间区间以及由采集时间确定设备码时间区间的方式做如下处理:
将抓拍时间和/或采集时间作为准确时间,抓拍时间相应的时间区间为图像时间区间,采集时间相应的时间区间为设备码时间区间,参考图3,确定准确时间对应的时间区间,得到相应的时间区间包括:
步骤S301,将准确时间落入的时间区间作为当前时间区间,其中,时间区间是按照分区时长对时间进行划分得到的,每个时间区间包含起点时间和终点时间。可以理解的是,当前时间区间是准确时间落入的准确时间区间。
上述分区时长可以为设定的分区时长,例如,上述分区时长可以为1分钟,当分区时长为1分钟时,划分得到的时间区间具体可以包括:[0:00:00-0:00:59]、[0:01:00-0:01:59]、[0:02:00-0:02:59]、[0:03:00-0:03:59]等等。
步骤S302,若准确时间距离当前时间区间的起点时间小于第一时长阈值,则将当前时间区间和当前时间区间的上一时间区间作为准确时间对应的时间区间。
上述准确时间对应的时间区间即为图像时间区间或设备码时间区间。
例如,上述准确时间为0:02:16,其落入的时间区间为[0:02:00-0:02:59],即当前时间区间为[0:02:00-0:02:59],准确时间0:02:16距离当前时间区间[0:02:00-0:02:59]的起点时间0:02:00为16秒,若第一时长阈值为20秒,则说明准确时间距离当前时间区间的起点时间小于第一时长阈值,那么,就将当前时间区间[0:02:00-0:02:59]和当前时间区间的上一时间区间[0:01:00-0:01:59]作为准确时间0:02:16对应的时间区间。
本发明实施例对上述分区时长、第一时长阈值不进行具体限定,还可以为其它任意值。
步骤S303,若准确时间距离当前时间区间的终点时间小于第二时长阈值,则将当前时间区间和当前时间区间的下一时间区间作为准确时间对应的时间区间。
该过程与上述步骤S302中的过程相似,具体内容可参见上述步骤S302中的举例,在此不再赘述。
上述第二时长阈值可以与上述第一时长阈值相同,也可以与上述第一时长阈值不同,本发明实施例对此不进行具体限定。
可以理解的是,若准确时间与起点时间或终点时间接近时,存在一定本应落入相邻时间区间的概率,此时将当前时间区间的上一时间区间或下一时间区间也作为准确时间对应的时间区间。如此,能够避免使本是匹配的图像时间区间和设备码时间区间因为抓拍时间或采集时间有实际情况有偏差而导致不匹配,提高了容错能力。
步骤S304,若准确时间距离当前时间区间的起点时间不小于第一时长阈值,且准确时间距离当前时间区间的终点时间不小于第二时长阈值,则将当前时间区间作为准确时间对应的时间区间。
在本发明的一个可选实施例中,当准确时间为抓拍时间时,确定采集时间对应的时间区间,得到设备码时间区间包括:将所述采集时间落入的时间区间作为所述设备码时间区间。
或者,当准确时间为采集时间时,确定所述抓拍时间对应的时间区间,得到图像时间区间包括:将所述抓拍时间落入的时间区间作为所述图像时间区间。
可以理解的是,只要在确定抓拍时间对应的时间区间的过程,或确定采集时间对应的时间区间的过程二者之一中,将时间区间扩展到相邻时间区间,即可提高容错性。因此,若抓拍时间对应的时间区间扩展到了相邻时间区间,采集时间对应的时间区间可以不必扩展,只将采集时间落入的时间区间作为采集时间对应的时间区间即可。同样的,若采集时间对应的时间区间扩展到了相邻时间区间,抓拍时间对应的时间区间可以不必扩展,只将抓拍时间落入的时间区间作为抓拍时间对应的时间区间即可。
当然,如果在这两个过程中都将时间区间扩展到相邻时间区间,容错性提高更明显,但可能带来计算量的提升。基于以上时间区间扩展构思,本发明提供了时间扩展的具体实施方式。在本发明的一个可选实施例中,参考图4,确定抓拍时间对应的时间区间包括如下步骤:
步骤S401,确定第一关联时长和第二关联时长。
其中,第一关联时长为抓拍时间之前的预定时长,第二关联时长为抓拍时间之后的预定时长。
另外,第一关联时长和第二关联时长可以理解为与图像数据关联的设备码数据需要满足的时间条件。例如:第一关联时长可以为30秒,第二关联时长可以为10秒,具体含义可以为凡是在抓拍时间前30秒得到的设备码数据(具体可根据采集时间判断其是否在抓拍时间的前30秒内)和在抓拍时间后10秒得到的设备码数据(具体可根据采集时间判断其是否在抓拍时间的后10秒内)都与该抓拍时间对应的图像数据关联。第一关联时长和第二关联时长可根据抓拍时间、采集时间的常见偏差量决定,例如抓拍时间是1:01:30,抓拍时间的偏差量通常在30s,则需要把第一、第二关联时长数值设置的大一些。第一关联时长和第二关联时长还根据所需的容错性决定。如果要求容错性高,即便抓拍时间偏差了30s也要能够找到证据的图像时间区间,则也需要把第一、第二关联时长数值设置的大一些,在确定图像时间区间时达到“宁多勿漏”的标准。当然,本发明实施例对上述第一关联时长和上述第二关联时长的具体值不进行限定。
步骤S402,根据第一关联时长和第二关联时长确定用于对抓拍时间进行分区处理的分区时长。
步骤S401和步骤S402的执行次序可以为先通过步骤S401确定第一关联时长和第二关联时长(例如获取预设的第一关联时长和第二关联时长),再通过步骤S402根据第一关联时长和第二关联时长确定用于对抓拍时间进行分区处理的分区时长。
步骤S401和步骤S402的执行次序还可以为先通过步骤S402确定分区时长(例如获取预设值),再通过步骤S401根据分区时长确定第一关联时长和第二关联时长。
在此仅以前一种方式为实施例。
实现时,可以按照如下算式确定分区时长:分区时长=(math.ceil(第一关联时长+第二关联时长)/60.0)*60。例如,当第一关联时长为30秒,第二关联时长为10秒时,math.ceil(第一关联时长+第二关联时长)/60.0=math.ceil(30秒+10秒)/60.0=math.ceil(0.666)秒,其中math.ceil表示向上取整,所以math.ceil(0.666)秒=1秒,那么(math.ceil(第一关联时长+第二关联时长)/60.0)*60=1*60=60秒,即计算得到分区时长为60秒。当然,还可以根据其它算式确定分区时长,本发明实施例对分区时长的确定不进行具体限定。
步骤S403,基于抓拍时间、分区时长、第一关联时长和第二关联时长确定图像时间区间。
其中,每个图像时间区间的时长为分区时长。
该过程具体包括如下步骤S4031至步骤S4034:
步骤S4031,将抓拍时间按照分区时长进行分区,得到第一图像时间区间的起点时间,进而得到第一图像时间区间。
在按照分区时长进行分区时,具体按照如下算式实现:
第一图像时间区间的起点时间=(抓拍时间/分区时长)*分区时长。例如,抓拍时间为0:01:21,分区时长为1分钟,那么第一图像时间区间的起点时间=(0:01:21/1分钟)*1分钟=0:01:00,相当于舍去了抓拍时间中的秒数,进而第一图像时间区间为[0:01:00-0:01:59]。
步骤S4032,基于第一关联时长和第二关联时长,判断抓拍时间是否在第一图像时间区间的相邻图像时间区间。
具体包括如下判断过程:
1)若抓拍时间与第一图像时间区间的起点时间的差小于第一关联时长,则确定抓拍时间在第一图像时间区间的前一图像时间区间。
其中,前一图像时间区间根据第一图像时间区间和分区时长确定。
例如,抓拍时间为0:01:21,得到的第一图像时间区间的起点时间为0:01:00,第一关联时长为30秒,那么抓拍时间-第一图像时间区间的起点时间的差等于21秒,小于第一关联时长30秒,那么可以确定抓拍时间0:01:21还在第一图像时间区间[0:01:00-0:01:59]的前一图像时间区间[0:00:00-0:00:59]。
2)若抓拍时间与第二关联时长的和大于第一图像时间区间的起点时间与分区时长的和,则确定抓拍时间在第一图像时间区间的后一图像时间区间。
其中,后一图像时间区间根据第一图像时间区间和分区时长确定。
例如,抓拍时间为0:01:57,得到的第一图像时间区间的起点时间为0:01:00,第二关联时长为10秒,抓拍时间与第二关联时长的和=0:01:57+10秒=0:02:07,而第一图像时间区间的起点时间与分区时长的和=0:01:00+1分钟=0:02:00,显然,0:02:07大于0:02:00,那么可以确定抓拍时间0:01:57还在第一图像时间区间[0:01:00-0:01:59]的后一图像时间区间[0:02:00-0:02:59]。。
3)若抓拍时间与第一图像时间区间的起点时间的差不小于第一关联时长,且抓拍时间与第二关联时长的和不大于第一图像时间区间的起点时间与分区时长的和,则确定抓拍时间不在第一图像时间区间的相邻图像时间区间。
这里不再对该种情况进行举例说明。
步骤S4033,若抓拍时间在第一图像时间区间的相邻图像时间区间,则将第一图像时间区间和相邻图像时间区间作为图像时间区间。
例如,对于抓拍时间0:01:21,其最终确定的图像时间区间为:[0:01:00-0:01:59]和[0:00:00-0:00:59],而对于抓拍时间0:01:57,其最终确定的图像时间区间为:[0:01:00-0:01:59]和[0:02:00-0:02:59]。
步骤S4034,若抓拍时间不在第一图像时间区间的相邻图像时间区间,则将第一图像时间区间作为图像时间区间。
按照上述步骤S4031至步骤S4034的过程便能够确定得到每个抓拍时间所对应的图像时间区间。
在本发明实施例中,确定采集时间对应的时间区间的过程包括如下(1)—(3)的过程:
(1)确定第一关联时长和第二关联时长。
其中,第一关联时长为抓拍时间之前的预定时长,第二关联时长为抓拍时间之后的预定时长。
该第一关联时长与上述步骤S401中的第一关联时长相同,该第二关联时长与上述步骤S401中的第二关联时长相同,在此不再赘述。
(2)根据第一关联时长和第二关联时长确定用于对采集时间进行分区处理的分区时长。
步骤(1)和步骤(2)的执行次序可以为先通过步骤(1)确定第一关联时长和第二关联时长(例如获取预设的第一关联时长和第二关联时长),再通过步骤(2)根据第一关联时长和第二关联时长确定用于对抓拍时间进行分区处理的分区时长。
步骤(1)和步骤(2)的执行次序还可以为先通过步骤(2)确定分区时长,再通过步骤(1)根据分区时长确定第一关联时长和第二关联时长。
这里确定分区时长的过程与上述步骤S402中确定分区时长的过程相同,同理,在此不再赘述。
(3)将采集时间按照分区时长进行分区,得到设备码时间区间的起点时间,进而得到设备码时间区间。
在按照分区时长进行分区时,具体按照如下算式实现:
设备码时间区间的起点时间=(采集时间/分区时长)*分区时长。例如,采集时间为0:01:31,分区时长为1分钟,那么设备码时间区间的起点时间=(0:01:31/1分钟)*1分钟=0:01:00,相当于舍去了采集时间中的秒数,进而设备码时间区间为[0:01:00-0:01:59]。
按照上述(1)至步骤(3)的过程便能够确定得到每个采集时间所对应的设备码时间区间。
在本发明实施例中,参考图5,基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系包括如下步骤:
步骤S501,在具有初始关联关系的第一图像数据和第一设备码数据中,计算第一图像数据中的抓拍时间和第一设备码数据中的采集时间的时间差。
例如:在初始关联关系中,第一图像数据的抓拍时间为0:01:21,第一设备码数据的采集时间为0:01:29,二者的时间差为9秒。
步骤S502,判断时间差是否小于关联时长。
上述关联时长包括:第一关联时长和第二关联时长,第一关联时长为抓拍时间之前的预定时长,第二关联时长为抓拍时间之后的预定时长。
在得到时间差后,进一步判断时间差是否小于第一关联时长或第二关联时长。如步骤S501中的举例,采集时间在抓拍时间的后9秒,而第二关联时长为10秒,表示采集时间在抓拍时间后10秒的设备码数据都应该与该抓拍时间对应的图像数据关联,也就是计算得到的时间差小于第二关联时长。
步骤S503,若时间差小于关联时长,则确定第一图像数据和第一设备码数据具有目标关联关系。
步骤S504,若时间差不小于关联时长,则确定第一图像数据和第一设备码数据之间的初始关联关系为无效关联关系。
为了更好的理解本发明的数据关联方法,下面以一个具体的实例对数据关联的过程进行介绍。
如:获取到的图像数据为:
对象标识 抓拍时间 图像采集装置的标识
Profile_id2 0:02:01 Cameral1
Profile_id3 0:01:21 Cameral3
Profile_id2 0:02:12 Cameral3
Profile_id1 0:02:31 Cameral2
Profile_id1 0:01:01 Cameral2
获取到的设备码数据为:
探针的标识 采集时间 设备码
Probe_id1 0:02:01 Imsi4
Probe_id3 0:01:21 Imsi2
Probe_id2 0:02:12 Imsi4
Probe_id1 0:02:31 Imsi2
Probe_id2 0:01:58 Imsi3
另外,设定凡是在抓拍时间前30秒和抓拍时间后10秒内的设备码数据都与该抓拍时间对应的图像数据关联,即第一关联时长为30秒,第二关联时长为10秒,分区时长为1分钟。
按照上述步骤S401至步骤S403确定抓拍时间对应的时间区间,得到的结果为:
按照上述(1)—(3)确定采集时间对应的时间区间,得到的结果为:
设备码时间区间 探针的标识 采集时间 设备码
[0:02:00-0:02:59] Probe_id1 0:02:01 Imsi4
[0:01:00-0:01:59] Probe_id3 0:01:21 Imsi2
[0:02:00-0:02:59] Probe_id2 0:02:12 Imsi4
[0:02:00-0:02:59] Probe_id1 0:02:31 Imsi2
[0:01:00-0:01:59] Probe_id2 0:01:58 Imsi3
假设设备映射关系为:
图像采集装置的标识 探针的标识
Cameral1 Probe_id1
Cameral2 Probe_id2
Cameral3 Probe_id3
基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系(下表中只是示出了时间区间的起点时间):
最后,基于抓拍时间和采集时间(在抓拍时间前30秒和抓拍时间后10秒以外的设备码数据不与该抓拍时间对应的图像数据关联)对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系(下表中只是示出了时间区间的起点时间):
在得到上述目标关联关系后,根据目标关联关系得到关联结果:
若历史关联结果中,Profile_id2和Imsi2关联了5次,Profile_id2和Imsi4关联了2次,那么根据上述关联结果对历史关联结果进行更新,更新后的关联结果中,Profile_id2和Imsi2就关联了7次,Profile_id2和Imsi4关联了3次,得到的更新后的关联结果就作为新的历史关联结果作为下一次的历史关联结果使用。
再根据展示策略对更新后的关联结果进行处理,得到数据展示结果。具体的,展示策略可以为:对于同一对象标识,按照关联次数降序的方式对设备码进行排序,随后只取前N个设备码与该对象标识进行关联展示。如上述举例,对于Profile_id2的对象标识来讲,得到的排序结果为Imsi2,Imsi4,可以只取前1个设备码(即Imsi2)与Profile_id2进行关联展示。
需要说明的是:如果排序后,与对象标识匹配的设备码的个数小于等于N,则不论有多少设备码,都应该进行保存展示,目的是防止系统刚运行时,数据在一个积累阶段,随意丢弃数据可能会导致真正的设备码丢失。N的值可根据业务经验灵活配置,比如配置成20,即一个对象标识只保留前20个设备码,在系统部署前期,关联次数可能比较低,而且同一排名下可能会有多个设备码,但是这些都需要保存下来,一直到系统稳定运行积累一定数据后,才能逐步清除干扰数据,确定正确的关联关系。
本发明的数据关联方法需要在大数据量长时间的历史累计中才能得到正确的关联关系,当对象标识和设备码匹配超过一定次数(阈值可配),且按关联次数降序排序取前N个设备码结果后,才确定关联结果具有较高的可信度,才会存到数据库中供前端业务使用。
实施例3:
本发明实施例还提供了一种数据关联装置,该数据关联装置主要用于执行本发明实施例上述内容所提供的数据关联方法,以下对本发明实施例提供的数据关联装置做具体介绍。
图6是根据本发明实施例的一种数据关联装置的示意图,如图6所示,该数据关联装置主要包括:获取单元10、第一确定单元20、关系建立单元30、过滤单元40和第二确定单元50,其中:
获取单元,用于获取待关联对象的图像数据和待关联移动设备的设备码数据,其中,图像数据至少包括:待关联对象的图像的抓拍时间、采集图像的图像采集装置的标识和对象标识,设备码数据至少包括:设备码、设备码的采集时间和采集设备码的探针的标识;
第一确定单元,用于确定抓拍时间和采集时间对应的时间区间,得到图像时间区间和设备码时间区间;
关系建立单元,用于基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系;
过滤单元,用于基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系;
第二确定单元,用于基于图像数据和设备码数据之间的目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。
在本发明实施例中,先获取待关联图像的图像数据和待关联移动设备的设备码数据;然后,确定图像数据中的抓拍时间和设备码数据中的采集时间对应的时间区间,得到图像时间区间和设备码时间区间;进而,基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系;再基于抓拍时间和采集时间,对初始关联关系进行过滤,得到图像数据和设备码数据之间的目标关联关系;最后,基于图像数据和设备码数据之间的目标关联关系、图像数据中的对象标识、设备码数据中的设备码,得到待关联对象和待关联移动设备的关联关系。通过上述描述可知,通过确定图像时间区间和设备码时间区间,进而基于图像时间区间、设备码时间区间、图像采集装置的标识和探针的标识建立图像数据和设备码数据之间的初始关联关系,降低了数据关联的计算量,节省了数据关联的时间,另外,对初始关联关系进行过滤,使得过滤得到的图像数据和设备码数据之间的目标关联关系更加准确,进而,基于目标关联关系确定的待关联对象和待关联移动设备的关联关系也更加准确,缓解了现有的数据关联方法无法兼顾准确和耗时的问题。
可选地,上述装置还用于:获取设备映射关系,其中,设备映射关系为图像采集装置的标识和探针的标识之间的映射关系;上述关系建立单元还用于:若第二图像数据的图像时间区间和第二设备码数据的设备码时间区间匹配,且第二图像数据中的图像采集装置的标识和第二设备码数据中的探针的标识具有设备映射关系,则确定第二图像数据和第二设备码数据具有初始关联关系,其中,第二图像数据为图像数据中的任一图像数据,第二设备码数据为设备码数据中的任一设备码数据。
可选地,将抓拍时间和/或采集时间作为准确时间,抓拍时间相应的时间区间为图像时间区间,采集时间相应的时间区间为设备码时间区间,上述第一确定单元还用于:将准确时间落入的时间区间作为当前时间区间,其中,时间区间是按照分区时长对时间进行划分得到的,每个时间区间包含起点时间和终点时间;若准确时间距离当前时间区间的起点时间小于第一时长阈值,则将当前时间区间和当前时间区间的上一时间区间作为准确时间对应的时间区间;若准确时间距离当前时间区间的终点时间小于第二时长阈值,则将当前时间区间和当前时间区间的下一时间区间作为准确时间对应的时间区间。
可选地,上述第一确定单元还用于:当所述准确时间为采集时间时,将抓拍时间落入的时间区间作为图像时间区间;或者,当所述准确时间为抓拍时间时,将采集时间落入的时间区间作为设备码时间区间。
可选地,上述第一确定单元还用于:确定第一关联时长和第二关联时长,其中,第一关联时长为抓拍时间之前的预定时长,第二关联时长为抓拍时间之后的预定时长;根据第一关联时长和第二关联时长确定用于对抓拍时间进行分区处理的分区时长;基于抓拍时间、分区时长、第一关联时长和第二关联时长确定图像时间区间,其中,每个图像时间区间的时长为分区时长。
可选地,上述第一确定单元还用于:将抓拍时间按照分区时长进行分区,得到第一图像时间区间的起点时间,进而得到第一图像时间区间;基于第一关联时长和第二关联时长,判断抓拍时间是否在第一图像时间区间的相邻图像时间区间;若抓拍时间在第一图像时间区间的相邻图像时间区间,则将第一图像时间区间和相邻图像时间区间作为图像时间区间;若抓拍时间不在第一图像时间区间的相邻图像时间区间,则将第一图像时间区间作为图像时间区间。
可选地,上述第一确定单元还用于:若抓拍时间与第一图像时间区间的起点时间的差小于第一关联时长,则确定抓拍时间在第一图像时间区间的前一图像时间区间,其中,前一图像时间区间根据第一图像时间区间和分区时长确定;若抓拍时间与第二关联时长的和大于第一图像时间区间的起点时间与分区时长的和,则确定抓拍时间在第一图像时间区间的后一图像时间区间,其中,后一图像时间区间根据第一图像时间区间和分区时长确定;若抓拍时间与第一图像时间区间的起点时间的差不小于第一关联时长,且抓拍时间与第二关联时长的和不大于第一图像时间区间的起点时间与分区时长的和,则确定抓拍时间不在第一图像时间区间的相邻图像时间区间。
可选地,上述第一确定单元还用于:确定第一关联时长和第二关联时长,其中,第一关联时长为抓拍时间之前的预定时长,第二关联时长为抓拍时间之后的预定时长;根据第一关联时长和第二关联时长确定用于对采集时间进行分区处理的分区时长;将采集时间按照分区时长进行分区,得到设备码时间区间的起点时间,进而得到设备码时间区间。
可选地,上述过滤单元还用于:在具有初始关联关系的第一图像数据和第一设备码数据中,计算第一图像数据中的抓拍时间和第一设备码数据中的采集时间的时间差;判断时间差是否小于关联时长;若小于关联时长,则确定第一图像数据和第一设备码数据具有目标关联关系。
可选地,该装置还用于:根据具有目标关联关系的目标图像数据和目标设备码数据,更新目标待关联对象和目标待关联移动设备的关联次数,其中,目标待关联对象为目标图像数据中的对象标识对应的待关联对象,目标待关联移动设备为目标设备码数据中的设备码对应的待关联移动设备。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本发明的另一个实施中,还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述方法实施例2中任一项所述的方法的步骤。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种数据关联方法,其特征在于,包括:
获取待关联对象的图像数据和待关联移动设备的设备码数据,其中,所述图像数据至少包括:所述待关联对象的图像的抓拍时间、采集所述图像的图像采集装置的标识和对象标识,所述设备码数据至少包括:设备码、所述设备码的采集时间和采集所述设备码的探针的标识;
确定所述抓拍时间和所述采集时间对应的时间区间,得到图像时间区间和设备码时间区间,其中,所述图像时间区间为所述抓拍时间相应的时间区间,所述设备码时间区间为所述采集时间相应的时间区间;
基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系,其中,具有所述初始关联关系的图像数据和设备码数据的特点包括:所述图像数据中的图像采集装置的标识和所述设备码数据中的探针的标识之间具有映射关系;
基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤,得到所述图像数据和所述设备码数据之间的目标关联关系;
基于所述图像数据和所述设备码数据之间的目标关联关系、所述图像数据中的对象标识、所述设备码数据中的设备码,得到所述待关联对象和所述待关联移动设备的关联关系。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取设备映射关系,其中,所述设备映射关系为图像采集装置的标识和探针的标识之间的映射关系;
基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系包括:
若第二图像数据的图像时间区间和第二设备码数据的设备码时间区间匹配,且所述第二图像数据中的图像采集装置的标识和所述第二设备码数据中的探针的标识具有设备映射关系,则确定所述第二图像数据和所述第二设备码数据具有初始关联关系,其中,所述第二图像数据为所述图像数据中的任一图像数据,所述第二设备码数据为所述设备码数据中的任一设备码数据。
3.根据权利要求1或2所述的方法,其特征在于,将所述抓拍时间和/或所述采集时间作为准确时间,确定所述准确时间对应的时间区间,得到相应的时间区间包括:
将所述准确时间落入的时间区间作为当前时间区间,其中,所述时间区间是按照分区时长对时间进行划分得到的,每个时间区间包含起点时间和终点时间;
若所述准确时间距离所述当前时间区间的起点时间小于第一时长阈值,则将所述当前时间区间和所述当前时间区间的上一时间区间作为所述准确时间对应的时间区间;
若所述准确时间距离所述当前时间区间的终点时间小于第二时长阈值,则将所述当前时间区间和所述当前时间区间的下一时间区间作为所述准确时间对应的时间区间。
4.根据权利要求3所述的方法,其特征在于,当所述准确时间为抓拍时间时,确定所述采集时间对应的时间区间,得到设备码时间区间包括:
将所述采集时间落入的时间区间作为所述设备码时间区间;
或者,当所述准确时间为采集时间时,确定所述抓拍时间对应的时间区间,得到图像时间区间包括:
将所述抓拍时间落入的时间区间作为所述图像时间区间。
5.根据权利要求1所述的方法,其特征在于,确定所述抓拍时间对应的时间区间包括:
确定第一关联时长和第二关联时长,其中,所述第一关联时长为所述抓拍时间之前的预定时长,所述第二关联时长为所述抓拍时间之后的预定时长;
根据所述第一关联时长和所述第二关联时长确定用于对所述抓拍时间进行分区处理的分区时长;
基于所述抓拍时间、所述分区时长、所述第一关联时长和所述第二关联时长确定所述图像时间区间,其中,每个图像时间区间的时长为所述分区时长。
6.根据权利要求5所述的方法,其特征在于,基于所述抓拍时间、所述分区时长、所述第一关联时长和所述第二关联时长确定所述图像时间区间包括:
将所述抓拍时间按照所述分区时长进行分区,得到第一图像时间区间的起点时间,进而得到第一图像时间区间;
基于所述第一关联时长和所述第二关联时长,判断所述抓拍时间是否在所述第一图像时间区间的相邻图像时间区间;
若所述抓拍时间在所述第一图像时间区间的相邻图像时间区间,则将所述第一图像时间区间和所述相邻图像时间区间作为所述图像时间区间;
若所述抓拍时间不在所述第一图像时间区间的相邻图像时间区间,则将所述第一图像时间区间作为所述图像时间区间。
7.根据权利要求6所述的方法,其特征在于,基于所述第一关联时长和所述第二关联时长,判断所述抓拍时间是否在所述第一图像时间区间的相邻图像时间区间包括:
若所述抓拍时间与所述第一图像时间区间的起点时间的差小于所述第一关联时长,则确定所述抓拍时间在所述第一图像时间区间的前一图像时间区间,其中,所述前一图像时间区间根据所述第一图像时间区间和所述分区时长确定;
若所述抓拍时间与所述第二关联时长的和大于所述第一图像时间区间的起点时间与所述分区时长的和,则确定所述抓拍时间在所述第一图像时间区间的后一图像时间区间,其中,所述后一图像时间区间根据所述第一图像时间区间和所述分区时长确定;
若所述抓拍时间与所述第一图像时间区间的起点时间的差不小于所述第一关联时长,且所述抓拍时间与所述第二关联时长的和不大于所述第一图像时间区间的起点时间与所述分区时长的和,则确定所述抓拍时间不在所述第一图像时间区间的相邻图像时间区间。
8.根据权利要求1、2、5-7任一项所述的方法,其特征在于,确定所述采集时间对应的时间区间包括:
确定第一关联时长和第二关联时长,其中,所述第一关联时长为所述抓拍时间之前的预定时长,所述第二关联时长为所述抓拍时间之后的预定时长;
根据所述第一关联时长和所述第二关联时长确定用于对所述采集时间进行分区处理的分区时长;
将所述采集时间按照所述分区时长进行分区,得到所述设备码时间区间的起点时间,进而得到所述设备码时间区间。
9.根据权利要求1、2、5-7任一项所述的方法,其特征在于,基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤包括:
在具有所述初始关联关系的第一图像数据和第一设备码数据中,计算所述第一图像数据中的抓拍时间和所述第一设备码数据中的采集时间的时间差;
判断所述时间差是否小于关联时长;
若小于所述关联时长,则确定所述第一图像数据和所述第一设备码数据具有所述目标关联关系。
10.根据权利要求1、2、5-7任一项所述的方法,其特征在于,所述方法还包括:
根据具有所述目标关联关系的目标图像数据和目标设备码数据,更新目标待关联对象和目标待关联移动设备的关联次数,其中,所述目标待关联对象为所述目标图像数据中的对象标识对应的待关联对象,所述目标待关联移动设备为所述目标设备码数据中的设备码对应的待关联移动设备。
11.一种数据关联装置,其特征在于,包括:
获取单元,用于获取待关联对象的图像数据和待关联移动设备的设备码数据,其中,所述图像数据至少包括:所述待关联对象的图像的抓拍时间、采集所述图像的图像采集装置的标识和对象标识,所述设备码数据至少包括:设备码、所述设备码的采集时间和采集所述设备码的探针的标识;
第一确定单元,用于确定所述抓拍时间和所述采集时间对应的时间区间,得到图像时间区间和设备码时间区间,其中,所述图像时间区间为所述抓拍时间相应的时间区间,所述设备码时间区间为所述采集时间相应的时间区间;
关系建立单元,用于基于所述图像时间区间、所述设备码时间区间、所述图像采集装置的标识和所述探针的标识建立所述图像数据和所述设备码数据之间的初始关联关系,其中,具有所述初始关联关系的图像数据和设备码数据的特点包括:所述图像数据中的图像采集装置的标识和所述设备码数据中的探针的标识之间具有映射关系;
过滤单元,用于基于所述抓拍时间和所述采集时间,对所述初始关联关系进行过滤,得到所述图像数据和所述设备码数据之间的目标关联关系;
第二确定单元,用于基于所述图像数据和所述设备码数据之间的目标关联关系、所述图像数据中的对象标识、所述设备码数据中的设备码,得到所述待关联对象和所述待关联移动设备的关联关系。
12.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至10中任一项所述的方法。
13.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机运行所述计算机程序时执行上述权利要求1至10中任一项所述的方法的步骤。
CN202110479031.XA 2021-04-29 2021-04-29 数据关联方法、装置和电子设备 Active CN113268482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110479031.XA CN113268482B (zh) 2021-04-29 2021-04-29 数据关联方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110479031.XA CN113268482B (zh) 2021-04-29 2021-04-29 数据关联方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113268482A CN113268482A (zh) 2021-08-17
CN113268482B true CN113268482B (zh) 2023-12-08

Family

ID=77229748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110479031.XA Active CN113268482B (zh) 2021-04-29 2021-04-29 数据关联方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113268482B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280368A (zh) * 2018-01-22 2018-07-13 北京腾云天下科技有限公司 一种线上数据和线下数据的关联方法及计算设备
CN108540755A (zh) * 2017-03-01 2018-09-14 中国电信股份有限公司 身份识别方法和装置
CN110825893A (zh) * 2019-09-18 2020-02-21 北京旷视科技有限公司 一种目标查找方法、装置、系统及存储介质
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143231B (zh) * 2018-11-02 2023-06-13 伊姆西Ip控股有限责任公司 用于数据处理的方法、设备和计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540755A (zh) * 2017-03-01 2018-09-14 中国电信股份有限公司 身份识别方法和装置
CN108280368A (zh) * 2018-01-22 2018-07-13 北京腾云天下科技有限公司 一种线上数据和线下数据的关联方法及计算设备
CN110825893A (zh) * 2019-09-18 2020-02-21 北京旷视科技有限公司 一种目标查找方法、装置、系统及存储介质
CN112232178A (zh) * 2020-10-13 2021-01-15 重庆紫光华山智安科技有限公司 基于人像聚档的区域落脚点判定方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113268482A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110175549B (zh) 人脸图像处理方法、装置、设备及存储介质
CN110139075B (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN109656973B (zh) 一种目标对象关联分析方法及装置
CN112419120B (zh) 群体性聚集事件预警方法、装置、系统和电子设备
CN112434039A (zh) 数据的存储方法、装置、存储介质以及电子装置
CN111368619A (zh) 可疑人员的检测方法、装置及设备
CN114140713A (zh) 一种图像识别系统、图像识别方法
CN109559336B (zh) 对象追踪方法、装置及存储介质
CN111274287A (zh) 人员集合同行信息的挖掘方法、装置及电子设备
CN116108491B (zh) 基于半监督联邦学习的数据泄露预警方法、装置及系统
CN114140712A (zh) 一种自动图像识别分发系统及方法
CN113992340A (zh) 用户异常行为识别方法、装置、设备、存储介质和程序
CN113949881B (zh) 一种基于智慧城市数据的业务处理方法及系统
CN111629336B (zh) 一种目标区域内人数确定方法、装置、设备及存储介质
CN113268482B (zh) 数据关联方法、装置和电子设备
CN108197050B (zh) 一种设备识别方法、装置及系统
CN112714010B (zh) 一种网络拓扑管理方法、装置、拓展单元及存储介质
CN113220750A (zh) 同行人员的识别方法、装置及计算机可读存储介质
CN112183161A (zh) 人脸数据库的处理方法、装置及设备
CN115083004A (zh) 一种身份识别方法、装置和计算机可读存储介质
CN114648056A (zh) 关联方法、电子设备及计算机可读存储介质
WO2018122889A1 (ja) 異常検出方法、システムおよびプログラム
CN112232113B (zh) 人员识别方法、人员识别装置、存储介质与电子设备
CN110035392B (zh) 设备是否位于目标区域的识别方法及装置和电子设备
CN114996080A (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant