CN113591958B - 融合物联网数据和信息网数据的方法、装置及设备 - Google Patents
融合物联网数据和信息网数据的方法、装置及设备 Download PDFInfo
- Publication number
- CN113591958B CN113591958B CN202110827354.3A CN202110827354A CN113591958B CN 113591958 B CN113591958 B CN 113591958B CN 202110827354 A CN202110827354 A CN 202110827354A CN 113591958 B CN113591958 B CN 113591958B
- Authority
- CN
- China
- Prior art keywords
- data
- internet
- things
- information network
- characteristic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000000605 extraction Methods 0.000 claims abstract description 93
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000007499 fusion processing Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001680 brushing effect Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/75—Information technology; Communication
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种融合物联网数据和信息网数据的方法、装置及设备，属于互联网技术领域。所述方法包括：获取物联网数据和信息网数据；分别对物联网数据和信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；对预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对预处理后的信息网数据进行特征提取处理，得到信息网特征数据；对物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，融合数据中包括物联网特征数据、信息网特征数据、以及物联网特征数据和信息网特征数据对应的关联信息。采用本申请，可以通过对物联网数据和信息网数据进行数据预处理和特征提取，将物联网数据和信息网数据进行融合。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种融合物联网数据和信息网数据的方法、装置及设备。
背景技术
随着大数据技术与互联网技术的发展，大数据已经渗透到社会生活的各个方面。企业、平台等对各种业务的处理，很大一部分是对收集各种业务数据进行相应的数据处理。例如可以根据用户买房应用程序上填写的购房需求，在房源数据库中为用户推荐符合用户购房需求的房源，或者，根据道路上布置的摄像头抓拍的图像进行图像识别处理，进而确定车辆是否存在违规行为等等。
其中，业务数据可分为两类，即物联网数据和信息网数据。物联网数据可以是通过物联网设备采集的数据，例如通过道路上设置的摄像头抓拍的车辆图像、一卡通设备采集的用户的消费信息等。信息网数据可以是企业或平台在处理各种业务之前记录的业务执行对象的属性信息(如用户的性别、年龄、兴趣爱好等，或者车辆的车牌号、车型等)，或者是企业或平台在处理各种业务的过程中得到的数据(如用户感兴趣的商品类型、用户的好友关系等)。
由于物联网数据和信息网数据可以在不同的方面反映业务执行对象的相关信息，如用户的爱好、行为习惯，车辆常出现的地点等，如果在执行业务时能够将物联网数据和信息网数据融合使用，可以在一定程度上提高执行业务的效果。例如一卡通设备采集的用户的消费信息可以反映出用户在线下的消费习惯(如消费金额)，购物应用程序可以通过用户在购物应用程序的浏览记录等计算出用户的感兴趣商品类型，这样购物应用程序可以再根据用户在线下的消费金额，为用户推荐感兴趣商品，能够更加符合用户的实际需求。
但是物联网数据是通过不同的物联网设备采集得到的数据，其数据类型多种多样，例如文本数据(一卡通设备采集的用户的消费信息等)、音频数据或图像数据等。同样信息网数据也有可能包括文本数据、图像数据等不同类型的数据。由于物联网数据和信息网数据的数据类型多种多样且可能存在不同，这就为物联网数据和信息网数据的融合带来了巨大的困扰，所以在相关技术中还没有出现对物联网数据和信息网数据进行融合的技术。可见现在需要一种能够对物联网数据和信息网数据进行融合的技术。
发明内容
本申请实施例提供了一种融合物联网数据和信息网数据的方法、装置及设备，能够解决物联网数据和信息网数据难以融合的问题。所述技术方案如下：
第一方面，提供了一种融合物联网数据和信息网数据的方法，所述方法包括：
获取物联网数据和信息网数据；
分别对所述物联网数据和所述信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；
对所述预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据；
对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，所述融合数据中包括所述物联网特征数据、所述信息网特征数据、以及所述物联网特征数据和所述信息网特征数据之间的关联信息。
可选的，所述对所述预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据，包括：
基于所述预先训练的第一特征提取模型对所述预处理后的物联网数据进行特征提取处理，得到所述物联网数据对应的物联网特征数据；
基于所述预先训练的第二特征提取模型对所述预处理后的信息网数据进行特征提取处理，得到所述信息网数据对应的信息网特征数据。
可选的，所述物联网数据属于至少一个业务对象；
所述基于所述预先训练的第一特征提取模型对所述预处理后的物联网数据进行特征提取处理，得到所述物联网数据对应的物联网特征数据，包括：
对于每个业务对象，获取所述业务对象对应的物联网数据的采集时间；
基于所述每个业务对象对应的物联网数据的采集时间以及所述每个业务对象对应的物联网数据，确定输入数据；
将所述输入数据输入到预先训练的第一特征提取模型中，得到所述每个业务对象对应的物联网特征数据。
可选的，所述对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，包括：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据对应的表数据，所述表数据中包括多组特征数据，其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，所述关联信息为所述每组特征数据在所述表数据中的索引信息。
可选的，所述对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，包括：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据组成的关系图数据，其中，所述每个关系图数据中的节点数据为所述物联网特征数据、所述信息网特征数据或所述对象标签，所述关联信息为记录的所述各节点数据之间的对应关系。
可选的，所述预处理包括低质量数据滤除处理、图像识别处理、目标业务对象的滤除处理、归一化处理、离散化处理、缺失值填充处理、异常值去除处理、冗余数据去除处理中的至少一种。
第二方面、提供了一种融合物联网数据和信息网数据的装置，其特征在于，所述装置包括：
获取模块，用于获取物联网数据和信息网数据；
预处理模块，用于分别对所述物联网数据和所述信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；
特征提取模块，用于对所述预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据；
融合模块，用于对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，所述融合数据中包括所述物联网特征数据、所述信息网特征数据、以及所述物联网特征数据和所述信息网特征数据之间的关联信息。
可选的，所述特征提取模块，用于：
基于所述预先训练的第一特征提取模型对所述预处理后的物联网数据进行特征提取处理，得到所述物联网数据对应的物联网特征数据；
基于所述预先训练的第二特征提取模型对所述预处理后的信息网数据进行特征提取处理，得到所述信息网数据对应的信息网特征数据。
可选的，所述物联网数据属于至少一个业务对象；
所述特征提取模块，用于：对于每个业务对象，获取所述业务对象对应的物联网数据的采集时间；基于所述每个业务对象对应的物联网数据的采集时间以及所述每个业务对象对应的物联网数据，确定输入数据；将所述输入数据输入到预先训练的第一特征提取模型中，得到所述每个业务对象对应的物联网特征数据。
可选的，所述融合模块，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据对应的表数据，所述表数据中包括多组特征数据，其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，所述关联信息为所述每组特征数据在所述表数据中的索引信息。
可选的，所述融合模块，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据组成的关系图数据，其中，所述每个关系图数据中的节点数据为所述物联网特征数据、所述信息网特征数据或所述对象标签，所述关联信息为记录的所述各节点数据之间的对应关系。
第三方面、提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面项所述的融合物联网数据和信息网数据的方法所执行的操作。
第四方面、提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如第一方面所述的融合物联网数据和信息网数据的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
本申请通过分别对物联网数据和信息网数据进行预处理，得到预处理后的物联网数据和信息网数据，然后通过对预处理后的物联网数据和信息网数据进行特征提取处理，得到物联网特征数据和信息网特征数据，如此再通过对物联网特征数据和信息网特征数据进行融合处理，进而可以得到物联网数据和信息网数据对应的融合数据。可见采用本申请通过提取物联网数据的物联网特征信息与信息网数据的信息网特征数据，实现了对物联网数据和信息网数据的融合处理，避开了因为物联网数据和信息网数据的数据类型的不同，而难以融合的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的融合物联网数据和信息网数据的方法流程图；
图2是本申请实施例提供的融合物联网数据和信息网数据的方法示意图；
图3是本申请实施例提供的融合物联网数据和信息网数据的方法示意图；
图4是本申请实施例提供的融合物联网数据和信息网数据的装置结构示意图；
图5是本申请实施例提供的计算机设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的对物联网数据和信息网数据融合方法可以由终端或服务器实现。终端或服务器中可具备处理器和存储器，其中，存储器中可以存储有实现对物联网数据和信息网数据融合方法的程序和数据，例如数据可以是物联网数据、信息网数据等，处理器可以执行存储器中的程序，对存储的数据，如物联网数据、信息网数据，进行处理，从而实现本申请提供的对物联网数据和信息网数据融合方法。在本申请中终端或服务器还可以具备通信功能，可以接入互联网等，终端可以是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等。服务器可以是一个单独的服务器也可以是一个服务器组，如果是单独的服务器，该服务器可以负责下述方案中的所有处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。
随着大数据技术与互联网技术的发展，大数据已经渗透到社会生活的各个方面。目前企业、平台、组织等执行的各种业务，很大一部分是对收集各种业务数据进行不同的数据处理。
其中，业务数据可大致分为两类，即物联网数据和信息网数据。物联网数据可以是通过物联网设备采集的数据，例如通过道路上设置的摄像头抓拍的车辆图像、一卡通设备采集的用户的消费信息等。信息网数据可以是企业或平台在处理各种业务之前记录的业务对象的属性信息(如用户的性别、年龄、兴趣爱好等，或者车辆的车牌号、车型等)，或者是企业或平台在处理各种业务的过程中得到的数据(如用户感兴趣的商品类型、用户的好友关系等)。
本申请提供的对物联网数据和信息网数据融合的方法可以对物联网数据和信息网数据进行整合关联，例如对于一个用户，可以获取物联网设备采集的该用户在线下的一些行为数据(物联网数据)，并获取该用户在线上的一些行为数据(信息网数据)，然后将物联网数据和信息网数据进行融合处理得到融合数据。之后可以根据融合数据对该用户进行下游的任务处理，如推荐广告等。
图1是本申请实施例提供的对物联网数据和信息网数据融合的方法流程图，如图1所示，该方法包括：
步骤101、获取物联网数据和信息网数据。
其中，物联网设备可以是一卡通设备、摄像头、停车场或小区门口的闸机等，物联网设备在采集到数据后，可以将采集的数据上传至对应的数据服务器，数据服务器可以将接收到的物联网数据至对应的数据库中。其中物联网数据可以是图像数据、音频数据或者文本数据，其中文本数据可以是，一卡通设备采集的用户的消费信息等，其中可以包括消费金额、消费时间以及一卡通设备对应的地点等等。信息网数据可以是企业或组织等，对业务对象存储的属性数据，例如用户的性别、年龄、职业，或，车辆的车牌号、型号等，也可以是企业或组织对业务对象执行业务过程中得到的数据，例如用户在银行中的转账记录、用户在社交软件中的好友关系等等、记录车辆对应的违规记录等等。即信息网数据无法通过物联网设备直接采集得到，而是在企业或组织对应的系统、程序等执行业务功能之前获取，或者是在执行业务功能的过程中或执行业务功能的之后得到。同样信息网数据也可以存储在对应的数据存储服务器中。
在实施中，获取物联网数据和信息网数据的处理可以由终端或服务器实现，无论是终端还是服务器，都可以与存储物联网数据和信息网数据的服务器建立连接。在获取物联网数据和信息网数据时，可以向对应的服务器发送获取通知。其中，由于物联网数据是通过物联网设备采集的。所以在向存储物联网数据的服务器发送获取通知时，还可以在获取通知中携带时间范围信息，从而获取物联网设备在时间范围信息对应的时间范围内采集的物联网数据。对于信息网数据，由于信息网数据在存储时，都会对应存储有信息网数据对应有不同的对象标签，例如用户的账户ID、居住小区标签、工作单位标签等，或者车辆的车牌号、品牌等等。在存储信息网数据的获取通知中携带对象标签，从而可以从获取对应对象标签的信息网数据。例如，物联网数据可以是银行的服务器或终端周期性获取的合作社区门口刷脸设备或者监控设备拍摄的图像，对应的信息网数据可以是银行的服务器存储的该社区内居民的年龄、性别、转账记录等等。
步骤102、分别对物联网数据和信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据。
在实施中，由于获取的物联网数据和信息网数据可能是各种类型的数据，例如是音频数据、视频数据、文本数据等等。且通过物联网设备采集的数据对应的数据质量可能参差不齐，例如刷脸设备可能会受环境光线、人脸与刷脸设备的相对朝向等因素影响，采集的人脸图像可能存在不清楚的或者不完整的问题。或者物联网设备还可以是路由设备，路由设备上传的路由地址等可能存在丢失等问题。同样在信息网数据中也可能存储数据丢失，对应的信息网数据质量较低的问题出现。因此在对物联网数据和信息网数据处理进行融合之前，可以对物联网数据和信息网数据进行预处理。
可选的，预处理可以包括但不限于是低质量数据滤除处理、图像识别处理、目标业务对象的滤除处理、归一化处理、离散化处理、缺失值填充处理、离散化处理、异常值去除处理、冗余数据去除处理中的至少一种。
在实施中，在对物联网数据和信息网数据进行预处理之前，可以先确定物联网数据和信息网数据对应的业务对象，例如物联网数据为道路的监控视频，则对应的业务对象可以是车辆。然后可以根据业务对象对物联网数据和信息网数据进行预处理。
其中，对于低质量数据滤除处理，当物联网数据或信息网数据为图像数据、视频数据或音频数据时，可以对物联网数据进行低质量数据滤除处理。可以将对应的物联网数据或信息网数据输入到预先训练的图像质量打分模型或音频质量打分模型中，由图像质量打分模型或图像质量打分模型输出对应输入数据的质量分数。技术人员可以预先设置对应的质量分数阈值，对于质量分数低于质量分数阈值的物联网数据或信息网数据，可以进行滤除处理，只保留对应质量分数较高的物联网数据和信息网数据进行的后续数据融合处理。当物联网数据或信息网数据为文本数据时，可以根据设置文本数据对应的结构等，确定获取的文本数据是否存在数据丢失的问题，对于存在数据丢失问题的数据，可以舍弃。
图像识别处理，可以是对视频数据的物联网数据和信息网数据，进行图像识别处理，例如识别图像中包括的人、车或场景等，并可以根据对图像的识别结果对对应的图像添加标签。
目标业务对象的滤除处理，即可以根据对每个视频帧先进行图像识别处理，根据每帧图像对应的识别结果，删除识别结果为未识别到目标业务对象的视频帧，其中目标业务对象可以是预先指定的人或车等。
归一化处理，可以是对信息网中获取的数据进行归一化处理，例如信息网数据为用户在使用银行应用程序的转账记录，为了便于后续的特征提取，则可以将转账金额进行归一化处理。
缺失值填充处理和冗余数据去除处理相对应，例如使用特征提取模型对用户的转账记录进行后续的特征提取时，可以将转账记录中的转账金额组成对应的输入向量输入到特征提取模型中。但是由于特征提取模型的需要限定输入向量中包括的元素数目，如果获取的转账记录中转账金额的个数小于对应的数目，则可以进行缺失值填充处理。例如可以进行补零处理。而如果获取的转账记录中转账金额的个数大于对应的数目，则可以进行冗余数据去除处理，既可以删除多余的转账金额。
异常值去除处理可以是对物联网数据进行的处理，例如物联网数据为定位信息，则可以在获取的定位信息中确定与其他定位信息相差较大的定位信息，并删除对应的定位信息。
例如，物联网数据可以是银行的服务器或终端获取的合作社区门口刷脸设备或者监控设备拍摄的图像，对应的信息网数据可以是银行的服务器存储的该社区用户的年龄、性别、转账记录等等。则对物联网数据进行的预处理可以是低质量数据滤除处理，即删除对应质量分数较低的图像，对信息网数据的处理可以是缺失值填充处理或者冗余数据去除处理等。
另外，对于物联网数据，在进行数据预处理之后，可以确定每个物联网数据对应的业务对象的对象标签，例如对于视频数据可以确定视频数据中每个图像帧中包括人脸图像所属用户的用户标识。其中，对象标签可以由企业或组织预为每个业务对象生成。
步骤103、对预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对预处理后的信息网数据进行特征提取处理，得到信息网特征数据。
在实施中，在对物联网数据和信息网数据进行预处理之后，可以对预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对预处理后的信息网数据进行特征提取处理，得到信息网特征数据。其中对预处理后的物联网数据或信息网数据进行的特征提取处理，可以是通过预先训练的特征提取模型对预处理后的物联网数据或信息网数据进行特征提取。也可以是通过数理统计的方法，确定预处理后的物联网数据或信息网数据的数据特征。例如可以是对预处理后的物联网或信息网数据进行求取最大值、最小值、平均值等处理，从而可以确定一个用于表示物联网数据或信息网数据特征的数值。也就是说，在本步骤中，可以是根据对物联网数据或信息网数据进行预处理后，得到的每个业务对象对应的预处理后的物联网数据或信息网数据，进行特征提取，得到物联网数据和信息网数据对应的特征数据，该特征数据可以是业务对象的移动轨迹、近期消费金额、业务对象的属性信息、类别信息等。
对于通过特征提取模型对预处理后的物联网数据或信息网数据进行特征提取的处理可以如下：
基于预先训练的第一特征提取模型对预处理后的物联网数据进行特征提取处理，得到物联网数据对应的物联网特征数据；基于预先训练的第二特征提取模型对预处理后的信息网数据进行特征提取处理，得到信息网数据对应的信息网特征数据。
其中，在本申请中“第一”、“第二”不表示具体的含义，仅是为了对特征提取模型进行区分，在本申请中第一特征提取模型是对预处理后的物联网数据进行特征提取处理的特征提取模型，第二特征提取模型是对预处理后的信息网数据进行特征提取处理的特征提取模型。
第一特征提取模型和第二特征提取模型相同也可以不同，可以是图像特征提取模型、音频特征提取模型、文本特征提取模型等。具体的特征提取模型可基于卷积神经网络，和/或，残差网络实现。具体的实现的处理属于现有技术，在本申请中不再进行详细介绍。
其中，第一特征提取模型和第二特征提取模型可以是图像特征提取模型，可以从而根据输入的图像数据(物联网数据)得到业务对象的相关特征。例如如果物联网数据为视频数据时，例如可以是一些商场、商店的录像视频。在对录像视频进行预处理后，可以得到多个录像视频中出现消费者的多个视频段，然后在特征提取处理中，可以通过图像特征提取模型，提取视频段中每个消费者的性别信息、年龄信息等。
另外本申请还提供了一种特征提取模型，可以将物联网数据或信息网数据对应的时间信息，作为模型的输入数据之一，从而得到包括时间特征信息的物联网特征数据或者信息网特征数据。相应的处理如下：物联网数据属于至少一个业务对象；对于每个业务对象，获取业务对象对应的物联网数据的采集时间；基于每个业务对象对应的物联网数据的采集时间，以及每个业务对象对应的物联网数据，确定输入数据，将输入数据输入到预先训练的第一特征提取模型中，得到每个业务对象对应的物联网数据的物联网特征信息。
物联网数据中一般可以记录有数据的采集时间，或者存储物联网数据的服务器可以记录接收到每个物联网数据的时间，或者通过上述对物联网数据进行的预处理可以确定物联网设备采集到业务对象对应的物联网数据的采集时间。例如一卡通设备采集的用户的刷卡信息，或者刷脸设备采集的人脸图像等。如果物联网设备为采集的为视频数据，则可以根据在视频数据中识别到业务对象对应的视频帧对应的时间点，确定为业务对象对应的物联网数据的采集时间。
其中，业务对象对应的物联网数据的采集时间一般可以包括多个，例如用户可以在不同的时间点在一卡通设备进行刷卡，或者在不同的时间内出现在某个摄像头对应的拍摄范围内。如此在获取到业务对象对应的物联网数据的采集时间之后，可以根据采集时间组成采集时间向量，并将对应的物联网数据组成物联网数据向量。然后可以根据采集时间向量与物联网数据向量确定输入到特征提取模型中，由特征提取模型得到每个业务对象对应的物联网数据的物联网特征数据，在该物联网特征数据中可以包括时间维度的信息。
该特征提取模型可以基于序列建模方法实现，例如Transformer(一种深度学习的网络结构)。具体处理可以如下：
例如，每个业务对象u的行为序列(物联网数据组成的序列)为和对应时间戳序列(物联网数据对应的采集时间组成的序列)为/>经过数据截断和填充后，可以提取时间戳序列中各元素之间的时间间隔：/>另外，还可以对/>的取值范围进行限制，/>其中，k为预设值，/>为|Ti-Tj|的最小值。
然后可以对时间间隔分别在K空间和V空间进行嵌入表示，记为/>基于时间感知的多头自注意力机制经过本层的变换，原序列/>的表征/>被变换为/>
其中和/>分别为K空间和V空间下的position encoding(位置编码)，WQ、WK、d为预设参数，/>为/>对应矩阵中的元素，/>为/>对应矩阵中的元素，Z即为包括时间特征信息的特征数据。
例如，物联网数据可以是一卡通记录的消费信息，其中包括业务对象的每次的消费金额和消费时间，可以用户的消费金额即为物联网数据，消费时间即为物联网数据的采集时间。然后可以将消费金额和消费时间确定对应的特征提取模型的输入数据，由特征提取模型输出业务对象的特征数据，例如可以是业务对象近期的消费指数。或者物联网数据可以是的服务器或终端获取的合作社区门口刷脸设备或者监控设备拍摄的图像，银行的服务器存储的该社区用户的转账记录等。
步骤104、对物联网特征数据和信息网特征数据进行融合处理，得到融合数据。
其中，融合数据中包括物联网特征数据、信息网特征数据、以及物联网特征数据和信息网特征数据之间的关联信息。融合数据可以是基于多个业务对象的物联网特征数据和信息网特征数据组成的数据，关联信息用于指示物联网特征数据、信息网特征数据之间存在关联，例如对应相同的业务对象。
在本申请中提供的了两种进行融合处理的方法，如下：
方法一：基于物联网特征数据与信息网特征数据分别对应的对象标签，对物联网特征数据和信息网特征数据进行融合处理，得到物联网特征数据与信息网特征数据对应的表数据，表数据中包括多组特征数据。
其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，关联信息可以为每组特征数据在表数据中的索引信息。
在经过数据预处理之后，物联网数据可以对应对象标签，该对象标签可以是账户ID、车牌号等，因此在进行特征提取后，得到的物联网特征数据可匹配有对应的对象标签。对于信息网数据，一般信息网数据都对应有对象标签，在对信息网数据进行特征提取后，得到的信息网特征数据都可匹配有对应的对象标签。因此可以将对象标签作为物联网特征数据和信息网特征数据进行融合的主键，即将对应有相同对象标签的物联网特征数据和信息网特征数据进行关联，记录在同一数据表，得到物联网特征数据与信息网特征数据对应的表数据。如图2所示，可以将对应相同对象标签的物联网特征数据和信息网特征数据设置在数据表中相同的同一行，也就是数据表中的每一行包括的有一组对应相同对象标签的物联网特征数据和信息网特征数据。其中，物联网数据和信息网数据之间的关联信息为对应的每组特征数据在标识中的索引信息，例如可以是对应相同行信息的索引信息。
方法二：基于物联网特征数据与信息网特征数据分别对应的对象标签，对物联网特征数据和信息网特征数据进行融合处理，得到物联网特征数据与信息网特征数据组成的关系图数据。
其中，每个关系图数据中的节点数据为物联网特征数据、信息网特征数据或对象标签，关联信息为记录的各节点数据之间的对应关系。
其中，该关系图可称为知识图谱。在实施中，可以根据物联网特征数据对应的对象标签、信息网特征数据对应的对象标签、以及信息网中原本存在的不同业务对象之间存在关系(例如用户之间的好友关系、用户之间的转账关系)，构建对应的知识谱图。其中，物联网特征数据与信息网特征数据以及对象标签可以是知识图谱中的节点、不同业务对象之间存在关系可用不同的边进行表示，具有相同的对象标签的物联网特征数据与信息网特征数据之间可以确定一条边。如此便可以组成知识图谱，即得到对应的融合数据。如图3所示，在组成的知识图谱可以体现出，不同的业务对象(对象标签)之间的关系，以及不同的业务对象与物联网特征数据和信息网特征数据的关系。
如此，在得到的物联网数据和信息网数据对应的融合数据中，可以包括物联网特征数据和信息网特征数据，之后可以根据融合数据执行下游任务。例如下游任务是向银行用户推荐信用卡，对应的融合数据中可以包括银行用户的物联网特征数据，如根据社区门口摄像装置拍摄视频数据(物联网数据)提取的该用户进出社区的时间(用于确定用户是否为上班族)，以及信息网特征数据，如根据用户银行卡中的每个月的流水数据(信息网数据)，提取的用户是否为月光族(信息网特征数据)。这样可以根据融合数据确定用户是否为推荐信用卡的目标用户。其中根据融合数据确定用户是否为推荐信用卡的目标用户处理，可以通过现有的分类模型实现，即可以将融合数据输入到分类模型中，由分类模型输出用户是否为推荐信用卡的目标用户，其对应的处理可基于现有的对分类模型的训练方法实现，具体处理不再进行详细说明。
本申请通过分别对物联网数据和信息网数据进行预处理，得到预处理后的物联网数据和信息网数据，然后通过对预处理后的物联网数据和信息网数据进行特征提取处理，得到物联网特征数据和信息网特征数据，如此再通过对物联网特征数据和信息网特征数据进行融合处理，进而可以得到物联网数据和信息网数据对应的融合数据。可见采用本申请通过提取物联网数据的物联网特征信息与信息网数据的信息网特征数据，实现了对物联网数据和信息网数据的融合处理，避开了因为物联网数据和信息网数据的数据类型的不同，而难以融合的问题。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图4是本申请实施例提供的一种融合物联网数据和信息网数据的装置，该装置可是上述实施例中的终端或服务器，参见图4，该装置包括：
获取模块410，用于获取物联网数据和信息网数据；
预处理模块420，用于分别对所述物联网数据和所述信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；
特征提取模块430，用于对所述预处理后的物联网数据进行特征提取处理，得到物联网特征数据，对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据；
融合模块440，用于对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，所述融合数据中包括所述物联网特征数据、所述信息网特征数据、以及所述物联网特征数据和所述信息网特征数据之间的关联信息。
可选的，所述特征提取模块430，用于：
基于所述预先训练的第一特征提取模型对所述预处理后的物联网数据进行特征提取处理，得到所述物联网数据对应的物联网特征数据；
基于所述预先训练的第二特征提取模型对所述预处理后的信息网数据进行特征提取处理，得到所述信息网数据对应的信息网特征数据。
可选的，所述物联网数据属于至少一个业务对象；
所述特征提取模块430，用于：对于每个业务对象，获取所述业务对象对应的物联网数据的采集时间；基于所述每个业务对象对应的物联网数据的采集时间以及所述每个业务对象对应的物联网数据，确定输入数据；将所述输入数据输入到预先训练的第一特征提取模型中，得到所述每个业务对象对应的物联网特征数据。
可选的，所述融合模块440，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据对应的表数据，所述表数据中包括多组特征数据，其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，所述关联信息为所述每组特征数据在所述表数据中的索引信息。
可选的，所述融合模块440，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据组成的关系图数据，其中，所述每个关系图数据中的节点数据为所述物联网特征数据、所述信息网特征数据或所述对象标签，所述关联信息为记录的所述各节点数据之间的对应关系。
需要说明的是：上述实施例提供的融合物联网数据和信息网数据的装置在融合物联网数据和信息网数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的融合物联网数据和信息网数据装置与融合物联网数据和信息网数据方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5示出了本申请一个示例性实施例提供的计算机设备500的结构框图。该计算机设备500可以上述实施例中的服务器或终端，当计算机设备500为终端时，可以是：智能手机、平板电脑、MP3播放器(moving picture experts group audio layer III，动态影像专家压缩标准音频层面3)、MP4(moving picture experts group audio layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。计算机设备500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(digital signal processing，数字信号处理)、FPGA(field－programmable gate array，现场可编程门阵列)、PLA(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以集成有GPU(graphics processing unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(artificial intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的融合物联网数据和信息网数据的方法。
在一些实施例中，计算机设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(input/output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(radio frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(near field communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(user interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置在计算机设备500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在计算机设备500的不同表面或呈折叠设计；在另一些实施例中，显示屏505可以是柔性显示屏，设置在计算机设备500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(liquid crystal display，液晶显示屏)、OLED(organic light-emittingdiode，有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位计算机设备500的当前地理位置，以实现导航或LBS(location based service，基于位置的服务)。定位组件508可以是基于美国的GPS(globalpositioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为计算机设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，计算机设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以计算机设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测计算机设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对计算机设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在计算机设备500的侧边框和/或显示屏505的下层。当压力传感器513设置在计算机设备500的侧边框时，可以检测用户对计算机设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在显示屏505的下层时，由处理器501根据用户对显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置在计算机设备500的正面、背面或侧面。当计算机设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制显示屏505的显示亮度。具体地，当环境光强度较高时，调高显示屏505的显示亮度；当环境光强度较低时，调低显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在计算机设备500的前面板。接近传感器516用于采集用户与计算机设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变小时，由处理器501控制显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与计算机设备500的正面之间的距离逐渐变大时，由处理器501控制显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对计算机设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中融合物联网数据和信息网数据的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(read-only memory，只读存储器)、RAM(random access memory，随机存取存储器)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种对物联网数据和信息网数据融合的方法，其特征在于，所述方法包括：
获取物联网数据和信息网数据，所述物联网数据属于至少一个业务对象；
分别对所述物联网数据和所述信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；
对于每个业务对象u，获取所述业务对象u的行为序列和对应的时间戳序列/>；
获取所述时间戳序列中各元素之间的时间间隔/>，其中，/>为/>的最小值；
对各时间间隔分别在Transformer的K空间和V空间进行嵌入表示，得到/>和/>；
基于时间感知的多头自注意力机制，将所述行为序列的表征/>变换为/>；
其中，，/>，/>，和/>分别为K空间和V空间下的位置编码，/>、/>、/>为预设参数，/>为/>对应矩阵中的元素，/>为/>对应矩阵中的元素，Z为包括时间特征信息的物联网特征数据；
对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据；
对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，所述融合数据中包括所述物联网特征数据、所述信息网特征数据、以及所述物联网特征数据和所述信息网特征数据之间的关联信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据，包括：
基于预先训练的第二特征提取模型对所述预处理后的信息网数据进行特征提取处理，得到所述信息网数据对应的信息网特征数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，包括：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据对应的表数据，所述表数据中包括多组特征数据，其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，所述关联信息为所述每组特征数据在所述表数据中的索引信息。
4.根据权利要求1所述的方法，其特征在于，所述对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，包括：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据组成的关系图数据，其中，所述每个关系图数据中的节点数据为所述物联网特征数据、所述信息网特征数据或所述对象标签，所述关联信息为记录的所述各节点数据之间的对应关系。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述预处理包括低质量数据滤除处理、图像识别处理、目标业务对象的滤除处理、归一化处理、离散化处理、缺失值填充处理、异常值去除处理、冗余数据去除处理中的至少一种。
6.一种融合物联网数据和信息网数据的装置，其特征在于，所述装置包括：
获取模块，用于获取物联网数据和信息网数据，所述物联网数据属于至少一个业务对象；
预处理模块，用于分别对所述物联网数据和所述信息网数据进行预处理，得到预处理后的物联网数据和预处理后的信息网数据；
特征提取模块，用于对于每个业务对象u，获取所述业务对象u的行为序列和对应的时间戳序列/>；
获取所述时间戳序列中各元素之间的时间间隔/>，其中，/>为/>的最小值；
对各时间间隔分别在Transformer的K空间和V空间进行嵌入表示，得到/>和/>；
基于时间感知的多头自注意力机制，将所述行为序列的表征/>变换为/>；
其中，，/>，/>，和/>分别为K空间和V空间下的位置编码，/>、/>、/>为预设参数，/>为/>对应矩阵中的元素，/>为/>对应矩阵中的元素，Z为包括时间特征信息的物联网特征数据；
所述特征提取模块，还用于对所述预处理后的信息网数据进行特征提取处理，得到信息网特征数据；
融合模块，用于对所述物联网特征数据和信息网特征数据进行融合处理，得到融合数据，其中，所述融合数据中包括所述物联网特征数据、所述信息网特征数据、以及所述物联网特征数据和所述信息网特征数据之间的关联信息。
7.根据权利要求6所述的装置，其特征在于，所述特征提取模块，用于：
基于预先训练的第二特征提取模型对所述预处理后的信息网数据进行特征提取处理，得到所述信息网数据对应的信息网特征数据。
8.根据权利要求6或7所述的装置，其特征在于，所述融合模块，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据对应的表数据，所述表数据中包括多组特征数据，其中，每组特征数据中包括对应相同对象标签的物联网特征数据和信息网特征数据，所述关联信息为所述每组特征数据在所述表数据中的索引信息。
9.根据权利要求6或7所述的装置，其特征在于，所述融合模块，用于：
基于所述物联网特征数据与所述信息网特征数据分别对应的对象标签，对所述物联网特征数据和信息网特征数据进行融合处理，得到所述物联网特征数据与所述信息网特征数据组成的关系图数据，其中，所述每个关系图数据中的节点数据为所述物联网特征数据、所述信息网特征数据或所述对象标签，所述关联信息为记录的所述各节点数据之间的对应关系。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求5任一项所述的融合物联网数据和信息网数据的方法所执行的操作。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的融合物联网数据和信息网数据的方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827354.3A CN113591958B (zh) | 2021-07-21 | 2021-07-21 | 融合物联网数据和信息网数据的方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110827354.3A CN113591958B (zh) | 2021-07-21 | 2021-07-21 | 融合物联网数据和信息网数据的方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591958A CN113591958A (zh) | 2021-11-02 |
| CN113591958B true CN113591958B (zh) | 2024-03-19 |
Family
ID=78248988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110827354.3A Active CN113591958B (zh) | 2021-07-21 | 2021-07-21 | 融合物联网数据和信息网数据的方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591958B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893526A (zh) * | 2016-03-30 | 2016-08-24 | 上海坤士合生信息科技有限公司 | 多源数据融合系统和方法 |
| CN110659395A (zh) * | 2019-08-14 | 2020-01-07 | 平安科技（深圳）有限公司 | 关系网络图谱构建方法、装置、计算机设备和存储介质 |
| WO2020008365A2 (en) * | 2018-07-02 | 2020-01-09 | 3M Innovative Properties Company | Transferring learning in classifier-based sensing systems |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN112365342A (zh) * | 2020-11-30 | 2021-02-12 | 天翼电子商务有限公司 | 一种基于Transformer的信用风险评估方法 |
| CN112732983A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技（深圳）有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9710714B2 (en) * | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
| US10691751B2 (en) * | 2017-01-23 | 2020-06-23 | The Trade Desk, Inc. | Data processing system and method of associating internet devices based upon device usage |
| US10977525B2 (en) * | 2019-03-29 | 2021-04-13 | Fuji Xerox Co., Ltd. | Indoor localization using real-time context fusion of visual information from static and dynamic cameras |
-
2021
- 2021-07-21 CN CN202110827354.3A patent/CN113591958B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893526A (zh) * | 2016-03-30 | 2016-08-24 | 上海坤士合生信息科技有限公司 | 多源数据融合系统和方法 |
| WO2020008365A2 (en) * | 2018-07-02 | 2020-01-09 | 3M Innovative Properties Company | Transferring learning in classifier-based sensing systems |
| CN110659395A (zh) * | 2019-08-14 | 2020-01-07 | 平安科技（深圳）有限公司 | 关系网络图谱构建方法、装置、计算机设备和存储介质 |
| CN111897875A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 城市多源异构数据的融合处理方法、装置和计算机设备 |
| CN112365342A (zh) * | 2020-11-30 | 2021-02-12 | 天翼电子商务有限公司 | 一种基于Transformer的信用风险评估方法 |
| CN112732983A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技（深圳）有限公司 | 基于人工智能的数据检测方法、装置、服务器及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| An Infrared and Visible Image Fusion Method Based on Non-Subsampled Contourlet Transform and Joint Sparse Representation;Guiqing He等;2016 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData);20170504;492-497 * |
| 船联网信息融合关键技术研究;郭曼;魏峰;;舰船科学技术;20160630(第12期);107-109 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591958A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652678B (zh) | 物品信息显示方法、装置、终端、服务器及可读存储介质 | |
| CN109740068B (zh) | 媒体数据推荐方法、装置及存储介质 | |
| CN110209952B (zh) | 信息推荐方法、装置、设备及存储介质 | |
| CN111737573A (zh) | 资源推荐方法、装置、设备及存储介质 | |
| CN111104980B (zh) | 确定分类结果的方法、装置、设备及存储介质 | |
| CN111897996A (zh) | 话题标签推荐方法、装置、设备及存储介质 | |
| CN113395542A (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
| CN111506758A (zh) | 物品名称确定方法、装置、计算机设备及存储介质 | |
| CN113077299A (zh) | 订单处理方法、装置、设备及存储介质 | |
| CN113762971A (zh) | 数据加密方法、装置、计算机设备及存储介质 | |
| CN111028071B (zh) | 账单处理方法、装置、电子设备及存储介质 | |
| CN110929159B (zh) | 资源投放方法、装置、设备及介质 | |
| CN113032587A (zh) | 多媒体信息推荐方法、系统、装置、终端和服务器 | |
| CN112131473B (zh) | 信息推荐方法、装置、设备及存储介质 | |
| CN114281936A (zh) | 分类方法、装置、计算机设备及存储介质 | |
| CN112235609B (zh) | 内容项数据播放方法、装置、计算机设备及存储介质 | |
| CN111353513B (zh) | 一种目标人群筛选的方法、装置、终端和存储介质 | |
| CN111695629A (zh) | 用户特征获取方法、装置、计算机设备及存储介质 | |
| CN111754272A (zh) | 广告推荐方法、推荐广告显示方法、装置及设备 | |
| CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
| CN113591958B (zh) | 融合物联网数据和信息网数据的方法、装置及设备 | |
| CN113377976B (zh) | 资源搜索方法、装置、计算机设备及存储介质 | |
| CN114764480A (zh) | 群组类型识别方法、装置、计算机设备及介质 | |
| CN112818243A (zh) | 导航路线的推荐方法、装置、设备及存储介质 | |
| CN112070586A (zh) | 基于语义识别的物品推荐方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |