CN111753459A - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents
数据处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111753459A CN111753459A CN201910182168.1A CN201910182168A CN111753459A CN 111753459 A CN111753459 A CN 111753459A CN 201910182168 A CN201910182168 A CN 201910182168A CN 111753459 A CN111753459 A CN 111753459A
- Authority
- CN
- China
- Prior art keywords
- data
- target object
- data related
- model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 74
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000013499 data model Methods 0.000 claims abstract description 167
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims description 13
- 239000000126 substance Substances 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 51
- 238000011161 development Methods 0.000 abstract description 31
- 238000007726 management method Methods 0.000 abstract description 30
- 239000000463 material Substances 0.000 abstract description 30
- 230000008569 process Effects 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开实施例公开了一种数据处理方法、装置、电子设备及可读存储介质，所述方法包括：从与对象相关的数据中获取与目标对象相关的第一数据；根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；利用与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。
Description
技术领域
本公开涉及计算机技术领域，具体涉及一种数据处理方法、装置、电子设备及可读存储介质。
背景技术
在面对生产和生活当中的大量实际问题时，通常会需要对大量数据进行处理。例如，在对交通领域、生产制造领域、金融等领域进行分析与规律挖掘的过程中，存在非常多的与所属领域的对象(特定主体)有关的最优化计算过程。在这些计算中，常常会涉及到所有对象或者所有对象的部分子集。考虑整体的计算过程，除了模型的架构外，有两部分内容是必须要关注的：一部分就是这些对象的特征，另一部分就是计算所用到的模型的参数。
在计算过程中，特征是输入后就已经固化的，但参数则需要随着计算、迭代的过程而动态调整。对于参数而言，与具体的对象相关，计算过程中每导入一个对象，就会有一些这个对象独有的参数需要产生或者得到应用。如果对象非常多，那么参数也就会非常多。这个庞大的参数群的管理和维护比较困难。
发明内容
为了解决相关技术中的问题，本公开实施例提供一种数据处理方法、装置、电子设备及可读存储介质。
第一方面，本公开实施例中提供了一种数据处理方法，包括：
从与对象相关的数据中获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
结合第一方面，本公开在第一方面的第一种实现方式中，所述从与对象相关的数据中获取与目标对象相关的第一数据，包括：
根据预设的表存储结构存储与对象相关的数据；
响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据。
结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，所述表存储结构的基本单位是列，一列或多列组成一行，每一行通过该行唯一的行键来确定数据的存储方式。
结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第三种实现方式中，所述根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型，包括：
将获取的与目标对象相关的第一数据输入预设的模型框架构，构建数据模型。
结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第四种实现方式中，所述利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，包括：
利用所述与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据。
结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第五种实现方式中，还包括：
固化所述数据模型以通过所述数据模型生成数据处理结果。
结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，在所述固化所述数据模型以通过所述数据模型生成数据处理结果之前，还包括：
确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件；
响应于确定对所构建的数据模型进行训练所产生的训练损失不满足所述预设条件，再次执行第一方面中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足所述预设条件，或者执行第一方面中的步骤已达到预设次数。
结合第一方面或第一方面的第一种实现方式，本公开在第一方面的第七种实现方式中，与目标对象相关的第一数据包括与所述目标对象相关的用于所述数据模型的参数，其中，每一目标对象均具有各自的参数。
结合第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，所述对象为与交通相关的对象。
结合第一方面的第八种实现方式，本公开在第一方面的第九种实现方式中，所述对象包括车辆和/或路段。
结合第一方面的第七种实现方式，本公开在第一方面的第十种实现方式中，所述模型框架包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的。
结合第一方面，本公开在第一方面的第十一种实现方式中，所述模型框架不包含所述第一数据和所述第二数据。
第二方面，本公开实施例中提供了一种数据处理方法，包括：
从与车辆和/或路段相关的数据中获取与目标车辆和目标路段相关的参数；
根据获取的与目标车辆和目标路段相关的参数和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取经调整的与目标车辆和目标路段相关的参数；
利用经调整的与目标车辆和目标路段相关的参数更新与目标车辆和目标路段相关的参数。
第三方面，本公开实施例中提供了一种数据处理方法，包括：
获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
根据所述数据模型获取与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新所述第一数据。
第四方面，本公开实施例中提供了一种数据处理装置，包括：
获取模块，被配置为从与对象相关的数据中获取与目标对象相关的第一数据；
数据模型构建模块，被配置为根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
训练模块，被配置为对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；
更新模块，被配置为利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
第五方面，本公开实施例中提供了一种电子设备，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种实现方式至第十一种实现方式、第二方面、第三方面任一项所述的方法。
第六方面，本公开实施例中提供了一种可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种实现方式至第十一种实现方式、第二方面、第三方面任一项所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
根据本公开实施例提供的技术方案，通过从与对象相关的数据中获取与目标对象相关的第一数据；根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述从与对象相关的数据中获取与目标对象相关的第一数据，包括：根据预设的表存储结构存储与对象相关的数据；响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述表存储结构的基本单位是列，一列或多列组成一行，每一行通过该行唯一的行键来确定数据的存储方式，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型，包括：将获取的与目标对象相关的第一数据输入所述预设的模型框架构，构建数据模型，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，包括：利用所述与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过固化所述数据模型以通过所述数据模型生成数据处理结果，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，完成数据模型的生成并进行数据处理。因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过在所述固化所述数据模型以通过所述数据模型生成数据处理结果之前，还包括：确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件；响应于确定对所构建的数据模型进行训练所产生的训练损失不满足所述预设条件，再次执行第一方面中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足所述预设条件，或者执行第一方面中的步骤已达到预设次数，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，完成数据模型的生成并进行数据处理。因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过与目标对象相关的第一数据包括与所述目标对象相关的用于所述数据模型的参数，其中，每一目标对象均具有各自的参数，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述对象为与交通相关的对象，可以快速、简洁地获取与交通领域中的目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述对象包括车辆和/或路段，可以快速、简洁地获取与交通领域中的目标车辆和/或目标路段相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与车辆和/或路段相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述模型框架包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的，可以获取适当的模型框架。而且，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过所述模型框架不包含所述第一数据和所述第二数据，可以获取适当的模型框架。而且，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过从与车辆和/或路段相关的数据中获取与目标车辆和目标路段相关的参数；根据获取的与目标车辆和目标路段相关的参数和预设的模型信息构建数据模型；对所构建的数据模型进行训练，并且从经训练的数据模型获取经调整的与目标车辆和目标路段相关的参数；利用经调整的与目标车辆和目标路段相关的参数更新与目标车辆和目标路段相关的参数，可以快速、简洁地获取与交通领域中的目标车辆和目标路段相关的参数，并利用数据模型训练后经调整的与目标车辆和目标路段相关的参数更新原来的参数。因此，解决了与车辆和/或路段相关的参数的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
根据本公开实施例提供的技术方案，通过获取与目标对象相关的第一数据；根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；根据所述数据模型获取与目标对象相关的第二数据；利用所述与目标对象相关的第二数据更新所述第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它标签、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的数据处理方法的流程图；
图2示出根据本公开图1所示的实施方式的数据处理方法中的步骤S110的一个示例的流程图；
图3示出根据本公开另一实施方式的数据处理方法的流程图；
图4示出根据本公开又一实施方式的数据处理方法的流程图；
图5示出根据本公开一实施方式的数据处理方法的应用场景的示意图；
图6示出根据本公开一实施方式的数据处理装置的结构框图；
图7示出根据本公开一实施方式的电子设备的结构框图；
图8是适于用来实现根据本公开一实施方式的数据处理方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的标签、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他标签、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的标签可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
在本公开中，通过从与对象相关的数据中获取与目标对象相关的第一数据；根据获取的与目标对象相关的第一数据和预设的模型框信息建数据模型；对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；利用与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
图1示出根据本公开一实施方式的数据处理方法的流程图。如图1所示，所述数据处理方法包括以下步骤S110、S120、S130和S140：
在步骤S110中，从与对象相关的数据中获取与目标对象相关的第一数据。
在步骤S120中，根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型。
在步骤S130中，对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据。
在步骤S140中，利用与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
在本公开中，对象可以指的是根据本公开的实施方式的数据处理方法所要应用到的领域中的特定主体。在一个实施例中，对象为与交通相关的对象。例如，对象包括车辆和/或路段。在一个实施例中，对象可以是生产制造领域的生产线和生产设备。在一个实施例中，对象可以是金融领域的金融交易方和交易渠道。目标对象可以指的是作为数据处理的目标的对象。
根据本公开实施例提供的技术方案，通过对象为与交通相关的对象，可以快速、简洁地获取与交通领域中的目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。在一个实施例中，数据模型可以是相关技术中已知的数据模型。例如，数据模型可以是交通领域、生产制造领域、金融领域等领域中的数据模型，本公开对此不作赘述。
根据本公开实施例提供的技术方案，通过对象包括车辆和/或路段，可以快速、简洁地获取与交通领域中的目标车辆和/或目标路段相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与车辆和/或路段相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
可以理解，根据所要处理的实际情况，对象可以仅包括车辆，或者仅包括路段，或者包括车辆和路段二者。
在一个实施例中，与目标对象相关的第一数据包括与目标对象相关的用于数据模型的参数，其中，每一目标对象均具有各自的参数。即，目标对象的第一数据可以是数据处理模型中的参数，每一目标对象的参数是相互独立且可变的。例如，当对象是交通领域中的道路和车辆时，目标车辆的第一数据是目标车辆某时在一条具体道路上的概率，目标车辆在每一条道路或路段上的概率均不一致。
根据本公开实施例提供的技术方案，通过与目标对象相关的第一数据包括与目标对象相关的用于数据模型的参数，其中，每一目标对象均具有各自的参数，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，预设的模型信息可以是用于构建数据模型的基础信息。例如，预设的模型信息可以包括预设的模型框架。在本公开的一个实施例中，预设的模型框架是构建数据模型的预设框架。在本公开的一个实施例中，预设的模型信息(预设的模型框架)包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的。在本公开的一个实施例中，当对象是与交通相关的对象时，对象的特征可以是诸如道路限速、车道数量、路口类型、车辆限制类型等。即，每一对象的特征是固定的。
在本公开的一个实施例中，与具体对象无关的用于所述数据模型的参数指的是具有一定范围内的普适性且与具体对象无关的参数以及针对具体的数据模型人为设定的参数。例如，当对象是与交通相关的对象时，具有一定范围内的普适性且与具体对象无关的参数可以是与具体车辆或者路段无关的参数，也就是说，所有的车辆或路段用到的参数都是一样的。比如，考虑一个最简单的模型，通过道路上的车辆速度，来判断是否对该车辆进行罚款。模型可以为：道路限速(此为道路特征)*超速罚款参数(此为模型的参数)-车辆速度(此为车辆特征)，该值小于0，则应该对车辆进行罚款。这里的参数-超速罚款参数，与具体道路无关，每条道路均共享此值。本领域技术人员可以理解，具有一定范围内的普适性且与具体对象无关的参数不会在数据模型进行训练的过程中改变。
在本公开的一个实施例中，针对具体的数据模型人为设定的参数可以被称为超参数，超参数不会在数据模型进行训练的过程中改变。换言之，超参数也可以在预设的模型框架中设定。
根据本公开实施例提供的技术方案，通过模型框架包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的，可以获取适当的模型框架。而且，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在一个实施例中，模型框架不包含第一数据与第二数据。应该理解，本公开实施例中所提及的第一数据可以是根据目标对象的不同而不同的数据，因此，难以作为一个相对固定的模型框架的一部分。在本公开的一个实施例中，可以根据获取的与目标对象相关的第一数据和预设的模型框架构建数据模型。另外，在对所构建的数据模型进行训练之后，与目标对象相关的第一数据被改变，因此，在进行训练之后的数据模型中，与目标对象相关的第一数据被调整为与目标对象相关的第二数据。
根据本公开实施例提供的技术方案，通过模型框架不包含第一数据和所述第二数据，可以获取适当的模型框架。而且，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据。因此，解决了与对象相关的特定数据(参数)的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在一个实施例中，对所构建的数据模型进行训练的方式可以是相关技术中已知的训练的方式，本公开对此不作赘述。
在一个实施例中，在对数据模型训练之后，可以从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据，并且利用与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
图2示出根据本公开图1所示的实施方式的数据处理方法中的步骤S110的一个示例的流程图。
如图2所示，图1中的步骤S110包括步骤S210和S220。
在步骤S210中，根据预设的表存储结构存储与对象相关的数据。
在步骤S220中，响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据。
根据本公开实施例提供的技术方案，通过从与对象相关的数据中获取与目标对象相关的第一数据，包括：根据预设的表存储结构存储与对象相关的数据；响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，如果目标对象的数量很大和/或与目标对象相关的第一数据的数量很大，与目标对象相关的第一数据不仅要在数据模型使用时被读入，还要随着数据模型的训练过程而不断地调整，调整后的结果，也需要及时进行更新存储，以便以后使用或训练该参数时会是最新的结果。
在本公开的一个实施例中，表存储结构是一种基于表格形式的大数据存储形式。表存储结构的基本单位是列(column)，一列或多列组成一行(row)，每一行通过该行唯一的行键(row key)来确定数据的存储方式。
在本公开的一个实施例中，在请求获得与目标对象相关的第一数据(例如，与目标对象相关的用于数据模型的参数)时，可以向表存储结构方案(例如，Hbase或者阿里OTS(Open Table Service))获得对应的第一数据。在表存储方案中，每一行数据的键为目标对象的标识ID。在本公开的一个实施例中，表存储结构的列簇有两种实现方式：一是列簇直接为每个第一数据的标识或ID；二是列簇统一为固定值，所有第一数据以序列化结构存在某一列簇下，并且可以在执行根据本公开的实施例的数据处理方法中进行序列化与反序列化操作。
在本公开的一个实施例中，表结构存储本身为一种大数据存储方案，因此比单机直接内存扩展性要好。而且，表结构存储的KV(键值，Key-Value)存写机制，比磁盘直接读写快速、简洁、减少冗余。另外，表结构存储技术比较成体系与简单，比直接用参数服务器开发来进行第一数据的存储节约开发时间，同时节约经济成本。表结构存储解决针对目标对象独有第一数据的维护，实现了在扩展性、速度、成本上的多方面权衡。本领域技术人员可以理解，表存储结构以及表存储结构方案的更多细节可以从相关技术中获取，本公开对此不再赘述。
在相关技术中，在序列化期间，将标的当前状态写入到临时或持久性存储区；之后，可以通过从存储区中读取或反序列化标的状态，重新创建该标的。
根据本公开实施例提供的技术方案，通过表存储结构的基本单位是列，一列或多列组成一行，每一行通过该行唯一的行键来确定数据的存储方式，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，根据预设的表存储结构存储与对象相关的数据即为序列化操作。在本公开的一个实施例中，响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据为反序列化操作。
在本公开的一个实施例中，图1中所示的步骤S120包括：将获取的与目标对象相关的第一数据输入预设的模型框架构，构建数据模型。
根据本公开实施例提供的技术方案，通过根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型，包括：将获取的与目标对象相关的第一数据输入所述预设的模型框架构，构建数据模型，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，在表存储结构返回与目标对象相关的第一数据后，根据本公开实施例的数据处理方法可以将与目标对象相关的第一数据递送给预设的模型框架。模型框架获得与目标对象相关的第一数据后，即可完成数据模型的完整构建。
在本公开的一个实施例中，图1中所示的步骤S140包括：利用与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据。
根据本公开实施例提供的技术方案，通过利用与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，包括：利用与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据，利用表存储结构，可以实现对大量目标对象独有的第一数据的维护。而且，可以快速、简洁地获取并存储与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，在完成数据模型的完整构建后，对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据。在此情况下，可以在每一阶段的数据模型训练完成后，将与目标对象相关的第二数据及时存储到表结构中，替代与目标对象相关的第一数据。即，在表结构中将与目标对象相关的第二数据序列化。
图3示出根据本公开另一实施方式的数据处理方法的流程图。如图3所示的实施方式中的数据处理方法与图1所示的实施方式中的数据处理方法的区别在于还包括步骤S310。
在步骤S310中，固化数据模型以通过数据模型生成数据处理结果。
根据本公开实施例提供的技术方案，通过固化数据模型以通过数据模型生成数据处理结果，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，完成数据模型的生成并进行数据处理。因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在本公开的一个实施例中，固化数据模型指的是将数据模型中的第一数据固定，不再更新。在固化数据模型之后，可以利用固化的数据模型产出处理结果。
图4示出根据本公开又一实施方式的数据处理方法的流程图。如图4所示的实施方式中的数据处理方法与图3所示的实施方式中的数据处理方法的区别在于在步骤S310之前，还包括步骤S410和S420。
在步骤S410中，确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件。
在步骤S420中，响应于确定对所构建的数据模型进行训练所产生的训练损失不满足预设条件，再次执行图1中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足预设条件，或者执行图1中的步骤已达到预设次数。
根据本公开实施例提供的技术方案，通过在固化数据模型以通过所述数据模型生成数据处理结果之前，还包括：确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件；响应于确定对所构建的数据模型进行训练所产生的训练损失不满足所述预设条件，再次执行图1中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足所述预设条件，或者执行图1中的步骤已达到预设次数，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，完成数据模型的生成并进行数据处理。因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在相关领域中，训练损失指的是对训练出的数据模型糟糕预测的惩罚。也就是说，损失是一个数值，表示对于单个样本而言数据模型预测的准确程度。如果数据模型的预测完全准确，则训练损失为零，否则损失会较大。
在本公开的一个实施例中，预设条件可以指的是训练损失小于某一数值或者多个训练损失按照某种计算方式计算符合某一数值规律。
如果确定对所构建的数据模型进行训练所产生的训练损失不满足预设条件，则再次执行图1中所示的步骤S110、S120、S130和S140，直至确定对所构建的数据模型进行训练所产生的训练损失满足预设条件，或者执行图1中所示的步骤S110、S120、S130和S140已达到预设次数。在本公开的一个实施例中，在循环迭代地执行图1中所示的步骤S110、S120、S130和S140的过程中，在步骤S140中所要更新与目标对象相关的第一数据包括在上一次执行步骤S140的过程中经更新的与目标对象相关的第一数据，还可以包括新获取的与目标对象相关的第一数据。
以下以对象为车辆和/或路段为例来描述根据本公开的实施方式中的数据处理方法的示例。
在本公开的一个实施例中，一种数据处理方法包括：
从与车辆和/或路段相关的数据中获取与目标车辆和目标路段相关的参数；
根据获取的与目标车辆和目标路段相关的参数和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取经调整的与目标车辆和目标路段相关的参数；
利用经调整的与目标车辆和目标路段相关的参数更新与目标车辆和目标路段相关的参数。
根据本公开实施例提供的技术方案，通过从与车辆和/或路段相关的数据中获取与目标车辆和目标路段相关的参数；根据获取的与目标车辆和目标路段相关的参数和预设的模型信息构建数据模型；对所构建的数据模型进行训练，并且从经训练的数据模型获取经调整的与目标车辆和目标路段相关的参数；利用经调整的与目标车辆和目标路段相关的参数更新与目标车辆和目标路段相关的参数，可以快速、简洁地获取与交通领域中的目标车辆和目标路段相关的参数，并利用数据模型训练后经调整的与目标车辆和目标路段相关的参数更新原来的参数。因此，解决了与车辆和/或路段相关的参数的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在根据本公开的实施例中，可以将本实施例与参照图1-4描述的实施例结合以全部或部分实现参照1-4描述的技术方案的技术效果。
以下描述根据本公开的另一实施方式中的数据处理方法的示例。
在本公开的一个实施例中，一种数据处理方法包括：
获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
根据所述数据模型获取与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新所述第一数据。
根据本公开实施例提供的技术方案，通过获取与目标对象相关的第一数据；根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；根据所述数据模型获取与目标对象相关的第二数据；利用所述与目标对象相关的第二数据更新所述第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在根据本公开的实施例中，可以将本实施例与参照图1-4描述的实施例结合以全部或部分实现参照1-4描述的技术方案的技术效果。
以下参照图5来进一步描述根据本公开的实施方式的数据处理方法。
图5示出根据本公开一实施方式的数据处理方法的应用场景的示意图。在该应用场景中，通过根据本公开实施例的数据处理方法对对象参数进行处理。
进一步地，以交通领域为例来对应用场景进行说明。在交通领域的分析与规律挖掘过程中，存在非常多的与车辆、路段网络有关的最优化计算过程。在这些计算中，常常会涉及到对所有的车辆、路段或者所有路段的部分子集。考虑整体的计算过程，除了数据模型的架构外，有两部分内容是必须要关注的：一部分就是这些车辆、路段的特征，如道路限速、车道数量、路口类型、车限类型等；另一部分就是计算所用到的模型的参数。这些参数大约可以分为三类。第一类参数是与具体车辆或者路段无关的参数，也就是说，所有的车辆或路段用到的参数都是一样的。比如，考虑一个最简单的模型，通过道路上的车辆速度，来判断是否对该车辆进行罚款。模型可以为：道路限速(此为特征)*超速罚款参数(此为参数)-车辆速度(此为车辆特征)，该值小于0，则应该对车辆进行罚款。这里的参数-超速罚款参数，与具体道路无关，每条道路均共享此值。第二类参数是与具体道路有关的参数，每一条道路的该参数都不一致。比如说，某车辆某时在一条具体道路上的概率，每一条道路或路段的概率均不一致，如果这个概率要作为参数，此参数即为这里说的第二类参数。第三类参数为超参数，通常是与具体模型有关的、人为指定的参数。
在交通领域的应用场景中，主要考虑的是以上所说的第二类参数。在最优化计算过程中，特征是输入后就已经固化的，但参数则需要随着计算、迭代的过程而动态调整。除超参数可能稳定外，上面说的第一类参数与第二类参数都是需要不断变化与调整的。第一类参数由于对各个车辆或者路段一致，所以参数直接共享，占用资源会比较少。而第二类参数，与具体的车辆或者路段相关，计算过程中每导入一个车辆、一个路段，就会有一些这个车辆或者路段独有的参数需要产生或者得到应用，如果车辆或者路段非常多，那么参数也就会非常多。这些参数，在相应的路段或者车辆参与计算时才会被用到，而路段或车辆未参与计算时，与路段或车辆相关的参数也保持不变。这个庞大的参数群如何管理，就需要一些技巧。本应用场景中的方案基于表存储结构方案来实现对以上第二类参数(即路段、车辆独有参数)的维护。
在大规模交通优化算法中，其车辆或路段独有的参数有其个性化的特点：
一是这些参数数量可能会极其大，要被使用的部分不光要在使用时被读入，还要随着模型的训练过程而不断地调整，调整后的结果，也需要及时进行更新存储，以便以后使用或训练该参数时会是最新的结果；
二是模型本身结构很有可能也会随着读入的路段、车辆信息而动态变化，这样，对参数的维护要考虑其与具体路段、车辆、拓扑关系、时间的索引联系。图5所示的应用场景的重点部分就在于围绕参数维护进行相应的数据处理。
图5中所示的参数维护模块可以提供以下几个功能接口：
1、根据具体路段、车辆的标识ID和要获得的参数标识，批量获得路段、车辆的相应参数。批量获取的目的是为了减少多次获取单个参数的传递时间；
2、根据具体路段、车辆的标识ID和要获得的参数标识、参数值，批量修改路段、车辆的相应参数值；
3、将参数映射到模型的对应结构，动态维护；
4、将模型中的参数变化进行实时监控，每一阶段参数训练好后，及时存储到表结构中；
5、参数存储与读取的序列化与反序列化。
在涉及用到了对于路段或车辆独有参数的交通建模计算过程，具体过程如下：
A、图示第1步，实现计算过程的初始化过程，具体包含且不限于数据准备、特征预处理等建模前的准备过程。此初始化过程可以参照相关技术中的初始化手段来执行。
B、图示第2步，构建模型框架。根据具体的最优化模型设计，搭建模型框架，模型框架搭好并非意味着模型已经构建完毕，模型框架包含所有的特征、与具体路段、车辆无关的参数、模型超参数，但与具体车辆、路段相关的参数不包含在内。
C、图示第3步至第4步，导入数据，请求参数。在第3步导入数据后，就可以确定哪些车辆或路段参与接下来的计算过程了。
在第4步，向参数维护模块提出请求，请求获得与对应车辆与路段对应的参数，参数维护模块向表存储结构方案(通常为Hbase或者阿里OTS)获得对应的参数。表存储方案中，每一行数据的键为路段或车辆的标识ID。表存储结构中，列簇有两种实现方式：一是列簇直接为每个参数的标识或ID；二是列簇统一为固定值，所有参数以序列化结构存在某一列簇下，由参数维护模块进行序列化与反序列化操作。
D、图示第5步至第6步，获得参数，构建完整模型，进行计算。在请求过参数后，随后进行第5步，表存储结构将参数返回给参数维护模块，参数维护模块将参数递送给模型框架，模型框架获得与特定车辆、路段相关的参数后，即可以进行第6步：完成模型的完整搭建，进行训练、调整等计算过程。
E、图示第7步至第8步。完成调整计算后，参数已经被改变，于是进行第7步，将经调整的参数返回给参数维护模块。参数维护模块将表存储结构中的参数更新，本次计算结束。进行第8步，回到导入数据部分。
F、图示第3至第8步循环迭代计算，直到计算的训练损失足够小或者到了指定的迭代次数，进行第9步，固化模型，产出结果。
利用参数维护模块与表存储结构，可以实现对大量特定路段、车辆的独有参数的维护。根据前述教导，本领域技术人员可以理解，前述参数维护模块可以通过硬件实现，通过软件实现，或者通过软件与硬件组合的方式实现。
图6示出根据本公开一实施方式的数据处理装置600的结构框图。
如图6所示，数据处理装置600包括获取模块610、数据模型构建模块620、训练模块630和更新模块640。
获取模块610被配置为从与对象相关的数据中获取与目标对象相关的第一数据。
数据模型构建模块620被配置为根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型。
训练模块630被配置为对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据。
更新模块640被配置为利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
根据本公开实施例提供的技术方案，通过获取模块，被配置为从与对象相关的数据中获取与目标对象相关的第一数据；数据模型构建模块，被配置为根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；训练模块，被配置为对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；更新模块，被配置为利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，可以快速、简洁地获取与目标对象相关的第一数据，并利用与目标对象相关的第二数据更新第一数据，因此，解决了与对象相关的特定数据的管理和维护问题而无需复杂的应用开发，同时减少了人力和物力消耗。而且，根据本公开实施例提供的技术方案实现了在扩展性、速度、成本等多方面平衡。
在根据本公开的实施例中，可以将参照图6描述的实施例分别与参照图1-4描述的实施例结合以全部或部分实现参照1-4描述的技术方案的技术效果。
以上描述了数据处理装置的内部功能和结构，在一个可能的设计中，该数据处理装置的结构可实现为电子设备，如图7中所示，该电子设备700可以包括处理器701以及存储器702。
所述存储器702用于存储支持数据处理装置执行上述任一实施例中数据处理方法的程序，所述处理器701被配置为用于执行所述存储器702中存储的程序。
所述存储器702用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器701执行以实现以下步骤：
从与对象相关的数据中获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
在本公开的一个实施例中，所述从与对象相关的数据中获取与目标对象相关的第一数据，包括：
根据预设的表存储结构存储与对象相关的数据；
响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据。
在本公开的一个实施例中，所述表存储结构的基本单位是列，一列或多列组成一行，每一行通过该行唯一的行键来确定数据的存储方式。
在本公开的一个实施例中，所述根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型，包括：
将获取的与目标对象相关的第一数据输入所述预设的模型框架构，构建数据模型。
在本公开的一个实施例中，所述利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，包括：
利用所述与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据。
在本公开的一个实施例中，所述一条或多条计算机指令还被所述处理器701执行以实现以下步骤：
固化所述数据模型以通过所述数据模型生成数据处理结果。
在本公开的一个实施例中，在所述固化所述数据模型以通过所述数据模型生成数据处理结果之前，所述一条或多条计算机指令还被所述处理器701执行以实现以下步骤：
确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件；
响应于确定对所构建的数据模型进行训练所产生的训练损失不满足所述预设条件，再次执行图1中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足所述预设条件，或者执行图1中的步骤已达到预设次数。
在本公开的一个实施例中，与目标对象相关的第一数据包括与所述目标对象相关的用于所述数据模型的参数，其中，每一目标对象均具有各自的参数。
在本公开的一个实施例中，所述对象为与交通相关的对象。
在本公开的一个实施例中，所述对象包括车辆和/或路段。
在本公开的一个实施例中，所述模型框架包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的。
在本公开的一个实施例中，所述模型框架不包含所述第一数据和所述第二数据。
所述处理器701用于执行前述各方法步骤中的全部或部分步骤。
其中，所述电子设备的结构中还可以包括通信接口，用于电子设备与其他设备或通信网络通信。
本公开示例性实施例还提供了一种计算机存储介质，用于储存所述数据处理装置所用的计算机软件指令，其包含用于执行上述任一实施例中数据处理方法所涉及的程序，从而具备方法所带来的技术效果。
图8是适于用来实现根据本公开一实施方式的数据处理方法的计算机系统的结构示意图。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述图1-5所示的实施方式中的各种处理。在RAM803中，还存储有系统800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施方式，上文参考图1-5描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图1-5的数据处理方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法，从而具备方法所带来的技术效果。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (17)
1.一种数据处理方法，其特征在于，包括：
从与对象相关的数据中获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
2.根据权利要求1所述的方法，其特征在于，所述从与对象相关的数据中获取与目标对象相关的第一数据，包括：
根据预设的表存储结构存储与对象相关的数据；
响应于接收到的对与目标对象相关的第一数据的请求，从根据预设的表存储结构存储的与对象相关的数据中获取与目标对象相关的第一数据。
3.根据权利要求2所述的方法，其特征在于，所述表存储结构的基本单位是列，一列或多列组成一行，每一行通过该行唯一的行键来确定数据的存储方式。
4.根据权利要求1或2所述的方法，其特征在于，所述根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型，包括：
将获取的与目标对象相关的第一数据输入预设的模型框架，构建数据模型。
5.根据权利要求1或2所述的方法，其特征在于，所述利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据，包括：
利用所述与目标对象相关的第二数据更新根据预设的表存储结构存储的与对象相关的数据中的与目标对象相关的第一数据。
6.根据权利要求1或2所述的方法，其特征在于，还包括：
固化所述数据模型以通过所述数据模型生成数据处理结果。
7.根据权利要求6所述的方法，其特征在于，在所述固化所述数据模型以通过所述数据模型生成数据处理结果之前，还包括：
确定对所构建的数据模型进行训练所产生的训练损失是否满足预设条件；
响应于确定对所构建的数据模型进行训练所产生的训练损失不满足所述预设条件，再次执行权利要求1中的步骤，直至确定对所构建的数据模型进行训练所产生的训练损失满足所述预设条件，或者执行权利要求1中的步骤已达到预设次数。
8.根据权利要求1或2所述的方法，其特征在于，与目标对象相关的第一数据包括与所述目标对象相关的用于所述数据模型的参数，其中，每一目标对象均具有各自的参数。
9.根据权利要求8所述的方法，其特征在于，所述对象为与交通相关的对象。
10.根据权利要求9所述的方法，其特征在于，所述对象包括车辆和/或路段。
11.根据权利要求8所述的方法，其特征在于，所述模型框架包含对象的特征以及与具体对象无关的用于所述数据模型的参数，其中，每一对象的特征是固定的。
12.根据权利要求1所述的方法，其特征在于，所述模型框架不包含所述第一数据和所述第二数据。
13.一种数据处理方法，其特征在于，包括：
从与车辆和/或路段相关的数据中获取与目标车辆和目标路段相关的参数；
根据获取的与目标车辆和目标路段相关的参数和预设的模型信息构建数据模型；
对所构建的数据模型进行训练，并且从经训练的数据模型获取经调整的与目标车辆和目标路段相关的参数；
利用经调整的与目标车辆和目标路段相关的参数更新与目标车辆和目标路段相关的参数。
14.一种数据处理方法，其特征在于，包括：
获取与目标对象相关的第一数据；
根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
根据所述数据模型获取与目标对象相关的第二数据；
利用所述与目标对象相关的第二数据更新所述第一数据。
15.一种数据处理装置，其特征在于，包括：
获取模块，被配置为从与对象相关的数据中获取与目标对象相关的第一数据；
数据模型构建模块，被配置为根据获取的与目标对象相关的第一数据和预设的模型信息构建数据模型；
训练模块，被配置为对所构建的数据模型进行训练，并且从经训练的数据模型获取与目标对象相关的第一数据经调整所得的与目标对象相关的第二数据；
更新模块，被配置为利用所述与目标对象相关的第二数据更新与对象相关的数据中的与目标对象相关的第一数据。
16.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1至14任一项所述的方法。
17.一种可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现如权利要求1-14任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910182168.1A CN111753459B (zh) | 2019-03-11 | 数据处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910182168.1A CN111753459B (zh) | 2019-03-11 | 数据处理方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753459A true CN111753459A (zh) | 2020-10-09 |
| CN111753459B CN111753459B (zh) | 2024-06-04 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19919180A1 (de) * | 1999-04-28 | 2000-11-02 | Continental Teves Ag & Co Ohg | Regelschaltung zum Regeln der Fahrstabilität eines Fahrzeugs |
| JP2002163757A (ja) * | 2000-11-27 | 2002-06-07 | Natl Inst For Land & Infrastructure Management Mlit | 車両追従モデル調整機構を備えた交通流シミュレータ |
| US20070233326A1 (en) * | 2006-03-31 | 2007-10-04 | Caterpillar Inc. | Engine self-tuning methods and systems |
| CN104298540A (zh) * | 2014-10-23 | 2015-01-21 | 浙江大学 | 一种微观交通仿真软件的底层模型参数校正方法 |
| CN106447119A (zh) * | 2016-10-11 | 2017-02-22 | 济南观澜数据技术有限公司 | 一种基于卷积神经网络的短期交通流量预测方法及系统 |
| CN108805185A (zh) * | 2018-05-29 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 模型的训练方法、装置、存储介质及计算机设备 |
| CN108986047A (zh) * | 2018-07-13 | 2018-12-11 | 中国科学技术大学 | 图像降噪方法 |
| CN109379240A (zh) * | 2018-12-25 | 2019-02-22 | 湖北亿咖通科技有限公司 | 车联网流量预测模型构建方法、装置和电子设备 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19919180A1 (de) * | 1999-04-28 | 2000-11-02 | Continental Teves Ag & Co Ohg | Regelschaltung zum Regeln der Fahrstabilität eines Fahrzeugs |
| JP2002163757A (ja) * | 2000-11-27 | 2002-06-07 | Natl Inst For Land & Infrastructure Management Mlit | 車両追従モデル調整機構を備えた交通流シミュレータ |
| US20070233326A1 (en) * | 2006-03-31 | 2007-10-04 | Caterpillar Inc. | Engine self-tuning methods and systems |
| CN104298540A (zh) * | 2014-10-23 | 2015-01-21 | 浙江大学 | 一种微观交通仿真软件的底层模型参数校正方法 |
| CN106447119A (zh) * | 2016-10-11 | 2017-02-22 | 济南观澜数据技术有限公司 | 一种基于卷积神经网络的短期交通流量预测方法及系统 |
| CN108805185A (zh) * | 2018-05-29 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 模型的训练方法、装置、存储介质及计算机设备 |
| CN108986047A (zh) * | 2018-07-13 | 2018-12-11 | 中国科学技术大学 | 图像降噪方法 |
| CN109379240A (zh) * | 2018-12-25 | 2019-02-22 | 湖北亿咖通科技有限公司 | 车联网流量预测模型构建方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866029B (zh) | sql语句构建方法、装置、服务器及可读存储介质 | |
| CN105575389A (zh) | 模型训练方法、系统和装置 | |
| CN110719320B (zh) | 公有云配置调整信息的生成方法和设备 | |
| CN109308309B (zh) | 一种数据服务质量评估方法和终端 | |
| CN111680799B (zh) | 用于处理模型参数的方法和装置 | |
| CN104239412B (zh) | 数据存储库中应用至存储库的数据映射及相关方法、系统和计算机可读介质 | |
| CN108833592A (zh) | 云主机调度器优化方法、装置、设备及存储介质 | |
| CN110825589A (zh) | 用于微服务系统的异常检测方法及其装置和电子设备 | |
| CN115329011A (zh) | 数据模型的构建方法、数据查询的方法、装置及存储介质 | |
| CN111753459B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111753459A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN114691630A (zh) | 一种智慧供应链大数据共享方法及系统 | |
| Roderick et al. | The CERN accelerator Measurement Database: On the road to federation | |
| CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
| CN115563495A (zh) | 用于利用具有分布式数据生成模型的连续联合学习的深度学习技术的系统和方法 | |
| WO2023080805A1 (en) | Distributed embedding table with synchronous local buffers | |
| CN113901315A (zh) | 一种数据服务方法、装置及相关产品 | |
| CN113691311B (zh) | 光网络的故障定位方法、电子设备及计算机可读存储介质 | |
| CN117744954B (zh) | 一种基于标识解析的智能排产方法及相关设备 | |
| US11868846B1 (en) | Quantum computing simulation using comparative rejection sampling | |
| CN118114642A (zh) | 价值数据填充凭证文件生成方法、装置、设备和可读介质 | |
| CN116263883A (zh) | 基于多项式预处理器的量子线性求解方法、装置及设备 | |
| CN116861987A (zh) | 油井产量预测模型生成方法、油井产量预测方法及装置 | |
| CN115759229A (zh) | 模型训练及任务处理方法、装置、系统、设备及存储介质 | |
| CN117009556A (zh) | 一种基于评估模型的内容推荐方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |