CN110597794B - 数据处理方法、装置和电子设备 - Google Patents
数据处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110597794B CN110597794B CN201910728574.3A CN201910728574A CN110597794B CN 110597794 B CN110597794 B CN 110597794B CN 201910728574 A CN201910728574 A CN 201910728574A CN 110597794 B CN110597794 B CN 110597794B
- Authority
- CN
- China
- Prior art keywords
- data
- identifiers
- target data
- repeated
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012544 monitoring process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008439 repair process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 244000118350 Andrographis paniculata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种数据处理方法、装置和电子设备，该方法包括：在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
Description
技术领域
本申请涉及通讯技术领域，更具体地涉及数据处理方法、装置和电子设备。
背景技术
在数据应用过程中，数据产生后需要进一步发送至数据应用方，而在发送过程中，经常会出现数据丢失或者数据重复的情况。当数据重复时，一般在该数据被应用时才被发现；当数据由于网络原因、服务器原因或者代码缺陷导致丢失时，发现困难且影响严重。
目前的解决方式主要针对服务器或者数据应用系统直接进行优化，例如在服务器或者数据应用系统中增加数据修复或者数据去重功能，但是上述方式会增加处理数据的耗时，降低数据应用的时效性及稳定性。因此，需要一种数据处理方法，来克服上述技术问题。
发明内容
本申请的目的之一在于提供一种数据处理方法，以解决现有数据应用中修复数据方式的时效性及稳定性低的问题。
为解决上述技术问题，本申请实施例是这样实现的：
第一方面，提供了一种数据处理方法，包括：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
第二方面，提供了一种数据处理方法，包括：
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
第三方面，提供了一种数据处理方法，包括：
向数据应用方发送目标数据，所述目标数据对应多个第二标识；
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
第四方面，提供了一种数据处理装置，包括：
获取单元，在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
处理单元，若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
第五方面，提供了一种数据处理装置，包括：
数据获取单元，获取目标数据，所述目标数据对应多个第一标识；
去重执行单元，若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识；对应的目标数据删除或者仅应用所述目标数据一次。
第六方面，提供了一种数据处理装置，包括：
数据发送单元，向数据应用方发送目标数据，所述目标数据对应多个第二标识；
重发执行单元，若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
第七方面，提供了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行以下操作：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
第八方面，提供了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行以下操作：
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
第九方面，提供了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行以下操作：
向数据应用方发送目标数据，所述目标数据对应多个第二标识；
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
第十方面，提供了一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
第十一方面，提供了一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
第十二方面，提供了一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
向数据应用方发送目标数据，所述目标数据对应多个第二标识；
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
由以上本申请的技术方案可见，本申请实施例的数据处理方法，在目标数据自数据发送方传输至数据应用方后，获取目标数据对应的多个第一标识，通过判断多个第一标识中是否存在重复的标识确定线上实时数据是否出现重复，如果出现重复则向数据应用方发送去重指令，使数据应用方对目标数据中与重复的标识对应的数据进行去重处理。本申请实施例的数据处理方法，可以对实时数据进行监控及修复，减少线上处理数据耗时，无感知地将错误数据更正，不影响线上业务的正常运行。
进一步地，本申请实施例的数据处理方法，在目标数据从数据发送方传输至数据应用方之前，还可以获取所述目标数据对应的多个第二标识，通过比较第一标识和第二标识，如果第一标识中不包括多个第二标识中的至少一个第二标识，则向数据发送方发送重发指令，数据发送方将目标数据中与未被包括在第一标识中的第二标识对应的数据进行重发处理。本申请实施例的数据处理方法，可以对线上数据出现的丢失错误进行修复处理，不影响线上业务的正常运行。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请的一个实施例的数据处理方法的示意性流程图。
图2是根据本申请的另一个实施例的数据处理方法的示意性流程图。
图3是根据本申请的另一个实施例的数据处理方法的示意性流程图。
图4是根据本申请的一个具体实施例的数据监控修复系统的示意图。
图5是根据本申请的一个具体实施例的数据处理方法的示意性流程图。
图6是根据本申请的一个实施例的电子设备的结构示意图。
图7是根据本申请的一个实施例的数据处理装置的结构示意图。
图8是根据本申请的另一个实施例的数据处理装置的结构示意图。
图9是根据本申请的另一个实施例的数据处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请实施例的数据处理方法，可以应用于实时大数据处理过程中，通过独立模块进行实时数据修补，不影响线上业务的正常运行。
图1示出了本申请一个实施例的数据处理方法。图1的方法可以由数据处理装置执行。如图1所示出的，方法包括：
S102，在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识。
可选地，在S102中，数据发送方可以是数据采集系统或者数据产生系统，当数据发送方是数据采集系统时，该数据采集系统与数据产生系统连接。具体地，目标数据可以包括多条数据，每条数据分别对应一个第一标识，且不同数据对应不同的第一标识。
S104，若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
在目标数据从数据发送方传输至数据应用方的过程中，可能出现数据错误，数据应用方接收到的目标数据与数据发送方实际想传输的数据不同，例如存在数据重复的情况等。通过验证多个第一标识中是否有多个相同的标识，确定其中是否重复，如果存在重复，则表明目标数据中存在重复的数据，需要对其进行去重。
具体地，可以向数据应用方发送去重指令，该去重指令中包括上述重复的标识，数据应用方可以按照重复的标识进行数据拦截或者删除。因此不需要数据应用方或者数据发送方直接进行数据验证，可以在独立的监控模块中对实时数据进行监控及修复处理，减少线上处理数据耗时，不影响线上业务的正常运行。
在本申请实施例中，可选地，图1所示的方法还包括：在目标数据从所述数据发送方传输至所述数据应用方之前，获取所述目标数据对应的多个第二标识；
若所述多个第一标识中不包括所述多个第二标识中的至少一个第二标识，则向所述数据发送方发送重发指令。所述重发指令包括未被包括在所述多个第一标识中的第二标识，所述重发指令用于所述数据发送方将所述目标数据中与所述未被包括在所述多个第一标识中的第二标识对应的数据进行重发处理。
通过比较目标数据在传输至数据应用方之前对应的第二标识和目标数据在传输至数据应用方之后对应的第一标识，可以确定相对于传输前的目标数据，传输后的数据是否出现错误。需要说明的是，所述多个第一标识为预设时段内数据应用方接收到的目标数据对应的标识。具体地，如果在第一标识中不包括多个第二标识中的至少一个第二标识，则目标数据出现数据丢失的情况，此时需要数据发送方进行丢失数据的重发。其中，可以将未被包括在多个第一标识中的第二标识对应的数据进行重发。
具体地，在一些实施例中，第二标识基于以下信息中的至少一种生成：数据采集来源信息、数据产生时间信息、数据编号信息和数据产生方式信息。可选地，第二标识可以是唯一编码的标识码。数据采集来源可以是sls/MetaQ/kafka/flume等方式，在第二标识中可以分别以S、M、K、F表示；数据产生方式可以是生成、重复产生或者丢失产生等方式，在第二标识中可以分别以creat、repeated、lose表示。举例来说，若第二标识为S_2019032620490000_000001_creat，则表示采集系统来源为sls，数据产生时间为2019年3月26日20时49分，数据编号为1，数据产生方式为生成；若第二标识为F_2019032620490000_000001_repeated，则表示采集系统来源为flume，数据产生时间为2019年3月26日20时49分，数据编号为1，数据产生方式为重复产生。
在一些实施例中，上述数据处理装置还可以提供重复预警功能，可选地，图1所示的方法还包括：
若目标数据中存在重复的数据，向数据应用方和/或数据发送方发送重复预警信息。具体地，重复预警信息包括重复的标识。通过向数据应用方和/或数据发送方发送预警信息，可以提示当前传输的目标数据中已出现重复情况，数据应用方和数据发送方可以基于预警信息中的重复的标识确定哪些数据出现重复，进而做去重处理或者系统维护。
当数据应用方去重处理成功后，向数据应用方和/或数据发送方发送重复预警取消信息，重复预警取消信息包括重复的标识。去重处理成功，可以是数据应用方删除了目标数据中重复的数据，也可以是数据应用方仅对目标数据中重复的数据执行一次应用，可以再发送重复预警取消信息，提示重复问题已修复。
在另一些实施例中，上述数据处理装置还可以提供丢失预警功能，可选地，图1所示的方法还包括：
若目标数据丢失数据，向数据应用方和/或数据发送方发送丢失预警信息，丢失预警信息包括多个第一标识中不包括的第二标识。
当数据发送方重发处理成功后，向数据应用方和/或数据发送方发送丢失预警取消信息，丢失预警取消信息包括上述多个第一标识中不包括的第二标识。
重发处理成功，可以是数据发送方重发了目标数据中丢失的数据，该丢失的数据为上述多个第一标识中不包括的第二标识对应的数据，在监测到数据应用方已接收到上述丢失的数据，可以再发送丢失预警取消信息，提示丢失问题已修复。监测数据应用方是否接收到上述丢失的数据，也可以采用前述对比第一标识和第二标识的方式。
图2示出了本申请一个实施例的数据处理方法，如图2所示出的，方法包括：
S202，获取目标数据，所述目标数据对应多个第一标识。数据应用方可以接收数据发送方发送的目标数据，具体地，目标数据可以包括多条数据，每条数据分别对应一个第一标识，且不同数据对应不同的第一标识。
S204，若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
获取去重指令，所述去重指令包括所述多个第一标识中重复的标识。具体地，可以检测目标数据对应的多个第一标识中是否存在重复的标识，如果存在重复的标识则发送去重指令。当接收到去重指令时，执行去重操作，例如将对应的所述目标数据删除或者仅应用对应的目标数据一次。
图3示出了本申请一个实施例的数据处理方法，如图3所示出的，方法包括：
S302，向数据应用方发送目标数据，所述目标数据对应多个第二标识。目标数据可以包括多条数据，每条数据分别对应一个第二标识，且不同数据对应不同的第二标识。优选地，第二标识可以是唯一编码的标识码。
S304，若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。通过比较上述多个第二标识和上述多个第一标识，确定多个第一标识与第二标识相比缺失的标识。
图4是根据本申请一个具体实施例的数据监控修复系统的示意图，如图4所示出的，数据采集系统、数据库和数据应用系统依次连接构成线上实时链路系统，数据监控处理系统分别与上述数据采集系统、数据库和数据应用系统连接。
具体地，数据采集系统在采集数据时或者数据生成时，同时生成唯一的序列码ID，数据和ID经过线上发送至数据应用系统。数据监控处理系统获取数据采集系统通过数据库发送的ID，以及获取数据应用系统从线上接收到的ID，基于两者进行数据修复处理。在进行数据修复处理时，数据监控处理系统向数据采集系统及数据应用系统发送处理指令及预警信息。
图5是根据本申请一个具体实施例的数据处理方法。图5的方法可以由数据处理装置执行。如图5所示出的，方法包括：
S502，数据采集系统采集数据，并同时生成唯一的序列化ID。
具体地，数据采集系统进行数据采集，数据以sls/MetaQ/kafka/flume消息队列形式进入实时链路系统。每一条数据均对应唯一的序列化ID，该序列化ID在采集数据或者数据生成的时候生成，序列化ID包括采集系统来源、数据产生时间、数据编号和数据产生方式。
S504，数据进入数据库，进行ETL(Extract-Transform-Load，萃取-转置-加载)处理，汇总成结构化宽表。
S506，数据库将数据和序列化ID发送至数据应用系统。数据在主链路上正常进入业务系统，可以利用原始系统自有的数据质量保护方式，在主链路上传输和应用。
S508，数据监控处理系统从数据应用系统处获取序列化ID。需要说明的是序列化ID为预设时段内数据应用系统接收到的数据对应的ID，该预设时段可以按照数据开始传输时间与传输过程的合理耗时确定。预设时段可以为毫秒量级或者秒量级，具体可以根据应用系统的要求设置。
S510，数据库将序列化ID发送至数据监控处理系统。由于仅传输序列化ID，比数据监控处理系统从数据应用系统处获取序列化ID更快。具体地，数据监控处理系统可以单独的组件，例如Redis数据库、其他内存型数据库或告警平台。
S512，如果数据监控处理系统判断从数据应用系统处获取的序列化ID存在重复，向数据应用系统发送重复预警。
S514，数据应用系统将对应的线上重复数据删除或者不处理。
S516，当数据应用系统处理成功后，取消预警。
S518，如果数据监控处理系统判断，从数据应用系统处获取的序列化ID与数据库直接发送的序列化ID相比缺少部分ID，向数据采集系统发送丢失预警。
S520，数据采集系统重新发送缺少ID对应的数据。数据采集系统基于缺少ID进行数据定位，得到对应的数据后发送至数据应用系统。
S522，当数据应用系统成功接收到上述缺少ID对应的数据后，取消预警。
本申请实施例的数据处理方法，可以通过数据监控处理系统，在实时链路中数据应用前进行数据修复，从而在不影响主数据链路的情况下，无感知地将错误数据更正；同时可以提供实时监控和预警功能，独立于主链路原有系统，可以形成可拔插的解耦合性组件，便于迭代更新。
下面将结合图6详细描述根据本申请一个实施例的电子设备。参考图6，在硬件层面，电子设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
或者执行以下操作:
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
或者执行以下操作:
向数据应用方发送目标数据，所述目标数据对应多个第二标识；
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
上述如本申请图1所示实施例揭示的由数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例的方法，并具体用于执行以下方法：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
或者执行以下方法：
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
或者执行以下方法:
向数据应用方发送目标数据，所述目标数据对应多个第二标识；
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
图7是本申请的一个实施例的数据处理装置的结构示意图。请参考图7，在一种软件实施方式中，数据处理装置700可包括：获取单元71和处理单元72，其中，
获取单元71，在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
处理单元72，若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理。
本申请实施例的数据处理装置，在目标数据自数据发送方传输至数据应用方后，获取目标数据对应的多个第一标识，通过判断多个第一标识中是否存在重复的标识确定线上实时数据是否出现重复，如果出现重复则向数据应用方发送去重指令，使数据应用方对目标数据中与重复的标识对应的数据进行去重处理。本申请实施例的数据处理装置，可以对实时数据进行监控及修复，减少线上处理数据耗时，无感知地将错误数据更正，不影响线上业务的正常运行。
可选地，作为一个实施例，所述处理单元72：
在目标数据从所述数据发送方传输至所述数据应用方之前，获取所述目标数据对应的多个第二标识；
若所述多个第一标识中不包括所述多个第二标识中的至少一个第二标识，则向所述数据发送方发送重发指令，所述重发指令包括未被包括在所述多个第一标识中的第二标识，所述重发指令用于所述数据发送方将所述目标数据中与所述未被包括在所述多个第一标识中的第二标识对应的数据进行重发处理。
可选地，作为一个实施例，所述第二标识基于以下信息中的至少一种产生：数据采集来源信息、数据产生时间信息、数据编号信息和数据产生方式信息。
可选地，作为一个实施例，所述处理单元72：
获取所述重复的标识的重复次数；
向所述数据应用方发送去重指令，所述去重指令包括所述重复的标识和所述重复次数。
可选地，作为一个实施例，所述处理单元72：
若所述目标数据中存在重复的数据，向所述数据应用方和/或所述数据发送方发送重复预警信息，所述重复预警信息包括所述重复的标识；
若所述目标数据丢失数据，向所述数据应用方和/或所述数据发送方发送丢失预警信息，所述丢失预警信息包括所述多个第一标识中不包括的第二标识。
本申请实施例的数据处理装置还可执行图1中的数据处理装置执行的方法，并实现数据处理装置在图1所示实施例的功能，在此不再赘述。
图8是本申请的一个实施例的数据处理装置的结构示意图。请参考图8，在一种软件实施方式中，数据处理装置800可包括：数据获取单元81和去重执行单元82，其中，
数据获取单元81，获取目标数据，所述目标数据对应多个第一标识；
去重执行单元82，若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识；对应的目标数据删除或者仅应用所述目标数据一次。
本申请实施例的数据处理装置还可执行图2中的数据处理装置执行的方法，并实现数据处理装置在图2所示实施例的功能，在此不再赘述。
图9是本申请的一个实施例的数据处理装置的结构示意图。请参考图9，在一种软件实施方式中，数据处理装置900可包括：数据获取单元91和去重执行单元92，其中，
数据发送单元91，向数据应用方发送目标数据，所述目标数据对应多个第二标识；
重发执行单元92，若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
本申请实施例的数据处理装置还可执行图3中的数据处理装置执行的方法，并实现数据处理装置在图3所示实施例的功能，在此不再赘述。
总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (15)
1.一种数据处理方法，包括：
在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理；
在目标数据从所述数据发送方传输至所述数据应用方之前，获取所述目标数据对应的多个第二标识；
若所述多个第一标识中不包括所述多个第二标识中的至少一个第二标识，则向所述数据发送方发送重发指令，所述重发指令包括未被包括在所述多个第一标识中的第二标识，所述重发指令用于所述数据发送方将所述目标数据中与所述未被包括在所述多个第一标识中的第二标识对应的数据进行重发处理；
通过比较目标数据在传输至数据应用方之前对应的第二标识和目标数据在传输至数据应用方之后对应的第一标识，确定相对于传输前的目标数据，传输后的数据是否出现错误，所述多个第一标识为预设时段内数据应用方接收到的目标数据对应的标识，如果在第一标识中不包括多个第二标识中的至少一个第二标识，则目标数据出现数据丢失的情况，此时需要数据发送方进行丢失数据的重发，其中，将未被包括在多个第一标识中的第二标识对应的数据进行重发。
2.根据权利要求1所述的方法，所述第二标识基于以下信息中的至少一种生成：数据采集来源信息、数据产生时间信息、数据编号信息和数据产生方式信息。
3.根据权利要求1所述的方法，还包括：
若所述目标数据中存在重复的数据，向所述数据应用方和/或所述数据发送方发送重复预警信息，所述重复预警信息包括所述重复的标识；
若所述目标数据丢失数据，向所述数据应用方和/或所述数据发送方发送丢失预警信息，所述丢失预警信息包括所述多个第一标识中不包括的第二标识。
4.根据权利要求3所述的方法，还包括：
当所述数据应用方去重处理成功后，向所述数据应用方和/或所述数据发送方发送重复预警取消信息，所述重复预警取消信息包括所述重复的标识；
当所述数据发送方重发处理成功后，向所述数据应用方和/或所述数据发送方发送丢失预警取消信息，所述丢失预警取消信息包括所述多个第一标识中不包括的第二标识。
5.根据权利要求1所述的方法，还包括：
获取目标数据，所述目标数据对应多个第一标识；
若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
6.根据权利要求1所述的方法，还包括：
若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
7.一种数据处理装置，包括：
获取单元，在目标数据从数据发送方传输至数据应用方之后，获取所述目标数据对应的多个第一标识；
处理单元，若所述多个第一标识中存在重复的标识，则向所述数据应用方发送去重指令，所述去重指令中包括所述重复的标识，所述去重指令用于所述数据应用方对所述目标数据中与所述重复的标识对应的数据进行去重处理；
所述处理单元：
在目标数据从所述数据发送方传输至所述数据应用方之前，获取所述目标数据对应的多个第二标识；
若所述多个第一标识中不包括所述多个第二标识中的至少一个第二标识，则向所述数据发送方发送重发指令，所述重发指令包括未被包括在所述多个第一标识中的第二标识，所述重发指令用于所述数据发送方将所述目标数据中与所述未被包括在所述多个第一标识中的第二标识对应的数据进行重发处理；
通过比较目标数据在传输至数据应用方之前对应的第二标识和目标数据在传输至数据应用方之后对应的第一标识，确定相对于传输前的目标数据，传输后的数据是否出现错误，所述多个第一标识为预设时段内数据应用方接收到的目标数据对应的标识，如果在第一标识中不包括多个第二标识中的至少一个第二标识，则目标数据出现数据丢失的情况，此时需要数据发送方进行丢失数据的重发，其中，将未被包括在多个第一标识中的第二标识对应的数据进行重发。
8.根据权利要求7所述的装置，还包括：
数据获取单元，获取目标数据，所述目标数据对应多个第一标识；
去重执行单元，若获取去重指令，则将所述去重指令中包括的所述多个第一标识中的重复的标识对应的目标数据删除或者仅应用所述目标数据一次。
9.根据权利要求7所述的装置，还包括：
重发执行单元，若获取重发指令，则将所述重发指令中包括的未被包括在多个第一标识中的第二标识对应的目标数据重新向所述数据应用方发送。
10.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行权利要求1所述的方法。
11.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行权利要求5所述的方法。
12.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使用所述处理器执行权利要求6所述的方法。
13.一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1所述的方法。
14.一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求5所述的方法。
15.一种计算机可读介质，所述计算机可读介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求6所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310827031.3A CN116737710A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
| CN201910728574.3A CN110597794B (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910728574.3A CN110597794B (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310827031.3A Division CN116737710A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110597794A CN110597794A (zh) | 2019-12-20 |
| CN110597794B true CN110597794B (zh) | 2023-07-25 |
Family
ID=68853700
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310827031.3A Pending CN116737710A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
| CN201910728574.3A Active CN110597794B (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310827031.3A Pending CN116737710A (zh) | 2019-08-08 | 2019-08-08 | 数据处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN116737710A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111371900B (zh) * | 2020-03-13 | 2022-07-12 | 北京奇艺世纪科技有限公司 | 一种监测同步链路健康状态的方法及系统 |
| CN111913807B (zh) * | 2020-08-13 | 2024-02-06 | 支付宝(杭州)信息技术有限公司 | 一种基于多个存储区域的事件处理方法、系统及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229660A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 一种数据去重的方法和设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107608689B (zh) * | 2017-08-07 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 客户端上应用程序的更新方法、装置及电子设备 |
| CN107656966A (zh) * | 2017-08-28 | 2018-02-02 | 深圳市诚壹科技有限公司 | 一种处理数据的方法及服务器 |
| CN107766508B (zh) * | 2017-10-23 | 2021-06-15 | 深圳市中润四方信息技术有限公司 | 一种数据文件采集分发的方法、系统 |
| CN110099086B (zh) * | 2018-01-31 | 2020-11-06 | 国广融合（北京）传媒科技发展有限公司 | 一种基于融合传输系统的数据传输方法 |
-
2019
- 2019-08-08 CN CN202310827031.3A patent/CN116737710A/zh active Pending
- 2019-08-08 CN CN201910728574.3A patent/CN110597794B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229660A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 一种数据去重的方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110597794A (zh) | 2019-12-20 |
| CN116737710A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107122258B (zh) | 用于测试接口的状态码校验的方法及设备 | |
| CN107945031B (zh) | 数据处理系统和再保危险单位数据生成方法 | |
| CN110597794B (zh) | 数据处理方法、装置和电子设备 | |
| CN110022259B (zh) | 消息到达率确定方法、装置、数据统计服务器及存储介质 | |
| CN112433885B (zh) | 区块链共识处理方法及装置、电子设备、存储介质 | |
| CN112115049B (zh) | 应用程序测试方法、装置、设备和计算机可读存储介质 | |
| CN110838971B (zh) | 消息发送方法、装置、电子设备及存储介质 | |
| CN112835885B (zh) | 一种分布式表格存储的处理方法、装置及系统 | |
| CN110781153B (zh) | 基于区块链的跨应用信息共享方法及系统 | |
| CN108108126B (zh) | 一种数据处理方法、装置及设备 | |
| CN111355765A (zh) | 一种网络请求的处理、发送方法及装置 | |
| CN112969198A (zh) | 数据传输方法、终端及存储介质 | |
| CN109815083B (zh) | 一种应用崩溃的监控方法、装置、电子设备及介质 | |
| CN111897826A (zh) | 参数信息更新方法、装置、电子设备及可读存储介质 | |
| CN109871294B (zh) | 用于校验数据、处理请求的方法和装置 | |
| CN115118625B (zh) | 一种数据校验方法和装置 | |
| CN116069751A (zh) | 信息处理方法、装置、设备及计算机可读存储介质 | |
| CN108965108B (zh) | 一种消息推送方法及相关设备 | |
| CN111833608B (zh) | 路况信息的处理方法、装置 | |
| CN111858379B (zh) | 应用的测试方法和装置 | |
| CN114416420A (zh) | 设备问题反馈方法和系统 | |
| CN110866225A (zh) | 风险控制方法、装置、电子设备及存储介质 | |
| CN110362464B (zh) | 软件分析方法及设备 | |
| CN114567855B (zh) | 一种长短信处理方法、装置和电子设备 | |
| CN111371650B (zh) | 一种基于流量转发的准生产设备测试方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200923 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |