CN107844520A - 电子装置、车辆数据导入方法及存储介质 - Google Patents

电子装置、车辆数据导入方法及存储介质 Download PDF

Info

Publication number
CN107844520A
CN107844520A CN201710929638.7A CN201710929638A CN107844520A CN 107844520 A CN107844520 A CN 107844520A CN 201710929638 A CN201710929638 A CN 201710929638A CN 107844520 A CN107844520 A CN 107844520A
Authority
CN
China
Prior art keywords
file
vehicle data
data
predetermined
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710929638.7A
Other languages
English (en)
Inventor
高梁梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710929638.7A priority Critical patent/CN107844520A/zh
Priority to PCT/CN2018/076184 priority patent/WO2019071899A1/zh
Publication of CN107844520A publication Critical patent/CN107844520A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种电子装置、方法及存储介质，所述方法包括：在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则将第一文件进行切分，得到多个第二文件；分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。本发明通过上述方式解决了目前针对大数据导入的方式存在速度慢、效率低的问题。

Description

电子装置、车辆数据导入方法及存储介质
技术领域
本发明涉及车辆数据管理领域，尤其涉及一种电子装置、车辆数据导入方法及存储介质。
背景技术
随着信息技术的发展，数据库之间的信息交互变得越来越普遍。例如，GBD(违章查询系统)进行查询违章业务时，需要车险服务管理系统(ICORE-CSMS)提供车辆数据，此时就需要车险服务管理系统与违章查询系统之间进行数据的对接，通常情况下，业务人员每月初向车险管理服务系统以CSV格式文件提供车辆数据，车辆管理系统同步将所有的CSV格式文件导入违章查询系统，而业务人员提供的数据量通常在500万以上，有时甚至会达到2000万以上，这就导致在数据同步导入的过程中CSV文件的大小一般都在500M以上。
而目前车辆管理系统采用自带的数据导入工具同步将500M以上的CSV文件导入至违章查询系统的数据库中，很容易造成车俩管理系统假死的情况，导致数据导入过程需要浪费大量的时间，且在数据导入过程中一旦有某条数据出错，无法及时定位到该出错的数据，将导致整个导入过程无效，需要重新进行数据的导入。因此，这种数据导入方式存在速度慢、效率低、容易出错的问题。
发明内容
有鉴于此，本发明提出一种电子装置、车辆数据导入方法及存储介质，解决了目前存在的针对大数据导入时速度慢、效率低的问题。
首先，为实现上述目的，本发明提出一种电子装置，
所述电子装置包括存储器、及与所述存储器连接的处理器，所述处理器用于执行所述存储器上存储的车辆数据导入程序，所述车俩数据导入程序被所述处理器执行时实现如下步骤：
A、在收到车辆数据导入指令后，获取存储所述车辆数据的第一文件及所述第一文件对应的文件类型；
B、若所述文件类型为预设文件类型，且所述第一文件的大小大于预设的文件传输阈值，则根据预先确定的文件切分规则将所述第一文件进行切分，得到多个第二文件，其中，所述预设文件类型包括CSV文件、TXT文件、以及EXCEL文件，所述第二文件的大小小于或等于所述文件传输阈值；
C、分别利用预先确定的解析规则将各个所述第二文件进行解析，得到各个所述第二文件中存储的车辆数据对应的车辆数据列表；
D、从各个所述车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
进一步地，所述预先确定的文件切分规则为：
X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，所述第一子文件的大小为预设值，该预设值小于或者等于所述文件传输阈值；
X2、若有切分出的子文件的大小大于所述文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；
X3、若没有切分出的子文件的大小大于所述文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为所述待切分文件对应的第二文件。
进一步地，所述预先确定的解析规则包括：
同步扫描各个第二文件的第一行，并分别从所述第一行开始顺序逐行获取各个第二文件中的车辆数据，得到各个第二文件对应的车辆数据列表。
进一步地，所述步骤D还包括如下步骤：
从各个所述车辆数据列表中分次获取预设数量的车辆数据，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库，并实时进行异常数据监控；
若监控到异常数据，则自动捕获所述异常数据，并将捕获得到的异常数据根据预设的异常标记进行标记；
将带有异常标记的数据存储至预先确定的所述预设类型文件中。
进一步地，所述车辆数据列表存储有车架号、车牌号、购买车险的日期、违章的原因、以及违章的时间。
此外，为实现上述目的，本发明还提供一种车辆数据导入方法，该方法包括如下步骤：
S1、在收到车辆数据导入指令后，获取存储所述车辆数据的第一文件及所述第一文件对应的文件类型；
S2、若所述文件类型为预设文件类型，且所述第一文件的大小大于预设的文件传输阈值，则根据预先确定的文件切分规则将所述第一文件进行切分，得到多个第二文件，其中，所述预设文件类型包括CSV文件、TXT文件、以及EXCEL文件，所述第二文件的大小小于或等于所述文件传输阈值；
S3、分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；
S4、从各个所述车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
进一步地，所述预先确定的文件切分规则为：
X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，所述第一子文件的大小为预设值，该预设值小于或者等于所述文件传输阈值；
X2、若有切分出的子文件的大小大于所述文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；
X3、若没有切分出的子文件的大小大于所述文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为所述待切分文件对应的第二文件。
进一步地，所述预先确定的解析规则包括：
同步扫描各个第二文件的第一行，并分别从所述第一行开始顺序逐行获取各个第二文件中的车辆数据，得到各个第二文件对应的车辆数据列表。
进一步地，所述步骤D还包括如下步骤：
从各个所述车辆数据列表中分次获取预设数量的车辆数据，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库，并实时进行异常数据监控；
若监控到异常数据，则自动捕获所述异常数据，并将捕获得到的异常数据根据预设的异常标记进行标记；
将带有异常标记的数据存储至预先确定的所述预设类型文件中。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有车辆数据导入程序，所述车辆数据导入程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的车辆数据导入方法的步骤。
相较于现有技术，本发明所提出的电子装置、车辆数据导入方法及存储介质，在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则将第一文件进行切分，得到多个第二文件；分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；从车辆数据列表中分次获取预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。本发明通过上述方式解决了目前针对大数据导入的方式存在速度慢、效率低、且容易出错的问题。
附图说明
图1是本发明提出的电子装置较佳实施例的硬件架构的示意图；
图2是本电子装置中存储的车辆数据导入程序较佳实施例的程序模块示意图；
图3是本发明车辆数据导入方法较佳实施例的实施流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明提出的电子装置较佳实施例的硬件架构示意图。本实施例中，电子装置10可包括，但不仅限于，可通过系统总线相互通信连接存储器101、处理器102、网络接口103、以及通信总线104。需要指出的是，图1仅示出了具有组件101-104的电子装置10，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器101至少包括一种类型的计算机可读存储介质，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器101可以是电子装置10的内部存储单元，例如电子装置10的硬盘或内存。在另一些实施例中，存储器101也可以是电子装置10的外包存储设备，例如电子装置10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器101还可以既包括电子装置10的内部存储单元也包括其外包存储设备。本实施例中，存储器101通常用于存储安装于电子装置10的操作系统和各类应用软件，例如车辆数据导入程序等。此外，存储器101还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器102在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。处理器102通常用于控制电子装置10的总体操作。本实施例中，处理器102用于运行存储器101中存储的程序代码或者处理数据，例如运行的车辆数据导入程序等。
网络接口103可包括无线网络接口或有线网络接口，网络接口103通常用于在电子装置10与其他电子设备之间建立通信连接。
通信总线104用于实现电子装置10中不同组件之间的连接通信。
可选地，该装置还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选地，用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子装置中处理的信息以及用于显示可视化的用户界面。
在图1所示的电子装置10中，存储器101中存储有车辆数据导入程序，该车辆数据导入程序被处理器102执行时实现如下步骤。
A、在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；
B、若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则根据预先确定的文件切分规则将第一文件进行切分，得到多个第二文件，其中，预设文件类型包括CSV文件、TXT文件、以及EXCEL文件；
C、分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；
D、从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
本实施例中，以将车辆数据导入预先确定的数据库为例，对本发明进行解释。当需要将车辆数据导入预先确定的数据库时，获取存储车辆数据的第一文件及第一文件对应的文件类型。可以理解的是，通常情况下，业务人员为了保证处理数据的方便，将车辆数据按照规定的文件类型进行保存，例如，CSV文件、TXT文件、以及EXCEL文件等。
在获取到保存车辆数据的第一文件以及第一文件的文件类型后，为了保证传输文件的效率，防止进行不必要的操作，需要判断第一文件类型是否为预设文件类型，例如，CSV文件、TXT文件、以及EXCEL文件等，且第一文件的大小是否超过预设的文件传输阈值，例如，500M。可以理解的是，若文件类型不是预设文件类型，或者第一文件的大小小于预设的文件传输阈值，则按照背景技术中现有的传输方式传输该第一文件。若文件类型是预设文件类型，且第一文件的大小大于预设的文件传输阈值，则根据预先确定的切分规则将第一文件进行切分，得到多个第二文件，其中，预先确定的文件切分规则为：X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，第一子文件的大小为预设值，该预设值小于或者等于文件传输阈值；X2、若有切分出的子文件的大小大于文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；X3、若没有切分出的子文件的大小大于文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为待切分文件对应的第二文件。
接下来，分别利用预先确定的解析规则将第二文件进行解析，例如，同步扫描第二文件的第一行，并分别从第一行开始顺序逐行获取第二文件中的车辆数据，得到第二文件对应的车辆数据列表。可以理解的是，在解析过程中，若发现第二文件中出现空列，为了防止出错，需要将该空列后面的所有列均前移，直到获取到需要导入预先确定的数据库的所有列，并且在解析完其中一个文件后，添加程序可识别的已解析标记，防止其他线程重复解析已解析的文件，提高解析的效率。
之后从车辆数据列表中分次获取预设数量(例如，5000条)的车辆数据，并将每次所获取的预设数量的车辆数据分批导入预先确定的数据库。需要说明的是，为了防止在数据导入过程中一旦有某条数据出错，无法及时定位到该出错的数据，将导致整个导入过程无效，需要重新进行数据的导入的问题出现，在将每次所获取的预设数量的车辆数据分批导入预先确定的数据库的过程中，实时进行异常数据监控；若监控到异常数据，例如，车俩数据列表中A列记录的是车牌号，B列记录的是车架号，监控到A列出现了疑似车架号的数据，则自动捕获该疑似车架号的异常数据，并将捕获得到的该疑似车架号的数据根据预设的异常标记进行标记；将带有异常标记的数据存储至预先确定的预设类型文件中，供相关的业务人员重新整理该带有异常标记的数据，并继续执行车辆数据导入指令，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库。
可以理解的是，在车辆数据导入之前，为了防止车俩数据列表与预先确定的数据库中数据列表出现不对应，而导致数据导入之后出现错误的情况发生，需要进行将车辆数据列表对应的第一列表中每列存储数据的类别，例如，车牌号、车架号、购买车险的日期、违章的原因、以及违章的时间，与预先确定的数据库对应的第二列表中的每列存储数据的类别进行匹配，例如，若车辆数据列表中A列是车牌号，B列是车架号，但是预先确定的数据库列表中A列是车架号，B列是车牌号，则需要将车辆数据列表中A列的数据类别对应和B列的数据类别进行调整，使A列的数据类别和B列的数据类别互换，以保证在数据导入过程中数据导入的正确性。
可以理解的是，上述实施例涉及到的预设的传输阈值、第一预设数量、第二预设数量等需要预先设置的参数，用户可以根据实际情况进行设置。
上述事实例提出的电子装置，在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则将第一文件进行切分，得到多个第二文件；分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。本发明通过上述方式解决了目前针对大数据导入的方式存在速度慢、效率低、且容易出错的问题。
可选地，在其他的实施例中，车辆数据导入程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器101中，并由一个或多个处理器(本实施例为处理器102)所执行，以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。例如，参照图2所示，为本发明电子装置一实施例中存储的车辆数据导入程序较佳实施例的程序模块示意图，该实施例中，车辆数据导入程序可以被分割为获取模块201、分割模块202、解析模块203、分批导入模块204，其中，模块201-204所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块201用于在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；
分割模块202用于若文件类型为预设文件类型，且第一文件的大小超过预设的文件传输阈值，则将第一文件进行切分，得到第一预设数量的第二文件，其中，预设文件类型包括CSV文件、TXT文件、以及EXCEL文件；
解析模块203用于分别利用预先确定的解析规则将第二文件进行解析，得到第二文件中存储的车辆数据对应的车辆数据列表；
分批导入模块204用于从车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
此外，本发明还提供一种车辆数据导入方法。请参照图3所示，为本发明车辆数据导入方法较佳实施例的实施流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，车辆数据导入方法包括：
步骤S301，在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；
步骤S302,若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则根据预先确定的切分规则将第一文件进行切分，得到多个第二文件，其中，预设文件类型包括CSV文件、TXT文件、以及EXCEL文件；
步骤S303，分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；
步骤S304，从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
本实施例中，以将车辆数据导入预先确定的数据库为例，对本发明进行解释。当需要将车辆数据导入预先确定的数据库时，获取存储车辆数据的第一文件及第一文件对应的文件类型。可以理解的是，通常情况下，业务人员为了保证处理数据的方便，将车辆数据按照规定的文件类型进行保存，例如，CSV文件、TXT文件、以及EXCEL文件等。
在获取到保存车辆数据的第一文件以及第一文件的文件类型后，为了保证传输文件的效率，防止进行不必要的操作，需要判断第一文件类型是否为预设文件类型，例如，CSV文件、TXT文件、以及EXCEL文件等，且第一文件的大小是否超过预设的文件传输阈值，例如，500M。可以理解的是，若文件类型不是预设文件类型，或者第一文件的大小小于预设的文件传输阈值，则按照背景技术中现有的传输方式传输该第一文件。若文件类型是预设文件类型，且第一文件的大小大于预设的文件传输阈值，则根据预先确定的切分规则将第一文件进行切分，得到多个第二文件，其中，预先确定的文件切分规则为：X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，第一子文件的大小为预设值，该预设值小于或者等于文件传输阈值；X2、若有切分出的子文件的大小大于文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；X3、若没有切分出的子文件的大小大于文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为待切分文件对应的第二文件。
接下来，分别利用预先确定的解析规则将第二文件进行解析，例如，同步扫描第二文件的第一行，并分别从第一行开始顺序逐行获取第二文件中的车辆数据，得到第二文件对应的车辆数据列表。可以理解的是，在解析过程中，若发现第二文件中出现空列，为了防止出错，需要将该空列后面的所有列均前移，直到获取到需要导入预先确定的数据库的所有列，并且在解析完其中一个文件后，添加程序可识别的已解析标记，防止其他线程重复解析已解析的文件，提高解析的效率。
之后从车辆数据列表中分次获取预设数量(例如，5000条)的车辆数据，并将每次所获取的预设数量的车辆数据分批导入预先确定的数据库。需要说明的是，为了防止在数据导入过程中一旦有某条数据出错，无法及时定位到该出错的数据，将导致整个导入过程无效，需要重新进行数据的导入的问题出现，在将每次所获取的预设数量的车辆数据分批导入预先确定的数据库的过程中，实时进行异常数据监控；若监控到异常数据，例如，车俩数据列表中A列记录的是车牌号，B列记录的是车架号，监控到A列出现了疑似车架号的数据，则自动捕获该疑似车架号的异常数据，并将捕获得到的该疑似车架号的数据根据预设的异常标记进行标记；将带有异常标记的数据存储至预先确定的预设类型文件中，供相关的业务人员重新整理该带有异常标记的数据，并继续执行车辆数据导入指令，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库。
可以理解的是，在车辆数据导入之前，为了防止车俩数据列表与预先确定的数据库中数据列表出现不对应，而导致数据导入之后出现错误的情况发生，需要进行将车辆数据列表对应的第一列表中每列存储数据的类别，例如，车牌号、车架号、购买车险的日期、违章的原因、以及违章的时间，与预先确定的数据库对应的第二列表中的每列存储数据的类别进行匹配，例如，若车辆数据列表中A列是车牌号，B列是车架号，但是预先确定的数据库列表中A列是车架号，B列是车牌号，则需要将车辆数据列表中A列的数据类别对应和B列的数据类别进行调整，使A列的数据类别和B列的数据类别互换，以保证在数据导入过程中数据导入的正确性。
可以理解的是，上述实施例涉及到的预设的传输阈值、第一预设数量、第二预设数量等需要预先设置的参数，用户可以根据实际情况进行设置。
上述事实例提出的车辆数据导入方法，在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则将第一文件进行切分，得到多个第二文件；分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。本发明通过上述方式解决了目前针对大数据导入的方式存在速度慢、效率低、且容易出错的问题。
此外，本发明实施例还提出一种计算机可读存储介质，该计算机可读存储介质上存储有车辆数据导入程序，该车辆数据导入程序被处理器执行时实现如下操作：
A、在收到车辆数据导入指令后，获取存储车辆数据的第一文件及第一文件对应的文件类型；
B、若文件类型为预设文件类型，且第一文件的大小大于预设的文件传输阈值，则根据预先确定的切分规则将第一文件进行切分，得到多个第二文件，其中，预设文件类型包括CSV文件、TXT文件、以及EXCEL文件，第二文件的大小小于或等于所述文件传输阈值；
C、分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；
D、从各个车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
进一步地，该车辆数据导入程序被处理器执行时还实现如下操作：
从各个所述车辆数据列表中分次获取预设数量的车辆数据，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库，并实时进行异常数据监控；
若监控到异常数据，则自动捕获所述异常数据，并将捕获得到的异常数据根据预设的异常标记进行标记；
将带有异常标记的数据存储至预先确定的所述预设类型文件中。
本发明计算机可读存储介质具体实施方式与上述电子装置以及车辆数据导入方法各实施例基本相同，在此不作累述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种电子装置，其特征在于，所述电子装置包括存储器、及与所述存储器连接的处理器，所述处理器用于执行所述存储器上存储的车辆数据导入程序，所述车俩数据导入程序被所述处理器执行时实现如下步骤：
A、在收到车辆数据导入指令后，获取存储所述车辆数据的第一文件及所述第一文件对应的文件类型；
B、若所述文件类型为预设文件类型，且所述第一文件的大小大于预设的文件传输阈值，则根据预先确定的文件切分规则将所述第一文件进行切分，得到多个第二文件，其中，所述预设文件类型包括CSV文件、TXT文件、以及EXCEL文件，所述第二文件的大小小于或等于所述文件传输阈值；
C、分别利用预先确定的解析规则将各个所述第二文件进行解析，得到各个所述第二文件中存储的车辆数据对应的车辆数据列表；
D、从各个所述车辆数据列表中分次获取预设数量的车辆数据，并将每次所获取的预设数量的车辆数据分批导入预先确定的数据库。
2.如权利要求1所述的电子装置，其特征在于，所述预先确定的文件切分规则为：
X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，所述第一子文件的大小为预设值，该预设值小于或者等于所述文件传输阈值；
X2、若有切分出的子文件的大小大于所述文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；
X3、若没有切分出的子文件的大小大于所述文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为所述待切分文件对应的第二文件。
3.如权利要求1所述的电子装置，其特征在于，所述预先确定的解析规则包括：
同步扫描各个第二文件的第一行，并分别从所述第一行开始顺序逐行获取各个第二文件中的车辆数据，得到各个第二文件对应的车辆数据列表。
4.如权利要求1所述的电子装置，其特征在于，所述步骤D还包括为如下步骤：
从各个所述车辆数据列表中分次获取预设数量的车辆数据，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库，并实时进行异常数据监控；
若监控到异常数据，则自动捕获所述异常数据，并将捕获得到的异常数据根据预设的异常标记进行标记；
将带有异常标记的数据存储至预先确定的所述预设类型文件中。
5.如权利要求1-4任一所述的电子装置，其特征在于，所述车辆数据列表存储有车架号、车牌号、购买车险的日期、违章的原因、以及违章的时间。
6.一种车辆数据导入方法，其特征在于，所述方法包括如下步骤：
S1、在收到车辆数据导入指令后，获取存储所述车辆数据的第一文件及所述第一文件对应的文件类型；
S2、若所述文件类型为预设文件类型，且所述第一文件的大小大于预设的文件传输阈值，则根据预先确定的文件切分规则将所述第一文件进行切分，得到多个第二文件，其中，所述预设文件类型包括CSV文件、TXT文件、以及EXCEL文件，所述第二文件的大小小于或等于所述文件传输阈值；
S3、分别利用预先确定的解析规则将各个第二文件进行解析，得到各个第二文件中存储的车辆数据对应的车辆数据列表；
S4、从各个所述车辆数据列表中分次获取第二预设数量的车辆数据，并将每次所获取的第二预设数量的车辆数据分批导入预先确定的数据库。
7.如权利要求6所述的车辆数据导入方法，其特征在于，所述预先确定的文件切分规则为：
X1、对待切分文件中存储的车辆数据进行数据切分，以切分成第一子文件和第二子文件，其中，所述第一子文件的大小为预设值，该预设值小于或者等于所述文件传输阈值；
X2、若有切分出的子文件的大小大于所述文件传输阈值，则将该子文件作为新的待切分文件，对该新的待切分文件重复执行上述步骤X1；
X3、若没有切分出的子文件的大小大于所述文件传输阈值，则执行上述步骤X1和X2切分出的所有子文件均为所述待切分文件对应的第二文件。
8.如权利要求6所述的车辆数据导入方法，其特征在于，所述预先确定的解析规则包括：
同步扫描各个第二文件的第一行，并分别从所述第一行开始顺序逐行获取各个第二文件中的车辆数据，得到各个第二文件对应的车辆数据列表。
9.如权利要求6所述的车辆数据导入方法，其特征在于，所述步骤D还包括如下步骤：
从各个所述车辆数据列表中分次获取预设数量的车辆数据，将每次所获取的预设数量的车辆数据分批导入预先确定的数据库，并实时进行异常数据监控；
若监控到异常数据，则自动捕获所述异常数据，并将捕获得到的异常数据根据预设的异常标记进行标记；
将带有异常标记的数据存储至预先确定的所述预设类型文件中。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有车辆数据导入程序，所述车辆数据导入程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求6-9中任一项所述的车辆数据导入方法的步骤。
CN201710929638.7A 2017-10-09 2017-10-09 电子装置、车辆数据导入方法及存储介质 Pending CN107844520A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710929638.7A CN107844520A (zh) 2017-10-09 2017-10-09 电子装置、车辆数据导入方法及存储介质
PCT/CN2018/076184 WO2019071899A1 (zh) 2017-10-09 2018-02-10 电子装置、车辆数据导入方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710929638.7A CN107844520A (zh) 2017-10-09 2017-10-09 电子装置、车辆数据导入方法及存储介质

Publications (1)

Publication Number Publication Date
CN107844520A true CN107844520A (zh) 2018-03-27

Family

ID=61662283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710929638.7A Pending CN107844520A (zh) 2017-10-09 2017-10-09 电子装置、车辆数据导入方法及存储介质

Country Status (2)

Country Link
CN (1) CN107844520A (zh)
WO (1) WO2019071899A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416070A (zh) * 2018-05-10 2018-08-17 四川省冶地工程勘察设计有限公司 一种地理信息快速导入地理信息系统的方法
CN109240998A (zh) * 2018-08-24 2019-01-18 网宿科技股份有限公司 可配置的文件解析方法
CN110221914A (zh) * 2019-05-20 2019-09-10 平安银行股份有限公司 文件处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609466A (zh) * 2009-07-01 2009-12-23 中兴通讯股份有限公司 海量数据查重的方法和系统
US20120029930A1 (en) * 2010-07-30 2012-02-02 Advanced Bionics AG, c/o Froriep Renggli Methods and Systems for Importing Data into a Database Associated with a Cochlear Implant Fitting Software Product
CN106776843A (zh) * 2016-11-28 2017-05-31 浪潮软件集团有限公司 一种基于xml解析的导入excel文件的方法
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571861B (zh) * 2008-04-29 2012-02-29 阿里巴巴集团控股有限公司 一种对数据表进行转换的方法及装置
CN101694952B (zh) * 2009-09-28 2012-04-25 国电南京自动化股份有限公司 由iec61850 scd文件生成嵌入式远动系统装置定义的方法
CN101968783B (zh) * 2010-09-19 2012-08-08 深圳市万兴软件有限公司 一种XML文档转换为Excel文档的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609466A (zh) * 2009-07-01 2009-12-23 中兴通讯股份有限公司 海量数据查重的方法和系统
US20120029930A1 (en) * 2010-07-30 2012-02-02 Advanced Bionics AG, c/o Froriep Renggli Methods and Systems for Importing Data into a Database Associated with a Cochlear Implant Fitting Software Product
CN106776843A (zh) * 2016-11-28 2017-05-31 浪潮软件集团有限公司 一种基于xml解析的导入excel文件的方法
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416070A (zh) * 2018-05-10 2018-08-17 四川省冶地工程勘察设计有限公司 一种地理信息快速导入地理信息系统的方法
CN109240998A (zh) * 2018-08-24 2019-01-18 网宿科技股份有限公司 可配置的文件解析方法
CN110221914A (zh) * 2019-05-20 2019-09-10 平安银行股份有限公司 文件处理方法及装置
CN110221914B (zh) * 2019-05-20 2024-05-17 平安银行股份有限公司 文件处理方法及装置

Also Published As

Publication number Publication date
WO2019071899A1 (zh) 2019-04-18

Similar Documents

Publication Publication Date Title
CN110309125B (zh) 数据校验方法、电子装置及存储介质
CN108133008B (zh) 数据库中业务数据的处理方法、装置、设备和存储介质
CN109600441B (zh) 联盟链信息发布控制方法及终端设备
CN108427705A (zh) 电子装置、分布式系统日志查询方法及存储介质
CN109474578A (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN109146095A (zh) 多业务系统问题的处理方法和装置
CN108248612A (zh) 车辆诊断信息的管理方法、装置及终端设备
CN111563075B (zh) 一种业务校验系统、方法及设备和存储介质
CN110071904A (zh) 一种车载终端的检测方法与系统、服务器及存储介质
CN107844520A (zh) 电子装置、车辆数据导入方法及存储介质
CN108255602A (zh) 任务组合方法及终端设备
CN110362450A (zh) 一种日志数据采集方法、装置及计算机可读存储介质
CN109447384A (zh) 风控系统的验证方法、装置、设备及存储介质
CN105491078A (zh) Soa系统中的数据处理方法及装置、soa系统
CN106095511A (zh) 一种服务器升级方法和装置
CN113806816A (zh) 一种基于区块链的电子档案管理方法、装置及电子设备
CN111324645B (zh) 区块链的数据处理方法及装置
US11146571B2 (en) Data transmission method, apparatus, terminal device, and medium
CN111475468A (zh) 新增系统的日志接入方法、装置、设备及存储介质
CN111459932A (zh) 基于区块链的数据存证方法、装置及存储介质
CN114706526A (zh) 云原生存储数据卷的自动扩容方法、系统及设备
CN109710187A (zh) NVMe SSD主控芯片的读命令加速方法、装置、计算机设备及存储介质
CN108763053A (zh) 埋点名称的生成方法及终端设备
CN113342647A (zh) 一种测试数据的生成方法及装置
CN112468673A (zh) 一种在线图像的传输识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327