CN109669933A - 交易数据智能处理方法、装置及计算机可读存储介质 - Google Patents
交易数据智能处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109669933A CN109669933A CN201811503719.1A CN201811503719A CN109669933A CN 109669933 A CN109669933 A CN 109669933A CN 201811503719 A CN201811503719 A CN 201811503719A CN 109669933 A CN109669933 A CN 109669933A
- Authority
- CN
- China
- Prior art keywords
- transaction data
- data
- electrical form
- transaction
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000004140 cleaning Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 21
- 241001484259 Lacuna Species 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000008676 import Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 101150035983 str1 gene Proteins 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 238000005201 scrubbing Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了交易数据智能处理方法，该方法包括：按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中；设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。本发明还提出一种交易数据智能处理装置以及一种计算机可读存储介质。本发明实现了台账数据的智能处理，提高数据录入的效率和准确性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种交易数据智能处理方法、装置及计算机可读存储介质。
背景技术
交易Excel台账需要每天导入交易数据进行持仓计算，当前对于交易数据台账的登记管理大都依靠相关管理员，导入方法需要手工对每种交易类型分类并手工录入数据，由此导致台账数据导入过程中业务成本、人工成本以及时间成本较高，与此同时还存在登记繁琐、出错率高、汇总分析不方便以及资源不能快速共享等诸多问题。随着信息化时代台账数据资料的飞速增长，通过手工逐项进行数据分类和导入的方式不仅愈加费时费力，并且数据分析利用的有效性和可靠性大大降低，因此，通过信息化手段，以台账数据的自动、批量导入方式代替传统人工逐项录入，可以有效提高数据录入的效率和准确性，有助于台账管理系统的高效运转。
发明内容
本发明提供一种交易数据智能处理方法、装置及计算机可读存储介质，其主要目的在于提高数据录入的效率和准确性。
为实现上述目的，本发明还提供一种交易数据智能处理方法，该方法包括：
按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中；
设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
可选地，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中的步骤，包括：
利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据；
利用VBA宏将所述原始交易数据导出至预设格式的电子表格中。
可选地，所述对所述电子表格的交易数据进行数据清洗与整理包括：
对所述交易数据进行数据汇总；
对所述交易数据进行缺项标注；
对所述交易数据进行同类项合并。
可选地，所述对交易数据进行汇总的步骤包括：
判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
删除所述电子表格中冗余行列；
通过替换方式将电子表格中的符号统一；
根据关键字字段对电子表格数据进行排序。
可选地，对所述交易数据进行缺项标注的步骤，包括：
判断所述交易数据在所述电子表格中占用的行数；
将所述电子表格的序号所在的列数据清空，根据工序重新进行序号标注；
将所述序号所在单元格合并，并在合并后的单元格里保留序号数值；
将已完成配套的交易数据备注为“正常”，未配套的数据备注为“缺项”。
根据关键字字段对电子表格数据进行排序；
保存所述符号统一后的电子文档。
此外，为实现上述目的，本发明还提供一种交易数据智能处理装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的交易数据智能处理程序，所述程序被所述处理器执行时实现如下步骤：
按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中；
设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
可选地，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中的步骤，包括：
利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据；
利用VBA宏将所述原始交易数据导出至预设格式的电子表格中。
可选地，所述对所述电子表格的交易数据进行数据清洗与整理包括：
对所述交易数据进行数据汇总；
对所述交易数据进行缺项标注；
对所述交易数据进行同类项合并。
可选地，所述对交易数据进行汇总的步骤，包括：
判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
删除所述电子表格中冗余行列；
通过替换方式将电子表格中的符号统一；
根据关键字字段对电子表格数据进行排序。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有交易数据智能处理程序，所述交易数据智能处理程序可被一个或者多个处理器执行，以实现如上所述的方法的步骤。
本发明提出的交易数据智能处理方法、装置及计算机可读存储介质，通过分类采集交易数据以及对交易数据进行清洗规范化后，构建基于VBA的一键导入交易数据程序。该方法可以根据不同处理要求设置采集配置文件，通过简单修改可以实时配置交易数据导出的时间段以及台账数据导入的时间段,可以灵活运用于处理各种情况,满足多种实际需要；通过Excel工作表保护功能可以有效保证交易的输入规范性，保证交易原始数据的准确性，提高效率；该方法及所提供装置自动化程度较高，可以自动生成相应字段，操作简单，使数据处理流程更加规范化和自动化。
附图说明
图1为本发明一实施例提供的交易数据智能处理方法的流程示意图；
图2为本发明一实施例提供的交易数据智能处理装置的内部结构示意图；
图3为本发明一实施例提供的交易数据智能处理装置中程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种交易数据智能处理方法。参照图1所示，为本发明一实施例提供的交易数据智能处理方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，交易数据智能处理方法包括：
步骤S10，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中。
为了更好的进行不同交易类型持仓的精准计算分析，在原始数据筛选与获取时依据交易性质进行分类提取，并且进行工作表标准格式的统一规定。本发明较佳实施例中，所述预设数据库为海外估值核算系统数据库，在该数据库中按照交易数据的交易类型和时间结点筛选交易数据，导出符合预设格式的电子表格文件，如Excel文件。
此外，为防止误操作，提高系统数据的安全性，并保证所有用户提取出交易数据格式的一致性，有必要对Excel单元格格式和公式进行保护。该步骤有效避免了大量的手工复制粘贴操作和格式调整操作，大大减少了操作人员的工作量，同时避免了因操作人员疲劳造成的数据录入错误，遗漏等情况发生。
可以通过Bat，VBA，Java，Python，C，C++，C#等编程语言执行上述操作。
本发明较佳实施例，利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据。具体的，利用台账服务器中预先编写的一个Bat脚本定时从海外估值核算系统数据库中访问导出交易数据。
在大数据时代，台账系统相关数据量也飞速增长，通过合理设置台账服务器的访问配置，有助于实现台账管理的智能化、轻量化。通过在台账所在服务器编写Bat脚本的方式，可以通过编程手段从台账系统的内部或外部来操纵，实现定时访问导出的功能。此外，还可以通过修改参数来精确控制访问导出的时间间隔，该步骤简化了手工筛选数据过程，极大地减轻了技术人员的负担,并降低了人为因素错误出现的几率,很好地体现了现代化、智能化信息技术在台账管理工作中的实用性。
将上述筛选后的原始交易数据导出至预设格式的电子表格中。本发明较佳实施例，利用VBA宏将自动收集好的原始交易数据导出至预设格式的Excel文件中，并把所有的交易数据放到一个文件夹下。
本发明较佳实施例，首先新建一个Excel文件，在工作表的第一行输入行标题并插入一个按钮，在按钮处插入如下VBA宏代码。在启用宏代码的情况下，单击按钮就可以执行宏代码，可以把所有交易数据导入到Excel工作表中。在Excel的VBA中,符合规定标准格式的工作表导入可以通过编写如下的代码实现:
RBFile＝Application.Get Open Filename(File Filter:＝“TXT Files(*.txt),*.txt”,
Title:＝“选择交易数据文件:”,Multi Select:＝False),
Sheets(“DC”).Query Tables.Add(Connection:＝“TEXT；”&RBFile,Destination:＝Sheets(“DC”).Cells(2,1)).
其中，第一条代码通过使用Application.Get Open Filename方法，利用人机交互式获取原始交易数据文件的包含完整路径的文件名，并赋值给变量RBFile；第二条代码执行的操作是把交易原始数据文件中的内容从名为DC的目标工作表的第二行第一个单元格开始写入，写入位置可以通过需要对代码进行更改。由此实现将全部的交易数据导入到临时工作表DC中，剩下的格式调整可以根据需要使用录制宏的方法生成代码,然后对代码进行修改以达到可重复利用的目的。
步骤S20，设定数据清洗与整理规则，利用VBA函数根据所述数据清洗规则对所述电子表格的交易数据进行数据清洗与整理；
交易数据的准确性直接决定着持仓计算的准确性，因此在交易数据导入台账之前要对交易数据进行进一步的清洗与处理，通过Excel自动筛选可以筛选一些无效数据，也可以筛选出一些错误的数据并进行改正，此外，Excel中的数据透视表和数据透视图是进行数据统计最简单有效的工具之一。通过“插入”选项卡“表格”工具栏中的“数据透视表”按钮可以插入数据透视表。通过拖动字段到“报表筛选”、“行标签”、“列标签”，“数值”列表中就可以进行快速统计，当然也可以用数据透视图直观形象的展现数据。
该部分数据的清洗与整理主要包括对交易数据进行交易数据汇总、对交易数据进行缺项标注、对交易数据进行同类项合并三大部分。
对交易数据进行汇总的步骤主要包括：
(1)定义过程变量，初始化；
(2)判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
(3)删除所述电子表格中冗余行列；
(4)通过替换方式将电子表格中的符号统一，例如将“X”统一为“*”等；
(5)根据关键字字段对电子表格数据进行排序，例如，依据关键字“价格”“时间”等字段进行排序；
排序过程使用了VBA的自带函数，str1与str2分别为两个关键字数据所在单元格的范围,str3为要进行排序处理的单元格范围，
Active Workbook.Worksheets("Sheet1").Sort.SortFields.Add Key:＝Range(str1)_,
Sort On:＝xlSort On Values,
Active Workbook.Worksheets("Sheet1").Sort.SortFields.Add Key:＝Range(str2)_.
,Sort On:＝xlSort On Values,
Active Workbook.Worksheets("Sheet1").Sort.SetRange Range(str3)ActiveWorkbook.Worksheets("Sheet1").Sort.Sort SortMethod＝lPinYin
(6)合并同类项；
同类项合并后只需留一行数据，其余行需删除，根据Excel特性此工作需从最后一行倒序进行。
(7)保存汇总后的文档。
对交易数据进行报表缺项标注的步骤主要包括：
(1)定义过程变量，初始化；
(2)判断此文档格式是否符合此模块的处理格式，若不符合则显示提示框，并退出程序；
(3)判断所述交易数据在所述电子表格中占用的行数；
(4)将所述电子表格的序号所在的列数据清空，根据工序重新进行序号标注；
(5)将所述序号所在单元格合并，并在合并后的单元格里保留序号数值；
(6)将已完成配套的交易数据备注为“正常”，未配套的数据备注为“缺项”；
(7)保存缺项标注后的文档。
此模块需要生成新的报表格式，代码实现过程中涉及的主要为单元格格式的处理。
对交易数据进行同类项合并的步骤主要包括：
此模块功能主要为排序和合并同类项，排序依据的关键字有一个或者两个，且其所在的位置不定，因此需要引入下拉框选择。
(1)定义过程变量，初始化。
,Do While Cells(1,i)<>""//下拉框载入文档中的标头,
ComboBox1.AddItem Cells(1,i),
ComboBox2.AddItem Cells(1,i),
i＝i+1,
Loop.
(2)选择关键字。
(3)根据选用关键字的数目分两种情况进行处理。
(4)选定关键字后，依据关键字进行排序；将数据中的符号统一，例如将“X”统一为“*”等，合并同类项。
(5)保存文档。
以上数据清洗和整理的步骤全面对交易原始数据进行了清理和纠正，有效提高了台账中所导入交易数据的准确性。
步骤S30，利用VBA函数将所述清洗后的交易数据一键导入到台账服务器。
本发明较佳实施例在Excel中内嵌的VBA一键导入程序，选择一键导入按照上述步骤规范化处理后的当天的交易数据Excel文件，即可将数据自动录入到台账服务期，为台账的智能化、自动化管理提供支撑。该步骤简化了手工录入过程，可以将交易的真实情况实时、高效地录入台账管理系统，确保了海控司库的安全、高效运行，有效降低了出错率。
Excel本身的特点加上VBA强大的功能使得它用来对交易数据管理及分析特别方便。Excel中单元格可以合并、拆分,具有很好的修改性。用VBA编写的程序去完成大量的手工操作,节省了时间,而且保证了操作的准确。在Visual Basic编辑器中新建“生成目录”宏模块，编写VBA代码，程序的主函数主要功能遍历程序当前目录及子文件夹搜索Excel交易台账，分析交易数据名称及位置，将文件名称及位置放入二维数组中，并调用一个子函数提取数组中文件路径打开Excel交易文件读取交易数据。此外，配合包括InputBox函数(数据输入功能)、VLookup函数(数据查询读取功能)与现有台账进行数据引用、分析、判断和处理。
该步骤采用Excel内置函数更为直观简便，运行速度也更快，同时通过Excel工作表保护功能可以有效保证交易的输入规范性。编制VBA宏不仅可以保证交易原始数据的准确性，还可以提高数据导入与分析效率。
本发明还提供一种交易数据智能处理装置。参照图2所示，为本发明一实施例提供的装置的内部结构示意图。
在本实施例中，装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该交易数据智能处理装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是交易数据智能处理装置1的内部存储单元，例如该交易数据智能处理装置1的硬盘。存储器11在另一些实施例中也可以是交易数据智能处理装置1的外部存储设备，例如交易数据智能处理装置1上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括交易数据智能处理装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于交易数据智能处理装置1的应用软件及各类数据，例如交易数据智能处理程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行交易数据智能处理程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在交易数据智能处理装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及交易数据智能处理程序01的交易数据智能处理装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对交易数据智能处理装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有交易数据智能处理程序01；处理器12执行存储器11中存储的交易数据智能处理程序01时实现如下步骤：
步骤S10，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中。
为了更好的进行不同交易类型持仓的精准计算分析，在原始数据筛选与获取时依据交易性质进行分类提取，并且进行工作表标准格式的统一规定。本发明较佳实施例中，所述预设数据库为海外估值核算系统数据库，在该数据库中按照交易数据的交易类型和时间结点筛选交易数据，导出符合预设格式的电子表格文件，如Excel文件。
此外，为防止误操作，提高系统数据的安全性，并保证所有用户提取出交易数据格式的一致性，有必要对Excel单元格格式和公式进行保护。该步骤有效避免了大量的手工复制粘贴操作和格式调整操作，大大减少了操作人员的工作量，同时避免了因操作人员疲劳造成的数据录入错误，遗漏等情况发生。
可以通过Bat，VBA，Java，Python，C，C++，C#等编程语言执行上述操作。
本发明较佳实施例，利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据。具体的，利用台账服务器中预先编写的一个Bat脚本定时从海外估值核算系统数据库中访问导出交易数据。
在大数据时代，台账系统相关数据量也飞速增长，通过合理设置台账服务器的访问配置，有助于实现台账管理的智能化、轻量化。通过在台账所在服务器编写Bat脚本的方式，可以通过编程手段从台账系统的内部或外部来操纵，实现定时访问导出的功能。此外，还可以通过修改参数来精确控制访问导出的时间间隔，该步骤简化了手工筛选数据过程，极大地减轻了技术人员的负担,并降低了人为因素错误出现的几率,很好地体现了现代化、智能化信息技术在台账管理工作中的实用性。
将上述筛选后的原始交易数据导出至预设格式的电子表格中。本发明较佳实施例，利用VBA宏将自动收集好的原始交易数据导出至预设格式的Excel文件中，并把所有的交易数据放到一个文件夹下。
本发明较佳实施例，首先新建一个Excel文件，在工作表的第一行输入行标题并插入一个按钮，在按钮处插入如下VBA宏代码。在启用宏代码的情况下，单击按钮就可以执行宏代码，可以把所有交易数据导入到Excel工作表中。在Excel的VBA中,符合规定标准格式的工作表导入可以通过编写如下的代码实现:
RBFile＝Application.Get Open Filename(File Filter:＝“TXT Files(*.txt),*.txt”,
Title:＝“选择交易数据文件:”,Multi Select:＝False),
Sheets(“DC”).Query Tables.Add(Connection:＝“TEXT；”&RBFile,Destination:＝Sheets(“DC”).Cells(2,1)).
其中，第一条代码通过使用Application.Get Open Filename方法，利用人机交互式获取原始交易数据文件的包含完整路径的文件名，并赋值给变量RBFile；第二条代码执行的操作是把交易原始数据文件中的内容从名为DC的目标工作表的第二行第一个单元格开始写入，写入位置可以通过需要对代码进行更改。由此实现将全部的交易数据导入到临时工作表DC中，剩下的格式调整可以根据需要使用录制宏的方法生成代码,然后对代码进行修改以达到可重复利用的目的。
步骤S20，设定数据清洗与整理规则，利用VBA函数根据所述数据清洗规则对所述电子表格的交易数据进行数据清洗与整理；
交易数据的准确性直接决定着持仓计算的准确性，因此在交易数据导入台账之前要对交易数据进行进一步的清洗与处理，通过Excel自动筛选可以筛选一些无效数据，也可以筛选出一些错误的数据并进行改正，此外，Excel中的数据透视表和数据透视图是进行数据统计最简单有效的工具之一。通过“插入”选项卡“表格”工具栏中的“数据透视表”按钮可以插入数据透视表。通过拖动字段到“报表筛选”、“行标签”、“列标签”，“数值”列表中就可以进行快速统计，当然也可以用数据透视图直观形象的展现数据。
该部分数据的清洗与整理主要包括对交易数据进行交易数据汇总、对交易数据进行缺项标注、对交易数据进行同类项合并三大部分。
对交易数据进行汇总的步骤主要包括：
(1)定义过程变量，初始化；
(2)判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
(3)删除所述电子表格中冗余行列；
(4)通过替换方式将电子表格中的符号统一，例如将“X”统一为“*”等；
(5)根据关键字字段对电子表格数据进行排序，例如，依据关键字“价格”“时间”等字段进行排序；
排序过程使用了VBA的自带函数，str1与str2分别为两个关键字数据所在单元格的范围,str3为要进行排序处理的单元格范围，
Active Workbook.Worksheets("Sheet1").Sort.SortFields.Add Key:＝Range(str1)_,
Sort On:＝xlSort On Values,
Active Workbook.Worksheets("Sheet1").Sort.SortFields.Add Key:＝Range(str2)_,
Sort On:＝xlSort On Values,
Active Workbook.Worksheets("Sheet1").Sort.SetRange Range(str3)ActiveWorkbook.Worksheets("Sheet1").Sort.Sort SortMethod＝lPinYin.
(6)合并同类项；
同类项合并后只需留一行数据，其余行需删除，根据Excel特性此工作需从最后一行倒序进行。
(7)保存汇总后的文档。
对交易数据进行报表缺项标注的步骤主要包括：
(1)定义过程变量，初始化；
(2)判断此文档格式是否符合此模块的处理格式，若不符合则显示提示框，并退出程序；
(3)判断所述交易数据在所述电子表格中占用的行数；
(4)将所述电子表格的序号所在的列数据清空，根据工序重新进行序号标注；
(5)将所述序号所在单元格合并，并在合并后的单元格里保留序号数值；
(6)将已完成配套的交易数据备注为“正常”，未配套的数据备注为“缺项”；
(7)保存缺项标注后的文档。
此模块需要生成新的报表格式，代码实现过程中涉及的主要为单元格格式的处理。
对交易数据进行同类项合并的步骤主要包括：
此模块功能主要为排序和合并同类项，排序依据的关键字有一个或者两个，且其所在的位置不定，因此需要引入下拉框选择。
(1)定义过程变量，初始化。
Do While Cells(1,i)<>""//下拉框载入文档中的标头
ComboBox1.AddItem Cells(1,i),
ComboBox2.AddItem Cells(1,i),
i＝i+1,
Loop.
(2)选择关键字。
(3)根据选用关键字的数目分两种情况进行处理。
(4)选定关键字后，依据关键字进行排序；将数据中的符号统一，例如将“X”统一为“*”等，合并同类项。
(5)保存文档。
以上数据清洗和整理的步骤全面对交易原始数据进行了清理和纠正，有效提高了台账中所导入交易数据的准确性。
步骤S30，利用VBA函数将所述清洗后的交易数据一键导出到台账服务器。
本发明较佳实施例在Excel中内嵌的VBA一键导入程序，选择一键导入按照上述步骤规范化处理后的当天的交易数据Excel文件，即可将数据自动录入到台账服务期，为台账的智能化、自动化管理提供支撑。该步骤简化了手工录入过程，可以将交易的真实情况实时、高效地录入台账管理系统，确保了海控司库的安全、高效运行，有效降低了出错率。
Excel本身的特点加上VBA强大的功能使得它用来对交易数据管理及分析特别方便。Excel中单元格可以合并、拆分,具有很好的修改性。用VBA编写的程序去完成大量的手工操作,节省了时间,而且保证了操作的准确。在Visual Basic编辑器中新建“生成目录”宏模块，编写VBA代码，程序的主函数主要功能遍历程序当前目录及子文件夹搜索Excel交易台账，分析交易数据名称及位置，将文件名称及位置放入二维数组中，并调用一个子函数提取数组中文件路径打开Excel交易文件读取交易数据。此外，配合包括InputBox函数(数据输入功能)、VLookup函数(数据查询读取功能)与现有台账进行数据引用、分析、判断和处理。
该步骤采用Excel内置函数更为直观简便，运行速度也更快，同时通过Excel工作表保护功能可以有效保证交易的输入规范性。编制VBA宏不仅可以保证交易原始数据的准确性，还可以提高数据导入与分析效率。
可选地，在其他实施例中，交易数据智能处理程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述交易数据智能处理程序在交易数据智能处理装置中的执行过程。
例如，参照图3所示，为本发明交易数据智能处理装置一实施例中的交易数据智能处理程序的程序模块示意图，该实施例中，交易数据智能处理程序可以被分割为原始数据导入模块10、数据清理与整理模块20、数据导出模块3030示例性地：
原始数据导入模块10用于：按照预设时间间隔从预设数据库根据交易类型和时间节点筛选原始交易数据，并将所述筛选后的原始交易数据导出至预设格式的电子表格中；
数据清理与整理模块20用于，设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
数据导出模块30用于，利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
上述原始数据导入模块10、数据清理与整理模块20、数据导出模块30、等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有交易数据智能处理程序，所述交易数据智能处理程序可被一个或多个处理器执行，以实现如下操作：
按照预设时间间隔从预设数据库根据交易类型和时间节点筛选原始交易数据，并将所述筛选后的原始交易数据导出至预设格式的电子表格中；
设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
本发明计算机可读存储介质具体实施方式与上述交易数据智能处理装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种交易数据智能处理方法，其特征在于，所述方法包括：
按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中；
设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
2.根据权利要求1所述的交易数据智能处理方法，其特征在于，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中的步骤，包括：
利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据；
利用VBA宏将所述原始交易数据导出至预设格式的电子表格中。
3.根据权利要求1所述的交易数据智能处理方法，其特征在于，所述对所述电子表格的交易数据进行数据清洗与整理包括：
对所述交易数据进行数据汇总；
对所述交易数据进行缺项标注；
对所述交易数据进行同类项合并。
4.根据权利要求3所述的交易数据智能处理方法，其特征在于，所述对交易数据进行汇总的步骤包括：
判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
删除所述电子表格中冗余行列；
通过替换方式将电子表格中的符号统一；
根据关键字字段对电子表格数据进行排序。
5.根据权利要求3或4所述的交易数据智能处理方法，其特征在于，所述对所述交易数据进行缺项标注的步骤包括：
判断所述交易数据在所述电子表格中占用的行数；
将所述电子表格的序号所在的列数据清空，根据工序重新进行序号标注；
将所述序号所在单元格合并，并在合并后的单元格里保留序号数值；
将已完成配套的交易数据备注为“正常”，未配套的数据备注为“缺项”。
6.一种交易数据智能处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的交易数据智能处理程序，所述交易数据智能处理程序被所述处理器执行时实现如下步骤：
按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中；
设定数据清洗与整理规则，利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理；
利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。
7.根据权利要求6所述的交易数据智能处理装置，其特征在于，按照预设时间间隔，从预设数据库筛选原始交易数据，并将筛选得到的原始交易数据导出至预设格式的电子表格中的步骤，包括：
利用Bat脚本按照预设时间间隔从预设数据库根据原始交易数据的交易类型和时间节点筛选所述原始交易数据；
利用VBA宏将所述原始交易数据导出至预设格式的电子表格中。
8.根据权利要求6所述的交易数据智能处理装置，其特征在于，所述对所述电子表格的交易数据进行数据清洗与整理包括：
对所述交易数据进行数据汇总；
对所述交易数据进行缺项标注；
对所述交易数据进行同类项合并。
9.根据权利要求8所述的交易数据智能处理装置，其特征在于，所述对交易数据进行汇总的步骤包括：
判断所述电子表格的文档格式是否属于预设处理格式，若判断为是，则退出数据清洗步骤，若判断为否，则执行以下操作：
删除所述电子表格中冗余行列；
通过替换方式将电子表格中的符号统一；
根据关键字字段对电子表格数据进行排序。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有交易数据智能处理程序，所述交易数据智能处理程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811503719.1A CN109669933B (zh) | 2018-12-10 | 2018-12-10 | 交易数据智能处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811503719.1A CN109669933B (zh) | 2018-12-10 | 2018-12-10 | 交易数据智能处理方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109669933A true CN109669933A (zh) | 2019-04-23 |
| CN109669933B CN109669933B (zh) | 2023-10-27 |
Family
ID=66145181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811503719.1A Active CN109669933B (zh) | 2018-12-10 | 2018-12-10 | 交易数据智能处理方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109669933B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377893A (zh) * | 2019-07-12 | 2019-10-25 | 中国轻工业长沙工程有限公司 | Excel透视表结合VBA一键生成材料表的方法 |
| CN110413967A (zh) * | 2019-06-27 | 2019-11-05 | 平安科技（深圳）有限公司 | 对账图表生成方法、装置、计算机设备以及存储介质 |
| CN110414926A (zh) * | 2019-07-03 | 2019-11-05 | 平安科技（深圳）有限公司 | 台账管理方法、装置及计算机可读存储介质 |
| CN110737713A (zh) * | 2019-08-27 | 2020-01-31 | 广东一码通信科技有限公司 | 基于数据平台的工程进度可视化展示方法、设备及介质 |
| CN111552683A (zh) * | 2020-04-23 | 2020-08-18 | 武汉澄川朗境环境科技有限公司 | 一种基于大数据的水务数据信息管理方法及装置 |
| CN111783411A (zh) * | 2020-07-28 | 2020-10-16 | 国网河南省电力公司漯河供电公司 | 一种基于调度同期线损的报表自动生成系统和方法 |
| CN113407540A (zh) * | 2021-06-22 | 2021-09-17 | 中国工商银行股份有限公司 | 交易数据流获取方法及装置 |
| CN115859370A (zh) * | 2023-03-02 | 2023-03-28 | 萨科(深圳)科技有限公司 | 交易数据的处理方法、装置、计算机设备和存储介质 |
| WO2023165256A1 (zh) * | 2022-03-01 | 2023-09-07 | 广东电网有限责任公司惠州供电局 | 一种信息生成方法、装置及电子设备 |
| CN117113950A (zh) * | 2023-08-11 | 2023-11-24 | 广州标智未来科学技术有限公司 | 一种高通量实验数据处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7506318B1 (en) * | 2005-06-28 | 2009-03-17 | Replay Solutions, Inc. | Recording and replaying computer programs |
| CN102855580A (zh) * | 2012-09-24 | 2013-01-02 | 深圳市国电科技通信有限公司 | 一种清分结算方法及系统 |
| US20130159832A1 (en) * | 2011-12-12 | 2013-06-20 | Black Point Technologies Llc | Systems and methods for trading using an embedded spreadsheet engine and user interface |
| CN105183705A (zh) * | 2015-10-16 | 2015-12-23 | 中铁五局（集团）有限公司 | 一种运用vba代码自动编制工程资料目录的方法 |
| CN105760174A (zh) * | 2016-03-09 | 2016-07-13 | 浪潮软件集团有限公司 | 一种基于Windows定时任务的建议数据抽取方法 |
-
2018
- 2018-12-10 CN CN201811503719.1A patent/CN109669933B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7506318B1 (en) * | 2005-06-28 | 2009-03-17 | Replay Solutions, Inc. | Recording and replaying computer programs |
| US20130159832A1 (en) * | 2011-12-12 | 2013-06-20 | Black Point Technologies Llc | Systems and methods for trading using an embedded spreadsheet engine and user interface |
| CN102855580A (zh) * | 2012-09-24 | 2013-01-02 | 深圳市国电科技通信有限公司 | 一种清分结算方法及系统 |
| CN105183705A (zh) * | 2015-10-16 | 2015-12-23 | 中铁五局（集团）有限公司 | 一种运用vba代码自动编制工程资料目录的方法 |
| CN105760174A (zh) * | 2016-03-09 | 2016-07-13 | 浪潮软件集团有限公司 | 一种基于Windows定时任务的建议数据抽取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘璐;: "运用VBA+BATCH方法实现大数据切割归类", 审计月刊, no. 06, pages 30 - 32 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110413967A (zh) * | 2019-06-27 | 2019-11-05 | 平安科技（深圳）有限公司 | 对账图表生成方法、装置、计算机设备以及存储介质 |
| CN110413967B (zh) * | 2019-06-27 | 2024-03-08 | 平安科技（深圳）有限公司 | 对账图表生成方法、装置、计算机设备以及存储介质 |
| CN110414926A (zh) * | 2019-07-03 | 2019-11-05 | 平安科技（深圳）有限公司 | 台账管理方法、装置及计算机可读存储介质 |
| CN110377893A (zh) * | 2019-07-12 | 2019-10-25 | 中国轻工业长沙工程有限公司 | Excel透视表结合VBA一键生成材料表的方法 |
| CN110737713A (zh) * | 2019-08-27 | 2020-01-31 | 广东一码通信科技有限公司 | 基于数据平台的工程进度可视化展示方法、设备及介质 |
| CN111552683A (zh) * | 2020-04-23 | 2020-08-18 | 武汉澄川朗境环境科技有限公司 | 一种基于大数据的水务数据信息管理方法及装置 |
| CN111783411A (zh) * | 2020-07-28 | 2020-10-16 | 国网河南省电力公司漯河供电公司 | 一种基于调度同期线损的报表自动生成系统和方法 |
| CN113407540A (zh) * | 2021-06-22 | 2021-09-17 | 中国工商银行股份有限公司 | 交易数据流获取方法及装置 |
| WO2023165256A1 (zh) * | 2022-03-01 | 2023-09-07 | 广东电网有限责任公司惠州供电局 | 一种信息生成方法、装置及电子设备 |
| CN115859370A (zh) * | 2023-03-02 | 2023-03-28 | 萨科(深圳)科技有限公司 | 交易数据的处理方法、装置、计算机设备和存储介质 |
| CN117113950A (zh) * | 2023-08-11 | 2023-11-24 | 广州标智未来科学技术有限公司 | 一种高通量实验数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109669933B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109669933A (zh) | 交易数据智能处理方法、装置及计算机可读存储介质 | |
| US11620117B2 (en) | Systems and methods for code clustering analysis and transformation | |
| US11188319B2 (en) | Systems and methods for entry point-based code analysis and transformation | |
| US11436006B2 (en) | Systems and methods for code analysis heat map interfaces | |
| CN110287097A (zh) | 批量测试方法、装置及计算机可读存储介质 | |
| CN103778107A (zh) | 一种基于excel快速动态生成表单的方法与平台 | |
| US9471651B2 (en) | Adjustment of map reduce execution | |
| CN105243159A (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| CN106354817B (zh) | 一种日志的处理方法及装置 | |
| CN104050037A (zh) | 一种基于指定电子商务网站的定向爬虫的实现方法 | |
| CN108874924A (zh) | 搜索服务的创建方法、装置及计算机可读存储介质 | |
| CN102426582A (zh) | 数据操作管理装置和数据操作管理方法 | |
| CN109298882A (zh) | 接口的管理方法、计算机可读存储介质和终端设备 | |
| CN110414926A (zh) | 台账管理方法、装置及计算机可读存储介质 | |
| CN109658215A (zh) | 交易台账计算方法、装置及计算机可读存储介质 | |
| CN101093512A (zh) | 一种数据筛选方法及一种数据筛选系统 | |
| CN103077192A (zh) | 一种数据处理方法及其系统 | |
| CN101894317B (zh) | 数据变化驱动业务逻辑的方法和系统 | |
| CN109446201A (zh) | 一种Excel表格批注信息的整理方法、装置及设备 | |
| CN108089871A (zh) | 软件自动更新方法、装置、设备及存储介质 | |
| CN108959343A (zh) | 一种文字修改的方法及装置 | |
| CN117216092A (zh) | 一种优化tdsql脚本的方法、装置、设备及可读存储介质 | |
| CN109783716B (zh) | 一种电力供需数据自动提取和处理系统及方法 | |
| CN109814859B (zh) | 一种核电站系统流程图dda自动生成系统及方法 | |
| CN112612841A (zh) | 一种知识抽取构建方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |