CN110598988A - 统计数据处理方法、装置及存储介质 - Google Patents
统计数据处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110598988A CN110598988A CN201910748579.2A CN201910748579A CN110598988A CN 110598988 A CN110598988 A CN 110598988A CN 201910748579 A CN201910748579 A CN 201910748579A CN 110598988 A CN110598988 A CN 110598988A
- Authority
- CN
- China
- Prior art keywords
- data
- classification
- index
- statistical
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 104
- 238000012216 screening Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 5
- 201000010099 disease Diseases 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据统计技术领域，本发明提供一种统计数据处理方法、装置及计算机可读存储介质，其中的方法包括：获取待处理的基础统计数据；通过关键字识别的方法获取基础统计数据中的类别关键字，作为分类依据，按照分类依据为基础统计数据进行分类，获取第一分类数据；将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；按照时间维度和指标种类对第二分类指标数据进行排序；从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。本发明整个统计数据处理过程无需人工参与，降低了人工的工作量，不容易出错；统一了待统计数据的指标标准。
Description
技术领域
本发明涉及数据统计技术领域，尤其涉及一种统计数据处理方法、装置及计算机可读存储介质。
背景技术
目前，多数的统计数据的处理方法，例如，工作绩效数据统计、大区域的比赛成绩数据统计、用电量数据统计、某一病种的医疗数据统计等，在统计数据的处理过程中都需要人工的参与，需要负责统计的人员将统计数据整理成清单，再统一通过人工或者计算机进行计算，最后得到统计结果。
例如，在大多数企业内部统计员工的工作绩效的方法是通过清单报表的形式完成的，具体方法是：由负责绩效统计工作的人员制作清单报表，各个岗位的员工将自己的工作业绩填入清单报表中，上报给负责绩效统计的员工，再由负责统计绩效工作的人员手动从清单报表中提取员工的工作绩效，对所有员工的工作绩效进行统计整理。
上述统计数据处理的方法，其缺点在于：1、工作量大，耗费人力，而且容易出错；2、待统计的数据的指标没有统一的标准；3、参与者不能实时的看到自己的排名成绩，对自己的成绩没有了解；也无法了解其他同等情况下的参与者的成绩情况。
发明内容
本发明提供一种统计数据处理方法、装置及计算机可读存储介质，其主要目的在于通过将基础统计数据按照类别进行分类，然后将分类好的数据与预先获取的参照数据一同通过预先设定的指标计算模型进行指标计算，得到指标数据，再将指标数据进行排序、筛选处理，最后得到所需的排名数据。整个过程无需人工参与，降低了人工的工作量，不容易出错；统一了待统计数据的指标标准；便于参与者查看自己的排名成绩，也方便与其他同等情况下的参与者的成绩进行比对。
为实现上述目的，本发明提供一种统计数据处理方法，该方法包括：
获取待处理的基础统计数据；
通过关键字识别的方法获取所述基础统计数据中的类别关键字，作为分类依据，按照分类依据为所述基础统计数据进行分类，获取第一分类数据；
将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
优选地，所述将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将所述第一分类数据与预先获取的第一分类参照数据进行合并处理，获取第一合并数据；
对所述第一合并数据进行预处理，获取第一预处理数据，其中，预处理包括：脏数据处理、数据合并和拆分；
将第一预处理数据整理成可运行的hive脚本；
通过预先构建的指标计算模型对hive脚本中的数据进行指标计算，将计算结果生成指标数据表，得到第二分类指标数据。
优选地，将第一预处理数据整理成可运行的hive脚本的步骤包括：
对第一预处理数据进行筛选处理，筛除不可用的数据，其中，不可用的数据为基础信息不完整的单个数据和用于获取指标计算公式的关联关系的字段缺失的单个数据；
根据指标计算公式从预先储存的相关表模板中获取相关表，将筛选后的第一预处理数据对应加载到相关表中，获取带有数据的相关表；
梳理带有数据的相关表之间的关联关系，整理成可运行的hive脚本。
优选地，所述将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将所述第一分类数据通过实时数据接口交换至大数据平台，通过大数据平台内预置的指标计算模型对所述第一分类数据和大数据平台中预先从互联网数据库中获取的第一分类参照数据进行计算处理，获取第二分类指标数据；
其中，所述大数据平台包括数据源、指标计算模型和数据输出口；
所述数据源包括用于实时获取第一分类数据的实时数据接口、用于获取第一分类参照数据的互联网数据接口和用于存放第一分类参照数据的互联网数据库；
所述数据输出口用于输出获取的第二分类指标数据。
优选地，对第二分类指标数据进行排序的步骤包括：
获取三张排序表格，分别为年度表格、月度表格、日度表格，每种表格中均包括各项指标名称以及每个数据来源者名称；
将第二分类指标数据分别加载到排序表格中；
以降序或者升序的顺序为每种排序表格中的第二分类指标数据排序。
优选地，所述统计数据处理方法还包括：
按照预设筛选规则筛选出第三排名数据后，将所述第三排名数据发送到展示屏幕上进行展示。
优选地，按照预设筛选规则筛选出第三排名数据的步骤包括：
从基础统计数据中获取每个基础数据来源者的名称；
从第二分类指标数据中识别出每个基础数据来源者名称；
根据每个基础数据来源者名称从第二分类指标数据中筛选出与每个基础数据来源者名称对应的第三排名数据。
优选地，所述统计数据处理方法还包括：
获取第二分类指标数据后，将第二分类指标数据整理成sql脚本；
通过sql脚本计算出从客户端获取的指定的基础数据来源者名称的排名；
将该指定的基础数据来源者名称的排名反馈给该客户端。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器和处理器，所述存储器中包括统计数据处理程序，所述统计数据处理程序被所述处理器执行时实现如下步骤：
获取待处理的基础统计数据；
通过关键字识别的方法获取所述基础统计数据中的类别关键字，作为分类依据，按照分类依据为所述基础统计数据进行分类，获取第一分类数据；
将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括统计数据处理程序，所述统计数据处理程序被处理器执行时，实现如上所述的统计数据处理方法中的任意步骤。
本发明提出的统计数据处理方法、装置及计算机可读存储介质，通过将基础统计数据按照类别进行分类，得到第一分类数据，将第一分类数据和预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行指标计算，统一了同一类别的待统计数据的指标标准；通过对第二指标数据进行排序处理，可以得到更大区域的统计数据，可以了解每一待统计的对象在更大区域内的指标数据的排名情况，通过对排名数据进行筛选处理，可以了解到每一个统计对象在本区域内的排名情况；整个过程无需人工参与，降低了人工的工作量，且不容易出错。
附图说明
图1为本发明统计数据处理方法较佳实施例的应用环境示意图；
图2为图1中统计数据处理程序较佳实施例的模块示意图；
图3为本发明统计数据处理方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种统计数据处理方法，应用于一种电子装置1。参照图1所示，为本发明统计数据处理方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。该至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器11，例如电子装置1上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。
在本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的统计数据处理程序10、相关表模板库等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行统计数据处理程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现上述这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括摄像装置，摄像装置既可以是电子装置1的一部分，也可以独立于电子装置1。在一些实施例中，电子装置1为智能手机、平板电脑、便携计算机等具有摄像头的终端设备，则摄像装置即为电子装置1的摄像头。在其他实施例中，电子装置1可以为服务器，摄像装置独立于该电子装置1、与该电子装置1通过有线或者无线网络连接。例如，该摄像装置安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标进行实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。该触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及统计数据处理程序10；处理器12执行存储器11中存储的统计数据处理程序10时实现如下步骤：
获取待处理的基础统计数据；
通过关键字识别的方法获取基础统计数据中的类别关键字，作为分类依据，按照分类依据为基础统计数据进行分类，获取第一分类数据；
将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
为了方便对第一分类数据与预先获取的第一分类参照数据一同进行指标计算处理，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据与预先获取的第一分类参照数据进行合并处理，获取第一合并数据；
对第一合并数据进行预处理，获取第一预处理数据，其中，预处理包括：脏数据处理、数据合并和拆分；
将第一预处理数据整理成可运行的hive脚本；
通过预先构建的指标计算模型对hive脚本中的数据进行指标计算，将计算结果生成指标数据表，得到第二分类指标数据。
通过将第一分类数据与第一分类参照数据一同整理成可运行的hive脚本使指标计算模型在进行指标计算时能够快速获取所需要的数据。
为了排除无效数据对指标计算的干扰，将第一预处理数据整理成可运行的hive脚本的步骤包括：
对第一预处理数据进行筛选处理，筛除不可用的数据，其中，不可用的数据为基础信息不完整的单个数据和用于获取指标计算公式的关联关系的字段缺失的单个数据；
根据指标计算公式从预先储存的相关表模板中获取相关表，将筛选后的第一预处理数据对应加载到相关表中，获取带有数据的相关表；
梳理带有数据的相关表之间的关联关系，整理成可运行的hive脚本。
为了方便实时获取第一分类数据以及第一分类参照数据，使指标计算进行的更加快速，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据通过实时数据接口交换至大数据平台，通过大数据平台内预置的指标计算模型对第一分类数据和大数据平台中预先从互联网数据库中获取的第一分类参照数据进行计算处理，获取第二分类指标数据；
其中，大数据平台包括数据源、指标计算模型和数据输出口；
数据源包括用于实时获取第一分类数据的实时数据接口、用于获取第一分类参照数据的互联网数据接口和用于存放第一分类参照数据的互联网数据库；
数据输出口用于输出获取的第二分类指标数据。
大数据平台能够为指标计算提供足够的计算资源。
为了能够了解待统计对象在年、月、日三个不同时间维度下的排名情况，对第二分类指标数据进行排序的步骤包括：
获取三张排序表格，分别为年度表格、月度表格、日度表格，每种表格中均包括各项指标名称以及每个数据来源者名称；
将第二分类指标数据分别加载到排序表格中；
以降序或者升序的顺序为每种排序表格中的第二分类指标数据排序。
为了方便在本区域中对每个参与统计的对象进行排名展示，处理器12执行存储器11中存储的统计数据处理程序10时还实现如下步骤：
按照预设筛选规则筛选出第三排名数据后，将第三排名数据发送到展示屏幕上进行展示。
为了便于从第二分类指标数据中筛选出待统计对象的排名情况，按照预设筛选规则筛选出第三排名数据的步骤包括：
从基础统计数据中获取每个基础数据来源者名称；
从第二分类指标数据中识别出每个基础数据来源者名称；
根据每个基础数据来源者名称从第二分类指标数据中筛选出与每个基础数据来源者名称对应的第三排名数据。
为了便于通过客户端查找某个待统计者的排名数据，处理器12执行存储器11中存储的统计数据处理程序10时还实现如下步骤：
获取第二分类指标数据后，将第二分类指标数据整理成sql脚本；
通过sql脚本计算出从客户端获取的指定的基础数据来源者名称的排名；
将该指定的基础数据来源者名称的排名反馈给该客户端。
本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中统计数据处理程序10较佳实施例的程序模块图。所述统计数据处理程序10可以被分割为：获取模块110、数据分类模块120、指标计算模块130、指标数据排序模块140、指标数据筛选模块150。
所述模块110-150所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
获取模块110用于获取待处理的基础统计数据。
数据分类模块120用于对基础统计数据进行分类，获取第一分类数据。
指标计算模块130用于对第一分类数据与预先获取的第一分类参照数据进行指标计算，获取第二分类指标数据。
指标数据排序模块140用于按照时间维度和指标种类为第二分类指标数据进行排序。
指标数据筛选模块150用于从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
在具体应用过程中，基础统计数据可以为工作绩效统计数据、大区域的比赛成绩统计数据、用电量统计数据、某一病种的医疗统计数据等待统计的数据。下面仅以工作绩效统计数据为例对上述模块做相应的示例性说明。
具体的，获取模块110用于获取公司内部员工的工作绩效数据；数据分类模块120也可以被称为工作绩效分类模块，用于按照员工所属岗位，为工作绩效数据进行分类，获取同岗位员工的工作绩效数据；指标计算模块130用于对同岗位员工的工作绩效数据与预先获取的全国内同岗位员工的工作绩效数据一同进行计算处理，获取同岗位员工的各项指标数据；指标数据排序模块140用于按照时间维度和指标种类为同岗位员工的各项指标数据进行排序；指标数据筛选模块150用于从排序后的同岗位员工的各项指标数据中，筛选出公司内部员工的各项指标数据。
此外，本发明还提供一种统计数据处理方法。参照图3所示，为本发明统计数据处理方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，统计数据处理方法包括：步骤S10-步骤S50。
步骤S10，获取待处理的基础统计数据。
其中，基础统计数据可以为工作绩效统计数据、大区域的比赛成绩统计数据、用电量统计数据、某一病种的医疗统计数据等。
具体地，可以通过手动录入或者扫描的方式，将基础统计数据输入到基础统计数据存储系统中，其中，基础统计数据至少包括：每个数据来源者的名称、所属类别、以及各项用于计算的数据，具体以基础统计数据的类型来确定。
例如：工作绩效统计数据，至少需要包括：每个员工的姓名、所属岗位、以及各项用于计算工作指标的数据，除此还可以包括：该员工的联系方式、年龄以及工作年限等数据信息等，可根据实际统计需要来确定。
例如：比赛成绩统计数据，至少需要包括：每个参赛人员的姓名、比赛的项目种类、以及各项用于计算比赛指标的数据，除此还可以包括：该参赛者的联系方式、体重、年龄、最佳成绩等，可根据实际统计需要来确定。
例如：用电量统计数据，至少需要包括：每户的户主姓名、住宅类型或者住户所属小区等数据统计时用于作为分类依据的信息、以及各项用于计算用电量指标的数据等。
例如：某一病种的医疗统计数据，至少需要包括：每种疾病名称、每种疾病所属病种、以及用于计算病种检测指标的数据。
为了更好的理解本发明，上述为本发明可用于处理的统计数据的类型例子，当然本发明提供的统计数据处理方法还可以应用于其它的统计数据的处理当中。
步骤S20，通过关键字识别的方法获取基础统计数据中的类别关键字，作为分类依据，按照分类依据为基础统计数据进行分类，获取第一分类数据。
具体地，通过关键字识别的方法，先从基础统计数据中识别出类别的关键字，例如，在上述举例的工作绩效统计数据中，以每个员工的岗位为类别关键字。处理器预先采集本公司的各岗位名称，进行储存，再从每个员工的绩效数据中识别出岗位名称，作为分类依据，将基础的工作绩效统计数据进行分类，得到第一分类数据也就是同岗位员工的绩效数据。
例如，对于保险作业人员这一岗位来说，从获取的员工的工作绩效数据中抽选出所有属于保险作业人员的绩效数据，归为一类数据，进行保存，同样将其他岗位的数据均从公司内部员工的工作绩效数据中抽选出来，进行归类。
步骤S30，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据。
处理器预先获取第一分类参照数据，其中，第一分类参照数据为大范围内的与第一分类数据属同一类别的数据，例如，在上述举例的工作绩效统计数据中，第一分类数据为保险作业人员的绩效数据，那么第一分类参照数据可以为全国范围内的保险作业人员的绩效数据。
处理器将第一分类数据和第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取地二分类指标数据。
其中，指标计算模型可以根据每种数据需要统计的指标来构建，以上述工作绩效统计数据为例，指标计算模型的种类与每种岗位需要统计的数据类型相对应，例如，对于上述举例的保险作业人员这一岗位来说，指标计算模型的种类可包括：整体估损绝对偏差率计算模型、理赔获赔率计算模型、立案结案率计算模型、报案量计算模型、立案量计算模型、未决量计算模型、价值贡献计算模型、追偿价值贡献计算模型。
获取的指标数据也就是通过各种指标模型计算后得到的数据如下：
通过赔付率计算模型得到的指标数据为全国所有机构的员工一段时间内的赔付率；
通过立案结案率计算模型得到的指标数据为全国所有机构的员工一段时间内的立案结案率；
通过报案量计算模型得到的指标数据为全国所有机构的员工一段时间内的报案量；
通过立案量计算模型得到的指标数据为全国所有机构的员工一段时间内的立案量；
通过未决量计算模型得到的指标数据为全国所有机构的员工一段时间内的未决量；
通过价值贡献计算模型得到的指标数据为全国所有机构的员工一段时间内的价值贡献；
通过追偿价值贡献计算模型得到的指标数据为全国所有机构的员工一段时间内的追偿价值贡献。
上述所列举的各种指标数据通过对应的指标模型计算后获得，具体过程如下：
将基础数据也就是同岗位员工的工作绩效数据与预先获取的全国内同岗位员工的工作绩效数据导入到指标计算模型中，通过指标计算模型内对应的指标计算公式进行指标计算，得到每个同岗位员工的各种指标数据，上述所列举的指标模型为本技术方案的举例说明，使用何种指标模型可以根据工作岗位和公司的实际要求来确定。
以“赔付率计算模型”为例，进行说明：
赔付率＝(赔款支出÷保费收入)×100％，将基础数据也就是同岗位员工的工作绩效数据与预先获取的全国内同岗位员工的工作绩效数据导入到赔付率计算模型中，在基础数据中包括上述公式计算需要的数据，即赔款支出数据和保费收入数据，通过上述的计算公式计算后得到每个同岗位员工的赔付率，也就是指标数据。
具体地，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据与预先获取的第一分类参照数据进行合并处理，获取第一合并数据；
对第一合并数据进行预处理，获取第一预处理数据，其中，预处理包括：脏数据处理、数据合并和拆分；
将第一预处理数据整理成可运行的hive脚本；
通过预先构建的指标计算模型对hive脚本中的数据进行指标计算，将计算结果生成指标数据表，得到第二分类指标数据。
其中，将第一预处理数据整理成可运行的hive脚本的步骤包括：
对第一预处理数据进行筛选处理，筛除不可用的数据，其中，不可用的数据为基础信息不完整的单个数据和用于获取指标计算公式的关联关系的字段缺失的单个数据；
根据指标计算公式从预先储存的相关表模板中获取相关表，将筛选后的第一预处理数据对应加载到相关表中，获取带有数据的相关表；
梳理带有数据的相关表之间的关联关系，整理成可运行的hive脚本。
其中，根据指标计算公式从预先储存的相关表模板中获取相关表，具体地方法是：明确指标计算公式、明确指标计算公式中每一构成所涉及的相关表，例如，指标计算公式中带有分子和分母，那么，需要明确分子和分母所涉及的相关表。
作为本发明的一个优选实施例，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据通过实时数据接口交换至大数据平台，通过大数据平台内预置的指标计算模型对第一分类数据和大数据平台中预先从互联网数据库中获取的第一分类参照数据进行计算处理，获取第二分类指标数据；
其中，大数据平台包括数据源、指标计算模型和数据输出口；
数据源包括用于实时获取第一分类数据的实时数据接口、用于获取第一分类参照数据的互联网数据接口和用于存放第一分类参照数据的互联网数据库；
数据输出口用于输出获取的第二分类指标数据。
大数据平台可以为指标计算提供足够的计算资源。
步骤S40，按照时间维度和指标种类对第二分类指标数据进行排序。
具体地，时间维度为年度、月度和日度。
对第二分类指标数据进行排序的步骤包括:
获取三张排序表格，分别为年度表格、月度表格、日度表格，每种表格中均包括各项指标名称以及每个数据来源者名称；
将第二分类指标数据分别加载到排序表格中；
以降序或者升序的顺序为每种排序表格中的第二分类指标数据排序。
例如，在工作绩效统计数据中，每个数据来源者名称为每个工作绩效数据对应的员工姓名。
在比赛成绩统计数据中，每个数据来源者名称为每个比赛数据对应的参赛人员的姓名。
在用电量统计数据中，每个数据来源者名称为每户的户主姓名。
在病种的医疗统计数据中，每个数据来源者名称为每种疾病的名称。
步骤S50，从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
具体地，处理器分别从年度、月度和日度中获取排序后的第二分类指标数据，按照预设筛选规则筛选出第三排名数据。
按照预设筛选规则筛选出第三排名数据的步骤包括：
从基础统计数据中获取每个基础数据来源者名称；
从第二分类指标数据中识别出每个基础数据来源者名称；
根据每个基础数据来源者名称从第二分类指标数据中筛选出与每个基础数据来源者名称对应的第三排名数据。
作为本发明的一个优选实施例，按照预设筛选规则筛选出第三排名数据后，将第三排名数据发送到展示屏幕上进行展示。
作为本发明的一个优选实施例，统计数据处理方法还包括：
获取第二分类指标数据后，将第二分类指标数据整理成sql脚本；
通过sql脚本计算出从客户端获取的指定的基础数据来源者名称的排名；
将该指定的基础数据来源者名称的排名反馈给该客户端。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括统计数据处理程序，所述统计数据处理程序被处理器执行时实现如下操作：
获取待处理的基础统计数据；
通过关键字识别的方法获取所述基础统计数据中的类别关键字，作为分类依据，按照分类依据为所述基础统计数据进行分类，获取第一分类数据；
将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
优选地，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据与预先获取的第一分类参照数据进行合并处理，获取第一合并数据；
对第一合并数据进行预处理，获取第一预处理数据，其中，预处理包括：脏数据处理、数据合并和拆分；
将第一预处理数据整理成可运行的hive脚本；
通过预先构建的指标计算模型对hive脚本中的数据进行指标计算，将计算结果生成指标数据表，得到第二分类指标数据。
优选地，将第一预处理数据整理成可运行的hive脚本的步骤包括：
对第一预处理数据进行筛选处理，筛除不可用的数据，其中，不可用的数据为基础信息不完整的单个数据和用于获取指标计算公式的关联关系的字段缺失的单个数据；
根据指标计算公式从预先储存的相关表模板中获取相关表，将筛选后的第一预处理数据对应加载到相关表中，获取带有数据的相关表；
梳理带有数据的相关表之间的关联关系，整理成可运行的hive脚本。
优选地，将第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将第一分类数据通过实时数据接口交换至大数据平台，通过大数据平台内预置的指标计算模型对第一分类数据和大数据平台中预先从互联网数据库中获取的第一分类参照数据进行计算处理，获取第二分类指标数据；
其中，大数据平台包括数据源、指标计算模型和数据输出口；
数据源包括用于实时获取第一分类数据的实时数据接口、用于获取第一分类参照数据的互联网数据接口和用于存放第一分类参照数据的互联网数据库；
数据输出口用于输出获取的第二分类指标数据。
优选地，对第二分类指标数据进行排序的步骤包括:
获取三张排序表格，分别为年度表格、月度表格、日度表格，每种表格中均包括各项指标名称以及每个数据来源者名称；
将第二分类指标数据分别加载到排序表格中；
以降序或者升序的顺序为每种排序表格中的第二分类指标数据排序。
优选地，统计数据处理程序被处理器执行时还实现如下操作：
按照预设筛选规则筛选出第三排名数据后，将第三排名数据发送到展示屏幕上进行展示。
优选地，按照预设筛选规则筛选出第三排名数据的步骤包括：
从基础统计数据中获取每个基础数据来源者名称；
从第二分类指标数据中识别出每个基础数据来源者名称；
根据每个基础数据来源者名称从第二分类指标数据中筛选出与每个基础数据来源者名称对应的第三排名数据。
优选地，统计数据处理程序被处理器执行时还实现如下操作：
获取第二分类指标数据后，将第二分类指标数据整理成sql脚本；
通过sql脚本计算出从客户端获取的指定的基础数据来源者名称的排名；
将该指定的基础数据来源者名称的排名反馈给该客户端。
本发明之计算机可读存储介质的具体实施方式与上述统计数据处理方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种统计数据处理方法，应用于电子装置，其特征在于，所述方法包括：
获取待处理的基础统计数据；
通过关键字识别的方法获取所述基础统计数据中的类别关键字，作为分类依据，按照分类依据为所述基础统计数据进行分类，获取第一分类数据；
将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
2.根据权利要求1所述的统计数据处理方法，其特征在于，所述将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将所述第一分类数据与预先获取的第一分类参照数据进行合并处理，获取第一合并数据；
对所述第一合并数据进行预处理，获取第一预处理数据，其中，预处理包括：脏数据处理、数据合并和拆分；
将第一预处理数据整理成可运行的hive脚本；
通过预先构建的指标计算模型对hive脚本中的数据进行指标计算，将计算结果生成指标数据表，得到第二分类指标数据。
3.根据权利要求2所述的统计数据处理方法，其特征在于，将第一预处理数据整理成可运行的hive脚本的步骤包括：
对第一预处理数据进行筛选处理，筛除不可用的数据，其中，不可用的数据为基础信息不完整的单个数据和用于获取指标计算公式的关联关系的字段缺失的单个数据；
根据指标计算公式从预先储存的相关表模板中获取相关表，将筛选后的第一预处理数据对应加载到相关表中，获取带有数据的相关表；
梳理带有数据的相关表之间的关联关系，整理成可运行的hive脚本。
4.根据权利要求1所述的统计数据处理方法，其特征在于，所述将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据的步骤包括：
将所述第一分类数据通过实时数据接口交换至大数据平台，通过大数据平台内预置的指标计算模型对所述第一分类数据和大数据平台中预先从互联网数据库中获取的第一分类参照数据进行计算处理，获取第二分类指标数据；
其中，所述大数据平台包括数据源、指标计算模型和数据输出口；
所述数据源包括用于实时获取第一分类数据的实时数据接口、用于获取第一分类参照数据的互联网数据接口和用于存放第一分类参照数据的互联网数据库；
所述数据输出口用于输出获取的第二分类指标数据。
5.根据权利要求1所述的统计数据处理方法，其特征在于，对第二分类指标数据进行排序的步骤包括：
获取三张排序表格，分别为年度表格、月度表格、日度表格，每种表格中均包括各项指标名称以及每个数据来源者名称；
将第二分类指标数据分别加载到排序表格中；
以降序或者升序的顺序为每种排序表格中的第二分类指标数据排序。
6.根据权利要求1所述的统计数据处理方法，其特征在于，所述统计数据处理方法还包括：
按照预设筛选规则筛选出第三排名数据后，将所述第三排名数据发送到展示屏幕上进行展示。
7.根据权利要求1所述的统计数据处理方法，其特征在于，按照预设筛选规则筛选出第三排名数据的步骤包括：
从基础统计数据中获取每个基础数据来源者名称；
从第二分类指标数据中识别出每个基础数据来源者名称；
根据每个基础数据来源者名称从第二分类指标数据中筛选出与每个基础数据来源者名称对应的第三排名数据。
8.根据权利要求1所述的统计数据处理方法，其特征在于，所述统计数据处理方法还包括：
获取第二分类指标数据后，将第二分类指标数据整理成sql脚本；
通过sql脚本计算出从客户端获取的指定的基础数据来源者名称的排名；
将该指定的基础数据来源者名称的排名反馈给该客户端。
9.一种电子装置，其特征在于，该电子装置包括：存储器和处理器，所述存储器中包括统计数据处理程序，所述统计数据处理程序被所述处理器执行时实现如下步骤：
获取待处理的基础统计数据；
通过关键字识别的方法获取所述基础统计数据中的类别关键字，作为分类依据，按照分类依据为所述基础统计数据进行分类，获取第一分类数据；
将所述第一分类数据与预先获取的第一分类参照数据一同通过预先构建的指标计算模型进行计算处理，获取第二分类指标数据；
按照时间维度和指标种类对第二分类指标数据进行排序；
从排序后的第二分类指标数据中，按照预设筛选规则筛选出第三排名数据。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括统计数据处理程序，所述统计数据处理程序被处理器执行时，实现如权利要求1至8中任一项所述的统计数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910748579.2A CN110598988B (zh) | 2019-08-14 | 2019-08-14 | 统计数据处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910748579.2A CN110598988B (zh) | 2019-08-14 | 2019-08-14 | 统计数据处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110598988A true CN110598988A (zh) | 2019-12-20 |
| CN110598988B CN110598988B (zh) | 2024-09-27 |
Family
ID=68854172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910748579.2A Active CN110598988B (zh) | 2019-08-14 | 2019-08-14 | 统计数据处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598988B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781019A (zh) * | 2021-11-12 | 2021-12-10 | 中国环境监测总站 | 一种监测数据自动筛选融合的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015118619A1 (ja) * | 2014-02-04 | 2015-08-13 | 株式会社Ｕｂｉｃ | 文書分析システム及び文書分析方法並びに文書分析プログラム |
| CN107168513A (zh) * | 2017-03-22 | 2017-09-15 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN109522337A (zh) * | 2018-10-19 | 2019-03-26 | 中国平安人寿保险股份有限公司 | 电子装置、数据整理推送方法和计算机可读存储介质 |
| CN110109922A (zh) * | 2019-04-04 | 2019-08-09 | 平安普惠企业管理有限公司 | 绩效数据获取方法、装置、计算机设备及存储介质 |
-
2019
- 2019-08-14 CN CN201910748579.2A patent/CN110598988B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015118619A1 (ja) * | 2014-02-04 | 2015-08-13 | 株式会社Ｕｂｉｃ | 文書分析システム及び文書分析方法並びに文書分析プログラム |
| CN107168513A (zh) * | 2017-03-22 | 2017-09-15 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN109522337A (zh) * | 2018-10-19 | 2019-03-26 | 中国平安人寿保险股份有限公司 | 电子装置、数据整理推送方法和计算机可读存储介质 |
| CN110109922A (zh) * | 2019-04-04 | 2019-08-09 | 平安普惠企业管理有限公司 | 绩效数据获取方法、装置、计算机设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781019A (zh) * | 2021-11-12 | 2021-12-10 | 中国环境监测总站 | 一种监测数据自动筛选融合的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110598988B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109920506B (zh) | 医疗统计报告生成方法、装置、设备及存储介质 | |
| CN110704426B (zh) | 数据校验方法、电子装置及计算机可读存储介质 | |
| CN111831636B (zh) | 一种数据处理方法、装置、计算机系统及可读存储介质 | |
| CN111552870A (zh) | 对象推荐方法、电子装置及存储介质 | |
| CN107909668B (zh) | 一种签到方法及终端设备 | |
| US11921737B2 (en) | ETL workflow recommendation device, ETL workflow recommendation method and ETL workflow recommendation system | |
| CN114202755A (zh) | 基于ocr和nlp技术的交易背景真实性审核方法和系统 | |
| US11010423B2 (en) | Populating data fields in electronic documents | |
| CN110704526B (zh) | 不良事件的信息的获取方法、装置、设备及存储介质 | |
| CN110781251A (zh) | 保险知识图谱生成方法、装置、设备及存储介质 | |
| CN108572945A (zh) | 创建报表的方法、系统、存储介质、及电子设备 | |
| CN111967437A (zh) | 文本识别方法、装置、设备及存储介质 | |
| CN104133842A (zh) | 一种具有智能专家检测功能的数据处理方法及系统 | |
| CN104133839A (zh) | 一种具有智能检测功能的数据处理方法及系统 | |
| CN111444792A (zh) | 票据识别方法、电子设备、存储介质及装置 | |
| CN108229780B (zh) | 一种基于平板电脑的车间管理系统和方法 | |
| WO2019012781A1 (ja) | 情報処理装置及びプログラム | |
| CN110598988B (zh) | 统计数据处理方法、装置及存储介质 | |
| CN112836041B (zh) | 人员关系分析方法、装置、设备及存储介质 | |
| CN112364857A (zh) | 基于数值抽取的图像识别方法、装置及存储介质 | |
| CN109918420B (zh) | 一种竞争对手推荐方法、服务器 | |
| CN111339939B (zh) | 基于图像识别的考勤方法及装置 | |
| CN111444794A (zh) | 基于ocr的票据识别辅助方法、设备、存储介质及装置 | |
| CN112905589A (zh) | 科技人才数据加工方法、系统、存储介质及终端 | |
| CN104133841A (zh) | 一种具有系统检测及图像识别功能的数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |