CN108984495A - 用于数据处理的方法和装置 - Google Patents

用于数据处理的方法和装置 Download PDF

Info

Publication number
CN108984495A
CN108984495A CN201710398660.3A CN201710398660A CN108984495A CN 108984495 A CN108984495 A CN 108984495A CN 201710398660 A CN201710398660 A CN 201710398660A CN 108984495 A CN108984495 A CN 108984495A
Authority
CN
China
Prior art keywords
angle
point
points
threshold value
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710398660.3A
Other languages
English (en)
Inventor
赵勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710398660.3A priority Critical patent/CN108984495A/zh
Publication of CN108984495A publication Critical patent/CN108984495A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种用于数据处理的方法和装置。该方法包括确定图表中的相邻三点,其中,相邻三点包括起点、夹角点和终点;计算所确定的相邻三点的夹角;将所计算的夹角与夹角阈值作比较;当确定了所计算的夹角不大于夹角阈值时,使所述起点向前移动;当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点向前移动。

Description

用于数据处理的方法和装置
技术领域
本发明涉及一种用于数据处理的方法和装置,更具体地,涉及一种用于对形成图表的数据进行处理的方法和装置。
背景技术
随着信息化建设的发展,大数据和云技术的运用日趋成熟。大数据由于其规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,因此往往需要新的处理模式才能使其具有更强的决策力、洞察发现力和流程优化能力,从而适应海量、高增长率和多样化的信息资产。
随着大数据的快速发展,特别是在通过互联网支持的商业的情况下,各种监控数据、测量数据等统计数据往往以图表的形式进行展示,从而能够以较为直观和简单的方式来突出地展示这些统计数据所呈现出的特征。这些图表包括饼图、柱形图、直条图和趋势图等等。
为了更好地说明在一定时间段中的各种监控数据、测量数据等的走向,通常以趋势曲线图来展示这些数据。趋势图也叫走势图,它用来显示一定时间间隔(例如每分钟、每小时、每天等)内所得到的测量数据结果。趋势图通常以测量的数量为纵轴,以时间为横轴绘成图表。
以下以在一天当中的某个时段所监控到的性能指标TP99来说明如何绘制趋势图。性能TP99是指满足百分之九十九的网络请求所需要的最低耗时(性能TP99:TopPercentile 99)。例如,当存在100次请求时,将仅次于最长耗时的第二最长耗时所用的时间取作统计阈值,则99%的请求低于该时间阈值。对TP99进行监控是如今互联网行中所广泛采用的用于说明网络性能的性能指标。
下表列出了在某一天的从16:46至16:57的总共12分钟的时间段中所观测到的TP99的值:
表1
图1具体地示出了根据表1所绘制的趋势图的示例。如图1所示,横轴是从16:46至16:57的总共12分钟的时间段,其中,为了方便表示,x坐标值0至10的间隔为1分钟,10至20的间隔为1分钟…110至120的间隔为1分钟。此外,图1中的纵轴是所观测到的性能TP99。也就是说,满足百分之九十九的网络请求所需要的最低耗时(性能TP99)在16:46时为25ms,在16:47时性能TP99为26ms,在16:48时性能TP99为40ms,在16:49时性能TP99为57ms,在16:50时性能TP99为43ms,在16:51时性能TP99为25ms,在16:52时性能TP99为26ms,在16:53时性能TP99为20ms,在16:54时性能TP99为70ms,在16:55时性能TP99为32ms,在16:56时性能TP99为13ms,并且在16:57时性能TP99为40ms。应当注意,在本申请中以毫秒(ms)为时间单位进行说明仅仅是示例,本领域技术人员可以理解的是,需要考察的任何参数可以具有其适当的任何单位。
在现有技术中,如图1所示,图表展示通常用测量或监控到的所有数据来绘制成完整的图表,并且因此,需要在存储器中完整地存储这些数据,而这往往需要大量的存储空间。当需要展示的时间段越长时,所要加载的数据量就越大,从而导致绘制图表的速度越缓慢。因此,在现有技术中,已经提出了可以采用分时段、分批次的方式来绘制图表。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
首先,如上所述,当需要展示的时间段越长时,所要加载的数据量就越大,从而导致绘制图表的速度越缓慢。甚至在超大数据量绘制的情况下,可能导致绘图进程在绘制过程中卡死,从而造成不必要的麻烦。
其次,如果如现有技术中那样采用分时段、分批次的方式来绘制图表,对于用户来说,图片展示的效果较差,使得用户无法连贯地看到期望观测的时间段中的完整图表。
最后,完整地存储所观测到的数据在一定程度上可以保留原始数据的可跟踪性,然而,采用这样全量存储的方式来存储数据往往需要海量的存储空间,特别是在所测量的数据的量特别大时。
发明内容
有鉴于此,因此,需要一种技术能够使得在不影响图表走势的情况下,减少加载的数据量,并且提高绘制图表的效率。
为实现上述目的,根据本发明的一个方面,提供了一种用于数据处理的方法和装置。该方法包括:确定图表中的相邻三点,其中,相邻三点包括起点、夹角点和终点;计算所确定的相邻三点的夹角;将所计算的夹角与夹角阈值作比较;当确定了所计算的夹角不大于夹角阈值时,使所述起点向前移动;当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点向前移动。
可选地,所述图表是趋势图。
可选地,所述图表是按时间密度展示的。
可选地,在计算所述所确定的相邻三点的夹角之前,所述方法进一步包括:确定所述相邻三点的跨度是否大于点跨度阈值;当确定了所述相邻三点的跨度大于所述点跨度阈值时,使所述起点移动到下一点;以及当确定了所述相邻三点的跨度不大于所述点跨度阈值时,计算所述所确定的相邻三点的夹角。
可选地,所述夹角阈值能够被任意地设置。
可选地,所述点跨度阈值能够被任意地设置。
可选地,所述起点和所述终点的移动的幅度取决于所需要的数据处理的精度或灵敏度。
为实现上述目的,根据本发明的另一个方面,提供了一种用于对形成图表的数据进行处理的装置,其特征在于,包括:第一确定模块,用于确定所述图表中的相邻三点,其中,所述相邻三点包括起点、夹角点和终点;计算模块,用于计算所确定的相邻三点的夹角;比较模块,用于将所计算的夹角与夹角阈值作比较;以及移动模块,用于当确定了所述夹角不大于所述夹角阈值时,使所述起点向前移动;并且当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点移动到下一点。
可选地,所述图表是趋势图。
可选地,所述图表是按时间密度展示的。
可选地,所述装置进一步包括:确定所述相邻三点的跨度是否大于点跨度阈值;第二确定模块,用于确定所述相邻三点的跨度是否大于点跨度阈值;其中,当确定了所述相邻三点的跨度大于所述点跨度阈值时,所述移动模块使所述起点移动到下一点;并且当确定了所述相邻三点的跨度不大于所述点跨度阈值时,所述计算模块计算所述所确定的相邻三点的夹角。
可选地,所述夹角阈值能够被任意地设置。
可选地,所述点跨度阈值能够被任意地设置。
可选地,所述起点和所述终点的移动的幅度取决于所需要的数据处理的精度或灵敏度。
为实现上述目的,根据本发明的另一个方面,提供了一种电子设备。该电子设备包括:至少一个处理器;以及存储装置,用于存储一个或多个程序;其中当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现用于对形成图表的数据进行处理的方法。
为实现上述目的,根据本发明的另一个方面,提供了一种计算机可读介质。所述程序被处理器执行时实现用于对形成图表的数据进行处理的方法。
本发明实施例提供了一种数据处理的方法、装置、电子设备和计算机可读介质,其能够在不影响图表走势的情况下,减少加载的数据量,从而提高绘制图表的效率。此外,因为在现有技术中采用全量存储的方式来存储数据,所以通过清洗数据而使得用于存储无用数据的存储空间可以被节省,从而减少了对存储空间的需要。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是示出趋势图的示例的示意图;
图2是根据本发明实施例的用于数据处理的方法的流程图;
图3是根据本发明的实施例的用于计算夹角的过程的流程图;
图4-图8是用于说明根本发明的示例性实施例的用于数据处理的方法具体执行步骤;
图9突出示出了根据本发明的示例性实施例的方法被清洗的点的图;
图10是根据本发明实施例的用于数据处理的装置的示意系统装置图;
图11是可以应用本发明实施例的用于数据处理的装置的示例性系统架构图;
图12是适于用来实现本申请实施例的用于数据处理设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本发明的基本观点是,趋势图一般以时间为X轴,数据为Y轴,趋势图是由X轴和Y轴交叉的点,随时间移动而形成的连接线来呈现趋势。然而,一般情况下,得到更多关注的是往往是趋势图中突然飙升或突然下降的点;而形成趋势平缓的曲线的点通常不会影响趋势图的总体走向。因此,那些不影响趋势图的总体走向的数据(点)可以被清洗(删除),从而可以提高图表展示效果。注意,在本文中那些不影响趋势图的总体走向的数据可以被称为无用数据。
图2是根据本发明实施例的用于数据处理的方法的流程图。当确定了需要进行处理的数据(对象数据)时,该流程在S201处开始。应当注意,在本文的以下说明中,例如以表1中的数据作为数对象据并且结合图1中所示的趋势图来说明本申请的图表数据处理方法。具体地,为了实现本发明的目的,本发明采用相邻三点夹角清洗法来对无用数据进行清洗。本领域技术人员应当理解,还可以采用其他数据清洗方法来对数据进行清洗。
在处理开始之后,流程进入步骤S202。在步骤S202处,确定对象数据所形成的趋势图中的相邻三点。在图1所示的趋势图中,如果以A点为起点,B为夹角点,C为终点,则A、B、C被称为相邻三点。如果以A点为起点,C为夹角点,D为终点,则A、C、D被称为相邻三点。同理,如果以B点为起点,C为夹角点,D为终点,则B、C、D被称为相邻三点。在步骤S202处确定了相邻三点之后,流程进入判定步骤S203。
在步骤S203中,进行关于在步骤S202中所确定的相邻三点的跨度是否大于点跨度阈值的确定。本文所描述的跨度是指起点与终点之间的距离。例如,如图1所示,A、B、C的跨度为3,而A、C、D的跨度为4。本文所描述的点跨度阈值是指,在计算连续多个点的夹角时,起点与终点的跨度所不能超过的值。具体地,在某个点被清洗之后起点不变但终点向前移动的情况下,最终的起点、夹角点、被清洗的点、终点之和不能超过特定值N,该特定值N被称为点跨度阈值。应当注意,点跨度阈值可以根据不同的图表精细度而被任意地设置。
当在判定步骤S203中确定了相邻三点的跨度大于跨度阈值(S203:是)时,使起点向前移动(步骤S204),即,起点变为点b。随后,流程返回到步骤S202,再次进行相邻三点的确定。
当在判定步骤S203中确定了相邻三点的跨度不大于跨度阈值(S203:否)时,该流程前进到步骤S205。在步骤S205中,计算确定的相邻三点的夹角(在下文中结合图3中来具体地描述如何计算相邻三点的夹角)。
随后,在判定步骤S206中,将在步骤S205中计算的夹角与夹角阈值作比较,以确定所计算的夹角是否大于阈值。这里,夹角阈值是用于确定夹角点是否应当被清洗的特定值。同样地,夹角阈值可以根据不同的图表精细度而被任意地设置。
当在判定步骤S206中确定了夹角不大于夹角阈值(S206:否)时,该流程返回到步骤S204,使起点向前移动,并且此后返回到步骤S202以重新确定相邻三点。
当在判定步骤S206中确定了夹角大于夹角阈值(S206:是)时,该流程进入步骤S207。在步骤S207中,删除其夹角大于夹角阈值的相邻三点中的夹角点。随后,使终点向前移动。例如,如果确定了A、B、C三点的夹角大于特定值K(夹角阈值),则删除夹角点B,并且使终点变为点D;此时,起点是点A,夹角点是点C,并且终点是点D。
接下来,流程进入判定步骤S209。在步骤S209中确定,在步骤S208中终点被移动到的点是否为该趋势图中的最末位的点。如果确定了在步骤S208中终点被移动到的点不是该趋势图中的最末位的点,则返回到步骤S202,重新开始确定相邻三点。如果确定了在步骤S208中终点被移动到的点是该趋势图中的最末位的点,则该流程结束。
从参考图2描述的本发明实施例的用于图表数据处理的方法可以看出,当夹角点被清洗时,起点不移动;而当夹角点不被清洗时,终点向前移移动。
例如,当A、B、C的夹角大于夹角阈值K时,B点被清洗,终点向前移动;此时,相邻三点以A为起点,C为夹角点,D为终点;同时,应当判断A、C、D三点的点跨度不能超过点跨度阈值N。注意,点跨度的计算应当包含被清洗点。当点跨度超过阈值N时,将起点相前移动到点c;此时,相邻三点为点C、D、E。
当A、B、C的夹角小于夹角阈值K时,将起点向前移动到B;此时,相邻三点为点B、C、D。然后,计算B、C、D的夹角,如果B、C、D的夹角大于夹角阈值K,则C点被清洗,依次类推。
接下来,将参考图3并结合图4来描述根据本发明的实施例的用于计算夹角的过程的流程图。图3中所示出的过程是图2中的步骤S205的具体化。当在图2中的判定步骤S203中确定了相邻三点的跨度不大于跨度阈值(S203:否)时,图3的流程从步骤S2051开始。注意,这里以a、b、c三点为例进行说明。
在步骤S2051中,确定相邻三点中的每一个点的坐标。如图4所示,假设X轴每分钟时间间隔距离相应Y轴为10,第一个点起始X坐标5,则第一点A的坐标为A(5,25),第二点B的坐标为B(15,26),并且第三C点坐标为C(25,40)。
然后,在步骤S2052处,计算相邻三点所形成的三角形的三个边长。如图4进一步所示,A、B、C三点所形成的三角形△ABC的三个边分别为AB、BC和CA。此时,可以通过本领域技术人员公知的方法来计算△ABC的三个边AB、BC和CA的边长。具体计算如下:
接下来,该流程进入步骤S2053。在步骤S2053处,根据在步骤S2052中所计算的三角形的三个边长来计算夹角的余弦值。具体地A、B、C三点所形成的三角形△ABC的夹角b的余弦值可以被计算为:
在步骤S2054中,在获得了夹角b的余弦值之后,计算夹角b的角度。具体地,夹角b的角度为∠b=131.25°。此后,将所获得的夹角b的角度与夹角阈值作比较(图2的步骤S206)。之后进行如参考图2描述的步骤S207-S109。
现在将参考图4-图8来说明根本发明的示例性实施例的用于数据处理的方法具体执行步骤。注意,当夹角点被清洗时,起点不移动;而当夹角点不被清洗时,终点向前移移动。
首先,根据一般的情况,将点跨度阈值设置为4,并且将夹角阈值设置为170°。因此,当相邻三点的跨度大于4时,起点向前移动;并且当相邻三点的夹角大于170°时,夹角点可以被清洗。例如,如上参考图4所描述的,夹角b的角度为∠b=131.25°,该夹角b的角度∠b小于夹角阈值170°,因此,夹角点b不被清洗,并且起点a向前移动至点b。
此时,需要处理的对象数据点被确定为B、C、D。根据以上关于图4描述的计算夹角的方法来计算夹角c的角度。
首先,确定三点B、C、D的坐标为B(15,26)、C(25,40)、D(35,57)。然后,计算B、C、D所形成的三角形的三个边长BC、CD和DB;并根据该边长来计算夹角c的余弦值如下:
在获得了夹角c的余弦值之后,计算夹角c的角度。具体地,夹角c的角度为∠c=174.93°。该夹角c的角度∠c大于夹角阈值170°,因此,夹角点C被清洗,并且终点向前移动到点E。
此后,以类似的方式对相邻三点B、D、E进行计算。相邻三点B、D、E的坐标被确定为B(15,26)、D(35,57)、E(45,43),而点B、C、D、E没有超过点跨度阈值4。计算出的点B、D、E的夹角d的角度∠d=68.73°,小于170°,所以起点向前移动到D。
然后,以类似的方式对相邻三点D、E、F进行计算。相邻三点D、E、F的坐标被确定为D(35,57)、E(45,43)、F(55,25),点D、E、F没有超过点跨度阈值4。计算出的D、E、F的夹角e的角度∠e=173.52°,大于170°,所以点E被清洗,并且终点向前移动到G。
然后,以类似的方式对相邻三点D、F、G进行计算。相邻三点D、F、G的坐标被确定为D(35,57)、F(55,25)、G(65,26),点D、E、F、G没有超过点跨度阈值4。计算出的点D、F、G的夹角f的角度∠f=116.29°,小于170°,所以起点向前移动到点F。
然后,以类似的方式对相邻三点F、G、H进行计算。相邻三点F、G、H的坐标被确定为F(55,25)、G(65,26)、H(75,20),点F、G、H没有超过点跨度阈值4。计算出的点F、G、H的夹角f的角度∠g=143.44°小于170°,所以起点向前移动到点G。
然后,以类似的方式对后续的点I、J、L和L进行计算。当终点为L时,该清洗过程结束。所得到的清洗后的趋势图如图6所示。
此时,如果经过一次清洗后的数据的趋势图没有达到令人满意的效果,则可以对一次清洗后的数据进行二次清洗。此时,将夹角阈值由原来的170°缩小到140°,点跨度阈值保持不变。
在图7中示出了经过一次清洗之后的所有数据点的坐标值,起点为A,终点为L。具体地,点A的坐标为A(5,25),点B的坐标为B(15,26),点D的坐标为D(35,57),点F的坐标为F(55,25),点G的坐标为G(65,26),点H的坐标为H(75,20),点I的坐标为I(85,70),点J的坐标为J(95,32),点K的坐标为F(105,13),并且点L的坐标为L(115,40)。
此时,根据图2的流程图对一次清洗后的点进行再次清洗。具体过程如下:
相邻三点A、B、D跨过了A、B、C、D,跨度不大于点跨度阈值4。然后,计算ABD所形成的三角形的夹角b的角度,计算方法如上述。计算出的夹角b的角度∠b=128.54°,小于140°,夹角点B不被清洗,并且起点向前移动到点B。
然后,相邻三点B、D、F跨过了点B、C、D、E、F共五个点,跨度大于点跨度阈值4,则起点再次向前移动到点D。
此时,相邻三点D、F、G跨过了点D、E、F、C,共4个点,跨度没有超过点跨度阈值4。然后,计算D、F、G所形成的三角形的夹角f的角度,计算方法如上述。计算出的夹角f的角度∠f=116.29°,夹角点f不被清洗,并且终点向前移动到点H。
此时,相邻三点D、F、H跨过了D、E、F、G、H,共5个点,跨度大于点跨度阈值4,则起点向前移动到点F。
然后,相邻三点F、G、H跨过了点F、G、H,共3个点,跨度小于点跨度阈值4。然后,计算F、G、H所形成的三角形的夹角g的角度,计算方法如上述。计算出的夹角g的角度∠g=143.33°,大于140°则夹角点G被清洗,并且终点向前移动到I。
然后,相邻三点F、H、I跨过了点F、G、H、I,共4个点,跨度不大于点跨度阈值4。然后,计算F、H、I所形成的三角形的夹角h的角度,计算方法如上述。计算出的夹角h的角度∠h=87.27°,小于140°,夹角点H不被清洗,并且起点向前移动到H。
然后,相邻三点H、I、J跨过了点H、I、J,共3个点,跨度不大于点跨度阈值4。然后,计算H、I、J所形成的三角形的夹角i的角度,计算方法如上述。计算出的夹角i的角度∠i=26.05,小于140°,夹角点I不被清洗,并且起点向前移动到I。
然后,相邻三点I、J、K跨过了点I、J、K,共3个点,跨度不大于点跨度阈值4。然后,计算I、J、K所形成的三角形的夹角j的角度,计算方法如上述。计算出的夹角j的角度∠j=166.99°,大于140°,则夹角点j被清洗,并且终点向前移动到L。
然后,相邻三点I、K、L跨过了点I、G、K、L,共4个点,跨度不大于点跨度阈值4。然后,计算I、K、L所形成的三角形的夹角k的角度,计算方法如上述。计算出的夹角k的角度∠k=39.66°,小于140°。
因为点L是终点,所以数据处理过程结束。此时,经过二次清洗后的数据的趋势图如图8所示。
在图9中突出示出了根据本发明的示例性实施例的方法被清洗的点的图。其中,用圆圈圈出的点是被清洗的点。
在图8和图9中所示的两个趋势图的趋势走向基本上一致。是在对数据进行清洗的过程中,被清洗的点为点C、E、G和J总共4个点,即为图9中用圆圈圈出出的点。图9中总共包含12个点,而清洗后的图8中总共包含8个点。也就是说,与图9相比,存储图8的数据点以及对图8的数据进行处理的成本比图9少了30%。
从以上清洗过程中可以看出,清洗幅度与夹角阈值和点跨度密切相关。在趋势图数据中,采用相邻三点夹角法按不同策略可以将数据清洗成N份数据。因为趋势图是按时间密度展示的,所以当时间密度大可以展示清洗幅度较大的数据,而当时间密度小时,可以展示清洗幅度较小的数据。
此外,在本文结合图4至图8描述的对数据进行清洗的过程中,起点或终点以跨度(间隔)1移动。这里,本领域技术人员应当理解,该跨度可以根据不同的情况而被不同地选择,例如所需要的数据处理的精度或灵敏度。例如,起点或终点可以以跨度2、3、5或者0.5、0.1等移动。
此外,在本文中以趋势图为例对本申请的原理进行了说明。然而,应当注意,由数据形成的图表还包括但不限于,饼状图、柱状图、条形图等。本申请中所记载的技术原理可以应用于需要被清洗数据的任何图表。
此外,在本文中描述的起点和终点向前移动仅仅是作为示例。本领域技术人员应当理解的是,起点和终点的移动方向可以根据图表、数据所应用的情况而向后、向上或向下等移动。
图10是根据本发明实施例的用于数据处理的装置的示意系统架构图。
如图10所示,本发明实施例的数据处理装置1000主要包括:接第一确定模块1001、计算模块1002、比较模块1003、移动模块1004和第二确定模块1005。其中:
第一确定模块1001用于确定所述图表中的相邻三点,其中,所述相邻三点包括起点、夹角点和终点;计算模块1002用于计算所确定的相邻三点的夹角;比较模块1003用于将所计算的夹角与夹角阈值作比较;第二确定模块1002用于确定所述相邻三点的跨度是否大于点跨度阈值;移动模块1004用于当确定了所述夹角不大于所述夹角阈值时,使所述起点向前移动,并且当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点移动到下一点,以及当确定了所述相邻三点的跨度大于所述点跨度阈值时,所述移动模块使所述起点移动到下一点。
根据本发明的实施例,本发明还提供了一种电子设备和一种计算机可读存储介质。
本发明的电子设备包括:至少一个处理器;以及存储装置,用于存储一个或多个程序;其中当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现用于对形成图表的数据进行处理的方法。
本发明的计算机可读介质被处理器执行时实现用于对形成图表的数据进行处理的方法。
图11示出了可以应用本发明实施例的用于数据处理的装置的示例性系统架构1100。
如图11所示,系统架构1100可以包括终端设备1101、1102、1103,网络1104和服务器1105.此架构仅仅是示例,具体架构中包含的组件可以根据申请具体情况调整。网络1104用以在终端设备1101、1102、1103和服务器1105之间提供通信链路的介质。网络1104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1101、1102、1103通过网络1104与服务器1105交互,以接收或发送消息等。终端设备1101、1102、1103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备1101、1102、1103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器1105可以是提供各种服务的服务器,例如对用户利用终端设备1101、1102、1103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的用于数据处理的方法一般由服务器1105执行,相应地,用于数据处理的装置一般设置于服务器1105中。
应该理解,图11中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图12,其示出了适于用来实现本申请实施例的终端设备的计算机系统1200的结构示意图。图12示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示,计算机系统600包括中央处理单元(CPU)1201,其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中,还存储有系统1200操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207;包括硬盘等的存储部分1208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括第一确定模块模块、计算模块、比较模块和移动哟模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,第一确定模块还可以被描述为“确定所述图表中的相邻三点的模块”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备确定图表中的相邻三点,其中,相邻三点包括起点、夹角点和终点;计算所确定的相邻三点的夹角;将所计算的夹角与夹角阈值作比较;当确定了所计算的夹角不大于夹角阈值时,使所述起点向前移动;当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点向前移动。
根据本发明实施例的技术方案,能够在不影响图表走势的情况下,减少加载的数据量,从而提高绘制图表的效率。此外,因为在现有技术中采用全量存储的方式来存储数据,所以通过清洗数据而使得用于存储无用数据的存储空间可以被节省,从而减少了对存储空间的需要
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (16)

1.一种用于对形成图表的数据进行处理的方法,其特征在于,包括:
确定所述图表中的相邻三点,其中,所述相邻三点包括起点、夹角点和终点;
计算所确定的相邻三点的夹角;
将所计算的夹角与夹角阈值作比较;
当确定了所述夹角不大于所述夹角阈值时,使所述起点向前移动;以及
当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点移动到下一点。
2.根据权利要求1所述的用于对形成图表的数据进行处理的方法,其特征在于,所述图表是趋势图。
3.根据权利要求1所述的用于对形成图表的数据进行处理的方法,其特征在于,所述图表是按时间密度展示的。
4.根据权利要求1所述的用于对形成图表的数据进行处理的方法,其特征在于,在计算所述所确定的相邻三点的夹角之前,所述方法进一步包括:
确定所述相邻三点的跨度是否大于点跨度阈值;
当确定了所述相邻三点的跨度大于所述点跨度阈值时,使所述起点移动到下一点;以及
当确定了所述相邻三点的跨度不大于所述点跨度阈值时,计算所述所确定的相邻三点的夹角。
5.根据权利要求1所述的用于对形成图表的数据进行处理的方法,其特征在于,所述夹角阈值能够被任意地设置。
6.根据权利要求4所述的用于对形成图表的数据进行处理的方法,其特征在于,所述点跨度阈值能够被任意地设置。
7.根据权利要求1-4中任何一项所述的用于对形成图表的数据进行处理的方法,其特征在于,所述起点和所述终点的移动的幅度取决于所需要的数据处理的精度或灵敏度。
8.一种用于对形成图表的数据进行处理的装置,其特征在于,包括:
第一确定模块,用于确定所述图表中的相邻三点,其中,所述相邻三点包括起点、夹角点和终点;
计算模块,用于计算所确定的相邻三点的夹角;
比较模块,用于将所计算的夹角与夹角阈值作比较;以及
移动模块,用于当确定了所述夹角不大于所述夹角阈值时,使所述起点向前移动;并且当确定了所述夹角大于所述夹角阈值时,删除所述夹角点,并且使所述终点移动到下一点。
9.根据权利要求8所述的用于对形成图表的数据进行处理的装置,其特征在于,所述图表是趋势图。
10.根据权利要求8所述的用于对形成图表的数据进行处理的装置,其特征在于,所述图表是按时间密度展示的。
11.根据权利要求8所述的用于对形成图表的数据进行处理的装置,其特征在于,所述装置进一步包括:
第二确定模块,用于确定所述相邻三点的跨度是否大于点跨度阈值;
其中,当确定了所述相邻三点的跨度大于所述点跨度阈值时,所述移动模块使所述起点移动到下一点;并且
当确定了所述相邻三点的跨度不大于所述点跨度阈值时,所述计算模块计算所述所确定的相邻三点的夹角。
12.根据权利要求8所述的用于对形成图表的数据进行处理的装置,其特征在于,所述夹角阈值能够被任意地设置。
13.根据权利要求11所述的用于对形成图表的数据进行处理的装置,其特征在于,所述点跨度阈值能够被任意地设置。
14.根据权利要求8-11中任何一项所述的用于对形成图表的数据进行处理的装置,其特征在于,所述起点和所述终点的移动的幅度取决于所需要的数据处理的精度或灵敏度。
15.一种用于对形成图表的数据进行处理的电子设备,其特征在于,包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201710398660.3A 2017-05-31 2017-05-31 用于数据处理的方法和装置 Pending CN108984495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710398660.3A CN108984495A (zh) 2017-05-31 2017-05-31 用于数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710398660.3A CN108984495A (zh) 2017-05-31 2017-05-31 用于数据处理的方法和装置

Publications (1)

Publication Number Publication Date
CN108984495A true CN108984495A (zh) 2018-12-11

Family

ID=64501299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710398660.3A Pending CN108984495A (zh) 2017-05-31 2017-05-31 用于数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN108984495A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377229A (zh) * 2019-06-24 2019-10-25 北京百度网讯科技有限公司 数据分析方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0288720A2 (en) * 1987-04-30 1988-11-02 International Business Machines Corporation Curve generation in a display system
CN101410873A (zh) * 2005-07-26 2009-04-15 德卡尔塔公司 概括数字地图中的特征
CN103500516A (zh) * 2013-09-26 2014-01-08 深圳市宏电技术股份有限公司 基于电子地图高效率轨迹回放的方法及系统
CN106444637A (zh) * 2015-08-04 2017-02-22 深圳市雷赛智能控制股份有限公司 一种微小线段动态前瞻控制方法和装置
CN106709969A (zh) * 2016-12-21 2017-05-24 河南理工大学 一种基于分区的Delaunay三角网生长算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0288720A2 (en) * 1987-04-30 1988-11-02 International Business Machines Corporation Curve generation in a display system
CN101410873A (zh) * 2005-07-26 2009-04-15 德卡尔塔公司 概括数字地图中的特征
CN103500516A (zh) * 2013-09-26 2014-01-08 深圳市宏电技术股份有限公司 基于电子地图高效率轨迹回放的方法及系统
CN106444637A (zh) * 2015-08-04 2017-02-22 深圳市雷赛智能控制股份有限公司 一种微小线段动态前瞻控制方法和装置
CN106709969A (zh) * 2016-12-21 2017-05-24 河南理工大学 一种基于分区的Delaunay三角网生长算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
慈瑞梅: "一种基于多维分层的数据精简方法", 《扬州职业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377229A (zh) * 2019-06-24 2019-10-25 北京百度网讯科技有限公司 数据分析方法、装置、计算机设备及存储介质
CN110377229B (zh) * 2019-06-24 2023-04-25 北京百度网讯科技有限公司 数据分析方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109189835A (zh) 实时生成数据宽表的方法和装置
CN110019087A (zh) 数据处理方法及其系统
CN109447635A (zh) 用于区块链的信息存储方法和装置
CN110019503A (zh) Redis集群的扩容和/或缩容的方法及装置
CN109002440A (zh) 用于大数据多维分析的方法、装置及系统
CN110019367A (zh) 一种统计数据特征的方法和装置
CN110111167A (zh) 一种确定推荐对象的方法和装置
CN110334059A (zh) 用于处理文件的方法和装置
CN109002925A (zh) 业务量预测方法和装置
CN108052290A (zh) 用于存储数据的方法和装置
CN110019044A (zh) 大数据集群准实时Yarn任务监控分析方法
CN111044062A (zh) 路径规划、推荐方法和装置
CN108984495A (zh) 用于数据处理的方法和装置
CN110895591A (zh) 一种定位自提点的方法和装置
CN110147184A (zh) 导航回退的方法和控件
CN110020373A (zh) 静态页面存储、浏览的方法和装置
CN109992495A (zh) 接口测试的方法和装置
CN108959294A (zh) 一种访问搜索引擎的方法和装置
EP4116889A2 (en) Method and apparatus of processing event data, electronic device, and medium
CN110032283A (zh) 一种对联想词进行排序的方法和装置
CN108564406A (zh) 一种激励推送的方法和装置
CN109472740A (zh) 基于Web前端生成图形的方法和装置
CN109933421A (zh) 一种分布式数据处理的方法和装置
CN110320825A (zh) 一种统计设备状态的方法和装置
CN110378502A (zh) 辅助无人车确定路径的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211

RJ01 Rejection of invention patent application after publication