CN1808418B - 使用统计数据流显示数字数据的方法及系统 - Google Patents
使用统计数据流显示数字数据的方法及系统 Download PDFInfo
- Publication number
- CN1808418B CN1808418B CN200610000421.XA CN200610000421A CN1808418B CN 1808418 B CN1808418 B CN 1808418B CN 200610000421 A CN200610000421 A CN 200610000421A CN 1808418 B CN1808418 B CN 1808418B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- statistics
- numerical
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 239000012530 fluid Substances 0.000 title description 4
- 230000036961 partial effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 230000009467 reduction Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004513 sizing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005055 memory storage Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R19/00—Arrangements for measuring currents or voltages or for indicating presence or sign thereof
- G01R19/25—Arrangements for measuring currents or voltages or for indicating presence or sign thereof using digital measurement techniques
- G01R19/2506—Arrangements for conditioning or analysing measured signals, e.g. for indicating peak values ; Details concerning sampling, digitizing or waveform capturing
- G01R19/2509—Details concerning sampling, digitizing or waveform capturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
- Debugging And Monitoring (AREA)
Abstract
统计数据的一种应用程序,其可以创建新的波形以包含存储在统计抽样流中的所有结果。例如,可以对原始数据的每500个点提供一个新样本,从该样本中可得出原始数据的均值、RMS值和标准差中的一个或多个。通过将所有这些值,例如RMS值,放入新轨迹,则从原始通道中将得出数学通道。该统计轨迹将显示何谓趋势信号。
Description
技术领域
本发明涉及对记录的数据进行显示和分析的领域,特别涉及但不限于,提高计算机对用户从记录的数据文件中所选择的记录数据样本的显示速度、以及提高计算机对上述所选择的记录数据进行计算并显示相关统计数量的速度,尤其在处理极庞大的数据文件时。
背景技术
在数据采集和存储工业中,通常要记录数量庞大的数据。存储的数据量在快速增长。计算机存储器如硬盘等的容量每年在相应地不断增大,多盘同时使用的新技术也在不断的开发中。为了适应需求,数据传送方法的发展已经涉及到大量数据的移动,可举使用FireWire (火线)、USB2和千兆比特的以太网技术来传输数据为证,并为主流计算机的制造商所采用。由于对日益增多的大量数据进行实时记录和传送已变为可能,记录文件的大小已增大到能适应更高的测量精度的需要。这就引发了一个问题,当使用普通的办公用计算机来处理上述产生的数据文件时,例如进行工业或科学测量的分析,虽然个人计算机的速度和容量也有所提高,但是它们仍然无法按用户的期望、对如今以千兆比特计的整个记录文件进行处理。
在实际应用中,使用个人计算机处理大量数据,一般需要先把数据从硬盘读进内存,根据需求在内存中对数据进行处理,之后存储结果或是将经处理的数值丢弃掉。当记录的数据文件的大小超过目前个 人计算机的固态内存(即随机存取内存)所具有的256Mb到512Mb的高带宽容量时,那么这些数据就不能全部被读入所述的固态内存,在处理器能够对数据执行所选的数学运算之前,只能部分或全部直接地从硬盘读取、或者使用一种业内称为交换文件的内存替代文件,于是不可避免地降低了速度。
未来,计算机毫无疑问将配置有增长量的固态内存,并拥有更强大的处理能力,但是如果数据文件的大小与个人计算机的性能以同样的速率增加,则上述的问题依然无法解决。
所以本发明的目的就在于帮助解决上述的问题。
发明内容
本发明提出一种用于提供显示信号的方法,其中待显示的数字数据具有与其相结合的确定该数字数据预定大小的块统计数值,该方法包括下列步骤:确定显示比例参数;当确定所述数字数据和/或所述统计数值中哪些数据点需要显示时,由所述显示比例参数确定统计数值可在何种程度上代替部分或者全部数字数据使用;确定待显示的数据点;读入待显示的数字数据和/或统计数值;以及由所述的数字数据和/或统计数值产生显示信号。
本发明提出一种用于提供显示信号的系统,其中,待显示的数字数据具有与其相结合的、确定该数字数据的预定大小的块的统计数值,包括:显示比例参数确定装置;当确定该数字数据和/或所述统计数值中哪些数据点需要显示时,由该显示比例参数确定统计数值可在何种程度上代替部分或者全部数字数据使用的处理装置;用于确定那些数据点需要显示的处理装置;用于读入待显示的数字数据和/或统计数值 的数据读取装置;以及用于由该数字数据和/或统计数值产生显示信号的显示装置。
本发明提出一种用于提供显示信号的计算机程序产品,该计算机程序产品包括其上具有计算机可读代码的可用于计算机的介质,所述程序代码包括:用于使处理器执行确定显示比例参数的指令和数据;当确定该数字数据和/或统计数值中哪些数据点需要显示时,由该显示比例参数确定统计数值可在何种程度上代替部分或者全部数字数据使用的确定模块;确定待显示数据点的确定模块;读入待显示的数字数据和/或统计数值的读入模块;以及由该数字数据和/或统计数值产生显示信号的生成模块。
本发明的有益效果在于,所提出的方法避免将一个庞大的数据文件完全读入,并且能够迅速显示该数据的全部或部分,而不会丢失该数据的关键特征值,比如峰值。
此外,上述方法通过使用另加的统计流,还能应用于日后必然不断增大的数据文件。
同时,本发明提供了一种当数据已经开始显示以后,能根据用户的查看全部或部分数据的要求,更快地计算不同统计数据的方法。
关于本发明进一步的特征与优点,读者可通过参阅权利要求、结合下列参照附图对本发明的优选及其他实施例的描述加以明确,附图中相同的符号表示相同或者相似的组件。
附图说明
图1为将标准的个人计算机通过标准以太网数据网络与本发明中的数据采样和记录装置相连接的结构图;
图2为图1中的数据采样和记录装置的详细结构图;
图3为适用于图1中的个人计算机的内部详细构成的简化结构图;
图4为原始数据和与之并排的某两路本发明优选实施例的抽样统计流的示意图;
图5为对记录的数据进行采样和存储的过程的概要流程图;
图6为使用抽取的数据能够加速显示用户所选择的数据的过程的概要流程图;
图7为等级超越检测过程的概要示意图;以及
图8为对信号进行采样并产生原始数据时抽样流的生成过程的概要示意图。
具体实施方式
数据是测量物理量所得到的典型随时间变化的值,如温度、地点、速度、浓度或光的强度。因而,在本发明所涉及的应用中,这些值很可能作为时间的函数而不断地变化。然而,即使是很大程度上不连续的值也是可以使用的。
本发明的优选实施例提出了一种数据采集系统,用于接收模拟信号后,以预定的采样率对信号进行采样,然后将采样数据记录在原始数据文件中。所述系统的用户可以定制测量规则,以根据他们的测量需要而记录数据。在记录数据的同时,该系统为原始数据各个预定大 小的块计算统计概数然后存储该统计数据,使之与从信号中提取样本所成的原始数据文件相联。最终用户认为是有用的数据就可以得到保存和分析。
本实施例的数据采集系统优选设置于独立的单元中,该单元包括记录设备、记录数据文件的内存、处理结果的计算设备以及显示结果的显示器。但本发明设上述部件部分或全部可以设置在分开的模块中,各个模块间能通过通信系统,例如图1所示的记录设备、计算机和显示设备之间的以太网连接相互作用。
参见图1,图1所示即为如上所述的分模块方法,其设有个人计算机1,通过以太网数据网络2与数据记录装置3相连接。个人计算机1上设有用于显示结果的显示装置。所述数据记录装置3包含了记录系统和网络接口控制器,用于通过以太网数据网络同个人计算机1进行通信。个人计算机1可以显示记录的数据,该数据可存储于任何合适的存储介质上,位于如数据记录系统3或者计算机1中。
设还可有其他的通信方法可用于在记录装置和计算机之间,以及在计算机和显示器之间建立通信。这些通信方法包括但不限于,无线网络设备如蓝牙和802.11b,以及直接电缆连接如USB和/或火线。同样可设个人计算机1可为任意计算设备,其能够以所述的方式处理存储的数据样本并进行显示,因此可以采用标准台式机或便携式电脑的形式,例如基于英特尔或者AMD处理器的IBM便携PC,或者也可以是如掌上PC的微型设备。
数据101接收自如传感器等的模拟数据源,所述传感器如热感应器或者压感器等。接收的数据随后传送入模数转换器(ADC)102。所 述ADC 102以预定的采样率对模拟信号101进行采样后,将数字采样数据送入信号处理器。在另一实施例中,输入的信号也可以是数字的,或者从事先已经采集好信号的存储装置中进行加载。如果数据已经是数字形式,就可以省略模数转换的步骤,或者经数字转换器处理为适用于信号处理器103的正确格式。
如图8所示,信号处理器103对接收自ADC 102的信号进行处理。其接收数据后,根据该输入的采样数据的预定大小的多个块计算出多个统计量,然后将该统计数据的一个或多个抽样流与原始输入数据相联后进行输出。在最基本的实施例中,这些分离的抽样数据流中对数据每个预定大小的块都具有最大和最小采样值。在本实施例中,抽样数据流存储了500个数据样本块的最大和最小采样绝对值,但是也可使用其他大小的数据集合。
信号处理器103的形式是根据待采样的数据量和采样率由技术人员视需要而定的,如果是有大量数据需要处理可设为编程门阵列(FPGA)的形式,如果数据量较少则可用DSP(数字信号处理器)的形式。如果需要计算大量的统计流,则可以使用更快的FPGA设备。
产生抽样数据流可使用多种方法,这些方法在硬件或软件上都可实现。任何基于软件的数字信号处理器(DSP)都可以对原始数据样本进行加法和乘法运算。DSP具有专门的乘法器和加法器来执行这些功能。如果采样率提高,则更适合使用基于硬件的解法,比如有专门的乘法器和加法器作为支持的新式FPGA和/或CPLD。将来采样率提高的时候,DSP的性能和FPGA/CPLD的速度都会相应提升。要从原始采样流中实时地把抽样数据流提取出来,可在基于软件的DSP和基于硬件的FPGA/CPLD方法中进行优选。
抽样流无需原始数据就能使用,可以让用户在尺寸有限的显示区域查看到大量的采样数据,而不会出现由于计算机要对所有的原始数据进行处理而发生的明显的延迟现象。抽样流的使用同时使得原始数据的特征值如峰值和谷值得以保留,这一点将在后文对数据显示方法的详细描述中加以说明。
信号处理器103可以选择性地适用于提供附加的统计运算,以协助后面的对用户所选数据部分进行的分析,同样,对用户不会出现明显的处理延迟现象。根据选择的待存储统计参数,迅速显示进一步的统计运算,例如对用户所选择的数据部分进行r.m.s.(均方根)、STD(标准差)和取平均值等。
当数据的一部分被用户选定时,要对上述进一步的统计数据进行迅速计算,就要求迅速提供特定值。例如,上述统计运算需要所选原始数据的起始点和终止点,以确定需要执行数学函数运算的数据部分。用户一旦选定数据就可以迅速得到这些数值。
但是,对于同样的运算,对于用户所选定的数据部分,还需要对数据块内采样的总数与平方和进行计算。对于大量的数据,这需要耗费相当长的时间。因此,在改进的实施例中,加快了运算处理过程,采样值的和值与平方和值中的一个或两个都由信号处理器在记录阶段就进行预计算,并且包含在一个或多个另加的统计流中。
例如,上述均方根可以由计算机对原始数据的N个数值的集合{x1,x2,…,xn}运用下述公式进行计算:
计算N个数值的集合{x1,x2,…,xn}的平均值要使用的公式为:
计算N个数值的集合{x1,x2,…,xn}的标准差使用的公式为:
因此,为了以更快的速度计算这些公式,计算机可以将采样值的和值与平方和值中两个值或其中一个预先进行存储,使用时将它们插入到公式中,省略了读入大量数据并运算的过程。
在本实施例中,为了进行上述示例的计算,要先存储500个样本的数据块的所有值的和值与平方值和值。一旦计算机需要执行RMS运算,它可以从这些抽样数据流中提取所需值,然后对500个样本的每个数据集使用一个中间值,而不用处理原始数据的所有500个样本。这就使用户能更快地对在连续的原始数据中所选择的部分计算RMS值,即,原始数据传送期间任何选定的部分都是实时的。
在另一个实施例中,信号处理器103还进一步能输出更大数据块的抽样流。为了提高对超大数据文件的这种处理速度,要在一个或多个单独的抽样流中存储每十万个样本的和值与平方和值。对于更大的文件,要在一个或多个进一步抽样的数据流中加入每一千万个样本的和值。当文件大小增大时,设上述概念通过为更大的数据块提供和值 得到延伸。必须注意,选为示例的数据块的大小不受这些任意值的限制,相应地就有可能选择更大或者更小的数据块。
上述列出的组大小已经通过试验得到确认,而且被认为是非常适当的大小,所以就不会对统计数据所需的额外存储造成显著影响。在上述实施例中提到的所有统计计算中使用大小为500、十万和一千万样本的数据块产生抽样流时,记录数据需要增加的存储量仅为2.5%。但无需使用固定的抽样尺度,任何尺度和数量的抽样数据流都是允许的。
对所需另加的光盘存储与显示过程中提高数学运算速度的需求的比值进行优化是可行的,这样是为了,当对用于显示给最终用户的可存为单独文件的数据进行处理时,使计算机性能保持在一个满意的水平。可以用智能软件来确定优化尺度和抽样流的数量。例如,当工作站使用因逐渐增加抽样系数而具备不同抽样系数的数据时,可以用软件来处理末位数据以决定工作站的响应率。一旦工作站的响应度达到了预定的具有良好响应的水平,则抽样流的数量和尺度就由该结果来确定。另外,基于上述测试的结果,也可以利用CPU和硬盘速度之间的关联来确定抽样流适当的数量和尺度。但在当前实施例中,抽样流的数量和尺度是人工确定的。
抽样数据流允许数据块为任意大小。数据集的长度,即,数据块的大小,存储在数据流的流信息头中。这使得多个数据流都可以具备独立的数据集长度,并包含了下一更高的抽样系数,并可从其信息头中识别出来。存储有流的记录文件的格式经组织以包含从零到任意数量的抽样数据流。
在另一实施例中,所需的(或可能的)流的数量和样本的大小可以根据速度与确定的一般存储量相比的必要性,由记录应用程序或装置进行计算。参考图8,确定块的大小以及要计算的统计量的第二步骤改为,还包括基于该过程可用的硬件和应用软件来确定流的优化数量以及样本大小的步骤。在更简单的实施例中,要确定不同的抽样系数用在什么点,可以通过简单的运算法则得到。一旦每个抽样流得到二十个计算结果,该抽样流就被计算和存储起来。所以,考虑到抽样比率是1比500,则所需的原始样本为一万个。如果抽样比是1比十万,则需要两百万个原始样本。
经处理的样本数据随后存储在内存104中,并可以由微处理器105进行操作,并且/或者存储在存储装置106中。内存104可以是任何类型的适用于存储由信号处理器103输出的数据的内存,并设可以采取例如标准计算机RAM或者闪存的形式。存储装置106优选为硬盘驱动器,但可以包含其它形式的存储装置如固态内存,并且无需安置于记录装置3的内部。设经处理的样本数据可以存储在与原始数据同时存取的地方。
要显示数据,计算机可以从本地存储介质、或者通过通信介质如以太网络从数据记录装置,读入数据或者抽样流。
在显示数据的时候,必须知道以轨迹或者类似形式显示数据的区域的大小。一旦知道该大小以后,确定比例系数,根据该系数依比例决定显示数据,以适应显示区域。该显示区域可以是可用显示区域的部分或全部。例如,整个显示区域为1024×768像素大小,分配于显示数据的区域可以是800×600像素大小。
在该执行过程中,每个像素都分配到一个数据点,但设一个数据点能分配给所有其他像素,这意味着仅需要400个数据点用来显示一条轨迹。多个数据点也可以分配给任意数量的像素,这就意味着要显示的数据点更少。
当用户选择部分数据显示的时候,计算机读入原始数据。如果样本数据点和像素点一样多(在这个例子中,沿水平轴显示每个数据,共800个数据点),则读入所选的数据样本并在显示器上描绘出轨迹。如果数据点为像素点的两倍,则其它的每个数据点都可绘出。这种数据点和像素点之间的关系如下:当需要显示x个数据点时,每个像素显示x点中的一个点。
存储在缩减的数据流中的最大值和最小值,在缩减系数达到最初缩减的数据流的缩减系数时(本例中为500),可以用于取代读入原始数据。当数据样本数量为显示器可用像素点的500倍时,可以用缩减的数据流取代原始数据样本来产生显示轨迹。因此,在上述执行过程中,由于缩减的数据流可以用来产生轨迹,计算机需要读入的数据的数量也由系数500进行缩减。
另加的缩减数据流也可以用同样的方式来使用。在使用由100,000进行缩减的抽样流,且数据点至少为可用于显示轨迹的像素点的十万倍时,这些另加的抽样流可用于取代原始数据。该原则同样可应用于对具备不同缩减系数的抽样流的使用。
考虑到用户选择部分的数据包含的部分块的确定的抽样值已经存储在缩减数据流中而不能从缩减的数据流中单独读出,计算机必须执行边界处理,如图6所略述。
边界处理包括,无需预计算统计量,计算各个数据块的统计值。例如,数据的用户选择部分可以分为多个数据块,而这些数据块除了数据起始部分和末尾部分外的统计值已经计算完毕,所述起始和末尾部分仅仅为数据块的一部分,所述数据块的统计值已经得到预计算,这时就需要从这些数据中计算相对统计值。
如果需要,可以在屏幕上显示其他计算的统计数据,如所有数据或数据所选择部分的r.m.s和标准差,与数据点并行排列或者取代数据点。
由于经处理的统计数据仅仅用于数据的各个规定的块,所以原始数据的用户选择部分很可能起始于某块且终止于某块内,即,它会跨越各块的部分或者全部块,其中各个块的统计数据已经得到计算。如果用户的数据选择包括的数据块的部分的统计数据已经得到计算,而且如果现有数据流为任何使用较小数据块的统计数据流,则将使用可能更高缩减系数的统计数据流。如果没有合适的统计数据流可用,那就须使用原始数据。因此,该计算采用了下述的方法,参考图4中的例子:
原始数据R0被划分为相同大小的邻近块,由序列B1…Bn表示的块序列和由序列R1…Rn(每个大小增加的块)表示的统计数据的抽样流。
用户选定的数据间隔,表示为Δ,其由统计抽样数据R1B2和R1B6的局部块、及介于它们之间的整块的统计抽样数据构成。为了建立这些局部块的平方总和,计算机需要读入原始样本并计算每个局部块的平方和。本实施例中使用了抽样系数,就是两个块中499个样本中的最大值。图6所示的所使用的处理方法。使用这个处理方法,任何用户的选定数据内的抽样流可以检测出来,并用于降低尺度级直到没有可用的抽样流,此时读入原始数据相应块,以及计算相应统计数据或显示统计值。但是块R1B3和R1B4可适用缩减系数。所以计算机只需从R2B2中读入结果。因此需要计算的等式如下:
现在计算机需要从原始数据中加出了部分和的计算结果,即R2B2的计算结果和R1B5的计算结果,这样就可以计算出等式的值。作为对比,可以想象一下原始数据原本需要计算机读入和处理一亿个样本。
因此在这个执行过程中,用抽样流来替代样本大小在500和100,000的数据块,计算机需要读入的数据的最大数量为:
2倍的500个样本原始数据=1000个样本;
2倍的200个由500缩减的计算结果=400个计算结果;
1000个由100K缩减的计算结果=1000个计算结果;
总计读入大小为2400的计算结果或样本。
如果没有这些数据流,就必须读入一亿个样本,并执行所需的平方操作和加法运算以配合该方法。
对每千万个样本的各块,使用额外的数据流,计算机需要读入和处理的数据数量将缩减到:
2倍的500个样本原始数据=1000个样本;
2倍的200个由500缩减的计算结果=400个计算结果;
2倍的100个由100k缩减的计算结果=200个计算结果;
10倍的由100k缩减的计算结果=10个计算结果;
总计读入大小为1610的计算结果或样本。
这个读入量的缩减不会像用于处理原始数据的读入数量和当为每500个样本使用统计数据流所需要读入的数量之间的缩减那么显著。但是,一旦记录数据开始增加到超过1G的样本,为每千万个样本使用数据流所带来的差别就非常的明显。
额外的绝对最大值和绝对最小值已经存储在缩减的数据流起始部分里,计算机也可以更快的速度提供搜索功能。类似绝对最小值或绝对最大值的数值可以通过搜索统计流的起始部分而快速地获得。任何等级的超越可以通过检查何处的最小值比选定的等级更小以及何处的最大值比选定的等级更大而搜索出来。当一个数据集的最小值和最大值达到这个标准,计算机就会读入数据集中相对缩减得更少的部分,最后通过相应的原始数据样本建立准确的超过选定等级的样本。
参考图7,所略述的是等级超越的确定方法,最高抽样数据流的最小值和最大值与选定的等级超越数值相比较。如果没有达到标准,该抽样数据集下面的整个采样块可以标志为没有超越等级。如果搜索到符合标准,则计算机开始检查每个块大小更低的统计数据流,直到在该原始数据中找到有效的超越选定等级的样本。
为了在垂直轴显示数据的整个轨迹,必须确定该轨迹的适当比例系数。在确定显示区域的垂直比例之前,计算机需要该待显示轨迹的绝对最小值和绝对最大值。通过使用可用的以最高的块尺度抽样的数据流并沿更低的流进行下去,最后到达原始数据,计算机将为选定的数据确定绝对最大值和绝对最小值,。此处所指的过程为自动调整比例。如果自动调整不可用,则最终用户可以设置该缩放比例为任何期望值。
一旦在显示器上显示了轨迹,并且如果与存储的值例如样本总和与样本的平方和已经为每个块存储在额外的抽样数据流中,就可以为数据被显示的部分计算统计量。可选地,或者另外,用户可以选择数据显示部分的局部,而且可以计算并显示该局部数据的统计量。
例如,在一个实施例中对绝对最小值、绝对最大值、总和值、值的平方的和值、以及为块尺寸500计算统计流,计算机可通过下述公式计算原始数据的N个值的集合{x1,x2,…xN}的均方根:
使用下述公式计算N个值的集合{x1,x2,…xN}的均值:
以及根据下述公式计算N个值的集合{x1,x2,…xN}的标准差:
在优选实施例中,上述所有提到的数学运算都是可行的,并且创建了块大小为500、十万和一千万的抽样数据流,其拥有:
※代表了数据块中最低值的样本值;
※代表了数据块中最高值的样本值;
※数据块中所有样本的所有样本平方和
最后,如上所述,提供了一种用于将数据流的统计特征量存储在附随的数据流中并与原始数据并行的创新方法。这种方法可使用户非常有效地用计算机显示超大的数据文件,其中所述计算机能用统计数 据取代原始数据,从而与直接对原始数据进行处理的传统方法相比具有更快的显示速度。
Claims (16)
1.一种使用统计数据流显示数字数据的方法,包括:
接收数字数据;
确定至少一个数据块大小;
针对每个数据块大小:
基于所述数据块大小将所述数字数据划分为多个数据块,
由数字处理器为每个数据块计算包括最小值和最大值的统计数值,并且
创建统计数据流,所述统计数据流包括每个数据块的所述统计数值;
为所述数字数据的用户选择部分确定显示比例参数,所述显示比例参数包括每像素数据点的值;
如果至少一个数据块大小小于或等于所述每像素数据点的值:
选择具有各自的数据块大小小于或等于所述每像素数据点的值的至少一个统计数据流,
确定包含在所述数字数据的用户选择部分中完整数据块的个数,
确定包含在所述数字数据的用户选择部分中部分数据块的个数,
为每个部分数据块计算统计数值,以及
从与所述完整数据块和所述部分数据块相关联的所述统计数值中创建显示信号,并且
否则:
对所述数字数据进行抽样以创建所述显示信号;以及
输出所述显示信号。
2.如权利要求1所述的方法,进一步包括:
从模拟数据源接收模拟数据;以及
使用数模转换器将所述模拟数据数字化以创建所述数字数据。
3.如权利要求1所述的方法,其中,所述数字数据的用户选择部分包括一部分起始数据块、至少一个完整数据块以及一部分最后的数据块。
4.如权利要求1所述的方法,其中,所述统计数值包括均方根值、标准差值以及平均值中的一个或多个。
5.如权利要求1所述的方法,其中,所述显示信号同时包括最小值和最大值。
6.如权利要求1所述的方法,其中,所述统计数值包括数字数据采样值的和以及数字数据采样值的平方和中的一个或多个。
7.如权利要求1所述的方法,其中:
对于所选择的具有最大数据块大小的第一统计数据流:
确定包含在所述数字数据的用户选择部分中的第一数量的完整数据块,以及
确定包含在所述数字数据的用户选择部分中的第一数量的部分数据块;
对于所选择的具有第二大的数据块大小的第二统计数据流:
确定包含在所述第一数量的部分数据块中的第二数量的完整数据块,以及
确定包含在所述第一数量的部分数据块中的第二数量的部分数据块;
相应地处理所选择的任何剩余统计数据流,直到确定最后数量的部分数据块为止;
为每个最后的部分数据块计算统计数值;以及
从与所述完整数据块和所述最后的部分数据块相关联的统计数值中为每个统计数据流创建显示信号。
8.如权利要求7所述的方法,其中,创建数据块大小分别为500个样本、104个样本以及106个样本的三个统计数据流。
9.一种使用统计数据流显示数字数据的系统,包括:
第一处理装置,所述第一处理装置用于:
接收数字数据;
确定至少一个数据块大小;
针对每个数据块大小:
基于所述数据块大小将所述数字数据划分为多个数据块,
由数字处理器为每个数据块计算包括最小值和最大值的统计数值,并且
创建统计数据流,所述统计数据流包括每个数据块的所述统计数值;
显示比例参数确定装置,所述显示比例参数确定装置用于为所述数字数据的用户选择部分确定显示比例参数,所述显示比例参数包括每像素数据点的值;
第二处理装置,所述第二处理装置用于:
当至少一个数据块大小小于或等于所述每像素数据点的值时:
选择具有各自的数据块大小小于或等于所述每像素数据点的值的至少一个统计数据流,
确定包含在所述数字数据的用户选择部分中完整数据块的个数,
确定包含在所述数字数据的用户选择部分中部分数据块的个数,
为每个部分数据块计算统计数值,以及
从与所述完整数据块和所述部分数据块相关联的所述统计数值中创建显示信号,并且
否则:
对所述数字数据进行抽取以创建所述显示信号;以及
用于显示所创建的显示信号的显示装置。
10.如权利要求9所述的系统,进一步包括:
用于从模拟数据源接收模拟数据的接收装置;以及
用于将所述模拟数据数字化以创建所述数字数据的数模转换器。
11.如权利要求9所述的系统,其中,所述数字数据的用户选择部分包括一部分起始数据块、至少一个完整数据块以及一部分最后的数据块。
12.如权利要求9所述的系统,其中,所述统计数值包括均方根值、标准差值以及平均值中的一个或多个。
13.如权利要求9所述的系统,其中,所述显示信号同时包括最小值和最大值。
14.如权利要求9所述的系统,其中,所述统计数值包括数字数据采样值的和以及数字数据采样值的平方和中的一个或多个。
15.如权利要求9所述的系统,其中,所述第二处理装置对于所选择的具有最大数据块大小的第一统计数据流:
确定包含在所述数字数据的用户选择部分中的第一数量的完整数据块,以及
确定包含在所述数字数据的用户选择部分中的第一数量的部分数据块;
对于所选择的具有第二大的数据块大小的第二统计数据流:
确定包含在所述第一数量的部分数据块中的第二数量的完整数据块,以及
确定包含在所述第一数量的部分数据块中的第二数量的部分数据块;
相应地处理所选择的任何剩余统计数据流,直到确定最后数量的部分数据块位置为止;
为每个最后的部分数据块计算统计数值;以及
从与所述完整数据块和所述最后的部分数据块相关联的统计数值中为每个统计数据流创建显示信号。
16.如权利要求15所述的系统,其中,所述第一处理装置创建数据块大小分别为500个样本、104个样本以及106个样本的三个统计数据流。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0500089A GB2422081B (en) | 2005-01-05 | 2005-01-05 | Statistical streaming |
GB0500089.8 | 2005-01-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1808418A CN1808418A (zh) | 2006-07-26 |
CN1808418B true CN1808418B (zh) | 2014-04-23 |
Family
ID=34179176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200610000421.XA Active CN1808418B (zh) | 2005-01-05 | 2006-01-05 | 使用统计数据流显示数字数据的方法及系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7868886B2 (zh) |
CN (1) | CN1808418B (zh) |
DE (1) | DE102005062791B4 (zh) |
FR (1) | FR2880440B1 (zh) |
GB (1) | GB2422081B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070255851A1 (en) * | 2006-04-27 | 2007-11-01 | Vrba Joseph A | Adaptive data reduction for performance enhancement of large data set displays |
DE102007018095B4 (de) * | 2006-12-14 | 2010-06-10 | Rohde & Schwarz Gmbh & Co. Kg | Vorrichtung und Verfahren zur Ermittlung einer statistischen Kenngröße als zusätzliche Signalinformation zur Dezimierung einer Folge von Signalabtastwerten |
US8363054B2 (en) * | 2010-06-16 | 2013-01-29 | Microsoft Corporation | Localized layout and routing in an interactive diagramming system |
US9069726B2 (en) | 2012-12-12 | 2015-06-30 | Microsoft Technology Licensing, Llc | Iteratively calculating standard deviation for streamed data |
WO2015044175A1 (en) * | 2013-09-27 | 2015-04-02 | Byte Paradigm Sprl | Method and system for storing waveform data |
US20150091907A1 (en) * | 2013-09-27 | 2015-04-02 | Byte Paradigm Sprl | Method and system for storing waveform data |
BE1021546B1 (fr) * | 2013-10-30 | 2015-12-11 | Byte Paradigm Sprl | Procede et systeme pour le stockage de donnees de forme d'onde. |
CN104639143A (zh) * | 2014-12-18 | 2015-05-20 | 北京奥普维尔科技有限公司 | 一种提高时钟信号分析的方法及系统 |
US10033778B2 (en) * | 2015-09-29 | 2018-07-24 | International Business Machines Corporation | Real-time statistical analysis on high speed streaming data |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5939877A (en) * | 1997-05-27 | 1999-08-17 | Hewlett-Packard Company | Graphical system and method for automatically scaling waveforms in a signal measurement system |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5255365A (en) * | 1988-07-12 | 1993-10-19 | Le Croy S.A. | Method and apparatus for compacting digital time series data for display on a digital oscilloscope |
US5138252A (en) * | 1990-11-09 | 1992-08-11 | Hewlett-Packard Company | Automatic scaling for display of modulation domain measurements |
US5218299A (en) * | 1991-03-25 | 1993-06-08 | Reinhard Dunkel | Method for correcting spectral and imaging data and for using such corrected data in magnet shimming |
US5375067A (en) * | 1992-12-11 | 1994-12-20 | Nicolet Instrument Corporation | Method and apparatus for adjustment of acquisition parameters in a data acquisition system such as a digital oscilloscope |
US5397981A (en) * | 1994-02-28 | 1995-03-14 | Fluke Corporation | Digital storage oscilloscope with automatic time base |
US5553006A (en) * | 1994-06-09 | 1996-09-03 | Chelsea Group Ltd. | Method and apparatus for building environmental compliance |
US5740064A (en) * | 1996-01-16 | 1998-04-14 | Hewlett-Packard Co. | Sampling technique for waveform measuring instruments |
US6057790A (en) * | 1997-02-28 | 2000-05-02 | Fujitsu Limited | Apparatus and method for data compression/expansion using block-based coding with top flag |
US5898420A (en) * | 1997-08-13 | 1999-04-27 | Hewlett-Packard Company | Instrument with maximum display update rate and maximized display bandwidth given the display update rate |
US6374251B1 (en) * | 1998-03-17 | 2002-04-16 | Microsoft Corporation | Scalable system for clustering of large databases |
US6711709B1 (en) * | 1998-06-24 | 2004-03-23 | Unisys Corporation | Integrated block checking system for rapid file transfer of compressed data |
US6344844B1 (en) * | 1998-08-21 | 2002-02-05 | Agilent Technologies, Inc. | Digital oscilloscope having improved peak detect mode |
US6457144B1 (en) * | 1998-12-08 | 2002-09-24 | International Business Machines Corporation | System and method for collecting trace data in main storage |
US6642926B1 (en) * | 1999-09-24 | 2003-11-04 | Tektronix, Inc. | Test and measurement instrument having telecommunications mask testing capability with a mask zoom feature |
US6356849B1 (en) * | 2000-01-28 | 2002-03-12 | Agilent Technologies, Inc. | Method for automatically scaling sampled representations of single-valued and multi-valued waveforms |
JP2001272421A (ja) * | 2000-03-24 | 2001-10-05 | Matsushita Electric Ind Co Ltd | データ蓄積システム |
US8010174B2 (en) * | 2003-08-22 | 2011-08-30 | Dexcom, Inc. | Systems and methods for replacing signal artifacts in a glucose sensor data stream |
US6725172B2 (en) * | 2002-04-17 | 2004-04-20 | Agilent Technologies, Inc. | Systems and methods for tagging measurement values |
US6693576B2 (en) * | 2002-05-23 | 2004-02-17 | Tektronix, Inc. | Methods and apparatus providing multiple concurrent acquisition modes in a digitizing measurement instrument |
US6760673B2 (en) * | 2002-07-31 | 2004-07-06 | Agilent Technologies, Inc. | Method and apparatus for waveform measurement instrument |
US7489825B2 (en) * | 2005-07-13 | 2009-02-10 | Ge Medical Systems | Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow |
-
2005
- 2005-01-05 GB GB0500089A patent/GB2422081B/en active Active
- 2005-08-17 US US11/205,114 patent/US7868886B2/en active Active
- 2005-12-26 FR FR0513404A patent/FR2880440B1/fr active Active
- 2005-12-28 DE DE102005062791A patent/DE102005062791B4/de active Active
-
2006
- 2006-01-05 CN CN200610000421.XA patent/CN1808418B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5939877A (en) * | 1997-05-27 | 1999-08-17 | Hewlett-Packard Company | Graphical system and method for automatically scaling waveforms in a signal measurement system |
Also Published As
Publication number | Publication date |
---|---|
GB0500089D0 (en) | 2005-02-09 |
FR2880440A1 (fr) | 2006-07-07 |
FR2880440B1 (fr) | 2010-10-22 |
US20060181440A1 (en) | 2006-08-17 |
GB2422081A (en) | 2006-07-12 |
DE102005062791B4 (de) | 2008-11-27 |
GB2422081B (en) | 2010-09-29 |
US7868886B2 (en) | 2011-01-11 |
CN1808418A (zh) | 2006-07-26 |
DE102005062791A1 (de) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1808418B (zh) | 使用统计数据流显示数字数据的方法及系统 | |
Rubin | Multiple imputation | |
CN104376884B (zh) | 一种对反应堆信号全量程自动监测的便携反应性仪及反应性修正方法 | |
CN101813783B (zh) | 一种用于测试卫星导航接收机的基带芯片的方法 | |
CN106997493A (zh) | 基于多维度数据的彩票用户流失预测方法及其系统 | |
CN102955902B (zh) | 雷达模拟设备可信度的评估方法及评估系统 | |
CN1806501B (zh) | 海洋浮游植物自动识别方法及装置 | |
CN104166731A (zh) | 一种社交网络重叠社区发现系统及其方法 | |
EP2128768A1 (en) | Detecting device, system, program, and detecting method | |
CN109346168A (zh) | 一种确定数据相关性的方法及装置 | |
CN112100910A (zh) | 一种处理器的功耗模型训练方法、功耗测试方法及装置 | |
CN110333933A (zh) | 一种hpl计算模型仿真方法 | |
CN110376503B (zh) | 一种ai加速芯片性能测试方法及其装置 | |
CN102156641A (zh) | 一种软件成本置信区间预测方法及系统 | |
US7590792B2 (en) | Cache memory analyzing method | |
CN116484565A (zh) | 基于时变故障率模型和时序模拟的可靠性评估方法及系统 | |
CN112324426B (zh) | 一种基于气测资料快速判别凝析气藏油环大小的方法 | |
CN113722917A (zh) | 基于垂直剖面上裂变径迹长度分布的热史模拟方法及系统 | |
CN112329108A (zh) | 一种地铁车站优化抗浮验算方法及系统 | |
CN115599195B (zh) | 一种基于cuda性能计数器的gpu能耗预测方法及系统 | |
CN115543775B (zh) | 一种测试案例自动生成方法 | |
CN108805772A (zh) | 一种计算机在线评测系统 | |
CN118245014B (zh) | 激光能量数据采集还原方法、装置、激光设备及存储介质 | |
CN107589444B (zh) | 地震数据的处理方法和装置 | |
CN118138043A (zh) | 一种adc采样数据输出方法、装置及芯片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20060726 |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |