CN103714238A - 对涉及动态系统实验结果的计算机模型评分的系统和方法 - Google Patents

Abstract

提供了一种对计算机模型进行评分的系统和方法。一种用于动态系统的计算机模型的客观度量包括：对与经验测试数据相关的计算机产生的数据进行时移，并且针对每个时移数据集计算关联的互相关；基于提供最大互相关的时移数据集来确定相位和斜率的误差和得分；通过使用仅基于距离的成本函数对最大互相关时移数据集执行动态时间规整来确定幅度误差和得分。度量是幅度得分、相位得分和斜率得分的加权组合。对度量参数的自动校准可包括对存储在计算机可读存储装置中的相应的数据库中的主观评分的比较，数据库中包括表示代表性的经验数据集和计算机产生的数据集之间的相似性的数据。可对客观参数进行调整或优化，以使客观度量与学科专家的主观评分相应。

Description

对涉及动态系统实验结果的计算机模型评分的系统和方法

技术领域

本公开涉及用于对与用于动态系统的经验结果相关的用于输出动态系统的计算机模型进行评分的系统和方法。

背景技术

计算机辅助工程（CAE）已经成为用于减少样机车辆测试和缩短产品开发时间的重要工具。例如，CAE的目标之一是减少或消除目前各种类型的认证（诸如针对汽车系统的安全认证）所依赖的广泛的物理样机测试。在利用计算机模型对各种车辆动态系统进行产品开发之前，必须对计算机模型的品质、可靠性和预测能力进行系统性的定量评估。此外，动态系统的模型验证的关键难点之一的示例为多数响应是可通过时程曲线表示的功能性响应。这就要求开发一种客观度量，该客观度量可对与关键特征（诸如经验测试曲线之间的相移、幅度和斜率）关联的时程和模型预测两者之间的差异进行评估。

现有度量“响应时程的误差评估（EARTH）”提供了三种独立的测量来对涉及与功能响应的关键特征（诸如相位误差、幅度误差和斜率误差）关联的经验数据的计算机模型的预测的结果进行估计，其中，所述关键特征表示响应的物理特性。该度量使用动态时间规整来降低测三种类型的误差之间的相互作用，其中，该度量测量与模型预测相关的经验数据的时程之间的差异，并且与许多其它度量相比，该度量具有较少数量的度量调整参数。因为三种误差的范围可能很不一样，并且没有可单独地提供量化评估的单独的评分，所以原始的EARTH度量采用线性回归法来将三个误差组合为一个得分。采用数值优化法来识别线性系数，从而产生的EARTH评分可与特定应用的领域专家的主观评分紧密匹配。然而，EARTH度量中的分量误差的线性组合主要基于数值，并且依赖于应用；因此可能无法扩展到其它应用。此外，EARTH度量的敏感度研究指示：针对在估计中使用的样本数量，EARTH度量无法为某些应用提供期望的健壮性。具体地，幅度和斜率误差基于在分析中使用的样本数量而显著地变化。

发明内容

一种在计算机系统上执行的计算机实现的方法，所述方法用于基于对与存储在计算机可读存储装置中的经验测试数据相关的计算机产生的数据的分析来确定用于动态系统的计算机模型的客观度量，所述方法包括：：对与经验测试数据相关的计算机产生的数据进行时移，并且针对每个时移数据集来计算关联的互相关；基于提供最大互相关的时移数据集来确定相位误差和相位得分；使用仅基于时移数据集和测试数据的关联的数据点之间的距离的成本函数来对最大互相关时移数据集执行动态时间规整，并且确定关联的幅度误差和幅度得分；基于最大相关时移数据集和测试数据来确定斜率误差和斜率得分；将相位得分、幅度得分和斜率得分进行组合，以确定用于计算机模型的客观度量。在各个实施例中，所述系统和方法还可包括对度量参数的自动校准。所述自动校准可包括对存储在计算机可读存储装置中的相应的数据库中的主观评分的比较，其中，所述数据库包括表示代表性的经验数据集和计算机产生的数据集之间的相似性的数据。可对度量参数进行调整或优化，以使客观度量与学科专家的主观评分相应。

可通过下述步骤来分别基于相应的相位误差、幅度误差和斜率误差来确定相位得分、幅度得分和斜率得分：如果相应的误差超出关联的参数最大阈值，则将得分确定为0；如果相应的误差小于关联的参数公差阈值，则将得分确定为100%；其它使用回归法来确定基于相应的误差的得分。

将相位得分、幅度得分和斜率得分进行组合的步骤可包括：对每个得分应用权重因数，以产生相应的加权得分；将相应的加权得分相加，以确定客观度量。

针对每个得分的权重因数是常数。

客观度量范围是0和1之间的值。

确定与斜率误差的步骤可包括：将最大互相关时移数据集划分为分别具有多个数据点的多个间隔；计算与每个间隔相应的斜率的平均值；基于斜率的平均值来确定斜率误差。

一种由计算机执行的计算机实现的方法包括：对与测试数据相关的计算机模型产生的数据进行时移，并且针对每个时移数据集计算关联的互相关；确定与时移数据集的相位、幅度和斜率关联的误差和得分，其中，使用独立于针对时移数据集和测试数据的数据点的斜率的成本函数来确定幅度误差和得分。

可通过在计算机中执行的自动校准处理来确定关联的参数最大阈值和关联的公差阈值，所述自动校准处理使用存储在与计算机进行通信的计算机可读存储装置中的关联的多个主观评分来将计算机产生的数据与测试数据进行比较。

一种用于执行计算机实现的方法的计算机系统，所述方法用于基于对与经验测试数据相关的计算机模型产生的数据的分析来确定用于动态系统的计算机模型的客观度量，所述计算机系统包括：计算机可读存储装置，所述存储装置中存储有计算机模型产生的数据和经验测试数据；与计算机可读存储装置通信的处理器，所述处理器被配置为对与经验测试数据相关的计算机产生的数据进行时移，并且针对每个时移数据集来计算关联的互相关，基于提供最大互相关的时移数据集来确定相位误差和相位得分，通过基于时移数据集和经验测试数据的关联的数据点之间的距离而非基于斜率的成本函数，使用最大互相关时移数据集的动态时间规整，来确定幅度误差和幅度得分，基于最大相关时移数据集和经验测试数据来确定斜率误差和斜率得分，并且将相位得分、幅度得分和斜率得分进行组合，以确定用于计算机模型的客观度量。

处理器可被配置为通过下述步骤来确定斜率误差：将最大互相关时移数据集划分为分别具有多个数据点的多个间隔；计算与每个间隔相应的斜率的平均值；基于斜率的平均值来确定斜率误差。

处理器还可被配置为通过将使用关联的参数集计算的客观度量值与存储在计算机可读存储装置中的多个主观评分重复地进行比较，并且调节度量参数以使客观度量值与平均的主观评分基本匹配，来对与客观度量相关的度量参数执行自动校准。

基于相应的相位误差、幅度误差和斜率误差来分别确定相位得分、幅度得分和斜率得分，并且处理器可被配置为：如果相应的误差超出关联的参数最大阈值，则将得分确定为0；如果相应的误差小于关联的参数公差阈值，则将得分确定为100%；其它，使用回归法来确定基于相应的误差的得分。

在一实施例中，一种计算机系统和在计算机系统中执行的计算机实现的方法，所述方法对测试数据和计算机产生的数据执行动态时间规整，以使用仅包括零阶导数的成本函数来确定幅度误差和幅度得分，即，不依赖于测试数据曲线和计算机产生的数据曲线的斜率或拓扑。通过下述步骤来确定斜率误差：将时移（相移）的计算机产生的数据划分为分别具有多个数据点的多个间隔，并且计算每个间隔的平均斜率，以在不使用动态时间规整的情况下产生斜率曲线。使用度量参数来确定斜率得分，以在0和1或同等百分比之间分配得分。

根据本公开的各个实施例提供了相关优势。例如，根据本公开的实施例的系统和方法可用于对具有多个响应的动态系统的计算机模型的准确性和预测能力进行定量评估。所述系统和方法使用动态时间规整对不与相位、幅度和形状（斜率）关联的误差进行量化，以在测量幅度和拓扑误差的同时使局部的相位和拓扑的影响最小化。使用针对所使用的样本数量健壮的成本函数来计算幅度误差。组合不同的误差测量来提供用于与选择的应用相关的计算机模型的整体误差测量和单个直观得分。度量使用具有关联的物理推论的一小组参数，以便于学科专家的主观分析通过参数校准处理来确定阈值，并且可将所述度量扩展至不同的应用。

附图说明

图1是示出根据本公开的代表性实施例的用于确定针对与经验测试数据相关的计算机模型数据的客观评分的系统或方法的操作的框图；

图2是示出根据本公开的代表性实施例的用于度量参数的自动校准的系统或方法的操作的框图；

图3是示出根据本公开的代表性实施例的用于度量参数的自动校准和客观度量的确定的代表性系统的框图。

具体实施方式

根据需要，在此公开本发明的详细实施例；然而，应当理解的是，所公开的实施例仅是可被实施为各种替代形式的本发明的示例。附图无需按比例绘制；可夸大或缩小多个特征以显示特定组件的细节。因此，此处所公开的具体结构和功能细节不应被解释为限制，而仅为教导本领域技术人员以多种形式实施本发明的代表性基础。

本发明的发明人认为用于估计与经验数据相关的计算机模型的现有技术EARTH度量不健壮，因为其结果由于经验数据集内不同数量的样本而变化。还识别出多个其它健壮性问题。例如，在EARTH度量中用作计算斜率曲线的线性拟合会引入近似误差。因为动态时间规整（DTW）路径在成本函数计算中使用距离分量和斜率分量这两者，所以DTW路径对于不同的数据插值是敏感的。此外，对斜率曲线执行DTW可降低或消除局部的形状差异，斜率误差计算对于数据点的数量太敏感，并且斜率得分没有很好地与学科专家的主观估计互相关联。

根据本公开的实施例提供了用于对与用于动态系统的经验结果相关的计算机模型进行评分的系统和方法，其中，动态系统在提供多个优点的同时保持EARTH度量的优点。除了先前描述的优点之外，增强EARTH（EEARTH）度量更健壮并且提供与由学科专家提供的主观评分更好地相关联的一致的幅度和斜率评分。

将EARTH度量分为两类：全局响应误差和目标点响应误差。全局响应误差被定义为与在每个点上具有相等权重的完整的时程关联的误差。全局响应误差的三个主要的分量是相位误差、幅度误差和拓扑（或斜率）误差。目标点误差被定义为与感兴趣的特定局部现象关联的误差（诸如峰值误差和时间峰值误差）。目标点误差表示部分时程的特性，但不指示全部时程的整体性能。此外，目标点误差一般依赖于应用，因此不对其进行详细描述。

因为与相位、幅度和拓扑/斜率关联的误差不是独立的并且具有显著的相互作用，所以分别对所述误差进行量化是挑战性的。例如，为了对与幅度关联的误差进行量化，时程之间的相位差的存在可导致误导测量。EARTH的独特特征是使用动态时间规整（DTW）的已知技术来分离相位、幅度和拓扑/斜率误差的相互作用。DTW是用于测量时程之间的差异的算法。DTW尽可能地通过根据代价（距离）函数扩展和压缩时间轴来对齐峰值和谷值。如本发明的发明人所认为的，除了用于计算幅度误差和斜率误差所采用的方法之外，为在EARTH度量中的DTW算法指定的成本函数可造成缺乏尤其针对样本数量的敏感度的健壮性。

在图1中显示了示出根据本公开的实施例的用于对与用于动态系统的经验数据相关的计算机模型数据进行评分的系统或方法的操作的框图。如大体上参照图3所示出和描述的，可由具有与一个或多个计算机可读存储装置进行通信的微处理器的计算机来实现所述方法和系统。本领域的普通技术人员将理解的是，可由软件和/或硬件来执行由框图或流程图所示的功能。根据特定的处理策略，可以以不同于图中所示出的顺序或次序来执行各种功能。相似地，虽然没有明确说明，但可重复执行一个或多个步骤或功能。在一实施例中，主要由存储在计算机可读存储装置中的软件、指令或代码来实现所示出的功能，并且由基于微处理器的计算机来执行所述功能。例如，可将数据本地存储在计算机可读存储装置上，或者可通过局域网或广域网（诸如互联网）来访问数据。例如，系统可包括各种传感器或变换器（诸如加速度器），以从相应的测试或经验收集经验数据（一般称为测试数据）。将测试数据与计算机模式数据（一般称为CAE数据）进行比较，以提供表示由动态系统的相关计算机模型产生的CAE数据表示测试数据的结果如何的度量或得分。

块20表示原始经验或测试数据（T），而块22表示原始模块数据或CAE数据（C）。例如，使用在经验或测试期间从传感器收集的信号来从传感器或变换器（诸如加速度器或力传感器）收集经验数据。例如，碰撞测试数据可包括在碰撞测试期间从多个传感器收集的数据，以测量针对碰撞测试假人的头部、颈部和胸部的力/加速度。使用相应的模拟碰撞的计算机模型来产生CAE数据22。对数据进行预处理，以使经验数据20和模型数据22具有相似的测量特性（诸如采样率、过滤等）。在一实施例中，将这两个数据集表示为非模糊曲线（例如：时程曲线），并且针对信号特性的物理意义来同步这两个信号，以使这两个信号在物理意义和时序上是对齐的。此外，针对参考信号的每一时间步长，应该使用在共同的采样点进行评估的两个信号来提供所分析的信号的值。所述信号还应该使用相同的单位系统。

在一实施例中，针对使用在此描述的算法进行分析的数据信号20、22使用10kHz的采样率。作为预处理的一部分，可将更高或更低的采样率的信号重新采样为这一采样率。本领域的普通技术人员将认识到的是，还可以以其它采样率来进行EEARTH度量。然而，可能需要对调节参数进行相应地调整，并且可能影响得分解释。

因为当使用非常嘈杂的信号时度量计算会是困难的，所以收集和/或预处理可包括信号的过滤。此外，相关性的评估应该集中在给定信号的相关部分。针对汽车安全应用（诸如车辆碰撞测试），信号可包括通常不被关注且应从度量中排除的碰撞前阶段和碰撞后阶段。因此，应该选择描述将被评估的感兴趣的信号的部分的估计的间隔。

继续参照图1，如块24所示，原始CAE曲线22每次朝向或远离原始测试数据20平移一个步长。如块26所示计算互相关。在该步骤中，初始曲线22（C）相对于原始测试数据20（T）每次向左然后向右（或者在时间上向前然后向后）平移一个步长，并且计算其之间的互相关直至达到最大允许时移范围

当初始曲线C向左移动m时间步长时，时移n之后的两个时程的重叠点的数量减少至(N-m)，其中，N表示时间步长的总数，并且根据下面的数学式来计算相应的互相关值ρ_L(m)：

${\mathrm{\ρ}}_L\left(m\right)=\frac{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}[(C(t_{\mathrm{start}}+(m+i)\·\mathrm{\Δt})-\stackrel{\‾}{C}\left(t\right))\·(T(t_{\mathrm{start}}+i\·\mathrm{\Δt})-\stackrel{\‾}{T}\left(t\right))]}{\sqrt{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{[C(t_{\mathrm{start}}+(m+i)\·\mathrm{\Δt})-\stackrel{\‾}{C}\left(t\right)]}^2}\·\sqrt{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{[T(t_{\mathrm{start}}+i\·\mathrm{\Δt})-\stackrel{\‾}{T}\left(t\right)]}^2}}$

当原始C曲线向右移动m时间步长时，时移n之后的重叠点的数量减少至(N-m)，并且根据下面的数学式来计算相应的互相关值ρ_R(m)：

${\mathrm{\ρ}}_R\left(m\right)=\frac{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}[(C(t_{\mathrm{start}}+i\·\mathrm{\Δt})-\stackrel{\‾}{C}\left(t\right))\·(T(t_{\mathrm{start}}+(m+i)\·\mathrm{\Δt})-\stackrel{\‾}{T}\left(t\right))]}{\sqrt{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{[C(t_{\mathrm{start}}+i\·\mathrm{\Δt})-\stackrel{\‾}{C}\left(t\right)]}^2}\·\sqrt{\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{[T(t_{\mathrm{start}}+(m+i)\·\mathrm{\Δt})-\stackrel{\‾}{T}\left(t\right)]}^2}}$

如块28所示，重复这一步骤来确定测试曲线20和计算机模型曲线22之间的最大或最好的互相关。最大互相关ρ_E是所有的ρ_L(m)和ρ_R(m)中的最大值。如块30所示，产生最大互相关ρ_E的时移步长的数量被定义为相位误差n_ε。如块40所示，将相应的被平移且被截断的CAE曲线C记录为C^ts，并且如块42所示，将相应的被截断的测试曲线记录为T^ts。

随后如块32所示，使用在块30处确定的相位误差来计算相位得分。可根据下面的数学式来计算或确定相位得分：

其中，针对典型应用的允许时移阈值参数和相应的代表值被表示为：

${\mathrm{\ϵ}}_p^{*}=0.2$

$K_{E_P}=1$

从存储在计算机可读存储装置中的值的数据库中选择时移阈值参数。数据库可包括在校准过程中使用学科专家（SME）的主观估计来确定的度量参数值，这在下面被更详细的描述。在EEARTH度量中使用的确定相位得分的以上方法提供了最好的100%的相位得分，这意味着不需要平移CAE数据22来达到原始测试数据20和CAE数据22之间的最大相关系数。然而，如果平移等于或大于最大允许时移阈值，则EEARTH相位得分为0%。例如，针对其之间的任何值，可使用上面示出的回归法来计算EEARTH相位得分。

还如图1所示，如块44所示，使用被平移并被截断的CAE曲线40和被截断的测试曲线42来执行动态时间规整（DTW）。例如，DTW是用于测量时程之间的差异的已知算法，并且已经被用于各种信号匹配应用，诸如语音识别、股票或商品价格序列。DTW通过根据给定的代价（距离）函数而扩展和压缩时间轴来使峰值和谷值尽可能地对齐。DTW的关键思想是可将时程的任何点与处于不同的时间位置的其它时程的多个点（向前和/或向后）对齐，以便补偿时间平移。在根据本公开的各个实施例中，使用DTW来分隔或隔离相位误差、幅度误差和斜率误差之间的相互作用。

幅度误差是对测试曲线20和计算机模型曲线22的时程的幅度的差异的测量。幅度误差被定义为当所述两个时程之间没有时滞时所述两个历程的幅度的差。在如块46所示的计算幅度误差之前，如块44所示，通过使用动态时间规整来使由相位和拓扑/斜率的误差所导致的时程之间的差最小化。当采样点的数量从2000降为250时，初始EARTH度量幅度得分发生显著改变。进一步的研究认定涉及距离和斜率两者的动态时间规整的局部成本函数是幅度得分的这一显著改变的主要原因。因此，根据本公开的实施例的EEARTH计算使用下面的局部成本函数，其中，所述局部成本函数随着计算中所使用的样本的数量的增加而更加不敏感或更加健壮：

d(i,j)=(C^ts(i)-T^ts(j))²

使用成本函数来产生存储在计算机可读存储装置中的局部代价矩阵。DTW算法使用代价矩阵来寻找贯穿代价矩阵中的低代价区域的对齐路径。该对齐路径定义了将获得最小累积成本函数的C^ts(i)和T^ts(j)这两者的元素的对应关系。随后如块46所示，根据下面的数学式来计算幅度误差ε_mag：

${\mathrm{\ϵ}}_{\mathrm{mag}}=\frac{{\left|\right|C^{\mathrm{ts}+w}-T^{\mathrm{ts}+w}\left|\right|}_1}{{\left|\right|T^{\mathrm{ts}+w}\left|\right|}_1}$

随后如块48所示，使用幅度误差来根据下面的数学式计算幅度得分：

${\mathrm{\ϵ}}_m^{*}=0.5$

$K_{E_M}=1$

将幅度得分表示为E_M，其中，

是最大允许幅度误差，而

定义了回归的阶。以这种方式，最好的EEARTH幅度得分是100%，意味着动态时间规整之后的幅度和相移之后的幅度之间没有差异。如果原始EARTH幅度误差等于或大于最大允许幅度误差阈值，则EEARTH幅度得分是0%。针对约束值之间的值，使用如上面所显示的回归法来计算EEARTH幅度得分。与相位得分类似，可将度量校准参数、阈值或约束值存储在被存储在计算机可读存储装置中的值的数据库中。所述数据库可包括在校准过程中使用学科专家（SME）的主观估计来确定的度量参数值，这将在下面更加详细地描述。

拓扑或斜率误差是对测试曲线20和计算机模型曲线22的拓扑/斜率测试曲线的差异的测量。时程的拓扑/斜率被定义为每个点上的斜率。如图1的块40和42所示，为了确保全局时移的影响被最小化，从被截断的时移历程T^ts和C^ts来计算斜率。因此，如块60和块62所示，通过在每个点进行求导来分别获得由T^ts+d和C^ts+d所表示的时移历程的导数。

本公开的发明人认为EARTH斜率得分也受到不同的采样率影响或对不同的采样率敏感。在计算EARTH斜率误差之前，根据斜率曲线计算的实现以及在这些斜率曲线上使用动态时间规整，来确定敏感度。在初始EARTH度量中，首先采用多项式拟合来使时移历程T^ts和C^ts平滑，并且随后从多项式拟合曲线计算导数曲线（C^ts+d和T^ts+d）。多项式拟合是近似法，因此可将变化引入度量中。此外，在计算斜率误差之前，对产生的斜率曲线执行动态时间规整。发明人注意到在此使用的DTW可减小斜率差，并且EARTH斜率曲线可能无法区分好的相关性和差的相关性。

在根据本公开的实施例的EEARTH度量中，首先使用基于采样率（例如，1毫秒）的预定义的长度/时间将时移历程T^ts和C^ts划分为多个间隔，从而每个间隔包括多个数据点。接下来，如块60和62所示，在每个间隔中计算平均斜率来产生斜率曲线（C^ts+d和T^ts+d）。因此，在不执行动态时间规整的情况下，使用斜率曲线来直接计算斜率误差。

随后如块64所示，根据下面的数学式来基于斜率曲线计算斜率误差：

${\mathrm{\ϵ}}_{\mathrm{slope}}=\frac{{\left|\right|C^{\mathrm{ts}+d+w}-T^{\mathrm{ts}+d+w}\left|\right|}_1}{{\left|\right|T^{\mathrm{ts}+d+w}\left|\right|}_1}$

随后如块66所示，根据下面的数学式来使用斜率误差计算斜率得分：

${\mathrm{\ϵ}}_S^{*}=2.0$

$K_{E_S}=1$

以类似于前面所描述的确定幅度得分的方式来确定斜率得分。最大允许斜率误差定义回归的阶。以这种方式，最好的EEARTH斜率得分是100%，这意味着两个斜率曲线之间没有差异。如果斜率误差等于或大于最大允许斜率误差阈值或约束值，则EEARTH幅度得分是0%。针对其之间的值，以所示的回归法来计算EEARTH斜率得分。与幅度得分和相位得分类似，可从被存储在计算机可读存储装置中的值的数据库中获得度量校准参数、阈值或约束值。所述数据库可包括在校准过程中由学科专家（SME）使用主观估值来确定的度量参数值，这将在下面更加详细地描述。

因此，根据本公开的实施例的EEARTH度量通过以下操作来降低斜率误差和斜率得分对样本数量的敏感度从而提高健壮性：（1）使用分别具有多个数据点的预定义的长度来将相移曲线划分为多个间隔；（2）计算每个区间的平均斜率，以产生斜率曲线；（3）在不使用动态时间规整的情况下计算斜率误差。分析揭示了EEARTH度量斜率评分不被采样率的改变所显著影响，并且相对于原始EARTH度量，EEARTH度量斜率评分更好地与学科专家的主观评分相应。

如块68所示，根据下面的数学式来使用相关的权重因数将针对相位32、幅度48和斜率66的三个EEARTH子得分进行组合：

E=w_P·E_P+w_M·E_M+w_S·E_S

权重因数可根据特定应用而变化，并且针对特定应用可由学科专家以类似于其它度量校准参数的方式确定所述权重因数。在一代表性实施例中，如块70所示，对子得分应用均等的权重因数1/3来产生单个EEARTH得分度量。根据特定的应用，可进一步将单个EEARTH得分度量与一个或多个其它度量进行组合，以对与用于特定动态系统的经验数据相关的计算机模型性能进行评分。

图2是示出根据本公开的代表性实施例的度量参数校准的框图。类似于图1的框图，框图200大体上表示计算机实现的处理，其中，如下面所描述的，使用存储在计算机可读存储装置中的编程的计算机执行指令来执行各种示出的功能，以自动地调整或校准与用于估计涉及用于特定动态系统的经验数据的计算机模型数据的度量关联的一个或多个参数。所述处理结合基于物理的阈值和学科专家的主观评估来提供与计算机模型的能力相应的得分的期望范围，以准确地预测相应的测试数据。

如块210所示，以产生代表性的动态响应数据库来开始自动调节和自动校准处理。如参照图3所描述的，将一组具有测试数据和计算机模型数据的代表性的动态响应存储在数据库中，其中，数据库被存储在一个或多个计算机可读存储装置中。例如，数据库中所表示的动态响应可包括不同类型的响应，诸如力矩、力、位移和加速度。此外，响应还可覆盖大范围的针对计算机模型数据对相应的经验测试数据进行预测或匹配的结果如何的计算机模型质量。

图2的块220表示由学科专家（SME）产生的研究结果，该研究结果对应于特定测试数据集与从一个或多个计算机模型的相应输出匹配的结果如何。对一组SME进行研究以收集SME评分数据。随后由系统使用任意数量的统计或数学操作来处理研究结果。在一实施例中，SME得分的平均值作为校准EEARTH度量参数的基准，从而EEARTH度量的主观评分反映出采样的SME的知识库。大体上如块230所示，SME研究数据还可包括增强EARTH度量参数值的潜在范围。因为使用具有明确的基于物理的推论的参数来开发EEARTH，所以SME可基于经验和经验测试数据的知识来提供EEARTH的潜在范围。例如，可具有选择或调整的值和范围的代表性度量参数可包括相位度量的阶、幅度度量的阶、斜率度量的阶、相位得分权重因数、幅度得分权重因数、斜率得分权重因数、时移的最大百分比或乘数、最大幅度误差、最大斜率误差。

大体上如块240所示，用公式表示具有相应的针对EEARTH度量自动校准的约束值的优化目标。这可包括定义针对特定应用的优化目标以及设计变量和范围。如块240、250和260所示，一旦用公式表示了度量校准目标，就采用优化算法来寻找EEARTH度量参数的最优值。如块250所示，使用被评估和确定为特定应用可接受或不可接受的每个结果的SME评得分据库来计算度量参数值。如果在块250确定，EEARTH度量的客观评分不是对由SME的主观评分所确定的经验数据的可接受的匹配，则如块260所示调整或更新参数值。继续进行这种优化循环，直至获得一组可接受的参数值。当如250所示确定了可接受的参数值时，则如块270所示最终确定EEARTH度量参数值，并且将所述EEARTH度量参数值用于如上所述的接下来的对EEARTH度量得分的确定。

图3是示出用于执行一种根据本公开的计算机实现的方法的计算机系统的代表性实施例的框图，所述方法用于基于计算机产生的数据的分析来确定用于动态系统的计算机模型的客观度量，其中，所述计算机产生的数据与存储在计算机可读存储装置中的经验测试数据相关。系统300包括与一个或多个计算机可读存储装置312进行通信的计算机310。计算机可读存储装置312可包括用于存储数据和可执行的指令的任意数量的公知的永久性或持续性（非暂时性）存储装置，诸如磁带或磁盘和/或光带或光盘、闪存、CD、DVD和/或组合存储装置。例如，计算机可读存储装置312可包括一个或多个本地装置314和/或可通过局域网或广域网318（诸如互联网）来访问的远程装置316。计算机310包括一个或多个输入装置320和输出装置322。输入装置320可包括从动态系统的经验测试中收集数据的传感器或变换器（诸如加速度器、力传感器、应变计等）。可将经验测试数据存储在计算机可读存储装置312中。可选地，可由数据采集系统来收集经验测试数据，并且使用经由网络318被发送到系统300的测试数据来如上面所述地对所述经验测试数据进行预处理。如先前所述，计算机可读存储装置312还可存储由动态系统的计算机模型产生的计算机产生的数据。

在一实施例中，系统300包括：计算机310，被配置为执行指令并且处理存储在计算机可读存储装置312中的数据，以基于对与经验测试数据相关的计算机产生的数据的分析确定用于动态系统的计算机模型的主观度量。计算机310包括：软件和/或硬件，被配置为对与经验测试数据相关的计算机产生的数据进行时移，并且针对每个时移数据集来计算关联的互相关，基于提供最大互相关的时移数据集来确定相位误差和相位得分，并且使用仅基于时移数据集和测试数据的关联的数据点之间的距离的成本函数来对最大互相关时移数据集执行动态时间规整，并且确定关联的幅度误差和幅度得分。计算机310还可被配置为基于最大相关时移数据集和测试数据来确定斜率误差和斜率得分，将相位得分、幅度得分和斜率得分进行组合以确定针对计算机模型的客观度量。

如根据本公开的代表性实施例所证明的，客观度量（诸如EEARTH度量）提供了与用于估计计算机产生的测试数据的现有度量相比的各种相关优势。例如，根据本公开的实施例的系统和方法可用于对具有多个响应的动态系统的计算机模型的准确性和预测能力进行定量评估。该系统和方法使用动态时间规整来对不与相位、幅度和形状（斜率）关联的误差进行量化，以在测量幅度和拓扑误差的同时使局部的相位和拓扑的影响最小化。使用针对所使用的样本数量健壮的成本函数来计算幅度误差。组合不同的误差测量来提供针对与选择的应用相关的计算机模型的整体的误差测量和单个直观得分。度量使用具有关联的物理推论的一小组参数，以便于学科专家的主观分析通过参数校准处理来确定阈值，并且可将所述度量扩展至不同的应用。

虽然以上描述了示例性实施例，但不意图这些实施例描述本发明的各种可能的形式。而是，在说明书中使用的词语是描述的词语而不是限制的词语，并且应当理解的是，在不脱离本发明的精神和范围的情况下，可进行各种改变。此外，可组合各个实施例的特征以形成本发明的进一步的实施例。虽然可能已经针对一个或多个期望的特性，相对于其它实施例优选地或更优地提供了各个实施例，但如本领域的技术人员所知的，根据具体的应用和实施，一个或多个特征可能被折中以达到期望的系统属性。这些属性包括但不限于：代价、强度、耐久性、生命周期代价、市场性、外观、包装、尺寸、适用性、重量、可制造性、易组装性等。在此讨论的被描述为针对一个或多个特性不如其它实施例或现有技术实现被期望的实施例不在本公开的范围之外，并且对于特定应用是被期望的。

Claims (10)

1.一种在计算机系统上执行的计算机实现的方法，所述方法用于基于对与存储在计算机可读存储装置中的经验测试数据相关的计算机产生的数据的分析来确定用于动态系统的计算机模型的客观度量，所述方法包括：

对与经验测试数据相关的计算机产生的数据进行时移，并且针对每个时移数据集来计算关联的互相关；

基于提供最大互相关的时移数据集来确定相位误差和相位得分；

使用仅基于时移数据集和测试数据的关联的数据点之间的距离的成本函数来对最大互相关时移数据集执行动态时间规整，并且确定关联的幅度误差和幅度得分；

基于最大相关时移数据集和测试数据来确定斜率误差和斜率得分；

将相位得分、幅度得分和斜率得分进行组合，以确定用于计算机模型的客观度量。

2.如权利要求1所述的方法，其中，确定相位误差和相位得分的步骤包括：如果最大互相关时移数据集与超出相应的最大允许时移度量参数的时移相应，则将相位得分确定为0。

3.如权利要求2所述的方法，其中，由在计算机系统中执行的自动校准处理来确定时移度量参数，所述自动校准处理使用存储在计算机可读存储装置中的关联的多个主观评分来将计算机产生的数据与经验测试数据进行比较。

4.如权利要求1所述的方法，其中，确定相位误差和相位得分的步骤包括：如果最大互相关时移数据集与时移不相应，则将相位得分确定为100%。

5.如权利要求1所述的方法，其中，确定相位误差和相位得分的步骤包括：

如果提供最大互相关的时移数据集与超出最大允许时移度量参数的时移相应，则将相位得分确定为0；

如果最大互相关时移数据与时移不相应，则将相位得分确定为100%；

其它基于回归法来确定相位得分。

6.一种由计算机执行的计算机实现的方法，包括：

对与测试数据相关的计算机模型产生的数据进行时移，并且针对每个时移数据集计算关联的互相关；

确定与时移数据集的相位、幅度和斜率关联的误差和得分，其中，使用独立于针对时移数据集和测试数据的数据点的斜率的成本函数来确定幅度误差和得分。

7.如权利要求6所述的计算机实现的方法，还包括：将相位、幅度和斜率得分进行组合，以确定用于计算机模型的客观度量。

8.如权利要求7所述的计算机实现的方法，其中，客观度量基于相位、幅度和斜率得分的权重和。

9.如权利要求6所述的计算机实现的方法，其中，确定与斜率相关的误差的步骤包括：

将最大互相关时移数据集划分为分别具有多个数据点的多个间隔；

计算与每个间隔相应的斜率的平均值；

基于斜率的平均值来确定斜率误差。

10.如权利要求9所述的计算机实现的方法，其中，通过下述步骤来分别基于相应的相位误差、幅度误差和斜率误差来确定相位得分、幅度得分和斜率得分：

如果相应的误差超出关联的参数最大阈值，则将得分确定为0；

如果相应的误差小于关联的参数公差阈值，则将得分确定为100%；

其它使用回归法来确定基于相应的误差的得分。

Images