CN102844787A - 稳定方法及计算机系统 - Google Patents

Abstract

本发明涉及一种用以稳定通过数字传感器所获取物理变量的一系列测量的方法。此方法包含下列步骤：获取所述物理变量的至少第一测量、第二测量及第三测量并存储每个测量于数字存储器中。比较所述多个第一及第二测量，若所述第一测量和所述第二测量之间的差异低于预定阈值，则在所述存储器中以校正后的第二测量取代所述第二测量，其中涉及所述第一测量的所述差异已使用第一滤波强度而缩小。比较所述校正后的第二测量及所述第三测量，若所校正后的第二测量滤波的值和所述第三测量之间的差异亦低于所述阈值，则以校正后的第三测量取代所述第三测量，其中涉及所述校正后的第二测量的所述差异已使用低于所述第一滤波强度的第二滤波强度而缩小。此方法具有滤波噪声的优势同时在所述一系列测量中仍允许缓慢但相应的变化。

Description

稳定方法及计算机系统

技术领域

本发明涉及用以稳定通过数字传感器所获取的物理变量的一系列测量的方法及装置。

背景技术

虽然物理变量通常是连续的信号，但是数字传感器仅能输出这些变量的不连续读数。通过数字传感器的这种连续物理变量的多个不连续的读数可能产生某些噪声或修改所述连续物理变量的数字表达式的准确性。虽然可以施加滤波器来缩小或抑制此类噪声，但它们随后亦可沿着所述物理变量的一系列测量引入可察觉的潜伏时间/延迟或掩饰缓慢但确定的变化。因此发展能够抑制数字传感器所获取物理变量的一系列测量中的噪声的稳定方法具优势，该方法不会明显影响此类缓慢但确定的变化，且不会引入其它的可察觉的延迟。

这种稳定方法尤其有利于用以稳定通过数字传感器随时间所获取的一系列空间位置测量，特别是通过三维(3D)数字成像系统随时间所获取的一系列空间位置测量。特别是当此类空间位置测量的获取亦涉及物体识别步骤时，物体识别算法可能在该物体的空间位置的连续的测量中诱发显著的噪声，噪声可通过空间定位光域(raster)的有限定义而加剧。

在美国专利申请公开US 2006/028944中已尝试，若先前位置测量的差异低于特定阈值，则通过在位置测量中丢弃或减弱改变，而在数字动作传感器所获取的按时间顺序的一系列位置测量中抑制噪声。然而，此类稳定技术可能导致在所述位置测量中所忽视或反映为急冲性变化的缓慢但实际的持续动作。显然基于此原因，根据该公开，此技术仅为响应特定事件而施加。

US 2008/165280揭示一种视频稳定方法，其中使用稳定算法形式中图像稳定参数的初始设定达成图像稳定。说明因果(causal)及非因果(non-causal)滤波两者，其中当使用因果滤波时暂存解码图像。实行两个图像的部分投影向量、部分区域的比较以判定跳动(jitter)组件的最佳匹配(在所比较的两个向量之间的最小距离)。滤波器公式用于补偿在二维中的跳动，该滤波公式依据所计算的动作估计表示。揭示阻尼因子(damping facter)α，其朝向零控制该波动并可以适用于不同帧以补偿该视频相机于频率≥2Hz时的手震。该阻尼因子具有标准值，其中0<α<1。

US 2008/030460揭示基准图像与比较图像的比较以匹配特征。施加两个阈值，其将该图像有效分离为三个区域：高阻尼区域、低阻尼区域及渐进或线性区域。在该图像中的位置信息用于控制该应用，举例来说，在感兴趣区域中一只手的位置。

发明内容

因此，本发明包含一种方法及装置，其可以在通过数字传感器所获取物理变量的一系列测量中可靠地滤波噪声，但仍然在沿着前述一系列测量的所述物理变量中令人满意地反映缓慢但相关的变化，然而基本上防止在该物理变量的该数字表达和在真实世界连续空间中其绝对表达式之间引入显著的延迟。

根据本发明，一种用于稳定通过数字传感器所获取物理变量的一系列测量P的方法包含下列步骤：

通过所述传感器获取所述物理变量的至少第一测量P_t-2、第二测量P_t-1及第三测量P_t；

若在所述第一测量P_t-2和所述第二测量P_t-1之间的差异Δ_t-1低于阈值β，则在数字存储器中以校正后的第二测量P’_t-1(其中涉及所述第一测量P_t-2的差异使用滤波强度α_t-1而缩小)取代所述第二测量P_t-1；以及

若所述校正后的第二测量P’_t-1和所述第三测量P_t之间的差异Δ_t亦低于所述阈值β，则在数字存储器中以校正后的第三测量P’_t(其中涉及所述校正后的第二测量P’_t-1的差异使用低于施加于第二测量P_t-1的滤波强度α_t-1的滤波强度α_t而缩小)取代所述第三测量P_t。

“数字存储器”意指任何计算机可读取及计算机可写入的数据存储介质，其包括、但不限于固态存储器(如随机存取存储器或快闪存储器)，但亦包括磁性数据存储介质(如硬磁碟驱动机或磁带)、光学数据存储介质(如光碟)等。

由于必须滤波的每个后续测量的滤波强度降低，故该滤波的输出最后将收敛朝向在一个方向上缓慢但稳定移动的输入。另一方面，将在最高滤波强度滤波短期噪声。

在说明于US 2008/165280的方法中，没有根据低于阈值的差异的测量的比较或所述测量的校正。在该视频稳定技术中，通过根据跳动及动作估计在连续帧中保持该图像的相同部分而达成稳定。裁切(并因此销毁)初始图像且所裁切的图像用于与下一个图像(根据所判定的跳动所判定的该裁切量)内插。

同时US 2008/030460揭示该阈值应用，这些阈值将该图像有效分离为三个区域，即高阻尼区域、低阻尼区域及渐进或线性区域。图像中的位置信息用于控制感兴趣区域内的该应用。在该方法中，由于线性函数用于在两个阈值之间的阻尼，故未提供动态调整。

有利地，在该方法中，可以在数字处理器中计算P’_t-1，根据该方程式：

$P_{t-1}^{\&prime;}=P_{t-2}+{\mathrm{\&Delta;}}_{t-1}^{\&prime;}\left(\frac{P_{t-1}-P_{t-2}}{{\mathrm{\&Delta;}}_{t-1}}\right)$

其中Δ’_t-1是施加滤波函数f(Δ)于具有滤波强度α_t-1的差异Δ_t-1的结果；以及

可以在数字处理器中计算P’_t，根据该方程式：

$P_t^{\&prime;}=P_{t-1}^{\&prime;}+{\mathrm{\&Delta;}}_t^{\&prime;}\left(\frac{P_t-P_{t-1}^{\&prime;}}{{\mathrm{\&Delta;}}_t}\right)$

其中Δ’_t是施加该滤波函数f(Δ)于具有该较低滤波强度α_t的差异Δ_t-1的结果。由于这些方程式不仅适用于纯量，但亦适用于向量的测量P，故即使所述物理变量是多维，根据本发明特定实施例的方法亦可以用于稳定物理变量的一系列测量。

基至更有利地，该滤波函数f(Δ)可能是功率函数，依循该方程式：

$f\left(\mathrm{\&Delta;}\right)={\left(\frac{\mathrm{\&Delta;}}{\mathrm{\&beta;}}\right)}^{\mathrm{\&alpha;}}\&CenterDot;\mathrm{\&beta;}$

有利地，所述第一、第二及第三测量在时间上可能是连续的。根据本发明此特定实施例的方法可以因此用于稳定物理变量的一系列按时间顺序连续的测量，以随时间评估所述物理变量的发展。

有利地，所述物理变量可能是位置。甚至更有利地，所述物理变量可能是在三维空间中的位置。在特定实施例中，滤波参数的不同设定可应用于在此三维空间中的每个轴。因此，尤其当所述测量是按时间顺序连续时，根据本发明特定实施例的方法，可以用于在使用数字位置或动作传感器而未大幅影响缓慢但稳定移动的测量所获取的动作中滤波噪声。

特别有利地，所述数字传感器可以是成像传感器。这将更促进位置测量的获取，尤其若所述数字传感器3D是成像传感器，则允许在三维空间中位置测量的获取。此类3D成像传感器包括，举例来说，雷射雷达(Lightdetection and ranging，LIDAR)传感器、飞行时间(Time-Of-Flight，TOF)摄像机、具有扫描雷射三角测量(triangulation)或者任何其他类型的远程检测(teledetection)系统的相机。

特别有利地，在所述物理位置的一系列测量中获取每个测量可以包括识别图像中的给定物体并在参考帧中测量其位置。现有识别算法，诸如，举例来说，先前在国际专利申请公开WO 2008/128568中所揭示，允许识别物体，诸如举例来说在图像(可能是3D图像)中的使用者的极限。在WO2008/128568中，揭示在三维空间内识别体积的方法，其中三维图像数据包含多个具有该三维空间的点。这些点是丛集的（clustered）且选定一丛集为感兴趣点。在所选定丛集内的点再次重组为次丛集，其每个皆具有重心及与该重心相关的体积。可以连接重心以形成表示物体的网络且该极限已确认为重心，其仅连接至一个其他的重心。

然而，这些算法可能在连续图像中所述物体的位置的测量中引进特定水平的噪声。根据本发明特定实施例的方法提供所述物体的连续位置测量的稳定对抗此类噪声而未大幅影响该物体缓慢但稳定移动的传输，同时避免在实际位置和所述位置的数字化值之间引进显著的延迟。

该方法还涉及计算机可读取数据存储介质，其存储用于执行此稳定方法的可执行代码。

“计算机可读取数据存储介质”意指含有数字数据的任何计算机可读取支援，包括但不限于固态存储器(如随机存取存储器)、快闪存储器或只读存储器，但亦包括磁性数据存储介质(如硬磁碟驱动机或磁带)、光学数据存储介质(如光碟)等。

本发明还涉及一种经由通过数字传感器所获取物理变量的一系列测量输入数据及/或指令于计算机系统的方法。在本发明的特定实施例中，如上述所说明稳定所述一系列测量。有利地，所述数据及/或指令可以涉及通过所述计算机系统所执行的计算机游戏。所述物理变量可能是使用者身体部分的物理位置。

本发明还涉及一种计算机系统。根据本发明的一个优选实施例，这种计算机系统包含：

输入端，其可连接至数字传感器，其用于接收通过所述数字传感器所获取物理变量的一系列测量；

数字存储器，其包含用以执行一方法的指示，该方法用于稳定根据本发明的所述一系列测量；以及

数字数据处理器，其连接至所述数字存储器及所述输入端用以执行所述指示。

附图说明

现在，将参考以下附图以示例但非限制性的方式来描述本发明的特定实施例。

图1示出了根据本发明特定实施例的个人使用者、数字传感器及计算机系统的示意图；

图2示出了根据本发明特定实施例的稳定方法的流程图；以及

图3示出了在涉及初期测量的几个不同的差异上示意根据本发明该稳定方法的该作用的图表。

具体实施方式

本发明的特定实施例示于图1中。在此特定实施例中，本发明的方法用于稳定经由连接至计算机系统4的3D成像传感器3所感知的人使用者2右手1的动作。在特定有利的实施例中，3D成像传感器3是TOF相机。然而，或者可以使用其他种类的数字成像系统，诸如2D相机、立体相机、LIDAR、雷达、声纳等。

3D成像传感器3获取人使用者2所在房间的3D图像数据，其包含该房间的2D图像，对于对应至该像素所成像的该点的3D成像传感器3的距离的每个像素而言，其具有多个像素及深度值。由于在该2D图像中所述像素的X及Y位置它们本身对应于涉及3D成像传感器3所代表的点的天顶及方位角，故这些3D图像数据可以由对应于在3D成像传感器3范围中所述物体可见点的三维的点云例示。为便于处理，涉及3D成像传感器3的每个点该深度与该天顶及方位角皆可以转换为直角坐标(Cartesiancoordinate)。

本身可在3D成像传感器3中的处理器在计算机系统4中，或者介于其间某处，施加将对应于人使用者2的此图像的点群组为几个丛集的识别算法，每个丛集皆对应于且标签为人使用者2的身体部分。处理器亦计算每个丛集的重心的位置，并分配其至该对应的身体部分，诸如右手1。然而，由于3D成像传感器3获取在时间上连续的人使用者的图像，即使照明上的较小的改变亦可导致该识别算法分配不同的点至给定丛集，产生对应的身体部分该位置的明显动作，即使人使用者2事实上是稳稳站着不动。这种噪声可以由照明扰动或调变引进、由3D成像传感器的有限定义及身体部分该位置位于其上的该参考帧的该光域引进、由该3D成像传感器的敏感度引进，及/或由先前图像处理步骤引进。

为了在手1的测量位置中抑制这个及其他的噪声，但不抑制相同手1的缓慢却实际且稳定的动作，计算机系统4实行如在图2该流程图中所例示的稳定方法。

在第一步骤101中，计算机系统4接收在三个轴X、Y、Z轴中手1位置的按时间顺序连续的连串测量，如经由3D成像传感器3所获取并由上述识别算法解译，且对于该等轴X、Y、Z的每一个皆包含该手该位置的至少第一测量P_t-2、第二测量P_t-1及第三测量P_t。

在第二步骤102中，在所述计算机系统4中的处理器针对所述轴X、Y、Z的每一个计算在所述第一测量P_t-2和所述第二测量P_t-1之间的差异Δ_t-1，其根据该方程式：

Δ_t-1=||(P_t-1-P_t-2)||

在第三步骤103中，随后由处理器将此差异Δ_t-1与预定的阈值β进行比较。在此优选实施例中，对于轴X、Y、Z的每一个皆可个别设定此阈值β。若该差异Δ_t-1高于或等于该阈值β，则不滤波该第二测量。然而，若该差异Δ_t-1低于所述阈值β，则该处理器将在第四步骤104中计算第二测量P_t-1的校正值P’_t-1，以取代在计算机存储器中的所述第二测量P_t-1。计算此校正值P’_t-1是根据该方程式：

$P_{t-1}^{\&prime;}=P_{t-2}+{\mathrm{\&Delta;}}_{t-1}^{\&prime;}\left(\frac{P_{t-1}-P_{t-2}}{{\mathrm{\&Delta;}}_{t-1}}\right)$

其中Δ’_t-1是产生自施加滤波函数f(Δ)于具有滤波强度α_t-1的差异Δ_t-1的校正后的差异，该滤波函数f(Δ)是功率函数，其依循方程式：

$f\left(\mathrm{\&Delta;}\right)={\left(\frac{\mathrm{\&Delta;}}{\mathrm{\&beta;}}\right)}^{\mathrm{\&alpha;}}\&CenterDot;\mathrm{\&beta;}$

在下一个步骤105中，处理器随后将针对轴X、Y、Z的每一个计算在所述校正后的第二测量P’_t-1和所述第三测量P_t之间的差异Δ_t，其根据方程式：

Δ_t=||(P_t-P′_t-1)||

在步骤106中，随后由处理器将此差异Δ_t与对于每个对应轴而言皆相同的预定阈值β进行比较。若差异Δ_t高于或等于阈值β，则不滤波第一测量。若差异Δ_t低于阈值β，则处理器将在步骤107中计算第三测量P_t的校正值P’_t，以取代在计算机存储器中的所述第三测量P_t。计算此校正值P’_t是根据方程式：

$P_t^{\&prime;}=P_{t-1}^{\&prime;}+{\mathrm{\&Delta;}}_t^{\&prime;}\left(\frac{P_t-P_{t-1}^{\&prime;}}{{\mathrm{\&Delta;}}_t}\right)$

其中Δ’_t是产生自施加滤波函数f(Δ)于该差异Δ_t的校正后的差异。然而，在所述步骤107之前，在步骤108中处理器检查该先前测量(即该第二测量P_t-1)是否亦被校正(即是否实行步骤104)。在这种情况下，在滤波函数f(Δ)中的滤波强度α在计算Δ’_t及P’_t之前，将通过在步骤109中将其乘以衰减因子σ而降低，其中0<σ<1，因此α_t=σ．α_t-1。

虽然，当滤波强度的降低是所需时，σ<1，其亦可能在滤波强度上的增加并非所需的那些情况下另外设定σ等于1。

针对后续的测量，若对于每个先前测量的差异每次皆低于该阈值β，则滤波强度每次皆可再次乘以衰减因子σ，因此该校正的测量P’将朝向实际的测量P收敛。若在后续的测量中测量的差异等于或高于阈值β，则滤波强度α将在其初始值重新设定。

在图3中，所述滤波的差异Δ’_t-1及Δ’_t绘示为初期滤波强度α_t-1为4且衰减因子σ为1/2时测量的差异Δ的函数。曲线201对应于Δ’_t-1且曲线202对应于Δ’_t。可以看出，在这两种情况下没有高于阈值β的滤波。然而，低于所述阈值时，Δ’_t-1的滤波比Δ’_t的更强。

虽然在上述优选实施例中已单独为轴X、Y及Z的每一个计算、比较及滤波所述差异，但在替代实施例中，可以相同的方程式使用在连续测量之间向量距离的系数代替。

虽然在上述优选实施例中，数字传感器是3D成像传感器，且所测量的物理变量是在三维参考帧中手1的位置，但本发明的方法及装置可应用于各种其他种类的物理变量，例如经由其他种类的数字传感器所获取的位置、速度、加速度、温度、压力等。

可单独或结合适用于与计算机系统4通信的其他使用者介面使用本发明，例如：开关、键盘、滑鼠、轨迹球、平板、触控板、触控屏幕、六自由度(6-Degree of freedom，6-DOF)周边、摇杆、游戏控制器、动作追踪系统、眼睛追踪装置、数据手套、3D滑鼠、声音辨识、生物电传感器、神经介面、跑步机、静态自行车、划船机，或者适用于对计算机系统4提供输入的任何其他的传感器或介面。

在可经由本发明的装置及方法所提供的指令及输入之中，主要有：

·2D及/或3D导航，诸如视点旋转、平移、定位及/或取向，以及其他的视觉参数，诸如观点、范围、颜色、展示等。

·介面元件导航，包含例如在目录、清单、参数选择及/或输入领城内的导航。

·操控，包含例如虚拟使用者控制、应用物体参数的控制，诸如位置、取向、平移；系统参数的旋转、外观、形状及/或功能及/或控制。

·触发，诸如验证例如动作指令、参数改变指令及/或改变状态指令、动作指令及/或改变应用物体的状态、控制参数及/或其他的指令。

·选择例如介面元件、应用物体、实际环境物体等。

·动力输入，举例来说以物理模拟。

·输出参数调整，举例来说对于声音音量、应用物体的外观、应用物体的呈现。

计算机系统4可以转而连接至多种输出装置中的任一，诸如，举例来说：

·计算机输出装置，诸如2D或3D显示装置、扬声器、耳机、印刷机、触觉输出装置、通风器及/或背景照明。

·虚拟实境输出装置，诸如虚拟实境护目镜、可携式显示装置、多显示器装置(如

)、大型显示器装置(如Reality)、立体屏幕、动力回传装置、3D显示器装置、烟雾机及/或喷洒器。

·家庭自动化装置，诸如百叶窗关闭控制装置、加热控制装置及/或照明控制装置。

·家庭娱乐装置，诸如电视及/或音乐系统。

·可携式装置，诸如可携式音乐及/或视频播放器、定位系统、个人数字助理、可携式计算机及/或行动电话。

·可连接至计算机系统4的其他装置，诸如阀门、跑步机、机器人装置等。

虽然已参照特定示例性实施例说明本发明，但显然针对这些具体实施例，在不偏离权利要求中所阐述本发明的较广泛范畴前提下，可以做出各种修改例及变型。因此，说明及附图应视为例示而非限制。

Claims (14)

1.一种用于稳定通过数字传感器所获取的物理变量的一系列测量的方法，所述方法包含下列步骤：

-获取所述物理变量的至少第一测量、第二测量及第三测量；以及

-存储所述物理变量的每个测量于数字存储器中；

其特征在于所述方法还包含下列步骤：

-比较所述第一测量及所述第二测量；

-若所述第一测量和所述第二测量之间的差异低于预定阈值，则以校正后的第二测量取代所述第二测量，所述校正后的第二测量具有根据第一滤波强度的相对于所述第一测量缩小的差异；

-比较所述校正后的第二测量及所述第三测量；以及

-若所述校正后的第二测量的滤波的值和所述第三测量之间的差异亦低于所述阈值，则以校正后的第三测量取代所述第三测量，所述校正后的第三测量具有根据第二滤波强度的相对于所述校正后的第二测量缩小的差异。

2.如权利要求1所述的方法，其中：

$P_{t-1}^{\&prime;}=P_{t-2}+{\mathrm{\&Delta;}}_{t-1}^{\&prime;}\left(\frac{P_{t-1}-P_{t-2}}{{\mathrm{\&Delta;}}_{t-1}}\right)$

其中P_t-2是所述第一测量，P_t-1是所述第二测量。P'_t-1是所述第二测量的滤波的值，Δ_t-1是所述第一测量和第二测量之间的差异，且Δ'_t-1是以所述第一滤波强度施加滤波函数f(Δ)于所述差异Δ_t-1的结果；以及

$P_t^{\&prime;}=P_{t-1}^{\&prime;}+{\mathrm{\&Delta;}}_t^{\&prime;}\left(\frac{P_t-P_{t-1}^{\&prime;}}{{\mathrm{\&Delta;}}_t}\right)$

其中P_t是所述第三测量，P'_t-1是所述第三测量的滤波的值，Δ_t是所述第二测量和第三测量之间的差异，且Δ'_t是以所述第二滤波强度施加所述滤波函数f(Δ)于差异Δ_t-1的结果。

3.如权利要求2所述的方法，其中所述滤波函数f(Δ)是功率函数，其依循方程式：

$f\left(\mathrm{\&Delta;}\right)={\left(\frac{\mathrm{\&Delta;}}{\mathrm{\&beta;}}\right)}^{\mathrm{\&alpha;}}\&CenterDot;\mathrm{\&beta;}$

其中α是所述滤波强度且β是阈值。

4.如前述权利要求中任一项所述的方法，其中所述第一、第二及第三测量在时间上是连续的。

5.如前述权利要求中任一项所述的方法，其中所述数字传感器包含成像传感器。

6.如权利要求5所述的方法，其中所述成像传感器包含三维(3D)成像传感器(3)。

7.如前述权利要求中任一项所述的方法，其中所述物理变量是物理位置。

8.如权利要求6所述的方法，其中所述位置是在三维空间中的位置。

9.如权利要求7或8所述的方法，其中获取所述物理位置的每个测量包含识别在图像中的给定物体并在参考帧中测量其位置。

10.一种方法，其经由通过数字传感器所获取物理变量的一系列测量输入数据及/或指令于计算机系统(4)并使用如前述权利要求中任一项所述的方法进行稳定。

11.如权利要求10所述的方法，其中所述数据及/或指令涉及通过所述计算机系统(4)所执行的计算机游戏。

12.如权利要求10或11所述的方法，其中所述物理变量是使用者身体部分的物理位置。

13.一种计算机系统(4)，包含：

-输入端，其可连接至数字传感器；

-数字存储器，其包含用以执行用于稳定经由根据权利要求1至9项中任一项所述的数字传感器所获取物理变量的一系列测量的方法的指示；以及

-数字数据处理器，其连接至所述数字存储器及所述输入端，以执行所述指示。

14.一种计算机可读取的数据存储介质，其存储用于执行根据权利要求1至9项中任一项所述的方法的可执行程式码。

Images