CN115461695A - 用于使用户和用户设备相关的方法和装置 - Google Patents

用于使用户和用户设备相关的方法和装置 Download PDF

Info

Publication number
CN115461695A
CN115461695A CN202080099859.6A CN202080099859A CN115461695A CN 115461695 A CN115461695 A CN 115461695A CN 202080099859 A CN202080099859 A CN 202080099859A CN 115461695 A CN115461695 A CN 115461695A
Authority
CN
China
Prior art keywords
user
waveform
motion data
correlation
user device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080099859.6A
Other languages
English (en)
Inventor
冷晓冰
沈钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Shanghai Bell Co Ltd
Nokia Solutions and Networks Oy
Original Assignee
Nokia Shanghai Bell Co Ltd
Nokia Solutions and Networks Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Shanghai Bell Co Ltd, Nokia Solutions and Networks Oy filed Critical Nokia Shanghai Bell Co Ltd
Publication of CN115461695A publication Critical patent/CN115461695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

提供了用于在用户和用户设备之间的相关性的方法和装置。一种方法，包括：获取在一时间段内针对用户的运动而连续测量的第一运动数据；获取在该时间段内针对用户设备的运动而连续测量的第二运动数据；执行在从第一运动数据导出的第一波形与从第二运动数据导出的第二波形之间的相关匹配；基于在所述第一波形与所述第二波形之间的相关匹配，确定是否存在在用户与用户设备之间的相关性。

Description

用于使用户和用户设备相关的方法和装置
技术领域
本公开的实施例大致涉及用户监视和用户装置监视，并且具体涉及用于使用户和用户设备相关的方法、装置和计算机可读存储介质。
背景技术
随着大量的用户活动，反映用户活动的数据可以被收集，例如通信网络运营商，获得这些数据针对商业价值货币化是有吸引力的。例如，运营商可以通过指示用户运动的数据来分析用户的商业行为和偏好，尝试在商场中获得用户运动数据的货币化。
可以使用一个应用示例来说明数据货币化所涉及的问题。假设在一个购物中心，一个女人正在购物。当她站在橱窗前长时间(例如3秒)浏览橱窗中的商品时，这可能意味着她对橱窗中的商品感兴趣。她的活动可以被相机捕获。商店可以通过图像识别来获取她的外表特征，例如：脸，衣服颜色等。但是商店不知道她是谁。商店不能向她推送任何商业信息，例如与该橱窗中的该商品相关的广告。
在她的外表特征和她的UE之间建立相关性是有益的。那么，很多商业应用都可以通过她的UE来完成。
发明内容
本公开将通过准确且快速地使用户和用户设备相关来解决上述问题。当结合附图阅读时，从以下具体实施例的描述时，也将理解本公开实施例的其他特征和优点，附图以示例的方式示出了本公开实施例的原理。
根据本公开的第一方面，提供了一种用于在用户和用户设备之间的相关性的方法。所述方法包括获取在一时间段内针对用户的运动而连续测量的第一运动数据；获取在所述时间段内针对用户设备的运动而连续测量的第二运动数据；执行在从所述第一运动数据导出的第一波形与从所述第二运动数据导出的第二波形之间的相关匹配；以及基于所述第一波形与所述第二波形之间的相关匹配来确定是否存在在所述用户与所述用户设备之间的相关性。
在一些实施例中，执行相关匹配可以包括确定与在所述第一运动数据与所述第二运动数据之间的差异相对应的差异波形；以及将所述差异波形的波形特征与阈值进行比较，以确定是否存在在所述第一波形与所述第二波形之间的相关匹配。
在一些实施例中，执行相关匹配可以包括将所述第一波形和所述第二波形从时域变换到频域；并在所述频域中执行所述相关匹配。
在一些实施例中，可以基于以下波形特征中的至少一个来执行所述相关匹配：振幅，频率，周期，和相位。
在一些实施例中，所述方法还可以包括确定所述第一波形在频域中的波形特征；确定所述第二波形在频域中的对应波形特征。执行相关匹配可以包括执行在所述第一波形在频域中的波形特性与所述第二波形在频域中的对应波形特性之间的匹配。在一些实施例中，执行波形特征之间的匹配可以包括：确定在所述第一波形在频域中的波形特征与上述第二波形在频域中的波形特征之间的差异；以及将波形特性之间的差异与阈值进行比较。在频域中的波形特征可以包括以下中的至少一个：振幅，频率，周期，和相位。
在一些实施例中，所述方法可以还包括：将所述第一运动数据和所述第二运动数据中的至少一个变换为共同坐标系中的运动数据。
在一些实施例中，所述第一运动数据和所述第二运动数据可以包括指示以下至少一个维度的运动的数据：线速度，角速度，以及由从所述至线速度和所述角速度中的少一个导出的变量定义的维度。
在一些实施例中，获取所述第一运动数据可以包括：分析在所述时间段内捕获的图像流，以确定用户的所述第一运动数据。
在一些实施例中，获取所述第二运动数据可以包括：接收所述用户设备内部的运动传感器的连续测量报告，以确定所述用户设备的所述第二运动数据。
在一些实施例中，所述方法可以进一步包括确定用户设备集合；对于所述集合中的每个特定用户设备，确定在匹配窗口中在所述用户和所述特定用户设备之间的相关性；以及从所述集合中排除被确定为没有与所述用户的相关性的用户设备。确定在所述用户和所述特定用户设备之间的相关性可以包括：获取在所述匹配窗口的时间段内针对所述特定用户设备的运动而连续测量的运动数据，执行在所述第一波形与从所述特定用户设备的运动数据得出的波形之间的相关匹配，以及基于在所述第一波形与从所述特定用户设备的运动数据导出的波形之间的相关匹配，确定是否存在在所述用户与所述特定用户设备之间的相关性。所述方法还可以包括：在所述集合中有多于一个的用户设备的情况下，继续进行对下一个匹配窗口中在所述用户和所述集合的每个特定用户设备之间的相关性的确定和所述排除。
在一些实施例中，所述方法可以进一步包括：确定用户集合；对于所述集合中的每个特定用户，确定在匹配窗口中在所述用户与所述特定用户设备之间的相关性；以及从所述集合中排除被确定为没有与所述用户设备的相关性的用户。确定在所述特定用户与所述用户设备之间的相关性可以包括：获取在匹配窗口的时间段内针对所述特定用户的运动而连续测量的运动数据，执行在从所述特定用户的运动数据导出的波形与所述第二波形之间的相关匹配，以及基于在从所述特定用户的运动数据导出的波形与所述第二波形之间的相关匹配，确定是否存在在所述特定用户与所述用户设备之间的相关性。在一些实施例中，所述方法还可以包括：在上述集合中存在多于一个用户的情况下，继续进行对在下一个匹配窗口中所述用户设备与所述集合中的每个特定用户之间的相关性的确定和所述排除。
在一些实施例中，所述方法还可以包括：获取在多个时间点测量的所述第一运动数据中的瞬时运动数据，以及在相同时间点测量的所述第二运动数据中的瞬时数据；执行在所述第一运动数据中的瞬时运动数据和所述第二运动数据中的对应瞬时数据之间的匹配；以及基于第一运动数据中的瞬时运动数据和第二运动数据中的对应瞬时数据之间的匹配，确定在所述用户与所述用户设备之间的相关性。在一些实施例中，所述方法还可以包括：确定在所述第一运动数据中的瞬时运动数据与所述第二运动数据中的瞬时运动数据之间的差异；以及将所述瞬时运动数据之间的差异与阈值进行比较。
在一些实施例中，所述方法还可以包括：识别所述用户或所述用户设备的活动以用于触发所述相关匹配。
在一些实施例中，所述方法还可以包括：提取用户的至少一个外表特征。所述方法还可以包括：根据在用户与用户设备之间的相关性，将所述用户的至少一个外表特征与所述用户设备相关。
在一些实施例中，所述方法还可以包括：根据在用户与所述用户设备之间的相关性，向所述用户设备推送与所述用户相关联的服务。
在一些实施例中，所述方法可以进一步包括根据在所述用户与所述用户设备之间的相关性，向所述用户提供与所述用户设备相关联的服务。
根据本公开内容的第二方面，一种装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码被配置为，与所述至少一个处理器一起，使得所述装置至少：获取在一时间段内针对用户的运动而连续测量的第一运动数据；获取在所述时间段内针对用户设备的运动而连续测量的第二运动数据；以及执行在从所述第一运动数据导出的第一波形与从所述第二运动数据导出的第二波形之间的相关匹配；基于在所述第一波形与所述第二波形之间的相关匹配，确定是否存在在所述用户与所述用户设备之间的相关性。
根据本公开的第三方面，一种装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序被配置为与所述至少一个处理器一起使得执行根据第一方面的方法。
根据本公开的第四方面，提供了一种其上存储有指令的计算机可读存储介质，当由至少一个处理器执行时，所述指令使得所述至少一个处理器执行根据第一方面的方法。
附图说明
现在将通过参考附图描述一些示例实施例，其中：
图1示出了根据本公开的实施例的用于实现相关机制的系统的示例性架构；
图2是描绘根据本公开的实施例的用于将用户与用户设备相关的过程的流程图；
图3示出了根据本公开的实施例的将用户与用户设备相关的示例性场景；
图4示出了通过使用波形匹配来建立相关性的示例性过程；
图5示出了通过用户设备测量的角速度和加速度的示例性波形；
图6示出了通过使用多个瞬时匹配来建立相关性的示例性过程；
图7是示出根据本公开的实施例的用于将用户与用户设备相关的系统的各种功能模块的框图；
图8示出了根据本公开的实施例的用于波形相关匹配的示例性模型；
图9示出了根据本公开的实施例的瞬时相关匹配示例性模型；
图10示出了根据本公开的实施例的用于将用户与用户设备相关的过程的流程图；以及
图11示出了根据本公开的实施的装置的简化框图。
具体实施方式
参考附图详细描述本公开的实施例。应当理解，讨论这些实施例仅仅是为了使本领域技术人员能够更好地理解并因此实施本公开，而不是对本公开的范围提出任何限制。在整个说明书中对特征、优势或类似语言的提及并不意味着本公开中可以实现所有特征和优势必须是或处于任何单个实施例中。相反，涉及特征和优势的语言被理解为意指结合实施例描述的特定特征、优势或特性被包括在本公开的至少一个实施例中。
此外，本公开的所述特征、优势和特征可以以任何合适的方式结合自在一个或多个实施例中，相关领域的技术人员将认识到，本公开可以在没有特定实施例的一个或多个具体特征或优势的情况下进行实施。在其他情况下，在某些实施例中可以认识到其他特征和优势，这些其他特征和优势可能不存在于本公开的所有实施例中。
如本文所述，术语“数据”、“信息”和类似的术语可以互换使用，来表示根据本发明的实施例能够被发送、接收、存储和/或处理的数据。因此，不应使用任何此类术语来限制本发明的实施例的精神和范围。
本公开将试图通过准确且快速地将用户与用户设备相关来解决上述问题。大多数现有解决方案使用位置和轨迹(一系列位置)来建立在用户与UE之间的相关性。UE的位置是通过基于无线电的定位解决方案测量的。由于基于无线电的定位解决方案不准确，因此基于小动作建立相关性并不容易。例如，如果用户只在同一位置转身，现有的解决方案无法确定相关性。
根据本公开的实施例，指示用户和用户设备(UE)的运动状态的运动数据被用于建立在用户与UE之间的相关性。例如，可以用以下至少一种来表示运动状态：线速度、角速度、线速度和角速度的波形，以及线速度和角速度的波形在频域中的一些波形特征，例如振幅、频率、周期和相位。图1示了根据本公开的实施例的用于实现相关机制的系统100的示例性架构。系统100可以使用一个或多个相机104来识别一个或多个用户或个人对象(例如，图1中的用户1102-1、用户2102-2、用户3102-3，统称为102)，并监视用户的活动和运动状态。例如，这些相机可能安装在商场中。这些相机104连接到视频网络110。由相机104捕获的数据(例如，图像或视频)可以上传到视频网络110，并存储在视频网络110中的存储设备(未示出)中。
用户随身携带UE。UE可以是能够进行无线通信和运动测量的任何组件(或组件的集合)。例如，UE可以是智能手机、智能手表或可穿戴设备等，或者它们的任意组合。每个UE(例如图1中的UE1 103-1、UE2 103-2、UE3 103-3，统称为103)的运动状态可以通过各自UE内的运动传感器(例如集成IMU传感器)测量。可以通过移动网络120，例如蜂窝网络或WiFi网络，将测量数据报告给系统100。
数据处理设备101可以可通信地连接到视频网络110，并且可以从视频网络110取回指示用户的运动状态的数据。数据处理设备101可以可通信地连接到移动网络110，并且从移动网络120取回指示UE的运动状态的测量数据。基于用户102的运动状态和UE 103的运动状态，数据处理设备101可以通过波形匹配和多个瞬时匹配来确定在用户与UE之间的相关性。
如图1所示，数据处理设备101可以是独立于视频网络110和移动网络120的装置。在其他实施例中，数据处理设备101可以是移动网络120中的独立组件或被包括为任何网络组件的一部分，例如，数据处理设备101可以是应用服务器。
图2是描绘根据本公开的实施例的用于将用户与用户设备相关的过程200的流程图。如上所述的数据处理设备101可以实现这个过程。在框210，该过程包括获取在一时间段内针对用户的运动而连续测量的第一运动数据。在这方面，数据处理装置101可以分析在该时间段内捕获的图像流，以确定用户的运动状态。
在一个实施例中，可以通过基于相机的识别机制来捕获和提取用户的用户外表特征。例如，用户外表特征可以包括面部、服装颜色、发型等。一些用户外表特征是粗略的用户外表特征，例如服装颜色。一些用户外表特征是精细的用户外表特征，例如面部。粗略的用户外表特征可以用于定义用户范围。精细的用户外表特征可以用于唯一地识别用户。在一个实施例中，一个用户的用户外被特征可以是用户外表特征的向量，并且可以作为用户标识符。
在一个实施例中，来自不同方向的多个相机的连续和同步图像可以被用于确定指示用户运动状态的用户运动数据。可以基于提取的用户外表特征从这些图像中识别用户。例如，从连续和同步的图像中，数据处理设备101可以在包括x、y、z轴的线速度和围绕x、y、z轴的角速度的维度中的至少一个维度上计算用户的运动状态。一般来说，一台相机可以每秒拍摄30个或更多的图像帧。这些连续和同步的图像可以捕获到用户的微小运动。在一个实施例中，通过使用几何计算和运动学公式，可以很容易地基于这些图像获得指示用户运动状态的运动数据。例如，视觉运动状态测量已经是一项成熟的技术，例如视觉里程计可以用于机器人运动控制。
在框220，该过程包括获取在该时间段内针对用户设备的运动而连续测量的第二运动数据。对此，数据处理装置101可以接收用户设备内部的运动传感器的连续测量报告，以确定用户设备的运动状态。
UE可以是智能电话。目前，几乎所有智能手机都集成了运动传感器，例如IMU(惯性测量单元)传感器。IMU传感器结合了三轴陀螺仪、三轴加速度计和三轴磁力计。它可以测量沿其轴的加速度、绕其轴的角速度以及沿其轴的磁场。在一个实施例中，UE可以接收来自移动网络120的请求，然后通过经由无线通信(例如，蜂窝和Wi-Fi通信)报告IMU消息(例如图1中所示的IMU报告)来响应网络请求。IMU消息可以包括IMU测量结果。IMU测量结果可以直接用于计算UE的线速度和角速度，继而从中推导出速度波形。可以相应地提取速度波形的频域波形特征，例如振幅、频率、周期和相位。在另一个实施例中，UE可以根据应用设置来周期性地向移动网络120发送其IMU测量报告。
在框230，该过程继续执行在从该第一运动数据导出的第一波形与从该第二运动数据导出的第二波形之间的相关匹配。波形被定义为一些运动数据变量(例如线速度、角速度、加速度或从运动数据导出的其他变量)的连续输出。由于第一运动数据和第二运动数据是在相同时间段内连续测量的，因此可以从第一运动数据和第二运动数据中导出一个或多个波形。线速度可以定义目标的平移速度和平移方向。角速度可以定义目标的滚动、俯仰和偏航旋转。例如，用户或UE线速度的波形可以表示用户或UE随时间推移的平移运动状态。类似地，用户或UE的角速度波形可以表示用户或UE随时间的滚动、俯仰和偏航的旋转状态。可以从这些波形中导出一些关键特征，例如周期、振幅、频率、相位等，以识别用户和UE的运动特征。可以基于这些波形特征中的一个或多个来执行在第一波形与第二波形之间的相关匹配。
在框240，过程继续以基于该第一波形与该第二波形之间的相关匹配来确定在该用户与该用户设备之间是否存在相关性。在用户和UE之间的相关性可以基于两个事实来建立：
(1)对于携带UE的用户，UE总是具有与用户相同(或几乎相同)的运动状态(例如沿x、y、z轴的线速度，绕x、y、z轴的角速度，速度波形，以及速度变化的频率、振幅和相位等)，用户由用户的外表特征识别。这意味着它们始终具有相同(或几乎相同)的平移速度，平移方向，滚动、俯仰和偏航的旋转角，速度波形，以及速度变化的频率、振幅和相位。
(2)不同的用户不可能总是保持相同的运动状态。这意味着随着时间的推移，它们总是具有不同的平移速度，平移方向，滚动、俯仰和偏航的旋转角，速度波形，以及速度变化的频率、振幅和相位。
相应地，如果第一波形和第二波形彼此匹配良好，则可以确定用户与用户设备之间存在相关性。否则，例如，如果第一波形和第二波形不匹配，则可以确定用户与用户设备之间不存在相关性。
图3图示了根据本公开的实施例的用于将用户与用户设备相关的示例性场景。相机304可以捕获用户302在逐帧图像上的移动，并计算用户302的线速度(例如，用VxU、VyU、VzU表示)和角速度(例如，用ωxU、ωyU、ωzU表示)。
如在310所示，数据处理设备301可以从相机304获取用户302的线速度和角速度的测量结果。如在330所示，可以过滤线速度和角速度的原始测量结果，例如以便消除异常值。在一个实施例中，用户302的线速度和角速度可以被变换到共同坐标系，如在350所示。例如，可以基于相机的位置信息，将它们可以从身体坐标变换为地球坐标。
如在320所示，可以请求UE 303向数据处理设备301报告其IMU测量结果。根据IMU报告，可以例如通过运动计算，来获得UE 303的线速度(VxUE，VyUE，VzUE)和角速度(ωxUE，ωyUE，ωzUE)。如在340所示，UE 303的线速度和角速度的原始测量结果可以被过滤，例如以消除异常值。在一个实施例中，在过滤之后，可以将UE 303的线速度和角速度变换到共同坐标系，如在360所示。例如，它们可以从UE坐标变换到地球坐标。在一个示例中，相机方向和IMU磁力计可以分别用于用户和UE的运动状态的坐标系变换，以使它们变换到相同的地球坐标系。
用户302的运动状态和UE 303的运动状态的上述测量是连续执行的并且是同步的。当UE的运动状态和用户的运动状态被变换到相同的坐标系时，可以将它们进行比较以用于相关匹配过程，如在370所示。
一种相关匹配方案是比较线速度和角速度的波形。这种方案适用于用户的运动状态可以被连续监视，并且不会隐藏在障碍物后面的情况。另一种匹配方案是比较瞬时线速度和角速度。在一个实施例中，需要执行多个匹配，例如当多个UE同时具有与目标用户相同的运动状态时，尤其是当目标UC是静止时。在一个示例中，可以使用针对Vx、Vy、Vz、ωx、ωy、ωz的六个阈值来确定用户和UE是否具有相同的运动状态。例如，只有当所有速度都满足它们的阈值要求并且仅确定了一个UE时，才建立相关性。
图4示出了用于通过使用波形匹配来建立相关性的示例性相关匹配过程。在一个示例中，相关匹配过程可以由用户的活动触发，例如一位女士(在图4中表示为用户402)站在橱窗前并且已经浏览了橱窗超过3秒。如图4所示，可以由一个或多个相机为用户402捕获图像流。从图像流中，视觉识别系统可以提取用户402的特征，并且用用户外表特征向量来标识用户402。然后，视觉运动监视器可以跟踪目标用户402以测量目标用户的速度。在一个实施例中，视觉识别系统和视觉运动监视器可以布置在视频网络中，例如如图1所示的视频网络110。在另一个实施例中，视觉识别系统和视觉运动监视器可以布置在与视频网络分离的设备中，例如集成到如图1和图3所示的数据处理设备101、301中。
同时，例如图1和图3所示的在数据处理设备101、301中的用于相关匹配的相关器，可以请求用户402附近的至少一个UE报告它们的IMU信息。例如，所述至少一个UE包括UE403-1、403-2、403-3、403-4和403-5(统称为403)，它们由用户402附近的基站或WiFi接入店服务。这些相邻的UE可以由组成潜在的相关UE集合。一旦相关器获得用户402和潜在相关UE403两者的运动状态数据，它就可以进行相关性确定。
对于波形匹配，需要在一时间段内连续测量用户和UE两者的线速度和角速度。例如，在该时间段内每个用户都需要是可见的，以用于连续的运动监视。并且每个UE的IMU需要报告一系列测量结果。
图5示出了从携带在人的口袋中的移动电话的一系列测试的IMU测量结果中收集的角速度和加速度的示例性波形。采样频率为128Hz。如图5给出了当人带着移动电话走了几步时测得的角速度和加速度波形。
波形指示了人行走时IMU/移动电话的运动特征。例如，角速度指示电话滚动、俯仰和偏航。波形与人身体的运动特征相关联。波形指示行走中任何微小的姿势变化。不同的人在行走时有不同的波形，具有特殊的特征。通过这些差异，可以通过比较他们的线速度和角速度的运动波形来区分人。如果只有一个UE具有与用户波形相同的速度波形，则建立相关性。
注意，在现实世界中，在行走期间，这些速度和加速度可能会发生剧烈变化。应该仔细设计波形比较。在一个实施例中，可以使用速度差异波形积分来确定匹配过程。返回到图4，其给出通过比较用户402和UE 403在x轴(即Vx)和y轴(即Vy)的线速度以及绕z轴(即ωz)的角速度的波形进行的相关性确定过程，这里为了简化描述只考虑水平运动。还假设这些速度Vx、Vy和ωz已经被变换到地球坐标系，例如通过四元数计算。
可以采用滑动匹配窗口来进行相关性确定。例如，滑动匹配窗口可以是2秒。首先，可以导出每个UE相对于用户402的不同波形，例如通过用户的速度减去对应UE的速度。例如，ΔVx＝VxU-VxUE，ΔVy＝VyU-VyUE，Δωz＝VωzU-VωzUE。然后，为每个UE导出ΔVx的差异波形411至415、ΔVy的差异波形421至425和Δωz的差异波形431至435，如图4所示。
如果UE的一个差异波形波动很大，例如，如果差异波形ΔVx在滑动匹配窗口上的积分(记作∫|ΔVx|)大于波动阈值，则可以将该UE从潜在相关UE集合中排除。例如，在图4的示例中，在当前滑动匹配窗口中，检测到UE 3的ΔVx波形413和ΔVy波形423波动很大，因此将UE3排除在潜在相关UE集合之外。同时，UE 5的Δωz波形435也波动很大，也被排除在外。因此，可以确定潜在相关UE的集合，记为{UE1，UE2，UE4}。
在下一个2秒的滑动匹配窗口中，相关器可以继续执行在用户402的波形与UE1403-1、UE2 403-2和UE4 403-4的波形之间的相关匹配。在这个滑动匹配窗口中，相关器会发现UE4的ΔVx波形414和ΔVy波形424波动很大，如图4所示。于是，可以将UE4从潜在相关UE集合中排除。
然后在第三个2秒内，相关器可以将UE1从潜在相关UE集合中排除，因为它在ΔVx波形411和ΔVy波形421中具有很大的波形波动。最后在潜在相关UE集合中只剩下一个UE(即UE2)。因此，可以在用户与UE之间建立一对一的相关性。
请注意，用户和UE的波形不限于线速度和角速度的波形，而是可以是与用户和UE的运动状态相对应的任何一种波形。例如，上述波形可以包括加速度波形，或从线速度和角速度中的至少一个导出的任何变量的波形。
在一个实施例中，上述波形，例如线速度、角速度和加速度的波形，可以是与每个人行走步伐对应的周期性曲线。所以，这些波形可以从时域变换到频域，例如通过快速傅里叶变换(FFT)。在频域中，人的行走姿态在频率、振幅和相位上的特征，并从波形中获得，例如基于包括幅值、频率、周期和相位等的波形特征。基于该波形特征的信息，可以区分不同的人或不同的UE。例如，可以根据用户的波形确定人的行走频率，然后潜在相关UE的波形频率可以与用户的频率进行比较，以执行相关匹配操作。在另一个示例中，一个人的滚动相位可能总是与其俯仰相位不同。这个相位差异可以用来指示特定的人。因此，可以基于该相位差异进行相关匹配。可以理解，通过分析波形和对用户和UE的波形进行比较，可以利用很多反映运动状态特征的波形特征来准确确定在用户与UE之间的相关性。
在一些实施例中，存在另一种相关匹配方案，其中瞬时运动数据被用于相关匹配。图6示出了用于通过使用多个瞬时匹配来建立相关性的示例性过程。瞬时相关匹配是要同步测量用户和UE的速度。如图6所示，它经常需要在不同的时间点进行多次匹配。为了简化描述，这里我们只考虑水平运动，并且比较用户和UE在x轴和y轴的线速度，以及围绕z轴(偏航)的角速度。还假设这些速度Vx、Vy和ωz已通过四元数计算变换到地球坐标系。
然后，视觉运动监视器将跟踪目标用户602以通过相机604测量用户602的速度。同时，几个相邻的UE 603-1、603-2、603-3、603-4、603-5(组成潜在相关UE 603集合)报告它们的IMU速度信息。一旦相关器获得用户602和UE 603的运动状态信息，它就可以通过将用户602的瞬时速度与每个潜在UE的瞬时速度进行比较来进行相关性确定。在一个实施例中，例如，Vx、Vy和ωz的阈值可以被分别设置为VTx、VTy和ωTz。然后，可以计算用户602与潜在UE的瞬时速度之间的差异，并将该差异与对应的阈值进行比较。如果该差异超过该阈值，则可以从潜在相关UE集合中排除该潜在UE。
例如，如图6所示。在时间1，假设目标用户602是静止的，他/她的VxU＝0，VyU＝0，并且ωzU＝0。相邻的UE3正在进行平移运动，它的Vx和Vy分别比用户的Vx和Vy大得超过阈值VTx和VTy。于是，可以确定UE3 603-3与目标用户602不相关。在时间1，UE5没有做平移运动，它停留在相同的位置，但它正在以ωz的角速度进行旋转运动。UE5的ωz比用户的角速度大得超过阈值ωTz。于是，可以确定UE5 603-5也与目标用户602不相关。其他三个UE，如图6所示的UE1、UE2和UE4，与目标用户602一样静止，在时间1的相关过程之后，它们可以被确定为潜在相关UE。由于此时尚未建立在用户与UE之间的一一对应关系，因此需要继续进行相关处理以进行进一步确定。
接下来，在时间2，例如5秒后，在潜在相关UE集合中只仅剩下3个UE可以被请求上报各自的IMU信息。假设所有三个UE都在移动。UE1和UE2具有相同的运动状态。UE4进行平移运动，并且具有与用户602相同的平移速度，但是UE4具有不同的方向。UE4的Vx和Vy分别比用户602的大得超过阈值VTx和VTy。因此，可以从潜在相关UE集合中排除UE4 603-4。现在，在潜在相关UE的集合中只剩下两个UE应该被区分。
接下来在时间3，例如又过了5秒，UE1的IMU报告显示它进行了平移运动，并且具有与用户602具有相同的角速度。但是它的平移线速度比用户小得超过阈值VTx和VTy。因此可以从潜在相关UE的集合中排除UE1 603-1。现在，只有UE2 603-2被保留在潜在相关UE的集合中，因此在用户与UE之间建立一对一的相关性。
上述相关过程是以用户为中心的相关，即为目标用户寻找相关的UE。本公开的实施例还可以支持UE为中心的相关，即为目标UE寻找相关用户。例如，当一个用户在餐厅里自己在他的UE上点餐时，相关器可以通过类似的相关过程，从一个或多个潜在的相关用户中找出一个相关用户。然后，可以将相关用户的外表特征通知给服务员。这可以使服务员很容易找到订单的主人。在这种情况下，只有一个UE报告IMU测量结果。视觉运动监视器可以跟踪多个相邻的用户，并测量他们的运动状态。以UE为中心的相关性过程类似于图4和图6所示的以用户为中心的相关性过程。
本公开内容中公开的相关性机制可以用于支持商业应用。例如，以用户为中心的相关性可以用于这样的场景，其中，根据用户活动(例如在橱窗前站立超过3秒)触发以用户为中心的相关，以提取用户的外表特征，然后建立用户的相关UE，并向UE推送一些商业信息。以UE为中心的相关可以用于这样的场景，其中，根据UE上的设置或操作(例如UE在餐厅点餐的操作)触发以UE为中心的相关，以找出UE主人的外表特征，然后将所有者的外表特征通知服务员。用户为中心的相关是要为目标用户从一组UE中找出一个UE，而以UE为中心的相关是为目标UE从一组用户中找出一个用户。这两种场景都有相似的相关过程。这里只对以用户为中心的相关进行详细描述。然而，可以理解的是，这些结构、操作流程和机制很容易扩展到以UE为中心的相关的场景中。
现在参照图7，其示出了根据本公开实施例的用于将用户与用户设备相关的系统700的各个功能模块。可以设想，这些模块的功能可以组合在一个或多个模块中，或者由具有等效功能的其他模块来执行。系统700可以在数据处理设备中实现，例如图1和图3所示的数据处理设备101、301。其可以耦合到视频网络和移动网络。系统700可以包括与视频网络通信的通信接口(未示出)，以便获取关于一个或多个个人用户的运动状态的数据，例如由一个或多个相机捕获的图像流。系统700还可以包括与移动网络进行通信的通信接口(未示出)，以获取关于一个或多个UE的运动状态的数据，例如IMU报告。
系统700可以包括用户运动确定模块701、UE运动确定模块702、波形匹配模块703、瞬时匹配模块704、和相关性数据库705。用户运动确定模块701被设置用于确定在一时间段内针对用户的运动而连续测量的运动数据。例如，用户运动确定模块701可以分析图像流以计算用户的线速度和角速度。在一个实施例中，系统700可以进一步包括用于过滤计算的速度的过滤器。在一个实施例中，系统700还可以包括用于获得采用地球坐标系的运动数据的坐标变换器。
UE运动确定模块702被设置用于确定在该时间段内针对UE的运动而连续测量的运动数据。例如，UE运动确定模块702可以从UE接收IMU报告以计算UE的线速度和角速度。在一个实施例中，计算的速度也可以通过一些滤波器进行滤波，并被变换以获得采用地球坐标系的运动数据。
波形匹配模块703被设置用于执行在从用户的运动数据导出的波形与从UE的运动数据导出的波形之间的相关匹配。在一个实施例中，它可以使用滑动窗口来执行波形相关匹配。图8示出了用于波形相关匹配的示例性模型800。模型800比较用户与UE之间的波形。用户波形减去用户波形，得到差异波形。然后，可以针对滑动匹配窗口对每个差异波形进行积分计算，如图8所示，可以将每个差异波形的波形积分结果与预定义的阈值进行比较。波形匹配模块703可以例如根据预定义的相关性条件，基于该比较来确定用户与UE之间是否存在相关性。在一个实施例中，相关性条件可以设置为：如果所有波形积分结果均小于有关阈值，即810的“&”操作为真，则可以确定UE为用户的潜在相关UE，或者该用户可以被确定为UE的潜在相关联用户。可以进行连续的波形匹配，直到只有一个UE或一个用户满足相关条件。更具体地，用户运动确定模块701和UE运动确定模块702被配置为分别进一步获取在下一个滑动匹配窗口中的用户波形和UE波形。由此，可以得到用于该下一个滑动匹配窗口的差异波形，并且可以对该下一个滑动匹配窗口的每个差异波形进行计算。
瞬时匹配模块704用于执行在用户瞬时运动数据与UE瞬时运动数据之间的相关匹配。图9示出了用于瞬时相关匹配的示例性模型900。模型900比较用户与UE之间的瞬时运动状态。用户的瞬时速度减去UE的瞬时速度，得到瞬时速度差异。每个速度的差异可以与预定义的相关阈值进行比较。瞬时匹配模块704可以例如根据预定义的相关性条件，基于该比较来确定用户与UE之间是否存在相关性。在一个实施例中，相关性条件可以设置为，如果所有速度都匹配，即ΔVx、ΔVy、ΔVz、Δωx、Δωy和Δωz都小于有关阈值，即“&”操作910为真，则可以确定该UE为该用户的潜在相关UE，或者可以确定该用户确定为该UE的潜在相关用户。可以进行针对多个时间点的匹配，以排除那些运动状态不相似的UE，直到只剩下一个UE或一个满足相关条件的用户。
在一些实施例中，模型900可以被配置为通过比较频域中的波形特征(例如振幅、频率和/或相位)来进行相关匹配。更具体地说，可以从线速度和角速度的每个波形中提取波形的振幅、频率和相位参数。因此，可以从Vx、Vy、Vz、ωx、ωy、ωz的波形中导出18个频域参数进行相关匹配。例如，可以在用户运动确定模块701中导出滑动窗口中用户Vx波形的振幅、频率和相位。可以在UE运动确定模块702中导出在相同滑动窗口中UE的Vx波形的振幅、频率和相位。然后，UE的Vx波形的幅值、频率和相位以及UE的Vx波形的振幅、频率和相位可以被输入到模块900中，并分别进行相互比较。在一个示例中，可以分别计算在用户Vx波形的振幅、频率和相位与UE的Vx波形的振幅、频率和相位之间的差异。然后可以将该差异与对应的阈值进行比较，以确定用户的Vx波形是否与UE的Vx波形匹配。对于Vy、Vz、ωx、ωy、ωz的波形，可以进行类似的操作以用于相关匹配。可以进行基于频域中的波形特征的连续波形匹配，直到只有一个UE或一个用户满足相关条件。更具体地，用户运动确定模块701和UE运动确定模块702被配置用于进一步分别获取在下一个滑动匹配窗口中的用户波形和UE波形。因此，可以获取在下一个滑动匹配窗口中这些波形的频域波形特征，例如幅值、频率和相位，并且相应地为下一个滑动匹配窗口进行比较。
相关性确定的结果可以存储在数据库705中。数据库705可以是任何形式的存储或存储系统。数据库705可以是系统700外部的组件，并且耦合到系统700。在其他实施例中，数据库705可以是系统700的一部分。
应用模块709可以从数据库中检索用户与UE之间的相关性，以实现应用服务。用户与UE之间的相关性可以支持很多新的应用服务。例如，在应用服务中，可以根据相关用户的用户活动向UE推送商业消息。在另一种应用服务中，在用户使用其UE点餐后，可以根据UE与用户之间的相关性将用户的外表特征提供给餐厅服务员。应用模块709可以是系统700外部的组件，并且耦合到系统700。在其他实施例中，应用模块709可以是系统700的一部分。
在一个实施例中，系统700还可以包括目标活动预定义模块706和用户活动识别模块707。目标活动预定义模块被设置用于定义一些预期活动以供用户识别。目标活动是相关匹配过程的触发条件。用户活动识别模块707被设置用于捕获用户活动，例如基于来自视频网络的图像流。然后用户活动识别模块707将用户活动与预定义活动进行匹配，以触发相关性匹配。例如，如上述实施例中所述，目标活动可以是女人站在橱窗前并且浏览橱窗超过3秒。当用户活动识别模块707识别出用户的活动与该目标活动匹配时，可以触发以该用户为目标用户的相关匹配过程。在一个示例中，可以相应地触发对用户的识别。
在一个实施例中，系统700还可以包括用户特征提取模块708，该模块被设置用于提取用户的外表特征，例如从相机捕获的图像或视频中提取用户的外表特征。
在一个实施例中，目标活动预定义模块706和用户活动识别模块707和用户特征提取模块708可以是系统700外部的组件。在一个示例中，目标活动预定义模块706、用户活动识别模块707和用户特征提取模块708可以是视频网络中的组件或被包括为任何网络组件的一部分。例如，目标活动预定义模块706和用户活动识别模块707和用户特征提取模块708可以是视觉运动监视器、视觉里程计等的一部分。
现在参考图10，其示出了根据本公开实施例的用于将用户与用户设备相关的方法1000的流程图。方法1000可以由图7的系统700或例如数据处理设备101、301的数据处理设备来实施。如图10所示，方法1000可以包括在框1010基于视觉监视来监视用户活动；以及在框1020，基于用户活动触发相关匹配过程。例如，如果确定用户的监视活动与预定义的目标活动匹配，则可以触发相关匹配过程以确定针对所述用户的相关UE。在一个实施例中，方法1000还可以包括在框1030提取用户的外表特征以识别目标用户。
然后，可以启动相关匹配过程以确定针对目标用户的相关UE。在框1040，方法1000可以包括测量目标用户在视觉域中的当前运动状态，例如线速度(Vx，Vy，Vz)和角速度(ωx，ωy，ωz)。在框1050，方法1000可以包括接收潜在相关UE集合中的每个UE的IMU测量结果。该集合中可能存在不止一个潜在相关UE。可以从IMU测量报告中计算或获得每个潜在相关UE的运动状态，例如线速度(Vx，Vy，Vz)和角速度(ωx，ωy，ωz)。尽管框1050被示为在框1040之后，但是可以理解它们的顺序可以改变。例如，框1050可以与框1040并行执行。在一个实施例中，该方法还可以包括在框1060，将目标用户和相邻UE的坐标系变换为共同坐标系。例如，可以针对目标用户和相邻UE的运动状态进行四元数计算，以完成坐标系的变换。
然后，方法1000可以继续以利用上述相关匹配机制，例如参考图4和图8描述的波形相关匹配，对所有速度执行相关匹配。接下来，在框1080，该方法可以包括确定是否只有一个相关UE。如果是，则在框1090，可以确定目标用户与相关UE之间建立了一对一的相关性。否则，该方法可以进行到框1100，以从潜在相关UE集合中排除被确定为与目标用户不相关的UE。然后，该方法返回以在下一滑动匹配窗口中进行进一步的相关匹配。在实践中，需要多个排除操作来建立用户与UE之间的一对一相关性。同时，排除操作可以减少被跟踪的UE数量。
现在参考图11示出了装置1100的简化框图，装置1100可以体现在/作为数据处理设备(例如，图1和图3中所示的数据处理设备101、301)。装置1100可以包括至少一个处理器1101，例如数据处理器(DP)和耦合到至少一个处理器1101的至少一个存储器(MEM)1102。装置1100还可以包括耦合到一个或多个处理器1101的一个或多个发射器TX，一个或多个接收器RX 1103，或一个或多个收发器，以例如通过使用无线本地通信网络技术例如WLAN、UWB、
Figure BDA0003890709440000191
和无线电信技术，例如2/3/4/5/6G(代)或其任何组合来与无线通信网络(例如图1所示的移动网络120)进行通信。此外，装置1100可以具有一个或多个有线通信部件，该部件将装置连接到计算机云网络或系统，例如视频网络110。MEM 1102存储程序(PROG)1104。PROG 1104可以包括以下指令，当在相关联的处理器1101上执行时，使装置1100能够根据本公开的实施例进行操作，例如执行方法200和1000之一。至少一个处理器1101和至少一个MEM 1102的组合可以形成适于实现本公开的各种实施例的处理电路或装置1105。
本公开的各种实施例可以通过可由一个或多个处理器1101执行的计算机程序、软件、固件、硬件或其组合来实现。
MEM 1102可以是适合本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，作为非限制性示例，例如基于半导体的存储设备、磁性存储设备和系统、光学存储设备和系统、固定存储器和可移动存储器。
作为非限制性的例子，处理器1101可以是适合本地技术环境的任何类型，并且可以包括通用计算机、专用计算机、微处理器、数字信号处理器DSP、和基于多核处理器架构的处理器中的一个或多个。
一般来说，各种示例性实施例可以在硬件或特殊用途电路、软件、逻辑或其任何组合中实现。例如，一些方面可以在硬件中实现，而其他方面可以在固件或软件中实现，这些固件或软件可以由控制器、微处理器或其他计算设备执行，尽管本发明不限于此。虽然本发明的示范性实施例的各个方面可以作为框图、流程图或使用一些其他的图形表示法来说明和描述，但可以很好地理解，作为非限制性的示例，这里描述的这些块、装置、系统、技术或方法可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备中实施，或它们的一些组合中实施。
因此，应当理解，本发明的示例性实施例的至少某些方面可以在诸如集成电路芯片和模块的各种部件中实施。因此应该理解，本发明的示例性实施例可以在体现为集成电路的装置中实现，其中集成电路可以包括用于体现数据处理器、数字信号处理器、基带电路和无线电频率电路中的至少一个或多个的电路(以及可能的固件)，这些电路是可配置的，以便按照本发明的示例性实施例进行操作。
应当理解，本发明的示例性实施例的至少某些方面可以体现在计算机可执行指令中，例如在一个或多个程序模块中，由一个或多个计算机或其他设备执行。一般来说，程序模块包括例程、程序、对象、组件、数据结构等，当由计算机或其他设备中的处理器执行时，执行特定任务或实现特定的抽象数据类型。计算机可执行指令可以存储在计算机可读介质上，例如，非临时性计算机可读介质，如硬盘、光盘、可移动存储介质、固态存储器、RAM等。正如本领域技术人员所理解的那样，程序模块的功能可以根据需要在各种实施方案中进行组合或分布。此外，该功能可以全部或部分体现在固件或硬件等价物中，如集成电路、现场可编程门阵列(FPGA)等。
在本申请中，术语“电路”可指以下一个或多个或全部：
(a)纯硬件的电路实现方式(例如仅采用模拟和/或数字电路的实现方式)和
(b)硬件电路和软件的组合，例如(如适用的话)：
(i)模拟和/或数字硬件电路与软件/固件的组合，以及
(ii)具有软件的硬件处理器(包括数字信号处理器)的任何部分、软件和存储器，它们一起工作以使例如移动电话或服务器的装置执行各种功能)，和
(c)硬件电路和/或处理器，例如微处理器或微处理器的一部分，需要软件(例如固件)来操作，但在不需要软件来操作时，软件可能不存在。
“电路”的定义适用于本申请中对该术语的所有使用，包括在任何权利要求中。作为另一个例子，如在本申请中所使用的，术语“电路”还涵盖仅仅是硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及其(或它们)附带的软件和/或固件的实现。例如，如果适用于特定的权利要求要素的话，术语“电路”还涵盖移动设备的基带集成电路或处理器集成电路，或服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
本发明包括本文明确披露的任何新颖特征或特征的组合，或其任何概括。在结合附图阅读时，鉴于前面的描述，对本发明的上述示例性实施例的各种修改和调整对于相关领域的技术人员来说是显而易见的。然而，任何和所有的修改仍将落入本发明的非限制性和示例性实施例的范围内。

Claims (45)

1.一种用于在用户和用户设备之间的相关性的方法，包括：
获取在一时间段内针对用户的运动而连续测量的第一运动数据；
获取在所述时间段内针对用户设备的运动而连续测量的第二运动数据；
执行在从所述第一运动数据导出的第一波形与从所述第二运动数据导出的第二波形之间的相关匹配；以及
基于在所述第一波形与所述第二波形之间的相关匹配，确定是否存在在所述用户与所述用户设备之间的相关性。
2.如权利要求1所述的方法，其中，执行所述相关匹配包括：
确定与所述第一运动数据与所述第二运动数据之间的差异相对应的差异波形；以及
将所述差异波形的波形特征与阈值进行比较，以确定是否存在在所述第一波形与所述第二波形之间的相关匹配。
3.如权利要求1或2所述的方法，其中，执行所述相关匹配包括：
将所述第一波形和所述第二波形从时域变换为频域；以及
在所述频域中执行所述相关匹配。
4.如权利要求1-3中任一项所述的方法，其中，所述相关匹配是基于以下波形特征中的至少一个而执行的：振幅，频率，周期，和相位。
5.如权利要求1所述的方法，进一步包括：
确定所述第一波形在频域中的波形特征；以及
确定所述第二波形在频域中的对应波形特征；
其中，执行所述相关匹配包括：执行在所述第一波形在频域中的波形特征与所述第二波形在频域中的对应波形特征之间的匹配。
6.如权利要求5所述的方法，其中，执行波形特征之间的匹配包括：
确定在所述第一波形在频域中的波形特征与所述第二波形在频域中的对应波形特征之间的差异；以及
将波形特征之间的差异与阈值进行比较。
7.如权利要求5-6中任一项所述的方法，其中，所述在频域中的波形特征包括以下中的至少一个：振幅，频率，周期，和相位。
8.如权利要求1所述的方法，进一步包括：
将所述第一运动数据和所述第二运动数据中的至少一个变换为共同坐标系中的运动数据。
9.如权利要求1所述的方法，其中，所述第一运动数据和所述第二运动数据包括指示以下至少一个维度的运动的数据：线速度，角速度，以及由从所述线速度和所述角速度中的至少一个导出的变量定义的维度。
10.如权利要求1所述的方法，其中，获取所述第一运动数据包括：
分析在所述时间段内捕获的图像流，以确定所述用户的所述第一运动数据。
11.如权利要求1所述的方法，其中，获取所述第二运动数据包括：
接收所述用户设备内部的运动传感器的连续测量报告，以确定所述用户设备的所述第二运动数据。
12.如权利要求1所述的方法，还包括：
确定用户设备集合；
对于所述集合中的每个特定用户设备，确定在匹配窗口中在所述用户与所述特定用户设备之间的相关性，其中确定所述用户与所述特定用户设备之间的相关性包括：
获取在所述匹配窗口的时间段内针对所述特定用户设备的运动而连续测量的运动数据，
执行在所述第一波形与从所述特定用户设备的运动数据导出的波形之间的相关匹配，以及
基于在所述第一波形与从所述特定用户设备的运动数据导出的波形之间的相关匹配，确定是否存在在所述用户与所述特定用户设备之间的相关性；以及
从所述集合中排除被确定为没有与所述用户的相关性的用户设备。
13.如权利要求12所述的方法，还包括：
在所述集合中存在多于一个用户设备的情况下，继续进行对下一个匹配窗口中在所述用户与所述集合的每个特定用户设备之间的相关性的确定和所述排除。
14.如权利要求1所述的方法，还包括：
确定用户集合；
对于所述集合中的每个特定用户，确定在匹配窗口中在所述特定用户与所述用户设备之间的相关性，其中确定在所述特定用户与所述用户设备之间的相关性包括：
获取在匹配窗口的时间段内针对所述特定用户的运动而连续测量的运动数据，
执行在从所述特定用户的运动数据导出的波形与所述第二波形之间的相关匹配，以及
基于在从所述特定用户的运动数据导出的波形与所述第二波形之间的相关性匹配，确定是否存在在所述特定用户与所述用户设备之间的相关性；以及
从所述集合中排除被确定为没有与所述用户设备的相关性的用户。
15.如权利要求14所述的方法，还包括：
在所述集合中存在多于一个用户的情况下，继续进行对在下一个匹配窗口中所述用户设备与所述集合中的每个特定用户之间的相关性的确定和所述排除。
16.如权利要求1所述的方法，还包括：
获取在多个时间点测量的所述第一运动数据中的瞬时运动数据，以及在所述时间点测量的所述第二运动数据中的瞬时数据；
执行在所述第一运动数据中的瞬时运动数据与所述第二运动数据中对应瞬时数据之间的匹配；以及
基于在所述第一运动数据中的瞬时运动数据与所述第二运动数据中对应瞬时数据之间的匹配，确定在所述用户与所述用户设备之间的相关性。
17.如权利要求16所述的方法，还包括：
确定在所述第一运动数据中的瞬时运动数据与所述第二运动数据中的瞬时运动数据之间的差异；和
将所述瞬时运动数据之间的差异与阈值进行比较。
18.如权利要求1所述的方法，还包括：
识别所述用户或所述用户设备的活动以用于触发所述相关匹配。
19.如权利要求1所述的方法，还包括：
提取所述用户的至少一个外表特征。
20.如权利要求19所述的方法，还包括：
根据在所述用户与用户设备之间的相关性，将所述用户的至少一个外表特征与所述用户设备相关。
21.如权利要求1所述的方法，还包括：
根据在所述用户与所述用户设备之间的相关性，向所述用户设备推送与用户相关联的业务。
22.如权利要求1所述的方法，还包括：
根据在所述用户与所述用户设备之间的相关性，向所述用户提供与所述用户设备相关联的服务。
23.一种装置，包括：
至少一个处理器；和
至少一个包括计算机程序代码的存储器，所述存储器和所述计算机程序被配置为与所述处理器一起使得所述装置至少：
获取在一时间段内针对用户的运动而连续测量的第一运动数据；
获取在所述时间段内针对用户设备的运动而连续测量的第二运动数据；以及
执行在从所述第一运动数据导出的第一波形与从所述第二运动数据导出的第二波形之间的相关匹配；
基于在所述第一波形与所述第二波形之间的相关匹配，确定是否存在在所述用户与所述用户设备之间的相关性。
24.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步通过使得所述装置执行以下操作来使得所述装置执行所述相关匹配：
确定与所述第一运动数据与所述第二运动数据的差异相对应的差异波形；以及
将所述差异波形的波形特征与阈值进行比较，以确定在所述第一波形与所述第二波形之间是否存在相关匹配。
25.如权利要求23或24所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步通过使得所述装置执行以下操作来使得所述装置执行所述相关匹配：
将所述第一波形和所述第二波形从时域变换到频域；以及
在所述频域中执行所述相关匹配。
26.如权利要求23-25中任一项所述的装置，其中，所述相关匹配是基于以下波形特征中的至少一个而执行的：振幅，频率，周期，和相位。
27.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起进一步使得所述装置：
确定所述第一波形在频域中的波形特征；以及
确定所述第二波形在频域中的对应波形特征；
其中，所述相关匹配是通过执行在所述第一波形在频域中的波形特征与所述第二波形在频域中的对应波形特征的匹配而被执行的。
28.如权利要求27所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步通过使得所述装置执行以下操作来使得所述装置执行波形特征之间的匹配：
确定在所述第一波形在频域中的波形特征与所述第二波形在频域中的对应波形特征之间的差异；和
将波形特征之间的所述差异与阈值进行比较。
29.如权利要求27-28中任一项所述的装置，其中，所述在频域中的波形特征包括以下中的至少之一个：振幅，频率，周期，和相位。
30.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置与所述处理器一起，进一步使得所述装置：
将所述第一运动数据和所述第二运动数据中的至少一个变换为共同坐标系中的运动数据。
31.如权利要求23所述的装置，其中，所述第一运动数据和所述第二运动数据包括指示在以下的至少一个维度的运动的数据：线速度，角速度，和由从所述线速度和所述角速度中的至少一个导出的变量定义的维度。
32.如权利要求23所述的装置，其中，所述存储器和所述计算机程序代码被配置为与所述处理器一起，进一步通过使得所述装置执行以下操作来使得所述装置获取所述第一运动数据：
分析在所述时间段内捕获的图像流，以确定所述用户的所述第一运动数据。
33.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步通过使得所述装置执行以下操作来使得所述装置获取所述第二运动数据：
接收所述用户设备内部运动传感器的连续测量报告，以确定所述用户设备的所述第二运动数据。
34.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
确定用户设备集合；
对于所述集合中的每个特定用户设备，确定在匹配窗口中在所述用户与所述特定用户设备之间的相关性，其中确定所述用户与所述特定用户设备之间的相关性包括：
获取在所述匹配窗口的时间段内针对所述特定用户设备的运动而连续测量的运动数据，
执行在所述第一波形与从所述特定用户设备的所述运动数据导出的波形之间的相关匹配，以及
基于在所述第一波形与从所述特定用户设备的运动数据导出的波形之间的相关性匹配，确定是否存在在所述用户与所述特定用户设备之间的相关性；以及
从所述集合中排除被确定为没有与所述用户的相关性的用户设备。
35.如权利要求34所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
如果在所述集合中存在多于一个用户设备，则继续进行对下一个匹配窗口中在所述用户与所述集合的每个特定用户设备之间的相关性的确定和所述排除。
36.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
确定用户集合；
对于所述集合中的每个特定用户，在匹配窗口中确定所述特定用户与所述用户设备之间的相关性，其中确定所述特定用户和所述用户设备之间的相关性包括：
获取在所述匹配窗口的时间段内针对所述特定用户的运动而连续测量的运动数据，
执行在从所述特定用户的运动数据的波形与所述第二波形之间的相关匹配，以及
基于在从所述特定用户的运动数据导出的波形与所述第二波形之间的相关性匹配，确定是否存在在所述特定用户与所述用户设备之间的相关性；以及
从所述集合中排除被确定为没有与所述用户设备的相关性的用户。
37.如权利要求36所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器进一步使得所述装置：
如果所述集合中操作多于一个用户，则继续进行对在下一个匹配窗口中所述用户设备与所述集合的每个特定用户之间的相关性的确定，和所述排除。
38.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
获取在多个时间点测量的所述第一运动数据中的瞬时运动数据，以及在所述相同时间点测量的所述第二运动数据的瞬时数据；
执行在所述第一运动数据中的瞬时运动数据与所述第二运动数据中对应瞬时数据之间的匹配；以及
基于在所述第一运动数据中的瞬时运动数据与所述第二运动数据中对应的瞬时数据的匹配，确定在所述用户与所述用户设备之间的相关性。
39.如权利要求38所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起进一步使得所述装置：
确定在所述第一运动数据中的瞬时运动数据与所述第二运动数据中的瞬时运动数据之间的差异；和
将所述瞬时运动数据之间的差异与阈值进行比较。
40.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
识别所述用户或所述用户设备的活动以用于触发所述相关匹配。
41.如权利要求23所述的装置，其中，所述存储器和所述计算机程序代码被配置为与所述处理器一起，进一步使得所述装置：
提取所述用户的至少一个外表特征。
42.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使地所述装置：
根据在所述用户与所述用户设备之间的相关性，将用所述户的至少一个外表特征与用户设备相关联。
43.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使得所述装置：
根据在所述用户与所述用户设备之间的相关性，向所述用户设备推送与所述用户相关联的业务。
44.如权利要求23所述的装置，其中，所述存储器和所述计算机程序被配置为与所述处理器一起，进一步使所述装置：
根据所述用户与所述用户设备之间的关联，向所述用户提供与所述用户设备相关联的服务。
45.一种其上存储有指令的计算机可读存储介质，当由至少一个处理器执行时，所述指令使所述至少一个处理器执行根据权利要求1-22中任一项所述的方法。
CN202080099859.6A 2020-04-16 2020-04-16 用于使用户和用户设备相关的方法和装置 Pending CN115461695A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/085160 WO2021208029A1 (en) 2020-04-16 2020-04-16 Method and apparatus for correlating a user and a user equipment

Publications (1)

Publication Number Publication Date
CN115461695A true CN115461695A (zh) 2022-12-09

Family

ID=78083754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080099859.6A Pending CN115461695A (zh) 2020-04-16 2020-04-16 用于使用户和用户设备相关的方法和装置

Country Status (2)

Country Link
CN (1) CN115461695A (zh)
WO (1) WO2021208029A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7822513B2 (en) * 2005-07-27 2010-10-26 Symbol Technologies, Inc. System and method for monitoring a mobile computing product/arrangement
US20100217533A1 (en) * 2009-02-23 2010-08-26 Laburnum Networks, Inc. Identifying a Type of Motion of an Object
US8909330B2 (en) * 2009-05-20 2014-12-09 Sotera Wireless, Inc. Body-worn device and associated system for alarms/alerts based on vital signs and motion
US9320957B2 (en) * 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US9184084B2 (en) * 2014-01-28 2015-11-10 Lam Research Corporation Wafer handling traction control system
WO2017143814A1 (zh) * 2016-02-23 2017-08-31 深圳未网科技有限公司 球类运动数据统计方法、装置、系统、智能篮球及腕带

Also Published As

Publication number Publication date
WO2021208029A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
JP2019169202A (ja) ユーザに方向付けられた個人情報アシスタント
EP3072106B1 (en) Detection of an object's varying features with a non-stationary device
US9292936B2 (en) Method and apparatus for determining location
CN106605123B (zh) 用于确定入口位置和感兴趣区域的系统
CN105940429B (zh) 用于确定设备运动的估计的方法和系统
US10142598B2 (en) Wearable terminal device, photographing system, and photographing method
JP2021536609A (ja) 注視点推定方法及びシステム
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
Manos et al. Walking direction estimation using smartphone sensors: A deep network-based framework
US9710708B1 (en) Method and apparatus for autonomously recognizing at least one object in an image
Li et al. iPAC: Integrate pedestrian dead reckoning and computer vision for indoor localization and tracking
Chang et al. Eye on you: Fusing gesture data from depth camera and inertial sensors for person identification
Bocksch et al. Pedestrian activity classification to improve human tracking and localization
CN111078751A (zh) 一种基于unreal4进行目标统计的方法及其系统
Zhai et al. Vm-tracking: Visual-motion sensing integration for real-time human tracking
Kanagu et al. Colorful PDR: Colorizing PDR with shopping context in walking
CN115461695A (zh) 用于使用户和用户设备相关的方法和装置
Nowicki Wifi-guided visual loop closure for indoor navigation using mobile devices
US20220218230A1 (en) System and method of detecting walking activity using waist-worn inertial sensors
Kempfle et al. Quaterni-On: Calibration-free Matching of Wearable IMU Data to Joint Estimates of Ambient Cameras
Ikeda et al. Pedestrian identification by associating wearable and environmental sensors based on phase dependent correlation of human walking
Amin et al. The evolution of wi-fi technology in human motion recognition: concepts, techniques and future works
Tummala et al. Vision-track: vision based indoor tracking in anchor-free regions
Jiang et al. Human tracking using wearable sensors in the pocket
CN108700989A (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination