CN112136053A - 使用来自传感器装置的数据的针对运动检测系统的训练数据 - Google Patents
使用来自传感器装置的数据的针对运动检测系统的训练数据 Download PDFInfo
- Publication number
- CN112136053A CN112136053A CN201880093566.XA CN201880093566A CN112136053A CN 112136053 A CN112136053 A CN 112136053A CN 201880093566 A CN201880093566 A CN 201880093566A CN 112136053 A CN112136053 A CN 112136053A
- Authority
- CN
- China
- Prior art keywords
- sensor data
- tag
- motion detection
- training
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 337
- 238000012549 training Methods 0.000 title claims abstract description 188
- 238000001514 detection method Methods 0.000 title claims abstract description 172
- 230000003190 augmentative effect Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 156
- 238000000034 method Methods 0.000 claims description 46
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 108091006146 Channels Proteins 0.000 description 99
- 230000008569 process Effects 0.000 description 32
- 238000013528 artificial neural network Methods 0.000 description 23
- 238000013480 data collection Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 239000003550 marker Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 229920002239 polyacrylonitrile Polymers 0.000 description 2
- 201000006292 polyarteritis nodosa Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013107 unsupervised machine learning method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/415—Identification of targets based on measurements of movement associated with the target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/0224—Channel estimation using sounding signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/003—Bistatic radar systems; Multistatic radar systems
Abstract
在所描述的示例的一般方面中,使用来自传感器装置的传感器数据来改进运动检测系统的训练数据。在一些方面中,在运动检测训练时间段内接收“地面真值”标签、传感器数据和信道信息。分析标签和传感器数据以检测标签和传感器数据之间的差异。基于传感器数据来校正或扩增标签。信道信息用标签进行标记,并且被提供作为训练信息以训练运动检测系统。
Description
相关申请的交叉引用
本申请要求2018年5月23日提交的、标题为“Training Data for a MotionDetection System Using Data from a Sensor Device”的美国申请15/987,805的优先权,其内容通过引用而并入于此。
背景技术
以下说明涉及使用来自传感器装置的数据来提高运动检测系统的训练数据的准确度。
运动检测系统已被用于检测例如房间或室外区域中的对象的移动。在一些示例性运动检测系统中,使用红外或光学传感器来检测传感器的视野中的对象的移动。运动检测系统已被用于安全系统、自动化控制系统以及其它类型的系统中。
附图说明
图1是示出示例性无线通信系统的图。
图2A和2B是示出无线通信装置之间所通信的示例性无线信号的图。
图3是示出示例性运动检测训练系统的框图。
图4A~4B是示出无线通信系统中的运动检测训练信息的示例性收集的图。
图5是示出无线通信系统中所收集到的训练信息的处理的序列图。
图6A和6B是示出用于无线通信系统中的运动检测训练的示例性处理的流程图。
图7是示出示例性节点装置的框图。
具体实施方式
在一般方面中,可以使用来自通过空间通信的(例如,无线网状网络或其它类型的无线网络的)多个无线通信装置的信息来检测空间中的运动。例如,可以分析在无线通信网络中的一个或多个装置处接收到的无线信号,以确定网络中的(介于网络中的相应装置对之间的)不同通信链路的信道信息。在一些实例中,信道信息包括信道状态信息(这里也称为无线信道状态信息)。信道状态信息可以包括通信链路的信道特性,并且可以描述无线信号如何从发送器传播到接收器,从而表示例如发送器和接收器之间的空间内的散射、衰落和功率衰减的组合效应。在一些实例中,信道信息包括波束形成状态信息。波束形成(或空间滤波)可以是指在多天线(多输入/多输出(MIMO))无线电系统中使用以进行定向信号发送或接收的信号处理技术。波束形成可以通过以特定角度的信号经历相长干涉、而其它信号经历相消干涉的这样一种方式组合天线阵列中的元件来实现。可以在发送端和接收端这两者处使用波束形成,以实现空间选择性。在一些情况(例如,IEEE 802.11ac标准)下,发送器使用波束形成导向矩阵。波束形成矩阵可以包括天线阵列应当如何使用其各单独的天线元件来选择发送用的空间路径的数学描述。虽然这里可以关于信道状态信息描述某些方面,但是在所描述的方面中也可以使用波束形成状态信息或波束形成导向矩阵状态。
可以(例如,通过无线通信装置其中之一、通过网络中的集线器装置或可通信地耦接至网络的远程装置)分析一个或多个通信链路的信道信息,以检测空间中是否发生了运动、确定所检测到的运动的相对位置或两者兼有。在一些实现中,无线通信网络包括无线网状网络。无线网状网络可被部署为分散型无线网络,其节点(装置)以点对点的方式直接通信而不使用中心接入点、基站或网络控制器。无线网状网络可以包括网状客户端、网状路由器或网状网关。在一些实例中,无线网状网络是基于IEEE 802.11s标准。在一些实例中,无线网状网络是基于WI-FI自组织或其它专有技术。
在一些实现中,在第一时间点以及在此后的后续时间点(例如,在时序序列中)获得通信系统中的一个或多个装置对的信道信息。可以通过分析通信系统的一个或多个链路的随时间的信道信息来检测运动。在一些实现中,可以通过神经网络来分析相应通信链路的信道信息,以检测运动或确定所检测到的运动的位置。
在示例中,当处于训练模式中时,运动检测系统可以将空间中的不同区域内的对象的运动与在不同区域内发生对象的运动时所获得的信道信息相关联。在示例中,可以通过基于随着用户行走通过空间所发送的训练信号的从无线网络的装置采集信道信息来训练神经网络。在一些情况下,信道信息可以基于用户当前是否正在移动、根据用户的位置或以其它方式利用运动信息进行标记。标记信道信息可以通过神经网络来分析,并可被用于训练神经网络以检测对象的运动、运动的类别(例如,人类的运动与宠物的运动)或所检测到的运动的位置。
在一些方面中,在运动检测训练期间,接收基于训练信号的信道信息数据。在一些情况下,训练信号包括在运动检测训练时间段期间由无线通信装置发送通过空间的无线信号。在一些情况下,接收基于在运动检测训练时间段期间被输入到移动装置的用户接口的信息的一个或多个标签,并且还接收在运动检测训练时间段期间由空间中的传感器装置收集到的传感器数据。分析一个或多个标签和传感器数据以检测标签和传感器数据之间的任何差异。基于对标签和传感器数据的分析来生成标记。提供信道信息和标记作为训练输入,以训练运动检测系统(例如,训练神经网络)。
在一些情况下,使用无线信道信息来进行运动检测和运动源定位的处理可以识别与某些运动状态(例如,“运动”状态或“无运动”状态)相关联的特定签名。这些签名可以通过分析包括无线信道信息或基于无线信道信息生成的信号的时序(例如,时间)序列来识别。这可以例如通过使用监督机器学习或无监督机器学习以基于测量数据集训练分类器系统来进行。例如,当对测量训练集进行识别和分类时,可以使用监督机器学习方法或无监督机器学习方法在运动检测系统的训练期间识别签名。测量训练数据集可以包括信道信息(例如,信道响应集)以及与信道信息相关联的标记信息。在一方面中,分类器可以识别测量训练数据集,并将该数据集与运动类型(例如,“运动”或“无运动”)或运动类别(人类或动物等)相关联。
在监督机器学习的情况下,各个运动检测系统在安装了各系统之后进行训练,并且还可以在正常系统操作期间的其它时间进行训练。例如,可以在系统操作期间训练运动检测系统,以调整系统性能或识别检测到的运动类型的新特征(例如,识别新的区域、位置或手势)。监督机器学习训练处理包括在训练时间段期间来自用户的输入。例如,当运动检测系统正在测量和记录无线信道状态信息时,在训练时间段期间,用户输入数据标签。这些数据标签可以被视为“地面真值(ground truth)”数据标签,并可以成为培训数据集的一部分。由用户提供或基于用户输入的信息可被视为例如表示从其它源已知的与运动有关的信息的“地面真值”。在一些实例中,在监督训练期间,用户可能进行“穿行(walkthrough)”,其中用户可能在感兴趣的区域内的同时进行行走或进行某些手势。同时,用户可以向运动检测系统提供附加的“地面真值”运动数据信息(诸如与穿行相关联的时间、运动类型以及运动区域标签等)。用户可以将数据标签输入到用户所携带的移动装置(例如,智能电话、智能手表、平板电脑等)上的运动检测训练应用中。然后,移动装置可以将数据标签提供至运动检测训练系统,以与相应的信道信息相关联。这些数据标签然后可以成为测量数据集的一部分。
在一些实现中,运动检测系统的监督训练处理在训练处理期间从用户所穿戴或携带的移动装置或其它可穿戴式装置的一个或多个内置传感器收集运动数据。在一些实例中,在监督训练处理期间,实时运动信息可以由传感器收集并用于扩增或校正用户所提供的用户输入(例如,“地面真值”数据标签)。移动装置或其它可穿戴式装置的内置传感器可以包括加速度计、陀螺仪、罗盘、计步器、气压计或能够提供与运动相关的信息的任何其它类型的传感器(包括传感器的组合)。除了由传感器收集到、但对用户来说未提供或不可用的信息(包括方向、速度、步数等)之外,传感器可以与用户提供相同或相似种类的运动信息,诸如时间、运动数据或类型和位置等。运动检测训练系统可以将传感器所提供的运动信息与用户向移动装置上的应用输入的运动数据标签相结合,以创建数据标签报告。数据标签报告可被发送到云或运动检测系统的运动传感器,以利用已知的“地面真值”标签进一步扩增所记录的无线信道状态。
在示例中,在监督训练期间,用户可以提供指示用户在某个时间正在移动的运动状态信息,但一个或多个传感器仅在几秒后才肯定地识别到运动。在该实例中,所提供的“地面真值”标签的时间戳将根据传感器的时间测量进行调整。在另一示例中,在系统针对“无运动”状态进行训练时用户可能被指示静止站立,但移动传感器报告检测到运动的数据。传感器可能报告该信息。在这种情况下,针对该训练事件收集到的所有数据(包括信道信息、用户输入和传感器数据)可被丢弃,因为信息将无法准确地表示“无运动”运动状态。
在一些实例中,这里描述的系统和技术的方面可以提供一个或多个技术优势。例如,可以例如利用指示所发生的实际运动状态的“地面真值”标签来捕获真正的运动数据,从而提高运动检测和运动源定位的准确度。在一些实例中,在监督机器学习期间提供的附加传感器数据可以改进运动检测系统对与无线信道的某些时间签名相关联的新特征的识别。在一些情况下,与用户的手动训练和手动运动贴标签的处理相关联的错误可以减少或消除。例如,训练处理期间的某些类型的用户输入错误(例如,标签可能被遗漏,标签可能在错误的时间输入,或者标签可能包含错误的信息)和所产生的数据集标签与信道状态信息的未对准可能导致机器学习进行“错误的东西”的学习或质量差的收敛和推理的学习、并因此对同一环境中的类似运动进行差的概括,并且这里描述的系统和技术可用于通过减少或消除这些和潜在的其它类型的错误来提高准确度。
图1示出示例性无线通信系统100。示例性无线通信系统100包括三个无线通信装置——第一无线通信装置102A、第二无线通信装置102B和第三无线通信装置102C。示例性无线通信系统100可以包括附加的无线通信装置和其它组件(例如,附加的无线通信装置、一个或多个网络服务器、网络路由器、网络交换机、线缆或其它通信链路等)。
示例性无线通信装置102A、102B、102C可以例如根据无线网络标准或其它类型的无线通信协议而在无线网络中进行操作。例如,无线网络可被配置为作为无线局域网(WLAN)、个人局域网(PAN)、城域网(MAN)、网状网络或其它类型的无线网络而进行操作。WLAN的示例包括被配置为根据IEEE所开发的802.11标准家族中的一个或多个标准等而进行操作的网络(例如,Wi-Fi网络)等。PAN的示例包括根据短距离通信标准(例如,近场通信(NFC)、ZigBee)以及毫米波通信等而进行操作的网络。
在一些实现中,无线通信装置102A、102B、102C可被配置为例如根据蜂窝网络标准而在蜂窝网络中进行通信。蜂窝网络的示例包括根据如下标准进行配置的网络:诸如全球移动系统(GSM)和GSM演进的增强数据率(EDGE)或EGPRS等的2G标准;诸如码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)和时分同步码分多址(TD-SCDMA)等的3G标准;诸如长期演进(LTE)和高级LTE(LTE-A)等的4G标准;等等。
在图1所示的示例中,无线通信装置102A、102B、102C可以是或者可以包括标准无线网络组件。例如,无线通信装置102A、102B、102C可以是商业可用的Wi-Fi接入点或其它类型的无线接入点(WAP),该WAP进行如这里所述的作为指令(例如,软件或固件)嵌入在WAP的调制解调器上的一个或多个操作。在一些情况下,无线通信装置102A、102B、102C可以是诸如商业可用的网状网络系统(例如,GOOGLE WIFI)等的无线网状网络的节点。在一些情况下,可以使用其它类型的标准或传统的Wi-Fi发送器装置。无线通信装置102A、102B、102C可以在没有Wi-Fi组件的情况下实现;例如,可以使用其它类型的标准或非标准的无线通信来进行运动检测。在一些情况下,无线通信装置102A、102B、102C可以是专用运动检测系统,或者无线通信装置102A、102B、102C可以是专用运动检测系统的一部分。例如,专用运动检测系统可以包括集线器装置以及(作为远程传感器装置的)一个或多个信标装置,并且无线通信装置102A、102B、102C可以是运动检测系统中的集线器装置或信标装置。
在图1所示的示例中,无线通信装置102A、102B(例如,根据无线网络标准、运动检测协议、或以其它方式来)发送无线信号。例如,无线通信装置102A、102B可以广播无线运动探测信号(例如,如上所述),或者无线通信装置102A、102B可以发送寻址到其它装置(例如,用户设备、客户端装置、服务器等)的无线信号,并且其它装置(未示出)以及无线通信装置102C可以接收无线通信装置102A、102B所发送的无线信号。在一些情况下,无线通信装置102A、102B所发送的无线信号例如根据无线通信标准或以其它方式周期性地重复。
在所示的示例中,无线通信装置102C处理来自无线通信装置102A、102B的无线信号,以检测无线信号所接入的空间中的对象的运动、确定所检测到的运动的位置或者两者兼有。例如,无线通信装置102C可以进行以下关于图2A~2B所述的示例性处理、或者用于检测运动或确定所检测到的运动的位置的其它类型的处理的一个或多个操作。无线信号所接入的空间可以是室内或室外空间,其可以包括例如完全或部分封闭的一个或多个区域、没有封闭的开放区域等。该空间可以是或可以包括房间的内部、多个房间或建筑物等。在一些情况下,例如,可以修改无线通信系统100,使得无线通信装置102C可以发送无线信号,并且无线通信装置102A、102B可以处理来自无线通信装置102C的无线信号以检测运动或确定所检测到的运动的位置。在该示例中,发送无线信号的通信装置102C可以作为源装置进行操作,接收并处理无线信号的通信装置102A、102B可以作为传感器装置进行操作。
用于运动检测的无线信号可以包括例如信标信号(例如,蓝牙信标、Wi-Fi信标、其它无线信标信号)、导频信号(例如,用于信道探测的导频信号,诸如波束形成应用中所使用的导频信号)或根据无线网络标准为了其它目的而生成的其它标准信号、或者为了运动检测或其它目的而生成的非标准信号(例如,随机信号、参考信号等)。在一些示例中,无线信号在与移动对象相互作用之前或之后传播通过对象(例如,壁),这可以使得能够在移动对象与发送或接收硬件之间没有光学视线的情况下检测到移动对象的移动。基于接收信号,第三无线通信装置102C可以生成运动检测数据。在一些实例中,第三无线通信装置102C可以将运动检测数据通信至其它装置或系统(诸如安全系统等),其中该其它装置或系统可以包括用于监视诸如房间、建筑物、室外区域等的空间内的移动的控制中心。
在一些实现中,无线通信装置102A、102B可被修改为根据无线网络业务信号来在单独的无线通信信道(例如,频率信道或编码信道)上发送运动探测信号(例如,如上所述)。例如,第三无线通信装置102C可以知道应用于运动探测信号的有效载荷的调制以及有效载荷中的数据的类型或数据结构,这可以减少第三无线通信装置102C针对运动感测而进行的处理量。头部例如可以包括附加信息,诸如通信系统100中的其它装置是否检测到运动的指示、调制类型的指示、发送信号的装置的标识等。
在图1所示的示例中,无线通信系统100包括相应的无线通信装置102各自之间的无线通信链路。在所示的示例中,第三无线通信装置102C和第一无线通信装置102A之间的无线通信链路可以用于探测第一运动检测场110A,第三无线通信装置102C和第二无线通信装置102B之间的无线通信链路可以用于探测第二运动检测场110B,并且第一无线通信装置102A和第二无线通信装置102B之间的无线通信链路可以用于探测第三运动检测场110C。在一些实例中,各无线通信装置102通过对基于由该无线通信装置102发送通过该装置所接入的运动检测场110的无线信号的接收信号进行处理来检测运动检测场110中的运动。例如,当图1所示的人106在第一运动检测场110A和第三运动检测场110C中移动时,无线通信装置102可以根据其所接收到的基于发送通过相应运动检测场110的无线信号的信号来检测运动。例如,第一无线通信装置102A可以检测人在这两个运动检测场110A、110C中的运动,第二无线通信装置102B可以检测人106在运动检测场110C中的运动,并且第三无线通信装置102C可以检测人106在运动检测场110A中的运动。
在一些实例中,运动检测场110可以包括例如空气、固体材料、液体或无线电磁信号可以传播通过的其它介质。在图1所示的示例中,第一运动检测场110A在第一无线通信装置102A和第三无线通信装置102C之间提供无线通信信道,第二运动检测场110B在第二无线通信装置102B和第三无线通信装置102C之间提供无线通信信道,并且第三运动检测场110C在第一无线通信装置102A和第二无线通信装置102B之间提供无线通信信道。在操作的一些方面中,使用在(与网络业务所用的无线通信信道分开或共享的)无线通信信道上发送的无线信号来检测空间中的对象的移动。对象可以是任何类型的静态或可移动对象,并且可以是有生命的或无生命的。例如,对象可以是人类(例如,图1所示的人106)、动物、无机对象、或其它装置、设备或组装件、用于限定空间的全部或部分边界的对象(例如,壁、门、窗等)、或其它类型的对象。在一些实现中,可以分析来自无线通信装置的运动信息以确定所检测到的运动的位置。例如,如以下进一步所述,无线通信装置102其中之一(或可通信地耦接至装置102的其它装置)可以判断为所检测到的运动在特定无线通信装置附近。
图2A和2B是示出在无线通信装置204A、204B、204C之间通信的示例性无线信号的图。无线通信装置204A、204B、204C可以是例如图1所示的无线通信装置102A、102B、102C、或其它类型的无线通信装置。示例性无线通信装置204A、204B、204C将无线信号发送通过空间200。示例性空间200可以在该空间200的一个或多个边界处完全或部分地封闭或开放。空间200可以是或可以包括房间的内部、多个房间、建筑物、室内区域或室外区域等。在所示的示例中,第一壁202A、第二壁202B和第三壁202C使空间200至少部分地封闭。
在图2A和2B所示的示例中,第一无线通信装置204A可操作地重复地(例如,周期性地,间歇性地,以预定、非预定或随机的间隔等)发送无线运动探测信号。第二无线通信装置204B和第三无线通信装置204C可操作地接收基于无线通信装置204A所发送的运动探测信号的信号。运动探测信号可以如上所述格式化。例如,在一些实现中,运动探测信号包括标准信令或通信帧,这些通信帧包括信道探测(例如,用于根据IEEE 802.11ac-2013标准进行波束形成的信道探测)中所使用的标准导频信号。无线通信装置204B、204C各自具有被配置为处理接收到的运动检测信号以检测空间200中的对象的运动的调制解调器、处理器或其它组件。
如图所示,对象处于图2A中的第一位置214A,并且对象已经移动到图2B中的第二位置214B。在图2A和2B中,空间200中的移动对象被表示为人类,但是移动对象也可以是其它类型的对象。例如,移动对象可以是动物、无机对象(例如,系统、装置、设备或组装件)、用于限定空间200的全部或部分边界的对象(例如,壁、门、窗等)、或其它类型的对象。
如图2A和2B所示,用虚线示出从第一无线通信装置204A发送的无线信号的多个示例性路径。沿着第一信号路径216,无线信号从第一无线通信装置204A发送并且被第一壁202A反射朝向第二无线通信装置204B。沿着第二信号路径218,无线信号从第一无线通信装置204A发送并且被第二壁202B和第一壁202A反射朝向第三无线通信装置204C。沿着第三信号路径220,无线信号从第一无线通信装置204A发送并且被第二壁202B反射朝向第三无线通信装置204C。沿着第四信号路径222,无线信号从第一无线通信装置204A发送并且被第三壁202C反射朝向第二无线通信装置204B。
在图2A中,沿着第五信号路径224A,无线信号从第一无线通信装置204A发送并且被第一位置214A处的对象反射朝向第三无线通信装置204C。在图2A和图2B之间,对象的表面从空间200中的第一位置214A移动到第二位置214B(例如,远离第一位置214A一定距离)。在图2B中,沿着第六信号路径224B,无线信号从第一无线通信装置204A发送并且被第二位置214B处的对象反射朝向第三无线通信装置204C。由于对象从第一位置214A移动至第二位置214B,因此图2B中所描绘的第六信号路径224B比图2A中所描绘的第五信号路径224A长。在一些示例中,由于空间中的对象的移动,因此可以添加、移除或以其它方式修改信号路径。
图2A和2B所示的示例性无线信号可以通过其各自的路径经历衰减、频移、相移或其它影响,并且可以具有在其它方向上例如传播通过壁202A、202B和202C的部分。在一些示例中,无线信号是射频(RF)信号。无线信号可以包括其它类型的信号。
在图2A和2B所示的示例中,第一无线通信装置204A可以重复发送无线信号。特别地,图2A示出在第一时间从第一无线通信装置204A发送无线信号,并且图2B示出在稍后的第二时间从第一无线通信装置204A发送相同无线信号。发送信号可以连续地、周期性地、在随机的时间或间歇的时间等、或者通过它们的组合进行发送。发送信号可以在频率带宽中具有多个频率分量。发送信号可以以全向方式、以定向方式或以其它方式从第一无线通信装置204A发送。在所示的示例中,无线信号穿过空间200中的多个相应路径,并且沿各路径的信号可能由于路径损耗、散射或反射等而变得衰减,并且可能具有相位偏移或频率偏移。
如图2A和2B所示,来自各种路径216、218、220、222、224A和224B的信号在第三无线通信装置204C和第二无线通信装置204B处组合以形成接收信号。由于空间200中的多个路径对发送信号的影响,因此空间200可被表示为输入发送信号并且输出接收信号的传递函数(例如,滤波器)。当对象在空间200中移动时,对信号路径中的信号产生影响的衰减或相位偏移可能改变,因此空间200的传递函数可能改变。在假设从第一无线通信装置204A发送相同的无线信号的情况下,如果空间200的传递函数改变,则该传递函数的输出(即接收信号)也将改变。接收信号的改变可用于检测对象的移动。
在数学上,可以根据式(1)来描述从第一无线通信装置204A发送的发送信号f(t):
其中,ωn表示发送信号的第n个频率分量的频率,cn表示第n个频率分量的复系数,以及t表示时间。在从第一无线通信装置204A发送了发送信号f(t)的情况下,可以根据式(2)来描述来自路径k的输出信号rk(t):
其中,αn,k表示针对沿路径k的第n个频率分量的衰减因子(或信道响应;例如,由于散射、反射和路径损耗引起),以及φn,k表示针对沿路径k的第n个频率分量的信号的相位。然后,无线通信装置处的接收信号R可被描述为来自到该无线通信装置的所有路径的所有输出信号rk(t)的总和,即如式(3)所示:
将式(2)代入式(3)得到下式(4):
然后,可以分析无线通信装置处的接收信号R。可以例如使用快速傅立叶变换(FFT)或其它类型的算法来将无线通信装置处的接收信号R变换到频域。变换后的信号可以将接收信号R表示为一系列n个复值,其中(n个频率ωn的)相应频率分量各自对应一个复值。对于发送信号的第n个频率分量的频率ωn,复值Yn可被表示为下式(5):
针对给定频率分量ωn的复值Yn指示该频率分量ωn处的接收信号的相对幅度和相位偏移。当对象在空间中移动时,复值Yn由于空间的信道响应αn,k的改变而改变。因此,信道响应(以及因此复值Yn)中所检测到的改变可以指示通信信道内的对象的移动。因此,在一些实现中,可以分析针对无线网状网络中的多个装置中的各装置的复值Yn,以检测在发送信号f(t)所穿过的空间中是否发生了运动。
图3是示出示例性运动检测训练系统300的图。示例性运动检测训练系统300包括数据收集系统320、运动检测训练器340和神经网络350。在一些实例中,运动检测训练系统300被配置为在监督训练期间使用。例如,如上所述,对于用户正通过空间进行运动或手势、或者在一些情况下在空间中静止的监督训练时间段,如图2A和2B中所述,运动检测训练系统300可以从网络的装置102A、102B、102C的任一个采集或接收信道信息310A作为输入。运动检测训练系统300还可以采集或接收基于监督训练时间段期间的用户输入而生成的数据标签310B作为输入,其中数据标签310B包括运动状态信息,诸如时间、运动类型和运动区域(或位置)标签等。数据标签310B可以在其被用户输入时或在后续的时间被提供给运动检测训练系统,使得标签310B可以与相关无线信道信息310A一起或分开接收。运动检测训练系统300可以基于例如时间戳或其它信息来将数据标签310B与无线信道信息310A相关联。运动检测训练系统300还可以采集或接收在监督训练时间段期间收集到的传感器数据310C作为输入。在一些实例中,传感器数据310C可以在其被收集时或在后续的时间被提供给运动检测训练系统300,使得传感器数据310C可以与相关无线信道信息310A和/或数据标签310B一起或分开接收。在一些实例中,信道信息、标签和传感器数据可被提供作为测量训练数据集。在一些情况下,传感器数据310C可用于扩增或校正用户在监督训练处理期间提供的标签310B。在一些实现中,信道信息310A、标签310B和传感器数据310C由运动检测训练系统300的数据收集系统320采集或被提供给该数据收集系统320。在一些实例中,数据收集系统320分析训练数据(信道信息310A、标签310B、传感器数据310C)并生成标记信道信息数据330。例如,信道信息310A可以利用用户在监督训练期间提供的相应数据标签310B来标记或标志,以创建标记信道信息数据330。在一些情况下,数据收集系统320可以使用传感器数据310C来校正或扩增用户可能不正确输入的数据标签310B。数据收集系统320在校正或扩增“地面真值”数据标签之后,可以利用校正后的标签或扩增后的数据来对信道信息进行标记以生成标记信道信息数据330。数据收集系统320向运动检测训练器340提供标记信道信息数据330。由于在考虑到附加传感器数据310C时、标记信道信息数据330可以提供更准确的运动指示,因此运动检测训练器340具有用于训练神经网络350以检测空间内的运动类型的更可靠信息。
在一些情况下,运动检测训练器340和神经网络350表示机器学习系统(例如,GOOGLE CLOUD ML平台或其它类型的现有机器学习系统)。例如,标记信道信息数据330可以传递通过神经网络,以基于数据收集系统320所提供的信道信息和标记(以及可能的其它信息)来学习不同图案。机器学习系统可以包括附加的或不同的组件,并且可以以其它方式进行操作。
在一些实现中,神经网络350包括卷积神经网络或包含以多层组织的多个节点的其它类型的神经网络。例如,神经网络350可以包括多个卷积层、多个卷积层中的至少一个卷积层之后的最大池化层、最大池化层之后的扁平层、以及扁平层之后的多个密集(全连接)层。
在图3所示的示例中,运动检测训练器340处理标记信道信息数据330的集合以对神经网络350的节点进行参数化(例如,使得神经网络350可用于基于未标记神经网络输入数据来检测运动)。在一些情况下,例如,运动检测训练器340可以根据成本函数最小化运算来确定神经网络的各节点的权重和偏置,并且层中的各节点可以根据所确定的权重来对其输入进行加权和偏置。例如,节点可以根据下式来提供输出
其中,ai+1是指节点的输出,b是指节点提供的偏置,wi,j是指应用于来自前一层节点的输出ai,j的权重。要最小化的成本函数可以包括:
其中,xi是针对层L的神经元j的第i个标记输入。式(15.a)是sigmoid激活的成本函数,并且式(15.b)是soft-max激活的成本函数。在式(15.b)中,大括号定义节点的输出是否与理论输出相匹配的二进制结果,匹配的结果提供输出一(1),否则提供输出零(0)。
成本函数C可以使用下降梯度方法来最小化。例如,下降梯度可以是
以及
其中,σ(z)表示Sigmoid函数或修正线性单元(ReLU):
ReLU(x)=max(0,x) (18.b)
在一些实例中,权重可以在基于下降梯度的训练的迭代后被初始化为具有正态分布。在一些实现中,标记输入数据可以由运动检测训练器340处理,以基于当前的权重集来确定输出值。然后可以将同输入数据相关联的标记与输出值一起使用,以反向传播误差并根据上式计算下降梯度。
在神经网络350利用标记信道信息数据330训练之后,可以将新收集到的数据(例如,基于无线通信装置所通信的信号的新收集到的或“未标记”信道信息)输入到神经网络350以检测空间中是否发生了运动。例如,可以在计算机实现的运动检测系统中使用经训练的神经网络350,以基于信道信息(例如,在不使用传感器数据或基于用户输入的标签的情况下)来检测运动和运动特性。神经网络350可以在运动检测系统中使用期间或之后进行再训练或以其它方式进行修改。例如,运动检测系统可以获得标记信道信息数据330的附加样本以维持或改进神经网络350的性能。在一些情况下,运动检测系统可以使用其它类型的经训练系统(例如,计算机实现的处理,而不是图3所示的示例性神经网络350)来检测运动。
图4A~4B是示出来自运动检测系统中的用户和传感器装置的运动检测训练信息的示例性收集的图。例如,图4A中的示例示出针对空间410在运动检测系统的监督训练期间具有移动装置420和传感器装置430的用户。移动装置420可以是任何类型的用户设备、移动站、移动电话、智能电话、智能手表、蜂窝电话、平板电脑、膝上型电脑、VOIP电话或手机、或者能够向/从无线通信网络中的网络节点无线地发送和接收数据和/或信号并且包括用于向运动检测训练应用提供用户输入的显示器或其它组件的任何其它移动装置。传感器装置430可被包括在穿戴在用户手腕上的可穿戴式装置中,或者可以是任何其它类型的可穿戴式传感器装置430,并且可以以任何方式且在用户身体的任何其它部分上穿戴。例如,传感器装置可以是或包括加速度计、陀螺仪、罗盘、计步器、气压计或用于收集与用户的运动或移动相关联的数据的任何其它类型的传感器装置。在一些实例中,传感器装置可被包括在用户在监督训练期间所利用的移动装置420中。
如图4A所示,空间410被分割成单独的区域以示出用户的位置。在该示例中,用户在空间410中的位置位于表示为A-A的区域中,并且在图4B中,用户在空间410中的位置位于表示为B-B的区域中。如图2A和2B中所述,无线通信装置204A、204B、204C被定位在空间的各处,以将无线通信信号发送通过空间并测量信道信息。信道信息测量可以基于监督训练时间段在时间上与如图3所述要进一步分析的用户输入和传感器数据的收集相对应。在一个实例中,用户可以(例如,向移动装置430上的应用)提供输入,该输入用于生成与用户的移动相对应并且可以描述用户的移动的数据标签(例如,标签310B)。例如,用户可被指示提供与用户在空间410中的移动或手势相关联的“运动”信息。在这种情况下,用户可以通过移动装置430的用户接口来指示用户开始移动的时间的指示、用户的运动状况(例如,正在移动)的指示、用户在空间410中的位置(例如,区域B-B)的指示、或与运动检测相关的任何其它信息。在一些实例中,位置可以是格式化的GPS坐标、房间位置(例如,厨房、客厅)、或运动检测训练系统300可识别的用户位置的其它指示。在另一示例中,在同一监督训练时间段中的另一点,用户可被指示收集与用户处于静止相关联的“无运动”信息。在这种情况下,用户可以提供类似的信息,诸如用户开始运动(或没有运动)的时间的指示、用户的移动或手势(例如,静止)的指示、用户在空间410中的位置(例如,A-A)的指示等。在用户正在进行移动或手势的同时,传感器装置430还可以基于用户的移动来收集运动信息。在一些情况下,传感器装置430可以提供附加信息,例如,用户在数据标签310B中未提供的传感器数据310C,诸如运动的方向、用户所迈出的步数等。在一些实例中,在基于移动装置420的用户输入的信息(例如,标签310B)和传感器装置430所收集到的数据(例如,传感器数据310C)之间存在差异(例如,冲突)。将数据标签310B和传感器数据310C提供给图3中的运动检测训练系统300,以与如图2A和2B中所述地收集到的信道信息310A一起进行分析,从而检测差异、校正或扩增“地面真值”标签、并生成标记信道信息数据。
图5是示出在无线通信系统中收集训练信息的示例性处理的序列图。图5的该序列图与如下示例相对应:如图4A和4B所示利用移动装置420和传感器装置430收集运动检测训练,然后将运动检测训练提供给图3所示的运动检测训练系统300。
在与图4A所示的数据收集相对应的510处,移动装置420报告监督训练时间段内的运动状态信息(例如,图3中的标签310B)。运动状态信息可以例如包括时间戳、指示用户的移动类型的标签MotionType、以及指示用户位置的标签MotionZone。运动状态信息可以包括取决于正在进行的训练的类型的附加的或更少的信息或标签。在520处,传感器装置430也提供在同一监督训练时间段期间收集到的相应运动状态信息(例如,传感器数据310C)。
如图5所示,运动检测训练系统300(例如,数据收集系统320)从移动装置420和传感器装置430接收数据,并分析该数据以了解监督训练时间段内的任何冲突或差异类型。在530处,运动检测训练系统300判断为用户经由移动装置420提供的运动数据信息与传感器装置430所提供的运动数据信息相匹配。在该特定示例中,Timestamp=2:21:30p,MotionType指示静止(例如,用户没有正在移动),并且MotionZone指示空间410中的位置是A,A(例如,410A,A)。因此,无需基于来自移动装置420和传感器装置430的报告运动状态信息调整“地面真值”标签。在540处,运动检测训练系统300相应地利用时间戳、运动类型和运动区域(例如,Timestamp=2:21:30,MotionType=静止,MotionZone=410A,A)来标记信道信息。
在与图4B所示的数据收集相对应的550处,移动装置420报告监督训练时间段内的运动状态信息(例如,图3中的标签310B)。在560处,传感器装置430也提供在同一监督训练时间段期间收集到的相应运动状态信息(例如,传感器数据310C)。
如图5所示,运动检测训练系统300(例如数据收集系统320)从移动装置420和传感器装置430接收数据,并分析该数据以了解监督训练时间段内的任何冲突或其它差异。在580处,运动检测训练系统300确定用户经由移动装置420提供的运动数据信息与传感器装置430所提供的运动数据信息之间的冲突。在该示例中,移动装置420和传感器装置430提供包括时间戳、指示用户的移动类型的标签MotionType、以及例如指示用户位置的标签MotionZone的信息。在这种情况下,由移动装置420和传感器装置430收集并由运动检测训练系统300接收的时间戳Timestamp=2:25:00p和MotionZone-410B,B是相同的,因此不会冲突。然而,移动装置420报告用户没有正在移动(例如,MotionType=静止),而传感器装置报告用户正在移动(例如,MotionType=正在移动)。在这种情况下,传感器装置所提供的信息可能被认为比用户所提供的信息更准确。在570处,运动检测训练系统300检测移动装置420所报告的运动数据信息与传感器装置430所报告的运动数据信息之间的差异,并将用户提供的运动类型标签调整为传感器装置读数(例如,MotionType=正在移动)。在580处,运动检测训练系统300相应地利用包括时间戳、运动类型和运动区域(例如,Timestamp=2:25:00p,MotionType=正在移动,MotionZone=410A,A)的校正后标签来标记信道信息。在其它情况下,运动检测训练系统300可以选择以按其它方式解决从移动装置420和传感器装置430接收到的运动信息的冲突。例如,在运动检测训练系统300判断为不能在维持运动信息完整性的同时解决冲突的情况下,运动检测训练系统300可以选择丢弃与监督训练时间段相关联的所有数据,而不是校正“地面真值”标签。当在前面的示例中,运动检测训练系统300正在针对“无运动”运动类型进行训练、而实际上基于传感器数据用户正在进行移动时,可能发生这种情况。在这种情况下,所收集到的无线信道信息也将是不准确的,因为用户正在移动。然而,如果运动检测训练系统300正在针对“运动”运动类型进行训练、而用户无意间将运动类型贴标签为MotionType=静止,则在这种情况下,运动检测训练系统300可能适合如图5中的570所示校正“地面真值”标签,并且在540处,运动检测训练系统300相应地利用时间戳、运动类型和运动区域(例如,Timestamp=2:25:00,MotionType=正在移动,MotionZone=410B,B)来标记信道信息。
图5中所收集和报告的运动信息可以包括其它类型的运动信息或标签。例如,基于移动装置的用户输入而提供或者从传感器装置收集到的运动信息可以包括任何类型的信息或数据标签,该信息或数据标签可由运动检测训练系统300使用以更准确地识别和检测空间中的运动。在一些情况下,运动检测训练系统300可以引入新的运动类型、区域或位置、运动类别和手势,并且可以收集相应类型的数据来训练该系统。
运动检测训练系统300可以分析所接收到的运动数据以了解各种其它类型的冲突。例如,可以检测指示开始要测量的活动的时间戳之间的差异。在这种情形中,传感器装置可以示出用户在用户所登记的时间戳之前开始移动。在该实例中,用户可能延迟了进入开始时间,从而导致与传感器数据的差异,并且数据收集系统320可以选择校正时间标签。在另一示例中,传感器430可以收集指示用户位于图4A中的空间410的位置B-B(例如,厨房)的数据,而用户提供的标签指示不同的位置A-A(例如,客厅)。在这种情况下,数据收集系统320可以检测差异并校正运动数据以支持传感器数据。在一些情况下,传感器装置可以提供用户数据输入未提供的补充信息。例如,传感器可以收集并提供与方向、速度、步数等有关的数据,运动检测训练系统300可以使用该数据来扩增由用户提供的标签所提供的运动数据。附加信息可被添加到运动信息,并用于标记与相应信道信息相关联的信息。
图6A和6B是示出分别用于无线通信系统中的运动检测训练的示例性处理600A和600B的流程图。处理600A和600B的操作可以由被包括在服务于空间的无线网络中或耦接至该无线网络的装置的一个或多个处理器进行。例如,示例性处理600A和600B中的操作可以由图3中的示例性数据收集系统320进行,或者由图1中的被配置为从传感器装置收集运动状态信息以创建用于训练运动检测系统的“地面真值”标签的示例性无线通信装置102其中之一进行。示例性处理600A和600B可以包括附加或不同的操作,并且这些操作可以按所示的顺序或按其它顺序进行。在一些情况下,图6A和6B所示的一个或多个操作被实现为包括多个操作、子处理或其它类型的例程的处理。在一些情况下,操作可以组合、以其它顺序进行、并行进行、迭代或以其它方式重复或以其它方式进行。
如图6A所示,在610处,接收基于训练信号的信道信息。训练信号包括在运动检测训练时间段期间由无线通信装置发送通过空间的无线信号。例如,图2A示出在运动检测训练时间段期间的第一时间发送的训练信号,以及图2B示出在后续时间发送的训练信号。如关于图3所述,可以将基于各训练时间段中的训练信号的信道信息(例如,信道信息310A)提供至运动检测训练系统300。在620处,可以基于在运动检测训练时间段期间被输入到空间中的移动装置的用户接口的信息接收一个或多个标签。在630处,还可以接收在运动检测训练时间段期间由空间中的传感器装置生成的传感器数据。例如,图4A和4B示出如下内容:移动装置420生成基于用户输入的标签,并且传感器装置430在运动检测训练时间段内的两个不同时间的监督训练期间收集运动数据。如图3所示,数据标签(例如,标签310B)和传感器数据(例如,传感器数据310C)被提供给运动检测训练系统300。传感器装置可以包括加速度计、陀螺仪、罗盘、计步器和气压计中的任一个。在一些情况下,移动装置包括传感器装置。
在640处,分析一个或多个标签和传感器数据,以检测用户提供的标签和所接收到的传感器数据之间的差异。例如,运动检测训练系统300的数据收集系统320可以接收训练数据(信道信息310A、标签310B、传感器数据310C)并分析该数据以检测差异。在一些情况下,当该分析指示传感器数据与标签不匹配时,检测差异。在这种情况下,根据检测到的差异,可以基于所接收到的传感器数据来校正标签,或者可以利用所接收到的传感器数据来扩增该标签。在一些情况下,标签和传感器数据之间的差异可以包括标签中的时间戳和传感器数据中的时间戳之间的差、标签中所指示的测量类型和传感器数据中的测量类型之间的差,或者可以是在传感器数据中而不是标签中提供的附加信息。在示例中,如果在用户所提供的时间戳和传感器所提供的时间戳之间检测到差异,则可以利用传感器时间戳来校正地面真值数据。在图5的示例中,在标签中所指示的测量类型(例如,MotionType=静止)和传感器数据中所检测到的运动类型(例如,MotionType=正在移动)之间检测到差异。在一些情况下,可以基于传感器数据来校正地面真值标签,例如,在图5中,校正地面真值标签。在差异可能导致信道信息被错误地标记的一些实例中,可以丢弃与该训练测量相关联的所有数据。
在650处,可以基于对标签和传感器数据的分析来生成标记。在一些情况下,与仅根据标签来生成标记相比,基于对标签和传感器数据的分析来生成标记提高了标记的准确度。在660处,提供信道信息和标记作为输入,以训练运动检测系统。例如,数据收集系统320可以对信道信息进行标记(例如,标记信道信息数据330),并将其提供给运动检测训练器340。在一些情况下,标记信道信息数据330被提供给包括运动检测训练器340和神经网络350的机器学习系统。在一些情况下,标记可以指示在训练时间段期间在空间中是否发生了运动、在训练时间段期间在空间发生的运动的方向、在训练时间段期间在空间中发生的运动的位置、或者在训练时间段期间在空间中发生运动的时间。
图6B是示出用于分析一个或多个用户提供的标签和传感器数据的示例性处理600B的流程图。在6410处,判断在一个或多个用户提供的标签(例如,标签310B)和传感器数据(例如,传感器数据310C)之间是否检测到差异。如果在分析期间没有检测到差异,则在6420处,设置与信道信息相关联的一个或多个标签,例如,可以在图6A的步骤650中生成信道信息的标记时使用该数据。如果检测到差异,则在6430处,根据差异、基于传感器数据来校正或扩增一个或多个用户标签。在校正或扩增之后,在6420处,设置与信道信息相关联的一个或多个标签,并在图6A的步骤650中使用该一个或多个标签以生成信道信息的标记。
图7是示出示例性节点装置700的框图。如图7所示,示例性节点装置700包括用于数据和/或信号的发送和/或接收的接口730、处理器710、存储器720和电源单元740。例如,节点装置700可以是、包括或者被包括在图1所示的无线通信系统100中的无线通信装置102A、102B、102C、图3中的运动检测训练系统300的数据收集系统320或其它子系统、图4A~4B中的移动装置420或传感器装置430中的任一个中。这些类型的装置中的各装置可以包括节点装置700的相同、附加或不同组件,并且组件可被配置为如图1、图3、图4A~4B所示或以其它方式进行操作。在一些实现中,节点装置的接口730、处理器710、存储器720和电源单元740一起容纳在共同的壳体或其它组装件中。在一些实现中,无线通信装置的一个或多个组件可被单独容纳在例如单独的壳体或其它组装件中。
示例性接口730可以通信(接收、发送或两者兼有)无线信号或有线信号。例如,接口730可被实现为有线或无线接口,或者可以以其它方式(例如,利用其它类型的组件或子系统)实现。例如,接口730可以是被配置为经由以太网、光纤、电缆或其它类型的物理介质上的物理端口来通信信号的网络接口。在另一示例中,接口730可被配置为通信根据无线通信标准(例如,Wi-Fi或蓝牙)格式化的射频(RF)信号。在一些情况下,如图3所示,节点装置700(例如,数据收集系统320)的接口730可被配置为接收信道信息310A、数据标签310B和传感器数据310C。在一些实例中,节点装置700的接口730可被配置为向运动检测训练系统300的其它节点装置(例如,图3所示的运动检测训练器340)提供或发送标记信道信息数据330。
在一些情况下,示例性接口730可被实现为调制解调器。在一些实现中,示例性接口730包括无线电子系统和基带子系统。在一些情况下,基带子系统和无线电子系统可以在共同的芯片或芯片组上实现,或者它们可以在卡或其它类型的组装装置中实现。基带子系统可以例如通过引线、引脚、配线或其它类型的连接而耦接至无线电子系统。在一些情况下,接口730中的无线电子系统可以包括一个或多个天线以及射频电路。射频电路可以例如包括用于对模拟信号进行滤波、放大或以其它方式进行调节的电路、用于将基带信号上变频为RF信号的电路、用于将RF信号下变频为基带信号的电路等。这样的电路可以例如包括滤波器、放大器、混频器、本地振荡器等。无线电子系统可被配置为在无线通信信道上通信射频无线信号。作为示例,无线电子系统可以包括无线电芯片、RF前端和一个或多个天线。无线电子系统可以包括附加或不同的组件。在一些实现中,无线电子系统可以是或包括来自传统调制解调器(例如,来自Wi-Fi调制解调器、微微基站调制解调器等)的无线电电子器件(例如,RF前端、无线电芯片或类似组件)。在一些实现中,天线包括多个天线。
在一些情况下,接口730中的基带子系统可以例如包括被配置为处理数字基带数据的数字电子器件。作为示例,基带子系统可以包括基带芯片。基带子系统可以包括附加或不同的组件。在一些情况下,基带子系统可以包括数字信号处理器(DSP)装置或其它类型的处理器装置。在一些情况下,基带系统包括数字处理逻辑,以操作无线电子系统、通过无线电子系统来通信无线网络业务、基于通过无线电子系统接收的运动检测信号来检测运动、或者进行其它类型的处理。例如,基带子系统可以包括一个或多个芯片、芯片组、或其它类型的装置,其中这些装置被配置为对信号进行编码并将编码信号传送至无线电子系统以供发送、或者(例如,通过根据无线通信标准对信号进行解码、通过根据运动检测处理来处理信号、或以其它方式)识别和分析在来自无线电子系统的信号中编码的数据。
在一些实例中,示例性接口730中的无线电子系统从基带子系统接收基带信号,将基带信号上变频为射频(RF)信号,并且(例如,通过天线)无线地发送射频信号。在一些实例中,示例性接口730中的无线电子系统(例如,通过天线)无线地接收射频信号,将射频信号下变频为基带信号,并将基带信号发送至基带子系统。在无线电子系统和基带子系统之间交换的信号可以是数字信号或模拟信号。在一些示例中,基带子系统包括转换电路(例如,数模转换器、模数转换器),并与无线电子系统交换模拟信号。在一些示例中,无线电子系统包括转换电路(例如,数模转换器、模数转换器),并与基带子系统交换数字信号。
在一些情况下,接口730可以在无线通信网络中通信无线网络业务(例如,数据包),并且还可以发送或接收(或两者兼有)信号(例如,运动探测信号)。在一些实例中,接口730例如生成用于发送的运动探测信号,以探测空间来检测运动或没有运动。在一些实现中,运动探测信号包括标准信令或通信帧,通信帧包括信道探测(例如,用于根据IEEE802.11ac-2013标准进行波束形成的信道探测)中所使用的标准导频信号。在一些情况下,运动探测信号包括网络中的所有装置已知的参考信号。在一些实例中,接口730可以例如处理接收到的信号,以检测空间中的对象的运动、空间中的没有运动、或者在检测到没有运动的情况下的空间中的对象的存在或不存在。例如,接口730可以分析标准信令协议的各方面(例如,用于根据IEEE 802.11ac-2013标准(诸如基于所生成的导向或其它矩阵等)进行波束形成的信道探测),以检测作为空间中的运动的结果的信道变化。
示例性处理器710可以例如执行指令,以基于数据输入来生成输出数据。指令可以包括存储器720中所存储的程序、代码、脚本、模块或其它类型的数据。另外或可选地,指令可被编码为预编程或可重新编程的逻辑电路、逻辑门或其它类型的硬件或固件组件或模块。处理器710可以是或包括通用微处理器,作为专用协处理器或其它类型的数据处理设备。在一些情况下,处理器710进行节点装置700的高级操作。例如,处理器710可被配置为执行或解释存储器720中所存储的软件、脚本、程序、功能、可执行指令或其它指令。在一些实现中,处理器710被包括在接口730中。在一些情况下,处理器710可以执行使节点装置进行图6A和6B的方法的指令。例如,处理器710可以使节点装置:接收基于训练信号的信道信息;基于在运动检测训练时间段期间被输入到空间中的移动装置的用户接口的信息接收标签;接收在运动检测训练时间段期间由空间中的传感器装置收集到的传感器数据;分析标签和传感器数据以检测标签和传感器数据之间的差异;基于对标签和传感器数据的分析来生成标记;以及提供信道信息和标记作为训练输入以训练运动检测系统。
示例性存储器720可以包括计算机可读存储介质,例如易失性存储器装置、非易失性存储器装置或这两者。存储器720可以包括一个或多个只读存储器装置、随机存取存储器装置、缓冲存储器装置、或这些和其它类型的存储器装置的组合。在一些实例中,存储器的一个或多个组件可以与装置700的其它组件集成或以其它方式关联。存储器720可以存储处理器710可执行的指令。例如,指令可以包括用于如图6A所示的示例性处理600A和图6B所示的示例性处理600B所述地分析标签和传感器数据以检测标签和接收到的传感器数据之间的差异、并基于对标签和传感器数据的分析来生成标记的指令。在一些实例中,存储器720可以包括用以分析用于分析标签和传感器数据的数据集的指令(722)以及用以生成标记数据的指令(744)。在一些情况下,存储器720可以包括附加指令,例如,用于训练、执行或以其它方式操作或修改运动检测系统的指令。
示例性电源单元740向节点装置700的其它组件提供电力。例如,其它组件可以基于由电源单元740通过电压总线或其它连接提供的电力来进行操作。在一些实现中,电源单元740包括电池或电池系统,例如可再充电电池。在一些实现中,电源单元740包括适配器(例如,AC适配器),该适配器接收(来自外部源的)外部电力信号并将该外部电力信号转换为被调节用于节点装置700的组件的内部电力信号。电源单元740可以包括其它组件或以其它方式进行操作。
本说明书中所描述的一些主题和操作可以在数字电子电路中、或者在计算机软件、固件或硬件中实现,包括本说明书中所公开的结构及其结构等同物、或者结构中的一个或多个的组合。本说明书中所描述的一些主题可以被实现为一个或多个计算机程序(即计算机程序指令的一个或多个模块)(诸如,用于分析数据集的模块722和用于生成标记数据的模块724等),编码在计算机存储介质上以供数据处理设备执行或用于控制数据处理设备的操作。计算机存储介质可以是计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置、或者它们中的一个或多个的组合,或者可被包括在其中。此外,虽然计算机存储介质不是传播信号,但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理组件或介质(例如,多个CD、盘或其它存储装置),或者被包括在其中。
本说明书中所描述的一些操作可以被实现为数据处理设备对一个或多个计算机可读存储装置上所存储的或者从其它源接收到的数据所进行的操作。
术语“数据处理设备”包含用于处理数据的所有种类的设备、装置和机器,举例而言包括可编程处理器、计算机、片上系统或者前述的多个或组合。设备可以包括专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件以外,设备还可以包括为所考虑的计算机程序创建执行环境的代码,例如用于构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以包括编译语言或解释语言、声明语言或过程语言等的任何形式的编程语言来编写,并且其可以以任何形式进行部署,包括被部署为独立程序或者被部署为模块、组件、子例程、对象或者适合在计算环境中使用的其它单元。计算机程序可以但不必与文件系统中的文件相对应。程序可以存储在文件的一部分中,其中该文件将其它程序或数据(例如,标记语言文件中所存储的一个或多个脚本)保存在专用于程序的单个文件中、或者保存在多个协调文件(例如,用于存储一个或多个模块、子程序或代码的一部分的文件)中。计算机程序可以被部署为在一个计算机上、或者在位于一个站点处或跨多个站点分布并且通过通信网络互连的多个计算机上执行。
本说明书中所描述的处理和逻辑流中的一些可以利用一个或多个可编程处理器来进行,其中这些一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来进行动作。这些处理和逻辑流还可以由专用逻辑电路进行并且设备也可被实现为专用逻辑电路,其中所述专用逻辑电路例如是FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
举例而言,适合执行计算机程序的处理器包括通用微处理器和专用微处理器两者、以及任何种类的数字计算机中的处理器。一般地,处理器将会从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的元件可以包括用于根据指令进行动作的处理器以及用于存储指令和数据的一个或多个存储器装置。计算机还可以包括用于存储数据的一个或多个大容量存储装置(例如,磁盘、磁光盘或光盘)或可操作地耦接以相对于这一个或多个大容量存储装置接收或传送数据,或者这两者。然而,计算机无需具有这种装置。此外,计算机可以嵌入在其它装置(例如电话、电器、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器、或便携式存储装置(例如,通用串行总线(USB)闪存驱动器))中。适合存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储器装置,举例而言包括半导体存储器装置(例如,EPROM、EEPROM和闪速存储器装置等)、磁盘(例如,内部硬盘和可移除盘等)、磁光盘、以及CD-ROM和DVD-ROM盘。在一些情况下,处理器和存储器可以由专用逻辑电路补充或者并入专用逻辑电路中。
为了提供与用户的交互,操作可以在计算机上实现,其中该计算机具有用于向用户显示信息的显示装置(例如,监视器或其它类型的显示装置)、以及用户可以向计算机提供输入的键盘和指点装置(例如,鼠标、追踪球、平板电脑、触敏屏幕或其它类型的指点装置)。其它种类的装置也可以用于提供与用户的交互;例如,被提供至用户的反馈可以是任何形式的感觉反馈,例如视觉反馈、听觉反馈或触觉反馈;并且来自用户的输入可以以任何形式接收,包括声音、语音或触觉输入。另外,计算机可以通过相对于用户所使用的装置发送和接收文档(例如通过响应于从用户的客户端装置上的web浏览器接收到的请求而向web浏览器发送web页面)来与该用户进行交互。
计算机系统可以包括单个计算装置、或者彼此接近或一般彼此远离地进行操作并且通常通过通信网络进行交互的多个计算机。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网(例如,因特网)、包括卫星链路的网络、以及对等网(例如,自组织对等网络)。客户端和服务器的关系可以通过在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在这里描述的示例的一般方面中,在运动检测系统的监督训练期间,可以使用一个或多个传感器所收集到的数据来校正或扩增用户提供的运动状态信息。
在第一示例中,接收基于训练信号的信道信息。训练信号包括运动检测训练时间段期间由无线通信装置发送通过空间的无线信号。可以基于在运动检测训练时间段期间被输入到空间中的移动装置的用户接口的信息接收一个或多个标签。还可以接收在运动检测训练时间段期间由空间中的传感器装置生成的传感器数据。分析一个或多个标签和传感器数据以检测标签和所接收到的传感器数据之间的差异。基于对标签和传感器数据的分析来生成标记。提供信道信息和标记作为输入以训练运动检测系统。在一些情况下,向机器学习系统提供标记信道信息。在一些情况下,标记可以指示:在训练时间段期间在空间中是否发生了运动;在训练时间段期间在空间中发生的运动的方向;在训练时间段期间在空间中发生的运动的位置;或者在训练时间段期间在空间中发生运动的时间。
在第二示例中,计算机可读存储介质存储在由数据处理设备执行时可操作地进行第一示例的一个或多个操作的指令。
在第三示例中,监视系统包括:一个或多个处理器;以及存储器,其存储在由一个或多个处理器执行时可操作地进行第一示例的一个或多个操作的指令。
第一示例、第二示例和第三示例的实现可以包括以下特征中的一个或多个。传感器装置可以包括加速度计、陀螺仪、罗盘、计步器和气压计中的任一个。移动装置包括传感器装置。在分析指示传感器数据与标签不对应的情况下检测差异,并且根据所检测到的差异,可以基于所接收到的传感器数据来校正标签或者可以利用所接收到的传感器数据来扩增标签。标签和传感器数据之间的差异包括以下各项中至少之一:标签中的时间戳和传感器数据中的时间戳之间的差;标签中所指示的测量类型和传感器数据中的测量类型之间的差,或者可以是传感器数据中而不是标签中提供的附加信息。与仅根据标签来生成标记相比,基于对标签和传感器数据的分析来生成标记提高了标记的准确度。向机器学习系统提供标记信道信息。标记可以指示:在训练时间段期间在空间中是否发生了运动;在训练时间段期间在空间中发生的运动的方向;在训练时间段期间在空间中发生的运动的位置;或者在训练时间段期间在空间中发生运动的时间。
虽然本说明书包含很多细节,但这些细节不应被理解为对所要求保护的范围的限制,而应被解释为特定于特定示例的特征描述。还可以组合在单独实现的上下文中在本说明书中描述或在附图中示出的某些特征。相反,在单个实现的上下文中描述或示出的各种特征还可以在多个实施例中单独实现或者以任何合适的子组合实现。
同样,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为要求以所示的特定顺序或者以序列顺序来进行这些操作、或者进行所有所示操作以实现期望结果。在某些情形中,多任务和并行处理可以是有利的。此外,上述实现中的各种系统组件的分离不应被理解为在所有实现中都要求这种分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个产品中或者封装到多个产品中。
已经描述了许多实施例。然而,应当理解,可以进行各种修改。因此,其它实施例在所附权利要求书的范围内。
Claims (24)
1.一种运动检测训练方法,包括:
接收基于训练信号的信道信息,所述训练信号包括运动检测训练时间段期间由无线通信装置发送通过空间的无线信号;
基于在所述运动检测训练时间段期间被输入到所述空间中的移动装置的用户接口的信息来接收标签;
接收在所述运动检测训练时间段期间由所述空间中的传感器装置收集到的传感器数据;
分析所述标签和所述传感器数据以检测所述标签和所述传感器数据之间的差异;
基于对所述标签和所述传感器数据的分析来生成标记;以及
提供所述信道信息和所述标记作为训练输入以训练运动检测系统。
2.根据权利要求1所述的运动检测训练方法,其中,分析所述标签和所述传感器数据包括:
在所述分析指示所述传感器数据与所述标签不对应的情况下,检测差异;以及
根据所检测到的差异,基于所接收到的传感器数据来校正所述标签或者利用所接收到的传感器数据来扩增所述标签。
3.根据权利要求1所述的运动检测训练方法,其中,与仅根据所述标签来生成所述标记相比,基于对所述标签和所述传感器数据的分析来生成所述标记提高了所述标记的准确度。
4.根据权利要求1所述的运动检测训练方法,其中,所述传感器装置包括以下各项中至少之一:
加速度计;
陀螺仪;
罗盘;
计步器;以及
气压计。
5.根据权利要求1所述的运动检测训练方法,其中,所述移动装置包括所述传感器装置。
6.根据权利要求1所述的运动检测训练方法,其中,所述标签和所述传感器数据之间的差异包括以下各项中至少之一:
所述标签中的时间戳和所述传感器数据中的时间戳之间的差;
所述标签中所指示的测量类型和所述传感器数据中的测量类型之间的差;以及
在所述传感器数据中而不是所述标签中所提供的附加信息。
7.根据权利要求1所述的运动检测训练方法,其中,提供所述信道信息和所述标记作为训练输入以训练所述运动检测系统包括向机器学习系统提供标记信道信息。
8.根据权利要求7所述的运动检测训练方法,其中,所述标记指示以下各项中至少之一:
在所述训练时间段期间在所述空间中是否发生了运动;
在所述训练时间段期间在所述空间中发生的运动的方向;
在所述训练时间段期间在所述空间中发生的运动的位置;以及
在所述训练时间段期间在所述空间中发生运动的时间。
9.一种运动检测训练系统,包括:
一个或多个处理器;
存储器,其存储由所述一个或多个处理器执行时使数据处理设备进行以下操作的指令:
接收基于训练信号的信道信息,所述训练信号包括运动检测训练时间段期间由无线通信装置发送通过空间的无线信号;
基于在所述运动检测训练时间段期间被输入到所述空间中的移动装置的用户接口的信息来接收标签;
接收在所述运动检测训练时间段期间由所述空间中的传感器装置收集到的传感器数据;
分析所述标签和所述传感器数据以检测所述标签和所述传感器数据之间的差异;
基于对所述标签和所述传感器数据的分析来生成标记;以及
提供所述信道信息和所述标记作为训练输入以训练运动检测系统。
10.根据权利要求9所述的运动检测训练系统,其中,分析所述标签和所述传感器数据包括:
在所述分析指示所述传感器数据与所述标签不对应的情况下,检测差异;以及
根据所检测到的差异,基于所接收到的传感器数据来校正所述标签或者利用所接收到的传感器数据来扩增所述标签。
11.根据权利要求9所述的运动检测训练系统,其中,与仅根据所述标签来生成所述标记相比,基于对所述标签和所述传感器数据的分析来生成所述标记提高了所述标记的准确度。
12.根据权利要求9所述的运动检测训练系统,其中,所述传感器装置包括以下各项中至少之一:
加速度计;
陀螺仪;
罗盘;
计步器;以及
气压计。
13.根据权利要求9所述的运动检测训练系统,其中,所述移动装置包括所述传感器装置。
14.根据权利要求9所述的运动检测训练系统,其中,所述标签和所述传感器数据之间的差异包括以下各项中至少之一:
所述标签中的时间戳和所述传感器数据中的时间戳之间的差;
所述标签中所指示的测量类型和所述传感器数据中的测量类型之间的差;以及
在所述传感器数据中而不是所述标签中所提供的附加信息。
15.根据权利要求9所述的运动检测训练系统,其中,提供所述信道信息和所述标记作为训练输入以训练所述运动检测系统包括向机器学习系统提供标记信道信息。
16.根据权利要求15所述的运动检测训练系统,其中,所述标记指示以下各项中至少之一:
在所述训练时间段期间在所述空间中是否发生了运动;
在所述训练时间段期间在所述空间中发生的运动的方向;
在所述训练时间段期间在所述空间中发生的运动的位置;以及
在所述训练时间段期间在所述空间中发生运动的时间。
17.一种非暂时性计算机可读介质,其包括由一个或多个处理器执行时能够运作以进行操作的指令,所述操作包括:
接收基于训练信号的信道信息,所述训练信号包括运动检测训练时间段期间由无线通信装置发送通过空间的无线信号;
基于在所述运动检测训练时间段期间被输入到所述空间中的移动装置的用户接口的信息来接收标签;
接收在所述运动检测训练时间段期间由所述空间中的传感器装置收集到的传感器数据;
分析所述标签和所述传感器数据以检测所述标签和所述传感器数据之间的差异;
基于对所述标签和所述传感器数据的分析来生成标记;以及
提供所述信道信息和所述标记作为训练输入以训练运动检测系统。
18.根据权利要求17所述的计算机可读介质,其中,分析所述标签和所述传感器数据包括:
在所述分析指示所述传感器数据与所述标签不对应的情况下,检测差异;以及
根据所检测到的差异,基于所接收到的传感器数据来校正所述标签或者利用所接收到的传感器数据来扩增所述标签。
19.根据权利要求17所述的计算机可读介质,其中,与仅根据所述标签来生成所述标记相比,基于对所述标签和所述传感器数据的分析来生成所述标记提高了所述标记的准确度。
20.根据权利要求17所述的计算机可读介质,其中,所述传感器装置包括以下各项中至少之一:
加速度计;
陀螺仪;
罗盘;
计步器;以及
气压计。
21.根据权利要求17所述的计算机可读介质,其中,所述移动装置包括所述传感器装置。
22.根据权利要求17所述的计算机可读介质,其中,所述标签和所述传感器数据之间的差异包括以下各项中至少之一:
所述标签中的时间戳和所述传感器数据中的时间戳之间的差;
所述标签中所指示的测量类型和所述传感器数据中的测量类型之间的差;以及
在所述传感器数据中而不是所述标签中所提供的附加信息。
23.根据权利要求17所述的计算机可读介质,其中,提供所述信道信息和所述标记作为训练输入以训练所述运动检测系统包括向机器学习系统提供标记信道信息。
24.根据权利要求23所述的计算机可读介质,其中,所述标记指示以下各项中至少之一:
在所述训练时间段期间在所述空间中是否发生了运动;
在所述训练时间段期间在所述空间中发生的运动的方向;
在所述训练时间段期间在所述空间中发生的运动的位置;以及
在所述训练时间段期间在所述空间中发生运动的时间。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/987,805 | 2018-05-23 | ||
US15/987,805 US10318890B1 (en) | 2018-05-23 | 2018-05-23 | Training data for a motion detection system using data from a sensor device |
PCT/CA2018/051115 WO2019222829A1 (en) | 2018-05-23 | 2018-09-11 | Training data for a motion detection system using data from a sensor device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112136053A true CN112136053A (zh) | 2020-12-25 |
CN112136053B CN112136053B (zh) | 2023-08-18 |
Family
ID=66767617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880093566.XA Active CN112136053B (zh) | 2018-05-23 | 2018-09-11 | 使用来自传感器装置的数据的针对运动检测系统的训练数据 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10318890B1 (zh) |
EP (1) | EP3797300A4 (zh) |
JP (1) | JP7174073B2 (zh) |
KR (1) | KR102633126B1 (zh) |
CN (1) | CN112136053B (zh) |
CA (1) | CA3100036A1 (zh) |
WO (1) | WO2019222829A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019081002A1 (en) * | 2017-10-25 | 2019-05-02 | Huawei Technologies Co., Ltd. | WIRELESS ACCESS BASED ON SENSITIVITY TO MOVEMENT |
US10852411B2 (en) | 2017-12-06 | 2020-12-01 | Cognitive Systems Corp. | Motion detection and localization based on bi-directional channel sounding |
JP7233868B2 (ja) * | 2018-08-08 | 2023-03-07 | キヤノン株式会社 | 情報処理装置の学習システム、情報処理装置、情報処理装置の制御方法及びプログラム |
US10798529B1 (en) | 2019-04-30 | 2020-10-06 | Cognitive Systems Corp. | Controlling wireless connections in wireless sensing systems |
US10743143B1 (en) | 2019-05-15 | 2020-08-11 | Cognitive Systems Corp. | Determining a motion zone for a location of motion detected by wireless signals |
US11510047B2 (en) * | 2019-08-12 | 2022-11-22 | Dell Products, Lp | Learning based wireless performance adjustment for mobile information handling system |
US10924889B1 (en) | 2019-09-30 | 2021-02-16 | Cognitive Systems Corp. | Detecting a location of motion using wireless signals and differences between topologies of wireless connectivity |
CA3152905A1 (en) | 2019-10-31 | 2021-05-06 | Christopher Beg | Using mimo training fields for motion detection |
US11570712B2 (en) | 2019-10-31 | 2023-01-31 | Cognitive Systems Corp. | Varying a rate of eliciting MIMO transmissions from wireless communication devices |
US11018734B1 (en) | 2019-10-31 | 2021-05-25 | Cognitive Systems Corp. | Eliciting MIMO transmissions from wireless communication devices |
CN113009508B (zh) * | 2019-12-20 | 2023-11-07 | 舜宇光学(浙江)研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
US11628848B2 (en) | 2020-03-31 | 2023-04-18 | Toyota Research Institute, Inc. | Systems and methods for training a neural network for estimating a trajectory of a vehicle |
WO2021225191A1 (ko) * | 2020-05-07 | 2021-11-11 | 엘지전자 주식회사 | 무선 센싱을 기반으로 사용자 식별 모델을 생성하는 방법 및 장치 |
EP4204851A4 (en) | 2020-08-31 | 2024-02-21 | Cognitive Systems Corp | MOTION TOPOLOGY CONTROL IN A STANDARDIZED WIRELESS COMMUNICATION NETWORK |
US11070399B1 (en) | 2020-11-30 | 2021-07-20 | Cognitive Systems Corp. | Filtering channel responses for motion detection |
WO2022246574A1 (en) * | 2021-05-28 | 2022-12-01 | Cognitive Systems Corp. | Analyzing wi-fi motion coverage in an environment |
US20240085551A1 (en) * | 2022-09-08 | 2024-03-14 | Cognitive Systems Corp. | Systems and methods for motion detection using sensing transmission clusters |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6539336B1 (en) * | 1996-12-12 | 2003-03-25 | Phatrat Technologies, Inc. | Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance |
WO2014147544A1 (en) * | 2013-03-21 | 2014-09-25 | Sony Corporation | Recalibrating an inertial navigation system |
CN105242127A (zh) * | 2014-07-03 | 2016-01-13 | 英特尔公司 | 用于抖动均衡和相位误差检测的装置、方法和系统 |
US20160066324A1 (en) * | 2014-08-26 | 2016-03-03 | Qinghua Li | Wireless Communication via Combined Channel Training and Physical Layer Header Signaling |
US9584974B1 (en) * | 2016-05-11 | 2017-02-28 | Cognitive Systems Corp. | Detecting motion based on reference signal transmissions |
CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感(北京)科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
WO2017100706A1 (en) * | 2015-12-09 | 2017-06-15 | Origin Wireless, Inc. | Method, apparatus, and systems for wireless event detection and monitoring |
CN107209258A (zh) * | 2015-02-02 | 2017-09-26 | 高通股份有限公司 | 用于估计无线通信设备之间的距离的技术 |
CA3025602A1 (en) * | 2016-06-08 | 2017-12-14 | Cognitive Systems Corp. | Operating a motion detection channel in a wireless communication network |
US20170368413A1 (en) * | 2016-03-12 | 2017-12-28 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US9927519B1 (en) * | 2017-03-16 | 2018-03-27 | Cognitive Systems Corp. | Categorizing motion detected using wireless signals |
US9933517B1 (en) * | 2017-11-03 | 2018-04-03 | Cognitive Systems Corp. | Time-alignment of motion detection signals using buffers |
US20180106885A1 (en) * | 2016-10-19 | 2018-04-19 | Ants Technology (Hk) Limited | Sensory systems for autonomous devices |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4054879A (en) | 1976-11-19 | 1977-10-18 | The United States Of America As Represented By The Secretary Of The Navy | Dual-frequency, remote ocean-wave spectrometer |
US4649388A (en) | 1985-11-08 | 1987-03-10 | David Atlas | Radar detection of hazardous small scale weather disturbances |
US4740045A (en) | 1986-07-02 | 1988-04-26 | Goodson & Associates, Inc. | Multiple parameter doppler radar |
GB2322986B (en) | 1987-10-28 | 1998-12-16 | Licentia Gmbh | Method of type classification of a target |
GB9112838D0 (en) | 1991-06-14 | 1991-10-16 | Philips Electronic Associated | Fmcw radar range calibration |
US5696514A (en) | 1996-02-28 | 1997-12-09 | Northrop Grumman Corporation | Location and velocity measurement system using atomic clocks in moving objects and receivers |
US6075797A (en) | 1997-10-17 | 2000-06-13 | 3Com Corporation | Method and system for detecting mobility of a wireless-capable modem to minimize data transfer rate renegotiations |
DE60235102D1 (de) | 2001-09-17 | 2010-03-04 | Finlasin Technology Llc | Dsp-architektur für drahtlose im basisband arbeitende anwendungen |
US7773614B1 (en) | 2001-12-05 | 2010-08-10 | Adaptix, Inc. | Wireless communication subsystem with a digital interface |
WO2012125726A1 (en) | 2011-03-14 | 2012-09-20 | Intelligent Technologies International, Inc. | Cargo theft prevention system and method |
US7869822B2 (en) | 2003-02-24 | 2011-01-11 | Autocell Laboratories, Inc. | Wireless network apparatus and system field of the invention |
US7342493B2 (en) | 2005-04-22 | 2008-03-11 | Ultravision Security Systems, Inc. | Motion detector |
US7652617B2 (en) | 2006-06-01 | 2010-01-26 | University Of Florida Research Foundation, Inc. | Radar microsensor for detection, tracking, and classification |
WO2007147012A2 (en) | 2006-06-13 | 2007-12-21 | Magneto Inertial Sensing Technology, Inc. | Motion sensing in a wireless rf network |
US7783300B2 (en) | 2006-11-22 | 2010-08-24 | Airdefense, Inc. | Systems and methods for proactively enforcing a wireless free zone |
US8075499B2 (en) | 2007-05-18 | 2011-12-13 | Vaidhi Nathan | Abnormal motion detector and monitor |
US10168414B2 (en) | 2014-07-17 | 2019-01-01 | Origin Wireless, Inc. | Wireless signals and techniques for determining locations of objects in multi-path environments |
US8892127B2 (en) | 2008-11-21 | 2014-11-18 | Qualcomm Incorporated | Wireless-based positioning adjustments using a motion sensor |
US8671069B2 (en) * | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
US8305257B2 (en) | 2009-09-02 | 2012-11-06 | Trizna Dennis B | Method and apparatus for coherent marine radar measurements of properties of ocean waves and currents |
EP2513666B1 (en) | 2009-12-18 | 2015-02-18 | L-3 Communications Cyterra Corporation | Moving entity detection |
US8396485B2 (en) | 2010-11-09 | 2013-03-12 | Apple Inc. | Beacon-based geofencing |
WO2012082758A1 (en) | 2010-12-13 | 2012-06-21 | Xandem Technology Llc | Systems and methods of device-free motion detection and presence detection |
ES2602504T3 (es) | 2011-10-19 | 2017-02-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Un dispositivo de detección de movimiento |
US8866663B2 (en) | 2011-12-27 | 2014-10-21 | Massachusetts Institute Of Technology | Methods and apparatus for sensing organic tissue |
WO2014021574A1 (ko) | 2012-08-02 | 2014-02-06 | 트라텍정보통신 주식회사 | 스마트폰과 연동되는 usb 메모리 장치 |
US8660578B1 (en) | 2012-09-07 | 2014-02-25 | Intel Corporation | Proximity human motion detection using wireless signals |
US8847754B2 (en) | 2012-11-15 | 2014-09-30 | James Buchheim | Locator beacon and radar application for mobile device |
US9329701B2 (en) * | 2012-11-21 | 2016-05-03 | Google Technology Holdings LLC | Low power management of multiple sensor chip architecture |
US20140156833A1 (en) | 2012-11-22 | 2014-06-05 | Perch Communications Inc. | System and method for automatically triggered synchronous and asynchronous video and audio communications between users at different endpoints |
US9438044B2 (en) | 2013-03-04 | 2016-09-06 | Hello Inc. | Method using wearable device with unique user ID and telemetry system in communication with one or more social networks |
CA2820568A1 (en) | 2013-06-21 | 2014-12-21 | Ninve Jr. Inc. | Dual differential doppler motion detection |
US9451381B2 (en) | 2013-08-06 | 2016-09-20 | Time Warner Cable Enterprises Llc | Automated provisioning of managed services in a Wi-Fi capable client device |
US10979203B2 (en) | 2013-09-04 | 2021-04-13 | Qualcomm Incorporated | Channel selection to reduce interference to a wireless local area network from a cellular network |
US9467480B2 (en) | 2013-09-16 | 2016-10-11 | Qualcomm Incorporated | Selectively multiplexing incoming WebRTC traffic and/or de-multiplexing outgoing WebRTC traffic by a client-based WebRTC proxy on behalf of a WebRTC multimedia client application |
US9204385B2 (en) | 2013-10-09 | 2015-12-01 | Netgear, Inc. | Wireless router or residential gateway capable of distinguishing power-sensitive wireless sensors and providing separate treatment thereto |
EP3092750B1 (en) | 2014-01-06 | 2020-07-15 | Samsung Electronics Co., Ltd. | System, device, and apparatus for coordinating environments using network devices and remote sensory information |
WO2015114466A2 (en) | 2014-01-28 | 2015-08-06 | King Abdullah University Of Science And Technology | Buffer sizing for multi-hop networks |
US20150245164A1 (en) | 2014-02-26 | 2015-08-27 | Aliphcom | Interaction between wearable devices via broadcasted sensor-related data |
WO2015168700A1 (en) | 2014-05-02 | 2015-11-05 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparatus for tracing motion using radio frequency signals |
KR20150134126A (ko) | 2014-05-21 | 2015-12-01 | 재단법인대구경북과학기술원 | 레이더 신호 처리 방법 및 장치 |
CN116879875A (zh) | 2014-10-31 | 2023-10-13 | 西门子瑞士有限公司 | 用于在无线电范围中检测对象和/或生物的移动的方法 |
US9648462B2 (en) | 2014-11-28 | 2017-05-09 | Szegedi Tudományegyetem | Method for tracking of motion of objects associated with wireless communication devices within a predefined area |
TWI514193B (zh) | 2014-12-25 | 2015-12-21 | Univ Nat Sun Yat Sen | 動作感測裝置 |
WO2016110844A1 (en) | 2015-01-07 | 2016-07-14 | Trekeye Systems Ltd. | Improved method and system for detection of changes in a defined area |
US10347108B2 (en) | 2015-01-16 | 2019-07-09 | City University Of Hong Kong | Monitoring user activity using wearable motion sensing device |
US10991135B2 (en) | 2015-08-11 | 2021-04-27 | Masimo Corporation | Medical monitoring analysis and replay including indicia responsive to light attenuated by body tissue |
US10564285B2 (en) | 2015-11-19 | 2020-02-18 | DSCG Solutions, Inc. | Estimation of motion in six degrees of freedom (6DOF) using LIDAR |
CA3008322A1 (en) | 2015-12-23 | 2017-06-29 | Aerial Technologies Inc. | System, method and apparatus for sensing changes in an environment using wireless communication signals |
EP3411670B1 (en) | 2016-02-04 | 2021-08-25 | Aerial Technologies Inc. | Systems and methods for sensing an environment with wireless communication signals |
CN108780538A (zh) | 2016-03-23 | 2018-11-09 | 联邦快递服务公司 | 用于自调整无线节点网络中的节点的广播设定的系统、设备和方法 |
US9523760B1 (en) | 2016-04-15 | 2016-12-20 | Cognitive Systems Corp. | Detecting motion based on repeated wireless transmissions |
US10705179B2 (en) | 2016-04-22 | 2020-07-07 | Tandemlaunch | Device-free subject localization methods and systems using wireless signals |
US11043094B2 (en) | 2016-06-08 | 2021-06-22 | Aerial Technologies Inc. | System and methods for smart intrusion detection using wireless signals and artificial intelligence |
JP6599821B2 (ja) * | 2016-06-27 | 2019-10-30 | 日本電信電話株式会社 | 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム |
US9524628B1 (en) | 2016-08-04 | 2016-12-20 | Cognitive Systems Corp. | Detecting signal modulation for motion detection |
US10779127B2 (en) | 2016-11-22 | 2020-09-15 | Aerial Technologies | Device free localization methods within smart indoor environments |
JP6317000B1 (ja) * | 2017-02-20 | 2018-04-25 | 三菱電機インフォメーションシステムズ株式会社 | ラベリング装置およびプログラム |
US9989622B1 (en) | 2017-03-16 | 2018-06-05 | Cognitive Systems Corp. | Controlling radio states for motion detection |
US10004076B1 (en) | 2017-03-16 | 2018-06-19 | Cognitive Systems Corp. | Selecting wireless communication channels based on signal quality metrics |
US9743294B1 (en) | 2017-03-16 | 2017-08-22 | Cognitive Systems Corp. | Storing modem parameters for motion detection |
-
2018
- 2018-05-23 US US15/987,805 patent/US10318890B1/en active Active
- 2018-09-11 JP JP2020564717A patent/JP7174073B2/ja active Active
- 2018-09-11 KR KR1020207033248A patent/KR102633126B1/ko active IP Right Grant
- 2018-09-11 EP EP18919827.8A patent/EP3797300A4/en active Pending
- 2018-09-11 CN CN201880093566.XA patent/CN112136053B/zh active Active
- 2018-09-11 WO PCT/CA2018/051115 patent/WO2019222829A1/en unknown
- 2018-09-11 CA CA3100036A patent/CA3100036A1/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6539336B1 (en) * | 1996-12-12 | 2003-03-25 | Phatrat Technologies, Inc. | Sport monitoring system for determining airtime, speed, power absorbed and other factors such as drop distance |
WO2014147544A1 (en) * | 2013-03-21 | 2014-09-25 | Sony Corporation | Recalibrating an inertial navigation system |
CN105242127A (zh) * | 2014-07-03 | 2016-01-13 | 英特尔公司 | 用于抖动均衡和相位误差检测的装置、方法和系统 |
US20160066324A1 (en) * | 2014-08-26 | 2016-03-03 | Qinghua Li | Wireless Communication via Combined Channel Training and Physical Layer Header Signaling |
CN107209258A (zh) * | 2015-02-02 | 2017-09-26 | 高通股份有限公司 | 用于估计无线通信设备之间的距离的技术 |
WO2017100706A1 (en) * | 2015-12-09 | 2017-06-15 | Origin Wireless, Inc. | Method, apparatus, and systems for wireless event detection and monitoring |
US20170368413A1 (en) * | 2016-03-12 | 2017-12-28 | Arie Shavit | Training system and methods for designing, monitoring and providing feedback of training |
US9584974B1 (en) * | 2016-05-11 | 2017-02-28 | Cognitive Systems Corp. | Detecting motion based on reference signal transmissions |
CA3025602A1 (en) * | 2016-06-08 | 2017-12-14 | Cognitive Systems Corp. | Operating a motion detection channel in a wireless communication network |
US20180106885A1 (en) * | 2016-10-19 | 2018-04-19 | Ants Technology (Hk) Limited | Sensory systems for autonomous devices |
CN106691441A (zh) * | 2016-12-22 | 2017-05-24 | 蓝色传感(北京)科技有限公司 | 基于脑电与运动状态反馈的注意力训练系统及方法 |
US9927519B1 (en) * | 2017-03-16 | 2018-03-27 | Cognitive Systems Corp. | Categorizing motion detected using wireless signals |
US9933517B1 (en) * | 2017-11-03 | 2018-04-03 | Cognitive Systems Corp. | Time-alignment of motion detection signals using buffers |
Also Published As
Publication number | Publication date |
---|---|
JP7174073B2 (ja) | 2022-11-17 |
KR102633126B1 (ko) | 2024-02-02 |
EP3797300A1 (en) | 2021-03-31 |
WO2019222829A1 (en) | 2019-11-28 |
CA3100036A1 (en) | 2019-11-28 |
KR20210014630A (ko) | 2021-02-09 |
JP2021524111A (ja) | 2021-09-09 |
CN112136053B (zh) | 2023-08-18 |
EP3797300A4 (en) | 2021-08-18 |
US10318890B1 (en) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112136053B (zh) | 使用来自传感器装置的数据的针对运动检测系统的训练数据 | |
JP7154295B2 (ja) | 無線信号の特性の機械学習に基づく動き検出 | |
CN111386474A (zh) | 网状网络中的运动检测 | |
US10459074B1 (en) | Determining a location of motion detected from wireless signals based on wireless link counting | |
US20200371222A1 (en) | Detecting Presence Based on Wireless Signal Analysis | |
US9632169B2 (en) | Using inertial navigation for calibration of indoor positioning system | |
Liu et al. | Fusing similarity-based sequence and dead reckoning for indoor positioning without training | |
CA3138201A1 (en) | Initializing probability vectors for determining a location of motion detected from wireless signals | |
Campana et al. | Towards an indoor navigation system using Bluetooth Low Energy Beacons | |
Delamare et al. | A new dataset of people flow in an industrial site with uwb and motion capture systems | |
Maduraga et al. | Comparison of supervised learning-based indoor localization techniques for smart building applications | |
Bregar et al. | UWB radio-based motion detection system for assisted living | |
Pendao et al. | FastGraph enhanced: High accuracy automatic indoor navigation and mapping | |
Karfakis et al. | NR5G-SAM: A SLAM Framework for Field Robot Applications Based on 5G New Radio | |
Jain et al. | Performance analysis of received signal strength fingerprinting based distributed location estimation system for indoor wlan | |
Minea et al. | Developing a Solution for Mobility and Distribution Analysis Based on Bluetooth and Artificial Intelligence | |
US11576141B2 (en) | Analyzing Wi-Fi motion coverage in an environment | |
Cheng et al. | A novel Kalman filter based NLOS localization method for wireless sensor networks | |
Burhan et al. | GSM Device Localization in Indoor Environment Using Received Signal Strength Indicator (RSSI) and Convolutional Neural Networks (CNN) | |
Ye | WiFiPoz--an accurate indoor positioning system | |
AP | Indoor Positioning System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |