CN105987694A - 识别移动设备的用户的方法和装置 - Google Patents

识别移动设备的用户的方法和装置 Download PDF

Info

Publication number
CN105987694A
CN105987694A CN201510064943.5A CN201510064943A CN105987694A CN 105987694 A CN105987694 A CN 105987694A CN 201510064943 A CN201510064943 A CN 201510064943A CN 105987694 A CN105987694 A CN 105987694A
Authority
CN
China
Prior art keywords
mobile device
imaging device
user
information
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510064943.5A
Other languages
English (en)
Other versions
CN105987694B (zh
Inventor
廖可
笪斌
王炜
于海华
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201510064943.5A priority Critical patent/CN105987694B/zh
Priority to US15/012,214 priority patent/US10123158B2/en
Priority to JP2016021088A priority patent/JP6142931B2/ja
Publication of CN105987694A publication Critical patent/CN105987694A/zh
Application granted granted Critical
Publication of CN105987694B publication Critical patent/CN105987694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

提供了通过成像设备识别至少一个移动设备的用户的方法和装置。该方法可以包括:通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;比较所获得的第一位置信息和第二位置信息;基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。根据本发明,能够基于位置信息的比较,将定位的用户与相应的识别信息相关联从而容易识别用户。

Description

识别移动设备的用户的方法和装置
技术领域
本发明涉及无线通信领域,更具体地,涉及用于识别移动设备的用户的方法和装置。
背景技术
对象定位和跟踪技术广泛应用于许多领域中。例如,一种常用的方式是基于立体(3D)相机的方法,其中通过立体视觉识别方法进行对人的探测、定位和跟踪,以便定位人并且识别人的身份。在很多定位系统中,视觉方法可以实现精确定位的目的,因此成像设备的定位被广泛地应用于需要探测、跟踪和定位的室内定位场景中。
然而,大多数的应用,特别是监控系统,不仅需要实现“人在哪里”,而且需要知道“谁在那里”。目前基于成像设备的定位方法能够定位人的位置,对人的识别通过是视觉特征的识别而实现,比如物体表面、色彩分析、模式识别等。基于这种实现,不需要给人装配额外的设备,而且通过生物信息的识别是可靠的,能唯一标识人的存在。但是,视觉方法的精度容易受环境因素影响,比如光线、图像质量等。而且,特征提取和处理算法关系着这种识别方法的有效性和高效性。通常,越高的识别精度,需要相机承受越多的处理工作。
另一种常用的识别方法是基于立体视觉系统以及另外的辅助系统对定位的人进行身份识别。常见的辅助系统是无线系统或者电子系统。通过立体识别系统和辅助系统两者同时定位人的存在,基于两种定位的结果,将身份标识分配给定位的人。无线系统或者电子系统的一种经典代表是RFID系统,在此情况下的身份标识即是RFID标签的ID。在此方法中,绑定和跟踪的精度基于RFID标签的分布而决定。通常,越精确的定位结果需要越多的RFID标签。虽然此方法能够识别被定位的人的身份,然而这需要额外布置诸如RFID系统的无线系统或者电子系统,增加了系统复杂度以及成本。
发明内容
考虑到以上情况,希望能够在无需配备任何额外装置的情况下能够准确有效地进行对象的定位和识别的方法和装置。
本发明的发明人考虑到上述问题并且考虑到在通常情况下人们随身携带自身的移动设备,从而提出了本发明的识别移动设备的用户的方法和装置。
根据本发明的一个方面,提供了一种通过成像设备识别至少一个移动设备的用户的方法,该方法可以包括:通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;比较所获得的第一位置信息和第二位置信息;基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,所述第一位置信息可以包括移动设备的用户与成像设备的第一距离,所述第二位置信息包括移动设备与成像设备的第二距离,并且基于所述比较的结果确定是否将所述移动设备的标识与所述移动设备的用户关联可以包括:如果第一距离中的一个与第二距离中的一个之间的差最小,则将对应于所述第一距离中的一个的用户与对应于所述第二距离中的一个的移动设备的标识信息关联。
在一个实施例中,通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息可以包括:由所述成像设备获得移动设备的用户的视差信息;由所述成像设备从所述视差信息获得移动设备的用户与成像设备的第一距离。
在一个实施例中,通过所述成像设备基于获取每个移动设备的第二位置信息以及每个移动设备的标识信息可以包括:所述移动设备加入所述成像设备的无线网络;通过所述成像设备向处于该无线网络中的移动设备发送信号;移动设备在接收到所述信号时,向成像设备发送包含该移动设备自身的标识信息的响应信号;成像设备接收所述响应信号以获取移动设备的标识信息,并且根据发送信号的时间以及接收到所述响应信号的时间计算移动设备与成像设备的第二距离。
在一个实施例中,所述第一位置信息可以包括移动设备的用户相对于所述成像设备的第一方位角,所述第二位置信息还可以包括每个移动设备相对于所述成像设备的第二方位角。其中,基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联可以包括:基于第一和第二方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,基于方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联可以包括:如果第一方位角中的一个与第二方位角中的一个之间的差最小,则将对应于所述第一方位角中的一个的用户与对应于所述第二方位角中的一个的移动设备的标识信息关联。
在一个实施例中,该方法还可以包括:通过所述成像设备基于与每个移动设备的无线通信获取每个移动设备的惯性数据;所述成像设备利用所述惯性数据校正所获得的第一位置信息,并且基于校正后的第一位置信息与所述第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,该方法还可以包括:通过多个成像设备获取所述至少一个移动设备中的每个移动设备的用户与每个成像设备的第一位置信息;基于每个移动设备的用户与每个成像设备的第一位置信息计算每个成像设备对于每个移动设备的定位误差范围;基于每个成像设备对于同一用户的定位误差范围,优化每个成像设备对于该用户的第一位置信息的计算结果。其中,基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联可以包括基于一个成像设备的优化的第一位置信息与相同的成像设备所获得的第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,该方法还可以包括:在将移动设备的标识信息与移动设备的用户关联之后,成像设备向移动设备发送与该移动设备相关联的用户的第一位置信息。
根据本发明的另一方面,提供了通过成像设备识别至少一个移动设备的用户的装置,该装置可以包括:第一位置信息获得部件,用于通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;第二位置信息获得部件,用于通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;比较部件,用于比较所获得的第一位置信息和第二位置信息;确定部件,用于基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
根据本发明,能够基于位置信息的比较,将定位的用户与相应的识别信息相关联从而容易识别用户,解决了“谁在这里”的问题。而且,由于在该识别方法中仅采用已有的成像设备以及用户都会携带的移动设备来实现,不需要任何额外的辅助设备,不仅降低了成本,而且非常易于配置和实现。
而且,因为利用基于位置信息的身份识别方法,所以成像设备能够根据正确的身份标识信息跟踪被定位的物体,尤其是在实际较为复杂的环境中,比如人群、人进出视频区域、人相互交叉影响等,能有效地进行准备跟踪。
附图说明
图1示出了本发明的识别方法和装置的示例应用场景。
图2示出根据本发明的一个实施例的通过成像设备识别至少一个移动设备的用户的方法的流程图。
图3示出了示出根据本发明的一个实施例的获取移动设备的第二位置信息以及标识信息的方法的流程图。
图4示出了成像设备进行一次立体视觉定位的时延以及进行一次无线定位的时延的示意图。
图5示出了距离比较的一个例子的示意图。
图6示出了第二方位角的计算方法的示意图。
图7示出了方位角比较的一个例子的示意图。
图8示出了基于历史移动信息提高定位精度的示意图。
图9示出了采用三个相机提高定位精度的示意图。
图10示出了可应用于本发明中的成像设备的结构框图。
图11示出了可应用于本发明中的移动设备的结构框图。
图12示出了根据本发明的识别方法的一个具体应用实例的时序图。
图13示出了根据本发明的另一实施例的通过成像设备识别至少一个移动设备的用户的装置的功能框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
首先,参考图1描述本发明的识别方法和装置的示例应用场景。
如图1所示,在具有标识信息ID0的成像设备所处于的无线区域网络中,存在多个携带了移动设备的用户,在图中移动设备用其标识信息ID1-ID3示出。本发明希望通过该成像设备识别出用户的身份信息,即该用户所使用的移动设备所携带的用户的标识信息,由此实现对出现在该区域中的用户的定位、识别、跟踪等。
当然,图1所示的情况仅仅是为了方便理解本发明而给出的一种示例情况,本发明可应用的场合不限于此。例如,虽然在图1中仅示出了一个成像设备ID0,但是如下文中进一步详细描述的,可以存在多个成像设备。虽然在图1中示出了三个携带移动设备的用户,但是在其他示例中,携带移动设备的用户的数量可以是一个、两个或者更多个。而且,本发明完全可以应用于任何其他的需要通过成像设备识别用户的场合。
图2示出根据本发明的一个实施例的通过成像设备识别至少一个移动设备的用户的方法的流程图。
如图2所示,根据此实施例的识别方法200可以包括:步骤S210,通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;步骤S220,通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;步骤S230,比较所获得的第一位置信息和第二位置信息;以及步骤S240,基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
如之前所述,成像设备可以基于立体视觉信息对人进行定位,因为通过成像设备获得的视差图能够获得人的三维坐标,从而可以确定人的距离、与成像设备的方位角等等。因此,在此实施例中,该成像设备的具体示例可以是成像设备,比如双目相机。
在步骤S210中,可以通过该成像设备获得移动设备的用户的视差信息以便获取该用户的位置信息(以下称为第一位置信息)。作为一个具体示例,该第一位置信息可以是距离。例如,可以通过诸如双目相机的立体相机捕捉目标场景的图像以获得视差图,从获取的视差图中获得目标场景中的每个用户的视差信息,基于该视差信息获取用户距离该双目相机的距离(以下称为第一距离,dncam)。
当然,在此给出的第一距离的计算方法仅仅是为了使本领域技术人员理解本发明的思想而给出的一个具体示例,本发明中的距离的计算方法不限于此,并且可以采用任何其他能够计算移动设备的用户与成像设备之间的距离的计算方法。
在步骤S220中,成像设备可以获取每个移动设备的第二位置信息以及每个移动设备的标识信息。在第一位置信息为距离信息的情况下,相应地,该第二位置信息也是距离信息。
以下,参考图3的流程图描述获取移动设备的第二位置信息以及标识信息的一个具体实施例。
如图3所示,根据此实施例的获取方法300包括以下步骤:步骤S310,移动设备加入所述成像设备的无线网络;步骤S320,通过所述成像设备向处于该无线网络中的移动设备发送信号;步骤S330,移动设备在接收到所述信号时,向成像设备发送包含该移动设备自身的标识信息的响应信号;步骤S340成像设备接收所述响应信号以获取移动设备的标识信息,并且根据发送信号的时间以及接收到所述响应信号的时间计算移动设备与成像设备的第二距离。
在步骤S310中,移动设备在进入成像设备所处于的无线网络区域时,加入该成像设备所处于的无线网络。例如,该成像设备可以组建无线网络,并且移动设备可以搜索并且加入成像设备所组建的无线网络。无线网络的拓扑结构可以是主从节点的星型网络拓扑结构,该成像设备作为主节点,移动设备作为从节点。可以采用的无线网络可以包括Wi-Fi(无线保真)、蓝牙或者BLE(低功耗蓝牙)。
在步骤S320中,成像设备向处于该无线网络中的移动设备发送信号,并记录发送该信号的时间(Tas)。所发送的信号可以是全方向的低频声音信号,因为通过声音信号的速度容易进行距离的计算。为了便于移动设备识别成像设备,所发送的声音信号可以基于频率而编码有成像设备的标识信息,例如上述成像设备的标识信息ID0。为了减少环境噪声和多普勒效应的干扰,声音信号可以采用频率变化编码方式。
在步骤S330中,移动设备接收到成像设备所发送的声音信号,基于接收到的声音信号的频率对该声音信号解码以获得所编码的成像设备的标识信息,并向成像设备回复响应信号。该响应信号中可以编码有通过上述解码获得的成像设备的标识信息以及该移动设备自身的标识信息。该响应信号可以同样是声音信号,或者也可以是无线信号。为了减少噪声影响,提高数据交换率,该响应信号优选是无线信号。通常,可以采用的无线信号包括BLE或者Wi-Fi。
作为一个示例,移动设备的标识信息可以是该移动设备的MAC地址。当然,可以应用的标识信息不限于此,并且可以是该移动设备所携带的能够用于识别用户的任何其他信息。
在步骤S340中,成像设备接收移动设备回复的响应信号,对该响应信号解码以获取其中编码的成像设备的标识信息以及移动设备的标识信息。该成像设备可以将从响应信号获取的成像设备的标识信息与其自身的标识信息比较,以确定其所接收的响应信号是移动设备针对其所发送的信号做出的响应,从而避免噪声。
而且,在步骤S340中,成像设备记录接收到响应信号的时间(Tar),由此根据信号的飞跃时间(TOF)来计算移动设备与成像设备之间的距离(下文中称为第二距离,dmTOF),作为第二位置信息。
具体地,如以下公式(1)所示,无线网络中的一次相对定位过程的延迟Tcount可以表示为:
Tcount-tas-tar-Tsp+Tsr+Twswr (1)
其中,Tsp是声音信号从成像设备传播到移动设备的时延,Tsr是移动设备接收和处理声音信号的时延,Twswr是无线信号的打包、发送和接收的时延。无线网络中的一次相对定位过程的延迟Tcount等于成像设备所记录的发送信号的时间Tas与接收到响应信号的时间Tar之间的时间差,这近似等于(Tsp+Tsr+Twswr),其中没有将无线信号的传播时延计算在内是因为声音信号的速度比作为响应信号的无线信号的速度慢得多,所以无线信号从移动设备发出到被成像设备接收的时延与成像设备发送出声音信号到移动设备接收到该声音信号的时延相比小到可以忽略。因此,为了获得Tsp,仅需要在得知Tsr以及Twswr
关于无线信号的时延Twswr,因为无线协议上层时延取决于无线网络状况,并且难以估计,而来自于物理层的信号Twswr很小,近似可以忽略,因此优选采用物理层的信号以便补偿时延影响,提高距离测量精度。
关于移动设备接收和处理声音信号的时延Tsr,可以基于成像设备发送声音信号时编码该标识信息的脉冲频率以及发送的脉冲数而获得。通常,可以将该Tsr表示为以下公式(2):
Tsr=2×Tpulse×Npulse×NID (2)
其中,Tpulse表示一个脉冲的时间长度,因为在发送声音信号时已知其发送频率f,那么Tpulse=1/f。Npulse表示对于每1比特标识信息所需要发送的脉冲的数量,NID表示要发送的标识信息的比特数。
在编码标识信息时,通常用脉冲信号从一个频率f1到另一频率f2的频率变化代表比特0;从f2到f1的频率变化代表比特1,也就是发送1比特的数据通常需要两个频率的脉冲,这也是为什么在该公式(2)中需要乘以2的原因。此时,该公式(2)的中频率f可以取这两个发送频率的平均值,即f=(f1+f2)/2。可用于编码的脉冲频带取决于大多数移动设备的麦克风和扬声器的频带,一般从20Hz到20KHz。由于低频声音信号具有绕过障碍物的特性,在编码过程中可以优选地使用低频声音信号。
以下,以利用20Hz和30Hz的两个频率之间的变化来分别表示比特0或1为例给出一个具体计算示例,其中频率30Hz降低到20Hz表示比特0,频率20Hz升高到30Hz表示比特1。假设要编码的成像设备的标识信息是001,为了实现冗余编码以降低误码率,将该标识信息重复4次,也就是说,可以通过包括频率变化的声音信号来编码标识符0000,0000,1111。那么,根据公式(2),移动设备在接收到此编码的脉冲之后进行解码和处理的时延Tsr=2×[2/(30+20)]×4×3=0.96秒。
由此,在以上公式(1)中,根据所获得的Tcount和Tsr的值,就可以获得Tsp的值,即声音信号从成像设备到移动设备的单程行进时间,从而可以根据声音信号的速度计算出移动设备与成像设备的第二距离。
由此,在步骤S220中,成像设备可以根据上述的获取方法300来获取每个移动设备的第二位置信息以及每个移动设备的标识信息。
在步骤S230中,比较在步骤S210中所获得的第一位置信息和以及在步骤S220中所获得的第二位置信息。例如,可以将成像设备所获得的每个移动设备的用户与成像设备之间的第一距离以及每个移动设备与成像设备之间的第二距离进行比较。
在此,需要注意的是,由于成像设备以预定的帧频捕捉并处理图像,而且成像设备同时也在无线网络中每隔预定时间不定向发送信号以便获得移动设备的回应,所以需要保证成像设备获得第一位置信息的时延与获得第二位置信息的时延在同一时间区域中,即这两种系统具有基本一致的定位速度,以便能够比较在基本同一时间(预定时间差范围内)所获得的第一和第二位置信息,从而能够对两种系统的定位进行准确的比较。
图4示出了成像设备进行一次立体视觉定位的时延以及进行一次无线定位的时延的示意图。如图4所示,成像设备进行一次立体视觉定位需要的时延Tcamera locate与无线网络中的一次相对定位过程的时延Tcount之间应该满足以下关系:
TcountTcamera locate (3)
如上所述,无线网络中的一次相对定位过程的延迟Tcount可以通过以上公式(1)获得。成像设备完成一次立体视觉定位需要的时延Tcamera locate取决于相机的帧率、处理速度和视觉方法算法的复杂度,而对于成像设备而言,后两者通常是固定的,因此,为了满足以上公式(3)中表示的条件,通常可以通过调整相机的帧频来实现。
在步骤S240中,可以基于步骤S230中的比较的结果来确定是否将移动设备的标识信息与移动设备的用户关联。
在理想情况下,由于移动设备由每一个用户携带,因此由成像设备通过立体视觉而定位的移动设备的用户的距离与成像设备通过无线方法而定位的该移动设备的距离应该相等。由此,成像设备基于上述的第一位置信息和第二位置信息的比较,比如通过比较第一距离和第二距离是否相同,能够确定两者是否针对同一移动设备,从而能够决定是否将用户与移动设备的标识信息相关联以便识别用户。
然而,在实际情况中,由于定位误差的存在,针对同一个移动设备,两种定位系统得到的距离值可能稍有不同。因此,通过上述的第一距离dncam与第二距离dmTOF之差的最小值来识别移动设备的用户(其中dncam表示第n个用户与成像设备的距离,dmTOF表示第m个移动设备与成像设备的距离),如以下公式(4)所示:
|dncam-dmTOF|mtn (4)
即,如果移动设备所获得的多个第一距离中的某一个第一距离dncam与多个第二距离中的某一个第二距离dmTOF之间的差最小,则表明该一个第一距离dncam所对应的用户携带着该一个第二距离dmTOF所对应的移动设备,因此可以将该用户与预先获得的该移动设备的标识信息关联。由此,能够向成像设备通过立体视觉而定位的用户分配相应的标识信息。
图5示出了距离比较的一个例子的示意图。在图5中,两个黑色圆点表示移动设备,灰色圆点表示成像设备。如图5所示,针对第一用户的第一距离d1cam与针对第一移动设备的第二距离d1TOF之间的差最小,针对第二用户的第一距离d2cam与针对第二移动设备的第二距离d2TOF之间的差最小。由此,可以将所获得的第一移动设备的标识信息与所定位的第一用户关联,将所获得的第二移动设备的标识信息与所定位的第二用户关联。
根据以上的识别方法200,能够基于位置信息的比较,将定位的用户与相应的识别信息相关联从而容易识别用户,解决了“谁在这里”的问题。而且,由于在该识别方法中仅采用已有的成像设备以及用户都会携带的移动设备来实现,不需要任何额外的辅助设备,不仅降低了成本,而且非常易于配置和实现。
虽然在以上实施例中以距离作为位置信息的示例描述了本发明的识别方法200,但是位置信息的示例不限于此,在另一实施例中,可以采用方位角作为位置信息来识别用户。
具体地,在上述的步骤S210中,可以获取每个移动设备的用户相对于成像设备的方位角(下文中称为第一方位角,αncam)。如上所述,因为在步骤S210中通过成像设备获得的视差图能够获得用户的三维坐标,所以可以根据此三维坐标获得第一方位角。
在上述的步骤S220中,可以获取每个移动设备相对于成像设备的方位角(下文中称为第二方位角,αmsp)。
通常,每个移动设备中具有惯性传感器,惯性传感器是一种能够检测和测量加速度、倾斜、冲击、振动、旋转和多自由度运动的传感器,其可以包括:例如加速度计(或加速度传感计)和角速度传感器(或陀螺仪)等等。如此,移动设备的惯性传感器的惯性数据可以包括移动设备自身的加速度(在很短的时间内,可以用加速度来估算速度)、角速度、姿态、方位角等。
而且,已知声音信号具有多普勒效应,声音信号的波长因为声源(成像设备)和观测者(移动设备)的相对运动而产生变化。在运动的波源前面,波被压缩,波长变得较短,频率变得较高;在运动的波源后面时,会产生相反的效应,波长变得较长,频率变得较低。因此,可以通过移动设备的惯性数据基于多普勒效应来计算移动设备相对于成像设备的第二方位角。
例如,在步骤S220中,更具体地比如在上述的步骤S310中,当移动设备加入成像设备的无线网络时,成像设备可以从移动设备获取其惯性数据。另外,在步骤S320中,成像设备记录发送声音信号的发送频率,在步骤S330中,移动设备记录接收到的成像设备所发送的声音信号的接收频率,并将该接收频率作为上述响应信号的一部分而发送到成像设备。
由此,在步骤S340中,在成像设备解码响应信号时,能够获取移动设备接收到声音信号的接收频率,由此,根据所获得的接收频率以及其记录的发送声音信号的发送频率,基于多普勒效应从该惯性数据计算移动设备的第二方位角。
图6示出了第二方位角的计算方法的示意图。如图6所示,因为成像设备是固定的,移动设备在移动,可以将成像设备的方向作为方位角计算的基准方向,根据以下公式(5)-(8)计算移动设备相对于成像设备的第二方位角α。
α = θ v a - cam = θ v - cam - θ v - v 0 - - - ( 5 )
θv0->cam=θvmm (6)
θ v - v 0 = cos - 1 v v 0
v 0 = v × | 1 - f ′ f | - - - ( 8 )
其中,α是成像设备和被定位的移动设备之间的第二方位角;v是移动设备的移动速度,可以根据移动设备的惯性数据获得;v0是移动设备相对于成像设备的速度;θv0->cam是v0的方向和成像设备的基准方向之间的夹角;θv->cam是v的方向和成像设备的基准方向之间的夹角,其可以通过移动设备的方位角θv与成像设备的基准方向的方位角θcam之差获得,移动设备的方位角θv可以根据惯性数据而获得,而成像设备的基准方向的方位角θcam通常是已知的;θv->v0是v的方向和v0的方向之间的夹角;f’是声音信号的接收频率;f是声音信号的发送频率。
如上所述,根据声音信号的发送频率f和接收频率f’,能够估计出多普勒效应。具体地,当接收频率f’大于发送频率f时,表明移动设备靠近成像设备,此时以上公式(8)可以表示为另一方面,当接收频率f’小于发送频率f时,表明移动设备远离成像设备,此时以上公式(8)可以表示为 v 0 = v × ( 1 - f ′ f ) .
由此,在步骤S230中比较每个移动设备的用户的第一方位角和每个移动设备的第二方位角。当然,在此给出的方位角的计算方法仅仅是为了使本领域技术人员理解本发明的思想而给出的一个具体示例,本发明中的方位角的计算方法不限于此,并且可以采用任何其他能够计算方位角的计算方法。
例如,成像设备也可以通过定位算法获得移动设备的坐标,根据移动设备的坐标以及成像设备自身的坐标来计算移动设备相对于成像设备的方位角。具体地,该方位角α可以表示为以下公式(9):
α = θ + tan - 1 x 2 - x 1 y 2 - y 1 - - - ( 9 )
其中,α是移动设备相对于成像设备的方位角,θ是成像设备相对于地磁(绝对方向)的角度,(x1,y1)是成像设备的坐标,(x2,y2)是移动设备的坐标。
对于移动设备的当前坐标(x2,y2),如果已知移动设备的初始位置(x20,y20),那么根据如上所述获取的移动设备的惯性数据,就可以推测出移动设备的当前坐标(x2,y2)。为了获得该移动设备的初始位置(x20,y20),仍需要进行一次定位过程。可以通过传统的定位方法,例如通过在成像设备和移动设备之间发送无线信号来实现定位。当然,因为获得了移动设备的当前坐标,并且已知成像设备自身的坐标,所以此方法也可以用于计算移动设备与成像设备之间的第二距离。
不过,传统的定位过程通常比较复杂,而且一般需要预先布置信标节点。而且,如之前所述,由于在发送无线信号的同时,接收信号的移动设备可能处于移动的过程中,因此,在成像设备和移动设备之间可能存在多普勒效应,多普勒效应可能导致发送的无线信号从发送到接收的路程变长或变短,从而导致无线信号的接收频率不够准确。
相对照,利用多普勒效应根据公式(5)-(8)计算方位角的方法能够得到更准确的计算结果,且无需布置任何初始信标节点,因此是优选的。同样,以上描述的根据方法300计算第二距离的方法也无需布置任何初始信标节点,实现起来更加容易,并且能够获得准确的计算结果,因此也是优选的。
在步骤S240中,可以基于方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在理想情况下,由每一个用户携带的每个移动设备,由成像设备通过立体视觉而定位的移动设备的用户的第一方位角与成像设备基于多普勒效应而定位的该移动设备的第二方位角应该相等。由此,成像设备基于上述的第一方位角和第二方位角的比较,能够确定两者是否针对同一移动设备,从而能够决定是否将用户与移动设备的标识信息相关联以便识别用户。
然而,在实际情况中,如上所述成像系统存在定位误差,针对同一个移动设备,两种定位系统得到的方位角可能稍有不同。因此,通过上述的第一方位角αncam与第二方位角αmsp之差的最小值来识别移动设备的用户(其中αncam表示第n个用户与成像设备的方位角,αmsp表示第m个移动设备与成像设备的方位角),如以下公式(10)所示:
ncammsp|min (10)
即,如果移动设备所获得的多个第一方位角中的某一个第一方位角与多个第二方位角中的某一个第二方位角之间的差最小,则表明该一个第一方位角所对应的用户携带着该一个第二方位角所对应的移动设备,因此可以将该用户与预先获得的该移动设备的标识信息关联。由此,能够向成像设备通过立体视觉而定位的用户分配相应的标识信息。
图7示出了方位角比较的一个例子的示意图。在图7中,两个黑色圆点表示移动设备,灰色圆点表示成像设备。如图7所示,针对第一用户的第一方位角α1cam与针对第一移动设备的第二方位角α1sp之间的差最小,针对第二用户的第一方位角α2cam与针对第二移动设备的第二方位角α2sp之间的差最小。由此,可以将所获得的第一移动设备的标识信息与所定位的第一用户关联,将所获得的第二移动设备的标识信息与所定位的第二用户关联。
在实际情况中,可能存在多个用户相对于成像设备而言处于不同的方向但是与成像设备的距离相等的情况。当然,如上所述,由于定位误差的存在,此处的相等是在误差范围内的相等,即不同用户与成像设备之间的距离之差小于预定值(第一预定值)。在此情况下,在上述的识别方法200中,所获得的每个移动设备与成像设备的第一距离中可能存在距离之差小于第一预定值的多个第一距离,此时仅仅通过距离的比较成像设备可能难以识别具有相同距离的这些用户。在此情况下,可以进一步比较具有多个相同的第一距离的用户的第一方位角和每个移动设备的第二方位角,基于方位角的比较结果将移动设备的标识信息与用户相关联从而识别用户。
另一方面,也可能存在多个用户与成像设备的距离不相等但是相对于成像设备而言处于相同的方向的情况。当然,同样地,由于定位误差的存在,此处的相等是在误差范围内的相等,即不同用户相对于成像设备的方位角之差小于预定值(第二预定值)。此时仅仅通过方位角的比较成像设备可能难以识别具有相同方位角的这些用户。在此情况下,可以进一步比较具有多个相同的第一方位角的用户与成像设备的第一距离以及每个用户的第二距离,基于距离的比较结果将移动设备的标识信息与用户相关联从而识别用户。
也就是说,根据本发明的上述实施例的基于距离的比较来识别用户的方法以及基于方位角的比较来识别用户的方法可以单独使用,也可以彼此结合使用,并且比较的先后顺序不受限制。例如,在比较位置信息时,可以先比较距离,如果通过距离的比较不能够区分用户,则进一步比较方位角。或者,可以先比较方位角,如果通过方位角的比较不能够区分用户,则进一步比较距离。当然,在以上实施例中,以距离和方位角作为位置信息的例子分别描述了根据本发明的用于识别用户的方法,然而,位置信息的例子不限于此,并且可以采用任何其他可以用于区分用户的位置的信息。在根据本发明的另一实施例中,为了提高定位精度以便更准确地识别用户,还可以基于惯性数据来校正位置信息。
具体地,可以根据在以上步骤S220中获得的移动设备的惯性数据来校正所获得的第一距离和/或第一方位角,并且基于校正后的第一距离和/或校正后的第一方位角与第二距离和/或第二方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
例如,成像设备可以基于移动设备的惯性数据的累积误差和成像设备自身的视觉定位误差,设定有效的历史窗口,如以下公式(11)所示:
thζεlocationinertial (11)
其中,th是有效的历史窗口,即惯性传感数据的累积误差εinertial小于视觉定位误差εlocation的时间段。
在该有效的历史窗口内,成像设备通过惯性传感数据来校正视觉定位结果。例如,成像设备根据移动设备的惯性数据获得移动设备的历史移动信息,以便获得移动设备的用户在该有效的历史窗口内的历史位置信息,作为校正后的第一位置信息。成像设备可以将校正后的第一位置信息与通过无线网络中相对定位过程得到的第二位置信息比较,基于比较结果将移动设备的用户与移动设备的标识信息相关联。
作为一个具体例子,例如,当在上述方法200中所获得的两个移动设备在当前时刻的位置信息在误差范围内一致时,根据以上公式(11),有效的历史窗口是小于等于3秒,那么可以根据从当前时刻到3秒前的这段时间内的惯性传感数据,推测出3秒前两个移动设备各自所处的位置(第一距离和/或第一方位角),作为校正的第一位置信息。然后,可以将校正的第一位置信息与在3秒前根据无线方法得到的第二位置信息进行比较。
图8示出了基于历史移动信息提高定位精度的示意图。如图8所示,第一和第二移动设备C1和C2处于成像设备C0的定位误差范围内,根据第一和第二移动设备C1和C2的惯性数据,能够确定第一和第二移动设备C1和C2的历史位置C1’和C2’。成像设备能够分辨出位置C1’和C2’,从而能够基于位置C1’和C2’进行比较以便识别用户。
从而,在实际情况中,在多个用户相互靠近而导致他们相对于成像设备的距离和方位角非常接近时,即使由于定位误差的存在而导致处于成像设备的定位误差范围内的两个或更多用户的距离和方位角可能难以被成像设备区分的情况下,成像设备也可以基于移动设备的惯性数据来校正第一位置信息,从而提高定位精度以便能够区分在其定位误差范围内的用户。
在根据本发明的另一实施例中,为了提高定位精度以便更准确地识别用户,还可以通过采用多个成像设备来提高定位精度以便更准确地识别用户。
本领域技术人员知道,成像设备在基于立体视觉进行定位时,定位误差的大小随着定位距离的变化而变化,二者呈现一定的函数关系。通常,越远的定位距离,越大的定位误差范围。当一个成像设备定位离自己较远的两个节点而导致误差范围变大,不能区分两个节点时,可以采用另外的成像设备来提高定位结果精度。
从而,在上述的方法200中,采用多个成像设备,获取每个移动设备的用户与每个成像设备的第一距离,基于每个移动设备的用户与每个成像设备的第一距离计算每个成像设备对于每个移动设备的定位误差范围,基于每个成像设备对于同一用户的定位误差范围,优化每个成像设备对于该用户的第一位置信息的计算结果,基于一个成像设备的优化的第一位置信息与相同的成像设备所获得的第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
具体地,成像设备的定位误差δA通常可以表示为以下公式(12):
δA=ferror(d) (12)
其中δA是定位误差,d是成像设备与被定位的移动设备的用户之间的距离,ferror是定位距离d与定位误差δ之间的函数关系。
取决于与被定位的移动设备的用户之间的距离,每个成像设备具有其自己的定位误差,由此,每个成像设备的定位误差范围可以表示为以其所定位的用户的位置为圆心、以其定位误差为半径的圆形,如以下公式(13)所示:
C1a error=(C1a,δA1a)
C2a error=(C2a,δA2a)
……
Cna error=(Cna,δAna) (13)
其中,Cna是第n成像设备通过立体视觉方式定位的用户的位置,δAna是第n成像设备的定位误差,Cna error是第n成像设备的定位误差范围。
其中,每个成像设备定位的用户的位置Cna可以表示为三维坐标,如以下公式(14)所示:
C1a(C1ax,C1syC1az)
C2a(C2ax,C2ayC2ax)
……
Cna(Cnax,CnayCnaz) (14)
而且,根据以上公式(12),每个移动设备的定位误差δAna可以表示为以下公式(15):
δA1a=ferror(d1a)
δA2a=ferror(d2a)
……
δA2a=ferror(dna) (15)
如上所述,由于与用户的距离不同,所以各个成像设备的定位误差也不相同。因为多个成像设备中定位误差小的成像设备对同一用户的定位结果可靠度更高,所以,可以计算每个成像设备的权重,如以下公式(16)所示:
kia weight=ΣδA1aA21 (16)
其中,kia weight是对于第i个成像设备的定位误差范围Cia error的权重因子;δAia是第i个成像设备的定位误差。
随后,可以将该权重因子kia weight归一化,利用三角质心定位方法,缩减定位误差区域,提高定位精度,获得优化的用户位置信息。然后,成像设备可以基于优化的位置信息进行上述的比较处理。
图9示出了采用三个成像设备提高定位精度的示意图。如图9所示,被定位的节点a、b同时处于成像设备2的定位误差范围内(图中以圆形示出定位误差范围),因此对于成像设备2而言,可能难以区分节点a、b位置信息。然而,通过采用三个成像设备,对于成像设备1而言,其距离节点a、b的位置更近,定位误差相对较小,其定位结果的可靠度相对而言较高。基于三个成像设备的定位误差范围以及相应的权重,能够缩减定位误差区域,从而优化节点a、b的位置信息,如图中的阴影部分所示。由此,能够区分节点a、b以便为其分配相应的标识信息。当然,示出采用三个成像设备仅仅是一个例子,可以采用的成像设备的数目不限于此并且可以根据具体应用情况而确定。
需要注意的是,在上述的位置信息优化处理中,采用了多个成像设备,如果对每个成像设备都进行自身位置的优化,每个成像设备会得到更精确的定位结果。但是,在实际应用时,由于算法成本和耗时等的问题,可以仅在通过根据移动设备的惯性数据提高定位精度仍然不能分辨位置靠近的用户时,比如不同用户在有效历史窗口中的历史位置信息仍然相同时进行这样的优化。在进行位置信息的比较时,可以仅采用其中一个成像设备的位置信息优化结果来进行比较,也可以结合多个成像设备的定位位置结果进行比较,这取决于系统的定位精度和识别精度要求,在具体应用时本领域技术人员可以视情况灵活确定。
从而,即使在位置靠近的多个用户在有效历史窗口中的历史位置信息仍然难以分辨的情况下,例如在如上根据惯性数据校正后的第一距离中存在距离之差小于第一预定值的多个相同的第一距离或者校正后的第一方位角中存在方位角之差小于第二预定值的多个相同的第一方位角的情况下,也可以通过采用多个成像设备来优化移动设备的用户的位置信息以便将这些用户的位置区分开。
在根据本发明的另一实施例中,在步骤S240中将移动设备的标识信息与移动设备的用户关联之后,成像设备还可以向移动设备发送与该移动设备相关联的用户的第一位置信息,以及在整个无线网络中分享具有标识信息的移动设备的用户的位置信息,以便实现对用户的跟踪等。
根据本发明的以上实施例中描述的识别方法,结合了两种定位方法识别被定位的人,低复杂度地实现了识别功能。因为该方法无需外加的视频处理方法,所以不受外界环境因素,比如光线的干扰。
在进一步的实施例中,通过采用惯性数据校正位置信息和/或采用多个成像设备优化位置信息,定位精度得到了提高,能够更准确地识别用户。通过成像设备根据用户的标识信息分享用户的位置信息,实现了整个网络的定位需求,而且定位精度好于传统的仅依靠无线网络定位的方法。
而且,因为利用基于位置信息的身份识别方法,所以成像设备能够根据正确的身份标识信息跟踪被定位的物体,尤其是在实际较为复杂的环境中,比如人群、人进出视频区域、人相互交叉影响等,能有效地进行准备跟踪。
图10示出了可应用于本发明中的成像设备的结构框图。如图10所示,该成像设备可以包括:处理单元U11,用于控制成像设备的行为,进行上述的位置信息的获取、位置信息的比较等等;无线组网单元U12,用于组建无线网络;声音信号发送单元U13,用于发送声音信号以实现无线定位过程;视觉处理单元U14,用于处理图像以实现;立体视觉定位过程;计时器U15,用于记录信号发送的时刻,实现TOF距离测量算法;存储单元U16,用于存储定位过程中的数据:标识信息、通过无线方式的定位结果、通过立体视觉方式的定位结果和来自惯性传感器的惯性数据;供电单元U17,用于提供电源。
对于声音信号发送单元U13,在典型的移动设备应用中,发送和接收的声音信号是在听觉范围内的。同时,另外一些典型的应用,声音信号可以是超声范围的(高频)或者是次声范围的(低频)。
图11示出了可应用于本发明中的移动设备的结构框图。如图11所示,该移动设备可以包括:处理单元U21,用于控制移动设备的行为;无线组网单元U22,用于组建无线网络;声音信号接收单元U23,用于接收和处理声音信号;惯性传感单元U24,用于收集惯性传感数据,实现定位过程;计时器U25,用于记录信号接收的时刻,实现TOF距离测量算法;存储单元U26,用于存储定位过程中的数据:标识信息和惯性传感数据;供电单元U27,用于提供电源。
当然,图10与图11中仅仅示出了可能与本发明有关的移动设备和成像设备的结构,移动设备和成像设备还可以包括任何其他可能的硬件和/或软件功能。
图12示出了根据本发明的识别方法的一个具体应用实例的时序图。如图12所示,该实例可以包括以下过程:1)在整个无线网络开始阶段,成像设备建立无线网络S11;2)移动设备加入无线网络S12;3)成像设备基于无线技术,搜集移动设备的标识信息S13;4)成像设备通过视觉方式定位人的位置S2;5)基于成像设备标识进行声音频率信号编码S31;6)成像设备发送低频声音编码信号给被定位人携带的移动设备S32;7)成像设备完成发送工作后,记录发送时刻S33;8)移动设备接收并解码声音信号S34;9)移动设备打包无线信号,无线信号包含了声音信号编码的成像设备的身份标识信息和移动设备自己的身份标识信息S35;10)移动设备发送无线信号给成像设备S36;11)当成像设备接收到无线信号时,成像设备记录接收时刻S37;12)成像设备通过TOF(飞跃时间)计算距离S38;13)成像设备根据多普勒效应和惯性传感数据计算方位角S39;14)通过距离与方位角比较,将身份标识与其位置绑定S41;15)如果绑定失败,移动信息辅助提高定位精度,再次绑定S42;16)如果移动信息辅助失败,多个成像设备协作辅助提高定位精度,再次绑定S43;17)成像设备根据移动设备的标识,向移动设备发送位置信息,实现全网定位S5。
图13示出了根据本发明的另一实施例的通过成像设备识别至少一个移动设备的用户的装置的功能框图。如图13所示,该装置1300可以包括:第一位置信息获得部件1310,用于通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;第二位置信息获得部件1320,用于通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;比较部件1330,用于比较所获得的第一位置信息和第二位置信息;确定部件1340,用于基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,该第一位置信息可以包括移动设备的用户与成像设备的第一距离,该第二位置信息可以包括移动设备与成像设备的第二距离,并且如果比较部件1330确定第一距离中的一个与第二距离中的一个之间的差最小,则所述确定部件1340将对应于所述第一距离中的一个的用户与对应于所述第二距离中的一个的移动设备的标识信息关联。
在一个实施例中,所述第一位置信息获得部件1310通过所述成像设备获得移动设备的用户的视差信息;通过所述成像设备从所述视差信息获得移动设备的用户与成像设备的第一距离。
在一个实施例中,第二位置信息获得部件1320通过所述移动设备加入所述成像设备的无线网络;通过所述成像设备向处于该无线网络中的移动设备发送信号;通过移动设备在接收到所述信号时,向成像设备发送包含该移动设备自身的标识信息的响应信号;通过成像设备接收所述响应信号以获取移动设备的标识信息,并且根据发送信号的时间以及接收到所述响应信号的时间,计算移动设备与成像设备的第二距离。
在一个实施例中,第一位置信息可以包括移动设备的用户相对于所述成像设备的第一方位角,第二位置信息还可以包括每个移动设备相对于所述成像设备的第二方位角。比较部件1330比较移动设备的用户的第一方位角和每个移动设备的第二方位角,并且所述确定部件1340基于方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,如果比较部件1330确定第一方位角中的一个与第二方位角中的一个之间的差最小,则所述确定部件1340将对应于所述第一方位角中的一个的用户与对应于所述第二方位角中的一个的移动设备的标识信息关联。
在一个实施例中,所述装置还可以包括:惯性数据获得部件(未示出),用于通过所述成像设备基于与每个移动设备的无线通信获取每个移动设备的惯性数据;以及校正部件,用于利用所述惯性数据校正所获得的第一位置信息。其中所述确定部件1340基于校正后的第一位置信息与第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,所述第一位置信息获得部件1310还可以通过多个成像设备获取所述至少一个移动设备中的每个移动设备的用户与每个成像设备的第一距离。所述装置还可以包括:定位误差范围获得部件,用于基于每个移动设备的用户与每个成像设备的第一位置信息计算每个成像设备对于每个移动设备的定位误差范围;优化部件,用于基于每个成像设备对于同一用户的定位误差范围,优化每个成像设备对于该用户的第一距离和/或第一方位角的计算结果。所述比较部件1330比较一个成像设备的优化的第一位置信息与相同的成像设备所获得的第二位置信息,所述确定部件1340基于优化的位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
在一个实施例中,所述装置还可以包括:发送部件,用于在所述确定部件将移动设备的标识信息与移动设备的用户关联之后,从成像设备向移动设备发送与该移动设备相关联的用户的第一位置信息。
以上已经参考附图详细描述了根据本发明的实施例的用户识别方法和装置。尽管在以上以携带移动设备的用户作为对象进行描述,但是本领域技术人员很清楚,本发明可应用的对象不限于此。
本公开中涉及的装置、设备、系统的方框图仅作为例示性的例子,并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子,并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的,可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序;这些词语仅用于引导读者通读这些方法的描述。例如,在以上的方法200中,虽然按照描述的顺序在步骤S210中获取第一位置信息,在步骤S220中获取第二位置信息,然而,第一和第二位置信息的获取顺序不限于此,并且也可以先获取第二位置信息,再获取第一位置信息,或者同时获取第一和第二位置信息。
此外,例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种通过成像设备识别至少一个移动设备的用户的方法,包括:
通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;
通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;
比较所获得的第一位置信息和第二位置信息;
基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
2.如权利要求1所述的方法,其中所述第一位置信息包括移动设备的用户与成像设备的第一距离,所述第二位置信息包括移动设备与成像设备的第二距离,并且基于所述比较的结果确定是否将所述移动设备的标识与所述移动设备的用户关联包括:
如果第一距离中的一个与第二距离中的一个之间的差最小,则将对应于所述第一距离中的一个的用户与对应于所述第二距离中的一个的移动设备的标识信息关联。
3.如权利要求2所述的方法,其中通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息包括:
由所述成像设备获得移动设备的用户的视差信息;
由所述成像设备从所述视差信息获得移动设备的用户与成像设备的第一距离。
4.如权利要求2所述的方法,其中通过所述成像设备基于获取每个移动设备的第二位置信息以及每个移动设备的标识信息包括:
所述移动设备加入所述成像设备的无线网络;
通过所述成像设备向处于该无线网络中的移动设备发送信号;
移动设备在接收到所述信号时,向成像设备发送包含该移动设备自身的标识信息的响应信号;
成像设备接收所述响应信号以获取移动设备的标识信息,并且根据发送信号的时间以及接收到所述响应信号的时间计算移动设备与成像设备的第二距离。
5.如权利要求1所述的方法,其中所述第一位置信息包括移动设备的用户相对于所述成像设备的第一方位角,所述第二位置信息还包括每个移动设备相对于所述成像设备的第二方位角,
其中,基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联包括:基于第一和第二方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
6.如权利要求5所述的方法,其中基于第一和第二方位角的比较结果确定是否将移动设备的标识信息与移动设备的用户关联包括:
如果第一方位角中的一个与第二方位角中的一个之间的差最小,则将对应于所述第一方位角中的一个的用户与对应于所述第二方位角中的一个的移动设备的标识信息关联。
7.如权利要求1所述的方法,还包括:
通过所述成像设备基于与每个移动设备的无线通信获取每个移动设备的惯性数据;以及
通过所述成像设备利用所述惯性数据校正所获得的第位置信息,并且基于校正后的第一位置信息与所述第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
8.如权利要求1所述的方法,还包括:
通过多个成像设备获取所述至少一个移动设备中的每个移动设备的用户与每个成像设备的第一位置信息;
基于每个移动设备的用户与每个成像设备的第一位置信息计算每个成像设备对于每个移动设备的定位误差范围;
基于每个成像设备对于同一用户的定位误差范围,优化每个成像设备对于该用户的第一位置信息的计算结果,
其中基于一个成像设备的优化的第一位置信息与相同的成像设备所获得的第二位置信息的比较结果确定是否将移动设备的标识信息与移动设备的用户关联。
9.如权利要求1-8的任意一项所述的方法,还包括:
在将移动设备的标识信息与移动设备的用户关联之后,成像设备向移动设备发送与该移动设备相关联的用户的第一位置信息。
10.一种通过成像设备识别至少一个移动设备的用户的装置,包括:
第一位置信息获得部件,用于通过所述成像设备获取所述至少一个移动设备中的每个移动设备的用户的第一位置信息;
第二位置信息获得部件,用于通过所述成像设备获取每个移动设备的第二位置信息以及每个移动设备的标识信息;
比较部件,用于比较所获得的第一位置信息和第二位置信息;
确定部件,用于基于所述比较的结果确定是否将移动设备的标识信息与移动设备的用户关联。
CN201510064943.5A 2015-02-09 2015-02-09 识别移动设备的用户的方法和装置 Active CN105987694B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510064943.5A CN105987694B (zh) 2015-02-09 2015-02-09 识别移动设备的用户的方法和装置
US15/012,214 US10123158B2 (en) 2015-02-09 2016-02-01 Method and device for recognizing user of mobile device
JP2016021088A JP6142931B2 (ja) 2015-02-09 2016-02-05 移動端末を携帯するユーザの識別方法と装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510064943.5A CN105987694B (zh) 2015-02-09 2015-02-09 识别移动设备的用户的方法和装置

Publications (2)

Publication Number Publication Date
CN105987694A true CN105987694A (zh) 2016-10-05
CN105987694B CN105987694B (zh) 2019-06-07

Family

ID=56566910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510064943.5A Active CN105987694B (zh) 2015-02-09 2015-02-09 识别移动设备的用户的方法和装置

Country Status (3)

Country Link
US (1) US10123158B2 (zh)
JP (1) JP6142931B2 (zh)
CN (1) CN105987694B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537094A (zh) * 2017-03-03 2018-09-14 株式会社理光 图像处理方法、装置和系统
CN108693538A (zh) * 2017-04-07 2018-10-23 北京雷动云合智能技术有限公司 基于双目结构光的准确置信度深度摄像机测距装置及方法
CN112071401A (zh) * 2020-09-05 2020-12-11 苏州贝基电子科技有限公司 一种基于大数据的健康饮食管理系统
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101581632B1 (ko) 2015-03-10 2015-12-30 최승욱 단말기 간의 접촉을 확인하는 방법 및 이를 실행하는 컴퓨터 프로그램 및 애플리케이션
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
JP6845790B2 (ja) * 2017-11-30 2021-03-24 株式会社東芝 位置推定装置、位置推定方法及び端末装置
EP3827408A4 (en) * 2018-07-26 2022-04-06 Standard Cognition, Corp. SYSTEMS AND METHODS FOR VERIFYING BUYERS IN A CASHIERLESS STORE
JP7374851B2 (ja) * 2020-06-08 2023-11-07 清水建設株式会社 情報表示装置及び情報表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099350A (ja) * 2001-05-31 2003-04-04 Seiko Epson Corp 位置情報関連サービスの提供方法
JP2006127240A (ja) * 2004-10-29 2006-05-18 Secom Co Ltd 不審者検出システム及び不審者検出プログラム
CN101681549A (zh) * 2008-03-11 2010-03-24 松下电器产业株式会社 标签传感器系统、传感器装置、物体位置推测装置及物体位置推测方法
CN102385050A (zh) * 2010-09-02 2012-03-21 卡西欧计算机株式会社 测位装置及测位方法
CN103868511A (zh) * 2014-02-21 2014-06-18 武汉眸博科技有限公司 地理位置信息估算方法、修复方法和显示方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558762B2 (en) * 2004-08-14 2009-07-07 Hrl Laboratories, Llc Multi-view cognitive swarm for object recognition and 3D tracking
JP2006311111A (ja) * 2005-04-27 2006-11-09 Daikin Ind Ltd 位置検知システムおよび位置検知方法
JP2010531430A (ja) * 2007-04-03 2010-09-24 ヒューマン・ネットワーク・ラブズ・インコーポレーテッド ローカル位置を取得し、情報をオーバーレイするための方法および装置
JP5487677B2 (ja) * 2009-03-30 2014-05-07 富士通株式会社 位置情報サービス装置、方法、及びプログラム
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
US8615254B2 (en) * 2010-08-18 2013-12-24 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US8634849B2 (en) * 2011-01-19 2014-01-21 Qualcomm Incorporated Methods and apparatus for mobile device based location determination in a communications system
US20140036087A1 (en) * 2012-07-31 2014-02-06 Sony Corporation Enhancing a user experience utilizing camera location information and user device information
US8913144B2 (en) * 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP6434513B2 (ja) * 2013-08-12 2018-12-05 アップル インコーポレイテッドApple Inc. 視覚に基づく慣性ナビゲーション

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099350A (ja) * 2001-05-31 2003-04-04 Seiko Epson Corp 位置情報関連サービスの提供方法
JP2006127240A (ja) * 2004-10-29 2006-05-18 Secom Co Ltd 不審者検出システム及び不審者検出プログラム
CN101681549A (zh) * 2008-03-11 2010-03-24 松下电器产业株式会社 标签传感器系统、传感器装置、物体位置推测装置及物体位置推测方法
CN102385050A (zh) * 2010-09-02 2012-03-21 卡西欧计算机株式会社 测位装置及测位方法
CN103868511A (zh) * 2014-02-21 2014-06-18 武汉眸博科技有限公司 地理位置信息估算方法、修复方法和显示方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537094A (zh) * 2017-03-03 2018-09-14 株式会社理光 图像处理方法、装置和系统
CN108537094B (zh) * 2017-03-03 2022-11-22 株式会社理光 图像处理方法、装置和系统
CN108693538A (zh) * 2017-04-07 2018-10-23 北京雷动云合智能技术有限公司 基于双目结构光的准确置信度深度摄像机测距装置及方法
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location
CN112071401A (zh) * 2020-09-05 2020-12-11 苏州贝基电子科技有限公司 一种基于大数据的健康饮食管理系统

Also Published As

Publication number Publication date
US20160232677A1 (en) 2016-08-11
US10123158B2 (en) 2018-11-06
CN105987694B (zh) 2019-06-07
JP2016154329A (ja) 2016-08-25
JP6142931B2 (ja) 2017-06-07

Similar Documents

Publication Publication Date Title
CN105987694A (zh) 识别移动设备的用户的方法和装置
Hassan et al. Indoor positioning using visible led lights: A survey
LaMarca et al. Location systems: An introduction to the technology behind location awareness
US20160231415A1 (en) Relative orientation angle calculation method and device as well as relative positioning method
US11809787B2 (en) Architectural drawing aspect based exchange of geospatial related digital content
CN105849579B (zh) 目标设备的定位方法和移动终端
US11893317B2 (en) Method and apparatus for associating digital content with wireless transmission nodes in a wireless communication area
CN105975967B (zh) 一种目标定位方法和系统
CN110431378A (zh) 相对于自主车辆和乘客的位置信令
US11507714B2 (en) Methods and apparatus for secure persistent location based digital content
US11567195B2 (en) Ad hoc positioning of mobile devices using near ultrasound signals
US20060227998A1 (en) Method for using networked programmable fiducials for motion tracking
Tiemann et al. CELIDON: Supporting first responders through 3D AOA-based UWB ad-hoc localization
CN106716053A (zh) 移动体的三维姿势及位置识别装置
Murakami et al. Five degrees-of-freedom pose-estimation method for smartphones using a single acoustic anchor
Takafuji et al. Indoor localization utilizing tracking scanners and motion sensors
Carroll et al. Doppler-aided localization of mobile nodes in an underwater distributed antenna system
Jang Utilization of ubiquitous computing for construction AR technology
US20170359671A1 (en) Positioning arrangement
Jose et al. Taylor series method in TDOA approach for indoor positioning system.
Anjum Camera localization in distributed networks using trajectory estimation
Ruotsalainen et al. The Present and Future of Indoor Navigation
CN113329333A (zh) 一种室内定位的方法、装置、计算机设备及存储介质
Rodrigues et al. Indoor position tracking: An application using the Arduino mobile platform
Liu et al. Point-to-Point Rotation Orientation Algorithm Based on the Secondary Template Matching

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant