CN102200578A - 数据关联设备和方法 - Google Patents

数据关联设备和方法 Download PDF

Info

Publication number
CN102200578A
CN102200578A CN2010101357963A CN201010135796A CN102200578A CN 102200578 A CN102200578 A CN 102200578A CN 2010101357963 A CN2010101357963 A CN 2010101357963A CN 201010135796 A CN201010135796 A CN 201010135796A CN 102200578 A CN102200578 A CN 102200578A
Authority
CN
China
Prior art keywords
target
data
information
primary importance
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101357963A
Other languages
English (en)
Other versions
CN102200578B (zh
Inventor
曾炜
张洪明
赵军辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC China Co Ltd
Renesas Electronics China Co Ltd
Original Assignee
NEC China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC China Co Ltd filed Critical NEC China Co Ltd
Priority to CN 201010135796 priority Critical patent/CN102200578B/zh
Priority to JP2011005720A priority patent/JP5554726B2/ja
Publication of CN102200578A publication Critical patent/CN102200578A/zh
Application granted granted Critical
Publication of CN102200578B publication Critical patent/CN102200578B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种数据关联设备,包括:目标定位单元,被配置为从摄像机接收目标的图像数据,并产生目标的第一位置信息;存储单元,被配置为存储所述目标定位单元产生的目标的第一位置信息,并存储来自位置传感器的目标的第二位置信息;以及关联单元,被配置为根据存储单元中存储的第一位置信息和第二位置信息,把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。本发明还提供了一种相应的数据关联方法。

Description

数据关联设备和方法
技术领域
本发明涉及传感器领域,具体涉及一种基于定位传感器和摄像机的异质传感器数据关联设备和方法。
背景技术
越来越多的传感器出现在人们的日常生活中,改变和提高人类的生活质量。位置信息,尤其是人的位置信息的获取可以为人类的日常生活提供各种便利。比如,在交通应用中,如果知道人群经常聚集的道路,就可以进一步优化交通设施的部署,改变车行路线,从而提高人们出行的效率。又如,在日常办公中,如果能够将办公设备放置在合适的位置,就可以节约人们到达这些设备的距离,进一步提高工作效率。
更为广泛的是基于位置的服务,根据个人所处的位置,信息系统可以按照位置特点提供不同种类的服务。如在机场,当用户在不同的区域内时,就可以获得不同的信息服务,如位置索引、店铺信息、公共设施的位置提示等等。在商场,当用户走到不同的柜台和货架时,相关的商品信息就可以通过公共显示屏或者移动设备显示,以方便用户寻找自己需要商品以及相关信息,提供个性化的信息服务。当今的社会,公共的视频采集设备已经广泛存在,为人们的日常生活提供安全服务。同样,这些设备也可以用来分析人类的行为习惯,从而为个体提供精准的信息服务分析结果。因此,在人们的日常生活中,将来自不同传感器的不同种类的信息汇集起来,形成一个无所不在的网络,就可以为用户提供高质量的个性化信息服务。因此,将位置信息和图像信息结合起来,就能够形成专门针对人类的行为以及位置相关的全方位信息服务。
特定环境中布置的各种传感器一方面按照自己的工作方式感知这个环境,同时也能够相互配合,从不同方面感知这个环境中的事物。相互协同工作的传感器能够在多个信息通道感知目标的信息,能够提供比单个传感器更为准确和丰富的信息。然而,当一个被感知的目标同时被多个异种传感器感知时,判断哪些传感器为该目标提供了传感信息则成为一个问题。原因是这些不同种类的传感器往往被部署在整个环境中,每种传感器工作在不同的时间和空间上,拥有不同的作用范围和感知特性,并感知着环境中的不同目标。另外,环境的目标也是随机存在的,不同类型的目标能够被感知的信息也可能不同。因此,针对一个目标,需要处理布置在同一个环境中的异质传感器的数据关联问题,即在某一时刻,需要判断哪些传感器在同一时刻感知到了相同的目标对象。
一种直接将传感器数据进行关联的方式是将所有传感器安装到一起,如拥有多种传感器的机器人和数据衣。在这种方式下,异质传感器同时感知周围环境并协同工作。这种传感器的数据关联是建立在直接硬件关联之上,不需要特殊的判别过程。与此类似,将所有传感器安装到同一个环境中,感知这个环境下的目标。
另一种传感器关联的情况是传感器分散安装。在某一时刻,部分传感器感知到了目标。在这种情况下,需要实时根据目标关联传感器的数据。如果能够将传感器的作用范围事先确定,一旦目标进入到传感器的工作区域时,这些传感器就工作起来,将各自的数据进行关联汇总。这种传感器数据关联的方式是基于传感器的工作区域来进行的。也就是说,同一个工作区域的传感器是关联的。然而,当传感器的工作范围不确定时,因为无法判断哪些传感器的工作区域是共同的,所以传感器的数据的实时关联依旧是一个问题。传感器数据的动态关联则是解决这类问题的策略。动态关联传感器的数据就是要根据传感器感知的目标,实时将与该目标相关的传感器数据进行关联。
然而,动态的传感器数据关联同传感器的特性相关,不同种类的传感器采用不同的策略关联算法。参考文献1(Association andidentification in heterogeneous sensors environment withcoverage uncertainty.S.H.Cho,S.Hong,Y.Nam.Internationalconference on advanced video and signal based surveillance,pp.553-558,2009)提出了一种动态关联身份传感器和摄像机的技术,其中,通过时间和历史信息可以将这两种传感器有效关联。具体地,该方法主要是通过目标进入和离开身份传感器的感应区这两种事件来关联身份传感器和摄像机。当目标进入到身份传感器的感应区域时,该“进入”事件被检测到。同时,由于目标进入,摄像机可对目标进行跟踪。所以,当目标“进入”事件发生时,目标被摄像机定位和跟踪,目标的身份信息就和摄像机的轨迹信息根据目标进入感应区域的时间关联起来。同理,当物体离开身份感应区时,“离开”事件被检测到,根据目标离开的事件和目标在环境中的历史轨迹,就可以追溯目标历史轨迹的身份信息,从而将身份信息同轨迹信息关联起来。然而,如果多个目标同时进入并且同时离开,则这种方法无法将多个目标中每一个目标的身份信息和轨迹信息相关联。
发明内容
因此,为了解决上述问题,本发明公开了一种利用位置信息将位置传感器和摄像机进行传感器数据关联的设备和方法。本发明是一种动态传感器数据关联技术,并不需要对每种传感器的工作区域进行事先确定。在本发明中,位置传感器提供两类信息:目标位置信息和身份信息;而摄像机提供目标的属性信息。在此基础上,本发明将目标的位置信息、身份信息和属性信息进行动态关联,形成对目标的统一描述。本发明的基本思想是利用单个摄像机的目标位置信息直接计算目标的环境位置信息,通过位置信息的关联,从而实现位置传感器和摄像机的数据关联。
根据本发明的一个方面,提供了一种数据关联设备,包括:目标定位单元,被配置为从摄像机接收目标的图像数据,并产生目标的第一位置信息;存储单元,被配置为存储目标定位单元产生的目标的第一位置信息,并存储来自位置传感器的目标的第二位置信息;以及关联单元,被配置为根据存储单元中存储的第一位置信息和第二位置信息,把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
优选地,目标定位单元被配置为:根据目标的图像数据来估算目标的第一位置信息,目标的第一位置信息包括目标与摄像机之间的水平转角信息。
优选地,关联单元被配置为:当多个目标的第一位置信息相同时,将多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配,从而把来自摄像机的多个目标的图像数据和来自位置传感器的多个目标的第二位置信息一一进行关联。
优选地,关联单元被配置为:针对每一个特定目标的第一位置信息,利用多个目标的第二位置信息计算目标的高度,把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
优选地,位置传感器包括位置信号接收器和位置标签,并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。更优选地,位置传感器是超声定位系统。更优选地,目标是人脸。
优选地,数据关联设备还包括:投票单元,被配置为在特定时间段中对关联单元的关联结果进行累积,并通过投票的方式获得最终的关联结果。
根据本发明的另一个方面,提供了一种数据关联方法,包括以下步骤:从摄像机接收目标的图像数据,并产生目标的第一位置信息;从位置传感器接收目标的第二位置信息;以及基于第一位置信息和第二位置信息,把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
优选地,目标的第一位置信息包括目标与摄像机之间的水平转角信息。更优选地,当多个目标的第一位置信息相同时,将多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配,从而把来自摄像机的多个目标的图像数据和来自位置传感器的多个目标的第二位置信息一一进行关联。
优选地,针对每一个特定目标的第一位置信息,利用多个目标的第二位置信息计算目标的高度,把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
优选地,数据关联方法还包括以下步骤:在特定时间段中,对关联步骤的关联结果进行累积,并通过投票的方式获得最终的关联结果。
优选地,位置传感器包括位置信号接收器和位置标签,并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。更优选地,位置传感器是超声定位系统。更优选地,目标是人脸。
本发明能够处理多个目标同时进入和同时离开的情况,不需要对目标进行相关事件检测。此外,本发明能够从单个摄像机推算位置信息,避免了使用摄像机进行三维位置估计时的特殊限制(如检测目标的脚部、标志等)。
附图说明
通过下文结合附图的详细描述,本发明的上述和其它特征将会变得更加明显,其中:
图1是示出了根据本发明一个实施例的数据关联设备的框图;
图2示出了根据本发明实施例的数据关联设备的一个示例应用场景;
图3示出了传感器数据关联的基本原理;
图4和图5是示出了摄像机与目标在空间中的位置关系的示意图;
图6示出了两个位置标签(两个人)在摄像机的同一水平方向的情景;
图7是示出了根据本发明另一个实施例的数据关联设备的框图;
图8是示出了根据本发明一个实施例的数据关联方法的流程图;以及
图9是示出了图8的方法中当摄像机同一水平方向出现多个目标的情况下用于确定位置标签的示例方法的流程图。
具体实施方式
下面,通过结合附图对本发明的具体实施例的描述,本发明的原理和实现将会变得明显。应当注意的是,本发明不应局限于下文所述的具体实施例。另外需要说明,为了简便起见,附图中没有示出与本发明直接相关的公知组件。
图1是示出了根据本发明一个实施例的数据关联设备100的框图。如图1所示,数据关联设备100包括目标定位单元101、存储单元102和关联单元103。目标定位单元101的输入接收来自摄像机的数据。存储单元102的一个输入接收来自位置传感器的数据,另一个输入接收来自目标定位单元101的输出。关联单元103从存储单元102获取所需数据,执行关联,从而将针对多个目标的来自摄像机的数据和来自位置传感器的数据彼此关联。
图2示出了根据本发明实施例的数据关联设备的一个示例应用场景。如图2所示,该应用场景中包括位置传感器和单个摄像机。位置传感器由位置信号接收器201和位置标签202组成。位置标签202佩戴在目标上,用于向位置信号接收器201发送定位信号。例如,在本示例中,两个位置标签202分别佩戴在两个人身上。安装在场景顶部的多个位置信号接收器201接收位置标签202发来的定位信号,计算出位置标签202在该场景中的三维位置坐标。由于可以给位置标签指定身份ID,因此,每一个位置标签与各自的身份ID一一对应。位置传感器就可以得到形如(tag_id,X,Y,Z)的位置数据。其中,tag_id为位置标签的ID,(X,Y,Z)为目标在环境中的三维坐标。相应地,摄像机203用来采集同目标相关的图像信息,并对图像信息进行分析处理,以获取目标的属性信息。例如以人为目标,可以获取人的属性信息,比如人脸的大小、衣服的颜色等。
当环境中只有一个目标时,位置传感器输出的位置数据和摄像机输出的目标属性数据的关联是一个直接关联的过程。也就是说,一旦从图像信息中分析出目标的属性数据,可以直接同位置数据进行关联。然而,当有若干个目标同时出现在摄像机中时(例如图2所示场景中的两个人),如何区分哪个目标佩戴了哪个位置标签则导致了传感器的动态数据关联问题。
图3示出了传感器数据关联的基本原理。来自传感器1和传感器2的数据分别为d1,d3和d2,d4。通过传感器数据关联处理,可以得知数据d1和d2,d3和d4是关联的,即d1和d2,d3和d4是分别来自场景中的同一个目标。于是,关联结果输出一个关联矩阵,其中1表示对应的行列数据是关联的,0则表示无关。
然而,由图像获得的目标属性具有一定的不确定性。如以人脸作为目标对象,从图像中检测的人脸,在准正面情况下可以达到98%的精度,而非正面情况下则只有95%左右。那么,根据人脸信息获得的人的属性就具有一定的不确定性。另外,由于人脸出现在图像中的位置不同,在图像中深度不同且大小不同的人脸可能获得相同尺寸的人脸区域,因此无法直接获得人脸在环境中的三维位置信息。此外,位置标签往往佩戴在衣服区域,也就是说不可能直接从人脸区域获得位置标签的位置信息,从而导致关联位置信息和图像信息的困难。
由于图像信息的不确定性,因此将位置传感器和摄像机进行数据关联的问题是一个动态的传感器数据关联问题。通常来说,动态关联两种传感器的数据的一般方法是定义一个数据的关联函数A(d1,d2),其中d1,d2是需要进行关联判断的来自不同传感器的数据。当数据是来自同一个目标时,关联函数输出为1,否则输出为0。在实现上,可以定义一个数据匹配函数来实现关联函数。通过图像数据的相似性,将满足一定相似度的数据确定为关联的。这样,就实现了关联函数。数据的匹配往往需要在同一个测度空间进行,因此必须要将图像信息转化为某种位置信息才能实现同位置传感器数据的位置信息匹配。或者,将位置信息转化到图像信息上。从图像中估计位置信息的技术称为视觉测量。在实际环境中,出于成本的考虑,往往在一个地方布置单个摄像机,因此要考虑单目摄像机的测量问题。
综上所述,在本发明中,将位置传感器和摄像机进行传感器数据关联的基本思想是:通过估算单目摄像机中目标的位置信息,匹配摄像机估计的目标位置和位置标签的获得的位置信息,从而实现这两种传感器的数据关联。
具体说来,再次参考图1和图2,摄像机203首先对采集的图像信息进行目标对象检测,从而得到目标对象在图像中的属性信息,如目标对象编号、其在图像中的坐标(x,y)以及相应的宽高(w,h)等。根据对象在图像中的坐标并结合摄像机203自身的参数,数据关联设备100中的目标定位单元101就可以估算出对象在环境中的位置信息,并将其传送至存储单元102中进行存储。另一方面,从位置传感器获得位置标签202的信号,定位位置标签202,从而直接计算出位置标签202的环境坐标(X,Y,Z),该环境坐标也被存储在存储单元102中。在此基础上,关联单元103从存储单元102中获取对象位置信息和标签位置信息,并进行基于位置的数据匹配,最终输出关联结果。在本实施例中,目标对象为人脸,而且位置传感器为超声定位系统。另外,由位置传感器获取的位置标签的数据可以通过参考文献1中的方法获得,而人脸检测的结果可以通过参考文献2(Paul Viola,Michael Jones.Rapid object detection using a boosted cascade of simplefeatures.Proceedings of the 2001 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,Vol.1pp.511-518,2001)获得。
下面,结合附图4-6来具体描述目标定位单元101如何由人脸检测的结果获得人脸在环境中的位置信息,以及关联单元103如何基于来自位置传感器和目标定位单元101的位置信息进行匹配以获得关联结果。
首先,如图4(a)所示,当一个摄像机拍摄人脸时,摄像机同地面、人脸的几何关系是一个简单的三角几何关系。人脸的高度Hp可以通过下式计算得到:
H p = H c - d p tgα - - - ( 1 )
其中Hc为摄像机的高度,dp为人到摄像机的水平距离,α为摄像机与垂直线的夹角。这个夹角是由人的测量点的高度决定。由于位置标签在人身上,因此dp直接由位置传感器得到。Hc则通过摄像机的标定得到,例如参见参考文献3(Zhengyou Zhang.Flexible CameraCalibration By Viewing a Plane From Unknown Orientations.International Conference on Computer Vision(ICCV’99),Corfu,Greece,pages 666-673,September 1999)中描述的方法。
于是,问题转化为如何获得夹角α。如图4(b)所示,P点对应的摄像机水平俯角β由两部分组成:一部分是摄像机本身的俯角β0和由高度Hp引起的角度β1。摄像机本身的俯角β0也可以有摄像机的标定预先得到。根据摄像机的成像原理,β1满足:
tg β 1 = y - y c f - - - ( 2 )
其中,如图4(c)所示,yc是图像y轴的中心坐标,f是摄像机的焦距,y为人的顶点对应的y轴坐标。摄像机的焦距f也可以在摄像机标定中预先得到。于是,高度Hp转化为:
H p = H c - d p ctg ( arctg ( y - y c f ) + β 0 ) - - - ( 3 )
这里,arctg是反正切函数。
在摄像机的水平方向上,如图4(d)所示,目标定位单元101可以由图像坐标计算出P点的水平转角θ:
θ = arc tg ( x - x c f ) - - - ( 4 )
这里,xc是图像X轴的中心坐标,x为人的顶点对应的X轴坐标。
由于位置传感器能够获得位置标签的三维坐标,因此,可以将该位置坐标投影到摄像机的水平面上从而获得该点的水平转角θ’,如图5所示。在图5中,假定Pd点是摄像机光心方向的一个点,该点在摄像机标定是指定。Pc是摄像机光心在地面的投影点,则根据三角关系有:
θ ′ = arc sin ( D 1 D p ) - - - ( 5 )
其中D1是P点到直线PcPd的距离,Dp是点P到Pc的距离。由于Pc和Pd在摄像机标定时得到,而P点坐标则由位置定位传感器提供,故θ’可以由关联单元103根据公式(5)直接计算得到。
综上所述,给定来自图像的数据点p和来自位置标签的环境位置点P,根据公式(4)和公式(5),摄像机水平方向上的关联函数可以定义如下:
Figure GSA00000048376400102
其中,p为图像坐标,P为环境的三维坐标。T是根据经验以及实际应用场景而确定的阈值。
然而,公式(6)仅仅描述了两种传感器在水平方向的度量。如果两个位置标签同时出现在水平转角为θ’的方向时,则会出现一个人脸同若干个位置标签的相匹配的情况。图6示出了两个位置标签(两个人)在摄像机的同一水平方向的示例情况。
如图6所示,来自人脸图像的数据点p1和p2会同来自位置传感器的P1和P2都匹配。这就产生了混淆的情况。为此需要进一步判断这两组点的匹配情况。这时,一个基本的前提是:摄像机同一水平方向的人脸是不会相互遮挡的。如果用一个来自人脸的p点与不同的P点匹配,只有真正匹配的点对在计算得到的人脸高度时最小,否则,图像中就会出现人脸的遮挡。基于此原理,对于点P1利用公式(3),可以根据p1和p可以算出对应的Hp11和Hp12。比较Hp11和Hp12,选择较小Hp值对应的图像数据p点同P1点匹配。其它的点依次类推。
更为具体地,在摄像机同一水平方向出现多个目标的情况下,可以设α角由小到大相对应的人脸集合为{p1,p2,…,pn},并设距离摄像机由近到远位置的标签集合为{P1,P2,…,Pn}。然后,目标定位单元101依次选择一个未被处理的人脸pi,并针对所选的人脸pi依次选择未被处理的位置标签Pj,并利用pi和Pj通过公式(1)计算对应的人脸高度Hij。根据计算结果,从所有计算得到的与pi对应的人脸高度中选取最小高度,其对应的位置标签为Pk。在此之后,目标定位单元101判定人脸pi同位置标签k对应,记录该对应结果,在人脸集合中标记人脸pi为已经处理,在位置标签集合中标记位置标签Pk为已经处理。
目标定位单元101对未处理的人脸反复执行以上处理,直到人脸集合中所有的人脸pi均得到处理。
综上所述,在本实施例中,以来自图像的数据点p和来自位置标签的环境位置点P为参数的总关联函数具有如下形式:
R′(p,P)=R(p,P)×M(p,P)(7)
M(p,P)为在摄像机同一水平方向时由人脸与位置标签对应算法的输出,当p和P对应时该算法输出为1,否则输出为0。
本实施例中的数据关联设备100能够从人脸检测的结果中获得人脸在环境中的三维位置信息,并基于位置数据进行匹配,从而能够在某一时刻对定位传感器和摄像机进行数据关联。
图7是示出了根据本发明另一个实施例的数据关联设备700的框图。数据关联设备700与图1中所示的数据关联设备100基本相同,唯一的不同在于数据关联设备700还包括投票单元704。在实际使用中,位置传感器具备跟踪功能。也就是说,在某一个时间段内,位置传感器总是同摄像机拍摄的同一个目标关联。因此,在图7所示的数据关联设备700中,关联单元703首先将来自位置传感器和摄像机的数据在各个时间点上进行关联。然后在某个时间段里,投票单元704采用投票的方式获得最终的关联结果。例如,设在T时间段内,每一时刻的关联函数A(p1,P1,t)的输出已经确定,则最终的关联结果为
A ( p 1 , P i ) = 1 , i = arg max ( Σ t R ′ ( p 1 , P j , t ) ) - - - ( 8 )
其中,j是t时刻同p1匹配的数据点P的索引。
因此,本实施例中的数据关联设备700可以在某个时间段内执行时间累积投票,从而能够获得更为精确的关联结果。
图8是示出了根据本发明一个实施例的数据关联方法800的流程图。该方法800在802处开始。在步骤804处,接收来自位置传感器和摄像机的数据。在步骤806处,对来自摄像机的数据进行处理,以估算摄像机所拍摄的目标的位置信息。在步骤808处,对所估计的目标位置和从位置传感器获得的位置信息进行匹配,从而实现传感器的数据关联。备选地,在步骤810,可以对特定时间段内每一时刻的关联结果进行累积,并通过投票的方式获得最终的关联结果。最后,方法在步骤812结束。
图9是示出了图8的方法中当在摄像机同一水平方向出现多个目标的情况下用于确定位置标签的示例方法的流程图。具体地,该方法在902处开始。接下来,在步骤904,假设α角(α为摄像机与垂直线的夹角,参见图4(a))由小到大所对应的人脸集合为{p1,p2,…,pn},并假设距离摄像机由近到远位置的位置标签集合为{P1,P2,…,Pn}。
在步骤906,从人脸集合中选择一个未被处理的人脸pi。在步骤908,依次选择一个未被处理的位置标签Pj。接下来,在步骤910,采用pi和Pj通过公式(1)计算对应的人脸高度Hij
然后,在步骤912,从所有计算得到的与pi对应的人脸高度中选取最小高度,其对应的位置标签为Pk。这样,在步骤914,判定人脸pi同位置标签k对应,记录该对应结果,从人脸集合中标记人脸pi为已经处理,并且从位置标签集合中标记位置标签Pk为已经处理。
在步骤916,判断人脸集合中是否还有未处理的人脸。如果是,则方法返回步骤906。否则,方法在918处结束。
如上文所述,本发明能够处理多个目标同时进入和同时离开的情况,不需要对目标进行相关事件检测。此外,本发明能够从单个摄像机推算位置信息,避免了使用摄像机进行三维位置估计时的特殊限制。
尽管以上已经结合本发明的优选实施例示出了本发明,但是本领域的技术人员将会理解,在不脱离本发明的精神和范围的情况下,可以对本发明进行各种修改、替换和改变。因此,本发明不应由上述实施例来限定,而应由所附权利要求及其等价物来限定。

Claims (16)

1.一种数据关联设备,包括:
目标定位单元,被配置为从摄像机接收目标的图像数据,并产生目标的第一位置信息;
存储单元,被配置为存储所述目标定位单元产生的目标的第一位置信息,并存储来自位置传感器的目标的第二位置信息;以及
关联单元,被配置为根据存储单元中存储的第一位置信息和第二位置信息,把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
2.如权利要求1所述的数据关联设备,其中,所述目标定位单元被配置为:根据目标的图像数据来估算目标的第一位置信息,目标的第一位置信息包括所述目标与摄像机之间的水平转角信息。
3.如权利要求2所述的数据关联设备,其中,所述关联单元被配置为:当多个目标的第一位置信息相同时,将所述多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配,从而把来自摄像机的所述多个目标的图像数据和来自位置传感器的所述多个目标的第二位置信息一一进行关联。
4.如权利要求3所述的数据关联设备,其中,所述关联单元被配置为:针对每一个特定目标的第一位置信息,利用所述多个目标的第二位置信息计算目标的高度,把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
5.如权利要求1所述的数据关联设备,其中,所述位置传感器包括位置信号接收器和位置标签,并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。
6.如权利要求5所述的数据关联设备,其中,所述位置传感器是超声定位系统。
7.如权利要求1所述的数据关联设备,其中,所述目标是人脸。
8.如权利要求1所述的数据关联设备,还包括:
投票单元,被配置为在特定时间段中对所述关联单元的关联结果进行累积,并通过投票的方式获得最终的关联结果。
9.一种数据关联方法,包括以下步骤:
从摄像机接收目标的图像数据,并产生目标的第一位置信息;
从位置传感器接收目标的第二位置信息;以及
基于第一位置信息和第二位置信息,把来自摄像机的目标的图像数据和来自位置传感器的目标的第二位置信息进行关联。
10.如权利要求9所述的数据关联方法,其中,目标的第一位置信息包括所述目标与摄像机之间的水平转角信息。
11.如权利要求10所述的数据关联方法,其中,当多个目标的第一位置信息相同时,将所述多个目标中每一个目标的第一位置信息与其相对应的第二位置信息进行匹配,从而把来自摄像机的所述多个目标的图像数据和来自位置传感器的所述多个目标的第二位置信息一一进行关联。
12.如权利要求11所述的数据关联方法,其中,针对每一个特定目标的第一位置信息,利用所述多个目标的第二位置信息计算目标的高度,把与最小高度相对应的目标的第二位置信息与该特定目标的第一位置信息相关联。
13.如权利要求9所述的数据关联方法,还包括以下步骤:
在特定时间段中,对所述关联步骤的关联结果进行累积,并通过投票的方式获得最终的关联结果。
14.如权利要求9所述的数据关联方法,其中,所述位置传感器包括位置信号接收器和位置标签,并且来自位置传感器的目标的第二位置信息包括目标的位置数据和目标的身份数据。
15.如权利要求14所述的数据关联方法,其中,所述位置传感器是超声定位系统。
16.如权利要求9所述的数据关联方法,其中,所述目标是人脸。
CN 201010135796 2010-03-25 2010-03-25 数据关联设备和方法 Expired - Fee Related CN102200578B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN 201010135796 CN102200578B (zh) 2010-03-25 2010-03-25 数据关联设备和方法
JP2011005720A JP5554726B2 (ja) 2010-03-25 2011-01-14 データ関連付けのための方法と装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010135796 CN102200578B (zh) 2010-03-25 2010-03-25 数据关联设备和方法

Publications (2)

Publication Number Publication Date
CN102200578A true CN102200578A (zh) 2011-09-28
CN102200578B CN102200578B (zh) 2013-09-04

Family

ID=44661411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010135796 Expired - Fee Related CN102200578B (zh) 2010-03-25 2010-03-25 数据关联设备和方法

Country Status (2)

Country Link
JP (1) JP5554726B2 (zh)
CN (1) CN102200578B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149610A1 (en) * 2014-04-03 2015-10-08 Beijing Zhigu Rui Tuo Tech Co., Ltd Association methods and association devices
CN108985263A (zh) * 2018-08-08 2018-12-11 北京旷视科技有限公司 一种数据采集方法、装置、电子设备和计算机可读介质
CN110321935A (zh) * 2019-06-13 2019-10-11 上海上湖信息技术有限公司 业务事件关系确定方法及装置、计算机可读存储介质
CN111695429A (zh) * 2020-05-15 2020-09-22 深圳云天励飞技术有限公司 视频图像目标关联方法、装置及终端设备
CN112986908A (zh) * 2021-04-26 2021-06-18 网络通信与安全紫金山实验室 定位标定方法、系统及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945088B (zh) * 2013-01-21 2017-06-27 华为终端有限公司 场景识别方法及装置
JP6678512B2 (ja) * 2016-05-17 2020-04-08 株式会社日立製作所 センサ設置位置支援装置
JP6611257B2 (ja) * 2016-07-19 2019-11-27 日本電信電話株式会社 行動認識装置、および、行動認識方法
JP6577424B2 (ja) * 2016-07-19 2019-09-18 日本電信電話株式会社 行動認識装置、および、行動認識方法
WO2023145026A1 (ja) * 2022-01-28 2023-08-03 日本電気株式会社 監視装置、監視方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469720A (zh) * 2000-08-21 2004-01-21 V-Ŀ�꼼�����޹�˾ 配有位置跟踪系统的放射性辐射探测器及其在医疗系统和医疗过程中的应用
CN1647535A (zh) * 2002-04-25 2005-07-27 松下电器产业株式会社 物体检测装置、物体检测服务器以及物体检测方法
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
JP2009140264A (ja) * 2007-12-06 2009-06-25 Takenaka Komuten Co Ltd 犯罪防止装置及び犯罪防止プログラム
CN101663594A (zh) * 2007-04-19 2010-03-03 罗伯特.博世有限公司 司机助手系统和物体似真性的检验方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
JP2010276529A (ja) * 2009-05-29 2010-12-09 Panasonic Corp 物体同定装置および物体同定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1469720A (zh) * 2000-08-21 2004-01-21 V-Ŀ�꼼�����޹�˾ 配有位置跟踪系统的放射性辐射探测器及其在医疗系统和医疗过程中的应用
CN1647535A (zh) * 2002-04-25 2005-07-27 松下电器产业株式会社 物体检测装置、物体检测服务器以及物体检测方法
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
CN101663594A (zh) * 2007-04-19 2010-03-03 罗伯特.博世有限公司 司机助手系统和物体似真性的检验方法
JP2009140264A (ja) * 2007-12-06 2009-06-25 Takenaka Komuten Co Ltd 犯罪防止装置及び犯罪防止プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015149610A1 (en) * 2014-04-03 2015-10-08 Beijing Zhigu Rui Tuo Tech Co., Ltd Association methods and association devices
US10552974B2 (en) 2014-04-03 2020-02-04 Beijing Zhigu Rui Tuo Tech Co., Ltd Association methods and association devices
CN108985263A (zh) * 2018-08-08 2018-12-11 北京旷视科技有限公司 一种数据采集方法、装置、电子设备和计算机可读介质
CN108985263B (zh) * 2018-08-08 2021-01-26 北京旷视科技有限公司 一种数据采集方法、装置、电子设备和计算机可读介质
CN110321935A (zh) * 2019-06-13 2019-10-11 上海上湖信息技术有限公司 业务事件关系确定方法及装置、计算机可读存储介质
CN111695429A (zh) * 2020-05-15 2020-09-22 深圳云天励飞技术有限公司 视频图像目标关联方法、装置及终端设备
CN112986908A (zh) * 2021-04-26 2021-06-18 网络通信与安全紫金山实验室 定位标定方法、系统及存储介质

Also Published As

Publication number Publication date
JP5554726B2 (ja) 2014-07-23
JP2011211687A (ja) 2011-10-20
CN102200578B (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
CN102200578B (zh) 数据关联设备和方法
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
US7929017B2 (en) Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US20180300887A1 (en) System and process for detecting, tracking and counting human objects of interest
US8989438B2 (en) Mobile body track identification system
Föckler et al. Phoneguide: museum guidance supported by on-device object recognition on mobile phones
US8270705B2 (en) System and method for monitoring motion object
CN105160321A (zh) 一种基于视觉与无线定位的移动终端身份确认方法
CN101639922A (zh) 来宾路径分析系统和方法
CN111914635A (zh) 人体测温方法、装置、系统和电子设备
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
CN105389562A (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN102833486A (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
JP4159159B2 (ja) 広告メディア評価装置
CN105357496A (zh) 一种多源大数据融合的视频监控行人身份识别方法
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
CN113988228B (zh) 一种基于rfid和视觉融合的室内监控方法及系统
CN108009530B (zh) 一种身份标定系统和方法
WO2020032944A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
CN114612521A (zh) 一种多目标多相机跟踪方法、系统、设备及存储介质
JP2019174910A (ja) 情報取得装置及び情報集計システム並びに情報集計装置
WO2022126668A1 (zh) 一种公共场所行人识别方法及人流统计系统
Chu et al. Cooperative multi-object tracking method for wireless video sensor networks
Zhao et al. Depth-assisted face detection and association for people counting
Enami et al. Pedestrian information collation through image-based person identification for pedestrian information sharing using V2V communications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130904

Termination date: 20180325