CN103377471A - 物体定位方法和装置、最优摄像机对确定方法和装置 - Google Patents
物体定位方法和装置、最优摄像机对确定方法和装置 Download PDFInfo
- Publication number
- CN103377471A CN103377471A CN2012101112965A CN201210111296A CN103377471A CN 103377471 A CN103377471 A CN 103377471A CN 2012101112965 A CN2012101112965 A CN 2012101112965A CN 201210111296 A CN201210111296 A CN 201210111296A CN 103377471 A CN103377471 A CN 103377471A
- Authority
- CN
- China
- Prior art keywords
- video camera
- optimum
- video cameras
- video
- predetermined space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 159
- 230000004807 localization Effects 0.000 claims description 130
- 230000008569 process Effects 0.000 claims description 50
- 238000009826 distribution Methods 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000002360 preparation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011089 mechanical engineering Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000019353 potassium silicate Nutrition 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- NTHWMYGWWRZVTN-UHFFFAOYSA-N sodium silicate Chemical compound [Na+].[Na+].[O-][Si]([O-])=O NTHWMYGWWRZVTN-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提供了物体定位、跟踪方法和装置以及最优摄像机对确定方法和装置。物体定位方法,利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:对物体进行粗略定位;根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及利用选取的摄像机对,对物体进行精细定位。根据本发明,多个摄像机的放置位置和朝向可以随意布置,可以快速、准确地实现对物体的定位和/或跟踪。
Description
技术领域
本发明总体地涉及图像处理,更具体地涉及通过多摄像机调度来进行物体定位的方法和装置、以及最优摄像机对确定方法和装置。
背景技术
目前已知一些通过对摄像机拍摄的图像或者视频流进行图像处理,来对物体进行定位或跟踪的方法。根据所使用的摄像机的数目,可以分为单摄像机定位跟踪和多摄像机定位跟踪。
在单摄像机定位跟踪方法中,使用单个摄像机通过图像处理进行跟踪,比如光流或者粒子滤波。这类跟踪方法基于二维信息,所以常常因为物体的快速移动和光线变化而失败。
在多摄像机定位跟踪方法中,一种已知基础方法是机器视觉中的定位方法,其中通过两个相机,可以通过若干步骤得到目标的距离或深度信息。但是,两个相机的摆放有许多限制,比如要平行放置等等。
在专利文献US6359647B1中,提出了一种使用多摄像机系统进行的物体跟踪的方法。具体的,当物体出现在所选中的摄像机的视角边界时,系统自动选择另一部摄像机;另外,系统根据预测的物体下一时刻位置选择和调整另一部摄像机。该方法本质上仍然是在各个时刻通过处理单个摄像机的图像来实现物体定位跟踪,因此精度不高。
在专利文献US20100231723A1中,提出了一种通过跟踪装置推断多摄像机网络拓扑结构的方法。具体的,该方法从所有摄像机所获得的各图像中提取运动对象,根据所提取的运动对象推断各个摄像机的特性,从而综合推断出多个摄像机间的拓扑结构以及摄像机间的距离;进而,利用所有摄像机跟踪运动对象。该方法中所有摄像机同时工作,分析所有摄像机拍摄的图像,因而对资源占用和消耗较大。
在专利文献US7623676B2中,提出一种使用多立体相机网络进行对象跟踪的装置。具体的,多个双目相机平行布置,且在各自的固定区域内跟踪物体,毗邻的双目相机之间视角稍微重叠,以及通过将各个区域跟踪的结果综合为全局跟踪。该方法中,双目相机布置固定,即平行布置,每个双目相机负责区域固定,另外处理的是由双目相机获得的深度图,这些方面限制了该方法的应用。
因此,需要对多摄像机的放置要求不高,且可以快速且准确地对物体进行定位和跟踪的方法和装置。
发明内容
本发明的一个目的是提供一种即使在随意放置多个摄像机的情况下,也可以准确对物体进行定位和跟踪的方法和装置。
本发明的另一个目的是提供一种物体定位和跟踪的方法和装置,在使用随意布置的多个摄像机的情况下,也可以快速和准确地对物体进行定位和跟踪。
本发明的再一个目的是提供一种确定在预定空间中布置的多个摄像机之中的最优摄像机对的最优摄像机对确定方法和装置。
根据本发明的一个方面,提供了一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,可以包括:对物体进行粗略定位;根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,来作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及利用选取的摄像机对,对物体进行精细定位。
根据本发明的另一方面,提供了一种最优摄像机对确定方法,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,可以包括:获得该多个摄像机的位置和朝向;获得两个摄像机的定位误差分布曲线,两个摄像机的定位误差分布曲线表示定位误差与两个摄像机间的距离以及物体距两个摄像机的距离之间的关系;计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及确定定位误差最小的摄像机对。
根据本发明的再一方面,提供了一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,可以包括:对物体进行粗略定位;基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差;确定定位误差最小的摄像机对;以及利用该摄像机对来对物体进行精细定位。
根据本发明的又一方面,提供了一种物体定位装置,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,可以包括:粗略定位部件,用于对物体进行粗略定位;最优摄像机对选取部件,用于根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,来作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及精细定位部件,用于利用选取的摄像机对,对物体进行精细定位。
根据本发明的另一方面,提供了一种最优摄像机对确定装置,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,可以包括:参数获得部件,用于获得预定空间的大小、该多个摄像机的位置和朝向;定位误差分布曲线获得部件,用于获得两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系;定位误差计算部件,用于根据定位误差分布区域,计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及最优摄像机对确定部件,用于确定定位误差最小的摄像机对。
根据本发明的另一方面,提供了一种物体定位装置,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,可以包括:粗略定位部件,对物体进行粗略定位;摄像机对定位误差计算部件,用于基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差;最优摄像机对确定部件,用于确定定位误差最小的摄像机对;以及精细定位部件,用于利用该摄像机对来对物体进行精细定位。
根据本发明的一个实施例,多个摄像机的放置位置和朝向可以随意布置,只要能覆盖想要定位和/或跟踪的区域即可。
根据本发明的一个实施例,因为在对物体的定位和/或跟踪过程中,仅调度需要的摄像机工作,而不是所有摄像机均投入工作,因此能够节省处理资源和时间开销。
根据本发明的一个实施例,因为预先准备最优摄像机对查找表,其中将各个位置和对应的摄像机对相关联地存储,从而在对物体进行实时定位、跟踪时,可以在粗略定位后,基于粗略位置检索最优摄像机对查找表,来确定适合于该粗略位置的最优摄像机对,进而通过针对该最优摄像机拍摄的图像和/或视频流进行分析和处理,而实现对物体的精细定位。由此可以快速、准确地实现对物体的定位和/或跟踪。
附图说明
图1示出了本发明中两个摄像机定位的三角原理的示意图;
图2示出了摄像机对定位的误差分布图的一个示意图;
图3示出了根据本发明一个实施例的第一示例性物体定位方法的总体流程图;
图4示出了根据本发明一个实施例的、对物体进行粗略定位的示例性方法的流程图;
图5示出了根据本发明一个实施例的基于粗略定位确定的位置、利用最优摄像机对查找表选取最优摄像机对、进行精细定位的示例性方法的流程图;
图6示意性地示出尝试周围位置的一种偏移策略;
图7示出了根据本发明一个实施例的第二示例性物体定位方法的总体流程图;
图8示出了根据本发明第二实施例的物体定位方法的总体流程图;
图9示出了根据本发明一个实施例、对于预定空间中的一个确定位置确定最优摄像机对的方法的流程图;
图10示出了根据本发明一个实施例的示例性最优摄像机对查找表制备方法的流程图;
图11示出了为预定空间为一个矩形房间的示例示意性俯瞰图;
图12示出了摄像机覆盖范围数据的示例;
图13示出本发明一个实施例中应用的在时间序列中进行物体跟踪的基本原理;
图14示出了根据本发明一个实施例的对象三维跟踪方法的流程图;
图15是根据本发明一个实施例的第一示例性物体定位装置的功能配置框图;
图16是根据本发明一个实施例的第二示例性物体定位装置的功能配置框图;
图17是根据本发明一个实施例的最优摄像机对确定装置的功能配置框图;以及
图18是示出按照本发明实施例的物体定位(跟踪)系统的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
将按下列顺序进行描述:
1、发明思想概述和基本概念介绍
1.1发明思想概述
1.2基本概念介绍
2、第一实施例
2.1、物体定位方法的第一示例的整体过程
2.2、物体粗略定位示例
2.3、物体精细定位示例
2.4、物体定位方法的第二示例的整体过程
3、第二实施例
4、最优摄像机对的确定以及最优摄像机对查找表的制备
5、物体跟踪方法
5.1、物体跟踪方法第一示例
5.2、物体跟踪方法第二示例
6、物体定位装置、最优摄像机对确定装置
6.1、第一示例性物体定位装置
6.2、第二示例性物体定位装置
6.3、最优摄像机对确定装置
7、系统硬件配置
8、总结
1、发明思想概述和基本概念介绍
1.1发明思想概述
在具体描述之前,首先总体介绍一下本发明的思想,以便本领域人员更好地理解本发明。
本发明人希望能动态确定并切换适于定位一个目标的两个摄像机(本文中,将对一个目标进行定位的两个摄像机称为摄像机对)。
在一个布置了多个摄像机的空间中,在各个摄像机的布置位置和朝向确定后,每个摄像机所拍摄的范围(下文称之为覆盖范围)确定。
对于任何一个目标,只要该目标落入任意两个摄像机的覆盖范围之内,即可以利用该两个摄像机来对此目标进行距离测量(下文中,有时简称为测距,另外,在本文中物体距离有时也称为物体深度),进而确定该目标的位置。请注意,在本文中,在不引起混淆的情况下,物体位置、物体距离或者物体深度是等效的,可以互相替代使用。
因而,可能存在能够对同一个目标测距的多种摄像机对的组合。但是每种组合的定位精度是不同的。测距的精度与物体深度Z和摄像机距离L之间存在很强关联性。因此可以根据此关联性来确定最优摄像机对,来得到对物体最精确的距离测量。可以将这样的位置和最有摄像机对相关联地存储,作为最有摄像机对查找表。
这样,在对物体进行实时定位时,可以通过任何手段首先对物体进行粗略定位,然后基于粗略位置检索最优摄像机对查找表,来确定适合于该粗略位置的最优摄像机对,进而通过针对该最优摄像机拍摄的图像和/或视频流进行分析和处理,而实现对物体的精细定位。由此可以快速、准确地实现对物体的定位和/或跟踪。
1.2基本概念介绍
以上介绍了本发明思想。为了便于更好地理解本发明,下面对利用两个摄像机对物体定位的原理以及定位的误差分布进行概要说明。
图1示出了本发明中两个摄像机定位的三角原理的示意图。检测的目标对象P以星型示出,其位置表示为(x,y),两个摄像机C1和C2位置和朝向分别表示为三元组C1(x1,y1,α1)和C2(x2,y2,α2),其中(x1,y1)表示摄像机C1的位置,α1表示摄像机C1的朝向,(x2,y2)表示摄像机C2的位置,α2表示摄像机C2的朝向。
可见,目标对象P和两个摄像机C1、C2构成三角形,如将P视为三角形的顶点,以及设两个底角分别为θ1、θ2。两个摄像机间的距离或者三角形底边长度L可以根据两个摄像机方位C1(x1,y1,α1)和C2(x2,y2,α2)而求得,以及底角θ1、θ2可以根据两个摄像机成像原理而算得,此为公知技术,为避免混淆本发明要点,这里不进行描述,感兴趣者可以参考下述网页http://en.wikipedia.org/wiki/Triangulation,其中具体描述了三角测距的原理在双目视觉上的应用。
目标对象的深度Z是该三角形的高,即目标对象P到底边C1C2的距离,可以用以下表达式计算:
知道了目标对象的深度Z,进而可以求得目标对象的位置P(x,y),从而实现了通过两个摄像机对目标对象的定位。
测距的精度与物体深度Z和摄像机距离L之间存在很强关联性,此关联性可以用误差分布图来表示。
图2示出了摄像机对定位的误差分布图的一个示意图。
在图2的误差分布图示例中,横坐标为物体深度Z和摄像机距离L之间的比值Z/L,纵坐标为误差水平。
上述误差分布图可以根据摄像机自身参数,例如焦距、广角、像素精度等计算出来,关于误差分布图的计算是公知技术,有关详细介绍,可以在例如张广军著的书籍《视觉测量》,北京:科学出版社,2008和刘琼等的“双目视觉测量系统结构参数设计及精度分析”,中国机械工程,Vol.19No.22,2008/112728-2732中找到。不过,替代地,误差分布图也可以通过实验得到。
一般情况下,在0.3<Z/L<1.4的范围内,对物体测距的误差水平较低。
不过,需要说明的是,具体误差分布图根据相机参数而不同,但是上述曲线图的总体走向是一样的。
2、第一实施例
2.1、物体定位方法的第一示例的整体过程
下面描述根据本发明一个实施例的、利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位的整体过程。
图3示出了根据本发明一个实施例的物体定位方法100的总体流程图。
该总体流程图假定针对一预定空间中,布置了多个摄像机,以对出现于该预定空间中的对象定位。
关于预定空间,例如可以是一个房间,例如超市、厂房等,不过也可以是室外的空间,例如学校场地、军工场所等,只要是可以作为监控对象的空间即可。关于被检测或定位的对象,没有特别限制,可以是人、动物、飞行物、汽车、椅子等等。
这里,假设多个摄像机已经布置好,即各个摄像机的位置和朝向已经固定。并且,优选地,这些摄像机全体可以覆盖整个预定空间,更优选地,对于整个预定空间中的任一位置,至少有两个摄像机可以覆盖到。
如图3所示,在步骤S110中,对物体进行粗略定位。关于粗略定位,可以是所有摄像机均工作,进行对象检测,在任两个摄像机检测出同一对象后,对该对象进行定位所获得的结果,下面将参考附图4对这种粗略定位方法的示例进行详细描述。不过,物体粗略定位的方法不限于此,可以是:例如利用辅助位置传感器确定的位置;或者可以是估计的位置,例如在封闭房间只有一个入口的情况下,如果是对进入的人进行检测,则可以在针对门口设置的摄像机检测到人时,即估计该人的位置为门口周围的预定范围;或者,在进行对象跟踪的情况下,也可以是根据对象运动特性而估计的位置;再或者,甚至可以是由人工指定的一个大概位置。
在步骤S120中,根据步骤S110中粗略定位获得的位置,从最优摄像机对查找表中检索最优摄像机对,来作为选取的摄像机对。在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对。这样的相关联存储的一条信息表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高。
最优摄像机对查找表的形式可以是值对<位置,摄像机对>。
关于这里的相关联存储的位置或位置信息,应该做广义理解,其既可以指一个点的位置如坐标值,也可以指位置区域或者位置范围例如一个矩形区域或者圆形区域等。
关于最优摄像机对查找表,可以事先制备并预先存储于诸如硬盘的存储器中。不过,也可以是在步骤S110之前的步骤中由诸如计算机的中央处理单元计算并生成的,下文将参考图7对此情况的实施例进行描述。以及将参考图9对最优摄像机对的确定以及最优摄像机对查找表的制备方法进行详细描述。
在步骤S130中,利用选取的摄像机对,对物体进行精细定位。下文将参考图5对物体精细定位的示例进行详细描述。
需要说明的是,上述粗略定位和精细定位是相对意义上的概念,即开始进行的定位即粗略定位在精度上低于后续进行的定位即精细定位,而不应理解为误差水平在某确定区间为粗略定位,在另一确定区间为精细定位。而且,很容易理解,由于不同应用场合、不同摄像机等诸多因素,对误差水平的要求也不同。
根据本发明上述实施例的物体定位方法,在物体的定位过程中,仅调度需要的摄像机工作,而不是所有摄像机均投入工作,因此能够节省处理资源和时间开销,有利于对物体的实时定位和跟踪。
而且,根据本发明上述实施例的物体定位方法,因为在实际物体定位中,在粗略定位后,基于粗略位置检索最优摄像机对查找表,来确定适合于该粗略位置的最优摄像机对,进而通过针对该最优摄像机拍摄的图像和/或视频流进行分析和处理,而实现对物体的精细定位。由此可以快速、准确地实现对物体的定位和/或跟踪。
另外,根据本发明上述实施例的物体定位方法,多个摄像机的放置位置和朝向可以随意布置,只要能覆盖想要跟踪的区域即可。
2.2、物体粗略定位示例
下面参考图4描述根据本发明一个实施例的、对物体进行粗略定位的示例性方法。图4示出了根据本发明一个实施例的、对物体进行粗略定位的示例性方法的流程图,该示例性方法可以应用于图3中的步骤S110。
如图4所示,在步骤S111中,所有摄像机投入对象检测中。
这里的所有摄像机进行对象检测,指的是利用例如中央处理单元等处理装置对所有摄像机拍摄获得的视频流中的视频帧进行处理,以检测对象。另外,所有摄像机进行检测,可以是并行对各个摄像机拍摄的视频进行处理来检测对象,也可以是串行地或者顺次地对各个摄像机拍摄的视频进行处理来检测对象,或者是二者的结合。这里为描述方便,例如,假设所检测的对象是人。则该步骤中所有的摄像机尝试检测房间内的人,检测方法可以采用人脸检测、运动检测、头肩形状匹配或者其他已知的技术。
在步骤S112中,判断是否至少两个摄像机检测到了同一对象。这里判断两个摄像机检测的对象是否是同一对象,可以采用例如对各自所检测到的对象的有关特征进行匹配的方法,或者例如对出现的大概位置进行对比的方法,或者由人工进行确认的方法。不过本发明不限于此,任何用于判断所检测对象是否同一的方法均可以用于本发明。
如果在步骤S112中,判断没有任何两个摄像机检测到同一对象,则过程返回到步骤S111,继续由所有摄像机进行对象检测。
否则,如果在步骤S112中,判断存在至少两个摄像机检测到同一对象,则前进到步骤S113。
在步骤S113中,利用两个摄像机来进行定位。在存在不止两个摄像机检测到同一对象的情况下,可以随意选择两个摄像机来进行定位。
在步骤S114中,输出对象的位置,作为粗略定位的位置。然后,处理结束。
上述粗略定位的方法仅为示例,本发明不局限于此,任何可以粗略获得物体位置的方法仅可用于本发明,例如采用定位传感器,或者利用物体运动特性进行预测,或者利用空间自身属性来初步估计等。
2.3、物体精细定位示例
下面参考图5,描述根据本发明一个实施例的基于粗略定位确定的位置、利用最优摄像机对查找表选取最优摄像机对、进行精细定位的方法的示例。
图5示出了根据本发明一个实施例的基于粗略定位确定的位置、利用最优摄像机对查找表选取最优摄像机对、进行精细定位的示例性方法的流程图。该方法可以应用于图3中图示的步骤S130。
如图5所示,在步骤S131中,进行初始化工作,具体地,输入粗略定位的位置,以及将迭代次数计数器Count设置为0。
在步骤S132中,基于位置检索最优摄像机对查找表,获得最优摄像机对。
在步骤S133中,利用最优摄像机对进行对象定位。
在步骤S134中,递增Count,即Count=Count+1。
在步骤S135中,判定是否定位成功。例如由于下述原因,可能导致定位失败:
(1)某个摄像机的对象检测失败;
(2)考虑到定位的误差,对象的真实位置可能不在粗略定位所得的位置P而是在P附近,所以基于位置P检索得到的最优摄像机对可能不能定位到对象。
如果定位成功(在步骤S135中判定结果为是),则前进到步骤S136,更新定位的位置,即利用在步骤S133中以最优摄像机对成功定位获得的位置来替代粗略定位的位置。
反之,如果定位失败(在步骤S135中判定结果为否),则前进到步骤S137。
在步骤S137中,判定迭代次数Count是否小于等于阈值次数Countth。
如果在步骤S137中迭代次数Count小于等于阈值次数Countth,则前进到步骤S138。
在步骤S138中,尝试粗略定位位置周围的位置,基于周围的位置从最优摄像机对查找表中检索新的最优摄像机对。
具体地,可以将粗略定位获得的位置沿预定方向偏移预定步长,从而得到偏移后的位置。图6示意性地示出了一种偏移策略,其中,将粗略定位的位置P分别按上下左右、左上、右上、左下、右下的方向进行偏移到临近的另一位置区域。例如所监视空间为一房间的情况下,可以通过将房间划分为预定大小的小块,对每个小块的位置范围有对应的最优摄像机对。
请注意,上述尝试周围位置的策略仅为示例,本发明不局限于此,例如,可以在圆形或者棋盘格内尝试不同的角度和步长。
需要说明的是,优选地,为了避免重复操作,在步骤S138中可以判断基于偏移后的位置在最优对查找表中检索到的最优摄像机对是否和先前定位利用的摄像机对不同,并且仅当找到新的最优摄像机对时,才认为偏移成功。然后,返回到步骤S133,进入新一轮迭代。
如果在步骤S137中迭代次数Count大于阈值次数Countth,则可以将粗略定位的位置作为最后定位的位置,结束处理。
上述精细定位的处理仅为示例。本发明并不局限于此。
例如,如果粗略定位的位置是通过图4所示的方法通过随意选取的摄像机对确定的,则在图5的步骤S132中,可以判定基于位置检索的最优摄像机对是否和上述随意选取的摄像机对相同,如果相同,表明粗略定位中使用的摄像机对已经是最优摄像机对,并且已经成功定位了,则可以直接以粗略定位的位置作为最后定位的位置,并结束处理。
再例如,如果粗略定位的位置是通过图4所示的方法通过随意选取的摄像机对确定的,则在图5的步骤S132之前,可以判断此最优摄像机对的定位误差是否小于预定的误差阈值,如果小于,则认为定位精度已经满足要求,同样可以直接以粗略定位的位置作为最后定位的位置,并结束处理。
2.4、物体定位方法的第二示例的整体过程
下面参考图7描述根据本发明一个实施例的、利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位的第二示例性方法。
图7示出了根据本发明一个实施例的第二示例性物体定位方法200的总体流程图。
图7所示的第二示例性物体定位方法200与图3所示的第一示例性物体定位方法100的不同在于步骤S210’,下文将参考图9和图10详细介绍步骤S210’。
在步骤S210’中,基于预定空间、多个摄像机的布置,生成最优摄像机对查找表,以供后续的步骤S230中使用。
因为步骤S210、S220、S230与图3中所示步骤S110、S120、S130的操作相同,故这里省略对它们的描述。
3、第二实施例
下面描述根据本发明第二实施例的、利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位的整体过程。
图8示出了根据本发明第二实施例的物体定位方法300的总体流程图。
第二实施例的物体定位方法300与第一实施例的物体定位方法100不同在于,没有加载、生成或制备最优摄像机对,而是在进行物体定位过程中通过计算来实时确定最优摄像机对的。
如图8所示,在步骤S310中,对物体进行粗略定位。
在步骤S320中,基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的任意摄像机对来对物体进行定位的误差。
在步骤S330中,确定定位误差最小的摄相机对。
在步骤S340中,利用该摄像机对来对物体进行精细定位。
根据本发明第二实施例的物体定位方法,可以在未预先生成最优摄像机对查找表的情况下,实时动态地计算定位误差较优的摄像机对,从而可以获得较高的物体定位精度。
4、最优摄像机对的确定以及最优摄像机对查找表的制备
下面参考图9描述根据本发明实施例的最优摄像机对的确定方法,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对。
图9示出了根据本发明一个实施例、对于预定空间中的一个确定位置确定最优摄像机对的方法400的流程图。
如图9所示,在步骤S410中,获得多个摄像机的位置和朝向。
在步骤S420中,获得两个摄像机的定位误差分布曲线,两个摄像机的定位误差分布曲线表示定位误差与两个摄像机间的距离以及物体距两个摄像机的距离之间的关系。如前文的基本概念部分所述,可以根据两个摄像机的性能参数计算出误差分布图曲线。这里假设所有摄像机的性能参数均相同,则此误差分布图适用于所有这些摄像机。不过本发明并不局限于此,多个摄像机的性能参数可以相互不同,并针对不同的摄像机组合来通过实验或计算得到对应的误差分布图曲线。
在步骤S430中,计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差。
具体地,基于步骤S420中获得的误差分布图,给定空间中的确定位置、以及摄像机对中任一个摄像机的位置,可以求得该摄像机对中的两个摄像机之间的距离L,以及求得该确定位置相对于该摄像机对的深度Z,由此可求得Z/L。求得Z/L后,参考类似于图2中的误差分布图,可以确定误差水平。这里,当一个摄像机覆盖不到该确定位置时,可以将包含该摄像机的任何摄像机对的误差水平设置为一极大值。
在步骤S440中,确定定位误差最小的摄像机对。在确定了针对该确定位置的各个摄像机对的定位误差水平后,可以通过比较,确定最小定位误差水平,从而得到对应的最优摄像机对。这里,如果得到的最小定位误差水平为极大值,这表明该确定位置没有任何摄像机对覆盖,此时对应的最优摄像机对可以为NULL。注意,当我们说一对摄像机覆盖一个确定位置时,指的是该对摄像机中的任一摄像机均覆盖了该确定位置。
如上,针对预定空间中的一确定位置,确定了多个摄像机之中用于对该确定位置定位的最优摄像机对。
基于图9所示的方法,可以关于预定空间布置的多个摄像机,制备最优摄像机对查找表。
具体地,针对该预定空间中的各个位置,利用图9所示的方法,确定对应的定位误差最小的摄像机对。然后,将各个位置与对应的定位误差最小的摄像机对相关联地存储在最优摄像机对查找表中,由此生成了最优摄像机对查找表。
不过上述针对预定位置确定最优摄像机对的方法以及制备最优摄像机对查找表的方法仅为示例,本发明并不局限于此。
例如,可以首先确定多个摄像机中每个摄像机的覆盖范围,然后基于此确定预定空间中的各个位置被哪些摄像机覆盖到,并进而确定覆盖各位置的各摄像机对的误差水平,来确定最优摄像机对并制备最优摄像机对查找表。
下面参考图10对上述最优摄像机对查找表制备方法的示例进行描述。
图10示出了根据本发明一个实施例的示例性最优摄像机对查找表制备方法500的流程图。
在步骤S510中,初始化:预定空间的大小以及布置的所有摄像机的参数。如图11所示的示意图为预定空间为一个矩形房间的俯瞰图。不过,矩形房间仅为示例,户内或户外的任意空间以及任何空间形状均适用于本发明。以矩形房间为例,对房间建立统一的坐标系,房间的任意位置可以用坐标(x,y)表示。任意一个摄像机Ci的参数是一个三元组(xi,yi,αi),其中xi,yi表示位置,αi表示摄像机的朝向。
在步骤S520中,获得摄像机覆盖范围数据。摄像机覆盖范围数据表示当给定空间和摄像机参数时摄像机所覆盖的范围。图12示出了摄像机覆盖范围数据的示例。在该示例中,覆盖范围可以表示为图像:左上角为坐标(0,0)点,摄像机参数是(0,0,60),图中的白色区域表示覆盖区域,覆盖区域中的值可以用二进制1表示,而其它区域可以用二进制的0表示。优选地,对房间每一个摄像机,其覆盖范围数据可以提前计算并存储,从而在需要时加载进来。不过本发明并不局限于此,替代地,也可以在需要时计算摄像机覆盖范围数据。
在步骤S530中,进入针对房间的每个位置的循环过程,获得当前待确定最优摄像机对的位置的坐标。
在步骤S540,检查该位置是否被任意两个摄像机覆盖。一种示例性方法是,将两个摄像机对的覆盖范围数据做“与”操作,如果结果在该位置为“白色”,即结果为“1”,即该位置被此摄像机对同时覆盖。位置P是否为摄像机Ci和Cj覆盖的计算公式可以由下列表达式(2)表示:
covered(P,Ci,Cj)=cdi(P)∩cdj(P) (2)
其中i,j表示任意摄像机的编号,P表示位置坐标(x,y)。cd表示覆盖范围数据。
如果在步骤S540中确定该位置没有被任何两个摄像机覆盖到,即如果该位置仅被一个摄像机覆盖到或者该位置没有被任何摄像机覆盖到,则过程前进到步骤S550。
在步骤S550中,将最优摄像机对设置为NULL。
如果在步骤S540中确定该位置被至少两个摄像机覆盖到,则前进到步骤S560中。
在步骤S560中,计算所有覆盖该位置的摄像机对组合的定位误差水平,并确定最小定位误差水平和对应的摄像机对。
具体地,假设该位置被摄像机C1,C2,...Cn覆盖到,n表示大于等于2的整数,覆盖该位置P的任意摄像机对组合为(Ci,Cj),针对位置P该摄像机对的定位误差水平表示为e(P,Ci,Cj)。如前所述,定位误差水平e(P,Ci,Cj)可以从如图2所示的误差分布曲线图得到,假设误差分布曲线图可以表示为函数dist(p,Ci,Cj),则e(P,Ci,Cj)可以下式(3)表示,
e(P,Ci,Cj)=dist((x,y),(xi,yi),(xj,yj)) (3)
则最小误差水平可以下式(4)表示,
e(P,C1,C2,C3...Cn)=min(e(P,C1,C2),e(P,C1,C3),e(P,C2,C3),...,e(P,Ci,Cj)) (4)
如果
e(P,C1,C2,C3...Cn)=min(e(P,C1,C2),e(P,C1,C3),e(P,C2,C3),...,e(P,Ci,Cj)),
=e(P,Cm,Cn)
则将摄像机对(Cm,Cn)确定为最优摄像机对。
在步骤S570中,将该位置和最优摄像机对相关联地存储到最优摄像机对查找表。
在步骤S580中,判断是否已经遍历了每个位置,即是否已经针对每个位置确定了最优摄像机对。
如果在步骤S580中确定没有遍历所有位置,则返回到步骤S430,针对下一位置进行循环。
如果在步骤S580中确定已经遍历所有位置,则结束处理。
5、物体跟踪方法
5.1、物体跟踪方法第一示例
基于上述物体定位方法,可以进行物体跟踪。
根据本发明一个实施例的一种物体跟踪方法为:
(a)基于物体当前位置和运动信息,预测下一时刻物体的位置;
(b)根据预测的位置,从最优摄像机对查找表检索第二最优摄像机对,作为选取的摄像机对;
(c)在该下一时刻,利用选取的摄像机对,对物体进行精细定位;
(d)以精细定位获得的位置作为物体的当前位置,
通过随时间来重复上述(a)、(b)、(c)、(d)操作,进行物体的跟踪。
关于上述步骤(c)中的精细定位,作为示例,可以采用图5所示的精细定位方法,此时将步骤(a)中预测的物体位置作为粗略定位位置。
5.2、物体跟踪方法第二示例
下面从更一般的意义上,描述本发明在物体跟踪中的应用。
图13示出本发明一个实施例中应用的在时间序列中进行物体跟踪的基本原理。基本的原理类似粒子滤波,主要可分为三部分:
●预测
由对象的当前位置P(t)和运动特征,预测对象下一个时刻的位置P(t+1)。
运动特征可以定义为对象的大小、运动方向、速度、旋转等等变量。可以在预测时在这些运动特性的变量上叠加随机的噪声。
●观测
根据图13,需要得到三维位置和运动特征的值但是能“观测”到的只有图像。同时可以知道在给定的三维位置和运动特征一组变量时,能观测到的图像应该是什么样。观测步骤可以是计算预测的三维位置和运动特征与在下一个时间序列的图像中的相似度。该相似度可以作为更新步骤时的更新权重。这里的三维位置指的是所预测的是空间中的位置。根据摄像机参数,在预测的空间中位置和在实际图像中的位置之间存在的对应关系。需要注意,本文中三维位置在概念上和一般图像处理的运动估计中所指的对象在二维平面图像中的位置不同。
●更新
可以代入权重累加所有可能的三维位置坐标和运动特征,作为下一个时间序列对象的位置。
下面参考图14描述根据本发明一个实施例的对象三维跟踪方法。
图14示出了根据本发明一个实施例的对象三维跟踪方法600的流程图。
在步骤S610中,判断视频流是否结束。
如果在步骤S610确定视频流结束,则结束处理。
否则前进到步骤S620。
在步骤S620中,预测对象下一时刻位置。在此步骤中,一般而言对象在下一个时刻有很多可能位置,即预测得到对象下一时刻的多个可能位置。
在步骤S630中,根据预测位置,搜索最优摄像机对查找表,获得最优摄像机对。本步骤中,获得跟踪必须的摄像机以进行处理,而不是所有摄像机全部工作。可以将针对各个预测位置获得的摄像机对全部放入一个摄像机集合中。
在步骤S640中获取下一时刻由摄像机集合中的摄像机所拍摄的帧图像。
然后在步骤S650中,观察这些帧图像,并且计算预测结果与实际图像的相似度。通过摄像机集合,预测的位置可以通过参数对应到预测的二维图像中,从而可以计算此预测的二维图像中对象的区域与当前图像中对象的区域的相似度。任何计算两个图像之间或者两个图像的一部分之间的相似度的方法均可以用于本发明,这并非本发明要点,这里省略对其的描述。
在步骤S660中,更新对象新位置。任何跟踪方法中跟踪对象位置的方法均可以用于本发明,例如可以利用步骤S650中预测结果与实际图像相似度最高的预测位置作为对象的新位置,或者可以将各个预测位置用对应的相似度加权求和的结果作为对象的新位置。
根据本发明实施例的跟踪方法只处理必须的摄像机视频,具体地,只处理由检索出得最优摄像机对获得的视频,而非处理所有摄像机拍摄获得的视频,因此既保证了快速的跟踪,又确保结果的准确性。
不过上述跟踪方法仅为示例,本发明并不局限于此,例如,与图5中精细定位的方法类似,虽然本示例性跟踪方法未利用最优摄像机对来进行定位,而是对最优摄像机对获得的视频来和预测结果进行匹配处理,也可以在匹配不理想的情况下,尝试获得与预测位置的周围位置对应的摄像机对。
6、物体定位装置、最优摄像机对确定装置
6.1、第一示例性物体定位装置
图15是根据本发明一个实施例的第一示例性物体定位装置7000的功能配置框图。
物体定位装置7000用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位。
如图15所示,物体定位装置7000包括:粗略定位部件7100、最优摄像机对选取部件7200、精细定位部件7300。
粗略定位部件7100可以用于对物体进行粗略定位。
最优摄像机对选取部件7200可以根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,来作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及
精细定位部件7300可以利用选取的摄像机对,对物体进行精细定位。
物体定位装置7000还可以包括最优摄像机对生成部件(未示出),用于给定该预定空间的大小、该多个摄像机的位置和朝向,基于两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系,通过计算在预定空间中各个位置处、以多个摄像机中的任意摄像机对来进行定位的误差,来制备所述最优摄像机对查找表。
优选地,精细定位部件7300可以执行以下操作:如果利用第一最优摄像机对,没有找到物体,则将粗略定位获得的位置沿预定方向偏移预定步长,然后根据偏移后的位置,从最优摄像机对查找表中检索新的最优摄像机对,利用该新的最优摄像机对来对物体进行精细定位;以及改变偏移的方向和/或偏移的步长,重复上述从粗略定位获得的位置进行偏移、从最优摄像机对查找表中检索新的摄像机对、利用检索到的新摄像机对进行精细定位的过程,直到找到物体或迭代次数达到预定次数。
优选地,物体定位装置7000还可以包括跟踪部件(未示出),该跟踪部件可以进行以下操作:
(a)基于物体当前位置和运动信息,预测下一时刻物体的位置;
(b)根据预测的位置,从最优摄像机对查找表检索第二最优摄像机对,作为选取的摄像机对;
(c)在该下一时刻,利用选取的摄像机对,对物体进行精细定位;
(d)以精细定位获得的位置作为物体的当前位置,
通过随时间来重复上述(a)、(b)、(c)、(d)操作,进行物体的跟踪。
根据本发明上述实施例的物体定位装置,在物体的定位过程中,仅调度需要的摄像机工作,而不是所有摄像机均投入工作,因此能够节省处理资源和时间开销,有利于对物体的实时定位和跟踪。
而且,根据本发明上述实施例的物体定位装置,因为在实际物体定位中,在粗略定位后,基于粗略位置检索最优摄像机对查找表,来确定适合于该粗略位置的最优摄像机对,进而通过针对该最优摄像机拍摄的图像和/或视频流进行分析和处理,而实现对物体的精细定位。由此可以快速、准确地实现对物体的定位和/或跟踪。
另外,根据本发明上述实施例的物体定位装置,多个摄像机的放置位置和朝向可以随意布置,只要能覆盖想要跟踪的区域即可,因此更具用户友好性。
6.2、第二示例性物体定位装置
图16是根据本发明一个实施例的的第二示例性物体定位装置8000的功能配置框图。
物体定位装置8000用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位。
如图16所示,物体定位装置8000包括:粗略定位部件8100、最优摄像机对选取部件8200、精细定位部件8300。
第二示例性物体定位装置8000与物体定位装置的第一示例性物体定位装置7000的不同在于:与第一示例性物体定位装置7000中的最优摄像机对选取部件7200从计算好的最优摄像机对查找表中搜索最优摄像机对不同,最优摄像机对选取部件8200在进行物体定位过程中通过计算来实时确定最优摄像机对。
第二示例性物体定位装置8000中的粗略定位部件8100、精细定位部件8300与第一示例性物体定位装置7000中的粗略定位部件7100、精细定位部件7300基本相同。因此,这里省略对粗略定位部件8100、精细定位部件8300的描述。
最优摄像机对选取部件8200可以包括:摄像机对定位误差计算部件8210和最优摄像机对确定部件8220。
摄像机对定位误差计算部件8210基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差。
最优摄像机对确定部件8220通过比较上述任意摄像机对的组合对物体的定位误差,确定定位误差最小的摄像机对。
根据本发明的第二示例性物体定位装置,可以在未预先生成最优摄像机对查找表的情况下,实时动态地计算定位误差较优的摄像机对,从而可以获得较高的物体定位精度。
6.3、最优摄像机对确定装置
图17是根据本发明一个实施例的最优摄像机对确定装置9000的功能配置框图。最优摄像机对确定装置9000用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对。
最优摄像机对确定装置9000可以包括参数获得部件9100、定位误差分布曲线获得部件9200、定位误差计算部件9300、最优摄像机对确定部件9400。
参数获得部件9100可以获得预定空间的大小、多个摄像机的位置和朝向;
定位误差分布曲线获得部件9200可以获得两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系。
定位误差计算部件9300可以根据定位误差分布区域,计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差。
最优摄像机对确定部件9400可以确定定位误差最小的摄像机对。
最优摄像机对确定装置9000还可以包括最优摄像机对存储部件(未示出),针对该预定空间中的各个位置,确定对应的定位误差最小的摄像机对,以及将各个位置与对应的定位误差最小的摄像机对相关联地存储在最优摄像机对查找表中。
7、系统硬件配置
本发明还可以通过一种物体定位(跟踪)硬件系统来实施。图18是示出按照本发明实施例的物体定位(跟踪)系统1000的总体硬件框图。如图18所示,物体定位系统1000可以包括:输入设备1100,用于从外部输入有关图像或信息,例如多个摄像机拍摄的图像或视频流、预定空间的大小、多个摄像机的位置和朝向等,例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等;处理设备1200,用于实施上述的按照本发明实施例的物体定位方法,或者实施为上述的物体定位装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要向远程传送处理后的图像等等;输出设备1300,用于向外部输出实施上述物体定位(跟踪)过程所得的结果,例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备1400,用于以易失或非易失的方式存储上述物体定位(跟踪)过程所涉及的图像、空间大小、多个摄像机的参数、误差分布图、最优摄像机对查找表等等,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
8、总结
根据本发明的实施例,提供了如下方面:
(1)一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,可以包括:
对物体进行粗略定位;
根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及
利用选取的摄像机对,对物体进行精细定位。
(2)在所述物体定位方法中,所述最优摄像机对可以是预先制备的,
其中,给定该预定空间的大小、该多个摄像机的位置和朝向,基于两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系,通过计算在预定空间中各个位置处、以多个摄像机中的任意摄像机对来进行定位的误差,来制备所述最优摄像机对查找表。
(3)所述物体定位方法还包括:
如果利用第一最优摄像机对,没有找到物体,则
将粗略定位获得的位置沿预定方向偏移预定步长,然后根据偏移后的位置,从最优摄像机对查找表中检索新的最优摄像机对,利用该新的最优摄像机对来对物体进行精细定位,
改变偏移的方向和/或偏移的步长,重复上述从粗略定位获得的位置进行偏移、从最优摄像机对查找表中检索新的摄像机对、利用检索到的新摄像机对进行精细定位的过程,直到找到物体或迭代次数达到预定次数。
(4)、所述物体定位方法,还可以包括:
(a)基于物体当前位置和运动信息,预测下一时刻物体的位置;
(b)根据预测的位置,从最优摄像机对查找表检索第二最优摄像机对,作为选取的摄像机对;
(c)在该下一时刻,利用选取的摄像机对,对物体进行精细定位;
(d)以精细定位获得的位置作为物体的当前位置,
通过随时间来重复上述(a)、(b)、(c)、(d)操作,进行物体的跟踪。
(5)还提供了一种最优摄像机对确定方法,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,包括:
获得该多个摄像机的位置和朝向;
获得两个摄像机的定位误差分布曲线,两个摄像机的定位误差分布曲线表示定位误差与两个摄像机间的距离以及物体距两个摄像机的距离之间的关系;
计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及
确定定位误差最小的摄像机对。
(6)、最优摄像机对确定方法还可以包括:
针对该预定空间中的各个位置,确定对应的定位误差最小的摄像机对,
将各个位置与对应的定位误差最小的摄像机对相关联地存储在最优摄像机对查找表中。
(7)、还提供了一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
对物体进行粗略定位;
基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差;
确定定位误差最小的摄像机对;以及
利用该摄像机对来对物体进行精细定位。
(8)、还提供了一种物体定位装置,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
粗略定位部件,用于对物体进行粗略定位;
最优摄像机对选取部件,用于根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,来作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及
精细定位部件,用于利用选取的摄像机对,对物体进行精细定位。
(9)、所述物体定位装置中
所述最优摄像机对是预先制备的,
其中,给定该预定空间的大小、该多个摄像机的位置和朝向,基于两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系,
通过计算在预定空间中各个位置处、以多个摄像机的中的任意摄像机对来进行定位的误差,来制备所述最优摄像机对查找表。
(10)、还提供了一种最优摄像机对确定装置,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,包括:
参数获得部件,用于获得预定空间的大小、该多个摄像机的位置和朝向;
定位误差分布曲线获得部件,用于获得两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系;
定位误差计算部件,用于根据定位误差分布区域,计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及
最优摄像机对确定部件,用于确定定位误差最小的摄像机对。
(11)还提供了一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
对物体进行粗略定位;
基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差;
确定定位误差最小的摄像机对;以及
利用该摄像机对来对物体进行精细定位。
前述描述仅为说明性的,可以进行很多修改和/或替换。
例如,前文在涉及物体定位时,物体位置和摄像机位置是用二维坐标表示的。不过本发明也可以应用于三维空间中的物体定位,前文相当于描述了确定物体的平面投影的二维坐标,关于物体的高度信息可以从图像的像素的另一维度坐标例如像素在图像中的高度坐标而求得,关于物体高度信息的计算方法,同样可参考前述三角测距原理。
另外,前述实施例中,在涉及到最优摄像机对确定或者最优摄像机对查找表生成时,描述的是选取误差最小的摄像机对,不过这仅为示例,本领域技术人员可以想到,出于计算速度和精度的均衡考虑,可以选取误差水平小于预定阈值的摄像机对,来替代选取误差最小的摄像机对。
另外,前文提到进行粗略定位或者精细定位时,是利用两个摄像机来进行的,不过这仅为示例,也可以利用三个或更多的摄像机来进行定位,例如在利用三个摄像机进行定位时,将任何两个摄像机组合的定位结果进行加权组合来获得最终的定位结果。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
对物体进行粗略定位;
根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,来作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及
利用选取的摄像机对,对物体进行精细定位。
2.根据权利要求1的物体定位方法,其中
所述最优摄像机对是预先制备的,
其中,给定该预定空间的大小、该多个摄像机的位置和朝向,基于两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系,通过计算在预定空间中各个位置处、以多个摄像机中的任意摄像机对来进行定位的误差,来制备所述最优摄像机对查找表。
3.根据权利要求1的物体定位方法,还包括:
如果利用第一最优摄像机对,没有找到物体,则
将粗略定位获得的位置沿预定方向偏移预定步长,然后根据偏移后的位置,从最优摄像机对查找表中检索新的最优摄像机对,利用该新的最优摄像机对来对物体进行精细定位,
改变偏移的方向和/或偏移的步长,重复上述从粗略定位获得的位置进行偏移、从最优摄像机对查找表中检索新的摄像机对、利用检索到的新摄像机对进行精细定位的过程,直到找到物体或迭代次数达到预定次数。
4.根据权利要求1或2的物体定位方法,还包括:
(a)基于物体当前位置和运动信息,预测下一时刻物体的位置;
(b)根据预测的位置,从最优摄像机对查找表检索第二最优摄像机对,作为选取的摄像机对;
(c)在该下一时刻,利用选取的摄像机对,对物体进行精细定位;
(d)以精细定位获得的位置作为物体的当前位置,
通过随时间来重复上述(a)、(b)、(c)、(d)操作,进行物体的跟踪。
5.一种最优摄像机对确定方法,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,包括:
获得该多个摄像机的位置和朝向;
获得两个摄像机的定位误差分布曲线,两个摄像机的定位误差分布曲线表示定位误差与两个摄像机间的距离以及物体距两个摄像机的距离之间的关系;
计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及
确定定位误差最小的摄像机对。
6.根据权利要求5的最优摄像机对确定方法,还包括:
针对该预定空间中的各个位置,确定对应的定位误差最小的摄像机对,
将各个位置与对应的定位误差最小的摄像机对相关联地存储在最优摄像机对查找表中。
7.一种物体定位方法,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
对物体进行粗略定位;
基于预定空间的大小、该多个摄像机的位置和朝向、以及两个摄像机的定位误差分布曲线,计算在粗略定位获得的位置处,以多个摄像机中的覆盖该位置的摄像机中的任意摄像机对的组合来对物体进行定位的误差;
确定定位误差最小的摄像机对;以及
利用该摄像机对来对物体进行精细定位。
8.一种物体定位装置,用于利用针对预定空间布置的多个摄像机,来对该预定空间中的物体进行定位,包括:
粗略定位部件,用于对物体进行粗略定位;
最优摄像机对选取部件,用于根据粗略定位获得的位置,从最优摄像机对查找表中检索第一最优摄像机对,作为选取的摄像机对,其中在最优摄像机对查找表中相关联地存储预定空间中的位置信息和对应的该多个摄像机中的最优摄像机对,表示对于该位置信息对应的位置,该最优摄像机对的定位精度比该多个摄像机中的任何其它摄像机对都高;以及
精细定位部件,用于利用选取的摄像机对,对物体进行精细定位。
9.根据权利要求8的物体定位装置,其中
所述最优摄像机对是预先制备的,
其中,给定该预定空间的大小、该多个摄像机的位置和朝向,基于两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系,
通过计算在预定空间中各个位置处、以多个摄像机的中的任意摄像机对来进行定位的误差,来制备所述最优摄像机对查找表。
10.一种最优摄像机对确定装置,用于针对预定空间中的位置的定位,确定在预定空间中布置的多个摄像机之中的最优摄像机对,包括:
参数获得部件,用于获得预定空间的大小、该多个摄像机的位置和朝向;
定位误差分布曲线获得部件,用于获得两个摄像机的定位误差分布曲线,该两个摄像机的定位误差分布曲线表示定位误差与该两个摄像机间的距离以及物体距该两个摄像机的距离之间的关系;
定位误差计算部件,用于根据定位误差分布区域,计算在预定空间中该位置处、以多个摄像机中的任意摄像机对来进行定位的误差;以及
最优摄像机对确定部件,用于确定定位误差最小的摄像机对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210111296.5A CN103377471B (zh) | 2012-04-16 | 2012-04-16 | 物体定位方法和装置、最优摄像机对确定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210111296.5A CN103377471B (zh) | 2012-04-16 | 2012-04-16 | 物体定位方法和装置、最优摄像机对确定方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103377471A true CN103377471A (zh) | 2013-10-30 |
CN103377471B CN103377471B (zh) | 2016-08-03 |
Family
ID=49462540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210111296.5A Active CN103377471B (zh) | 2012-04-16 | 2012-04-16 | 物体定位方法和装置、最优摄像机对确定方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103377471B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607569A (zh) * | 2013-11-22 | 2014-02-26 | 广东威创视讯科技股份有限公司 | 视频监控中的监控目标跟踪方法和系统 |
CN103986917A (zh) * | 2014-06-03 | 2014-08-13 | 中科融通物联科技无锡有限公司 | 多视角热像监控系统 |
CN104092923A (zh) * | 2014-07-21 | 2014-10-08 | 国家电网公司 | 输电线路智能视频测距方法 |
CN104092922A (zh) * | 2014-07-21 | 2014-10-08 | 国家电网公司 | 变电站带电体智能视频距离管控方法 |
WO2016187985A1 (zh) * | 2015-05-28 | 2016-12-01 | 中兴通讯股份有限公司 | 拍摄设备、跟踪拍摄方法和系统、以及计算机存储介质 |
CN108495057A (zh) * | 2018-02-13 | 2018-09-04 | 深圳市瑞立视多媒体科技有限公司 | 一种摄像机配置方法和装置 |
CN108898617A (zh) * | 2018-05-24 | 2018-11-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种目标对象的跟踪方法和装置 |
CN109013588A (zh) * | 2018-07-10 | 2018-12-18 | 北京石油化工学院 | 一种用于地上立式储油罐清洗机器人的防爆定位方法 |
CN109557944A (zh) * | 2018-11-30 | 2019-04-02 | 南通大学 | 一种运动目标位置检测系统及方法 |
CN109639961A (zh) * | 2018-11-08 | 2019-04-16 | 联想(北京)有限公司 | 采集方法和电子设备 |
CN110146071A (zh) * | 2019-05-16 | 2019-08-20 | 成都精位科技有限公司 | 定位维度提升方法及装置 |
CN110602389A (zh) * | 2019-08-30 | 2019-12-20 | 维沃移动通信有限公司 | 一种显示方法及电子设备 |
US20220264072A1 (en) * | 2021-02-12 | 2022-08-18 | Sony Group Corporation | Auto-calibrating n-configuration volumetric camera capture array |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1655178A (zh) * | 2004-01-07 | 2005-08-17 | 微软公司 | 使用快速图像匹配的局部定位 |
US20100328455A1 (en) * | 2008-02-27 | 2010-12-30 | Yun Young Nam | Method for Object Localization Using Visual Images with Reference Coordinates |
CN102034238A (zh) * | 2010-12-13 | 2011-04-27 | 西安交通大学 | 基于光学成像测头和视觉图结构的多摄像机系统标定方法 |
US20110299730A1 (en) * | 2010-03-16 | 2011-12-08 | Elinas Pantelis | Vehicle localization in open-pit mining using gps and monocular camera |
-
2012
- 2012-04-16 CN CN201210111296.5A patent/CN103377471B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1655178A (zh) * | 2004-01-07 | 2005-08-17 | 微软公司 | 使用快速图像匹配的局部定位 |
US20100328455A1 (en) * | 2008-02-27 | 2010-12-30 | Yun Young Nam | Method for Object Localization Using Visual Images with Reference Coordinates |
US20110299730A1 (en) * | 2010-03-16 | 2011-12-08 | Elinas Pantelis | Vehicle localization in open-pit mining using gps and monocular camera |
CN102034238A (zh) * | 2010-12-13 | 2011-04-27 | 西安交通大学 | 基于光学成像测头和视觉图结构的多摄像机系统标定方法 |
Non-Patent Citations (2)
Title |
---|
JOHNNY PARK ET AL: "A look-up table based approach for solving the camera selection problem in large camera networks", 《ACM WORKSHOP ON DISTRIBUTED SMART CAMERAS》 * |
吴彰良等: "双目立体视觉传感器精度分析与参数设计", 《郑州轻工业学院学报》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607569B (zh) * | 2013-11-22 | 2017-05-17 | 广东威创视讯科技股份有限公司 | 视频监控中的监控目标跟踪方法和系统 |
CN103607569A (zh) * | 2013-11-22 | 2014-02-26 | 广东威创视讯科技股份有限公司 | 视频监控中的监控目标跟踪方法和系统 |
CN103986917A (zh) * | 2014-06-03 | 2014-08-13 | 中科融通物联科技无锡有限公司 | 多视角热像监控系统 |
CN103986917B (zh) * | 2014-06-03 | 2017-04-26 | 中科融通物联科技无锡有限公司 | 多视角热像监控系统 |
CN104092923A (zh) * | 2014-07-21 | 2014-10-08 | 国家电网公司 | 输电线路智能视频测距方法 |
CN104092922A (zh) * | 2014-07-21 | 2014-10-08 | 国家电网公司 | 变电站带电体智能视频距离管控方法 |
WO2016187985A1 (zh) * | 2015-05-28 | 2016-12-01 | 中兴通讯股份有限公司 | 拍摄设备、跟踪拍摄方法和系统、以及计算机存储介质 |
CN108495057B (zh) * | 2018-02-13 | 2020-12-08 | 深圳市瑞立视多媒体科技有限公司 | 一种摄像机配置方法和装置 |
CN108495057A (zh) * | 2018-02-13 | 2018-09-04 | 深圳市瑞立视多媒体科技有限公司 | 一种摄像机配置方法和装置 |
CN108898617A (zh) * | 2018-05-24 | 2018-11-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种目标对象的跟踪方法和装置 |
CN109013588A (zh) * | 2018-07-10 | 2018-12-18 | 北京石油化工学院 | 一种用于地上立式储油罐清洗机器人的防爆定位方法 |
CN109639961A (zh) * | 2018-11-08 | 2019-04-16 | 联想(北京)有限公司 | 采集方法和电子设备 |
CN109557944A (zh) * | 2018-11-30 | 2019-04-02 | 南通大学 | 一种运动目标位置检测系统及方法 |
CN110146071A (zh) * | 2019-05-16 | 2019-08-20 | 成都精位科技有限公司 | 定位维度提升方法及装置 |
CN110602389A (zh) * | 2019-08-30 | 2019-12-20 | 维沃移动通信有限公司 | 一种显示方法及电子设备 |
CN110602389B (zh) * | 2019-08-30 | 2021-11-02 | 维沃移动通信有限公司 | 一种显示方法及电子设备 |
US20220264072A1 (en) * | 2021-02-12 | 2022-08-18 | Sony Group Corporation | Auto-calibrating n-configuration volumetric camera capture array |
Also Published As
Publication number | Publication date |
---|---|
CN103377471B (zh) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103377471A (zh) | 物体定位方法和装置、最优摄像机对确定方法和装置 | |
US10518414B1 (en) | Navigation method, navigation system, movement control system and mobile robot | |
CN107564012B (zh) | 面向未知环境的增强现实方法及装置 | |
Chen et al. | Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos | |
CN107831765B (zh) | 定位方法、装置、设备及存储介质 | |
US8626443B2 (en) | Method for creating a map relating to location-related data on the probability of future movement of a person | |
US8896660B2 (en) | Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments | |
JP5873864B2 (ja) | オブジェクト追跡及び認識方法及び装置 | |
CN109074083A (zh) | 移动控制方法、移动机器人及计算机存储介质 | |
CN105700525B (zh) | 基于Kinect传感器深度图机器人工作环境不确定性地图构建法 | |
CN108369743A (zh) | 使用多方向相机地图构建空间 | |
Ye et al. | 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features | |
Lin et al. | Mapping and Localization in 3D Environments Using a 2D Laser Scanner and a Stereo Camera. | |
CN112105892B (zh) | 使用运动数据和面元数据识别地图特征的方法和系统 | |
Maier et al. | Vision-based humanoid navigation using self-supervised obstacle detection | |
CN115808170B (zh) | 一种融合蓝牙与视频分析的室内实时定位方法 | |
US8724848B1 (en) | Locating objects using indicia | |
Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
Teng et al. | CloudNavi: Toward ubiquitous indoor navigation service with 3D point clouds | |
Liu et al. | iSee: obstacle detection and feedback system for the blind | |
JP2021103168A (ja) | 拡張現実装置及び位置決め方法 | |
Shu et al. | 3D point cloud-based indoor mobile robot in 6-DoF pose localization using a Wi-Fi-aided localization system | |
Alves et al. | Cost-effective indoor localization for autonomous robots using kinect and wifi sensors | |
Li et al. | VisioMap: Lightweight 3-D scene reconstruction toward natural indoor localization | |
Runceanu et al. | Indoor point cloud segmentation for automatic object interpretation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |