CN108229238B - 基于可见光与不可见光信息融合的目标跟踪方法 - Google Patents

基于可见光与不可见光信息融合的目标跟踪方法 Download PDF

Info

Publication number
CN108229238B
CN108229238B CN201810136704.XA CN201810136704A CN108229238B CN 108229238 B CN108229238 B CN 108229238B CN 201810136704 A CN201810136704 A CN 201810136704A CN 108229238 B CN108229238 B CN 108229238B
Authority
CN
China
Prior art keywords
infrared
bar code
target object
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810136704.XA
Other languages
English (en)
Other versions
CN108229238A (zh
Inventor
苗鹏
刘克彬
刘祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miao Peng
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810136704.XA priority Critical patent/CN108229238B/zh
Publication of CN108229238A publication Critical patent/CN108229238A/zh
Application granted granted Critical
Publication of CN108229238B publication Critical patent/CN108229238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于可见光与不可见光信息融合的目标跟踪方法,包括以下步骤:1)对目标物体加上不可见光可识别的条码图形;2)可见光摄像头和不可见光摄像头同时采集目标物体的图像;3)将可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定,进行双重目标跟踪。与现有技术相比,本发明无论目标是有生命体还是无生命体,都能进行识别跟踪,这样能在很多情况下提供便利的信息,减少后续工作量。

Description

基于可见光与不可见光信息融合的目标跟踪方法
技术领域
本发明涉及目标跟踪技术,尤其是涉及一种基于可见光与不可见光信息融合的目标跟踪方法。
背景技术
目标跟踪是国际上研究的热门领域之一,因为它在计算机视觉的应用非常广泛。比如在军事领域,目标跟踪可以应用于无人机导航进行周遭环境的探测,还有精确制导系统,它可以通过传感器获取目标的位置速度等信息来引导弹头攻击目标;在医学领域,它可以在超声图像上跟踪心室运动,在手术中跟踪仪表位置等等;在人机交互方面,它可以对人体的身体各个部位进行识别追踪,最典型的就是微软前几年推出的新技术Kinect,不同于以往使用鼠标键盘进行交互操作,Kinect通过对人体的动态捕捉,使人体的所有行为动作直接与机器进行交互,这种方式更为便捷;在监控方面,目标跟踪更是必不可少的,无论是交通的监控还是银行、商场等地方的视频安全监控,它能在捕捉到异常状况时及时通知相关人员,甚至可以继续追踪异常车辆或异常人员,还能有利于后续的数据收集与分析。由此可见,目标跟踪在各个领域都是非常重要的一部分。
目标跟踪技术现阶段大致可分为基于可见光的目标跟踪技术,也就是基于视频的目标跟踪技术;基于不可见光的目标跟踪技术,最常见的是红外,除此之外还有雷达、声呐、激光等等;还有将可见光与红外相融合的目标跟踪技术。虽然目标跟踪技术已经研究了这么多年,但是难点依然存在,对于基于可见光的目标跟踪技术来说,它的优势在于分辨率高,能识别出目标的各方面特征,也能精确定位,而且成本低,目标跟踪算法现在也已非常成熟,但是它不能应付一些复杂的环境,尤其会受到光照变化、阴影以及遮挡的影响,对非刚性的物体可能也会因形状变化而难以获取稳定的形状特征,增加了识别难度;而对基于红外的目标跟踪技术来说,它会对目标的热辐射比较敏感,能克服光照、环境遮挡等因素,具有较强的抗干扰能力,但是它信噪比较低,形成的图像略模糊,缺乏纹理颜色特征,细节不明显,只有亮度信息,且当环境与目标温度差不明显时,容易造成对目标跟踪的错位或遗漏,多目标情况下,如果目标间差异不明显,也会增加目标匹配的难度。因此之后就出现了将可见光与红外相结合进行目标跟踪的技术,将基于可见光与基于红外的优缺点进行互补,从而得到更优的结果。
常见的将基于可见光与基于红外的目标跟踪技术相结合的方法就是将可见光与红外得到的图像融合,包括对传感器采集的数据进行综合处理使每个图像都满足时间空间上的一致从而直接融合图像、将不同传感器得到的图像先进行特征提取然后对多个特征进行综合分析处理、对每个图像特征先进行分类识别等分析处理再进一步将其结果进行融合。这种方法的效果基本都很好,但这些目标跟踪方法只能定位到视频图像中的二维坐标,不能定位到物体真实的三维坐标信息,且都只能选取特定目标进行然后跟踪,而不能在单个或多个目标中分别识别出对应的目标是什么。此外,基于红外的目标跟踪技术基本都是对人体的跟踪,很少有对其他小的无生命的目标物体跟踪。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于可见光与不可见光信息融合的目标跟踪方法。
本发明的目的可以通过以下技术方案来实现:
一种基于可见光与不可见光信息融合的目标跟踪方法,包括以下步骤:
1)对目标物体加上不可见光可识别的条码图形;
2)可见光摄像头和不可见光摄像头同时采集目标物体的图像;
3)将可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定,进行双重目标跟踪。
优选地,所述的不可见光摄像头为红外摄像头,所述的条码图形为红外摄像头在各个角度均能识别的红外条码图形。
优选地,所述的红外条码图形为多次重复印刷红外条码图形,将所有的红外条码图形与其对应目标物体在可见光摄像头下进行特征绑定,对每个已绑定的红外条码图形写上标签生成一个数据库,当红外摄像头接收到条码信号之后,只需将红外条码图形信号与数据库中的数据进行比对,检索到对应的标签,就能识别出目标物体的身份。
优选地,所述的红外条码图形采用隐形的红外材料印刷而成,即便对物体进行大面积的覆盖,亦不会影响到物体的正常视觉效果,其只会对设定的红外波长予以吸收。
优选地,所述的红外条码图形为目标物体横向印上一圈的条码图形,这样无论红外摄像头在哪个方位,均能照射到目标物体上的条码图形;纵向为重复的条码图形,这样一旦条码图形有部分被遮盖,还是能通过剩余的条码图形识别目标物体。
优选地,所述的红外条码图形为选取不同红外波段的材料,对目标物体进行大面积覆盖,红外摄像头对不同波段的红外材料会产生不同的信号,从而识别出不同的目标物体。
优选地,所述的红外条码图形为条码图形或者点阵图形。
优选地,所述的红外摄像头设有多个,多个红外摄像头对照射的区域进行几何分割并标记编码,判断红外条码图形处于哪些红外摄像头的哪个编码区域,根据对应的编码来计算出红外条码图形的三维位置。
优选地,一旦所述的可见光摄像头被遮挡时,由所述的红外摄像头进行物体的三维坐标定位,而此时目标物体如果重新出现在可见光摄像头下,则根据目标的特征在数据库中匹配到相应的条码图形,获取目标位置,重新快速且准确地跟踪目标。
优选地,所述的可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定具体为:
红外摄像头对红外条码图形进行定位,而可见光摄像头对目标物体进行定位,使用双向hausdorff距离来判断目标物体与红外条码图形是否匹配;
假设在一个空间内,有多个红外条码图形L={l1,l2,l3,…}对应位置P={p1,p2,p3,…}和多个目标物体O={o1,o2,o3,…}对应位置Q={q1,q2,q3,…},如果想找出其中目标物体与红外条码图形一一对应的关系,那么首先确定一个目标物体o1,取它轮廓边缘的多个三维空间位置点,得到点集A={a1,a2,a3,…},再取任意两个红外条码图形l1和l2轮廓边缘的三维空间位置点,得到点集B={b1,b2,b3,…}和C={c1,c2,c3,…};
计算点集A、点集B和点集C两两之间的双向hausdorff距离,就能知道两个红外条码图形中与目标物体不匹配的红外条码图形,将不匹配的红外条码图形l2舍去,留下较匹配的红外条码图形l1继续与剩余的红外条码图形比较双向hausdorff距离,重复上述过程,就把所有不匹配的红外条码图形舍去,留下的最后一个就是与目标物体o1相匹配的红外条码图形。
与现有技术相比,本发明提供了一种新颖的目标识别跟踪技术,结合上述基于可见光与不可见光的目标跟踪方法,能追踪到目标的三维位置坐标,同时基于不可见光识别目标身份,且无论目标是有生命体还是无生命体,都能进行识别跟踪,这样能在很多情况下提供便利的信息,减少后续工作量。
附图说明
图1为红外条码图形示意图;
图2为实际人眼视觉下的目标物体示意图;
图3为红外摄像头对目标物体识别的流程图;
图4为目标物体的三点定位示意图;
图5为大数据收集实验空间示意图;
图6为目标物体分类流程示意图;
图7为货物装运示意图;
图8为穿戴物品的红外条码图形正面;
图9为穿戴物品的红外条码图形反面;
图10为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
如图10所示,一种基于可见光与不可见光信息融合的目标跟踪方法,包括以下步骤:
1)对目标物体加上不可见光可识别的条码图形;
2)可见光摄像头和不可见光摄像头同时采集目标物体的图像;
3)将可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定,进行双重目标跟踪。
1、基于红外的目标识别:
使用红外材料印刷成条码图形附在目标物体表面一圈,这样红外摄像头可以在各个角度都识别到红外条码图形,如图1和图2所示,11为已印刷红外条码图形的目标物体,12为实际人眼视觉下的目标物体,外观没有任何影响。131和132是同样的红外条码图形,132是131的重复,这样多次重复印刷红外条码图形,可以尽量避免被遮挡的情况。再将所有的红外条码图形与其对应物体在可见光摄像头下的特征绑定,对每个已绑定的条码写上标签生成一个庞大的数据库,当红外摄像头接收到条码信号之后,只需将条码图形信号与数据库中数据进行比对,检索到对应的标签物体,就能识别出目标物体的身份,具体流程图如图3所示。
由于使用的是隐形的红外材料,因此即便对物体进行大面积的覆盖,也不会影响到物体的正常视觉效果,它只会对特定的红外波长予以吸收,而其他波长的光线都会穿透,因而不受影响。
针对大的目标物体,可以为其横向印上一圈较大的条码图形,这样无论红外摄像头在哪个方位,都能照射到目标物体上的条码图形;纵向为重复的条码图形,这样一旦条码图形有部分被遮盖,还是能通过剩余的条码图形识别目标物体。而针对小的目标物体,可以选取不同红外波段的材料,对目标物体进行大面积覆盖,红外摄像头对不同波段的红外材料会产生不同的信号,因此也能识别出不同的小目标物体。
印在目标物体上的红外材料组成的图形可以不仅限于条码图形,还可以是点阵图形等其他图形,只要在生成图形的同时在数据库中有对应的记录可供检索就可以了。
这种方法无论是对新产品还是现有产品都可以使用,因为只需要在产品生产出来之后,在产品上喷上或印上一圈隐形的红外材料即可,也不会影响产品的正常使用,而且无论目标物体是何种形状何种体积大小都可以附上一圈这样的红外材料,非常便捷。
2、基于红外与可见光的目标追踪:
本发明除了对目标进行识别以外,还可以在一定的空间范围内可以放置多个红外及可见光摄像头对目标进行定位,比如使用三点定位的方法,获取目标物体的三维坐标信息,如图4所示,31、32和33分别是不同空间位置的三个红外摄像头,311、321和331则分别是每个摄像头对应的空间区域。
多个红外摄像头对照射的区域进行几何分割并标记编码,判断红外材料处于哪些红外摄像头的哪个编码区域,根据对应的编码来计算出红外材料的三维位置。
可见光摄像头同理。首先提取目标特征,这些特征可以是颜色、纹理、轮廓等等,对可见光摄像头获取的图像进行特征匹配从而找到目标。在空间区域的分割编码之后,获取目标所在位置的相应空间编码,从而定位到目标位置。
此外,只需要对目标进行帧间的特征匹配,就能跟踪到目标。而且基于特征的跟踪算法对运动目标的亮度、形变等不是非常敏感,因为即便有一个特征有所变化,还有其他很多特征可以匹配,且一旦目标受到部分遮挡,只要提取剩余部分的特征,依然可以正确匹配。
同时使用红外摄像头和可见光摄像头进行追踪有很多优点,在两个摄像头距离较远的情况下,可以在其中一种摄像头被遮挡的时候,另一个依然能继续追踪目标,比如一旦对可见光摄像头来说物体被遮挡,那么可以由红外摄像头进行物体的三维坐标定位,而此时目标物体如果重新出现在可见光摄像头下,则可以根据目标的特征在数据库中匹配到相应的条码图形,获取目标位置,重新快速且准确地跟踪目标。
两种摄像头功能互补,当白天的时候,可见光摄像头分辨率高,对目标的追踪会更精确,且由于红外条码图形一定是小于目标物体的,因此一旦刚好条码图形被遮挡时,就可以用可见光摄像头识别未被遮挡的特征进行跟踪;而在夜晚时,由于可见光摄像头对光照变化非常敏感,在黑暗条件下的效果很差,因此红外摄像头对目标的识别追踪就会更精确稳定。此外,两者同时用于跟踪目标会更加精确。
对于人,可以将红外条码图形附在衣物等穿戴物品上进行目标的跟踪识别,由红外材料制成的条码图形是隐形的,因此并不会影响穿戴物品的视觉效果。而且不会像可见光摄像头识别人体衣物特征一样容易被遮挡或掩饰,它使用红外摄像头识别红外条码图形,可以比较精确地根据人所穿戴衣物的条码来对人体进行识别;而对于不会散发热量的无生命物体来说,红外摄像头很容易将这些物体与背景混淆,识别很困难,因此很多红外摄像头都只用于对人体的目标跟踪,但是本发明可以通过在无生命物体上印上不可见的红外条码图形,建立数据库,通过使用红外摄像头识别红外条码图形来实现对无生命物体的跟踪定位。
3、基于hausdorff距离的可见光与不可见光绑定
不可见光以红外为例,红外摄像头识别红外条码图形,可见光摄像头识别目标物体特征,如何将两者绑定也是一个问题。红外摄像头可以对红外条码图形进行定位,而可见光摄像头可以对目标物体进行定位,我们使用双向hausdorff距离来判断目标物体与红外条码图形是否匹配。所谓双向hausdorff距离,就是通过计算一个点集M到另一个点集N最近边缘点的最大距离,再反过来计算点集N到点集M最近边缘点的最大距离,这两个距离的最大值就是双向hausdorff距离。因此双向hausdorff距离可以度量两个点集间的最大不匹配程度。假设在一个空间内,有多个红外条码图形L={l1,l2,l3,…}对应位置P={p1,p2,p3,…}和多个目标物体O={o1,o2,o3,…}对应位置Q={q1,q2,q3,…},如果想找出其中目标物体与红外条码图形一一对应的关系,那么首先确定一个目标物体o1,取它轮廓边缘的多个三维空间位置点,得到点集A={a1,a2,a3,…},再取任意两个红外条码图形l1和l2轮廓边缘的三维空间位置点,得到点集B={b1,b2,b3,…}和C={c1,c2,c3,…}。计算点集A与点集B和点集C之间的双向hausdorff距离,就能知道两个红外条码图形中与目标物体不匹配的红外条码图形,将不匹配的红外条码图形l2舍去,留下较匹配的红外条码图形l1继续与剩余的红外条码图形比较双向hausdorff距离,重复上述过程,就可以把所有不匹配的红外条码图形舍去,留下的最后一个就是与目标物体o1相匹配的红外条码图形。使用这种方法就可以一一找到每个目标物体所对应的红外条码图形,且使用双向hausdorff距离可以解决遮挡问题。
具体实施方式:
接下来将通过数个案例来具体地解释说明本发明的技术内容及目的功效,但并非限制于以下几个案例,本发明的应用有很多。不可见光以红外为例。且相应示例图中的各元件尺寸及位置仅示意以便了解,而非实际的比例或尺寸大小。
第一个案例为大数据的相关应用,结合图5所示。大数据领域的一个难点就是数据的收集,比如深度学习进行分类识别,虽然方法很好用,但是它需要上万的数据图片,都只能人工收集分类做标签,这是相当消耗人力和时间的,想要制成像ImageNet这么庞大的数据库,可能需要很多人花费几个月甚至几年的时间。因此,如果使用本发明,可以在一定的实验空间内,架设如图5所示的三个或多个可见光与红外摄像头,相同种类的摄像头尽可能分散地设在实验空间的各个部位,以防部分遮挡现象的同时,可以对目标进行多角度拍摄。图5中,411、421和431分别是不同空间位置的三个红外摄像头,412、422和432分别是不同空间位置的三个可见光摄像头,4111和4311分别是411和431红外摄像头的照射区域,4121为可见光摄像头412的照射区域,其余摄像头的照射区域不一一画出,44为需要识别的目标物体。
将一个可见光摄像头与一个红外摄像头配成一组,尽可能地靠在一起,这样可以保证每组可见光摄像头与红外摄像头所扫描到的图片几乎保持空间上的一致,比如图4中的4111和4121区域需要尽可能地重合。
针对两种摄像头所拍摄到的视频图像,首先将同一组的视频图像进行数据处理,使其保持时间和空间上的一致性,然后用算法比较视频中的每一帧图片,通过红外条码图形能迅速知道图像中是否有目标,将有目标的可见光摄像头拍摄的图像自动分类到目标这一类,将没有目标的图像数据丢弃。这样只需要使用摄像头所拍摄到的视频,写一个程序算法就能实现大数据分类功能,而无需人工去查找分类,方便了很多。
使用多组可见光与红外摄像头,可以获取不同角度的更多数据样本,还能为训练目标的三维坐标位置进行大数据准备。通过图5所示的三组以上的摄像头,对目标物体进行坐标位置的定位,将摄像头所涉及的整个三维空间坐标制成大数据集,经过深度学习训练出相应的模型。有了模型之后,在相同的空间内,只需要一组可见光与红外摄像头,即可获取目标物体的三维空间坐标。这可以大幅度减少摄像头所需数量,也能应用于多种场合,比如在交通方面,如果在某些路段出现事故,即可马上追踪到目标车辆,且能直接定位到它的三维坐标位置;而一旦肇事车辆移动跨越了多个摄像头,也就是目标车辆从一个摄像头的照射范围移动到了另一个摄像头的照射范围,那每个摄像头都需要分别执行目标识别跟踪并相应匹配,这非常耗费时间,还需要后期人员对其数据进行分析寻找,因此如果直接使用了大数据训练的模型,那么肇事车辆即便跨摄像头,每个摄像头都能直接获取肇事车辆所在的三维坐标以及车辆信息并进行跟踪。
第二个案例为货物装运的相关案例。在码头或很多工厂,装卸货物的时候需要很多人员清点货物,这又会耗费很多人力和时间。如图7所示,611和612为可见光摄像头,621、622和623为红外摄像头,63为已印上红外条码图形的货物,64为运货车辆,65为车辆运行道路,图中摄像头数量、货物条码图形以及车辆都仅供参考。如果使用了本发明,在所有货物上都印上不可见的红外条码图形,那么只需要在装运货物的地方设置一个或多个红外及可见光摄像头,通过红外摄像头扫描货物的红外条码图形就可以知道这些货物是什么,结合可见光和红外摄像头可以对货物进行精确的定位,可以知道货物被运往哪个方向,送至哪个工厂或哪个码头,甚至在哪个仓库也可以知道,再写一个计数的程序即可清点货物的数量。使用本发明之后就不需要专门分出人手清点货物,而且从摄像头中就可以进行复查。
第三个案例是将红外条码图形印在所有衣裤等穿戴物品上,这样可以对人物进行身份识别跟踪,如图8和图9所示,71为人体的正面,72为人体半身的背面,711和712为人体上身衣服的红外条码图形,正常情况下人眼不可见,712为711的重复红外条码图形,713和714是人体下身裤子的红外条码图形,正常情况下人眼不可见,714为713的重复红外条码图形,721为人体背面上身衣服上的红外条码图形,为711的背面。衣物上的红外条码图形可以尽量大面积覆盖衣物的一整圈,便于在各种情况下的目标跟踪识别。在人体的各种穿戴物品上可以印上较大的红外条码图形,因为红外条码图形不可见,因此也不会影响人穿戴上印有红外条码图形的衣物后的美观或其他视觉效果。通过不同人衣物上不同的红外条码图形,就可以迅速地识别跟踪到目标人物。这在银行、商场等人物聚集的重要地点,一旦有人员发生异常行为,即可马上追踪到相应人员,即便有人员做伪装,但在所有衣物上印上的红外条码图形是唯一的,因此更便于追踪识别。
本发明优势所在:
本发明将不可见的红外条码或其他图形绑定目标物体建立一个数据库,只需要红外摄像头扫描到已绑定物体的红外条码图形即可在数据库中搜索到相应的目标物体,因此可以快速对目标物体进行识别。
对于一般的无生命物体来说,它们自身不会散发热量,因此红外摄像头对它们的识别非常弱,会与背景混淆在一起,所以红外摄像头常被用于对人体的检测追踪,而本发明使得红外摄像头可以不仅仅只对人进行跟踪,而是可以对所有的人和无生命物体都能进行识别与定位跟踪,扩大了红外摄像头的应用领域。
可见光摄像头分辨率较高,可以提供清晰的视频图像,对目标物体进行精确定位,但对光照、阴影以及其他环境因素非常敏感,因此较容易受干扰,而红外摄像头不容易环境因素影响,可以排除夜晚光线昏暗以及雨天这种动态背景的干扰,直接感应红外条码图形的特定波长,但分辨率较低,可以进行粗略定位。因此,将红外摄像头与可见光摄像头相结合,两种摄像头的优缺点可以相互补充。把目标特征与红外条码图形进行绑定,通过红外摄像头可以直接获取目标物体上的红外条码图形信息,识别出目标物体,可见光摄像头则可以根据目标物体的特征,从数据库中获取红外条码图形信息,从而识别出物体,由此可以更为快速精确地对目标物体进行跟踪。使用多个红外摄像头与可见光摄像头,放置在空间的不同位置点,还能计算出目标物体的三维空间位置,对目标物体进行三维的空间定位跟踪。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于可见光与不可见光信息融合的目标跟踪方法,其特征在于,包括以下步骤:
1)对目标物体加上不可见光可识别的条码图形;
2)可见光摄像头和不可见光摄像头同时采集目标物体的图像;
3)将可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定,进行双重目标跟踪;
所述的不可见光摄像头为红外摄像头,所述的条码图形为红外摄像头在各个角度均能识别的红外条码图形;
一旦所述的可见光摄像头被遮挡时,由所述的红外摄像头进行物体的三维坐标定位,而此时目标物体如果重新出现在可见光摄像头下,则根据目标的特征在数据库中匹配到相应的条码图形,获取目标位置,重新快速且准确地跟踪目标;
所述的可见光摄像头识别的目标物体特征与不可见光摄像头识别的目标物体条码图形进行绑定具体为:
红外摄像头对红外条码图形进行定位,而可见光摄像头对目标物体进行定位,使用双向hausdorff距离来判断目标物体与红外条码图形是否匹配;
假设在一个空间内,有多个红外条码图形L={l1,l2,l3,...}对应位置P={p1,p2,p3,...}和多个目标物体O={o1,o2,o3,...}对应位置Q={q1,q2,q3,...},如果想找出其中目标物体与红外条码图形一一对应的关系,那么首先确定一个目标物体o1,取它轮廓边缘的多个三维空间位置点,得到点集A={a1,a2,a3,...},再取任意两个红外条码图形l1和l2轮廓边缘的三维空间位置点,得到点集B={b1,b2,b3,...}和C={c1,c2,c3,...};
计算点集A、点集B和点集C两两之间的双向hausdorff距离,就能知道两个红外条码图形中与目标物体不匹配的红外条码图形,将不匹配的红外条码图形l2舍去,留下较匹配的红外条码图形l1继续与剩余的红外条码图形比较双向hausdorff距离,重复上述过程,就把所有不匹配的红外条码图形舍去,留下的最后一个就是与目标物体o1相匹配的红外条码图形。
2.根据权利要求1所述的方法,其特征在于,所述的红外条码图形为多次重复印刷红外条码图形,将所有的红外条码图形与其对应目标物体在可见光摄像头下进行特征绑定,对每个已绑定的红外条码图形写上标签生成一个数据库,当红外摄像头接收到条码信号之后,只需将红外条码图形信号与数据库中的数据进行比对,检索到对应的标签,就能识别出目标物体的身份。
3.根据权利要求1所述的方法,其特征在于,所述的红外条码图形采用隐形的红外材料印刷而成,即便对物体进行大面积的覆盖,亦不会影响到物体的正常视觉效果,其只会对设定的红外波长予以吸收。
4.根据权利要求1所述的方法,其特征在于,所述的红外条码图形为目标物体横向印上一圈的条码图形,这样无论红外摄像头在哪个方位,均能照射到目标物体上的条码图形;纵向为重复的条码图形,这样一旦条码图形有部分被遮盖,还是能通过剩余的条码图形识别目标物体。
5.根据权利要求1所述的方法,其特征在于,所述的红外条码图形为选取不同红外波段的材料,对目标物体进行大面积覆盖,红外摄像头对不同波段的红外材料会产生不同的信号,从而识别出不同的目标物体。
6.根据权利要求1所述的方法,其特征在于,所述的红外条码图形为条码图形或者点阵图形。
7.根据权利要求1所述的方法,其特征在于,所述的红外摄像头设有多个,多个红外摄像头对照射的区域进行几何分割并标记编码,判断红外条码图形处于哪些红外摄像头的哪个编码区域,根据对应的编码来计算出红外条码图形的三维位置。
CN201810136704.XA 2018-02-09 2018-02-09 基于可见光与不可见光信息融合的目标跟踪方法 Active CN108229238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810136704.XA CN108229238B (zh) 2018-02-09 2018-02-09 基于可见光与不可见光信息融合的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810136704.XA CN108229238B (zh) 2018-02-09 2018-02-09 基于可见光与不可见光信息融合的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108229238A CN108229238A (zh) 2018-06-29
CN108229238B true CN108229238B (zh) 2021-06-04

Family

ID=62661544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810136704.XA Active CN108229238B (zh) 2018-02-09 2018-02-09 基于可见光与不可见光信息融合的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108229238B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111164962B (zh) * 2018-09-26 2021-11-30 深圳市大疆创新科技有限公司 一种图像处理方法、设备、无人机、系统及存储介质
CN111753599B (zh) * 2019-03-29 2023-08-08 杭州海康威视数字技术股份有限公司 人员操作流程检测方法、装置、电子设备及存储介质
CN110110823A (zh) * 2019-04-25 2019-08-09 浙江工业大学之江学院 基于rfid和图像识别的物体辅助识别系统及方法
AT522495B1 (de) * 2019-07-30 2020-11-15 Gharb Samy System zur Überwachung von Personen
CN112634545B (zh) * 2020-11-23 2021-10-26 中标慧安信息技术股份有限公司 一种基于物联网的红外扫描管理系统
CN112382033A (zh) * 2020-12-07 2021-02-19 中科蓝卓(北京)信息科技有限公司 一种区域型入侵报警系统
CN112749573B (zh) * 2020-12-29 2023-04-28 杭州海康机器人股份有限公司 条码匹配方法、装置、电子设备及条码匹配系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651784A (zh) * 2009-09-24 2010-02-17 上海交通大学 云台摄像机全景的视频跟踪系统
CN102298688A (zh) * 2011-05-18 2011-12-28 深圳市鑫全图科技有限公司 隐形三维编码的数据输出输入方法
CN103337077A (zh) * 2013-07-01 2013-10-02 武汉大学 一种基于多尺度分割和sift的可见光与红外图像配准的方法
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪系统
CN104616041A (zh) * 2015-02-09 2015-05-13 许泽人 商品识别码、商品标识及商品的生产工艺
CN205318421U (zh) * 2015-11-05 2016-06-15 上海工业自动化仪表研究院 锅炉汽包制造过程数据跟踪标签
KR20170015612A (ko) * 2015-07-29 2017-02-09 한국생산기술연구원 적외선감응코드를 이용하는 스마트태그 인식시스템 및 이를 이용하는 인식방법
CN106779565A (zh) * 2017-01-04 2017-05-31 南阳师范学院 基于智能监控的物流仓储信息管理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651784A (zh) * 2009-09-24 2010-02-17 上海交通大学 云台摄像机全景的视频跟踪系统
CN102298688A (zh) * 2011-05-18 2011-12-28 深圳市鑫全图科技有限公司 隐形三维编码的数据输出输入方法
CN103337077A (zh) * 2013-07-01 2013-10-02 武汉大学 一种基于多尺度分割和sift的可见光与红外图像配准的方法
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪系统
CN104616041A (zh) * 2015-02-09 2015-05-13 许泽人 商品识别码、商品标识及商品的生产工艺
KR20170015612A (ko) * 2015-07-29 2017-02-09 한국생산기술연구원 적외선감응코드를 이용하는 스마트태그 인식시스템 및 이를 이용하는 인식방법
CN205318421U (zh) * 2015-11-05 2016-06-15 上海工业自动化仪表研究院 锅炉汽包制造过程数据跟踪标签
CN106779565A (zh) * 2017-01-04 2017-05-31 南阳师范学院 基于智能监控的物流仓储信息管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"异源图像匹配算法研究";王家泽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);正文第1至32页 *

Also Published As

Publication number Publication date
CN108229238A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229238B (zh) 基于可见光与不可见光信息融合的目标跟踪方法
Kwak et al. Pedestrian tracking using online boosted random ferns learning in far-infrared imagery for safe driving at night
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
Yang et al. CNN with spatio-temporal information for fast suspicious object detection and recognition in THz security images
Mery Automated detection in complex objects using a tracking algorithm in multiple X-ray views
US20220299643A1 (en) Obtaining data from targets using imagery and other remote sensing data
US20130121529A1 (en) Millimeter-wave subject surveillance with body characterization for object detection
US20100002910A1 (en) Method and Apparatus for Developing Synthetic Three-Dimensional Models from Imagery
WO2008048979A2 (en) Threat detection based on infra-red radiation contrast
JP2014071902A (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
CN109426802A (zh) 雷达和视觉传感器系统的融合
Wellhausen et al. Reliable real-time change detection and mapping for 3D LiDARs
CN111046877A (zh) 一种毫米波图像可疑物品检测方法和系统
Gao et al. Small foreign metal objects detection in X-ray images of clothing products using faster R-CNN and feature pyramid network
Yang et al. A novel deformable body partition model for MMW suspicious object detection and dynamic tracking
Farahnakian et al. Deep convolutional neural network-based fusion of rgb and ir images in marine environment
Li et al. Pedestrian liveness detection based on mmwave radar and camera fusion
Yamauchi et al. Person detection method based on color layout in real world robot challenge 2013
EP3845926A1 (en) Multi-spectral lidar object tracking method and system
Mosberger et al. A customized vision system for tracking humans wearing reflective safety clothing from industrial vehicles and machinery
US20190108403A1 (en) Body Scanner with Reference Database
Kramer et al. Relational template-matching algorithm for FLIR automatic target recognition
Gerónimo et al. Computer vision approaches to pedestrian detection: Visible spectrum survey
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200603

Address after: 200444 room 602, No. 53, Zone 8, Lane 699, Jinqiu Road, Baoshan District, Shanghai

Applicant after: Miao Peng

Address before: 200000 room 710, 2, 805 and 851, Guang Zhong Road, Jingan District, Shanghai.

Applicant before: SHANGHAI CHUANGUANG INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant