CN101527046A - 一种运动检测方法、装置和系统 - Google Patents

一种运动检测方法、装置和系统 Download PDF

Info

Publication number
CN101527046A
CN101527046A CN200910135766A CN200910135766A CN101527046A CN 101527046 A CN101527046 A CN 101527046A CN 200910135766 A CN200910135766 A CN 200910135766A CN 200910135766 A CN200910135766 A CN 200910135766A CN 101527046 A CN101527046 A CN 101527046A
Authority
CN
China
Prior art keywords
image
target
detected
scene
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910135766A
Other languages
English (en)
Other versions
CN101527046B (zh
Inventor
刘微
胡硕
刘韶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
QINGDAO HISENSE DIGITAL MULTIMEDIA TECHNOLOGY STATE KEY LABORATORY OF INFORMATION SECURITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QINGDAO HISENSE DIGITAL MULTIMEDIA TECHNOLOGY STATE KEY LABORATORY OF INFORMATION SECURITY filed Critical QINGDAO HISENSE DIGITAL MULTIMEDIA TECHNOLOGY STATE KEY LABORATORY OF INFORMATION SECURITY
Priority to CN200910135766A priority Critical patent/CN101527046B/zh
Publication of CN101527046A publication Critical patent/CN101527046A/zh
Priority to AU2009311052A priority patent/AU2009311052B2/en
Priority to US12/745,416 priority patent/US8385595B2/en
Priority to EP09825631.6A priority patent/EP2426642B1/en
Priority to PCT/CN2009/075257 priority patent/WO2010124497A1/zh
Application granted granted Critical
Publication of CN101527046B publication Critical patent/CN101527046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明公开了一种运动检测方法、装置和系统，涉及视频图像处理领域，能够有效克服运动检测中环境影响和目标“粘连”问题，避免了误检情况的发生，实现了复杂场景下高精度目标的检测。本发明实施例提供的运动检测方法，包括：获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。本发明适用于任何需要对运动物体进行检测的场景，如铁路、地铁和公交的自动客流统计系统，尤其适用于在光线变化比较强烈的场所中对目标的检测和标定等。

Description

一种运动检测方法、装置和系统
技术领域
本发明涉及视频图像处理领域，尤其涉及一种运动检测方法、装置和客流检测系统。
背景技术
对于铁路、地铁和公交车等公共交通系统，详实的掌握各条线路、站点客流的流向、流时、流量及其分布情况等信息，自动的客流信息统计系统能够方便运营公司进行线路调整，及对车辆资源进行合理配置。
传统自动客流信息的统计采用了红外遮挡系统及压力传感系统，利用物体通过该系统时，光线被遮挡的原理，统计通过红外遮挡系统的物体数量，该方法不能针对客流的往来进行精确、及时的统计，特别是在客流高峰期拥挤状况严重时，且该系统的应用场所受限。
相比而言，图像信息的容量更大，更丰富，图像处理技术的兴起与发展为解决传统客流统计技术面临的一系列问题提出了很多新方法。
目前，应用于自动客流统计的图像处理方法大多为利用二维图像处理中的特征识别与模式匹配等方法，该方法只适用于背景相对简单的情况，且对并排目标或目标前后拥挤的情况无法进行正确识别。基于立体视觉的运动检测技术已成为当今研究的热点。
现有技术一提供了一种基于立体视觉的公交客流统计方法，参见专利号为CN200510060288.2的中国专利，提出了一种利用待检测场景中各点到摄像机的距离，结合单目图像的特征识别技术，实现人头部的检测，从而完成客流信息统计的方法。如图1所示，对单目图像进行类圆物体提取时，存在着大量的伪圆，再通过一些算法准则去除伪圆，这样就实现每个人的头部对应一个圆，通过对圆形数量的计算实现对客流人数的统计。
现有技术二提供了一种利用运动检测技术确定运动目标的方法，参见专利号为CN200710003278.4的中国专利，该方法主要包括：获取检测场景的深度图像，建立并初始化该深度图像的高斯背景模型，根据该高斯背景模型确定该深度图像中的运动对象的像素点
然而，现有技术中还是存在着不少的问题，例如，现有技术一仅利用了包含待检测目标的场景的深度信息，且是以二维图像的特征识别技术为主要手段，该深度信息只是用于辅助去除伪圆，该方法无法完全去除伪圆，检测精度不高，最终对客流的统计结果不准确。现有技术二提供的方法也仅使用了包含待检测目标的场景的深度信息，需要利用大量的高斯统计和判断模型公式，计算量非常大，且需要利用算法及时更新高斯背景模型，然而当客流比较密集的时候会造成背景更新失效，无法进行目标检测。且当客流密集情况下，该方法会造成多个目标“粘连”在一起，导致检测区域无法分割，影响目标信息的统计。
发明内容
为解决现有技术中存在的问题，本发明的实施例提供了一种运动检测的方法、装置和系统，用于降低运动检测时的计算复杂度，实现复杂场景下的高精度目标的检测。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明实施例提供了一种运动检测方法，所述方法包括：
获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
进一步的，所述待检测目标由所述当前场景的检测信息减去所述背景场景的检测信息后计算得到；
或者，
设置第一权重值、第二权重值和补偿系数；
将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始待检测目标检测信息；
所述待检测目标由所述初始待检测目标检测信息和所述补偿系数计算得到。
进一步的，所述检测信息为视差图像，还包括：
获取所述背景场景和/或当前场景的第一图像和第二图像；对第一图像和相应的第二图像分别进行关键点提取，获取第一图像关键点和第二图像关键点；利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点；计算所述第一图像关键点的视差，并根据所述视差获取所述背景场景和/或当前场景的视差图像。
进一步的，还包括：
获取在第二图像的第a行中第b列起向第一图像方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；
计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；
根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。
进一步的，还包括：
按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；
在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；
计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点。
进一步的，还包括：
选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；
在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；
计算所述非关键点与该非关键点的匹配点之间的视差。
进一步的，还包括：
提取所述第一图像和第二图像的图像边缘点作为所述关键点，所述第一图像和第二图像为所述场景的双目图像。利用Census准则执行所述第一图像关键点和第二图像关键点的立体匹配；利用归一化互相关准则根据所述第一图像关键点的视差获取所述视差图像。
进一步的，所述检测信息为深度图像，还包括：
利用获取到的所述背景场景和/或当前场景的视差图像计算得到所述背景场景和/或当前场景的深度图像；或者，对所述背景场景或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述背景场景和/或当前场景的深度图像。
进一步的，所述待检测目标的得到，还包括确定初始待检测目标；根据去伪策略去除所述初始待检测目标中的伪目标，确定有效待检测目标。
进一步的，所述检测信息为视差图像或深度图像，还包括：
分别获取目标视差/深度图像水平方向投影和垂直方向投影中的极值点；
将所述水平方向投影的极值点和垂直方向投影的极值点分别两两配对，确定所述初始待检测目标；其中，所述目标视差/深度图像由所述背景场景的检测信息和当前场景的检测信息计算获得。
其中，所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差/深度图像中预定窗口内的视差/深度均值是否大于视差/深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始待检测目标，获取目标视差/深度图像中以该初始待检测目标为中心预定窗口内视差/深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效待检测目标，否则，该初始待检测目标为伪目标，其中，maxN为所述视差/深度均值最大的目标的序号；以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始待检测目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效待检测目标，否则，该初始待检测目标为伪目标。
另一方面，本发明实施例还提供了一种运动检测装置，所述装置包括：
检测信息获取单元，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
进一步的，所述目标检测单元，还用于由所述当前场景的检测信息减去所述背景场景的检测信息后计算得到所述待检测目标；或者，
所述目标检测单元，还用于设置第一权重值、第二权重值和补偿系数；将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始待检测目标检测信息；由所述初始待检测目标检测信息和所述补偿系数计算得到所述待检测目标。
进一步的，所述检测信息为视差图像，所述检测信息获取单元包括：
图像获取模块，用于获取背景场景或当前场景的第一图像和第二图像；
关键点提取模块，用于对第一图像和第二图像分别进行关键点提取，获取第一图像关键点和第二图像关键点；
关键点匹配模块，用于利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块，用于计算所述第一图像关键点的视差并根据所述视差获取所述背景场景或当前场景的视差图像。
进一步的，所述检测信息为深度图像，所述检测信息获取单元包括：
第一深度图像计算模块，用于利用获取到的所述背景场景和/或当前场景的视差图像计算得到所述背景场景和/或当前场景的深度图像；或者，
第二深度图像计算模块，用于对所述背景场景和/或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述所述背景场景和/或当前场景的深度图像。
进一步的，所述关键点匹配模块，还用于获取在第二图像的第a行中第b列起向第一图像方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。
进一步的，所述视差图像获取模块包括：
参考点视差获取模块，用于按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点；以及
非关键点视差获取模块，用于选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；计算所述非关键点与该非关键点的匹配点之间的视差。
进一步的，所述检测信息为视差图像或深度图像，所述目标检测单元包括：
初始目标获取模块，用于利用由所述背景场景的检测信息和当前场景的检测信息计算获得的目标视差/深度图像确定初始待检测目标；
目标真伪处理模块，用于根据去伪策略去除所述初始待检测目标中的伪目标，确定有效待检测目标；
其中，所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差/深度图像中预定窗口内的视差/深度均值是否大于视差/深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始待检测目标，获取目标视差/深度图像中以该初始待检测目标为中心预定窗口内视差/深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标，其中，maxN为所述深度均值最大的目标的序号；以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始待检测目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标。
再一方面，本发明实施例还提供了一种客流检测系统，该系统包括运动检测装置和计数装置，所述计数装置，用于根据所述运动检测装置得到的待检测目标计算得到客流量，其中，所述运动检测装置包括：
检测信息获取单元，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
由上所述，本发明实施例提供的技术方案，考虑到场景中原有的背景物体对待检测目标的影响，同时利用获取到的背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标，有效降低了背景物体对目标检测的影响，增强了检测的准确度。实践证明，本发明实施例提供的技术方案，解决了现有技术中由于仅使用包含待检测目标的场景的深度信息等进行目标检测所带来的问题，可以有效的克服环境影响和目标“粘连”问题，以较少的计算量实现了复杂场景下的高精度目标的检测。
附图说明
图1为现有技术一中头部定位的原理示意图；
图2为本发明实施例一提供的运动检测方法流程示意图；
图3为本发明实施例二提供的运动检测方法流程示意图；
图4(a)和图4(b)为本发明实施例二获取的背景场景双目图像；
图4(c)为根据图4(a)和图4(b)获取到的背景视差图像；
图4(d)和图4(e)为本发明实施例二获取的当前场景双目图像；
图4(f)为根据图4(d)和图4(e)获取到的当前视差图像；
图5为根据图4(c)和图4(f)获取到的目标视差图像；
图6为本发明实施例二提供的欧式距离去伪方法流程示意图；
图7为本发明实施例二提供的原图灰度信息去伪方法流程示意图；
图8为本发明实施例二提供的投影标记结果实验结果示意图；
图9为本发明实施例四提供的一种运动检测装置结构示意图；
图10为本发明实施例四提供的另一种运动检测装置结构示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合附图对本发明的实施例进行详细的介绍，下面的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些实施例获得本发明的其他的实施方式。
本发明实施例一提供了一种运动检测方法，如图2所示，所述方法包括：
步骤T1：获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景。例如，对客流自动统计系统，背景场景为不包括乘客情况下的场景，当前场景为包括流动的乘客情况下的当前场景。
上述场景的检测信息可以为视差图像或深度图像。本发明实施例一可利用场景不同视点下的图像计算视差图像，参见图3，首先采集场景的第一图像和第二图像，第一图像和第二图像中的一个为匹配图像，另一个为被匹配图像，通过该第一图像和第二图像获取场景的视差图像。对第一图像和第二图像的具体获取方式不进行限制，优选的，在此采用场景的双目图像，将背景双目图像(如左图像和右图像)分别作为背景场景的第一图像和第二图像，将当前场景的当前双目图像，分别作为当前场景的第一图像和第二图像。但不限于此，上述场景的第一图像和第二图像可以为用于获得视差图像的任何图像。
其中，双目图像是根据立体识别原理，从两个或多个视点观察同一景物，获取的物体在不同视角下的图像。根据该双目图像通过三角测量原理等，计算左右图像像素间的位置偏差，即视差。例如，利用双目摄像机拍摄的所述双目图像。根据所述双目图像利用立体匹配技术，分别获取背景视差图像和当前视差图像。
可通过多种方式获取场景的深度图像，例如，一方面本发明实施例一可以通过采集该场景同一视点的二维图像序列，如利用单目摄像机拍摄该场景的单目图像序列，对该图像序列进行边缘检测后，通过相关计算直接得到场景的深度图像。另一方面，本发明实施例一还可利用该场景不同视点下的图像计算视差图像，然后根据该视差图像计算得到相应的深度图像。
步骤T2：根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标，至少包括如下两种方式：
第一种方式：可以利用当前场景的检测信息减去背景场景的检测信息，得到目标检测信息，根据该目标检测信息进行计算得到所述待检测目标。例如，用当前场景的深度图像减去背景场景的深度图像得到目标深度图像，根据该目标深度图像进行计算得到待检测目标；或用当前场景的视差图像减去背景场景的视差图像得到目标视差图像，根据目标视差图像进行计算得到待检测目标。
第二种方式：设置第一权重值、第二权重值和补偿系数；将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始目标检测信息；根据所述初始目标检测信息和所述补偿系数计算目标检测信息，利用目标检测信息进行计算得到所述待检测目标。
例如，将当前场景的视差图像与第一权重值w1相乘，得到第一结果；将背景场景的视差图像与第二权重值w2相乘，得到第二结果；将第一结果减去第二结果得到初始目标视差图像，利用该初始目标视差图像加上或减去补偿系数，得到目标视差图像。
其中，对同一个视差图像所对应的权重值，可以取同一个常数值，或者，对该视差图像不同的部分取不同的权重值；所述补偿系数可在得到第一结果或第二结果前，直接与当前场景或背景场景的视差图像相加减。
应当注意到，上述权重值和补偿系数是可选的。
可选的，还包括，设置一个阈值，将上述两种方式获取到的目标视差图像或目标深度图像中的深度值或视差值与该阈值进行比较，当大于该阈值时，在目标深度/视差图像中保留该点；当小于阈值时，去除该点，从而获取到最终的目标视差/深度图像。
通过上述方式去除了背景中的物体对目标检测的干扰，得到了只有目标的目标检测信息，如只有乘客的目标检测信息，包括目标视差图像或目标深度图像，增强了检测的准确度。
利用所述目标视差图像或目标深度图像的投影，对所述目标进行定位，对目标进行定位的部位不进行限制，例如，目标为人员时，定位的位置并不要求必须在目标的头部，只要能定位在目标上即可。进一步的，为去除干扰点及提取正确的目标，可对初步定位获得目标进行去伪处理。
本发明实施例提供的技术方案，考虑到场景中原有的背景物体对待检测目标的影响，同时利用获取到的背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标，有效降低了背景物体对目标检测的影响，增强了检测的准确度。实践证明，本发明实施例提供的技术方案，解决了现有技术中由于仅使用包含待检测目标的场景的深度信息等进行目标检测所带来的问题，可以有效的克服环境影响和目标“粘连”问题，以较少的计算量实现了复杂场景下的高精度目标的检测。
下面对本发明实施例二提供的运动检测方法进行具体说明。在本发明实施例二中，参见图3，主要以采用不同视点的图像，得到背景场景的视差图像和当前场景的视差图像，并利用目标视差图像进行目标检测为例说明本发明实施例的技术方案。
步骤S1：获取背景视差图像和当前视差图像，所述背景视差图像为背景场景的视差图像，所述当前视差图像为包括待检测目标和同一背景场景的当前场景的视差图像；
利用第一图像和第二图像获取上述视差图像，优选的，本发明实施例二利用双目图像获取上述背景视差图像和当前视差图像，在本发明实施例二中，优选地，采用双目摄像机采集的所述双目图像，即左图像和右图像，选取左图像为被匹配图像(第一图像)，右图像为匹配图像(第二图像)。由于左右两台摄相机在拍摄同一场景的时候会存在一定的视差，即相同目标在水平方向上有一定的位移，距离摄像机近的物体视差大，距离摄像机远的物体视差小，依据此原理通过立体匹配的方法从获取的双目图像中提取视差图。
立体匹配技术是立体视觉处理过程中最困难的一个环节，为了降低计算复杂度、减少计算量且获取到精确的视差图像，，从而能够保证后续对目标进行精确的定位。本发明实施例二提供了一种基于关键点的立体匹配方法。
下面对本发明实施例二提供的立体匹配方法进行说明，具体包括如下步骤处理：
步骤S11：关键点的选取
首先，在左图像和右图像中选取关键点，关键点应该是在左右图像中特征比较明显，容易被正确识别并提取的像素点，关键点影响后续图像中其它点的立体匹配，因此必须选取合适的关键点。本发明实施例中考虑到图像中特征比较明显的点一般位于物体的边缘上，优选的，选取边缘点作为关键点。分别对左图像和右图像进行边缘提取，将获取到的边缘点作为关键点。但不限于此，可以选取其它具有明显特征的点作为关键点或根据需要选取合适的关键点。
步骤S12：关键点的立体匹配及视差
选取关键点后，首先进行关键点的立体匹配，获取所述被匹配图像的关键点在匹配图像中的匹配点，包括：获取在第二图像(即匹配图像，以下皆同)的第a行中第b列起向第一图像(即被匹配图像，以下皆同)方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。具体处理如下：
步骤S121：在双目摄像机采集的左图像中，按从左至右的顺序逐行扫描，寻找关键点(以下都以边缘点为例)，若遇到的一个边缘点为A，其坐标为(a，b)，a为行坐标，b为列坐标；
步骤S122：在双目摄像机采集的右图像中，在与A点相同位置的行，即第a行中，向第b列起至被匹配图像方向一侧的预定范围内的搜索关键点，所述预定范围为包含一定数量N像素点的范围，该范围根摄像机摄像头的具体参数及架设高度有关，如应用在公交客流自动统计系统时，N可取30。
即当左图像为被匹配图像时，在右图像中第a行中第b列起向左的30个像素点范围内搜索边缘点，假设这时找到M个边缘点。
步骤S123：在左右图像中对点A进行立体匹配。
由于边缘点具有明显的特征且细节丰富，进行立体匹配以获取关键点A的匹配点时，本发明实施例二采用在5×5的窗口中采用计算量较小的Census准则即可达到理想的效果。
即左图像中在以A为中心的5×5的窗口中计算Census值，右图像中分别在以找到的M个边缘点为中心5×5的窗口中计算的Census值，将A点的Census值分别与M个Census值进行相似度比较，获取匹配值，当相似点的个数(如25个)大于等于预定个数(如20个)时，A点与右图像M个点中哪一个点的相似度最大，即获得了最优的匹配值，则认为A点与该点匹配，可得到A点的匹配点为B点，B的坐标为(a，c)；当相似点的个数小于预定个数时，将A点从关键点中清除。
由于M点的个数相对很少，搜索范围较小，并且Census的匹配准则比较简单，所以关键点的立体匹配速度很快。
步骤S124：当关键点A存在匹配点B时，计算A的视差DIF＝b-c。
重复上述步骤S121至步骤124的操作，得到所有关键点的视差。
步骤S13：参考点的立体匹配及视差
为了进一步对关键点进行立体匹配，通过关键点A确定其参考点C，对该C点进行立体匹配。包括按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点。具体进行如下操作：
步骤S131：参考点的选取
本发明实施例二中选取左图像中关键点A后的下一个扫描点作为参考点，即将紧挨关键点A右侧的点选取为参考点C，其坐标为(a，d)。
再将C点右侧的点作为参考点，依次选取，直至遇到该行的下一个关键点。各行之间的操作是独立的，互不影响。
步骤S132：参考点的立体匹配及视差
在匹配图像即右图像中的搜索范围内获取该参考点的匹配点，所述搜索范围由匹配图像中由第a行中从第(b-DIF)列至第d列构成，其中，DIF为所述被匹配图像中关键点的视差，即在与C点同行(第a行)数据中，并且在第(b-DIF)列至第d列范围内搜索C的匹配点，这里，本发明实施例采用7×7窗口的归一化互相关匹配准则，获取到C点的匹配点，并计算C点的视差DIF_C。但不局限于此，包括其它适合的匹配规则。
然后将C点视为关键点，依次重复上述操作，例如，紧挨点C(a，d)的右侧的点为D点，其坐标为(a，e)。则对于D点来说，C点为其可参考的关键点，若C的视差为DIF_C，则D点在右图像中的搜索范围是第a行数据中的(d-DIF_C)列至e列，获取D点的匹配点，计算D点的视差DIF_D，将D点视为关键点；若不存在匹配点，清除D点。依次类推可计算出关键点右侧的所有的点的视差。
步骤S14：非关键点的立体匹配及视差
计算非关键点的视差包括：选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；计算所述非关键点与该非关键点的匹配点之间的视差。
通过上述步骤S12、及步骤S13的操作，左图像中已计算出视差的点都可被视为关键点，剩余的点为非关键点。在非关键点左侧的上下行中寻找关键点，利用该关键点的参照步骤S13相同的方式，即在匹配图像中与非关键点相同位置行中，利用寻找到的关键点的视差确定的列的范围内，进行非关键点的立体匹配和视差计算。
由上所述，本发明实施例二提供的立体匹配方法，将匹配过程分为三个主要层次，首先进行关键点的匹配和视差计算，利用较简单的匹配规则和较小的窗口即可获得较好的效果；然后根据关键点及其视差等信息，对其周围的参考点进行匹配，最后处理剩余的像素点。该方法在进行匹配时大大缩小了搜索的范围，提高了匹配的速度。
如图4(a)至图4(f)所示，显示了将上述立体匹配方法应用到公交自动客流统计系统的一个场景的结果图像，其中，图4(a)和图4(b)为背景场景双目图像，图4(a)为左图像，图4(b)为右图像，图4(c)为获取到的背景视差图像。图4(d)和图4(e)为当前场景双目图像，图4(d)为左图像，图4(e)为右图像，图4(f)为获取到的当前视差图像。
步骤S2：根据所述背景视差图像和当前视差图像获取目标视差图像；
通过利用当前视差图像的像素值逐点减去背景视差图像的对应像素值，获取目标视差图像，单独的相减操作获取的目标视差图像会存在一些干扰点和视差误差，在本发明实施例二中，还包括，设置一个阈值，将上述相减操作获取到的像素差值与该阈值进行比较，当大于阈值时，在目标视差图像中保留该点；当小于阈值时，去除该像素点，从而获取到最终的目标视差图像。参见图5为根据图4(c)和图4(f)获取到的目标视差图像。
优选的，在本实施例中采用直接相减的方法，获取上述目标视差图像，这种方式经实验证明可以获得理想的效果。但不限于此，例如，可以采用本发明实施例一步骤T2中的第二种方式，或其他相似、或变形的方式获取上述目标视差图像。
步骤S3：利用所述目标视差图像获取所述目标，具体包括如下处理：
步骤S31：分别获取所述目标视差图像水平方向投影和垂直方向投影中的极值点。
在此提供一种获取极值点的方法：对目标视差图像分别向水平方向(x方向)和垂直方向(y方向)进行投影得到两条投影曲线，即水平投影曲线xHist和垂直投影曲线yHist；对xHist及yHist分别计算二阶差分得到xHist极值点xPeakPoint[n]，n∈[0，xNum]，n为极值点的序号，此处xNum为xHist中的极值点数目；和yHist的极值点yPeakPoint[n]，n∈[0，yNum]，n为极值点的序号，此处yNum为yHist中的极值点数目。
步骤S32：利用所述极值点获取所述初始的目标。
通过对xPeakPoint[n]和yPeakPoint[n]两两配对得到xNum×yNum个初始的目标点，初始的目标点可以通过下式表示：objPoint[n]，n∈[0，objNum]，
其中，初始待检测目标点的个数objNum＝xNum×yNum，通过xPeakPoint[n]、yPeakPoint[n]标定初始的目标objPoint[n]的位置。
上述利用极值点标定目标位置的方法，所标定的位置不局限于目标的某一特定部位，如头部，只要能够定位在目标上即可，从而使目标的检测不局限于对某种图形(如圆形)的匹配，提高了目标的检测精度。
根据去伪策略去除初始的目标中的伪目标得到最终的有效目标。
步骤S33：根据去伪策略去除所述初始的目标中的伪目标，确定有效目标。
下面对本发明实施例二提供的去除伪目标，确定有效目标的方法进行描述。
去伪处理过程中主要利用了三种策略：1)视差图信息去伪策略；2)欧式距离去伪策略；3)原图灰度信息去伪策略，下述对这三种策略分别进行介绍。
1、视差图信息去伪策略
由于视差图中真实目标的视差比较大，因此可以根据初始待检测目标点在视差图中的视差大小来去除一些干扰目标。设定阈值(deepThreshold)，如可将阈值大小设为视差图中所有视差均值的1/2。判断以所述初始的目标为中心的目标视差图像中预定窗口内的视差均值是否大于视差阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标。对所述预定窗口的大小不进行限定，例如，可以为5×5的窗口，也可以为7×7的窗口。
本发明实施例提供的用于获取阈值的参考C代码如下所示：
int i，j；//循环变量
double sumTmp；//临时变量
double deepThreshold；//阈值
sumTmp＝0；
for(i＝0；i＜height；i++)
{
     for(j＝0；j＜width；j++)
{
     sumTmp＝sumTmp+imgData[i*width+j]；
}
}
deepThreshold＝sumTmp/(width*height*2)；//阈值为视差均值的1/2
其中，数组imgData为目标视差图像数据，width和height分别为图像的宽度和高度。
本发明实施例二提供的用于实现视差图信息去伪策略的参考C代码如下所示：
设avgRegion[n]为初始待检测目标点objPoint[n]在5×5窗口内所有视差值的均值，n为初始待检测目标点的序号，参考c代码如下所示：
double tmpSum＝0；
for(i＝objPoint[n].y-5；i＜objPoint[n].y+5；i++)
{
for(j＝objPoint[n].x-5；j＜objPoint[n].x+5；j++)
{
       tmpSum+＝imgData[i*width+j]；
}
}
avgRegion[n]＝tmpSum/(10*10)；
其中，数组imgData为视差图像数据，width为图像的宽度，objPoint[n].x和objPoint[n].y分别为objPoint[n]的行和列的坐标值。
当avgRegion[n]大于deepThreshold时，objPoint[n]为有效目标；否则，当avgRegion[n]小于等于deepThreshold时，objPoint[n]为伪目标，并删除该伪目标。
2、欧式距离去伪策略
由于目标(如人员头部)之间的距离不能小于一定距离，因此可利用目标之间的距离去除干扰点。
对当前未进行去伪处理的初始的目标，获取以该初始待检测目标为中心在目标视差图像中预定窗口内的视差均值最大的目标objPoint[maxN]，计算所有所述初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标，其中，maxN为所述视差均值最大的目标的序号。
重复上述处理过程，直至所有的初始待检测目标都已进行了欧式距离去伪
处理。下面以一个具体的实现方式为例进行说明。
设avgRegion[n]为初始待检测目标点objPoint[n]在预定窗口(如5×5的窗口)内所有视差值的均值，n为初始待检测目标点的序号，avgRegion[n]的获得方式参见上述视差图信息去伪部分的相关描述。
为便于距离去伪处理，可选的，为初始待检测目标点设置是否已进行距离去伪处理的标识，如标识processFlag[n]，processFlag[n]的初始值设置为0，当对初始待检测目标进行过距离去伪处理后，将processFlag[n]设置为1；为初始待检测目标点设置删除标识，如设置标识deleteFlag[n]，deleteFlag[n]的初始值为0，将deleteFlag[n]置1时，表示该目标点被删除。但不限于此，可以采用其它适合的方式以实现上述的距离去伪操作。
设距离阈值为dstnThreshold，对所有目标点进行一次欧式距离去伪操作，参见图6，具体步骤如下：
1)计算当前未进行去伪处理的初始的目标在预定窗口中的视差均值，找出视差均值最大的点。
遍历所有满足条件deleteFlag[n]＝0且processFlag[n]＝0的avgRegion[n]，找到最大值max(avgRegion[n])，该最大值对应的点为n＝maxN；
2)计算objPoint[maxN]与其它所有未进行距离去伪处理的点的欧式距离，即与满足条件deleteFlag[n]＝0且processFlag[n]＝0的目标点的欧式距离dstnVal[n]。
当计算出初始待检测目标的距离dstnVal[n]小于距离阈值dstnThreshold时，删去该目标点objPoint[n]，即设置deleteFlag[n]＝1，processFlag[n]＝1；
3)将当前的视差值最大的初始待检测目标点的标识processFlag[maxN]置1；
4)判断是否满足所有目标点的标识processFlag[n]都为1，如果满足，转到步骤5)，否则，转到步骤1)；
5)结束。
3、原图灰度信息去伪策略
该策略利用了目标(头部)一般颜色较深，即灰度值较低这一特点进行伪目标去除。即一些位于乘客身体上的伪目标在灰度值上远大于位于头部上的有效目标。
获取所述初始的目标在被匹配图像中以该目标为中心预定窗口内灰度均值最小的目标，计算所有初始的目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标。
获取所有初始待检测目标objPoint[n]在左图像(原图像)中预定窗口(如5×5的窗口)内的灰度均值grayVal[n]，n为初始待检测目标点的序号，可以遍历grayVal[n]找到最小值minVal＝min(grayVal[n])，以minVal为基准值与其它目标的灰度值进行比较。
此处，为了保证能够准确去除伪目标，设定比例阈值fioThreshold和控制阈值conThreshold，通过利用两种阈值对初始待检测目标进行识别。
参见图7，进行一次原图灰度信息去伪操作可以按以下步骤进行：
1)遍历grayVal[n]找到最小值minVal＝min(grayVal[n])，同时设置序号n＝0；
2)计算比值fioVal[n]＝grayVal[n]/minVal，如果fioVal[n]＞fioThreshold同时满足grayVal[n]＞conThreshold，则objPoint[n]为伪目标，去除该伪目标；否则该初始待检测目标为有效目标；
3)是否满足中止条件n＝objNum，objNum为初始待检测目标的总数目。如果满足，则转入步骤4)，否则，n＝n+1，转入步骤2)；
4)结束。
应当注意到，由于深度信息值和视差信息值具有一致性，都可用于表示目标距离摄像机的远近。显而易见的，在本发明实施例二中，根据获取到的视差值通过特定的计算关系，可得到相应的深度值，利用当前场景的深度信息减去背景场景的深度信息获得目标深度信息，并利用所述目标深度信息对应的目标深度图像的极值点确定初始待检测目标；根据上述去伪策略去除所述初始待检测目标中的伪目标，确定有效目标。
这时，上述去伪策略具体如下所述，且其具体处理方法可参见上述的视差图信息去伪策略、欧式距离去伪策略和原图灰度信息去伪策略，包括：
判断以所述初始待检测目标为中心的目标深度图像中预定窗口内的深度均值是否大于深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始的目标，获取目标深度图像中以该初始待检测目标为中心预定窗口内深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标，其中，maxN为所述深度均值最大的目标的序号；以及，
获取所述初始的目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始的目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标。其中，上述当前场景的相应图像为当前场景的原图像，如当利用双目图像的视差图像获取深度图像时，该原图像为双目图像中的被匹配图像，当利用单目图像获取深度图像时，该单目图像为原图像。
本发明实施例二提供了一种由视差图像计算得到深度图像的方法，包括如下处理：
利用如下公式(1)由视差图像中的视差值得到深度图像中深度值：
z＝(b×f)/d                      (1)
其中，z表示深度值；b是基线值，是指摄像头的光心之间的距离；f是摄像头的焦距，单位是像素；d表示视差值。
通过公式(1)得到的深度值z表示了目标距离摄像头光心的距离，深度值越小表示距离摄像头越近，深度值越大表示距离摄行头越远。
进一步的，上述得到的深度值z可能过大，(如超过255)，可对公式(1)得到的结果进行一定的修正，如修正公式可采用下式：
z1＝z×r，                       (2)
其中，根据摄像头安装的高度确定r的值，r可以大于1也可以小于1，通过(2)式可将z转换成0～255的数。这样得出的深度值z1与视差值d是成反比关系，也就是在视差图像最亮的地方在深度图像中会变成最暗的地方，在视差图像最暗的地方在深度图像中会变成最亮的地方。
为了后续进行目标定位，需要将深度图与视差图的对应关系保持一致，进一步的，可进行如下公式(2)进行修正：
z2＝255-z1                 (3)
由得到的z2构成最后使用的目标深度信息，以进行目标检测。
上述的目标检测和去伪处理过程，进行目标定位时不局限于目标的某一部位(如头部)，且采用多种去伪策略进行目标识别，去除伪目标。对客流进行检测时，不依赖头发相对周围环境灰度较黑的特性，能够准确检测出戴帽子时的目标或穿黑衣服时的目标，获得精确的客流检测结果。
为便于理解并充分说明本发明实施例的有益效果，下面通过一个简化的例子说明上述目标识别及标定的方法。参见图8，仍以公交自动客流统计系统为例进行说明，图8中图像A显示了实际的场景图像。
首先对目标视差图像进行水平方向的投影，将目标视差图像的二维数据变成一维投影图，找出水平投影图中的峰值点(即极值点)；再做垂直方向上的投影，将图像二维数据变成一维投影图，找出垂直投影图中的峰值点。图8中B图像为水平投影图，在该投影图中确定出3个峰值点，如B图像中圆点所示，图8中D图像为垂直投影图，在该投影图中确定出3个峰值点，如D图像中圆点所示。由此可得到初始的目标为3×3＝9个，再去伪策略去除所述初始的目标中的伪目标，可准确标定出有效目标，如图8中C图像所示。将C图像与实际场景的A图像相比较，充分证明了本发明实施例提供的运动检测方法的有效性与精确性。
由上所述，本发明实施例提供的技术方案，考虑到立体视觉技术的特点，充分利用了场景的视差图像，利用只包含待检测目标视差的目标视差图像进行运动检测，增强了检测的准确度。本发明实施例的技术方案通过一种基于关键点的立体匹配技术，获取到准确的目标视差图像以定位目标，进行目标定位时不局限于目标的某一部位，且采用多种去伪策略进行目标识别，去除伪目标。实践证明，本发明提供的技术方案，解决了现有技术中存在的问题可以有效的克服环境影响和目标“粘连”问题，避免了对目标戴帽子时或者穿黑衣服时造成误检的情况，以较少的计算量实现了复杂场景下的高精度目标的检测。
下面对本发明实施例三提供的运动检测方法进行具体说明。在本发明实施例三中，主要对所述背景场景或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述背景场景的深度信息或当前场景的深度信息；然后，得到目标深度信息，利用该目标深度信息获取待检测的目标。
其中，由背景场景和当前场景的深度信息，得到目标深度信息，再利用该目标深度信息获取待检测的目标的方法可参见本发明实施例一和二，下面对本发明实施例三提供的对所述背景场景或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述背景场景的深度信息或当前场景的深度信息的方法进行说明，至少包括如下两种方式。
方式一、利用图像序列的像素值差进行边缘检测时。
上述图像序列包括第一图像和第二图像，将第一图像的像素值与第二图像的像素值相减，得到像素值差S(x，y，n)，所述像素值可以为像素点的色度C(x，y，n)和亮度I(x，y，n)中的一个，其中，I(x，y，n)为在时间n具有图像坐标x和y的像素的亮度值，S(x，y，n)为在时间n具有图像坐标x和y的像素的色度值。
为减小误差，对像素值差S(x，y，n)进行滤波得到像素值差信号SF(x，y，n)。利用像素值差信号SF(x，y，n)，可选的，根据下式(5)或(6)采用线性或非线性变换进行深度映射，获取深度信息D(x，y，n)：
D(x，y，n)＝α*SF(x，y，n)        (4)
其中，α为预定常数；
D(x，y，n)＝W(i)*SF(x，y，n)      (5)
其中，W(i)为加权因数，涉及像素与其邻近空间中的像素之间的空间距离i。
方式二、利用图像序列的运动矢量差进行边缘检测时。
根据第一图像和第二图像计算的运动矢量场的基础上检测边缘，该第一图像和第二图像为属于同一个视频序列。
利用上述运动矢量场的相邻运动矢量的运动矢量差来检测边缘，获取到的深度值为该运动矢量差的函数，例如，通过加权因数W(i)来进行深度值的分配。检测运动矢量场中具有相对较大运动矢量对比度的区域，这些区域与相应图像中的边缘对应。
本发明实施例提供的技术方案，考虑到立体视觉技术的特点，充分利用了场景的深度信息，利用目标深度信息进行运动检测。本发明提供的技术方案，解决了现有技术中存在的问题可以有效的克服环境影响和目标“粘连”问题，避免了对目标戴帽子时或者穿黑衣服时造成误检的情况，以较少的计算量实现了复杂场景下的高精度目标的检测。
本发明实施例四提供了一种运动检测装置，如图9所示，所述装置包括：
检测信息获取单元91，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元92，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
其中，所述目标检测单元92，还用于由所述当前场景的检测信息减去所述背景场景的检测信息后计算得到所述待检测目标；或者，
所述目标检测单元92，还用于设置第一权重值、第二权重值和补偿系数；将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始待检测目标检测信息；由所述初始待检测目标检测信息和所述补偿系数计算得到所述待检测目标。
进一步的，如图10所示，当所述检测信息为视差图像，所述检测信息获取单元91包括：
图像获取模块911，用于获取背景场景或当前场景的第一图像和第二图像；
关键点提取模块912，用于对第一图像和第二图像分别进行关键点提取，获取第一图像关键点和第二图像关键点；
关键点匹配模块913，用于利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块914，用于计算所述第一图像关键点的视差并根据所述视差获取所述背景场景或当前场景的视差图像。
其中，所述关键点匹配模块913，还用于获取在第二图像的第a行中第b列起向第一图像方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。
所述视差图像获取模块914包括：
参考点视差获取模块，用于按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点；以及
非关键点视差获取模块，用于选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；计算所述非关键点与该非关键点的匹配点之间的视差。
进一步的，上述图像获取模块911可利用双目摄像机实现，这时，需要对摄像机进行标定。
摄像机标定是为了确定摄像机的内部参数，如焦距、镜头失真系数、不确定性图像因子，及外部参数，如旋转矩阵、平移矢量，以便确定成像模型。标定过程精确与否，直接影响了立体视觉系统测量的精度。经过标定处理，一方面获得摄像机的内外参数并校正了镜头的非线型畸变；另一方面使得外极线水平。
在本发明实施例中，上述装置所使用的双目摄像机应满足如下要求：
使用相同型号、相同参数的两个相机，保证两个相机的一致性；设置两个相机的焦平面水平，基线平行；为了获得较大视场并使图像变形尽量小，该双目摄相器的感光器件(如cmos或者ccd传感器)的面积应在1/3英寸以上；将摄像机安装在待检测场景的上方，由上至下拍摄图像，以确保目标的头部深度最大。
进一步的，所述检测信息为深度图像，所述检测信息获取单元91包括：
第一深度图像计算模块，用于利用获取到的所述背景场景和/或当前场景的视差图像计算得到所述背景场景和/或当前场景的深度图像；或者，
第二深度图像计算模块，用于对所述背景场景和/或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述所述背景场景和/或当前场景的深度图像。
进一步的，所述检测信息为视差图像或深度图像，所述目标检测单元92包括：
初始目标获取模块921，用于利用由所述背景场景的检测信息和当前场景的检测信息计算获得的目标视差/深度图像确定初始待检测目标；
目标真伪处理模块922，用于根据去伪策略去除所述初始待检测目标中的伪目标，确定有效待检测目标；
其中，所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差/深度图像中预定窗口内的视差/深度均值是否大于视差/深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始待检测目标，获取目标视差/深度图像中以该初始待检测目标为中心预定窗口内视差/深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标，其中，maxN为所述深度均值最大的目标的序号；以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始待检测目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标。
其中，当利用视差图像进行目标检测时，上述相应的图像为获取视差图像时的被匹配图像；当利用深度图像进行目标检测时，上述当前场景的相应图像为当前场景的原图像，如当利用双目图像的视差图像获取深度图像时，该原图像为双目图像中的被匹配图像，当利用单目图像获取深度图像时，该单目图像为原图像。
本发明实施例四中各功能模块的具体工作方式参见本发明的方法实施例。
由上所述，本发明实施例提供的技术方案，考虑到立体视觉技术的特点，充分利用了场景的视差/深度信息，利用只包含待检测目标视差/深度的目标视差/深度图像进行运动检测，增强了检测的准确度。
其中，本发明实施例的技术方案通过一种基于关键点的立体匹配技术，获取到准确的目标视差图像以定位目标，进行目标定位时不局限于目标的某一部位，且采用多种去伪策略进行目标识别，去除伪目标。
实践证明，本发明提供的技术方案，解决了现有技术中存在的问题可以有效的克服环境影响和目标“粘连”问题，避免了对目标戴帽子时或者穿黑衣服时造成误检的情况，以较少的计算量实现了复杂场景下的高精度目标的检测。
本发明实施例五还提供了一种客流检测系统，该系统包括运动检测装置和计数装置，所述计数装置，用于根据所述运动检测装置得到的待检测目标计算得到客流量，其中，所述运动检测装置包括：
检测信息获取单元，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；目标检测单元，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
该系统可用于铁路、地铁和公交等交通系统的自动客流统计，也适用于任何需要对运动物体进行检测的情况。尤其适用于对光线变化比较强烈的场所中，对目标的检测和标定等。
由上所述，本发明实施例提供的技术方案，考虑到场景中原有的背景物体对待检测目标的影响，同时利用获取到的背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标，有效降低了背景物体对目标检测的影响，增强了检测的准确度。实践证明，本发明实施例提供的技术方案，解决了现有技术中由于仅使用包含待检测目标的场景的深度信息等进行目标检测所带来的问题，可以有效的克服环境影响和目标“粘连”问题，以较少的计算量实现了复杂场景下的高精度目标的检测。
本领域普通技术人员可以理解实现上述实施例中的全部或部分步骤，可以通过程序指令相关硬件完成。所述实施例对应的软件可以存储在一个计算机可存储读取的介质中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1、一种运动检测方法，其特征在于，所述方法包括：
获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
2、根据权利要求1所述的运动检测方法，其特征在于，
所述待检测目标根据所述当前场景的检测信息减去所述背景场景的检测信息计算得到；
或者，
设置第一权重值、第二权重值和补偿系数；
将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始目标检测信息；
所述待检测目标由所述初始目标检测信息和所述补偿系数计算得到。
3、根据权利要求2所述的运动检测方法，其特征在于，所述检测信息为视差图像，
获取所述背景场景和/或当前场景的第一图像和第二图像；
对第一图像和相应的第二图像分别进行关键点提取，获取第一图像关键点和第二图像关键点；
利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点；
计算所述第一图像关键点的视差，并根据所述视差获取所述背景场景和/或当前场景的视差图像。
4、根据权利要求3所述的运动检测方法，其特征在于，利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点包括：
获取在第二图像的第a行中第b列起向第一图像方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；
计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；
根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。
5、根据权利要求3所述的运动检测方法，其特征在于，计算所述第一图像关键点的视差并根据所述视差获取视差图像包括：
按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；
在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；
计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点。
6、根据权利要求3所述的运动检测方法，其特征在于，计算所述第一图像关键点的视差并根据所述视差获取视差图像包括：
选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；
在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；
计算所述非关键点与该非关键点的匹配点之间的视差。
7、根据权利要求3所述的运动检测方法，其特征在于，所述方法还包括：
提取所述第一图像和第二图像的图像边缘点作为所述关键点，所述第一图像和第二图像为所述场景的双目图像。
8、根据权利要求3所述的运动检测方法，其特征在于，所述方法还包括：
利用Census准则执行所述第一图像关键点和第二图像关键点的立体匹配；
利用归一化互相关准则根据所述第一图像关键点的视差获取所述视差图像。
9、根据权利要求1所述的运动检测方法，其特征在于，所述检测信息为深度图像，
利用获取到的所述背景场景和/或当前场景的视差图像计算得到所述背景场景和/或当前场景的深度图像；
或者，
对所述背景场景或当前场景的同一视点下的图像进行边缘检测；
根据所述边缘检测计算得到所述背景场景和/或当前场景的深度图像。
10、根据权利要求2所述的运动检测方法，其特征在于，所述待检测目标的得到，还包括：
确定初始待检测目标；
根据去伪策略去除所述初始待检测目标中的伪目标，确定有效待检测目标。
11、根据权利要求10所述的运动检测方法，其特征在于，所述检测信息为视差图像或深度图像，
分别获取目标视差/深度图像水平方向投影和垂直方向投影中的极值点；
将所述水平方向投影的极值点和垂直方向投影的极值点分别两两配对，确定所述初始待检测目标；
其中，所述目标视差/深度图像由所述背景场景的检测信息和当前场景的检测信息计算获得。
12、根据权利要求10所述的运动检测方法，其特征在于，所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差/深度图像中预定窗口内的视差/深度均值是否大于视差/深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始待检测目标，获取目标视差/深度图像中以该初始待检测目标为中心预定窗口内视差/深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效待检测目标，否则，该初始待检测目标为伪目标，其中，maxN为所述视差/深度均值最大的目标的序号；以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始待检测目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效待检测目标，否则，该初始待检测目标为伪目标。
13、一种运动检测装置，其特征在于，包括：
检测信息获取单元，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
14、根据权利要求13所述的运动检测装置，其特征在于，
所述目标检测单元，还用于由所述当前场景的检测信息减去所述背景场景的检测信息后计算得到所述待检测目标；或者，
所述目标检测单元，还用于设置第一权重值、第二权重值和补偿系数；将所述当前场景的检测信息与所述第一权重值的乘积，减去所述背景场景的检测信息与所述第二权重值的乘积，得到初始待检测目标检测信息；由所述初始待检测目标检测信息和所述补偿系数计算得到所述待检测目标。
15、根据权利要求13所述的运动检测装置，其特征在于，所述检测信息为视差图像，所述检测信息获取单元包括：
图像获取模块，用于获取背景场景或当前场景的第一图像和第二图像；
关键点提取模块，用于对第一图像和第二图像分别进行关键点提取，获取第一图像关键点和第二图像关键点；
关键点匹配模块，用于利用所述第一图像关键点和第二图像关键点进行立体匹配，得到第一图像关键点在第二图像关键点中对应的匹配点；
视差图像获取模块，用于计算所述第一图像关键点的视差并根据所述视差获取所述背景场景或当前场景的视差图像。
16、根据权利要求13所述的运动检测装置，其特征在于，所述检测信息为深度图像，所述检测信息获取单元包括：
第一深度图像计算模块，用于利用获取到的所述背景场景和/或当前场景的视差图像计算得到所述背景场景和/或当前场景的深度图像；或者，
第二深度图像计算模块，用于对所述背景场景和/或当前场景的同一视点下的图像进行边缘检测；根据所述边缘检测计算得到所述所述背景场景和/或当前场景的深度图像。
17、根据权利要求15所述的运动检测装置，其特征在于，所述关键点匹配模块，还用于获取在第二图像的第a行中第b列起向第一图像方向一侧的预定范围内的各关键点，其中，所述a和b分别为第一图像中关键点的行坐标和列坐标；计算所述第一图像关键点(a，b)和所述第一图像关键点(a，b)对应的第二图像中各关键点的匹配值；根据所述匹配值确定第一图像关键点(a，b)在第二图像中的匹配点。
18、根据权利要求15所述的运动检测装置，其特征在于，所述视差图像获取模块包括：
参考点视差获取模块，用于按照扫描顺序，将所述第一图像关键点后的下一个扫描点作为参考点，所述关键点、参考点在第一图像中行坐标和列坐标分别为a和b、a和d；在第二图像的搜索范围内获取该参考点的匹配点，所述搜索范围是由第a行中从第b-DIF列至第d列构成，其中，DIF为所述第一图像关键点的视差；计算所述参考点与该参考点的匹配点之间的视差，并将该参考点作为关键点；以及
非关键点视差获取模块，用于选取第一图像中非关键点(m，n)对应的近邻关键点(o，p)；在第二图像的第二搜索范围内获取该非关键点的匹配点，所述第二搜索范围是由第m行中从第n-DIF列至第p列构成，其中，DIF为所述第一图像中近邻关键点的视差；计算所述非关键点与该非关键点的匹配点之间的视差。
19、根据权利要求13所述的运动检测装置，其特征在于，所述检测信息为视差图像或深度图像，所述目标检测单元包括：
初始目标获取模块，用于利用由所述背景场景的检测信息和当前场景的检测信息计算获得的目标视差/深度图像确定初始待检测目标；
目标真伪处理模块，用于根据去伪策略去除所述初始待检测目标中的伪目标，确定有效待检测目标；
其中，所述去伪策略包括：
判断以所述初始待检测目标为中心的目标视差/深度图像中预定窗口内的视差/深度均值是否大于视差/深度阈值，若是，该初始待检测目标为有效目标，若否该初始待检测目标为伪目标；以及，
对当前未进行去伪处理的初始待检测目标，获取目标视差/深度图像中以该初始待检测目标为中心预定窗口内视差/深度均值最大的目标objPoint[maxN]，计算所述所有初始待检测目标与目标objPoint[maxN]的欧氏距离，当所述初始待检测目标与目标objPoint[maxN]的欧氏距离不小于距离阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标，其中，maxN为所述深度均值最大的目标的序号；以及，
获取所述初始待检测目标在当前场景的相应图像中以该目标为中心预定窗口内最小灰度均值，计算所有初始待检测目标对应的灰度均值与所述最小灰度均值的比值，当所述初始待检测目标对应的比值不大于比例阈值且所述初始待检测目标对应的灰度均值不大于控制阈值时，该初始待检测目标为有效目标，否则，该初始待检测目标为伪目标。
20、一种客流检测系统，该系统包括运动检测装置和计数装置，所述计数装置，用于根据所述运动检测装置得到的待检测目标计算得到客流量，其特征在于，
所述运动检测装置包括：
检测信息获取单元，用于获取背景场景的检测信息和当前场景的检测信息，所述当前场景为包括待检测目标和同一背景场景的场景；
目标检测单元，用于根据所述背景场景的检测信息和当前场景的检测信息计算得到所述待检测目标。
CN200910135766A 2009-04-28 2009-04-28 一种运动检测方法、装置和系统 Expired - Fee Related CN101527046B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN200910135766A CN101527046B (zh) 2009-04-28 2009-04-28 一种运动检测方法、装置和系统
AU2009311052A AU2009311052B2 (en) 2009-04-28 2009-12-02 Motion detection method, apparatus and system
US12/745,416 US8385595B2 (en) 2009-04-28 2009-12-02 Motion detection method, apparatus and system
EP09825631.6A EP2426642B1 (en) 2009-04-28 2009-12-02 Method, device and system for motion detection
PCT/CN2009/075257 WO2010124497A1 (zh) 2009-04-28 2009-12-02 一种运动检测方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910135766A CN101527046B (zh) 2009-04-28 2009-04-28 一种运动检测方法、装置和系统

Publications (2)

Publication Number Publication Date
CN101527046A true CN101527046A (zh) 2009-09-09
CN101527046B CN101527046B (zh) 2012-09-05

Family

ID=41094903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910135766A Expired - Fee Related CN101527046B (zh) 2009-04-28 2009-04-28 一种运动检测方法、装置和系统

Country Status (5)

Country Link
US (1) US8385595B2 (zh)
EP (1) EP2426642B1 (zh)
CN (1) CN101527046B (zh)
AU (1) AU2009311052B2 (zh)
WO (1) WO2010124497A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847265A (zh) * 2010-04-20 2010-09-29 上海理工大学 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法
WO2010124497A1 (zh) * 2009-04-28 2010-11-04 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN102129550A (zh) * 2011-02-17 2011-07-20 华南理工大学 场景感知方法
CN101739553B (zh) * 2009-12-10 2012-01-11 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技（中国）有限公司 一种道路交通视频检测方法及装置
CN103026720A (zh) * 2010-06-18 2013-04-03 黑拉许克联合股份有限公司 立体摄像机系统的光学自诊断
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
CN104299190A (zh) * 2014-02-25 2015-01-21 河南科技大学 线阵扫描图像的矫正方法与装置
CN104424648A (zh) * 2013-08-20 2015-03-18 株式会社理光 对象跟踪方法和设备
CN104657993A (zh) * 2015-02-12 2015-05-27 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
CN104994360A (zh) * 2015-08-03 2015-10-21 北京旷视科技有限公司 视频监控方法和视频监控系统
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN106355560A (zh) * 2016-08-30 2017-01-25 潍坊学院 一种雾霾图像中大气光值的提取方法及系统
CN106485697A (zh) * 2016-09-22 2017-03-08 成都通甲优博科技有限责任公司 一种基于双目视觉的路面沉降和异物检测方法
CN106815856A (zh) * 2017-01-13 2017-06-09 大连理工大学 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法
CN107111764A (zh) * 2015-01-16 2017-08-29 高通股份有限公司 由对象在成像装置的视野中的深度触发的事件
CN107924570A (zh) * 2015-09-01 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和控制视觉系统的方法
CN108171682A (zh) * 2017-12-04 2018-06-15 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、系统及存储介质
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN110342134A (zh) * 2019-07-23 2019-10-18 珠海市一微半导体有限公司 一种基于双目视觉的垃圾分类识别系统及其方法
CN110674817A (zh) * 2019-11-21 2020-01-10 深圳市芊熠智能硬件有限公司 一种基于双目摄像头的车牌防伪的方法及装置
US10942529B2 (en) 2016-11-24 2021-03-09 Tencent Technology (Shenzhen) Company Limited Aircraft information acquisition method, apparatus and device
CN113096154A (zh) * 2020-01-08 2021-07-09 浙江光珀智能科技有限公司 一种基于斜装深度相机的目标检测与跟踪方法及系统
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
DE102010030616A1 (de) * 2010-06-28 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild
KR20120004203A (ko) * 2010-07-06 2012-01-12 삼성전자주식회사 디스플레이 방법 및 장치
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
CN103733607B (zh) * 2011-08-10 2015-08-26 富士胶片株式会社 用于检测运动物体的装置和方法
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
JP5679456B2 (ja) * 2011-12-05 2015-03-04 サクサ株式会社 人検出装置、人検出方法及び人検出プログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
DE102013200817A1 (de) * 2013-01-18 2014-07-24 Hella Kgaa Hueck & Co. Verfahren zur Erkennung einer Belegung einer überwachten Zone
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
EP2818824B1 (de) * 2013-06-28 2015-09-16 Sick Ag Vorrichtung umfassend einen optoelektronischen 3D-Sensor und Verfahren zum Erkennen von Objekten
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9378554B2 (en) 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US9449397B2 (en) 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
US11087167B2 (en) 2014-12-22 2021-08-10 Robert Bosch Gmbh First-person camera based visual context aware system
CN104658009A (zh) * 2015-01-09 2015-05-27 北京环境特性研究所 一种基于视频图像的运动目标检测方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106295788B (zh) 2015-05-12 2019-01-08 杭州海康威视数字技术股份有限公司 客流量的统计方法及装置
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
CN106356757B (zh) * 2016-08-11 2018-03-20 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106485361A (zh) * 2016-10-18 2017-03-08 吴江智远信息科技发展有限公司 一种基于IPv6的智慧公交管理平台
CN107240111B (zh) * 2017-06-14 2021-03-26 郑州天迈科技股份有限公司 边沿连通分割客流统计方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
TWI658431B (zh) * 2017-10-02 2019-05-01 緯創資通股份有限公司 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
US10847048B2 (en) * 2018-02-23 2020-11-24 Frontis Corp. Server, method and wearable device for supporting maintenance of military apparatus based on augmented reality using correlation rule mining
CN108470356B (zh) * 2018-03-15 2020-08-11 浙江工业大学 一种基于双目视觉的目标对象快速测距方法
CN109495718B (zh) * 2018-11-02 2021-04-30 深圳市北斗智能科技有限公司 监控视频获取方法、装置及计算机可读存储介质
SE1830320A1 (en) * 2018-11-03 2020-05-04 Tracy Of Sweden Ab Method and arrangement for identifying object
WO2020153264A1 (ja) * 2019-01-24 2020-07-30 パナソニックＩｐマネジメント株式会社 校正方法および校正装置
CN111563397B (zh) * 2019-02-13 2023-04-18 阿里巴巴集团控股有限公司 检测方法、装置、智能设备及计算机存储介质
CN111615047B (zh) * 2019-05-14 2021-06-04 北京精准沟通传媒科技股份有限公司 一种实时客流统计的方法、装置、存储介质及电子设备
CN110211670B (zh) * 2019-05-14 2022-06-03 广州虎牙信息科技有限公司 指标预测方法、装置、电子设备及存储介质
RU193195U1 (ru) * 2019-07-25 2019-10-16 Федеральное государственное бюджетное образовательное учреждение высшего образования "Орловский государственный университет имени И.С. Тургенева" (ФГБОУ ВО "ОГУ имени И.С. Тургенева") Устройство для счета пассажиров
CN110555419B (zh) * 2019-09-09 2023-05-26 江苏慧眼数据科技股份有限公司 基于双目立体视觉的客流计数方法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
CN110673607B (zh) * 2019-09-25 2023-05-16 优地网络有限公司 动态场景下的特征点提取方法、装置、及终端设备
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
CN111292354B (zh) * 2020-01-22 2023-07-28 维沃移动通信有限公司 误检测抑制方法及电子设备
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111475233B (zh) * 2020-04-08 2023-07-18 腾讯云计算（北京）有限责任公司 信息获取方法、图形码生成方法以及装置
CN111488824B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 运动提示方法、装置、电子设备和存储介质
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN112347909B (zh) * 2020-11-05 2022-07-26 上海蜂雀网络科技有限公司 一种零售门店出入口客流统计方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
CN112967332B (zh) * 2021-03-16 2023-06-16 清华大学 基于门控成像的双目深度估计方法、装置及计算机设备
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113344649A (zh) * 2021-08-05 2021-09-03 江西合一云数据科技有限公司 社会调查大数据构建系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574762A (en) * 1994-08-31 1996-11-12 Nippon Telegraph And Telephone Corp. Method and apparatus for directional counting of moving objects
WO2000034919A1 (en) * 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
CN100447820C (zh) * 2005-08-04 2008-12-31 浙江大学 基于立体视觉的公交客流统计方法及其系统
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN101527046B (zh) * 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010124497A1 (zh) * 2009-04-28 2010-11-04 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN101739553B (zh) * 2009-12-10 2012-01-11 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法
CN101847265A (zh) * 2010-04-20 2010-09-29 上海理工大学 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法
CN103026720A (zh) * 2010-06-18 2013-04-03 黑拉许克联合股份有限公司 立体摄像机系统的光学自诊断
CN103026720B (zh) * 2010-06-18 2015-11-25 黑拉许克联合股份有限公司 立体摄像机系统的光学自诊断
CN102129550B (zh) * 2011-02-17 2013-04-17 华南理工大学 场景感知方法
CN102129550A (zh) * 2011-02-17 2011-07-20 华南理工大学 场景感知方法
CN102316307A (zh) * 2011-08-22 2012-01-11 安防科技（中国）有限公司 一种道路交通视频检测方法及装置
CN102316307B (zh) * 2011-08-22 2013-09-25 安科智慧城市技术（中国）有限公司 一种道路交通视频检测方法及装置
CN103424105B (zh) * 2012-05-16 2016-02-10 株式会社理光 对象检测方法和装置
CN103424105A (zh) * 2012-05-16 2013-12-04 株式会社理光 对象检测方法和装置
CN104424648A (zh) * 2013-08-20 2015-03-18 株式会社理光 对象跟踪方法和设备
CN104424648B (zh) * 2013-08-20 2018-07-24 株式会社理光 对象跟踪方法和设备
CN104299190A (zh) * 2014-02-25 2015-01-21 河南科技大学 线阵扫描图像的矫正方法与装置
CN104299190B (zh) * 2014-02-25 2017-02-15 河南科技大学 线阵扫描图像的矫正方法与装置
CN107111764A (zh) * 2015-01-16 2017-08-29 高通股份有限公司 由对象在成像装置的视野中的深度触发的事件
CN104657993A (zh) * 2015-02-12 2015-05-27 北京格灵深瞳信息技术有限公司 一种镜头遮挡检测方法及装置
CN106296721B (zh) * 2015-05-14 2019-01-25 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN106296721A (zh) * 2015-05-14 2017-01-04 株式会社理光 基于立体视觉的对象聚集检测方法和装置
CN104994360A (zh) * 2015-08-03 2015-10-21 北京旷视科技有限公司 视频监控方法和视频监控系统
CN104994360B (zh) * 2015-08-03 2018-10-26 北京旷视科技有限公司 视频监控方法和视频监控系统
CN107924570A (zh) * 2015-09-01 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和控制视觉系统的方法
CN106355560A (zh) * 2016-08-30 2017-01-25 潍坊学院 一种雾霾图像中大气光值的提取方法及系统
CN106355560B (zh) * 2016-08-30 2019-03-01 潍坊学院 一种雾霾图像中大气光值的提取方法及系统
CN106485697A (zh) * 2016-09-22 2017-03-08 成都通甲优博科技有限责任公司 一种基于双目视觉的路面沉降和异物检测方法
US10942529B2 (en) 2016-11-24 2021-03-09 Tencent Technology (Shenzhen) Company Limited Aircraft information acquisition method, apparatus and device
CN106815856A (zh) * 2017-01-13 2017-06-09 大连理工大学 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法
CN106815856B (zh) * 2017-01-13 2019-07-16 大连理工大学 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法
CN108171682A (zh) * 2017-12-04 2018-06-15 北京中科慧眼科技有限公司 基于远景的双目同步曝光率检测方法、系统及存储介质
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109685141B (zh) * 2018-12-25 2022-10-04 合肥哈工慧拣智能科技有限公司 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN110342134A (zh) * 2019-07-23 2019-10-18 珠海市一微半导体有限公司 一种基于双目视觉的垃圾分类识别系统及其方法
CN110342134B (zh) * 2019-07-23 2023-06-09 珠海一微半导体股份有限公司 一种基于双目视觉的垃圾分类识别系统及其方法
CN110674817A (zh) * 2019-11-21 2020-01-10 深圳市芊熠智能硬件有限公司 一种基于双目摄像头的车牌防伪的方法及装置
CN113096154A (zh) * 2020-01-08 2021-07-09 浙江光珀智能科技有限公司 一种基于斜装深度相机的目标检测与跟踪方法及系统
CN118038098A (zh) * 2024-04-11 2024-05-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
AU2009311052A1 (en) 2010-11-11
AU2009311052B2 (en) 2013-07-18
WO2010124497A1 (zh) 2010-11-04
US20110044502A1 (en) 2011-02-24
EP2426642A4 (en) 2013-11-20
EP2426642A1 (en) 2012-03-07
EP2426642B1 (en) 2015-09-30
CN101527046B (zh) 2012-09-05
US8385595B2 (en) 2013-02-26

Similar Documents

Publication Publication Date Title
CN101527046B (zh) 一种运动检测方法、装置和系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
Broggi et al. The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax
CN105313782B (zh) 车辆行驶辅助系统及其方法
CN101877131A (zh) 一种目标识别方法、装置及目标识别系统
US20080181487A1 (en) Method and apparatus for automatic registration and visualization of occluded targets using ladar data
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN112950696A (zh) 导航地图的生成方法及生成装置、电子设备
CN112344923B (zh) 一种机器人的定位方法及其定位装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
KR100508763B1 (ko) 스테레오 비전을 이용한 자동차 번호판 추출 및 인식시스템 및 그 방법
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
US20200193184A1 (en) Image processing device and image processing method
CN111754388B (zh) 一种建图方法及车载终端
JP2007195061A (ja) 画像処理装置
Ohzora et al. Video-Rate Image Processing System for an Autonomous Personal Vehicle System.
WO2014050285A1 (ja) ステレオカメラ装置
US20230168688A1 (en) Sequential mapping and localization (smal) for navigation
CN106973224A (zh) 辅助构图的控制方法、控制装置及电子装置
CN106997595A (zh) 基于景深的图像颜色处理方法、处理装置及电子装置
Berrio et al. Semantic sensor fusion: From camera to sparse LiDAR information
CN113239948B (zh) 一种面向毫米波雷达与视频图像的数据融合方法及系统
Pei et al. The analysis of stereo vision 3D point cloud data of autonomous vehicle obstacle recognition
Fields et al. Monocular structure from motion for near to long ranges

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: HISENSE GROUP CO., LTD.

Free format text: FORMER OWNER: QINGDAO HISENSE DIGITAL MULTIMEDIA TECHNOLOGY, THE STATE KEY LABORATORY OF INFORMATION SECURITY

Effective date: 20120913

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120913

Address after: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee after: Hisense Group Co., Ltd.

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Patentee before: Qingdao Hisense Digital Multimedia Technology, The State Key Laboratory Of Information Security

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20190428