CN105809108A - 基于分布式视觉的行人定位方法和系统 - Google Patents
基于分布式视觉的行人定位方法和系统 Download PDFInfo
- Publication number
- CN105809108A CN105809108A CN201610100174.4A CN201610100174A CN105809108A CN 105809108 A CN105809108 A CN 105809108A CN 201610100174 A CN201610100174 A CN 201610100174A CN 105809108 A CN105809108 A CN 105809108A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- prospect
- subimage
- image
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004438 eyesight Effects 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000010606 normalization Methods 0.000 claims description 53
- 230000003068 static effect Effects 0.000 claims description 19
- 238000011084 recovery Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 230000004807 localization Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000000877 morphologic effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分布式视觉的行人定位方法和系统。其中，该方法包括利用形态学运算，获取包括行人的图像的行人前景子图像。将行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像。归一化可行尺度行人前景子图像的颜色空间。利用滑动窗口遍历归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图。归一化颜色方向梯度直方图。然后，将其送至已训练的行人检测分类器，并在检测到行人的情况下提取滑动窗口的有效区域特征。将有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征。利用图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征。本发明实施例可以实时地检测多个网络摄像机下行人的图像位置特征。
Description
技术领域
本发明实施例涉及行人定位技术领域，尤其是涉及一种基于分布式视觉的行人定位方法和系统。
背景技术
互联网和云存储技术的发展推动着智能监控领域走进人们的生活。互联网的普及降低了人们使用高带宽网络的成本，云存储技术使得智能监控系统的控制中心逐渐由星型转向网络型，且监控视频经过设置权限即可在任意网络节点覆盖的地方访问共享于云端每个摄像机的视频流。日常生活中白天或长年在外的工作人群难以同时兼顾工作和家庭，而摄像机和网络设备成本的降低使普及网络摄像机成为可能。近年来，网络摄像机已具备夜视、视频聊天和基本动作检测等功能；同时，网络摄像机能够对白天和夜间的动作异常保存至云端方便查看，并通过短信或电话告知用户，从而方便人们的生活并且缓和监控对企业的影响。
行人检测在计算机视觉领域的研究历史悠久。根据检测行人的特征主要包括图像整体或局部模板、特征点、梯度直方图和基于区域的卷积神经网络等方法。根据跟踪行人轨迹的方法包括卡尔曼滤波、扩展卡尔曼滤波、粒子滤波和跟踪学习检测等。根据采用的摄像机类型包括单目视觉、立体视觉、RGBD摄像机等。
行人定位涉及计算机视觉领域和传感器领域。计算机视觉领域主要研究基于多视几何的行人精确定位，传感器领域主要依赖惯性传感器计算行人的航迹。行人定位的精度主要取决于行人检测的准确度和行人在地图坐标系中的转换精度等。
在本发明实现中，发明人主要发现以下技术问题：
方向梯度直方图的特征基于灰度图像，室内背景单调的情况下可以加入颜色信息丰富室内行人的特征来提高检测准确率；图像分辨率比较高时在图像金字塔上搜索行人特征计算速度慢，行人尺寸变化幅度大时存在漏检现象；头部是行人最明显的特征，定位头部会使该方法有很强的鲁棒性，但行人身高的差异会使得室内行人定位的精度降低；基于多视几何的行人定位问题基于多个摄像机的重叠区域和约束关系来优化精度，而分布式视觉所架设的摄像机不存在重叠区域，大范围室内各摄像机间的位置关系难以确定，移动机器人标定后能够把摄像机的坐标系统一到同一地图坐标系中，从而能够实现大范围室内的行人定位。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于分布式视觉的行人定位方法。此外，还提供一种基于分布式视觉的行人定位系统。
为了解决上述问题，根据本发明的一个方面，提供了一种基于分布式视觉的行人定位方法。该方法包括：
获取包括行人的图像；
利用形态学运算，获取行人前景子图像；
将所述行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像；
归一化所述可行尺度行人前景子图像的颜色空间；
利用滑动窗口遍历所述归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图；
归一化所述颜色方向梯度直方图；
将所述归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取所述滑动窗口的有效区域特征；
将所述有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征；
利用所述图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征；
将所述单个行人地图位置特征映射至所述地图坐标系下的静态地图，实现分布式视觉的行人定位。
根据本发明的另一个方面，还提供了一种基于分布式视觉的行人定位系统。该系统包括：
第一获取单元，用于获取包括行人的图像；
第二获取单元，用于利用形态学运算，获取行人前景子图像；
缩放单元，用于将所述行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像；
第一归一化单元，用于归一化所述可行尺度行人前景子图像的颜色空间；
计算单元，用于利用滑动窗口遍历所述归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图；
第二归一化单元，用于归一化所述颜色方向梯度直方图；
检测单元，用于将所述归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取所述滑动窗口的有效区域特征；
确定单元，用于将所述有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征；
恢复单元，用于利用所述图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征；
映射单元，用于将所述单个行人地图位置特征映射至所述地图坐标系下的静态地图，实现分布式视觉的行人定位。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例提供一种基于分布式视觉的行人定位方法和系统，可以实时地检测多个网络摄像机下行人的图像位置特征：同时考虑颜色和纹理特征对行人检测的影响，减小颜色方向梯度直方图计算前的滑动窗口搜索空间，缩放滑动窗口大小至有限范围内的同时，限制了分类器的检测尺度，缓和了分类器多尺度识别目标时对行人的误检测。通过恢复单个行人图像位置特征至地图坐标系中，实现分布式视觉下的行人定位，同时为移动机器人提供行人地图位置特征，有效优化移动机器人仅根据静态地图规划的全局路径，提高了移动机器人执行具体任务的移动效率和安全性。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的本发明实施例应用环境的示意图；
图2为根据一示例性实施例示出的基于分布式视觉的行人定位方法的流程示意图；
图3为根据一示例性实施例示出的前景灰度图像的示意图；
图4为根据一示例性实施例示出的大小为5*5的结构元素轻微开运算的结果示意图和大小为50*50或100*100的结构元素过度闭运算的结果示意图；
图5为根据一示例性实施例示出的室内行人检测结果示意图；
图6为根据一示例性实施例示出的将单个行人地图位置特征映射至地图坐标系下的静态地图实现分布式视觉的行人定位的结果示意图；
图7为根据一示例性实施例示出的室外行人检测结果示意图；
图8为根据一示例性实施例示出的基于分布式视觉的行人定位系统的结构示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
本发明实施例的基本思路是：移动机器人用本体传感器在无行人流动的室内环境中构建静态平面地图。
图1示意性地示出了本发明实施例的应用环境。其中包括服务器和摄像机以及机器人，人工标志设置在机器人的顶部。优选地，摄像机为网络摄像机，且采用分布式方式来布置。图像中检测到的行人所在的矩形框底部对应其在地图坐标系中的地面高度，所以网络摄像机在室内安装的位置和姿态必须保持不变。如图1所示，移动机器人因本体传感器检测范围受限而未能检测到门旁行人，根据静态地图规划出的路径如虚线所示，该路径被行人隔断，从而影响其移动效率；分布式视觉检测到行人并计算得到行人在地图坐标系中的特征。将该特征添加至静态地图后，移动机器人根据新增的障碍修正全局路径。
为此，本发明实施例提供一种基于分布式视觉的行人定位方法。如图2所示，该方法可以包括步骤S100至步骤S180。
S100：获取包括行人的图像。
S110：利用形态学运算，获取该图像的行人前景子图像。
S120：将行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像。
S130：归一化可行尺度行人前景子图像的颜色空间。
S140：利用滑动窗口遍历归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图。
S150：归一化颜色方向梯度直方图。
S160：将归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取滑动窗口的有效区域特征。
S170：将有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征。
S180：利用图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征。
S190：将单个行人地图位置特征映射至地图坐标系下的静态地图，实现分布式视觉的行人定位。
本发明实施例通过采用以上步骤，实时地检测多个网络摄像机下行人的图像位置特征：同时考虑颜色和纹理特征对行人检测的影响，减小颜色方向梯度直方图计算前的滑动窗口搜索空间，缩放滑动窗口大小至有限范围内的同时，限制了分类器的检测尺度，缓和了分类器多尺度识别目标时对行人的误检测。通过恢复单个行人图像位置特征至地图坐标系中，实现分布式视觉下的行人定位，同时为移动机器人提供行人地图位置特征，有效优化移动机器人仅根据静态地图规划的全局路径，提高了移动机器人(尤其是在室内)执行具体任务的移动效率和安全性。
在上述实施例中，在步骤S100之前可以设置地图坐标。即在构建静态地图之前，以移动机器人出发时的位姿作为地图坐标系。
具体地，标定每个摄像机的内参数，根据检测到移动机器人在图像坐标系中的二维位置坐标(uc，vc)与其在地图坐标系中的二维位置坐标(xc，yc)来标定移动机器人地面上投影在图像中的位置坐标(u′c，v′c)和(xc，yc)之间的关系方程。
移动机器人创建地图坐标系中的静态地图可以包括：完成移动机器人和各个网络摄像机之间的标定后，会得到各个网络摄像机与移动机器人创建的静态地图之间的关系，所有网络摄像机图像坐标系下的行人定位后的特征会统一到静态地图所在的地图坐标系中去。
在本发明实施例的一些可选的实现方式中，步骤S110还可以具体包括：
S1101：计算图像的灰度图像和背景图像。
S1102：将灰度图像与背景图像进行差分，得到前景灰度图像。
图3示例性地示出了前景灰度图像的示意图。
S1103：计算前景灰度图像掩码。
S1104：判断前景灰度图像中的每个灰度像素是否大于灰度阈值。若是，则执行S1105；否则，执行S1106。
S1105：将前景灰度图像掩码中相同位置的灰度像素设为255。
S1106：将前景灰度图像掩码中相同位置的灰度像素设为0。
S1107：利用形态学运算中的轻微开运算去掉前景灰度图像掩码中的噪声点。
S1108：利用形态学运算中的过度闭运算将可能属于行人的像素集合和周围像素合并。
S1109：矩形拟合前景灰度图像掩码中的白色颜色块的外围，并以255的灰度值填满矩形区域，以获得前景灰度图像子掩码。
S1110：保留矩形区域在当前图像中的中心点横坐标、纵坐标、宽度和高度作为有效区域特征。
S1111：根据有效区域特征寻找并裁剪图像中的矩形作为行人前景子图像。
在实际应用中，寻找服务器接收的包括行人的图像的每个有效区域特征的位置，并裁剪对应位置的子图像(其可以为彩色图像)，然后缓存为行人前景子图像。
图4中的第一行示例性地示出了大小为5*5的结构元素轻微开运算的结果示意图。图4中的第二行示例性地示出了大小为50*50或100*100的结构元素过度闭运算的结果示意图。
下面举例说明步骤S1109，以便能更好地理解本发明。
按照以下公式，矩形拟合前景灰度图像掩码中的白色颜色块的外围获得前景灰度图像子掩码：
其中，ucr和vcr分别为前景灰度图像子掩码中心横坐标和纵坐标，wr和hr分别为前景灰度图像子掩码的宽度和高度，Uf和Vf分别为前景图像子掩码对应的子颜色块中所有位置的横坐标集合和纵坐标集合；u、v分别为前景图像子掩码对应的子颜色块中所有位置的横坐标和纵坐标。
在步骤S120中，优选地，可以以固定的倍数同时在水平和垂直方向上缩放行人前景子图像，直至其高度不小于滑动窗口步长乘以单位缩放倍数且宽度不小于滑动窗口步长乘以单位缩放倍数后的一半。其中，单位缩放倍数是指检查尺度要求过程中每次不满足时缩放的倍数。
在步骤S130中，根据以下公式来归一化可行尺度行人前景子图像的颜色空间：
其中，R、G和B表示当前时刻所有摄像机的行人前景图像的红色、绿色和蓝色通道值的集合；Rn、Gn和Bn表示当前时刻所有摄像机的可行尺度行人前景图像的归一化红色、绿色和蓝色通道值的集合；N表示当前时刻所有可行尺度行人前景图像的最大通道元素值；M表示摄像机的总数。
颜色梯度方向直方图是指该直方图的输入为180度划分后的相角，同一相角范围内分为3种不同的颜色通道的相角。优选地，可以用滑动窗口遍历可行尺度行人前景子图像来计算颜色方向梯度直方图(HistogramofColoredandOrientedGradients)。
据此，在一个可选的实施例中，步骤S140还可以具体包括：
S142：计算归一化可行尺度行人前景子图像中每一像素点的水平和垂直梯度，并计算每一像素点在每个颜色通道中的幅值和相角。
S144：剪裁归一化可行尺度行人前景子图像与滑动窗口重叠部分的每个颜色通道的幅值和相角。
S146：计算剪裁部分的颜色方向梯度直方图。
作为示例，可以用滑动窗口搜索归一化可行尺度行人前景子图像(相邻滑动窗口间存在重叠)，裁剪缓存和滑动窗口重叠部分的幅值和相角。然后，把180度分割成K等份，将相角属于第k等份(k∈K)的幅值累加。其中，统计后的颜色方向梯度直方图的横轴共3K等份(因为彩色子图像有3个颜色通道)，纵轴为每等份幅值的累加值。
在步骤S150中，可以根据以下公式来归一化颜色方向梯度直方图：
Hn＝(hn(θ1)hn(θ2)...hn(θ3K))T
其中，h(θi)为相角θi处的幅值累加值；hn(θi)为归一化后的相角θi处的幅值累加值；Hn为归一化后的颜色方向梯度直方图向量；n、i和K可以均取正整数。
通过归一化颜色方向梯度直方图，可以使每个颜色通道的相角的输出和为1。
在步骤S160中，将归一化后的颜色方向梯度直方图送入训练好的行人检测分类器。行人检测分类器的输入为归一化后的颜色方向梯度直方图每个输出连接得到的一维向量。检测到行人后的滑动窗口的有效区域特征为滑动窗口在可行尺度行人前景子图像中的左下方和右下方坐标。如果行人检测分类器检测到的滑动窗口图像为正样本，则恢复滑动窗口在原尺度行人前景子图像中的矩形框特征。
根据上述步骤可以已知前景灰度图像子掩码特征(ucrvcrwrhr)T，则前景灰度图像子掩码的坐标(u，v)转换到可行尺度前景子图像坐标(un，vn)的转换关系如下：
已知该滑动窗口在可行尺度前景子图像中的矩形框左下角坐标(unl，vnl)和右下角坐标(unr，vnr)，则恢复滑动窗口在前景灰度图像子掩码左下角坐标(ul，vl)和右下角坐标(ur，vr)：
利用图像坐标系和地图坐标系中的转换关系，恢复单个行人地图位置特征具体可以包括恢复滑动窗口在行人前景子图像中的左下方和右下方坐标。再恢复滑动窗口在包括行人的图像中的左下方和右下方坐标。
其中，图像坐标系优选为网络摄像机的图像坐标系。图像为服务器接收到的初始图像。
下面详细说明恢复单个行人地图位置特征的过程。
选择网络摄像机的网络协议地址对应的从网络摄像机图像坐标系到地图坐标系的转换关系。
具体地，滑动窗口的左下角坐标(ul，vl)和右下角坐标(ur，vr)转换成行人在地图坐标系中的左下角坐标(xl，yl)和右下角坐标(xr，yr)的关系如下：
其中，h00～h22为标定当前网络摄像机的图像坐标系到地图坐标系的转换关系时得到的参数。
行人在地图坐标系中的中心(xc，yc)和影响范围r用圆形可以表示为：
保存该滑动窗口的有效区域特征对应的地图特征(xcycr)T作为单个行人地图位置特征。
同理，处理所有网络摄像机的其它行人前景子图像，保存所有的单个行人地图位置特征。
图6示例性地示出了将单个行人地图位置特征映射至地图坐标系下的静态地图实现分布式视觉的行人定位的结果示意图。
本发明实施例可以采用服务器与客户端的实现方式，所有分布式视觉的视频流经过网络传输给服务器并由图像处理单元(GraphicsProcessingUnit)快速处理，因此本发明实施例提供的行人定位方法是实时的。本发明实施例提供的方法不仅适用于室内行人的检测(其检测结果如图5所示)，也适用于室外行人的检测(其检测结果如图7所示)。
本实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，还提供一种基于分布式视觉的行人定位系统。如图8所示，该系统包括：第一获取单元801、第二获取单元802、缩放单元803、第一归一化单元804、计算单元805、第二归一化单元806、检测单元807、确定单元808、恢复单元809和映射单元810。其中，第一获取单元801用于获取包括行人的图像。第二获取单元802用于利用形态学运算，获取行人前景子图像。缩放单元803用于将行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像。第一归一化单元804用于归一化可行尺度行人前景子图像的颜色空间。计算单元805用于利用滑动窗口遍历归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图。第二归一化单元806用于归一化颜色方向梯度直方图。检测单元807用于将归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取滑动窗口的有效区域特征。确定单元808用于将有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征。恢复单元809用于利用图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征。映射单元810用于将单个行人地图位置特征映射至地图坐标系下的静态地图，实现分布式视觉的行人定位。
在一个可选的实施例中，上述第二获取单元还可以包括：第一计算模块、差分模块、第二计算模块、判断模块、去噪模块、合并模块、拟合模块、保留模块和裁剪模块。其中，第一计算模块用于计算包括行人的图像的灰度图像和背景图像。差分模块用于将灰度图像与背景图像进行差分，得到前景灰度图像。第二计算模块用于计算前景灰度图像掩码。判断模块用于判断前景灰度图像中的每个灰度像素是否大于灰度阈值；若是，则将前景灰度图像掩码中相同位置的灰度像素设为255；否则，将前景灰度图像掩码中相同位置的所述灰度像素设为0。去噪模块用于利用形态学运算中的轻微开运算去掉前景灰度图像掩码中的噪声点。合并模块用于利用形态学运算中的过度闭运算将可能属于行人的像素集合和周围像素合并。拟合模块用于矩形拟合前景灰度图像掩码中的白色颜色块的外围，并以255的灰度值填满矩形区域，以获得前景灰度图像子掩码。保留模块用于保留矩形区域在当前图像中的中心点横坐标、纵坐标、宽度和高度作为有效区域特征。裁剪模块用于根据有效区域特征寻找并裁剪图像中的矩形作为行人前景子图像。
在另一个可选的实施例中，上述计算单元还可以包括：第一计算模块、剪裁模块和第二计算模块。其中，第一计算模块用于计算归一化可行尺度行人前景子图像中每一像素点的水平和垂直梯度，并计算每一像素点在每个颜色通道中的幅值和相角。剪裁模块用于剪裁归一化可行尺度行人前景子图像与滑动窗口重叠部分的每个颜色通道的幅值和相角。第二计算模块用于计算剪裁部分的颜色方向梯度直方图。
在实际实施过程中，第一计算模块可以应用滑动窗口搜索归一化可行尺度行人前景子图像。剪裁模块裁剪缓存和滑动窗口重叠部分的幅值和相角。然后，第二计算模块把180度分割成K等份，将相角属于第k等份(k∈K)的幅值累加。
在又一个可选的实施例中，上述恢复单元还可以包括第一恢复模块和第二恢复模块。其中，第一恢复模块用于恢复滑动窗口在行人前景子图像中的左下方和右下方坐标。第二恢复模块用于恢复滑动窗口在包括行人的图像中的左下方和右下方坐标。
本领域技术人员可以理解，上述基于分布式视觉的行人定位系统还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图8中未示出。
应该理解，图8中的第一获取单元801、第二获取单元802、缩放单元803、第一归一化单元804、计算单元805、第二归一化单元806、检测单元807、确定单元808、恢复单元809和映射单元810的数量仅仅是示意性的。根据实现需要，可以具有任意数量的各单元。
需要说明的是：上述实施例提供的基于分布式视觉的行人定位系统在进行行人定位时，仅以上述各功能单元或模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块来完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
上述系统实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应指出的是，上面分别对本发明的系统实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的单元或模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的单元或模块或者步骤还可以再分解或者组合。例如上述实施例的单元或模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
术语“包括”、“包含”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
术语第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
如本文中所使用的，术语“单元或模块”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如，作为独立的线程)。虽然优选地以软件来实现本文中所描述的系统和方法，但是以硬件或者软件和硬件的组合的实现也是可以的并且是可以被设想的。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD-ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
本文中所述的“一个实施例”、“实施例”意味着：结合实施例描述的技术特征、结构或者特性包括在本发明的至少一个实施例中。另外，还请注意，文中的“在本发明的一个可选的实施例中”词语表示不一定全指同一个实施例。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然本文说明了大量的具体细节。但是，应该能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实施例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的保护范围。
Claims (10)
1.一种基于分布式视觉的行人定位方法，其特征在于，所述方法至少包括：
获取包括行人的图像；
利用形态学运算，获取行人前景子图像；
将所述行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像；
归一化所述可行尺度行人前景子图像的颜色空间；
利用滑动窗口遍历所述归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图；
归一化所述颜色方向梯度直方图；
将所述归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取所述滑动窗口的有效区域特征；
将所述有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征；
利用所述图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征；
将所述单个行人地图位置特征映射至所述地图坐标系下的静态地图，实现分布式视觉的行人定位。
2.根据权利要求1所述的方法，其特征在于，所述利用形态学运算，获取行人前景子图像，具体包括：
计算所述包括行人的图像的灰度图像和背景图像；
将所述灰度图像与所述背景图像进行差分，得到前景灰度图像；
计算所述前景灰度图像掩码；
判断所述前景灰度图像中的每个灰度像素是否大于灰度阈值；若是，则将所述前景灰度图像掩码中相同位置的灰度像素设为255；否则，将所述前景灰度图像掩码中相同位置的所述灰度像素设为0；
利用所述形态学运算中的轻微开运算去掉所述前景灰度图像掩码中的噪声点；
利用所述形态学运算中的过度闭运算将可能属于行人的像素集合和周围像素合并；
矩形拟合所述前景灰度图像掩码中的白色颜色块的外围，并以255的灰度值填满矩形区域，以获得前景灰度图像子掩码；
保留所述矩形区域在当前图像中的中心点横坐标、纵坐标、宽度和高度作为有效区域特征；
根据所述有效区域特征寻找并裁剪图像中的矩形作为行人前景子图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像，具体包括：
同时在水平和垂直方向上缩放所述行人前景子图像，直至其高度不小于所述滑动窗口步长乘以单位缩放倍数且宽度不小于所述滑动窗口步长乘以单位缩放倍数后的一半；其中，所述单位缩放倍数是指检查尺度要求过程中每次不满足时缩放的倍数。
4.根据权利要求1所述的方法，其特征在于，所述利用滑动窗口遍历所述归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图，具体包括：
计算所述归一化可行尺度行人前景子图像中每一像素点的水平和垂直梯度，并计算所述每一像素点在每个颜色通道中的幅值和相角；
剪裁所述归一化可行尺度行人前景子图像与所述滑动窗口重叠部分的所述每个颜色通道的所述幅值和所述相角；
计算所述剪裁部分的颜色方向梯度直方图。
5.根据权利要求1所述的方法，其特征在于，所述利用所述图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征，具体包括：
恢复所述滑动窗口在所述行人前景子图像中的左下方和右下方坐标；
恢复所述滑动窗口在所述包括行人的图像中的左下方和右下方坐标。
6.根据权利要求1所述的方法，所述方法应用于具有网络摄像机和移动机器人的系统；其特征在于，在所述利用形态学运算，获取行人前景子图像步骤之前还包括：
将所述移动机器人出发时的位姿作为地图坐标系；
进行所述移动机器人和所述网络摄像机之间的标定，得到所述网络摄像机与所述移动机器人创建的静态地图之间的关系；
将所述网络摄像机图像坐标系下的行人定位后的特征统一到所述静态地图所在的地图坐标系中。
7.一种基于分布式视觉的行人定位系统，其特征在于，所述系统至少包括：
第一获取单元，用于获取包括行人的图像；
第二获取单元，用于利用形态学运算，获取行人前景子图像；
缩放单元，用于将所述行人前景子图像的长和宽等比缩放至可行尺度行人前景子图像；
第一归一化单元，用于归一化所述可行尺度行人前景子图像的颜色空间；
计算单元，用于利用滑动窗口遍历所述归一化可行尺度行人前景子图像，来计算颜色方向梯度直方图；
第二归一化单元，用于归一化所述颜色方向梯度直方图；
检测单元，用于将所述归一化后的颜色方向梯度直方图送至已训练的行人检测分类器，并在检测到行人的情况下提取所述滑动窗口的有效区域特征；
确定单元，用于将所述有效区域特征恢复至图像坐标系中，并确定单个行人图像位置特征；
恢复单元，用于利用所述图像坐标系和地图坐标系的转换关系，恢复单个行人地图位置特征；
映射单元，用于将所述单个行人地图位置特征映射至所述地图坐标系下的静态地图，实现分布式视觉的行人定位。
8.根据权利要求7所述的系统，其特征在于，所述第二获取单元具体包括：
第一计算模块，用于计算所述包括行人的图像的灰度图像和背景图像；
差分模块，用于将所述灰度图像与所述背景图像进行差分，得到前景灰度图像；
第二计算模块，用于计算所述前景灰度图像掩码；
判断模块，用于判断所述前景灰度图像中的每个灰度像素是否大于灰度阈值；若是，则将所述前景灰度图像掩码中相同位置的灰度像素设为255；否则，将所述前景灰度图像掩码中相同位置的所述灰度像素设为0；
去噪模块，用于利用所述形态学运算中的轻微开运算去掉所述前景灰度图像掩码中的噪声点；
合并模块，用于利用所述形态学运算中的过度闭运算将可能属于行人的像素集合和周围像素合并；
拟合模块，用于矩形拟合所述前景灰度图像掩码中的白色颜色块的外围，并以255的灰度值填满矩形区域，以获得前景灰度图像子掩码；
保留模块，用于保留所述矩形区域在当前图像中的中心点横坐标、纵坐标、宽度和高度作为有效区域特征；
裁剪模块，用于根据所述有效区域特征寻找并裁剪图像中的矩形作为行人前景子图像。
9.根据权利要求7所述的系统，其特征在于，所述计算单元具体包括：
第一计算模块，用于计算所述归一化可行尺度行人前景子图像中每一像素点的水平和垂直梯度，并计算所述每一像素点在每个颜色通道中的幅值和相角；
剪裁模块，用于剪裁所述归一化可行尺度行人前景子图像与所述滑动窗口重叠部分的所述每个颜色通道的所述幅值和所述相角；
第二计算模块，用于计算所述剪裁部分的颜色方向梯度直方图。
10.根据权利要求7所述的系统，其特征在于，所述恢复单元具体包括：
第一恢复模块，用于恢复所述滑动窗口在所述行人前景子图像中的左下方和右下方坐标；
第二恢复模块，用于恢复所述滑动窗口在所述包括行人的图像中的左下方和右下方坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610100174.4A CN105809108B (zh) | 2016-02-24 | 2016-02-24 | 基于分布式视觉的行人定位方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610100174.4A CN105809108B (zh) | 2016-02-24 | 2016-02-24 | 基于分布式视觉的行人定位方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105809108A true CN105809108A (zh) | 2016-07-27 |
| CN105809108B CN105809108B (zh) | 2019-09-13 |
Family
ID=56466397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610100174.4A Expired - Fee Related CN105809108B (zh) | 2016-02-24 | 2016-02-24 | 基于分布式视觉的行人定位方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105809108B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273872A (zh) * | 2017-07-13 | 2017-10-20 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
| CN108804987A (zh) * | 2017-05-04 | 2018-11-13 | 株式会社日立制作所 | 门开闭状态检测方法和装置、以及人流检测系统 |
| CN109405829A (zh) * | 2018-08-28 | 2019-03-01 | 桂林电子科技大学 | 基于智能手机音视频多源信息融合的行人自定位方法 |
| CN111599080A (zh) * | 2019-02-20 | 2020-08-28 | 深圳怡化电脑股份有限公司 | 拼接纸币的检测方法、装置、金融机具设备及存储介质 |
| CN112949485A (zh) * | 2021-03-01 | 2021-06-11 | 八维通科技有限公司 | 基于人工智能的数据处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130101159A1 (en) * | 2011-10-21 | 2013-04-25 | Qualcomm Incorporated | Image and video based pedestrian traffic estimation |
| CN103824070A (zh) * | 2014-03-24 | 2014-05-28 | 重庆邮电大学 | 一种基于计算机视觉的快速行人检测方法 |
| CN104091157A (zh) * | 2014-07-09 | 2014-10-08 | 河海大学 | 一种基于特征融合的行人检测方法 |
-
2016
- 2016-02-24 CN CN201610100174.4A patent/CN105809108B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130101159A1 (en) * | 2011-10-21 | 2013-04-25 | Qualcomm Incorporated | Image and video based pedestrian traffic estimation |
| CN103824070A (zh) * | 2014-03-24 | 2014-05-28 | 重庆邮电大学 | 一种基于计算机视觉的快速行人检测方法 |
| CN104091157A (zh) * | 2014-07-09 | 2014-10-08 | 河海大学 | 一种基于特征融合的行人检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 包日快: "复杂场景下的运动目标检测与分类的研究", 《福建电脑》 * |
| 查宇飞等: "《视频目标跟踪方法》", 31 July 2015, 国防工业出版社 * |
| 闫云章: "家庭环境下基于分布式视觉的目标定位及轨迹分析", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804987A (zh) * | 2017-05-04 | 2018-11-13 | 株式会社日立制作所 | 门开闭状态检测方法和装置、以及人流检测系统 |
| CN108804987B (zh) * | 2017-05-04 | 2023-03-10 | 株式会社日立制作所 | 门开闭状态检测方法和装置、以及人流检测系统 |
| CN107273872A (zh) * | 2017-07-13 | 2017-10-20 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
| CN107273872B (zh) * | 2017-07-13 | 2020-05-05 | 北京大学深圳研究生院 | 用于图像或视频中行人重识别的深度判别网络模型方法 |
| CN109405829A (zh) * | 2018-08-28 | 2019-03-01 | 桂林电子科技大学 | 基于智能手机音视频多源信息融合的行人自定位方法 |
| CN111599080A (zh) * | 2019-02-20 | 2020-08-28 | 深圳怡化电脑股份有限公司 | 拼接纸币的检测方法、装置、金融机具设备及存储介质 |
| CN112949485A (zh) * | 2021-03-01 | 2021-06-11 | 八维通科技有限公司 | 基于人工智能的数据处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105809108B (zh) | 2019-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949995B2 (en) | Image capture direction recognition method and server, surveillance method and system and image capture device | |
| Maddern et al. | 1 year, 1000 km: The oxford robotcar dataset | |
| Mattyus et al. | Enhancing road maps by parsing aerial images around the world | |
| US9854147B2 (en) | Method and system for performing adaptive image acquisition | |
| Broggi et al. | Terramax vision at the urban challenge 2007 | |
| CN105809108A (zh) | 基于分布式视觉的行人定位方法和系统 | |
| CN110362083B (zh) | 一种基于多目标跟踪预测的时空地图下自主导航方法 | |
| CN108983781A (zh) | 一种无人车目标搜索系统中的环境探测方法 | |
| CN109543600A (zh) | 一种实现可行驶区域检测方法及系统和应用 | |
| US9836881B2 (en) | Heat maps for 3D maps | |
| CN106908775A (zh) | 一种基于激光反射强度的无人车实时定位方法 | |
| US11430199B2 (en) | Feature recognition assisted super-resolution method | |
| CN112050810B (zh) | 一种基于计算机视觉的室内定位导航方法及系统 | |
| Bansal et al. | Understanding how camera configuration and environmental conditions affect appearance-based localization | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| Zhang et al. | Bundle adjustment for monocular visual odometry based on detections of traffic signs | |
| CN113066129A (zh) | 基于动态环境下的目标检测的视觉定位与建图系统 | |
| CN114677531B (zh) | 一种融合多模态信息的水面无人艇目标检测与定位方法 | |
| Liu et al. | Dloam: Real-time and robust lidar slam system based on cnn in dynamic urban environments | |
| Ma et al. | Location and 3-D visual awareness-based dynamic texture updating for indoor 3-D model | |
| Crisman | Color vision for the detection of unstructured road and intersections | |
| CN108628320A (zh) | 一种智能汽车无人驾驶系统 | |
| Ayadi et al. | A parametric algorithm for skyline extraction | |
| Fanta-Jende et al. | Semantic Real-Time Mapping with UAVs | |
| CN114943785A (zh) | 地图构建方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190913 |