CN109753901A - 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 - Google Patents
基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109753901A CN109753901A CN201811573978.1A CN201811573978A CN109753901A CN 109753901 A CN109753901 A CN 109753901A CN 201811573978 A CN201811573978 A CN 201811573978A CN 109753901 A CN109753901 A CN 109753901A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- scene image
- indoor
- world coordinates
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于行人识别的室内行人寻迹方法，该种室内行人寻迹方法首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹，利用深度学习的算法，行人识别及定位的精度高，运算量小，本方法也不需要行人随身携带用于辅助定位的设备(如移动传感器等)。本发明还提供了一种基于行人识别的室内行人寻迹装置、计算机设备及存储介质。
Description
技术领域
本发明属于室内定位技术领域，尤其涉及一种基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质。
背景技术
随着对环境感知和智能家居应用需求的不断增加，随着GPS全球定位系统的发展以及智能便携终端(智能手机、平板电脑、智能硬件等)的普及，与室内相关的位置服务(LBS)越来越受到人们的关注。由于室内环境具有遮挡较多、光线变化较大、室内架构缺失等现实的特点，室内定位技术的实施难点较大，因此，人们对室内定位技术需求十分迫切。
现有的室内定位技术主要分为以下几种：基于特定设备的行人定位、基于Wifi信号的无线定位方法和基于惯性传感器的定位算法。
以上室内定位技术普遍存在的缺点是定位的精度不高，需要大量的运算。另外，如采用移动传感器的行人定位技术需要行人随时随地携带传感器，非常不方便。
发明内容
本发明的技术目的是提供一种基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质，该种室内行人寻迹方法具有定位精度高、运算量小的特点，同时也不需要室内行人随时随地携带辅助定位的设备。
为解决上述问题，本发明的技术方案为：
一种基于行人识别的室内行人寻迹方法，包括：
获取室内连续的场景图像；
从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
使用特征提网络提取所述行人全身图中行人的特征，记为第一行人特征；使用所述特征提网络提取所述第二行人场景图像中行人的特征，记为第二行人特征；
计算所述第二行人场景图像中行人的像素坐标；
将所述第二行人特征与所述第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定所述第二行人特征对应的行人与所述第一行人特征对应的行人为同一人；
构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
根据所述坐标转换关系将所述第二行人场景图像中行人的像素坐标转换为所述第二行人场景图像中行人的世界坐标；
根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
根据本发明一实施例，所述识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图进一步为：
A1，将所述第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
A2，将所述行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定所述第一行人场景图像中行人的身份信息；
A3，将所述行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
根据本发明一实施例，所述构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系进一步为：
B1，在室内选取不共线且不共面的至少十一个标记点；
B2，获取所述标记点在室内的世界坐标；
B3，从室内的场景图像中获取所述标记点在场景图像中的像素坐标；
B4，根据所述步骤B2中的世界坐标、所述步骤B3中的像素坐标通过最小二乘法求解超定线性方程组的方法计算出所述场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
根据本发明一实施例，所述根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹进一步为：
C1，对所述第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
C2，对经所述步骤C1纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
基于相同的发明构思，本发明还提供了一种基于行人识别的室内行人寻迹装置，包括：
获取模块，用于获取室内连续的场景图像；
行人数据采集模块，用于从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
行人检测模块，用于从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
特征提取模块，用于使用特征提网络提取所述行人全身图中行人的特征，记为第一行人特征；所述特征提取模块还用于使用所述特征提网络提取所述第二行人场景图像中行人的特征，记为第二行人特征；
像素坐标计算模块，用于计算所述第二行人场景图像中行人的像素坐标；
判断模块，用于将所述第二行人特征与所述第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定所述第二行人特征对应的行人与所述第一行人特征对应的行人为同一人；
坐标转换关系建立模块，用于构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
坐标转换模块，根据所述坐标转换关系将所述第二行人场景图像中行人的像素坐标转换为所述第二行人场景图像中行人的世界坐标；
轨迹输出模块，根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
根据本发明一实施例，所述行人数据采集模块进一步包括：
行人识别模块，用于将所述第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
人脸识别模块，用于将所述行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定所述第一行人场景图像中行人的身份信息；
身份标注模块，用于将所述行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
根据本发明一实施例，所述坐标转换关系建立模块进一步包括：
标记点选取模块，用于在室内选取不共线且不共面的至少十一个标记点；
标记点世界坐标获取模块，用于获取所述标记点在室内的世界坐标；
标记点像素坐标获取模块，用于从室内的场景图像中获取所述标记点在场景图像中的像素坐标；
坐标转换关系计算模块，用于根据所述标记点世界坐标获取模块得到的世界坐标、所述标记点像素坐标获取模块得到的像素坐标通过最小二乘法求解超定线性方程组的方法计算出所述场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
根据本发明一实施例，所述轨迹输出模块进一步包括：
纠错模块，用于对所述第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
轨迹拟合模块，用于对经所述纠错模块纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
基于相同的发明构思，本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明的基于行人识别的室内行人寻迹方法。
基于相同的发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的基于行人识别的室内行人寻迹方法。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
本发明一实施例中提供的基于行人识别的室内行人寻迹方法首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹，利用深度学习的算法，行人识别及定位的精度高，运算量小，本方法也不需要行人随身携带用于辅助定位的设备(如移动传感器等)。
附图说明
图1为本发明的一种基于行人识别的室内行人寻迹方法的流程图；
图2为本发明中识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图的流程图；
图3为本发明中构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系的流程图；
图4为本发明中根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹的流程图；
图5为本发明的一种基于行人识别的室内行人寻迹装置的结构框图；
图6为本发明中行人数据采集模块的结构框图；
图7为本发明中坐标转换关系建立模块的结构框图；
图8为本发明中轨迹输出模块的结构框图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
实施例一
参看图1，一种基于行人识别的室内行人寻迹方法包括：
S1，获取室内连续的场景图像；
本实施例中可以获取USB摄像头拍摄的连续的场景图像，连续的场景图像可以是指等时间间隔拍摄的图片，也可以是指拍摄的视频；
S2，从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
处理器或计算单元从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
处理器或计算单元从USB摄像头拍摄的视频中截取包含行人人脸的场景图像，处理器或计算单元识别第一行人场景图像中行人的身份信息，处理器或计算单元将确定的身份信息标注于截取的行人全身图；
S3，从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
处理器或计算单元从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
处理器或计算单元按照一定间隔从USB摄像头拍摄的视频中抽取视频帧、检测视频帧中所包含的行人；根据实验测试结果，处理器或计算单元每20帧进行一次抽取，可同时满足系统的实时性与实际应用中的受检率；进一步地，处理器或计算单元利用边界框将行人框出，并且进行边界框的分类和边界框区域坐标的回归校正；
S4，使用特征提网络提取行人全身图中行人的特征，记为第一行人特征；使用特征提网络提取第二行人场景图像中行人的特征，记为第二行人特征；
处理器或计算单元用特征提网络提取行人全身图中行人的特征，记为第一行人特征；处理器或计算单元进一步使用相同的特征提网络提取第二行人场景图像中行人的特征，记为第二行人特征；
处理器或计算单元用特征提网络提取行人全身图中行人的特征向量，处理器或计算单元进一步使用相同的特征提网络提取第二行人场景图像中行人的特征向量；进一步地，处理器或计算单元将步骤S3中判定为行人的边界框进行卷积化处理，以得到特征并将其输入至全连接层，全连接层将数据降维，作为最终提取的特征描述子；同样的方法提取出行人全身图中行人的特征描述子；进一地，处理器或计算单元将两类特征描述子做余弦相似度计算，若相似度小于既定阈值则可判定视频帧中的行人为标记的行人(家庭成员或企业员工)；经实验可知，阈值设为0.5-0.7可以在保证识别率的前提下降低识错率；
S5，计算第二行人场景图像中行人的像素坐标；
处理器或计算单元计算第二行人场景图像中行人的像素坐标；
处理器或计算单元计算的像素坐标为视频中行人的矩形框位置；
S6，将第二行人特征与第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定第二行人特征对应的行人与第一行人特征对应的行人为同一人；
处理器或计算单元将第二行人特征与第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定第二行人特征对应的行人与第一行人特征对应的行人为同一人；
S7，构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
处理器或计算单元构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
处理器或计算单元使用特定坐标点的像素坐标和世界坐标构建坐标转换关系；
S8，根据坐标转换关系将第二行人场景图像中行人的像素坐标转换为第二行人场景图像中行人的世界坐标；
处理器或计算单元根据坐标转换关系将第二行人场景图像中行人的像素坐标转换为第二行人场景图像中行人的世界坐标；
S9，根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹；
处理器或计算单元根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
以上对行人的检测与识别均是使用深度学习的方法实现，将基于深度学习的行人识别方法与室内行人定位相结合是较为新颖的研究方向，解决了传统定位方法准确度低、可拓展性差等缺点。本实施例中的基于行人识别的室内行人寻迹方法首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹。本方法利用深度学习的算法，行人识别及定位的精度高，运算量小，本方法也不需要行人随身携带用于辅助定位的设备(如移动传感器等)。
相对于现有技术中关于室内行人定位的方法，本方法其中一方面的创新点是更加关注对室内行人本身的检测、识别和定位，现有技术更多关注于室内行人所携带的辅助定位的传感器，本方法不需要携带辅助定位设备，更简洁易行，不需要行人的随时随地的配合因此本方法受设备因素的影响较小，同时也经济适用，能够满足大规模地运用。
需要说明的是本方法不限制于单个室内行人的寻迹，可实现一帧中多行人的识别，算法只需一次遍历即可提取画面中所有待识别人的特征，显著提升了搜索速度。
至此，完成图1所示的基于行人识别的室内行人寻迹方法的描述。
下面结合图2对图1中的识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图这一步骤作进一步的说明。
参看图2，识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图进一步为：
A1，将第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
A2，将行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定第一行人场景图像中行人的身份信息；
A3，将行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
步骤A1至A3的实际应用例可以是：处理器通过截取视频获取包含行人在内的视频帧并获取裁剪好的行人矩形框，再通过与预先存储的行人脸部信息比较，确定行人身份。最后输出带有身份标注的行人全身图。
这样做的好处是能够实现日常生活中室内行人的更新：例如每当成员进门时即可进行一次更新，这解决了以衣服特征为主的行人识别技术应用于智能家居的难点。可以理解为，步骤A1至A3期望每次开始寻迹之前均可获得当前的行人全身图，这样能够保证本发明基于行人识别的定位方法更加可靠，准确度更高。
至此，完成图2所示的识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图的描述。
下面结合图3对图1中的构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系这一步骤作进一步的说明。
参看图3，构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系进一步为：
B1，在室内选取不共线且不共面的至少十一个标记点；
B2，获取标记点在室内的世界坐标；
B3，从室内的场景图像中获取标记点在场景图像中的像素坐标；
B4，根据步骤B2中的世界坐标、步骤B3中的像素坐标通过最小二乘法求解超定线性方程组的方法计算出场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
至此，完成图3所示的构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系的描述。
下面结合图4对图1中的根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹这一步骤作进一步的说明。
参看图4，根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹进一步为：
C1，对第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
C2，对经步骤C1纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
至此，完成图4所示的根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹的描述。
实施例二
参看图5，基于相同的发明构思，本发明还提供了和实施例一中的基于行人识别的室内行人寻迹方法相对应的装置，包括：
获取模块，用于获取室内连续的场景图像；
行人数据采集模块，用于从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
行人检测模块，用于从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
特征提取模块，用于使用特征提网络提取行人全身图中行人的特征，记为第一行人特征；特征提取模块还用于使用特征提网络提取第二行人场景图像中行人的特征，记为第二行人特征；
像素坐标计算模块，用于计算第二行人场景图像中行人的像素坐标；
判断模块，用于将第二行人特征与第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定第二行人特征对应的行人与第一行人特征对应的行人为同一人；
坐标转换关系建立模块，用于构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
坐标转换模块，根据坐标转换关系将第二行人场景图像中行人的像素坐标转换为第二行人场景图像中行人的世界坐标；
轨迹输出模块，根据第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
以上对行人的检测与识别均是使用深度学习的方法实现，将基于深度学习的行人识别方法与室内行人定位相结合是较为新颖的研究方向，解决了传统定位方法准确度低、可拓展性差等缺点。本实施例中的基于行人识别的室内行人寻迹装置首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹。本装置利用深度学习的算法，行人识别及定位的精度高，运算量小，本装置也不需要行人随身携带用于辅助定位的设备(如移动传感器等)。
相对于现有技术中关于室内行人定位的装置，本装置其中一方面的创新点是更加关注对室内行人本身的检测、识别和定位，现有技术更多关注于室内行人所携带的辅助定位的传感器，本装置不需要携带辅助定位设备，更简洁易行，不需要行人的随时随地的配合因此本方法受设备因素的影响较小，同时也经济适用，能够满足大规模地运用。
需要说明的是本装置不限制于单个室内行人的寻迹，可实现一帧中多行人的识别，算法只需一次遍历即可提取画面中所有待识别人的特征，显著提升了搜索速度。
至此，完成图5所示的基于行人识别的室内行人寻迹装置的描述。
下面结合图6对图5中的行人数据采集模块作进一步的说明。
参看图6，行人数据采集模块进一步包括：
行人识别模块，用于将第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
人脸识别模块，用于将行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定第一行人场景图像中行人的身份信息；
身份标注模块，用于将行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
这样做的好处是能够实现日常生活中室内行人的更新：例如每当成员进门时即可进行一次更新，这解决了以衣服特征为主的行人识别技术应用于智能家居的难点。可以理解为，应用行人数据采集模块期望每次开始寻迹之前均可获得当前的行人全身图，这样能够保证本发明基于行人识别的定位方法更加可靠，准确度更高。
至此，完成图6所示的行人数据采集模块的描述。
下面结合图7对图5中的坐标转换关系建立模块作进一步的说明。
参看图7，坐标转换关系建立模块进一步包括：
标记点选取模块，用于在室内选取不共线且不共面的至少十一个标记点；
标记点世界坐标获取模块，用于获取标记点在室内的世界坐标；
标记点像素坐标获取模块，用于从室内的场景图像中获取标记点在场景图像中的像素坐标；
坐标转换关系计算模块，用于根据标记点世界坐标获取模块得到的世界坐标、标记点像素坐标获取模块得到的像素坐标通过最小二乘法求解超定线性方程组的方法计算出场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
至此，完成图7所示的坐标转换关系建立模块的描述。
下面结合图8对图5中的轨迹输出模块作进一步的说明。
参看图7，轨迹输出模块进一步包括：
纠错模块，用于对第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
轨迹拟合模块，用于对经纠错模块纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
至此，完成图8所示的轨迹输出模块的描述。
下面以一个具体应用例对本装置作进一步的说明。
实施例三
基于相同的发明构思，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明的基于行人识别的室内行人寻迹方法。
本实施例中的计算机设备的处理器在执行寻迹过程中，首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹。本实施例中的计算机设备的处理器利用深度学习的算法，行人识别及定位的精度高，运算量小。
实施例四
基于相同的发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明的基于行人识别的室内行人寻迹方法。
本实施例中的计算机可读存储介质存储有能够被处理器执行的计算机程序，该计算机程序在执行时，首先判断场景图像中行人的身份信息，在确定后该行人的身份信息之后，再使用深度学习的方法判断标记有该身份信息的行人全身图与连续的场景图像中的行人是否为同一人，如果为同一人则求出该行人的像素坐标，之后将该像素坐标转换为室内的世界坐标，对室内的世界坐标进行曲线拟合即可得到室内行人的轨迹。本实施例中的计算机可读存储介质存储的计算机程序在被执行时能够利用深度学习的算法，使得行人识别及定位的精度高，运算量小。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。
Claims (10)
1.一种基于行人识别的室内行人寻迹方法，其特征在于，包括：
获取室内连续的场景图像；
从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
使用特征提网络提取所述行人全身图中行人的特征，记为第一行人特征；使用所述特征提网络提取所述第二行人场景图像中行人的特征，记为第二行人特征；
计算所述第二行人场景图像中行人的像素坐标；
将所述第二行人特征与所述第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定所述第二行人特征对应的行人与所述第一行人特征对应的行人为同一人；
构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
根据所述坐标转换关系将所述第二行人场景图像中行人的像素坐标转换为所述第二行人场景图像中行人的世界坐标；
根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
2.如权利要求1所述的基于行人识别的室内行人寻迹方法，其特征在于，所述识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图进一步为：
A1，将所述第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
A2，将所述行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定所述第一行人场景图像中行人的身份信息；
A3，将所述行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
3.如权利要求1所述的基于行人识别的室内行人寻迹方法，其特征在于，所述构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系进一步为：
B1，在室内选取不共线且不共面的至少十一个标记点；
B2，获取所述标记点在室内的世界坐标；
B3，从室内的场景图像中获取所述标记点在场景图像中的像素坐标；
B4，根据所述步骤B2中的世界坐标、所述步骤B3中的像素坐标通过最小二乘法求解超定线性方程组的方法计算出所述场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
4.如权利要求1所述的基于行人识别的室内行人寻迹方法，其特征在于，所述根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹进一步为：
C1，对所述第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
C2，对经所述步骤C1纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
5.一种基于行人识别的室内行人寻迹装置，其特征在于，包括：
获取模块，用于获取室内连续的场景图像；
行人数据采集模块，用于从室内连续的场景图像中获取包含行人人脸的场景图像，记为第一行人场景图像，识别所述第一行人场景图像中行人的身份信息，得到带有身份标注的行人全身图；
行人检测模块，用于从室内连续的场景图像中获取包含行人的场景图像，记为第二行人场景图像；
特征提取模块，用于使用特征提网络提取所述行人全身图中行人的特征，记为第一行人特征；所述特征提取模块还用于使用所述特征提网络提取所述第二行人场景图像中行人的特征，记为第二行人特征；
像素坐标计算模块，用于计算所述第二行人场景图像中行人的像素坐标；
判断模块，用于将所述第二行人特征与所述第一行人特征进行相似度比较，若相似度大于预设的相似度阈值，则判定所述第二行人特征对应的行人与所述第一行人特征对应的行人为同一人；
坐标转换关系建立模块，用于构建室内的场景图像的像素坐标和室内的世界坐标之间的坐标转换关系；
坐标转换模块，根据所述坐标转换关系将所述第二行人场景图像中行人的像素坐标转换为所述第二行人场景图像中行人的世界坐标；
轨迹输出模块，根据所述第二行人场景图像中行人的世界坐标得到室内行人的轨迹。
6.如权利要求5所述的基于行人识别的室内行人寻迹装置，其特征在于，所述行人数据采集模块进一步包括：
行人识别模块，用于将所述第一行人场景图像中的行人用矩形框框出，得到行人矩形框；
人脸识别模块，用于将所述行人矩形框中的人脸信息与预先存储的行人脸部信息比较，确定所述第一行人场景图像中行人的身份信息；
身份标注模块，用于将所述行人矩形框裁剪成行人全身图，并且增加行人的身份信息得到带有身份标注的行人全身图。
7.如权利要求5所述的基于行人识别的室内行人寻迹装置，其特征在于，所述坐标转换关系建立模块进一步包括：
标记点选取模块，用于在室内选取不共线且不共面的至少十一个标记点；
标记点世界坐标获取模块，用于获取所述标记点在室内的世界坐标；
标记点像素坐标获取模块，用于从室内的场景图像中获取所述标记点在场景图像中的像素坐标；
坐标转换关系计算模块，用于根据所述标记点世界坐标获取模块得到的世界坐标、所述标记点像素坐标获取模块得到的像素坐标通过最小二乘法求解超定线性方程组的方法计算出所述场景图像的像素坐标和室内的世界坐标之间的坐标转换关系。
8.如权利要求5所述的基于行人识别的室内行人寻迹装置，其特征在于，所述轨迹输出模块进一步包括：
纠错模块，用于对所述第二行人场景图像中行人的世界坐标进行纠错，剔除错误的世界坐标；
轨迹拟合模块，用于对经所述纠错模块纠错之后剩余的世界坐标进行曲线拟合，得到室内行人的轨迹。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任意一项所述的基于行人识别的室内行人寻迹方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述的基于行人识别的室内行人寻迹方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811573978.1A CN109753901B (zh) | 2018-12-21 | 2018-12-21 | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811573978.1A CN109753901B (zh) | 2018-12-21 | 2018-12-21 | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109753901A true CN109753901A (zh) | 2019-05-14 |
| CN109753901B CN109753901B (zh) | 2023-03-24 |
Family
ID=66402865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811573978.1A Active CN109753901B (zh) | 2018-12-21 | 2018-12-21 | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753901B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110332929A (zh) * | 2019-07-10 | 2019-10-15 | 上海交通大学 | 车载行人定位系统及方法 |
| CN111652173A (zh) * | 2020-06-10 | 2020-09-11 | 杭州十域科技有限公司 | 一种适合综合商场内人流管控的采集方法 |
| TWI740624B (zh) * | 2019-10-28 | 2021-09-21 | 中國商深圳市商湯科技有限公司 | 圖片處理方法、設備和儲存媒體 |
| CN113691907A (zh) * | 2021-09-07 | 2021-11-23 | 四川启睿克科技有限公司 | 一种智慧家庭中声随人动方法及系统 |
| US20220172377A1 (en) * | 2020-11-27 | 2022-06-02 | Boe Technology Group Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for correcting pedestrian trajectory |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542294A (zh) * | 2011-12-29 | 2012-07-04 | 河海大学常州校区 | 双视觉信息融合的集控式足球机器人识别系统及识别方法 |
| CN105160319A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种在监控视频下实现行人再识别的方法 |
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及系统 |
| CN106791700A (zh) * | 2017-01-20 | 2017-05-31 | 辽宁科技大学 | 一种企业关键区域人员路径安全监控系统及方法 |
| CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
| CN106991395A (zh) * | 2017-03-31 | 2017-07-28 | 联想(北京)有限公司 | 信息处理方法、装置及电子设备 |
| CN107273799A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种室内定位方法及定位系统 |
| CN107704824A (zh) * | 2017-09-30 | 2018-02-16 | 北京正安维视科技股份有限公司 | 基于空间约束的行人重识别方法及设备 |
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN108629791A (zh) * | 2017-03-17 | 2018-10-09 | 北京旷视科技有限公司 | 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置 |
| CN108805890A (zh) * | 2018-03-26 | 2018-11-13 | 西安电子科技大学 | 一种基于输电线图像特征点的弧锤测量方法 |
| CN108875548A (zh) * | 2018-04-18 | 2018-11-23 | 科大讯飞股份有限公司 | 人物轨迹生成方法及装置、存储介质、电子设备 |
| CN108875500A (zh) * | 2017-11-06 | 2018-11-23 | 北京旷视科技有限公司 | 行人再识别方法、装置、系统及存储介质 |
-
2018
- 2018-12-21 CN CN201811573978.1A patent/CN109753901B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542294A (zh) * | 2011-12-29 | 2012-07-04 | 河海大学常州校区 | 双视觉信息融合的集控式足球机器人识别系统及识别方法 |
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| CN105160319A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种在监控视频下实现行人再识别的方法 |
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
| CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及系统 |
| WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 视频目标跟踪方法和装置 |
| CN106791700A (zh) * | 2017-01-20 | 2017-05-31 | 辽宁科技大学 | 一种企业关键区域人员路径安全监控系统及方法 |
| CN108629791A (zh) * | 2017-03-17 | 2018-10-09 | 北京旷视科技有限公司 | 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置 |
| CN106991395A (zh) * | 2017-03-31 | 2017-07-28 | 联想(北京)有限公司 | 信息处理方法、装置及电子设备 |
| CN107273799A (zh) * | 2017-05-11 | 2017-10-20 | 上海斐讯数据通信技术有限公司 | 一种室内定位方法及定位系统 |
| CN107704824A (zh) * | 2017-09-30 | 2018-02-16 | 北京正安维视科技股份有限公司 | 基于空间约束的行人重识别方法及设备 |
| CN108875500A (zh) * | 2017-11-06 | 2018-11-23 | 北京旷视科技有限公司 | 行人再识别方法、装置、系统及存储介质 |
| CN108805890A (zh) * | 2018-03-26 | 2018-11-13 | 西安电子科技大学 | 一种基于输电线图像特征点的弧锤测量方法 |
| CN108875548A (zh) * | 2018-04-18 | 2018-11-23 | 科大讯飞股份有限公司 | 人物轨迹生成方法及装置、存储介质、电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 张凯渊等: "多传感器融合机器人室内定位系统设计与实现", 《信息技术》 * |
| 张雨田: "双视场运动目标跟踪系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 李海荣: "基于模型的三维跟踪方法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110332929A (zh) * | 2019-07-10 | 2019-10-15 | 上海交通大学 | 车载行人定位系统及方法 |
| TWI740624B (zh) * | 2019-10-28 | 2021-09-21 | 中國商深圳市商湯科技有限公司 | 圖片處理方法、設備和儲存媒體 |
| CN111652173A (zh) * | 2020-06-10 | 2020-09-11 | 杭州十域科技有限公司 | 一种适合综合商场内人流管控的采集方法 |
| CN111652173B (zh) * | 2020-06-10 | 2023-07-18 | 杭州十域科技有限公司 | 一种适合综合商场内人流管控的采集方法 |
| US20220172377A1 (en) * | 2020-11-27 | 2022-06-02 | Boe Technology Group Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for correcting pedestrian trajectory |
| US12062192B2 (en) * | 2020-11-27 | 2024-08-13 | Boe Technology Group Co., Ltd. | Method, apparatus, computing device and computer-readable storage medium for correcting pedestrian trajectory |
| CN113691907A (zh) * | 2021-09-07 | 2021-11-23 | 四川启睿克科技有限公司 | 一种智慧家庭中声随人动方法及系统 |
| CN113691907B (zh) * | 2021-09-07 | 2023-04-11 | 四川启睿克科技有限公司 | 一种智慧家庭中声随人动方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109753901B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753901A (zh) | 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质 | |
| CN105405154B (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| AU2018102235A4 (en) | Goods sensing system and method for goods sensing based on image monitoring | |
| CN106407315B (zh) | 一种基于街景图像数据库的车辆自主定位方法 | |
| CN109074085B (zh) | 一种自主定位和地图建立方法、装置和机器人 | |
| CN110324785B (zh) | 信息推荐方法、装置、设备及计算机可读存储介质 | |
| CN108168539B (zh) | 一种基于计算机视觉的盲人导航方法、装置及系统 | |
| Koide et al. | Monocular person tracking and identification with on-line deep feature selection for person following robots | |
| CN110427905A (zh) | 行人跟踪方法、装置以及终端 | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| CN107292907B (zh) | 一种对跟随目标进行定位的方法以及跟随设备 | |
| CN109325964A (zh) | 一种人脸追踪方法、装置及终端 | |
| CN111161320A (zh) | 一种目标跟踪方法、目标跟踪装置及计算机可读介质 | |
| CN206277403U (zh) | 一种多功能物业服务机器人 | |
| CN108683744B (zh) | 信息推送方法、装置、计算机设备及存储介质 | |
| EP3531340B1 (en) | Human body tracing method, apparatus and device, and storage medium | |
| CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及系统 | |
| CN109297489A (zh) | 一种基于用户特征的室内导航方法、电子设备及存储介质 | |
| CN106871906A (zh) | 一种盲人导航方法、装置及终端设备 | |
| CN113936340B (zh) | 一种基于训练数据采集的ai模型训练方法及装置 | |
| CN112712051B (zh) | 对象跟踪方法、装置、计算机设备及存储介质 | |
| CN107610157A (zh) | 一种无人机目标追踪方法及系统 | |
| CN112541421B (zh) | 一种开放空间的行人换装重识别方法 | |
| CN112257527B (zh) | 基于多目标融合与时空视频序列的手机检测方法 | |
| CN112989889A (zh) | 一种基于姿态指导的步态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |