CN115620379B - 一种基于计算机视觉的商场寻人方法 - Google Patents

一种基于计算机视觉的商场寻人方法 Download PDF

Info

Publication number
CN115620379B
CN115620379B CN202211617656.9A CN202211617656A CN115620379B CN 115620379 B CN115620379 B CN 115620379B CN 202211617656 A CN202211617656 A CN 202211617656A CN 115620379 B CN115620379 B CN 115620379B
Authority
CN
China
Prior art keywords
person
searched
pedestrian
range
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211617656.9A
Other languages
English (en)
Other versions
CN115620379A (zh
Inventor
杨雪
梁春艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Huitong Information Technology Co ltd
Original Assignee
Guangdong Huitong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Huitong Information Technology Co ltd filed Critical Guangdong Huitong Information Technology Co ltd
Priority to CN202211617656.9A priority Critical patent/CN115620379B/zh
Publication of CN115620379A publication Critical patent/CN115620379A/zh
Application granted granted Critical
Publication of CN115620379B publication Critical patent/CN115620379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供了一种基于计算机视觉的商场寻人方法，其方法包括：获取待寻找人员的人员信息；控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息；将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库；基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹；基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定。通过将商场指定的拍摄装置采集到的行人特征与待寻找人员的特征进行对比，并根据拍摄装置的位置来确定待寻找人员的活动轨迹，且通过分析动态轨迹来预测与锁定待寻找人员的实时位置，可以有效的在大型商场中快速准确地找到待寻找人员。

Description

一种基于计算机视觉的商场寻人方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于计算机视觉的商场寻人方法。
背景技术
目前，随着社会的不断发展，大型商场越来越多，其构造也越来越复杂多样。在一些特殊的日子里，商场人流量大，人员混杂，常常会出现孩子走失、朋友走散的情况，但是由于商场嘈杂，且对商场构造不熟悉，仅凭借传统的方式往往并不能准确迅速的找到目标。
近年来，伴随着科技极速发展，计算机视觉技术也在不断进步，可将捕捉到的视频图像中的数据及信息进行分析识别、检测跟踪等，也是人工智能里最有发展前景的技术之一。
因此，本发明提供了一种基于计算机视觉的商场寻人方法。
发明内容
本发明提供的一种基于计算机视觉的商场寻人方法，用以通过将商场指定的拍摄装置采集到的行人特征与待寻找人员的特征进行对比，并根据拍摄装置的位置来确定待寻找人员的活动轨迹，且通过分析动态轨迹来预测与锁定待寻找人员的实时位置，可以有效快速的在大型商场中找到待寻找人员。
本发明提供的一种基于计算机视觉的商场寻人方法，包括：
步骤1：获取待寻找人员的人员信息；
步骤2：控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息；
步骤3：将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库；
步骤4：基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹；
步骤5：基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定。
优选的，所述人员信息包括：待寻找人员的人脸图像、身高、体重以及着装。
优选的，控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息，包括：
控制基于商场内各个指定点预先部署的拍摄装置进行工作，获取得到对应指定范围内的行人动态视频，并将所述行人动态视频依次拆分为若干图像帧；
对每个图像帧进行行人完整性分析；
当所述行人完整性小于预设完整性，将对应图像帧剔除；
对每个剩余图像帧进行人脸检测以及人体检测；
根据同个人员的人脸检测结果以及人体检测结果，进而得到对应剩余图像帧的行人子特征；
将所采集的对应指定范围内的所有剩余图像帧对应的行人子特征进行组合，得到行人特征信息。
优选的，对每个剩余图像帧进行人脸检测，包括：
根据人脸数据标度，从所有指定范围对应的所有剩余图像帧中依次框选出人脸区域，并获取训练数据；
基于所述训练数据对神经网络模型进行训练得到框选网络模型；
同时，提取每个训练数据的训练关键参数，并对同类训练参数进行归一化处理，得到相对应的回归值；
基于每个同类训练参数的回归值与所述框选网络模型所对应参数的模型值进行比较，获取优化向量；
基于所述优化向量对所述框选网络模型进行优化调节，并获取优化调节模型的模型精度；
当所述模型精度满足框选精度时，按照所述优化调节模型对每个剩余图像帧进行人脸框选，完成人脸检测；
否则，对所述优化向量继续进行预优化，并继续对模型优化，直到完成人脸检测。
优选的，对所述优化向量继续进行预优化，包括：
对所述优化向量中的所有元素进行值归类，并得到满足过度差标准的第一个数，同时，得到不满足过度差标准的第二个数，其中，所述优化向量中每个元素的当下值为回归值与对应模型值的差；
当所述第一个数大于或等于第二个数时，从个数-调整数据库中获取第一预设调整标准，并对第一个数中的每个值按照第一预设调整标准进行调整，并基于调整后的向量继续对所述优化调节模型进行优化；
否则，从个数-调整数据库中获取第二预设调整标准，并对第二个数中的每个值按照第二预设调整标准进行调整以及从个数-调整数据库中获取第三预设调整标准，并对第一个数中的每个值按照第三预设调整标准进行调整；
基于调整后的向量继续对所述优化调节模型进行优化；
其中，第一预设调整标准的调整幅度>第三预设调整标准的调整幅度>第一预设调整标准的调整幅度。
优选的，将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库，包括：
获取商场内各个指定点预先部署的拍摄装置的位置标签以及范围标签；
建立所述范围标签与指定点所对应的指定范围内的每个位置点的第一匹配关系；
基于拍摄装置采集到指定范围的行为动态视频时，建立所述行人动态视频中每帧图像与指定点的第二匹配关系；
根据所述第一匹配关系与第二匹配关系，建立范围标签与行人动态视频的索引标签，并向每个行人动态视频附加位置标签，构建得到空间信息数据库。
优选的，基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹，包括：
确定预先部署在所述商场中的每个摄像装置的拍摄临界点以及每个摄像装置的邻接装置的装置数；
根据每个拍摄装置的拍摄临界点、装置数以及对应指定范围内的人流量，确定每个拍摄装置的重要值；
其中，p1表示对应拍摄装置基于拍摄临界点的权重值；p2表示对应拍摄装置基于人流量的权重值；s1表示对应拍摄装置的指定范围的拍摄临界点个数；max(s0)表示所有拍摄装置s0所对应指定范围中的最大拍摄临界点个数；r1表示对应拍摄装置所指定范围内的人流量；max(r0)表示所有拍摄装置s0所对应指定范围的最大人流量；m1表示对应拍摄装置的装置数；m0表示所述商场内的拍摄装置的总数；
提取最大重要值所对应摄像装置的当下位置，并将所述当下位置作为初始搜索位置；
基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的清晰未遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，判断是否存在待寻找人员；
若存在，获取所述初始搜索位置的摄像装置的位置信息；
同时，还基于空间信息数据库调取所述待寻找人员的人体图像，获取走向趋势，并按照所述走向趋势从所述初始搜索位置的摄像装置中获取相同趋势的拍摄装置，来搜索是否存在待寻找人员，获取得到所述待寻找人员的动态轨迹。
若不存在，基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的有遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，获取脸部特征相似度最高的目标人员；
提取所述目标人员的人体特征与待寻找人员的特征来进行特征匹配，判断所述目标人员是否为待寻找人员；
若确定所述目标人员为待寻找人员，则获取得到所述待寻找人员的动态轨迹；
若不是，则将所述初始搜索位置的摄像装置设为初始结点，且结点均最多含有a个单邻接点，对a个邻接点依次搜索是否存在待寻找人员，如果存在，则获取结点的摄像位置信息并进行轨迹获取；如果不存在，则继续搜索下一组邻接点，直到搜索结点的绝对距离超过总搜索范围。
优选的，基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定，包括：
分析所述待寻找人员的动态轨迹，获取待寻找人员出现的最后监控画面；
若所述待寻找人员基于最后监控画面的前n1帧都位于同位置，且最后监控画面的出现时刻与当下时刻的时刻差在第一预设范围内，判定所述待寻找人员处于静态，此时，调取对应摄像装置的物理位置坐标，对所述待寻找人员位置坐标进行锁定；
否则，判定所述待寻找人员处于动态，并将最后监控画面作为第一帧；
基于所述待寻找人员的运动轨迹、基于所述运动轨迹中每个轨迹点的移动速度以及移动速度小于预设速度位置处的商品类型，预测所述待寻找人员的商品偏好；
基于所述第一帧预测移动方向，并基于商场布置图对所述预测移动方向进行规划预测，并按照所述最后监控画面的出现时刻与当下时刻的时刻差以及规划预测线路上每个移动点的点时间，预测所述待寻找人员基于当下时刻的位置点，并进行预测锁定。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于计算机视觉的商场寻人方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种基于计算机视觉的商场寻人方法，如图1所示，包括：
步骤1：获取待寻找人员的人员信息；
步骤2：控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息；
步骤3：将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库；
步骤4：基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹；
步骤5：基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定。
该实施例中，待寻找人员的人员信息包括待寻找人员的人脸照片、身高体重以及着装细节。
该实施例中，预先部署的拍摄装置指的是具有数据存储传输和物理位置定位功能的摄像头，当摄像头接入电源会自动定位并上传采集到的视频信息和自身GPS数据，主要是为了实时采集行人特征信息，方便进行目标检测与追踪，其中部署位置会根据具体应用场景以及现场实际情况部署位置。
该实施例中，行人特征信息指的是行人的人脸特征系信息和人体特征信息。
该实施例中，空间信息数据库是由摄像头信息与对应的视频图像数据构建，主要是为了利用行人轨迹的时空关联性来为实现对待寻找人员位置预测与锁定做基础。
该实施例中，在进行绘制待寻找人员的动态轨迹时，需要调取空间信息数据库中的待寻找人员人体图像来得到走向趋势，并筛选获取待寻找人员的具有相同走向趋势的拍摄装置的物理位置，以此来获取所述动态轨迹。
该实施例中，基于所述待寻找人员的行动轨迹，对待寻找人员的走向以及移动位置进行预测和锁定。
上述技术方案的有益效果是：通过将商场指定的拍摄装置采集到的行人特征与待寻找人员的特征进行对比，并根据拍摄装置的位置来确定待寻找人员的活动轨迹，且通过分析动态轨迹来预测与锁定待寻找人员的实时位置，可以有效快速的在大型商场中找到待寻找人员。
本发明实施例提供一种基于计算机视觉的商场寻人方法，控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息，包括：
控制基于商场内各个指定点预先部署的拍摄装置进行工作，获取得到对应指定范围内的行人动态视频，并将所述行人动态视频依次拆分为若干图像帧；
对每个图像帧进行行人完整性分析；
当所述行人完整性小于预设完整性，将对应图像帧剔除；
对每个剩余图像帧进行人脸检测以及人体检测；
根据同个人员的人脸检测结果以及人体检测结果，进而得到对应剩余图像帧的行人子特征；
将所采集的对应指定范围内的所有剩余图像帧对应的行人子特征进行组合，得到行人特征信息。
该实施例中，行人完整性指的是图像帧中所包含的行人信息完整度，预设完整性是预先设置好的，一般为0.8。
该实施例中，比如：摄像头1采集的视频图像数据拆分得到图像帧a和图像帧b，此时对图像帧a、b的行人完整性进行分析，对应得到0.3、0.82，故图像帧a的行人完整性小于预设完整性，图像帧b的行人完整性大于预设完整性，因此将图像帧a剔除，保留图像帧b。
该实施例中，人脸检测指的是通过对行人面部区域预测并标记关键点来对行人面部特征提取；其中关键点包括眉、眼、鼻和嘴巴。人体检测指的是对行人的身高体重和着装进行特征提取；比如：经过人体检测，可知行人a的着装特征是蓝色上衣、黑色裤子，身高180cm左右，中等身型。
该实施例中，行人特征信息是指基于行人完整性满足预设完整性条件，每个摄像头所采集的指定范围内的行人的特征，主要是为了给寻找人员提供数据支撑。
上述技术方案的有益效果是：通过将行人动态视频依次拆分为若干图像帧，根据预设完整性来剔除不满足条件的图像帧，再对剩余图像帧人脸检测和人体检测，将检测结果组合来获取行人特征信息，可以有效保证指定范围内行人特征信息的精确采集，为后续目标识别提供数据支撑。
本发明实施例提供一种基于计算机视觉的商场寻人方法，对每个剩余图像帧进行人脸检测，包括：
根据人脸数据标度，从所有指定范围对应的所有剩余图像帧中依次框选出人脸区域，并获取训练数据；
基于所述训练数据对神经网络模型进行训练得到框选网络模型；
同时，提取每个训练数据的训练关键参数，并对同类训练参数进行归一化处理，得到相对应的回归值；
基于每个同类训练参数的回归值与所述框选网络模型所对应参数的模型值进行比较，获取优化向量；
基于所述优化向量对所述框选网络模型进行优化调节，并获取优化调节模型的模型精度；
当所述模型精度满足框选精度时，按照所述优化调节模型对每个剩余图像帧进行人脸框选，完成人脸检测；
否则，对所述优化向量继续进行预优化，并继续对模型优化，直到完成人脸检测。
该实施例中，人脸数据标度用于区分图像帧中的行人脸部区域，便于获取对应训练数据；框选网络模型是基于所述训练数据，结合神经网络模型训练得到的，用于对输入的图像帧中的行人人脸区域进行框选。
该实施例中，对同类训练参数进行归一化处理是为了加快对训练数据的处理和学习速度。
该实施例中，优化向量的获取是为了实现对所述框选网络模型的优化，进而得到优化调节模型，并确定对应的模型精度；框选精度是基于具体实际情况而设定的，一般为0.7。
该实施例中，比如：存在优化向量A对所述框选网络模型优化，得到对应的优化调节模型的精度为0.6，小于框选精度，此时，对所述优化向量A进行再次优化，接着对框选网络模型再次优化，重新获取模型精度为0.65，仍小于于框选精度，因此对所述优化向量A继续优化，对框选模型再优化，得到模型精度为0.71，满足于框选精度，此时，按照所述优化调节模型对每个剩余图像帧进行人脸框选，完成人脸检测。
上述技术方案的有益效果是：通过人脸数据标度获取图像帧中的行人脸部区域并得到训练数据，再对每个训练数据的训练关键参数归一化处理，有利于加快数据处理速度；将基于训练数据和神经网络模型得到的框选网络模型不断优化获取满足条件的优化调节模型，来对输入的图像帧中的行人脸部框选，实现了有效人脸检测。
本发明实施例提供一种基于计算机视觉的商场寻人方法，对所述优化向量继续进行预优化，包括：
对所述优化向量中的所有元素进行值归类，并得到满足过度差标准的第一个数，同时，得到不满足过度差标准的第二个数，其中，所述优化向量中每个元素的当下值为回归值与对应模型值的差；
当所述第一个数大于或等于第二个数时，从个数-调整数据库中获取第一预设调整标准，并对第一个数中的每个值按照第一预设调整标准进行调整，并基于调整后的向量继续对所述优化调节模型进行优化；
否则，从个数-调整数据库中获取第二预设调整标准，并对第二个数中的每个值按照第二预设调整标准进行调整以及从个数-调整数据库中获取第三预设调整标准，并对第一个数中的每个值按照第三预设调整标准进行调整；
基于调整后的向量继续对所述优化调节模型进行优化；
其中，第一预设调整标准的调整幅度>第三预设调整标准的调整幅度>第二预设调整标准的调整幅度。
该实施例中，比如：存在两个数m、n，当m不小于n时，按照第一预设调整标准，对m中包含的所有值进行调整，并基于调整后的向量对所述优化调节模型进行优化；当m小于n时，按照第二预设调整标准，对n中包含的所有值进行调整，按照第三预设调整标准，对m中包含的所有值进行调整，集合调整后的结果得到调整后向量，基于所述调整后向量实现对所述优化调节模型的优化。
该实施例中，第一、二、三预设调整标准以及对应调整幅度均是提前设定好的，保存在个数-调整数据库中。
上述技术方案的有益效果是：通过对优化向量的元素值分类，并基于过度差标准，获取两个不同的数，再通过比较所述两个数来选取不同的预设调整标准分别对所述两个数所包含的每个值进行调整，进而得到调整后的向量，可以根据调整后的向量对所述优化调节模型进行有效优化，有利于后续人脸检测。
本发明实施例提供一种基于计算机视觉的商场寻人方法，将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库，包括：
获取商场内各个指定点预先部署的拍摄装置的位置标签以及范围标签；
建立所述范围标签与指定点所对应的指定范围内的每个位置点的第一匹配关系；
基于拍摄装置采集到指定范围的行为动态视频时，建立所述行人动态视频中每帧图像与指定点的第二匹配关系；
根据所述第一匹配关系与第二匹配关系，建立范围标签与行人动态视频的索引标签，并向每个行人动态视频附加位置标签，构建得到空间信息数据库。
该实施例中，位置标签包含有拍摄装置的ID编号，经纬度信息以及所属楼层编号；范围标签包含有以每个拍摄装置为中心，以指定距离为半径的椭圆形范围区域以及区域面积；其中，指定距离由具体商场情况而设定。
该实施例中，位置点是指指定点对应的拍摄装置的拍摄最大范围内的所有商铺。
该实施例中，建立第一、二匹配关系、索引标签以及向每个行人动态视频附加位置标签是为了系统化构建空间信息数据库，便于数据查询，为对待寻找人员进行识别与追踪提供数据支撑。
上述技术方案的有益效果是：通过获取拍摄装置的位置标签以及范围标签的来建立第一、二匹配关系，再基于第一、二匹配关系得到索引标签，并向每个行人动态视频附加位置标签，最终构建得到空间信息数据库，为对待寻找人员进行识别与动态轨迹追踪提供数据支撑。
本发明实施例提供一种基于计算机视觉的商场寻人方法，基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹，包括：
确定预先部署在所述商场中的每个摄像装置的拍摄临界点以及每个摄像装置的邻接装置的装置数；
根据每个拍摄装置的拍摄临界点、装置数以及对应指定范围内的人流量，确定每个拍摄装置的重要值；
其中，p1表示对应拍摄装置基于拍摄临界点的权重值；p2表示对应拍摄装置基于人流量的权重值；s1表示对应拍摄装置的指定范围的拍摄临界点个数；max(s0)表示所有拍摄装置s0所对应指定范围中的最大拍摄临界点个数；r1表示对应拍摄装置所指定范围内的人流量；max(r0)表示所有拍摄装置s0所对应指定范围的最大人流量；m1表示对应拍摄装置的装置数；m0表示所述商场内的拍摄装置的总数；
提取最大重要值所对应摄像装置的当下位置，并将所述当下位置作为初始搜索位置；
基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的清晰未遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，判断是否存在待寻找人员；
若存在，获取所述初始搜索位置的摄像装置的位置信息；
同时，还基于空间信息数据库调取所述待寻找人员的人体图像，获取走向趋势，并按照所述走向趋势从所述初始搜索位置的摄像装置中获取相同趋势的拍摄装置，来搜索是否存在待寻找人员，获取得到所述待寻找人员的动态轨迹。
该实施例中，当不存在待寻找人员时，基于初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的有遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，来筛选得到脸部特征相似度最高的目标人员；
提取所述目标人员的人体特征与待寻找人员的特征来进行特征匹配，进一步判断所述目标人员是否为待寻找人员；
若确定所述目标人员为待寻找人员，则获取得到所述待寻找人员的动态轨迹；
若不是，则将所述初始搜索位置的摄像装置设为初始结点，且结点均最多含有a个单邻接点，对a个邻接点依次搜索是否存在待寻找人员，如果存在，则获取结点的摄像位置信息并进行轨迹获取；如果不存在，则继续搜索下一组邻接点，直到搜索结点的绝对距离超过总搜索范围。
该实施例中，拍摄临界点是指构成拍摄装置的摄像范围最大边界的点。
该实施例中，比如：存在拍摄装置1、2、3，对所述三个拍摄装置进行重要值计算，得到重要值对应分别是0.9、1.2、1.13，经过比较后确定拍摄装置的重要值最大，因此，将拍摄装置2的当下位置作为初始搜索位置。
该实施例中，将空间信息数据库中所述初始搜索位置对应的清晰未遮挡的行人人脸图像，与所述人员信息中的人脸照片进行人脸对比是先基于深度卷积神经网络，对所述待寻找人员的人脸照片与行人人脸图像进行映射，并对对应图像数据的特征进行训练和提取；接着对训练后的数据特征进行L2正则化处理，得到对应待寻找人员的第一人脸特征向量、行人的第二人脸特征向量；再将第一人脸特征向量与第二人脸特征向量依次进行欧氏距离比较，公式如下：
其中，设2个n维向量a（x11，x12 ， ，x1n ），b（x21 ，x22 ， ，x2n ），人脸图像的欧氏距离同一个人均值较小，不同人的人均值较大，通过设定一定的阈值来区分不同人，即可实现人脸比对。
该实施例中，走向趋势是通过调取空间信息数据库中的待寻找人员人体图像来确定的；基于所述走向趋势从初始搜索位置的拍摄装置中筛选出具有相同趋势的拍摄装置，并对所述拍摄装置进行搜索寻哪些存在待寻找人员，提取存在待寻找人员的拍摄装置的位置信息，根据时间依次排序，获取待寻找人员的动态轨迹。
该实施例中，将空间信息数据库中所述初始搜索位置对应的有遮挡的行人人脸图像，与所述人员信息中的人脸照片进行人脸对比主要是通过目标识别中降低对脸部遮挡区域的依赖性，再与已知卷积神经网络有效结合来实现的。
上述技术方案的有益效果是：通过计算每个拍摄装置的重要值来筛选得到初始搜索位置，增加搜索速度与可信度；基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的行人人脸图像，与所述待寻找人员的人脸照片进行人脸对比，并增加人体特征对比，对待寻找人员进行精准识别与追踪，快速得到所述待寻找人员的动态轨迹，有利于预测与锁定待寻找人员的当前位置。
本发明实施例提供一种基于计算机视觉的商场寻人方法，基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定，包括：
分析所述待寻找人员的动态轨迹，获取待寻找人员出现的最后监控画面；
若所述待寻找人员基于最后监控画面的前n1帧都位于同位置，且最后监控画面的出现时刻与当下时刻的时刻差在第一预设范围内，判定所述待寻找人员处于静态，此时，调取对应摄像装置的物理位置坐标，对所述待寻找人员位置坐标进行锁定；
否则，判定所述待寻找人员处于动态，并将最后监控画面作为第一帧；
基于所述待寻找人员的运动轨迹、基于所述运动轨迹中每个轨迹点的移动速度以及移动速度小于预设速度位置处的商品类型，预测所述待寻找人员的商品偏好；
基于所述第一帧预测移动方向，并基于商场布置图对所述预测移动方向进行规划预测，并按照所述最后监控画面的出现时刻与当下时刻的时刻差以及规划预测线路上每个移动点的点时间，预测所述待寻找人员基于当下时刻的位置点，并进行预测锁定。
该实施例中，时刻差的第一预设范围是提前设定好的，一般为45s。
该实施例中，比如：下午四点二十分搜索到待寻找人员出现的最后监控画面，最后监控画面时间显示为下午四点十九分三十秒，且所述最后监控画面的前n1帧中待寻找人员均处于同样位置，此时判定该待寻找人员处于静态，从空间信息数据库中调取所述对应摄像装置物理位置坐标，锁定带寻找人员的位置。
该实施例中，待寻找人员的移动速度基于对应动态轨迹中的相邻两个轨迹点之间进行计算得出；预设速度是预先设定好的，一般为1m/s。
该实施例中，当待寻找人员在轨迹点a、b之间的移动速度经计算为0.5m/s，小于预设速度，基于拍摄装置，对两轨迹点之间的商品类型进行提取，可预测待寻找人员的商品偏好。
该实施例中，该实施例中，规划预测线路是当判定待寻找人员处于动态时，将最后监控画面作为第一帧来预测待寻找人员的移动方向，通过已知商场布置图来进行规划预测的路线；移动点为所述规划预测线路途经的拍摄装置。
该实施例中，比如，下午四点二十分搜索到待寻找人员出现的最后监控画面时间为下午四点十分，根据预测第一帧中待寻找人员的移动方向，得到规划预测线路，且所述规划预测线路上依次有三个移动点1、2、3，根据移动速度预测待寻找人员出现在移动点1、2、3的时间分别为下午的四点十二分、四点十九分和四点二十五分，因此判定当下时刻待寻找人员处于移动点2附近，调用移动点2对应的拍摄装置的物理位置坐标，对待寻找人员位置进行预测锁定。
上述技术方案的有益效果是：通过分析所述待寻找人员的动态轨迹来获取待寻找人员出现的最后监控画面，并判断最后监控画面显示待寻找人员处于静态还是动态，根据判断结果，对当下时刻待寻找人员的位置进行预测和锁定，保证了对待寻找人员当下位置的预测合理性，实现对待寻找人员所处位置的有效锁定。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于计算机视觉的商场寻人方法，其特征在于，包括：
步骤1：获取待寻找人员的人员信息；
步骤2：控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息；
步骤3：将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库；
步骤4：基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹；
步骤5：基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定；
其中，基于所述空间信息数据库，结合所述人员信息，确定所述待寻找人员的动态轨迹，包括：
确定预先部署在所述商场中的每个摄像装置的拍摄临界点以及每个摄像装置的邻接装置的装置数；
根据每个拍摄装置的拍摄临界点、装置数以及对应指定范围内的人流量，确定每个拍摄装置的重要值；
其中，p1表示对应拍摄装置基于拍摄临界点的权重值；p2表示对应拍摄装置基于人流量的权重值；s1表示对应拍摄装置的指定范围的拍摄临界点个数；表示所有拍摄装置所对应指定范围中的最大拍摄临界点个数；表示对应拍摄装置所指定范围内的人流量；表示所有拍摄装置所对应指定范围的最大人流量；表示对应拍摄装置的装置数；表示所述商场内的拍摄装置的总数；
提取最大重要值所对应摄像装置的当下位置，并将所述当下位置作为初始搜索位置；
基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的清晰未遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，判断是否存在待寻找人员；
若存在，获取所述初始搜索位置的摄像装置的位置信息；
同时，还基于空间信息数据库调取所述待寻找人员的人体图像，获取走向趋势，并按照所述走向趋势从所述初始搜索位置的摄像装置中获取相同趋势的拍摄装置，来搜索是否存在待寻找人员，获取得到所述待寻找人员的动态轨迹；
若不存在，基于所述初始搜索位置，调取空间信息数据库中所述初始搜索位置对应的有遮挡的行人人脸图像，并与所述人员信息中的人脸照片进行人脸对比，获取脸部特征相似度最高的目标人员；
提取所述目标人员的人体特征与待寻找人员的特征来进行特征匹配，判断所述目标人员是否为待寻找人员；
若确定所述目标人员为待寻找人员，则获取得到所述待寻找人员的动态轨迹；
若不是，则将所述初始搜索位置的摄像装置设为初始结点，且结点中最多含有a个邻结点，对a个邻结点依次搜索是否存在待寻找人员，如果存在，则获取对应结点的摄像位置信息并进行轨迹获取；如果不存在，则继续搜索下一组邻结点，直到搜索结点的绝对距离超过总搜索范围。
2.如权利要求1所述的基于计算机视觉的商场寻人方法，其特征在于，所述人员信息包括：待寻找人员的人脸图像、身高、体重以及着装。
3.如权利要求1所述的基于计算机视觉的商场寻人方法，其特征在于，控制基于商场内各个指定点预先部署的拍摄装置进行工作，并采集对应指定范围内的行人特征信息，包括：
控制基于商场内各个指定点预先部署的拍摄装置进行工作，获取得到对应指定范围内的行人动态视频，并将所述行人动态视频依次拆分为若干图像帧；
对每个图像帧进行行人完整性分析；
当所述行人完整性小于预设完整性，将对应图像帧剔除；
对每个剩余图像帧进行人脸检测以及人体检测；
根据同个人员的人脸检测结果以及人体检测结果，进而得到对应剩余图像帧的行人子特征；
将所采集的对应指定范围内的所有剩余图像帧对应的行人子特征进行组合，得到行人特征信息。
4.如权利要求3所述的基于计算机视觉的商场寻人方法，其特征在于，对每个剩余图像帧进行人脸检测，包括：
根据人脸数据标度，从所有指定范围对应的所有剩余图像帧中依次框选出人脸区域，并获取训练数据；
基于所述训练数据对神经网络模型进行训练得到框选网络模型；
同时，提取每个训练数据的训练关键参数，并对同类训练参数进行归一化处理，得到相对应的回归值；
基于每个同类训练参数的回归值与所述框选网络模型所对应参数的模型值进行比较，获取优化向量；
基于所述优化向量对所述框选网络模型进行优化调节，并获取优化调节模型的模型精度；
当所述模型精度满足框选精度时，按照所述优化调节模型对每个剩余图像帧进行人脸框选，完成人脸检测；
否则，对所述优化向量继续进行预优化，并继续对模型优化，直到完成人脸检测。
5.如权利要求4所述的基于计算机视觉的商场寻人方法，其特征在于，对所述优化向量继续进行预优化，包括：
对所述优化向量中的所有元素进行值归类，并得到满足过度差标准的第一个数，同时，得到不满足过度差标准的第二个数，其中，所述优化向量中每个元素的当下值为回归值与对应模型值的差；
当所述第一个数大于或等于第二个数时，从个数-调整数据库中获取第一预设调整标准，并对第一个数中的每个值按照第一预设调整标准进行调整，并基于调整后的向量继续对所述优化调节模型进行优化；
否则，从个数-调整数据库中获取第二预设调整标准，并对第二个数中的每个值按照第二预设调整标准进行调整以及从个数-调整数据库中获取第三预设调整标准，并对第一个数中的每个值按照第三预设调整标准进行调整；
基于调整后的向量继续对所述优化调节模型进行优化；
其中，第一预设调整标准的调整幅度>第三预设调整标准的调整幅度>第一预设调整标准的调整幅度。
6.如权利要求3所述的基于计算机视觉的商场寻人方法，其特征在于，将采集到的行人特征信息与对应摄像装置的部署物理位置相关联，建立空间信息数据库，包括：
获取商场内各个指定点预先部署的拍摄装置的位置标签以及范围标签；
建立所述范围标签与指定点所对应的指定范围内的每个位置点的第一匹配关系；
基于拍摄装置采集到指定范围的行为动态视频时，建立所述行人动态视频中每帧图像与指定点的第二匹配关系；
根据所述第一匹配关系与第二匹配关系，建立范围标签与行人动态视频的索引标签，并向每个行人动态视频附加位置标签，构建得到空间信息数据库。
7.如权利要求1所述的基于计算机视觉的商场寻人方法，其特征在于，基于所述动态轨迹，对所述待寻找人员的当前位置进行锁定，包括：
分析所述待寻找人员的动态轨迹，获取待寻找人员出现的最后监控画面；
若所述待寻找人员基于最后监控画面的前n1帧都位于同位置，且最后监控画面的出现时刻与当下时刻的时刻差在第一预设范围内，判定所述待寻找人员处于静态，此时，调取对应摄像装置的物理位置坐标，对所述待寻找人员位置坐标进行锁定；
否则，判定所述待寻找人员处于动态，并将最后监控画面作为第一帧；
基于所述待寻找人员的运动轨迹、基于所述运动轨迹中每个轨迹点的移动速度以及移动速度小于预设速度位置处的商品类型，预测所述待寻找人员的商品偏好；
基于所述第一帧预测移动方向，并基于商场布置图对所述预测移动方向进行规划预测，并按照所述最后监控画面的出现时刻与当下时刻的时刻差以及规划预测线路上每个移动点的点时间，预测所述待寻找人员基于当下时刻的位置点，并进行预测锁定。
CN202211617656.9A 2022-12-16 2022-12-16 一种基于计算机视觉的商场寻人方法 Active CN115620379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211617656.9A CN115620379B (zh) 2022-12-16 2022-12-16 一种基于计算机视觉的商场寻人方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211617656.9A CN115620379B (zh) 2022-12-16 2022-12-16 一种基于计算机视觉的商场寻人方法

Publications (2)

Publication Number Publication Date
CN115620379A CN115620379A (zh) 2023-01-17
CN115620379B true CN115620379B (zh) 2023-04-07

Family

ID=84879733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211617656.9A Active CN115620379B (zh) 2022-12-16 2022-12-16 一种基于计算机视觉的商场寻人方法

Country Status (1)

Country Link
CN (1) CN115620379B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963399A (zh) * 2021-09-09 2022-01-21 武汉众智数字技术有限公司 基于多算法融合应用的人员轨迹检索方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2544324A1 (en) * 2005-06-10 2006-12-10 Unicru, Inc. Employee selection via adaptive assessment
CN103576683B (zh) * 2012-08-03 2016-12-21 中国科学院深圳先进技术研究院 多巡逻机器人的调度方法和系统
CN111047621B (zh) * 2019-11-15 2021-04-09 云从科技集团股份有限公司 一种目标对象追踪方法、系统、设备及可读介质
CN110929770A (zh) * 2019-11-15 2020-03-27 云从科技集团股份有限公司 一种基于图像处理的智能追踪方法、系统、设备及可读介质
CN111490489A (zh) * 2020-04-16 2020-08-04 北京天下宏图空间信息技术有限公司 一种用于输电线路巡检的无人机轨迹规划方法及装置
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
CN112949396B (zh) * 2021-01-29 2023-11-24 南通大学 一种景区寻找同游人员的自适应方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963399A (zh) * 2021-09-09 2022-01-21 武汉众智数字技术有限公司 基于多算法融合应用的人员轨迹检索方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王先彬 ; 严明.跨摄像头目标跟踪综述.《现代计算机(专业版)》.2017, *

Also Published As

Publication number Publication date
CN115620379A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN109947975B (zh) 图像检索装置、图像检索方法及其中使用的设定画面
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
US20090296989A1 (en) Method for Automatic Detection and Tracking of Multiple Objects
US20040017930A1 (en) System and method for detecting and tracking a plurality of faces in real time by integrating visual ques
CN110765906A (zh) 一种基于关键点的行人检测算法
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN108960047A (zh) 基于深度二次树的视频监控中人脸去重方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN112070043A (zh) 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
JP2014016968A (ja) 人物検索装置及びデータ収集装置
Wechsler et al. Automatic video-based person authentication using the RBF network
CN112989889A (zh) 一种基于姿态指导的步态识别方法
Cordea et al. Real-time 2 (1/2)-D head pose recovery for model-based video-coding
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN113869274A (zh) 基于城市管理的无人机智能跟踪监控方法及系统
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN115620379B (zh) 一种基于计算机视觉的商场寻人方法
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
US11893084B2 (en) Object detection systems and methods including an object detection model using a tailored training dataset
CN113763418B (zh) 一种基于头肩检测的多目标跟踪方法
WO2022126668A1 (zh) 一种公共场所行人识别方法及人流统计系统
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN114898287A (zh) 用于餐盘检测预警的方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant