CN113326834A - 基于视频追踪的挪车方法、系统及存储介质 - Google Patents
基于视频追踪的挪车方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113326834A CN113326834A CN202110888926.9A CN202110888926A CN113326834A CN 113326834 A CN113326834 A CN 113326834A CN 202110888926 A CN202110888926 A CN 202110888926A CN 113326834 A CN113326834 A CN 113326834A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- owner
- traffic jam
- video
- applying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/024—Guidance services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了基于视频追踪的挪车方法、系统及存储介质,通过获取施堵车主的驾车或下车视频,从所述驾车或下车视频中提取施堵车主的人体特征;基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车。相比现有技术,本技术方案无需获取施堵车主的隐私信息,即不需要车主进行车牌、身份、电话等的绑定,不需要下载App等,减轻车主的应用负担,就可以实现挪车通知服务,能有效保障施堵车主的隐私信息。
Description
技术领域
本发明涉及停车信息管理技术领域,尤其涉及基于视频追踪的挪车方法、系统及存储介质。
背景技术
随着物质生活水平不断提高,车辆数量不断提高,人们去商场购物基本都开车,这给商场的停车场造成了较大的压力,很多时候在车位已经被占满的情况下还有车辆入场,这就会产生乱停,势必给其他车主带来麻烦,因此挪车的情况经常会发生。现有关于挪车的方案大都围绕二维码扫码获得车主手机号、绑定车牌注册账号接收通知方式,这种方式需要获取车主的隐私信息,容易造成车主隐私泄露。
因此,现有的挪车方法收集用户隐私信息,容易造成车主隐私泄露的问题已成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了基于视频追踪的挪车方法、系统及存储介质,用于解决现有的挪车方法收集用户隐私信息,容易造成车主隐私泄露的技术问题。
为解决上述技术问题,本发明提出的技术方案为:
一种基于视频追踪的挪车方法,包括以下步骤:
获取施堵车主的驾车或下车视频,从驾车或下车视频中提取施堵车主的人体特征;
基于人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;
基于受堵车主的挪车请求,在施堵车主的实时位置处以文字、语音或者视频广播的形式告知施堵车主挪车。
优选的,在获取施堵车主的驾车或下车视频前,还包括识别施堵车辆的步骤,具体步骤如下:
获取车辆受堵事件发生时的历史监控图像或者历史监控视频以及未发生车辆受堵事件发生时的历史监控图像或者历史监控视频,在监控图像或监控视频上标注事件类别、施堵车辆的位置以及受堵车辆的位置,其中事件类别包括堵车事件发生和堵车事件未发生;
将标注好的监控图像或监控视频输入至构建好的机器学习模型进行训练,得到训练好的机器学习模型;
获取并将待判断的监控图像或者监控视频输入至训练好的机器学习模型中,得到待判断的监控图像或者监控视频的事件类别、施堵车辆的位置以及受堵车辆的位置。
优选的,获取施堵车主的下车视频,从下车视频中提取施堵车主的人体特征,包括以下步骤:
当待判断的监控图像或者监控视频的事件类别为堵车事件发生时,基于机器学习模型输出的施堵车辆的位置从待判断的监控图像或者监控视频中提取施堵车辆的车辆特征;
基于车辆特征追踪施堵车辆后续的监控视频,将施堵车辆后续的监控视频的视频帧输入至预先训练好的下车提取模型中,得到施堵下车过程中的下车视频以及施堵车主的人体图像在下车视频各帧上施堵车主的人体图像与施堵车门的相对位置;下车提取模型以机器学习模型为框架,以不同角度、距离、位置拍摄的不同车辆的历史下车视频为训练样本,历史下车视频的各帧上标注有驾驶员的人体图像与施堵车门的相对位置;其中,相对位置至少包括施堵车主下车开门时,人体与车门的第一相对位置、施堵车主下车关门时,人体与车门的第二相对位置以及施堵车主完成下车动作时,人体与车门的第三相对位置;
基于施堵车主的人体图像与施堵车门的相对位置,从下车视频中提取施堵车主的人体特征:当施堵车辆后续的监控视频中存在任意人A,人A在监控视频中存在第一相对位置的第一预测框组、第二相对位置的第二预测框组以及第三相对位置的第三预测框组时,且第一预测框组、第二预测框组以及第三预测框组对应的视频帧的时序满足预设的下车时序,则判断人A为施堵车主,提取人A的人体特征作为施堵车主的人体特征。
优选的,人体特征包括人脸特征、身形特征以及衣服颜色特征,基于人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置,包括以下步骤:
将人体特征分发给待监控区域的监控摄像头,各个监控摄像头提取自己监控视频中的各个行人的人体特征,并将各个行人的人体特征与施堵车主的人体特征进行比较,当存在任意行人A,该行人A的人体特征同时满足以下条件,则判断行人A即为施堵车主;
行人的人脸特征与施堵车主的人脸特征的相似度大于预设的第一阈值;
行人的身形特征与施堵车主的身形特征的相似度大于预设的第二阈值;
行人的衣服颜色特征与施堵车主的衣服颜色特征的相似度大于预设的第二阈值;
当存在多个摄像头追踪到施堵车主,选取时间最近的摄像头所追踪到的施堵车主的位置作为施堵车主的实时位置。
优选的,基于受堵车主的挪车请求,在施堵车主的实时位置处以文字、语音或者视频广播的形式告知施堵车主挪车,包括以下步骤:
获取施堵车主的实时位置和车牌号,并控制配送组件移动至施堵车主的实时位置处;
当配送组件移动至施堵车主的实时位置处时,配送组件以文字、语音或者视频广播车牌号的施堵车主挪车,并指示施堵车主将施堵车辆的车钥匙放置配送组件内;
配送组件在接收施堵车主的施堵车辆的车钥匙后,返回至施堵车主的施堵车辆处,将施堵车辆的车钥匙交付给受堵车主,以供受堵车主用施堵车辆的车钥匙将施堵车辆移开。
优选的,待监测区域的摄像头结构化部署,且待监测区域中任意两个相邻的摄像头均可相互拍摄到对方,控制配送组件移动至施堵车主的实时位置处,包括以下步骤:
以待监测区域的摄像头为路径节点,以任意两个中间无阻挡,且相邻的摄像头之间的预设路径段作为可行路径段,构建配送组件的可行配送地图;
从可行配送地图上找寻配送组件与施堵车主之间的、由可行路径段构成的最短路径;
获取最短路径上各个路径节点对应的摄像头的通信信标,并将通信信标依次发送给配送组件,控制配送组件依次扫描最短路径上各个路径节点对应的摄像头的通信信标,并以沿着最大信号量前进的方式到达施堵车主的实时位置处。
优选的,配送组件包括电控收纳箱以及人脸识别组件,指示施堵车主将施堵车辆的车钥匙放置配送组件内,包括以下步骤:
以文字、语音或者视频广播的形式指示施堵车主在配送组件的人脸识别模块进行人脸识别;
人脸识别模块的摄像头采集请求人的人脸特征,并将请求人的人脸特征与施堵车主的人脸特征进行匹配,当匹配成功确认请求人为施堵车主时,开启配送组件的收纳箱的电控门;
控制配送组件以文字、语音或者视频广播的形式指示施堵车主将施堵车辆的车钥匙放置配送组件的收纳箱内,并关闭配送组件的收纳箱的电控门。
优选的,当受堵车主发送挪车请求时,需上传人脸图像;将施堵车辆的车钥匙交付给受堵车主,包括以下步骤:
以文字、语音或者视频广播的形式指示受堵车主在配送组件的人脸识别模块进行人脸识别;
人脸识别模块的摄像头采集请求人的人脸特征,并将请求人的人脸图像与受堵车主上传的人脸图像进行匹配,当匹配成功确认请求人为受堵车主时,开启配送组件的收纳箱的电控门。
一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
一种计算机存储介质,其上存储有计算机程序,程序被处理器执行时实现上述方法中的步骤。
本发明具有以下有益效果:
1、本发明中的基于视频追踪的挪车方法、系统及存储介质,通过获取施堵车主的驾车或下车视频,从所述驾车或下车视频中提取施堵车主的人体特征;基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车。相比现有技术,本技术方案无需获取施堵车主的隐私信息,即不需要车主进行车牌、身份、电话等的绑定,不需要下载App等,减轻车主的应用负担,就可以实现挪车通知服务,能有效保障施堵车主的隐私信息,此外,本发明不需要车主在车辆上安装任何装置,不需要远程车辆控制装置,减少车主负担,降低车辆隐患。
2、在优选方案中,本技术方案通过设置配送组件,实现了施堵车主的自动配送,车主不需要回到车辆处挪车,也不需要车主停车后立即交出钥匙,能增加挪车服务的便利性,提高用户的体验感。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明中的基于视频追踪的挪车方法的流程图;
图2 是本发明优选实施例中的基于视频追踪的挪车系统的布局图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一:
如图1所示,本实施中公开了一种基于视频追踪的挪车方法,包括以下步骤:
获取施堵车主的驾车或下车视频,从所述驾车或下车视频中提取施堵车主的人体特征;
基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;
基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车。
此外,在本实施例中,还公开了一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
此外,在本实施例中,还公开了一种计算机存储介质,其上存储有计算机程序,程序被处理器执行时实现上述方法中的步骤。
本发明中的基于视频追踪的挪车方法、系统及存储介质,通过获取施堵车主的驾车或下车视频,从所述驾车或下车视频中提取施堵车主的人体特征;基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车。相比现有技术,本技术方案无需获取施堵车主的隐私信息,即不需要车主进行车牌、身份、电话等的绑定,不需要下载App等,减轻车主的应用负担,就可以实现挪车通知服务,能有效保障施堵车主的隐私信息,此外,本发明不需要车主在车辆上安装任何装置,不需要远程车辆控制装置,减少车主负担,降低车辆隐患。
实施例二:
实施例二是实施例一的优选实施例,其与实施例一的不同之处在于,以商场为待监控区域,对基于视频追踪的挪车方法、系统进行了具体介绍:
如图2所示,在本实施例中,公开了一种基于视频追踪的挪车系统,包括:
(1)结构化的视频摄像机系统,所述视频摄像机系统包括多个监控摄像头,所述多个摄像头分布在商场的各个区域;每个摄像头可以对车牌、人脸、衣服颜色、人体高度以及特定事件通过拍摄分析视频进行识别。通过部署结构化视频摄像机对产生的堵车事件予以识别确认,并对车牌进行记录,当施堵车主下车时对人脸、衣服颜色、人体高度予以记录。在商场里也会部署结构化视频摄像机,这样就可以实时掌握施堵车主所在的大概位置。除此之外,结构化视频摄像机还有通信装置,可以引导送货机器人进行轨迹。
其中,摄像头的具体部署如下:
在每个停车位前方部署2台结构化视频摄像机,这2台摄像机呈60~90度角,距地面高度为1.2~1.6米,这2台摄像机主要识别车牌、人脸、衣服颜色、人体高度以及堵车事件;
在每个商铺进门处部署1台结构化视频摄像机,距地面高度为1.2~1.6米,在每个商铺部署的摄像机主要识别人脸、衣服颜色、人体高度。
(2)配送组件,所述配送组件具体为送货机器人,所述送货机器人包括控制模块、语音模块、人脸识别模块、人机交互模块、无线通讯模块、轮式移动模块以及收纳箱,所述收纳箱为密封箱,所述收纳箱设置有电控门;所述轮式移动模块用于安装放置控制模块、语音模块、人脸识别模块、人机交互模块、无线通讯模块以及收纳箱,所述控制模块的信号端分别与所述语音模块的信号端、人脸识别模块的信号端、人机交互模块的信号端、无线通讯模块的信号端、轮式移动模块的信号端以及收端连接;
所述人机交互模块上具备键盘输入车牌号码功能;所述人机交互模块上还设置人脸识别按键,当用户按下所述人脸识别按键时,人机交互模块发出人脸识别信号给控制模块由控制模块开启人脸识别模块;所述人脸识别模块用于识别受堵车主和施堵车主,并当识别出受堵车主和施堵车主时发送识别成功信号给所述控制模块,所述控制模块用于接收所述识别成功信号,并根据所述识别成功信号打开所述电控门;所述控制模块通过无线通讯模块与结构化视频摄像机建立通信,以接收结构化视频摄像机的路线引导;所述语音模块用于广播施堵车主的车牌号以及堵车事件,并指示所述受堵车主和施堵车主;
(3)后台服务系统:所述后台服务系统分别与控制模块以及视频摄像机系统连接,用于
存储车牌、人脸、衣服颜色、人体高度以及特定事件,传递消息、发送指令、控制整个系统运行。
所述基于视频追踪的挪车系统的工作流程采用如下的基于视频追踪的挪车方法:
S1:结构化视频摄像机实时拍摄,若发现堵车事件,记录施堵车辆的车牌号码,并转入S2,否则循环执行S1;
其中,堵车事件的发现通过以下步骤实现:
获取车辆受堵事件发生时的历史监控图像或者历史监控视频以及未发生车辆受堵事件发生时的历史监控图像或者历史监控视频,在所述监控图像或监控视频上标注事件类别、施堵车辆的位置以及受堵车辆的位置,其中事件类别包括堵车事件发生和堵车事件未发生;
将标注好的监控图像或监控视频输入至构建好的机器学习模型进行训练,得到训练好的机器学习模型;其中所述机器学习模型可采用监督学习模型或半监督学习模型,在本实施例中采用深度卷积神经网络模型;
获取并将待判断的监控图像或者监控视频输入至训练好的机器学习模型中,得到待判断的监控图像或者监控视频的事件类别、施堵车辆的位置以及受堵车辆的位置。
作为上述方案的优选方案,所述堵车事件的发现也可通过以下步骤实现:
S1.1:将受堵车辆v1停入停车位;
S1.2:将施堵车辆v2堵住v1;
S1.3:请v1中的驾驶员确认v1不能开出停车位;
S1.4:将原来可以拍摄到v1车牌的、距离v1所在停车位最近的2个摄像头记录下此场景;
S1.5:重复S1.2~S1.4步骤1000次,确保每一次堵车情况的物理空间位置均不相同,形成样本数据集,在数据集中标注受堵车辆和施堵车辆;
S1.6:将此样本数据集训练结构化视频摄像机内置的以深度卷积神经网络为模型框架的事件识别训练模型,直至训练完毕。
S2:当施堵车主下车时,结构化视频摄像机拍摄施堵车主,识别施堵车主人脸、衣服颜色、人体高度,进行记录,并与S1中的车牌号码绑定;
其中,当施堵车主下车时,结构化视频摄像机拍摄施堵车主,识别施堵车主人脸、衣服颜色、人体高度,进行记录,以下步骤获取得到:
当待判断的监控图像或者监控视频的事件类别为堵车事件发生时,基于所述机器学习模型输出的施堵车辆的位置从所述待判断的监控图像或者监控视频中提取施堵车辆的车辆特征;
基于所述车辆特征追踪所述施堵车辆后续的监控视频,将所述施堵车辆后续的监控视频的视频帧输入至预先训练好的下车提取模型中,得到施堵下车过程中的下车视频以及施堵车主的人体图像在下车视频各帧上的坐标/施堵车主的人体图像与施堵车门的相对位置;所述下车提取模型以机器学习模型为框架,以不同角度、距离、位置拍摄的不同车辆的历史下车视频为训练样本,所述历史下车视频的各帧上标注有驾驶员图像的坐标/驾驶员的人体图像与车门的相对位置;
其中,相对位置至少包括施堵车主下车开门时,人体与车门的第一相对位置、施堵车主下车关门时,人体与车门的第二相对位置以及施堵车主完成下车动作时,人体与车门的第三相对位置;
基于所述施堵车主的人体图像在下车视频各帧上的坐标/施堵车主的人体图像与施堵车门的相对位置,从所述下车视频中提取所述施堵车主的人体特征。
其中,基于施堵车主的人体图像与施堵车门的相对位置,从下车视频中提取施堵车主的人体特征。具体为:当施堵车辆后续的监控视频中存在任意人A,人A在监控视频中存在第一相对位置的第一预测框组、第二相对位置的第二预测框组以及第三相对位置的第三预测框组时,且第一预测框组、第二预测框组以及第三预测框组对应的视频帧的时序满足预设的下车时序,则判断人A为施堵车主,提取人A的人体特征作为施堵车主的人体特征。
其中,作为上述方案的优选方案,从所述下车视频中提取所述施堵车主的人体特征的具体步骤如下:
考虑到识别堵车事件后,马上就要记录施堵车主的个人特征信息,因此需要对开门事件进行识别。
S2.1:将车辆停放出1000次不同的物理空间位置,包括角度、距离和位置;
S2.2:每次停车后,将车辆的全部门打开,将主驾驶的门进行标注;
S2.3:每次门打开之后,主驾驶员出舱后,将主驾驶员与车辆的相对位置进行标注;
S2.4:构建开门和主驾驶下车位置的样本数据集;
S2.5:将此样本数据集训练结构化视频摄像机内置的事件识别训练模型,直至训练完毕。
S3:受堵车主发现自己车辆被堵需要挪车时,通过后台服务系统呼叫(或到指定位置)送货机器人,在送货机器人键盘里输入施堵车辆的车牌号码;
S4:送货机器人拍摄受堵车主人脸,进行识别并记录;
S5:送货机器人向后台服务系统发出请求找寻施堵车主;
S6:后台服务系统向部署在商场的摄像头发出寻找该车牌对应的施堵车主;
其中,寻找该车牌对应的施堵车主的具体步骤如下:
以商场内的各个摄像头为路径节点,以任意两个中间无阻挡的摄像头之间的预设路径段作为可行路径段,构建所述配送组件的可行配送地图;
从所述可行配送地图上找寻所述配送组件与所述施堵车主之间的、由可行路径段构成的最短路径;
作为上述方案的优选方案,寻找该车牌对应的施堵车主的具体步骤也可如下:
S6.1:在部署商铺的结构化视频摄像机时,将在通视情况下的任意两个摄像机的距离进行记录,即若摄像机c1和c2中间无阻挡,则将c1和c2的直线距离进行记录;
S6.2:所有的可被记录的摄像机构成了一个度量网络空间M,即在M中,保存了任意两点(点即为摄像机)之间的距离(若两点之间有阻挡可视为距离无限大),将M存入后台服务系统中;
S6.3:当某个摄像机cd定位找寻到施堵车主时,后台服务系统利用Dijkstra算法(该算法是由荷兰计算机科学家Edsger Wybe Dijkstra在1956年发明的求解最短路径的算法)计算出从商场入口处摄像机ce到cd的最短路径p,即从ce沿着p中的摄像机走到cd为通视距离上的最短路径;
S6.4:后台服务系统将计算出的路径p上的所有摄像机的通信信标发送给送货机器人;
S6.5:送货机器人从入口处开始,通过信号扫描,寻找路径p中下一个摄像机cn的信标,找到之后沿着最大信号量前进,直至前进到cn处;
S6.6:循环执行S6.5,直至p中下一个摄像机为空,送货机器人到达终点。
S7:商场内摄像头不断拍摄顾客进行人脸、衣服颜色、人体高度的比对,若发现一致则转入S8,否则循环执行S7;
S8:后台服务系统确定找到施堵车主的摄像头,并计算引导送货机器人的摄像头路径列表,并将该列表发送给送货机器人;
S9:送货机器人根据路线接收沿路线的摄像头引导,寻找到发现施堵车主的摄像头,并进行语音广播,若施堵车主发现并应答,转入S10;若无人应答,转入S5;
其中,摄像头发现施堵车主包括以下步骤:
S9.1:当堵车事件发生后,停车场的结构化视频摄像机会将施堵车主的人脸F、衣服颜色C和人体高度H进行记录,并与施堵车辆的车牌VL绑定;
S9.2:当后台服务系统请求商铺摄像机寻找VL的车主时,后台服务系统查询VL对应的人脸F、衣服颜色C和人体高度H,并将人脸F、衣服颜色C和人体高度H分发给商铺的各个摄像机;
S9.3:各个摄像机开始拍摄并比较分析,若某摄像头c当前拍摄的人脸特征与F相差2%,且衣服颜色与C相差2%,且人体高度与H相差2%,则c通知后台服务系统;
S9.4:后台服务系统收到通知后,在一定时间窗口内,按照时间倒序排列,取第一个摄像机为发现施堵车主摄像机。
S10:送货机器人请求施堵车主人脸拍照,然后打开收纳箱,施堵车主将钥匙放入收纳箱;
S11:送货机器人将钥匙送至受堵车主处,要求受堵车主扫描人脸后才能打开收纳箱;
S12:受堵车主挪车后,将钥匙交于送货机器人;
S13:送货机器人执行S5~S9;
S14:送货机器人要求施堵车主扫描人脸,验证通过后,收纳箱打开,车钥匙还回施堵车主。
综上所述,本发明中的基于视频追踪的挪车方法、系统及存储介质,能实现挪车服务的全程自动化,用户不需要留电话、留二维码、注册App、安装车辆远程控制等操作,用户体验好,增强了系统的易用性。此外,还能提升了挪车的可能性,改变了原来找不到施堵车主或施堵车主不愿来挪车的局面,提高了停车场的规范性。最后,本发明用户完全不用关心自己需要承担哪些安装或注册,大大解放了用户时间,全程自动化,提升了停车场管理的智能性,增加了用户使用停车场的便利性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视频追踪的挪车方法,其特征在于,包括以下步骤:
获取施堵车主的驾车或下车视频,从所述驾车或下车视频中提取施堵车主的人体特征;
基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置;
基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车。
2.根据权利要求1所述的基于视频追踪的挪车方法,其特征在于,在获取施堵车主的驾车或下车视频前,还包括识别施堵车辆的步骤,具体步骤如下:
获取车辆受堵事件发生时的历史监控图像或者历史监控视频以及未发生车辆受堵事件发生时的历史监控图像或者历史监控视频,在所述监控图像或监控视频上标注事件类别、施堵车辆的位置以及受堵车辆的位置,其中事件类别包括堵车事件发生和堵车事件未发生;
将标注好的监控图像或监控视频输入至构建好的机器学习模型进行训练,得到训练好的机器学习模型;
获取并将待判断的监控图像或者监控视频输入至训练好的机器学习模型中,得到待判断的监控图像或者监控视频的事件类别、施堵车辆的位置以及受堵车辆的位置。
3.根据权利要求2所述的基于视频追踪的挪车方法,其特征在于,获取施堵车主的下车视频,从所述下车视频中提取施堵车主的人体特征,包括以下步骤:
当待判断的监控图像或者监控视频的事件类别为堵车事件发生时,基于所述机器学习模型输出的施堵车辆的位置从所述待判断的监控图像或者监控视频中提取施堵车辆的车辆特征;
基于所述车辆特征追踪所述施堵车辆后续的监控视频,将所述施堵车辆后续的监控视频的视频帧输入至预先训练好的下车提取模型中,得到施堵下车过程中的下车视频以及施堵车主的人体图像在下车视频各帧上施堵车主的人体图像与施堵车门的相对位置;所述下车提取模型以机器学习模型为框架,以不同角度、距离、位置拍摄的不同车辆的历史下车视频为训练样本,所述历史下车视频的各帧上标注有驾驶员的人体图像与施堵车门的相对位置;其中,所述相对位置至少包括施堵车主下车开门时,人体与车门的第一相对位置、施堵车主下车关门时,人体与车门的第二相对位置以及施堵车主完成下车动作时,人体与车门的第三相对位置;
基于所述施堵车主的人体图像与施堵车门的相对位置,从所述下车视频中提取所述施堵车主的人体特征:当所述施堵车辆后续的监控视频中存在任意人A,所述人A在监控视频中存在第一相对位置的第一预测框组、第二相对位置的第二预测框组以及第三相对位置的第三预测框组时,且第一预测框组、第二预测框组以及第三预测框组对应的视频帧的时序满足预设的下车时序,则判断所述人A为所述施堵车主,提取所述人A的人体特征作为施堵车主的人体特征。
4.根据权利要求2所述的基于视频追踪的挪车方法,其特征在于,所述人体特征包括人脸特征、身形特征以及衣服颜色特征,基于所述人体特征,调用待监控区域的各个部分的监控摄像头追踪施堵车主,并定位施堵车主的实时位置,包括以下步骤:
将所述人体特征分发给待监控区域的监控摄像头,所述各个监控摄像头提取自己监控视频中的各个行人的人体特征,并将各个行人的人体特征与施堵车主的人体特征进行比较,当存在任意行人A,该行人A的人体特征同时满足以下条件,则判断所述行人A即为施堵车主;
所述行人的人脸特征与施堵车主的人脸特征的相似度大于预设的第一阈值;
所述行人的身形特征与施堵车主的身形特征的相似度大于预设的第二阈值;
所述行人的衣服颜色特征与施堵车主的衣服颜色特征的相似度大于预设的第二阈值;
当存在多个摄像头追踪到施堵车主,选取时间最近的摄像头所追踪到的施堵车主的位置作为所述施堵车主的实时位置。
5.根据权利要求4所述的基于视频追踪的挪车方法,其特征在于,基于受堵车主的挪车请求,在所述施堵车主的实时位置处以文字、语音或者视频广播的形式告知所述施堵车主挪车,包括以下步骤:
获取施堵车主的实时位置和车牌号,并控制配送组件移动至所述施堵车主的实时位置处;
当配送组件移动至所述施堵车主的实时位置处时,所述配送组件以文字、语音或者视频广播所述车牌号的施堵车主挪车,并指示所述施堵车主将施堵车辆的车钥匙放置所述配送组件内;
配送组件在接收所述施堵车主的施堵车辆的车钥匙后,返回至所述施堵车主的施堵车辆处,将所述施堵车辆的车钥匙交付给所述受堵车主,以供受堵车主用施堵车辆的车钥匙将施堵车辆移开。
6.根据权利要求5所述的基于视频追踪的挪车方法,其特征在于,所述待监测区域的摄像头结构化部署,且待监测区域中任意两个相邻的摄像头均可相互拍摄到对方,控制配送组件移动至所述施堵车主的实时位置处,包括以下步骤:
以待监测区域的摄像头为路径节点,以任意两个中间无阻挡,且相邻的摄像头之间的预设路径段作为可行路径段,构建所述配送组件的可行配送地图;
从所述可行配送地图上找寻所述配送组件与所述施堵车主之间的、由可行路径段构成的最短路径;
获取所述最短路径上各个路径节点对应的摄像头的通信信标,并将所述通信信标依次发送给所述配送组件,控制所述配送组件依次扫描所述最短路径上各个路径节点对应的摄像头的通信信标,并以沿着最大信号量前进的方式到达所述施堵车主的实时位置处。
7.根据权利要求6所述的基于视频追踪的挪车方法,其特征在于,所述配送组件包括电控收纳箱以及人脸识别组件,指示所述施堵车主将施堵车辆的车钥匙放置所述配送组件内,包括以下步骤:
以文字、语音或者视频广播的形式指示施堵车主在所述配送组件的人脸识别模块进行人脸识别;
人脸识别模块的摄像头采集请求人的人脸特征,并将所述请求人的人脸特征与施堵车主的人脸特征进行匹配,当匹配成功确认请求人为施堵车主时,开启所述配送组件的收纳箱的电控门;
控制所述配送组件以文字、语音或者视频广播的形式指示所述施堵车主将施堵车辆的车钥匙放置所述配送组件的收纳箱内,并关闭所述配送组件的收纳箱的电控门。
8.根据权利要求7所述的基于视频追踪的挪车方法,其特征在于,当受堵车主发送挪车请求时,需上传人脸图像;将所述施堵车辆的车钥匙交付给所述受堵车主,包括以下步骤:
以文字、语音或者视频广播的形式指示受堵车主在所述配送组件的人脸识别模块进行人脸识别;
人脸识别模块的摄像头采集请求人的人脸特征,并将所述请求人的人脸图像与受堵车主上传的人脸图像进行匹配,当匹配成功确认请求人为受堵车主时,开启所述配送组件的收纳箱的电控门。
9.一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行计算机程序时实现上述权利要求1至8任一方法的步骤。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,程序被处理器执行时实现上述权利要求1至8任一项方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110888926.9A CN113326834B (zh) | 2021-08-04 | 2021-08-04 | 基于视频追踪的挪车方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110888926.9A CN113326834B (zh) | 2021-08-04 | 2021-08-04 | 基于视频追踪的挪车方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113326834A true CN113326834A (zh) | 2021-08-31 |
CN113326834B CN113326834B (zh) | 2021-10-15 |
Family
ID=77426980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110888926.9A Active CN113326834B (zh) | 2021-08-04 | 2021-08-04 | 基于视频追踪的挪车方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113326834B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001025048A1 (en) * | 1999-10-01 | 2001-04-12 | Jang Jeung Pill | Auto parking system |
CN109618295A (zh) * | 2018-12-18 | 2019-04-12 | 东软集团股份有限公司 | 挪车方法、装置、存储介质及车辆 |
CN110163146A (zh) * | 2019-05-21 | 2019-08-23 | 银河水滴科技(北京)有限公司 | 一种基于人体特征的监控方法及装置 |
CN110298278A (zh) * | 2019-06-19 | 2019-10-01 | 中国计量大学 | 一种基于人工智能的地下停车库行人车辆监测方法 |
US10759362B2 (en) * | 2018-01-05 | 2020-09-01 | Byton Limited | Harness for assisted driving |
CN112235748A (zh) * | 2020-09-24 | 2021-01-15 | 浙江吉利控股集团有限公司 | 一种挪车提醒方法、装置及计算机存储介质 |
CN112235716A (zh) * | 2020-10-15 | 2021-01-15 | 中国联合网络通信集团有限公司 | 一种挪车通知方法及装置 |
CN112365520A (zh) * | 2020-06-16 | 2021-02-12 | 公安部第三研究所 | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 |
CN112367405A (zh) * | 2020-11-18 | 2021-02-12 | 北京鼎翰科技有限公司 | 一种用于网约车的安全监测方法及系统 |
CN112447063A (zh) * | 2020-11-23 | 2021-03-05 | 苏州市鲲飞通讯建设工程有限公司 | 小区外来车辆监控管理的方法、系统、终端和存储介质 |
CN112440873A (zh) * | 2019-08-29 | 2021-03-05 | 北京新能源汽车股份有限公司 | 一种挪车提醒系统 |
CN113034949A (zh) * | 2019-12-09 | 2021-06-25 | 北京新能源汽车股份有限公司 | 一种挪车提醒的控制方法、车端控制器、用户终端及系统 |
-
2021
- 2021-08-04 CN CN202110888926.9A patent/CN113326834B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001025048A1 (en) * | 1999-10-01 | 2001-04-12 | Jang Jeung Pill | Auto parking system |
US10759362B2 (en) * | 2018-01-05 | 2020-09-01 | Byton Limited | Harness for assisted driving |
CN109618295A (zh) * | 2018-12-18 | 2019-04-12 | 东软集团股份有限公司 | 挪车方法、装置、存储介质及车辆 |
CN110163146A (zh) * | 2019-05-21 | 2019-08-23 | 银河水滴科技(北京)有限公司 | 一种基于人体特征的监控方法及装置 |
CN110298278A (zh) * | 2019-06-19 | 2019-10-01 | 中国计量大学 | 一种基于人工智能的地下停车库行人车辆监测方法 |
CN112440873A (zh) * | 2019-08-29 | 2021-03-05 | 北京新能源汽车股份有限公司 | 一种挪车提醒系统 |
CN113034949A (zh) * | 2019-12-09 | 2021-06-25 | 北京新能源汽车股份有限公司 | 一种挪车提醒的控制方法、车端控制器、用户终端及系统 |
CN112365520A (zh) * | 2020-06-16 | 2021-02-12 | 公安部第三研究所 | 一种基于视频大数据资源效能测评的行人目标实时追踪系统及方法 |
CN112235748A (zh) * | 2020-09-24 | 2021-01-15 | 浙江吉利控股集团有限公司 | 一种挪车提醒方法、装置及计算机存储介质 |
CN112235716A (zh) * | 2020-10-15 | 2021-01-15 | 中国联合网络通信集团有限公司 | 一种挪车通知方法及装置 |
CN112367405A (zh) * | 2020-11-18 | 2021-02-12 | 北京鼎翰科技有限公司 | 一种用于网约车的安全监测方法及系统 |
CN112447063A (zh) * | 2020-11-23 | 2021-03-05 | 苏州市鲲飞通讯建设工程有限公司 | 小区外来车辆监控管理的方法、系统、终端和存储介质 |
Non-Patent Citations (2)
Title |
---|
JUSTIN P. WEBB: "Car-ving Out Notions of Privacy: The Impact of GPS Tracking and Why Maynard is a Move in the Right Direction", 《MARQUETTE LAW REVIEW》 * |
王昕葳: "公安警务微信公众平台管理系统的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士)(信息科技辑)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113326834B (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109743673B (zh) | 基于高精度室内定位技术的停车场交通事故溯源系统和方法 | |
US20180218582A1 (en) | Monitoring an Area using Multiple Networked Video Cameras | |
CN109671189B (zh) | 一种基于人脸和车辆关联特征的智能出入口系统 | |
CN110175687A (zh) | 物流园区车辆智能调度方法和装置 | |
CN105825350A (zh) | 基于视频分析智慧旅游预警决策系统及其使用方法 | |
CN111311952A (zh) | 车辆停车的控制方法、装置、计算机设备和存储介质 | |
CN106846876A (zh) | 一种基于视频识别及二维码的寻车方法、系统及装置 | |
CN112002131A (zh) | 路内停车行为检测方法及装置 | |
CN112419774A (zh) | 便于急救车通行的道路监控方法、系统及存储介质 | |
CN113053008A (zh) | 一种小区车辆出入管理方法、系统、以及存储介质 | |
CN112466154A (zh) | 基于重识别技术的车辆停车方法、监控装置及可读存储介质 | |
US7693514B2 (en) | Information gathering robot | |
CN111223303A (zh) | 充电桩车位管理方法、装置及系统 | |
CN113326834B (zh) | 基于视频追踪的挪车方法、系统及存储介质 | |
KR102309106B1 (ko) | 상황 연계형 영상분석장치 | |
CN113421366A (zh) | 一种道闸控制方法和系统 | |
CN112489444B (zh) | 车辆通道的管理方法 | |
CN111260953A (zh) | 路内停车管理方法、装置及系统 | |
CN115797842A (zh) | 车辆占道经营检测方法、装置、电子设备及存储介质 | |
CN111663488B (zh) | 除雪装置的运用系统以及除雪装置的运用方法 | |
CN212873739U (zh) | 车辆开关门动作检测系统 | |
CN113763704A (zh) | 车辆控制方法、装置、计算机可读存储介质及处理器 | |
KR101557156B1 (ko) | 알에프아이디 시스템을 이용한 게이트 관리 방법 | |
KR20220159841A (ko) | 건설 현장에서 등록/미등록 차량 출입관리와 탑승자 자동 인지 출입관리를 위한 스마트 현장관리 방법 및 시스템 | |
Alhelali et al. | Vision-Based Smart Parking Detection System Using Object Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |