CN111950368B - 货运车辆监控方法、装置、电子设备和介质 - Google Patents
货运车辆监控方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN111950368B CN111950368B CN202010655714.1A CN202010655714A CN111950368B CN 111950368 B CN111950368 B CN 111950368B CN 202010655714 A CN202010655714 A CN 202010655714A CN 111950368 B CN111950368 B CN 111950368B
- Authority
- CN
- China
- Prior art keywords
- truck
- video frame
- video data
- license plate
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012806 monitoring device Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000013145 classification model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种货运车辆监控方法、装置、电子设备和介质。本申请中货运车辆监控方法包括:获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据;判断所述第一视频数据的视频帧中是否包含货车;若所述第一视频数据的视频帧包含货车,确定所述货车的位置信息,提取所述视频帧中的货车区域图像;识别所述货车区域图像,确定所述货车区域图像中货车的篷布遮盖类型;提取所述第二视频数据中的车牌信息;将所述货车的状态信息和所述车牌信息上传云端,所述货车的状态信息包括所述视频帧和所述货车的篷布遮盖类型,可以及时全面地监控货车状态,维护货运环境,降低管理成本。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种货运车辆监控方法、装置、电子设备和介质。
背景技术
大型货运车辆、运煤车、渣土车等均是城市建设中不可或缺的一部分,但其在运输过程中带来的道路安全和城市环保问题也一直是监管工作的顽疾。如大量渣土车运输中不盖篷布,抛洒滴漏,对空气环境造成不良影响,更给人民群众的生命和财产安全带来了极大隐患;而部分司机为了逃避责任,存在故意遮挡车、污损车牌等交通违法行为。
为有效解决交通运输中货车造成的道路环境和交通环境污染问题,需要经常展开严管专项工作,但是货车体积大,车顶监控有难度、人工核查费时费力、危险因素较大。
发明内容
本申请提供了一种货运车辆监控方法、装置、电子设备和介质。
第一方面,提供了一种货运车辆监控方法,包括:
获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据;
判断所述第一视频数据的视频帧中是否包含货车;
若所述第一视频数据的视频帧包含货车,确定所述货车的位置信息,提取所述视频帧中的货车区域图像;
识别所述货车区域图像,确定所述货车区域图像中货车的篷布遮盖类型;
提取所述第二视频数据中的车牌信息;
将所述货车的状态信息和所述车牌信息上传云端,所述货车的状态信息包括所述视频帧和所述货车的篷布遮盖类型。
在一种可选的实施方式中,所述方法还包括:
若所述货车的篷布遮盖类型属于预设类型集合,跟踪获取所述第一摄像设备采集的所述货车的视频数据,所述预设类型集合包括遮盖类型和无遮盖类型;
若所述第一摄像设备采集的所述货车的视频数据连续N帧中,所述货车的位置信息无更新,将获取的所述货车的视频数据中图像质量高的帧迭代质量低的帧,获得更新视频帧,所述N为正整数;
所述货车的状态信息包括所述更新视频帧和所述货车的篷布遮盖类型。
在一种可选的实施方式中,所述确定所述货车的位置信息,包括:
将所述视频帧压缩为第一尺寸后输入检测模型,获得视频帧中的车辆坐标信息;
所述提取所述视频帧中的货车区域图像,包括:
根据所述车辆坐标信息从所述视频帧中提取所述货车区域图像。
在一种可选的实施方式中,所述判断所述第一视频数据的视频帧中是否包含货车,包括:
比对所述视频帧和与所述视频帧相邻的前一帧,获得相邻两帧的相似度,所述视频帧相邻的前一帧已确定不包含货车;
若所述相邻两帧的相似度高于相似度阈值,确定所述视频帧中不包含货车。
第二方面,提供了另一种货运车辆监控方法,包括:
接收货车的状态信息和货车的车牌信息,所述货车的状态信息携带第一摄像设备提供的通道数,所述货车的车牌信息携带第二摄像设备提供的通道数,所述货车的状态信息包括货车的篷布遮盖类型;
根据所述第一摄像设备提供的通道数和所述第二摄像设备提供的通道数,将所述货车的状态信息和所述货车的车牌信息关联;
判断所述货车的车牌信息是否与上一个获得的车牌信息相同;
若不相同,存储所述货车的状态信息。
在一种可选的实施方式中,所述方法还包括:
将所述货车的状态信息推送到显示设备输出。
第三方面,提供了一种货运车辆监控装置,包括:
获取模块,用于获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据;
检测模块,用于判断所述第一视频数据的视频帧中是否包含货车;
所述检测模块还用于,若所述第一视频数据的视频帧包含货车,确定所述货车的位置信息,提取所述视频帧中的货车区域图像;
分类模块,用于识别所述货车区域图像,确定所述货车区域图像中货车的篷布遮盖类型;
所述检测模块还用于,提取所述第二视频数据中的车牌信息;
传输模块,用于将所述货车的状态信息和所述车牌信息上传云端,所述货车的状态信息包括所述视频帧和所述货车的篷布遮盖类型。
第四方面,提供了一种服务器,包括:
接收模块,用于接收货车的状态信息和货车的车牌信息,所述货车的状态信息携带第一摄像设备提供的通道数,所述货车的车牌信息携带第二摄像设备提供的通道数,所述货车的状态信息包括货车的篷布遮盖类型;
关联模块,根据所述第一摄像设备提供的通道数和所述第二摄像设备提供的通道数,将所述货车的状态信息和所述货车的车牌信息关联;
判断模块,用于判断所述货车的车牌信息是否与上一个获得的车牌信息相同;
存储模块,用于若所述货车的车牌信息与上一个获得的车牌信息不相同,存储所述货车的状态信息。
第五方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一或第二方面及其任一种可能的实现方式的步骤。
第六方面,提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如上述第一或第二方面及其任一种可能的实现方式的步骤。
本申请通过获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据,判断上述第一视频数据的视频帧中是否包含货车,若上述第一视频数据的视频帧包含货车,确定上述货车的位置信息,提取上述视频帧中的货车区域图像,识别上述货车区域图像,确定上述货车区域图像中货车的篷布遮盖类型,提取上述第二视频数据中的车牌信息,将上述货车的状态信息和上述车牌信息上传云端,上述货车的状态信息包括上述视频帧和上述货车的篷布遮盖类型,可以及时全面地监控货车状态,维护货运环境,降低管理成本。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种货运车辆监控方法的流程示意图;
图2为本申请实施例提供的另一种货运车辆监控方法的流程示意图;
图3为本申请实施例提供的一种货运车辆监控终端流程图;
图4为本申请实施例提供的一种货运车辆监控云服务器流程图;
图5为本申请实施例提供的一种货运车辆监控装置的结构示意图;
图6为本申请实施例提供的一种服务器的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种货运车辆监控方法的流程示意图。该方法可包括:
101、获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据。
本申请实施例的执行主体可以为一种货运车辆监控装置,可以为电子设备,具体实现中,上述电子设备可以为一种终端或称为终端设备,包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机,还应当理解的是,在某些实施例中,膝上型计算机或平板计算机之类的其它便携式设备。在一种可选的实施方式中,本申请实施例中的货运车辆监控方法可以通过摄像设备采集视频数据,包括图像数据,进行监控分析。
其中,上述第一摄像设备和第二摄像设备可以根据需要、结合环境部署在指定的位置,上述第一摄像设备可以为车顶摄像头,主要用于采集货车的车顶区域图像,而上述第二摄像设备可以为车牌摄像头,主要用于采集货车的车牌图像,从而可以拍摄到货车的车顶和货车的车牌,并可以把两台摄像头进行关联绑定。
货运车辆监控装置可以收集上述摄像设备采集的数据进行处理。
102、判断上述第一视频数据的视频帧中是否包含货车。
本申请实施例中提到的视频数据可以理解为包括多个视频帧,即也可以是采集到的图像。由于上述摄像设备可以是周期性地连续采集数据,对于货车监控,可以忽略采集图像中无货车的情况,因此可以先对采集到的视频数据进行货车检测,包含货车的情况下可以执行步骤103,否则可以不执行后续处理。
在一种实施方式中,上述步骤102可包括:
比对上述视频帧和与上述视频帧相邻的前一帧,获得相邻两帧的相似度,上述视频帧相邻的前一帧已确定不包含货车;
若上述相邻两帧的相似度高于相似度阈值,确定上述视频帧中不包含货车。
具体的,可以预先设置上述相似度阈值。在获得采集的视频数据之后,可以进行移动侦测处理,以相邻两帧图片做对比,根据两帧图像的相似度判断每个位置是否一致,若上述相邻两帧的相似度高于相似度阈值即一致,则判定为没有货车;若上述相邻两帧的相似度不高于相似度阈值即不一致则判定为有货车,开始进行后面的检测。
103、若上述第一视频数据的视频帧包含货车,确定上述货车的位置信息,提取上述视频帧中的货车区域图像。
具体的,可以采用预先建立的检测模型对第一摄像设备(车顶摄像头)拍摄的视频帧进行检测,确定货车在图像中的位置,以进行货车提取,获得上述货车区域图像。
可选的,上述检测模型可以为RESNET34-0.5-YOLOV3检测模型。
在一种可选的实施方式中,上述确定上述货车的位置信息,包括:
将上述视频帧压缩为第一尺寸后输入检测模型,获得视频帧中的车辆坐标信息;
上述提取上述视频帧中的货车区域图像,包括:
根据上述车辆坐标信息从上述视频帧中提取上述货车区域图像。
上述第一尺寸可以根据需要预先设置,以适应检测模型的图像处理。比如可以先把视频帧压缩为416x416的大小传给检测模型,通过检测模型获得该视频帧中货车的车辆坐标信息。根据上述车辆坐标信息,则可以准确地将图像中的货车扣取下来,即提取到上述货车区域图像,不关注视频帧中的其他区域特征。
104、识别上述货车区域图像,确定上述货车区域图像中货车的篷布遮盖类型。
具体的,可以通过预先建立的分类模型对检测结果分类,确定货车的篷布遮盖类型。比如货车顶部是遮盖、无遮盖或者其他情况。
在一种可选的实施方式中,该方法还包括:
若上述货车的篷布遮盖类型属于预设类型集合,跟踪获取上述第一摄像设备采集的上述货车的视频数据;
若上述第一摄像设备采集的上述货车的视频数据连续N帧中,上述货车的位置信息无更新,将获取的上述货车的视频数据中图像质量高的帧迭代质量低的帧,获得更新视频帧;
上述货车的状态信息包括上述更新视频帧和上述货车的篷布遮盖类型。
其中,上述预设类型集合包括遮盖类型和无遮盖类型。可选的,上述其他情况可以是不存在“遮盖”概念的情况,即该货车非敞篷类型或者说需要遮盖的车辆类型,比如封闭式的货车,车顶为封闭的,可以不做关注,此处不做限制。
本申请实施例中可以对检测到的货车进行跟踪处理,分配跟踪ID。可选的,本申请实施例中可以先通过RESNET18-0.25模型,把扣取下来的图片以预设大小(如64x64)传输给上述分类模型进行识别,判断输出的类是不是其它类,若是其它类则不进行跟踪,可以重新读取视频帧,即通过前述方法继续处理下一视频帧。否则,上述货车的篷布遮盖类型属于上述预设类型集合的情况下,可以对货车进行跟踪。具体的操作包括将质量高的采集图像迭代质量低的采集图像,如果连续N帧跟踪ID没有新的坐标更新,可以启动离开后出图逻辑,即在一定的时间内未检测到货车状态变化,可以不再继续监控和处理,可以执行步骤105或步骤106。上述N可以为正整数,比如40,可以根据需要进行设置,本申请实施例对此不做限制。
105、提取上述第二视频数据中的车牌信息。
具体的,可以对上述第二视频数据中的视频帧进行车牌检测,在检测到包含车牌的情况下可以提取车牌区域,对车牌区域进行识别,确定其中的字符,以获得货车的车牌信息,对于由于拍摄原因无法清晰检测或者识别到的视频帧,可以上报检测失败信息,并获取下一视频帧进行识别。
本申请实施例中的步骤105和步骤103可以不分先后顺序执行,即可以同时进行对货车车顶情况的分析处理和车牌识别的处理,对此不做限制。
106、将上述货车的状态信息和上述车牌信息上传云端,上述货车的状态信息包括上述视频帧和上述货车的篷布遮盖类型。
具体的,可以把车牌抓拍机检测到的结果和货车抓拍机给的结果上传到云端上。在获得上述货车的状态信息和车牌信息之后,可以根据预先配置的服务器地址进行上传,及时保存数据,不占用太多终端侧内存。
本申请实施例中涉及到的云计算服务器(又称云服务器或云主机),是云计算服务体系中的一项主机产品,该产品有效的解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
本申请实施例中提供了一种货运车辆智慧监控系统,在前端部署内嵌篷布遮盖识别算法、车牌识别算法的AI摄像设备,对运输车辆的篷布遮盖实时检测、识别预警,并对车牌实时抓拍。将采集的车牌图片、车顶图片上传服务器,可以在服务器端进行数据的匹配、存储、分析,为管理部门提供不合格车辆实时记录、频次、数据走势等数据报表,此处对应用场景不做限制。
本申请实施例获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据,判断上述第一视频数据的视频帧中是否包含货车,若上述第一视频数据的视频帧包含货车,确定上述货车的位置信息,提取上述视频帧中的货车区域图像,识别上述货车区域图像,确定上述货车区域图像中货车的篷布遮盖类型;提取上述第二视频数据中的车牌信息,将上述货车的状态信息和上述车牌信息上传云端,上述货车的状态信息包括上述视频帧和上述货车的篷布遮盖类型,可以及时全面地监控货车状态,维护货运环境,不需要大量人力去现场检查,降低管理成本,也减少了安全隐患,同时对于部分司机为了逃避责任故意遮挡车、污损车牌等行为也可以通过车牌检测快速发现,实现了更加全面地货车监管系统。
请参阅图2,图2是本申请实施例提供的另一种货运车辆监控方法的流程示意图。如图2所示,该方法适用于服务器,可以在图1所示实施例的方法之后执行。可具体包括:
201、接收货车的状态信息和货车的车牌信息,上述货车的状态信息携带第一摄像设备提供的通道数,上述货车的车牌信息携带第二摄像设备提供的通道数,上述货车的状态信息包括货车的篷布遮盖类型。
本申请实施例的执行主体可以为一种货运车辆监控装置,可以为电子设备,具体实现中,上述电子设备为一种服务器,包括云服务器,可以接收各终端设备上传的数据进行存储和处理。
具体的,云服务器可以接收终端设备上传的货车的状态信息和货车的车牌信息存储,其中货车的状态信息(包括货车的篷布遮盖类型)和货车的车牌信息的获得可以参考图1所示实施例中的具体描述,此处不再赘述。
其中,由于第一摄像设备和第二摄像设备进行了关联,因此其采集的数据可以由摄像设备的通道数体现关联信息。由第一摄像设备采集的第一视频数据和由第二摄像设备采集的第二视频数据,具有对应关系,可以理解为货车(车顶)和车牌的对应关系。
通道指摄像机在监控矩阵或硬盘录像机设备上的视频输入的物理位置。如:普通硬盘录像机支持16路视频信号,这样在硬盘录像机背部有16个视频输入接口,通道几就指的是这些视频接口的物理位置,一般从左往右排序。
监控矩阵主机具有完备的矩阵切换能力,可以在任意监视器上显示任意摄象机的图象和监听与之对应的声音,而且这种控制可以通过手动操作和自动切换方式来实现,用户可使用一个功能完备、按人机工程学原理设计的键盘对系统进行操作和编程。
202、根据上述第一摄像设备提供的通道数和上述第二摄像设备提供的通道数,将上述货车的状态信息和上述货车的车牌信息关联。
具体的,云服务器可以根据预先设置的通道数(通道号)的对应关系把车牌抓拍机的数据跟车顶抓拍机的数据关联起来,主要是针对相同时间点附近的监控数据关联,目的使每一个监测到的车顶数据能够确定对应的车牌,即确定货车身份标识,保证数据清晰可查。
203、判断上述货车的车牌信息是否与上一个获得的车牌信息相同。
具体的,云服务器可以先判断车牌抓拍机上传的车牌信息跟上一个的车牌信息是否一致,一致的话,则认为是同一辆车,可以不保存车顶的数据,实现过滤删除,减少内存浪费;不一致的话,则可以确定是新的车辆,可以保存车顶的数据,即执行步骤204。
204、若不相同,存储上述货车的状态信息。
在一种实施方式中,在上述包装204之后,该方法还包括:
将上述货车的状态信息推送到显示设备输出。
具体的,云服务器可以与预设的显示设备通信,可以把数据通过websocket推送到大屏页面。
本申请实施例中提到的WebSocket是一种在单个TCP连接上进行全双工通信的协议。WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。
在云服务器端,工作人员可以对数据库进行操作,配置展示规则等,从而根据设置对数据进行整合处理,显示设备作为服务器的客户端,可以在屏幕上显示今日实时统计、车顶检测不合格情况、今日分时统计、实时抓拍等信息。
为了更清楚地展示本申请实施例中的货运车辆监控方法,可以参见图3所示的一种货运车辆监控终端流程图。图3中所示的终端流程步骤为一种举例,实际可以有其它的实施方式。其中,车顶摄像头即为前述第一摄像设备,可以设置在特定区域,监控环境中货车的车顶区域;车牌抓拍机即为前述第二摄像设备,可以设置在另一特定区域,监控环境中货车的车牌区域,并把两台摄像设备进行关联绑定。
如图3所示,在获取车顶摄像头视频流的情况下,周期性地更新处理视频帧;
移动侦测:对于当前处理帧,可以相邻两帧图片做判断,对比每个位置是否一致,一致则判定为没有货车(无物体移动),不一致则判定为有货车(有物体移动),开始进行后面的检测;
货车检测:对车顶摄像头拍摄的视频帧进行检测,得到图片的车辆坐标信息;
篷布遮盖识别:根据坐标信息把图像中的货车区域扣取下来,输入分类模型对检测结果分类,具体可分为遮盖、无遮盖、其它类型,在分类模型的处理中,可以获得分别属于三个类的预测值,输出预测值最大的一个类;
跟踪:判断输出的类是不是其它类,若是其它类则不进行跟踪,重新读取视频帧;否则,可对货车进行跟踪,其中使用质量高的图像迭代质量低的图像,如果连续40帧跟踪ID没有新的坐标更新,启动离开后出图逻辑。
出图:把车牌抓拍机检测到的结果和货车抓拍机给的结果上传到云端上。
进一步的,可以参见图4所示的一种货运车辆监控云服务器流程图。如图4所示展示了在如图3所示的终端侧处理流程之后,数据上传到服务器的处理流程,具体包括:
上传的数据关联:云端得到车牌抓拍机上传的数据和通道数,以及车顶抓拍机上传的数据和通道数。可以根据通道数把车牌抓拍机的数据跟车顶抓拍机的数据关联起来;
判断车牌:判断车牌抓拍机上传的车牌信息跟上一个的车牌信息是否一致,一致的话,则认为是同一辆车,不保存车顶的数据,进行过滤删除。不一致的话,则认为是新的车辆,保存车顶的数据。
大屏显示:把数据通过websocket推送到大屏页面。对数据库进行操作可以在屏幕上显示今日实时统计,车顶检测不合格,今日分时统计,实时抓拍等信息。
以上实施例还可以结合图1和图2所示实施例中的具体描述,此处不再赘述。
本申请实施例中图1所示实施例中的终端设备和图2所示实施例中的云服务器(或图3和图4所示实施例中的装置),结合摄像头监控设备,可构成货运车辆智慧监管平台,采用AI智能化识别技术、物联网信息化手段管理,对运输车辆的篷布遮盖实时检测,并对车牌实时抓拍,实现及时预警提醒,在源头上遏制违法行为,并大幅度降低管理成本,系统可对接路政管理部门,将原来的分散的管理,放到一个统一管理平台来解决。相对于人工的时段管理、人力因素干扰等问题,该系统可实现全天候24小时在线管理,实时数据记录和输出。
基于上述货运车辆监控方法实施例的描述,本申请实施例还公开了一种货运车辆监控装置。请参见图5,货运车辆监控装置500包括:
获取模块510,用于获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据;
检测模块520,用于判断上述第一视频数据的视频帧中是否包含货车;
上述检测模块520还用于,若上述第一视频数据的视频帧包含货车,确定上述货车的位置信息,提取上述视频帧中的货车区域图像;
分类模块530,用于识别上述货车区域图像,确定上述货车区域图像中货车的篷布遮盖类型;
上述检测模块520还用于,提取上述第二视频数据中的车牌信息;
传输模块540,用于将上述货车的状态信息和上述车牌信息上传云端,上述货车的状态信息包括上述视频帧和上述货车的篷布遮盖类型。
可选的,上述获取模块510还用于:
若上述货车的篷布遮盖类型属于预设类型集合,跟踪获取上述第一摄像设备采集的上述货车的视频数据,上述预设类型集合包括遮盖类型和无遮盖类型;
上述检测模块520还用于,若上述第一摄像设备采集的上述货车的视频数据连续N帧中,上述货车的位置信息无更新,将获取的上述货车的视频数据中图像质量高的帧迭代质量低的帧,获得更新视频帧,上述N为正整数;
上述货车的状态信息包括上述更新视频帧和上述货车的篷布遮盖类型。
可选的,上述检测模块520具体用于:
将上述视频帧压缩为第一尺寸后输入检测模型,获得视频帧中的车辆坐标信息;
根据上述车辆坐标信息从上述视频帧中提取上述货车区域图像。
可选的,上述检测模块520具体用于:
比对上述视频帧和与上述视频帧相邻的前一帧,获得相邻两帧的相似度,上述视频帧相邻的前一帧已确定不包含货车;
若上述相邻两帧的相似度高于相似度阈值,确定上述视频帧中不包含货车。
根据本申请的一个实施例,图1所示的方法所涉及的各个步骤均可以是由图5所示的货运车辆监控装置500中的各个模块执行的,此处不再赘述。
本申请实施例中的货运车辆监控装置500,可以获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据,判断上述第一视频数据的视频帧中是否包含货车,若上述第一视频数据的视频帧包含货车,确定上述货车的位置信息,提取上述视频帧中的货车区域图像,识别上述货车区域图像,确定上述货车区域图像中货车的篷布遮盖类型;提取上述第二视频数据中的车牌信息,将上述货车的状态信息和上述车牌信息上传云端,上述货车的状态信息包括上述视频帧和上述货车的篷布遮盖类型,可以及时全面地监控货车状态,维护货运环境,不需要大量人力去现场检查,降低管理成本,也减少了安全隐患,同时对于部分司机为了逃避责任故意遮挡车、污损车牌等行为也可以通过车牌检测快速发现,实现了更加全面地货车监管系统。
基于上述货运车辆监控方法实施例的描述,本申请实施例还公开了一种服务器。请参见图6,服务器600包括:
接收模块610,用于接收货车的状态信息和货车的车牌信息,上述货车的状态信息携带第一摄像设备提供的通道数,上述货车的车牌信息携带第二摄像设备提供的通道数,上述货车的状态信息包括货车的篷布遮盖类型;
关联模块620,根据上述第一摄像设备提供的通道数和上述第二摄像设备提供的通道数,将上述货车的状态信息和上述货车的车牌信息关联;
判断模块630,用于判断上述货车的车牌信息是否与上一个获得的车牌信息相同;
存储模块640,用于若上述货车的车牌信息与上一个获得的车牌信息不相同,存储上述货车的状态信息。
可选的,上述服务器600还包括输出模块650,用于将上述货车的状态信息推送到显示设备输出。
根据本申请的一个实施例,图2所示的方法所涉及的各个步骤均可以是由图6所示的服务器600中的各个模块执行的,此处不再赘述。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供一种电子设备。请参见图7,该电子设备700至少包括处理器701、输入设备702、输出设备703以及计算机存储介质704。其中,终端内的处理器701、输入设备702、输出设备703以及计算机存储介质704可通过总线或其他方式连接。
计算机存储介质704可以存储在终端的存储器中,上述计算机存储介质704用于存储计算机程序,上述计算机程序包括程序指令,上述处理器701用于执行上述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能;在一个实施例中,本申请实施例上述的处理器701可以用于进行一系列的处理,包括如图1或图2所示实施例中方法等等。
本申请实施例还提供了一种计算机存储介质(Memory),上述计算机存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器701加载并执行计算机存储介质中存放的一条或多条指令,以实现上述实施例中的相应步骤;具体实现中,计算机存储介质中的一条或多条指令可以由处理器701加载并执行图1或图2中方法的任意步骤,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存储存储器,或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
Claims (6)
1.一种货运车辆监控方法,其特征在于,包括:
获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据,所述第一摄像设备为车顶摄像头,用于采集货车的车顶区域图像,所述第二视频数据为车牌摄像头,用于采集货车的车牌图像;
判断所述第一视频数据的视频帧中是否包含货车;
若所述第一视频数据的视频帧包含货车,确定所述货车的位置信息,提取所述视频帧中的货车区域图像;
识别所述货车区域图像,确定所述货车区域图像中货车的篷布遮盖类型;
提取所述第二视频数据中的车牌信息;
将所述货车的状态信息和所述车牌信息上传云端,所述货车的状态信息包括所述视频帧和所述货车的篷布遮盖类型;
若所述货车的篷布遮盖类型属于预设类型集合,跟踪获取所述第一摄像设备采集的所述货车的视频数据,所述预设类型集合包括遮盖类型和无遮盖类型;
若所述第一摄像设备采集的所述货车的视频数据连续N帧中,所述货车的位置信息无更新,将获取的所述货车的视频数据中图像质量高的帧迭代质量低的帧,获得更新视频帧,所述N为正整数;
所述货车的状态信息包括所述更新视频帧和所述货车的篷布遮盖类型。
2.根据权利要求1所述的货运车辆监控方法,其特征在于,所述确定所述货车的位置信息,包括:
将所述视频帧压缩为第一尺寸后输入检测模型,获得视频帧中的车辆坐标信息;
所述提取所述视频帧中的货车区域图像,包括:
根据所述车辆坐标信息从所述视频帧中提取所述货车区域图像。
3.根据权利要求1或2所述的货运车辆监控方法,其特征在于,所述判断所述第一视频数据的视频帧中是否包含货车,包括:
比对所述视频帧和与所述视频帧相邻的前一帧,获得相邻两帧的相似度,所述视频帧相邻的前一帧已确定不包含货车;
若所述相邻两帧的相似度高于相似度阈值,确定所述视频帧中不包含货车。
4.一种货运车辆监控装置,其特征在于,包括:
获取模块,用于获取第一摄像设备采集的第一视频数据和第二摄像设备采集的第二视频数据;所述第一摄像设备为车顶摄像头,用于采集货车的车顶区域图像,所述第二视频数据为车牌摄像头,用于采集货车的车牌图像;
检测模块,用于判断所述第一视频数据的视频帧中是否包含货车;
所述检测模块还用于,若所述第一视频数据的视频帧包含货车,确定所述货车的位置信息,提取所述视频帧中的货车区域图像;
分类模块,用于识别所述货车区域图像,确定所述货车区域图像中货车的篷布遮盖类型;
所述检测模块还用于,提取所述第二视频数据中的车牌信息;
传输模块,用于将所述货车的状态信息和所述车牌信息上传云端,所述货车的状态信息包括所述视频帧和所述货车的篷布遮盖类型;
所述检测模块还用于,若所述货车的篷布遮盖类型属于预设类型集合,跟踪获取所述第一摄像设备采集的所述货车的视频数据,所述预设类型集合包括遮盖类型和无遮盖类型;
所述检测模块还用于,若所述第一摄像设备采集的所述货车的视频数据连续N帧中,所述货车的位置信息无更新,将获取的所述货车的视频数据中图像质量高的帧迭代质量低的帧,获得更新视频帧,所述N为正整数;
所述货车的状态信息包括所述更新视频帧和所述货车的篷布遮盖类型。
5.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至3中任一项所述的货运车辆监控方法的步骤。
6.一种计算机可读存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至3中任一项所述的货运车辆监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010655714.1A CN111950368B (zh) | 2020-07-09 | 2020-07-09 | 货运车辆监控方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010655714.1A CN111950368B (zh) | 2020-07-09 | 2020-07-09 | 货运车辆监控方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111950368A CN111950368A (zh) | 2020-11-17 |
CN111950368B true CN111950368B (zh) | 2024-05-28 |
Family
ID=73340102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010655714.1A Active CN111950368B (zh) | 2020-07-09 | 2020-07-09 | 货运车辆监控方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111950368B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112287882A (zh) * | 2020-11-18 | 2021-01-29 | 成都佳华物链云科技有限公司 | 渣土车属性识别方法、装置、电子设备及存储介质 |
CN113077627B (zh) * | 2021-03-30 | 2022-08-05 | 杭州海康威视系统技术有限公司 | 检测车辆的超限源头的方法、装置及计算机存储介质 |
CN114613151B (zh) * | 2022-05-10 | 2022-09-23 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种货车od确定方法、系统、设备及存储介质 |
CN115604425B (zh) * | 2022-09-09 | 2023-06-09 | 中国铁塔股份有限公司浙江省分公司 | 应用于耕地智保场景的铁塔视联系统 |
CN115861904A (zh) * | 2023-02-23 | 2023-03-28 | 青岛创新奇智科技集团股份有限公司 | 一种渣土车冒顶检测模型的生成方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103654A (zh) * | 2017-05-02 | 2017-08-29 | 郑州华瑞伟业电子科技有限公司 | 一种货检安全检测监控和管理系统和方法 |
CN108133599A (zh) * | 2017-12-21 | 2018-06-08 | 山东亿海兰特通信科技有限公司 | 一种渣土车视频识别方法及系统 |
CN108229475A (zh) * | 2018-01-03 | 2018-06-29 | 深圳中兴网信科技有限公司 | 车辆跟踪方法、系统、计算机设备及可读存储介质 |
CN109000728A (zh) * | 2018-07-31 | 2018-12-14 | 广州科易光电技术有限公司 | 车载接触网运行状态检测装置 |
CN109165634A (zh) * | 2018-09-21 | 2019-01-08 | 深圳市九洲电器有限公司 | 一种智能识别方法、装置及系统 |
CN109840474A (zh) * | 2018-12-28 | 2019-06-04 | 广州粤建三和软件股份有限公司 | 一种车辆出入规范识别方法、系统及存储介质 |
CN110021172A (zh) * | 2019-05-06 | 2019-07-16 | 北京英泰智科技股份有限公司 | 一种车辆全要素特征采集方法和系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9288446B2 (en) * | 2012-09-10 | 2016-03-15 | Nissan North America, Inc. | Vehicle video system |
EP3559699A4 (en) * | 2016-12-23 | 2020-05-27 | Volvo Truck Corporation | COLLISION PROTECTION SYSTEM FOR A TILTABLE TRUCK CABIN AND RELATED DEVICES, COMPONENTS AND METHODS |
-
2020
- 2020-07-09 CN CN202010655714.1A patent/CN111950368B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107103654A (zh) * | 2017-05-02 | 2017-08-29 | 郑州华瑞伟业电子科技有限公司 | 一种货检安全检测监控和管理系统和方法 |
CN108133599A (zh) * | 2017-12-21 | 2018-06-08 | 山东亿海兰特通信科技有限公司 | 一种渣土车视频识别方法及系统 |
CN108229475A (zh) * | 2018-01-03 | 2018-06-29 | 深圳中兴网信科技有限公司 | 车辆跟踪方法、系统、计算机设备及可读存储介质 |
CN109000728A (zh) * | 2018-07-31 | 2018-12-14 | 广州科易光电技术有限公司 | 车载接触网运行状态检测装置 |
CN109165634A (zh) * | 2018-09-21 | 2019-01-08 | 深圳市九洲电器有限公司 | 一种智能识别方法、装置及系统 |
CN109840474A (zh) * | 2018-12-28 | 2019-06-04 | 广州粤建三和软件股份有限公司 | 一种车辆出入规范识别方法、系统及存储介质 |
CN110021172A (zh) * | 2019-05-06 | 2019-07-16 | 北京英泰智科技股份有限公司 | 一种车辆全要素特征采集方法和系统 |
Non-Patent Citations (1)
Title |
---|
车辆信息的视频提取方法及应用研究;郭琪超;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20071215(第06期);C034-258 * |
Also Published As
Publication number | Publication date |
---|---|
CN111950368A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111950368B (zh) | 货运车辆监控方法、装置、电子设备和介质 | |
US8953674B2 (en) | Recording a sequence of images using two recording procedures | |
CN107730189A (zh) | Rfid智能仓储管理系统及管理方法 | |
GB2410391A (en) | Capturing an exemplar image of detected activity due to introduction of a foreground object into a monitored scene | |
WO2023024787A1 (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品 | |
US9922257B2 (en) | Image auditing method and system | |
CN111047824B (zh) | 一种室内儿童看护联动控制预警方法及系统 | |
CN112017323A (zh) | 一种巡检报警方法、装置、可读存储介质及终端设备 | |
US20230343113A1 (en) | Automatic license plate recognition | |
CN112434178A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
CN111353436A (zh) | 基于图像深度学习算法的超门店经营分析方法和装置 | |
CN115600953A (zh) | 仓库库位的监控方法、装置、计算机设备和存储介质 | |
CN113850562A (zh) | 一种智能旁站监理方法及系统 | |
CN114627526A (zh) | 基于多摄像头抓拍图像的融合去重方法、装置及可读介质 | |
CN116416281A (zh) | 一种粮库ai视频监管分析方法及系统 | |
CN101609571A (zh) | 一种在线监控考勤系统 | |
CN110796014A (zh) | 垃圾投放习惯分析方法、系统、装置及存储介质 | |
CN113900960A (zh) | 智能车机机械臂测试平台系统 | |
CN111723767B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
JP4793025B2 (ja) | 分散型画像処理装置 | |
KR20200093264A (ko) | 촬영장치를 이용한 교통법규 위반 신고처리 방법 및 시스템 | |
CN113052058B (zh) | 一种车载客流统计方法、装置及存储介质 | |
CN115204789A (zh) | 一种无人值守仓储管理方法、装置、电子设备及存储介质 | |
CN114359828A (zh) | 目标行为的记录方法、装置、存储介质及电子装置 | |
CN114603598B (zh) | 机器人故障检测方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |