CN111212260B - 一种基于监控视频绘制车道线的方法及装置 - Google Patents

一种基于监控视频绘制车道线的方法及装置 Download PDF

Info

Publication number
CN111212260B
CN111212260B CN201811391803.9A CN201811391803A CN111212260B CN 111212260 B CN111212260 B CN 111212260B CN 201811391803 A CN201811391803 A CN 201811391803A CN 111212260 B CN111212260 B CN 111212260B
Authority
CN
China
Prior art keywords
lane line
video
scene
lane
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811391803.9A
Other languages
English (en)
Other versions
CN111212260A (zh
Inventor
沈卓民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811391803.9A priority Critical patent/CN111212260B/zh
Publication of CN111212260A publication Critical patent/CN111212260A/zh
Application granted granted Critical
Publication of CN111212260B publication Critical patent/CN111212260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例提供了一种基于监控视频绘制车道线的方法及装置,涉及视频监控技术领域,上述方法包括:获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。应用本申请实施例提供的方案绘制车道线,提高了车道线的绘制效率。

Description

一种基于监控视频绘制车道线的方法及装置
技术领域
本申请涉及视频监控技术领域,特别是涉及一种基于监控视频绘制车道线的方法及装置。
背景技术
随着视频监控的广泛应用,需要在各种不同的监控场景中架设视频采集设备,如,球机、枪机等等。以视频监控在高速公路上的应用为例,2017年国家高速公路总里程约13.6万公里,在建里程约1.3万公里,占规划总里程的9.56%,按高速公路每公里需架设一台视频采集设备的需求,需要架设的视频采集设备非常庞大。
在架设视频采集设备之后,工作人员需要手动结合每一视频采集设备采集的视频绘制车道线,以便于后续完成视频监控。然而在架设的视频采集设备数量庞大的情况下,工作人员手动绘制每一视频采集设备对应的车道线不仅工作量巨大,而且车道线绘制效率低下。
发明内容
本申请实施例的目的在于提供一种基于监控视频绘制车道线的方法及装置,以提高绘制车道线的效率。具体技术方案如下:
第一方面,本申请实施例提供了一种基于监控视频绘制车道线的方法,所述方法包括:
获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。
本申请的一个实施例中,所述Web界面的第二预设区域设置有设备调整按钮;所述方法还包括:
响应于所述设备调整按钮确定的调整信息,将所述调整信息发送至所述视频采集设备;其中,所述第二预设区域与所述视频播放窗口、所述第一预设区域均不重叠,所述调整信息用于调整视频采集设备的云台方向、调整视频采集设备的焦距、调整视频采集设备的光圈大小、调整视频采集设备的倍率中一个或组合。
本申请的一个实施例中,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线之后,还包括:
按照文字和/或数字标记方式,为所绘制车道线添加可移动标记,其中,所述标记的显示层级不低于所绘制车道线的显示层级。
本申请的一个实施例中,为所绘制车道线添加可移动标记之后,还包括:
根据所述场景车道线的坐标,确定车道线总数、每条车道线的起点坐标和终点坐标;
将所述车道线总数、每条车道线的起点坐标、终点坐标和每条车道线的标记存储至预设数据库。
本申请的一个实施例中,所绘制车道线为可移动车道线;
在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线之后,还包括:
响应于外界输入的车道线调整指令,设置所绘制车道线处于拖动模式或延伸操作模式。
本申请的一个实施例中,所述获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标,包括:
将所述监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图,其中,所述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型;
对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域;
对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合,并将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标。
本申请的一个实施例中,所述对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合,包括:
过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域;
对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
第二方面,本申请实施例提供了一种基于监控视频绘制车道线的装置,所述装置包括:
视频播放模块,用于获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
坐标获得模块,用于响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
车道线绘制模块,用于响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。
本申请的一个实施例中,所述Web界面的第二预设区域设置有设备调整按钮;所述装置还包括:
信息发送模块,用于响应于所述设备调整按钮确定的调整信息,将所述调整信息发送至所述视频采集设备;其中,所述第二预设区域与所述视频播放窗口、所述第一预设区域均不重叠,所述调整信息用于调整视频采集设备的云台方向、调整视频采集设备的焦距、调整视频采集设备的光圈大小、调整视频采集设备的倍率中一个或组合。
本申请的一个实施例中,所述基于监控视频绘制车道线的装置还包括:
标记添加模块,用于在所述车道线绘制模块绘制车道线后,按照文字和/或数字标记方式,为所绘制车道线添加可移动标记,其中,所述标记的显示层级不低于所绘制车道线的显示层级。
本申请的一个实施例中,所述基于监控视频绘制车道线的装置还包括:
信息获得模块,用于在所述标记添加模块添加可移动标记之后,根据所述场景车道线的坐标,确定车道线总数、每条车道线的起点坐标和终点坐标;
信息存储模块,用于将所述车道线总数、每条车道线的起点坐标、终点坐标和每条车道线的标记存储至预设数据库。
本申请的一个实施例中,所绘制车道线为可移动车道线;
所述基于监控视频绘制车道线的装置还包括:
模式设置模块,用于在所述车道线绘制模块绘制车道线之后,响应于外界输入的车道线调整指令,设置所绘制车道线处于拖动模式或延伸操作模式。
本申请的一个实施例中,所述坐标获得模块,包括:
掩膜图获得单元,用于将所述监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图,其中,所述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型;
连通区域获得单元,用于对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域;
直线拟合单元,用于对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合;
坐标确定单元,用于将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标。
本申请的一个实施例中,所述直线拟合单元,包括:
区域过滤子单元,用于过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域;
直线拟合子单元,用于对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
第三方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面所述的基于监控视频绘制车道线的方法步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的基于监控视频绘制车道线的方法步骤。
由以上可见,本申请实施例提供的方案中,获得视频采集设备采集的包含场景车道线的监控视频后,在Web界面上的视频播放窗口内实时播放上述监控视频,响应于Web界面的第一预设区域设置的车道线生成控制按钮,获得监控视频中场景车道线的坐标,并响应于上述坐标,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线。可见应用本申请实施例提供的方案绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的第一种基于监控视频绘制车道线的方法的流程示意图;
图2a为本申请实施例提供的一种架设后视频采集设备的效果示意图;
图2b为本申请实施例提供的一种Web界面示意图;
图2c为本申请实施例提供的第一种车道线示意图;
图2d为本申请实施例提供的第二种车道线示意图;
图2e为本申请实施例提供的第三种车道线示意图;
图3为本申请实施例提供的第二种基于监控视频绘制车道线的方法的流程示意图;
图4为本申请实施例提供的车道线掩膜图;
图5为本申请实施例提供的第一种基于监控视频绘制车道线的装置的结构示意图;
图6为本申请实施例提供的第二种基于监控视频绘制车道线的装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
由于现有技术中需要工作人员手动绘制视频采集设备对应的车道线,车道线绘制效率低下。为解决这一技术问题,本申请实施例提供了一种基于监控视频绘制车道线的方法及装置。
本申请的一个实施例中,提供了一种基于监控视频绘制车道线的方法,该方法包括:
获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放监控视频,其中,Web界面的第一预设区域设置有车道线生成控制按钮,第一预设区域与视频播放窗口不重叠;
响应于车道线生成控制按钮,获得根据预设车道线检测算法确定的监控视频中场景车道线的坐标;
响应于场景车道线的坐标,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于视频播放窗口的显示层级。
可见应用本实施例提供的方案绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
下面先对本申请中各个实施例的执行主体进行说明。
本申请中各个实施例的执行主体可以理解为软件客户端。
上述软件客户端可以安装于视频采集设备中,这种情况下,本申请中各个实施例的执行主体也可以理解为安装有上述软件客户端的视频采集设备;
上述软件客户端也可以安装于视频监控系统的其他设备中,如,视频监控系统中的服务器,这种情况下,本申请中各个实施例的执行主体也可以理解为视频监控系统中安装有上述软件客户端的设备中;
上述软件客户端还可以安装于视频监控系统的控制器件中,如,上述视频监控系统为车载监控系统的情况下,上述软件客户端可以安装于车辆的处理器中,这种情况下,本申请中各个实施例的执行主体也可以理解为视频监控系统中安装有上述软件客户端的控制器件。
下面再通过具体实施例对本申请实施例提供的基于监控视频绘制车道线的方法进行详细说明。
图1为本申请实施例提供的第一种基于监控视频绘制车道线的方法的流程示意图,该方法包括:
S101:获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放上述监控视频。
上述视频采集设备可以是任何具有视频采集功能的设备,例如,枪机、球机、普通摄像机、摄像头等等,本申请并不对此进行限定。
上述视频采集设备可以架设在安装架上,也可以安装在车辆等设备的固定位置。如图2a示出了架设于安装架上的视频采集设备的工作场景图。
由于视频采集设备采集视频时是针对一定的场景进行视频采集的,因此,视频采集设备所采集视频反应的是这一场景,车道线属于这一场景的一部分,因此也可以称视频中的车道线为场景车道线,当然也可以直接称为车道线。
本申请实施例提供的方案中进行信息显示时,是基于Web界面进行信息显示的,为便于播放视频采集设备所采集的监控视频,Web界面上内嵌有一视频播放窗口,获得视频采集设备采集的上述监控视频后,可以实时的在该视频播放窗口内进行视频播放。
另外,该Web界面的第一预设区域设置有车道线生成控制按钮,第一预设区域与视频播放窗口不重叠。
具体的,上述第一预设区域可以为Web界面的左下角区域、右下角区域等。如图2b所示,图像的左下角区域中带“自动生成车道线”字样的按钮即为上述车道线生成控制按钮。
S102:响应于车道线生成控制按钮,获得根据预设车道线检测算法确定的监控视频中场景车道线的坐标。
具体应用过程中可以通过外部输入设备点击上述车道线生成控制按钮,可以触发执行主体响应该车道线生成控制按钮,检测到上述车道线生成控制按钮对应的快捷键,也可以触发执行主体响应该车道线生成控制按钮。
S103:响应于场景车道线的坐标,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线。
为防止视频播放窗口所播放的监控视频遮盖上述所绘制的车道线,本申请实施例中所绘制车道线的显示层级高于视频播放窗口的显示层级。也就是,所绘制车道线显示于视屏播放窗口的上一层,即所绘制车道线显示于视屏播放窗口所播放监控视频的上一层。
本申请的一个实施例中,Web界面的第二预设区域设置有设备调整按钮;这种情况下,上述基于监控视频绘制车道线的方法还可以包括:
响应于设备调整按钮确定的调整信息,将调整信息发送至视频采集设备,这样视频采集设备接收到上述调整信息后,可以根据调整信息进行相应调整。
其中,第二预设区域与视频播放窗口、第一预设区域均不重叠,例如,上述第二预设区域可以是Web界面的左侧区域、右侧区域等等。如图2b中图像左侧区域中黑色矩形框所框选区域内的按钮为设备调整按钮。
上述调整信息用于调整视频采集设备的云台方向、调整视频采集设备的焦距、调整视频采集设备的光圈大小、调整视频采集设备的倍率中一个或组合。这样视频采集设备接收到上述调整信息后,可以根据调整信息所表征的内容对云台方向、焦距、光圈大小、倍率等信息进行调整,进而保证采集到符合要求的监控视频。
本申请的一个实施例中,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线之后,还可以按照文字和/或数字标记方式,为所绘制车道线添加可移动标记,其中,上述标记的显示层级不低于所绘制车道线的显示层级。
如图2c所示,文字标记方式可以是“车道线边界”、“车道线等”,数字标记方式可以是1、2、3等,还可以是文字与数字相结合的标记方式,如,“车道线1”、“车道线2”等。
本申请的一个实施例中,为所绘制车道线添加可移动标记之后,还可以根据上述场景车道线的坐标,确定车道线总数、每条车道线的起点坐标和终点坐标,并将车道线总数、每条车道线的起点坐标、终点坐标和每条车道线的标记存储至预设数据库。
为车道线添加标记后,可以根据所添加标记的数量确定出车道线总数。
另外,将车道线总数、每条车道线的起点坐标、终点坐标以及每条车道线的标记存储至预设数据库中后,执行主体重启后,仍然能够从上述预设数据库中读取出这些信息,不会由于设备重启而导致信息丢失。
除此之外,还可以将上述车道线总数、每条车道线的起点坐标、终点坐标以及每条车道线的标记添加至视频采集设备所采集视频的码流中。这样后续工作人员再次查看视频采集设备采集的视频时,可以直接向工作人员展示已检测到的车道线。
本申请的一个实施例中,所绘制车道线为可移动车道线;
在Web界面上与监控视频中场景车道线相对应的位置绘制车道线之后,还可以响应于外界输入的车道线调整指令,设置所绘制车道线处于拖动模式或延伸操作模式。
受算法精度、视频帧的图像质量等因素的影响,所绘制的车道线可能存在误差,工作人员可以结合实际情况对已绘制的车道线进行调整,使得后续绘制出满足实际情况的车道线。
例如,图2d所示,已绘制的一条车道线被选中后,车道线的两端会显示出两个圆点,此时工作人员可以通过鼠标左键选中车道线按住鼠标左键进行任意位置挪动,松开左键挪动完成。
另外,如图2e所示,工作人员还可以通过鼠标左键选中圆点位置按住鼠标左键进行任意方向拖动,松开左键拖动完成。
由以上可见,上述各个实施例提供的方案中,获得视频采集设备采集的包含场景车道线的监控视频后,在Web界面上的视频播放窗口内实时播放上述监控视频,响应于Web界面的第一预设区域设置的车道线生成控制按钮,获得监控视频中场景车道线的坐标,并响应于上述坐标,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线。可见应用上述各个实施例提供的方案绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
本申请的一个实施例中,参见图3,提供了第二种基于监控视频绘制车道线的方法的流程示意图,与前述图1所示实施例相比,本实施例中,上述S102响应于车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标,可以通过以下步骤S102A-S102C实现。
S102A:响应于车道线生成控制按钮,将监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图。
视频是由视频帧组成的,又由于本步骤中所提及的监控视频是由视频采集设备源源不断采集的,因此,监控视频一般也包含多个视频帧。
由于本申请实施例中是基于监控视频绘制车道线的,因此,为保证准确的绘制出场景车道线,需将监控视频中各个视频帧分别输入至预先训练的车道线分割模型进行车道线分割处理。
具体的,上述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型。
其中,场景车道线的掩膜图可以理解为:用于表示视频帧中哪些像素点属于场景车道线、哪些像素点不属于场景车道线的图像,一般可以用二值图像进行表示,例如,以白色像素点表示属于场景车道线的像素点,以黑色像素点表示不属于场景车道线的像素点。
例如,图4示出了高速、隧道口、城市、隧道不同场景下的视频帧对应的场景车道线掩膜图。
本申请的一个实施例中,上述车道线分割模型可以通过以下方式训练得到:
获得不同场景、时间段、视频采集设备架设角度等情况下采集的、包含场景车道线的样本图像;
逐像素点标注各个样本图像中的场景车道线、抛洒物以及背景;
采用标注后的图像对车道线分割模型进行训练,训练过程中车道线分割模型识别标注后的图像中的场景车道线,输出识别结果对应的场景车道线掩膜图,并将识别结果与标注结果进行比对,按照比对结果调整车道线分割模型中涉及的参数,从而完成训练。
具体的,上述车道线分割模型的初始模型可以是:SegNet分割网络模型,当然,上述车道线分割模型的初始模型还可以是基于深度学习的其他模型,本申请并不对此进行限定。
S102B:对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域。
具体的,对一张掩膜图进行连通区域标记处理时,可以在该掩膜图中按照从上到下、从左到右的顺序,扫描一掩膜图中的每个像素,将像素值相同的像素点划分到相同的组(group)中,最终得到图像中所有的连通区域。
S102C:对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合,并将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标。
具体的,可以采用RANSAC算法对每一掩膜图中每一连通区域内属于场景车道线的像素点进行直线拟合。
本申请的一个实施例中,对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合时,可以先过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域,再对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
这样在视频帧中存在噪点的情况下,可以有效降低噪点对车道线的绘制带来的影响,从而提高所绘制车道线的准确度。
由以上可见,本实施例提供的方案中,车道线分割模型、连通区域以及直线拟合相结合的方式,绘制车道线,由于其中车道线分割模型是基于大量样本图像训练得到的模型,因此可以提供较为准确的车道线识别结果,从而使得绘制出的车道线具有较高的准确度。
本申请的一个实施例中,上述Web界面可以理解为执行主体的一个软件层,可以称为:Web界面层。除Web界面层以外,执行主体还可以包含应用层、硬件实现层和算法层,其中,应用层是面向具体应用的软件实现层,例如,面向数据传输、数据解析的软件实现层,硬件实现层是指特定硬件实现功能所依据的软件,例如,需要DSP(Digital SignalProcessing,数字信号处理)实现的功能所依据的软件,算法层是指车道线绘制过程中所涉及的车道线检测算法等的软件实现。
具体的,响应于车道线生成按钮,如,车道线生成按钮被按下时,Web界面层通过预设的私有协议向应用层发送生成车道线的指令,该指令中包含了被按下按钮的信息。应用层接收到上述指令后,解析该指令,获知哪一按钮被按下,并将上述指令透传给硬件实现层,硬件实现层再将上述指令透传给算法层,算法层进行车道线识别。
算法层识别出车道线后,将识别结果透传至硬件实现层,硬件实现层再将上述识别结果透传至应用层,应用层通过上述私有协议将识别结果中车道线信息发送至Web界面层,Web界面层解析接收到的信息,并根据解析结果展示车道线。
例如,应用层将车道线的坐标、协议命令码等信息按照上述私有协议进行封装,得到封装后的数据,并将封装后的数据发送至Web界面层。
另外,Web界面层还可以按照上述私有协议生成车道线存储信息,并将所生成的存储信息发送至应用层,应用层将上述车道线存储信息存储至预设的存储位置,并将上述车道线存储信息透传至硬件实现层,硬件实现层将上述车道线存储信息存储至视频采集设备所采集监控视频的码流中。
具体的,上述车道线存储信息中可以包括:车道线总数、每条车道线的起点坐标、终点坐标、车道线标识等等。
上述预设的私有协议可以ISAPI(Internet Server Application ProgrammingInterface)私有协议。
与上述基于监控视频绘制车道线的方法相对应,本申请实施例还提供了一种基于监控视频绘制车道线的装置。
图5为本申请实施例提供的第一种基于监控视频绘制车道线的装置的结构示意图,该装置包括:
视频播放模块501,用于获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
坐标获得模块502,用于响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
车道线绘制模块503,用于响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。
本申请的一个实施例中,所述Web界面的第二预设区域设置有设备调整按钮;所述基于监控视频绘制车道线的装置还包括:
信息发送模块,用于响应于所述设备调整按钮确定的调整信息,将所述调整信息发送至所述视频采集设备;其中,所述第二预设区域与所述视频播放窗口、所述第一预设区域均不重叠,所述调整信息用于调整视频采集设备的云台方向、调整视频采集设备的焦距、调整视频采集设备的光圈大小、调整视频采集设备的倍率中一个或组合。
本申请的一个实施例中,所述基于监控视频绘制车道线的装置还包括:
标记添加模块,用于在所述车道线绘制模块绘制车道线后,按照文字和/或数字标记方式,为所绘制车道线添加可移动标记,其中,所述标记的显示层级不低于所绘制车道线的显示层级。
本申请的一个实施例中,所述基于监控视频绘制车道线的装置还包括:
信息获得模块,用于在所述标记添加模块添加可移动标记之后,根据所述场景车道线的坐标,确定车道线总数、每条车道线的起点坐标和终点坐标;
信息存储模块,用于将所述车道线总数、每条车道线的起点坐标、终点坐标和每条车道线的标记存储至预设数据库。
基于监控视频绘制车道线的,所绘制车道线为可移动车道线;
所述基于监控视频绘制车道线的装置还包括:
模式设置模块,用于在所述车道线绘制模块绘制车道线之后,响应于外界输入的车道线调整指令,设置所绘制车道线处于拖动模式或延伸操作模式。
由以上可见,上述各个实施例提供的方案中,获得视频采集设备采集的包含场景车道线的监控视频后,在Web界面上的视频播放窗口内实时播放上述监控视频,响应于Web界面的第一预设区域设置的车道线生成控制按钮,获得监控视频中场景车道线的坐标,并响应于上述坐标,在Web界面上与监控视频中场景车道线相对应的位置绘制车道线。可见应用上述各个实施例提供的方案绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
本申请的一个实施例中,参见图6,提供过了第二种基于监控视频绘制车道线的装置的结构示意图,与前述图5所示实施例相比,本实施例中,所述坐标获得模块502,包括:
掩膜图获得单元502A,用于将所述监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图,其中,所述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型;
连通区域获得单元502B,用于对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域;
直线拟合单元502C,用于对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合;
坐标确定单元502D,用于将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标。
本申请的一个实施例中,所述直线拟合单元,包括:
区域过滤子单元,用于过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域;
直线拟合子单元,用于对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
由以上可见,本实施例提供的方案中,车道线分割模型、连通区域以及直线拟合相结合的方式,绘制车道线,由于其中车道线分割模型是基于大量样本图像训练得到的模型,因此可以提供较为准确的车道线识别结果,从而使得绘制出的车道线具有较高的准确度。
与上述基于监控视频绘制车道线的方法相对应,本申请实施例还提供了一种电子设备。
图7提供了一种电子设备的结构示意图,该电子设备包括:处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现本申请实施例提供的基于监控视频绘制车道线的方法。
本申请的一个实施例中,提供了一种基于监控视频绘制车道线的方法,所述方法包括:
获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。
需要说明的是,上述处理器701执行存储器703上存放的程序而实现基于监控视频绘制车道线的方法的其他实施例,与前述方法实施例部分提及的实施例相同,这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可见本申请实施例提供的电子设备绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
与上述基于监控视频绘制车道线的方法相对应,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例提供的基于监控视频绘制车道线的方法。
本申请的一个实施例中,提供了一种基于监控视频绘制车道线的方法,所述方法包括:
获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级。
需要说明的是,上述计算机程序被处理器执行而实现的基于监控视频绘制车道线的方法的其他实施例,与前述方法实施例部分提及的实施例相同,这里不再赘述。
可见执行本申请实施例提供的计算机可读存储介质中存储的计算机程序而绘制车道线时,无需工作人员手动操作,即可完成车道线绘制,因此不仅能够降低工作人员的工作量,还能够提高车道线的绘制效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (6)

1.一种基于监控视频绘制车道线的方法,其特征在于,所述方法包括:
获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级;
所述获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标,包括:
将所述监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图,其中,所述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型;所述场景车道线的掩膜图为用于表示视频帧中哪些像素点属于场景车道线、哪些像素点不属于场景车道线的图像;
对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域;
对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合,并将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标;
所述对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合,包括:
过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域;对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
2.根据权利要求1所述的方法,其特征在于,所述Web界面的第二预设区域设置有设备调整按钮;所述方法还包括:
响应于所述设备调整按钮确定的调整信息,将所述调整信息发送至所述视频采集设备;其中,所述第二预设区域与所述视频播放窗口、所述第一预设区域均不重叠,所述调整信息用于调整视频采集设备的云台方向、调整视频采集设备的焦距、调整视频采集设备的光圈大小、调整视频采集设备的倍率中一个或组合。
3.根据权利要求2所述的方法,其特征在于,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线之后,还包括:
按照文字和/或数字标记方式,为所绘制车道线添加可移动标记,其中,所述标记的显示层级不低于所绘制车道线的显示层级。
4.根据权利要求3所述的方法,其特征在于,为所绘制车道线添加可移动标记之后,还包括:
根据所述场景车道线的坐标,确定车道线总数、每条车道线的起点坐标和终点坐标;
将所述车道线总数、每条车道线的起点坐标、终点坐标和每条车道线的标记存储至预设数据库。
5.根据权利要求3所述的方法,其特征在于,所绘制车道线为可移动车道线;
在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线之后,还包括:
响应于外界输入的车道线调整指令,设置所绘制车道线处于拖动模式或延伸操作模式。
6.一种基于监控视频绘制车道线的装置,其特征在于,所述装置包括:
视频播放模块,用于获得视频采集设备采集的包含场景车道线的监控视频,并在Web界面上的视频播放窗口内实时播放所述监控视频,其中,所述Web界面的第一预设区域设置有车道线生成控制按钮,所述第一预设区域与所述视频播放窗口不重叠;
坐标获得模块,用于响应于所述车道线生成控制按钮,获得根据预设车道线检测算法确定的所述监控视频中场景车道线的坐标;
车道线绘制模块,用于响应于所述场景车道线的坐标,在所述Web界面上与所述监控视频中场景车道线相对应的位置绘制车道线,其中,所绘制车道线的显示层级高于所述视频播放窗口的显示层级;
所述坐标获得模块,包括:掩膜图获得单元,用于将所述监控视频中各视频帧输入预先训练的车道线分割模型,得到各视频帧中场景车道线的掩膜图,其中,所述车道线分割模型为:用于检测视频帧中属于场景车道线的像素点并得到场景车道线的掩膜图的模型;所述场景车道线的掩膜图为用于表示视频帧中哪些像素点属于场景车道线、哪些像素点不属于场景车道线的图像;连通区域获得单元,用于对所得到的每一掩膜图进行连通区域标记处理,得到每一掩膜图中的连通区域;直线拟合单元,用于对每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合;坐标确定单元,用于将所得到的直线上各像素点的坐标确定为掩膜图所对应视频帧中场景车道线的坐标;
所述直线拟合单元,具体用于过滤掉每一掩膜图的连通区域中面积小于第一预设阈值和/或高度小于第二预设阈值的连通区域;对过滤后每一掩膜图中连通区域内属于场景车道线的像素点分别进行直线拟合。
CN201811391803.9A 2018-11-21 2018-11-21 一种基于监控视频绘制车道线的方法及装置 Active CN111212260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811391803.9A CN111212260B (zh) 2018-11-21 2018-11-21 一种基于监控视频绘制车道线的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811391803.9A CN111212260B (zh) 2018-11-21 2018-11-21 一种基于监控视频绘制车道线的方法及装置

Publications (2)

Publication Number Publication Date
CN111212260A CN111212260A (zh) 2020-05-29
CN111212260B true CN111212260B (zh) 2021-08-20

Family

ID=70789202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811391803.9A Active CN111212260B (zh) 2018-11-21 2018-11-21 一种基于监控视频绘制车道线的方法及装置

Country Status (1)

Country Link
CN (1) CN111212260B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092903A (zh) * 2020-08-06 2022-02-25 长沙智能驾驶研究院有限公司 车道线标注、检测模型确定、车道线检测方法及相关设备
CN113221748A (zh) * 2021-05-13 2021-08-06 江苏金晓电子信息股份有限公司 一种基于图像处理的车检雷达车道识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184947A (zh) * 2014-08-22 2014-12-03 惠州Tcl移动通信有限公司 一种远程拍照调焦的方法及系统
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
US9152865B2 (en) * 2013-06-07 2015-10-06 Iteris, Inc. Dynamic zone stabilization and motion compensation in a traffic management apparatus and system
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN106525056A (zh) * 2016-11-04 2017-03-22 杭州奥腾电子股份有限公司 利用陀螺仪传感器进行车道线检测的方法
CN107644197A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 后部摄像机车道检测
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108416320A (zh) * 2018-03-23 2018-08-17 京东方科技集团股份有限公司 巡检设备、巡检设备的控制方法及控制装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152865B2 (en) * 2013-06-07 2015-10-06 Iteris, Inc. Dynamic zone stabilization and motion compensation in a traffic management apparatus and system
CN104184947A (zh) * 2014-08-22 2014-12-03 惠州Tcl移动通信有限公司 一种远程拍照调焦的方法及系统
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术(北京)有限公司 一种获取车道线的方法和装置
CN107644197A (zh) * 2016-07-20 2018-01-30 福特全球技术公司 后部摄像机车道检测
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN106525056A (zh) * 2016-11-04 2017-03-22 杭州奥腾电子股份有限公司 利用陀螺仪传感器进行车道线检测的方法
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108416320A (zh) * 2018-03-23 2018-08-17 京东方科技集团股份有限公司 巡检设备、巡检设备的控制方法及控制装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何施.道路交通环境检测及其信息融合技术.《中国优秀硕士学位论文全文数据库—工程科技II辑》.2017,C034-297. *
基于机器视觉的车道偏离及碰撞预警技术研究;张云飞;《中国优秀硕士学位论文全文数据库—工程科技II辑》;20180715;第5.3-5.4节 *
基于机器视觉的道路及车辆检测技术研究;战宇辰;《中国优秀硕士学位论文全文数据库—工程科技II辑》;20170315;第6.2节 *
车道线检测系统的设计与实现;李松泽;《中国优秀硕士学位论文全文数据库—信息科技辑》;20170215;第2.2节、第3章 *
道路交通环境检测及其信息融合技术;何施;《中国优秀硕士学位论文全文数据库—工程科技II辑》;20170615;第三章、第6.2.2、6.3.2节 *

Also Published As

Publication number Publication date
CN111212260A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
WO2021051885A1 (zh) 目标标注的方法及装置
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
US20140313347A1 (en) Traffic camera calibration update utilizing scene analysis
WO2021031954A1 (zh) 对象数量确定方法、装置、存储介质与电子设备
CN110706247B (zh) 一种目标跟踪方法、装置及系统
CN111212260B (zh) 一种基于监控视频绘制车道线的方法及装置
CN111767853A (zh) 车道线检测方法和装置
CN112001298A (zh) 行人检测方法、装置、电子设备和存储介质
CN111986214B (zh) 一种地图中人行横道的构建方法和电子设备
CN111832515A (zh) 一种密集行人检测方法、介质、终端和装置
CN114565952A (zh) 行人轨迹生成方法、装置、设备和存储介质
JP7271327B2 (ja) 生成装置、生成システム、生成方法および教材データを生成する方法
CN115546221B (zh) 一种钢筋计数方法、装置、设备及存储介质
CN111222416A (zh) 一种样本数据生成方法、装置及系统
CN113470093B (zh) 基于航拍图像处理的视频果冻效应检测方法、装置及设备
CN111126336B (zh) 样本采集方法、装置及设备
CN114387544A (zh) 一种高空抛物检测方法、系统、电子设备及存储介质
CN116266402A (zh) 对象自动标注方法、装置、电子设备及存储介质
CN113066100A (zh) 目标跟踪方法、装置、设备及存储介质
CN111667404A (zh) 目标信息采集方法、装置、系统、电子设备及存储介质
JP6847420B2 (ja) 速度推定装置、速度推定方法、及び速度推定プログラム
CN113379838B (zh) 虚拟现实场景的漫游路径的生成方法和存储介质
CN113838110B (zh) 目标检测结果的校验方法、装置、存储介质和电子设备
CN110718294B (zh) 一种智能导医机器人和智能导医方法
CN114792354B (zh) 模型处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant