CN109086743B - 一种基于hevc压缩视频的车道线检测方法 - Google Patents

一种基于hevc压缩视频的车道线检测方法 Download PDF

Info

Publication number
CN109086743B
CN109086743B CN201810984561.8A CN201810984561A CN109086743B CN 109086743 B CN109086743 B CN 109086743B CN 201810984561 A CN201810984561 A CN 201810984561A CN 109086743 B CN109086743 B CN 109086743B
Authority
CN
China
Prior art keywords
edge
lane line
block
standard
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810984561.8A
Other languages
English (en)
Other versions
CN109086743A (zh
Inventor
宋建新
龚洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201810984561.8A priority Critical patent/CN109086743B/zh
Publication of CN109086743A publication Critical patent/CN109086743A/zh
Application granted granted Critical
Publication of CN109086743B publication Critical patent/CN109086743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于HEVC压缩视频的车道线检测方法,包括步骤:S1、从HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;S2、根据编码单元结构的尺寸,计算编码单元结构中每一行编码树单元的编码单元块数量,以实现对车道线道路区域的提取;S3、根据DCT系数中的交流分量确定所述变换单元结构中的变换单元块所对应的边缘模型;S4、计算所有边缘块的边缘方向、边缘强度和边缘偏移量,以得到边缘检测图;S5、采用基于方向优先级的搜索规则搜索边缘检测图,并基于帧内预测模式检测出车道线的具体位置;本发明可避免不必要的视频解码过程,减少计算复杂度。

Description

一种基于HEVC压缩视频的车道线检测方法
技术领域
本发明属于视频处理技术领域,涉及在压缩域中对行车记录视频中的车道线进行检测,尤其涉及一种基于HEVC压缩视频的车道线检测方法。
背景技术
随着社会的迅速发展和人民生活水平的日益提高,汽车作为一种方便快捷的代步工具已渐渐普及。如今,绝大多数的车主都会选择安装行车记录仪,它记录了车主的行车状况。在发生交通事故时,行车记录视频是交通部门进行事故责任判定和保险公司进行理赔的重要依据。因此,通过行车记录仪识别出驾驶行为具有重要应用前景。作为车辆驾驶行为研究方向的重要组成部分,车道线检测一直以来都是研究热点。
现有的车道线检测方法,大多是针对像素域,将编码后的视频码流先完全解码到像素域,然后通过对像素的进一步处理来检测车道线。视频解码的过程非常复杂,而且,以当前高清视频的分辨率1920×1080来说,每一帧视频图像包含2073600个像素,对这么多像素做进一步处理,计算量非常大,也不利于实时性的应用。
发明内容
本发明的主要目的在于提供了一种基于HEVC压缩视频的车道线检测方法,该方法直接利用HEVC压缩视频中的编码单元结构、变换单元结构、帧内预测模式和DCT系数等信息进行车道线检测,解决了现有技术中视频解码过程中计算复杂度繁杂的问题;具体技术方案如下:
一种基于HEVC压缩视频的车道线检测方法,所述方法包括步骤:
S1:从HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;
S2:根据所述编码单元结构的尺寸,计算编码单元结构中每一行编码树单元的编码单元块数量,以实现对车道线道路区域的提取;
S3:根据所述DCT系数中的交流分量确定所述变换单元结构中的变换单元块所对应的边缘模型;
S4:计算所有边缘块的边缘方向、边缘强度和边缘偏移量,以得到边缘检测图;
S5:采用基于方向优先级的搜索规则搜索边缘检测图,并基于帧内预测模式检测出车道线的具体位置;
进一步的,所述编码树单元中包括64×64、32×32、16×16和8×8大小的所述编码单元块;且步骤S2还包括步骤:
S21:计算每一行所述编码树单元中64×64、32×32、16×16和8×8大小的所述编码单元块的数量Num64、Num32、Num16和Num8
S22:根据8×8大小的所述编码单元块的数量Num8的取值是否为零判断每一行所述编码树单元是否为道路区域,其中,若Num8=0,则判定所述编码树单元所在行为非道路区域;若Num8≠0,计算
Figure BDA0001779375350000031
Figure BDA0001779375350000032
的值,其中,P16表示进一步划分为4个16×16大小的编码单元块的32×32大小编码单元块的数量,与没有进一步划分的32×32大小编码单元块的数量的比值;P8表示进一步划分为4个8×8大小的编码单元块的16×16大小编码单元块的数量,与没有进一步划分的16×16大小编码单元块的数量的比值;
S23:设定两个阈值Th16和Th8,判断P16与阈值Th16的大小以及P8与阈值Th8的大小,若P16<Th16且P8<Th8,则将所述I帧编码视频的所述编码树单元所在行判定为非道路区域;否则,在所述I帧编码视频中此行所述编码树单元及其以下的所有区域为道路区域。
进一步的,所述交流分量包括F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2),所述边缘模型包括模型1、模型2、模型3、…、模型20共20种,且20种所述边缘模型分为T1、T2、T3、T4、T5共5类;其中,所述交流分量F(1,0)和F(0,1)与T1、T2、T3、T4、T5的关系可通过公式
Figure BDA0001779375350000033
表示;
所述交流分量F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2)与所述边缘模型之间的关系可通过公式
Figure BDA0001779375350000034
Figure BDA0001779375350000041
以及公式
Figure BDA0001779375350000042
表示。
进一步的,所述模型1与所述模型2呈左对角线对称关系,且所述模型1的所述交流分量与所述模型2的所述交流分量满足关系:F(u,v)→F(v,u);所述模型2和模型5呈右对角线对称关系,且所述模型2的所述交流分量与所述模型5的所述交流分量满足关系:F(u,v)→(-1)u+vF(v,u);所述模型2和模型10、模型3和模型12、模型1和模型9、模型5和模型13以及模型17和模型18呈左右翻转对称关系,且呈左右翻转对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→(-1)u+1F(u,v);所述模型2和模型14、模型3和模型16、模型10和模型6、模型12和模型7以及模型19和模型20呈上下翻转对称关系,且呈上下翻转对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→(-1)v+1F(u,v);所述模型3和模型8、模型7和模型4、模型16和模型11以及模型12和模型15呈互补对称关系,且呈互补对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→-F(u,v)。
进一步的,在步骤S3中,还包括步骤:
S31:对所述变换单元块设置标识flag_edge,并判断所述标识flag_edge的取值,若所述变换单元块对应某一所述边缘模型,即所述变换单元块为边缘块,则设置其flag_edge=1,并对所述边缘块设置参数边缘方向θ、边缘强度h和边缘偏移量d;若所述变换单元块不是所述边缘块,则设置其flag_edge=0。
进一步的,在步骤S4中,还包括步骤:
S41:通过公式
Figure BDA0001779375350000051
Figure BDA0001779375350000052
和公式
Figure BDA0001779375350000053
计算所述模型2的边缘方向θ、边缘强度h和边缘偏移量d;
S42:通过公式
Figure BDA0001779375350000054
Figure BDA0001779375350000055
以及公式
Figure BDA0001779375350000056
计算所述模型3的边缘方向θ、边缘强度h和边缘偏移量d;
S43:通过公式θ=90°、
Figure BDA0001779375350000057
和公式
Figure BDA0001779375350000058
计算所述模型17的边缘方向θ、边缘强度h和边缘偏移量d;
S44:通过公式θ=0°、
Figure BDA0001779375350000059
和公式
Figure BDA00017793753500000510
计算所述模型19的边缘方向θ、边缘强度h和边缘偏移量d。
进一步的,其特征在于,在步骤S5中包括步骤:
S51:将64×64、32×32、16×16和8×8大小的所述编码单元块统一分割成4×4大小的标准块,且每个所述标准块的所述帧内预测模式等于每个所述标准块所在HEVC内预测单元的帧内预测模式;
S52:检测左侧车道线候选区域:
S521:从所述I帧编码视频的左下角开始,依次从下往上,从左往右逐行扫描每个所述标准块,扫描到的所述标准块记为当前标准块;
S522:根据所述当前标准块所在的变换单元的标识flag_edge的取值判断是否为所述边缘块,若flag_edge=0,则继续扫描剩余所述标准块,直到发现边缘块,转到步骤S523;若flag_edge=1,则将扫描到的所述当前标准块作为起始块,并初始化左侧车道线候选区域;
S523:提取所述当前标准块和所述当前标准块的45°、90°和0°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur1、Mode_45°、Mode_90°、Mode_0°;
S524:根据方向优先级的搜索规则,按照设定的第一判定规则依次判断45°、90°和0°方向上的所述相邻标准块与所述当前标准块是否属于左侧车道线候选区域;
S525:对属于所述左侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S523和步骤S524,对所述左侧车道线候选区域进行进一步划分;
S526:判断是否存在所述相邻标准块满足所述第一判定规则,若不存在,则从所述起始块开始,继续从下往上,从左往右,扫描剩余所述标准块,并重复步骤S522~S525,直到所有所述标准块全部被遍历,则结束对所述左侧车道线候选区域的检测;
S53:检测右侧车道线候选区域:
S531:从所述I帧编码视频的右下角开始,依次从下往上,从右往左逐行扫描每个所述标准块,并将扫描到的所述标准块记为当前标准块;
S532:根据所述当前标准块所在的变换单元的标识flag_edge的取值判断是否为所述边缘块,若flag_edge=0,则继续扫描剩余所述标准块,直到发现边缘块,转到步骤S533;若flag_edge=1,则将扫描到的所述当前标准块作为起始块,并初始化右侧车道线候选区域;
S533:提取所述当前标准块和所述当前标准块的135°、90°和180°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur2、Mode_135°、Mode_90°、Mode_180°;
S534:根据方向优先级的搜索规则,按照设定的第二判定规则依次判断135°、90°和180°方向上的所述相邻标准块与所述当前标准块是否属于右侧车道线候选区域;
S535:对属于所述右侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S533和步骤S534,对所述右侧车道线候选区域进行进一步划分;
S536:判断是否存在所述相邻标准块满足所述第二判定规则,若不存在,则从所述起始块开始,继续从下往上,从右往左,扫描剩余的所述标准块,并重复步骤S532~S535,直到所有所述标准块全部被遍历,则结束对所述右侧车道线候选区域的检测;
S54:设定一阈值Thall,并计算所述左侧车道线候选区域内的所有所述标准块数量Numall1和所述右侧车道线候选区域内的所有所述标准块数量Numall2,若Numall1>Thall,则判定所述左侧车道线候选区域为左侧车道线区域,否则,所述左侧车道线候选区域不是左侧车道线区域;若Numall2>Thall,则判定所述右侧车道线候选区域为右侧车道线区域,否则,所述右侧车道线候选区域不是右侧车道线区域;
S55:根据步骤S54的判定结果求取包含左侧车道线区域的最小外接四边形和包含右侧车道线区域的最小外接四边形,并标识出左侧车道线和右侧车道线,实现对车道线的检测。
进一步的,根据所述第一判定规则判断45°、90°和0°方向上的所述相邻标准块与所述当前标准块是否属于左侧车道线候选区域的具体步骤为:
(1)设定一常数2,若|Mode_cur1-Mode_45°|≤2,则将45°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(2)若|Mode_cur1-Mode_90°|≤2,则将90°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(3)若|Mode_cur1-Mode_0°|≤2,则将0°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
根据所述第二判定规则判断135°、90°和180°方向上的所述相邻标准块与所述当前标准块是否属于右侧车道线候选区域的具体步骤为:
(31)设定一常数2,若|Mode_cur2-Mode_135°|≤2,则将135°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(32)若|Mode_cur2-Mode_90°|≤2,则将90°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(33)若|Mode_cur2-Mode_180°|≤2,则将180°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域。
进一步的,步骤S55的具体过程包括步骤:
S551:从所述左侧车道线区域和右侧车道线区域中的所有所述标准块中,找出最上面一行所有标准块中最左边的第一标准块和最右边的第二标准块,以及最下面一行所有标准块中最左边的第三标准块和最右边的第四标准块:
(1)计算左侧车道线区域和右侧车道线区域中所有标准块的坐标位置(xi,yi),并找出所有所述标准块中y坐标的最大值ymax和最小值ymin
(2)在y坐标为ymax的所有标准块中找出x坐标值最大的标准块Bru和x坐标值最小的标准块Blu
(3)在y坐标为ymin的所有标准块中找出x坐标值最大的标准块Brd和x坐标值最小的标准块Bld
S552:找出与所述标准块Blu左相邻的标准块B1,并计算所述标准块B1坐标B1(x1,y1);找出与所述标准块Bru右相邻的标准块B2,并计算所述标准块B2坐标B2(x2,y2);找出与所述标准块Bld左相邻的标准块B3,并计算所述标准块B3坐标B3(x3,y3);找出与所述标准块Bld右相邻的标准块B4,并计算所述标准块B4坐标B4(x4,y4);
S553:连接坐标B1(x1,y1)、坐标B2(x2,y2)、坐标B3(x3,y3)和坐标B4(x4,y4),形成四边形,完成车道线的检测和标识。
本发明的一种基于HEVC压缩视频的车道线检测方法,该方法首先从待处理的HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;再根据编码单元尺寸,分割出道路区域。然后,根据DCT系数得到边缘检测图,最后在边缘检测图的基础上,基于方向优先级搜索规则,利用帧内预测模式检测出车道线;与现有技术相比,本发明不需要对整个HEVC压缩视频进行视频解码,避免了不必要的视频解码过程,有效提升了计算效率。
附图说明
图1为本发明实施例中所述基于HEVC压缩视频的车道线检测方法的结构流程框图示意;
图2为本发明实施例中所述HEVC编码树单元的划分结构图示意;
图3为本发明实施例中某行车记录视频中I帧的编码单元划分图示意;
图4为本发明实施例中所述DCT系数中的交流分量和边缘模型之间的对应关系图示意;
图5为本发明实施例中所有边缘模型间对称关系图示意;
图6为本发明实施例中左侧车道线候选区域检测流程图示意;
图7为本发明实施例中车道线区域外接四边形图示意。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
结合图1~图7对本发明提供的基于HEVC压缩视频的车道线检测方法进行具体说明,所述方法包括步骤:
S1:从HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;具体的,本发明通过熵解码的方法在I帧编码视频中提取出对应的编码单元结构、变换单元结构、帧内预测模式及DCT系数信息。结合图2,图示为HEVC视频编码标准的编码树单元划分结构示意图,HEVC采用四叉树结构作为视频帧的编码单元组织结构,最小的编码单元大小为8×8,其中大小为16×16的编码单元可以继续依照划分规则被划分为8×8大小的编码单元。HEVC编码标准中预测单元和变换单元的划分是在编码单元的基础上进一步划分的,且其最小划分单元大小为4×4。
S2:根据所述编码单元结构的尺寸,计算编码单元结构中每一行编码树单元的编码单元块数量,以实现对车道线道路区域的提取;其中,编码树单元中包括64×64、32×32、16×16和8×8大小的编码单元块;要实现对车道线道路区域的提取的具体过程步骤为:首先,计算每一行编码树单元中64×64、32×32、16×16和8×8大小的编码单元块的数量Num64、Num32、Num16和Num8;然后,根据8×8大小的编码单元块的数量Num8的取值是否为零判断每一行编码树单元是否为道路区域,其中,若Num8=0,则判定编码树单元所在行为非道路区域;若Num8≠0,计算
Figure BDA0001779375350000121
Figure BDA0001779375350000122
的值,其中,P16表示进一步划分为4个16×16大小的编码单元块的32×32大小编码单元块的数量,与没有进一步划分的32×32大小编码单元块的数量的比值;P8表示进一步划分为4个8×8大小的编码单元块的16×16大小编码单元块的数量,与没有进一步划分的16×16大小编码单元块的数量的比值。最后,设定两个阈值Th16和Th8,判断P16与阈值Th16的大小以及P8与阈值Th8的大小,若P16<Th16且P8<Th8,则将所述I帧编码视频的所述编码树单元所在行判定为非道路区域;否则,在I帧编码视频中此行编码树单元及其以下的所有区域为道路区域。
S3:根据所述DCT系数中的交流分量确定所述变换单元结构中的变换单元块所对应的边缘模型;
在本发明实施例中,交流分量包括F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2),边缘模型包括模型1、模型2、模型3、…、模型20共20种,且20种边缘模型分为T1、T2、T3、T4、T5共5类;其中,交流分量F(1,0)和F(0,1)与T1、T2、T3、T4、T5的关系可通过公式
Figure BDA0001779375350000123
表示;交流分量F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2)与边缘模型之间的关系可通过公式
Figure BDA0001779375350000131
Figure BDA0001779375350000132
以及公式
Figure BDA0001779375350000133
表示。
此外,本发明对每个变换单元块设置一个标识flag_edge,并判断所述标识flag_edge的取值,若所述变换单元块对应了某一所述边缘模型,即所述变换单元块为边缘块,则设置其flag_edge=1,并对所述边缘块设置参数边缘方向θ、边缘强度h和边缘偏移量d;若所述变换单元块不是所述边缘块,则设置其flag_edge=0。
S4:计算所有边缘块的边缘方向θ、边缘强度h和边缘偏移量d,以得到边缘检测图;
结合图5,在本发明实施例中,边缘模型包括的20种模型中,模型1与模型2呈左对角线对称关系,且模型1的交流分量与模型2的交流分量满足关系:F(u,v)→F(v,u);模型2和模型5呈右对角线对称关系,且模型2的交流分量与模型5的交流分量满足关系:F(u,v)→(-1)u+vF(v,u);模型2和模型10、模型3和模型12、模型1和模型9、模型5和模型13以及模型17和模型18呈左右翻转对称关系,且呈左右翻转对称关系的每两个模型之间的交流分量满足关系:F(u,v)→(-1)u+1F(u,v);模型2和模型14、模型3和模型16、模型10和模型6、模型12和模型7以及模型19和模型20呈上下翻转对称关系,且呈上下翻转对称关系的每两个模型之间的交流分量满足关系:F(u,v)→(-1)v+1F(u,v);模型3和模型8、模型7和模型4、模型16和模型11以及模型12和模型15呈互补对称关系,且呈互补对称关系的每两个模型之间的交流分量满足关系:F(u,v)→-F(u,v)。
基于上述20中边缘模型的对称关系,本发明只需要计算模型2、模型3、模型17和模型19的边缘方向θ、边缘强度h和边缘偏移量d,即可进一步得到所有模型的边缘方向θ、边缘强度h和边缘偏移量d;其中,模型2通过公式
Figure BDA0001779375350000141
Figure BDA0001779375350000142
和公式
Figure BDA0001779375350000143
计算边缘方向θ、边缘强度h和边缘偏移量d;模型3通过公式
Figure BDA0001779375350000144
Figure BDA0001779375350000145
以及公式
Figure BDA0001779375350000146
计算的边缘方向θ、边缘强度h和边缘偏移量d;模型17通过公式θ=90°、
Figure BDA0001779375350000147
和公式
Figure BDA0001779375350000148
计算边缘方向θ、边缘强度h和边缘偏移量d;模型19通过公式θ=0°、
Figure BDA0001779375350000149
和公式
Figure BDA00017793753500001410
计算边缘方向θ、边缘强度h和边缘偏移量d;随后即可根据各模型之间的不同对称关系,具体可参阅图5,来进行20个不同边缘模型边缘方向θ、边缘强度h和边缘偏移量d的计算。
S5:采用基于方向优先级的搜索规则搜索边缘检测图,并基于帧内预测模式检测出车道线的具体位置,具体过程步骤为:
首先,将64×64、32×32、16×16和8×8大小的编码单元块统一分割成4×4大小的标准块;其中,每个标准块的所述帧内预测模式等于每个标准块所在HEVC内预测单元的帧内预测模式。
随后,检测左侧车道线候选区域,流程如图6所示,包括步骤:
S521:从I帧编码视频的左下角开始,依次从下往上,从左往右逐行扫描每个标准块,并将扫描到的标准块记为当前标准块;
S522:根据当前标准块所在的变换单元的标识flag_edge的取值判断是否为边缘块,若flag_edge=0,则继续扫描剩余标准块,直到发现边缘块,转到步骤S523;若flag_edge=1,则将扫描到的当前标准块作为起始块,并初始化左侧车道线候选区域;
S523:提取所述当前标准块和所述当前标准块的45°、90°和0°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur1、Mode_45°、Mode_90°、Mode_0°;
S524:根据方向优先级的搜索规则,按照设定的第一判定规则依次判断45°、90°和0°方向上的所述相邻标准块与当前标准块是否属于左侧车道线候选区域;
S525:对属于所述左侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S523和步骤S524,对所述左侧车道线候选区域进行进一步划分;
S526:判断是否存在所述相邻标准块满足所述第一判定规则,若不存在,则从所述起始块开始,继续从下往上,从左往右,扫描剩余所述标准块,并重复步骤S522~S525,直到所有所述标准块全部被遍历,则结束对所述边缘检测图的左侧车道线的检测。
其中,在本发明中,根据第一判定规则判断45°、90°和0°方向上的相邻标准块与当前标准块是否属于左侧车道线候选区域的具体过程为:
(1)设定一常数2,若|Mode_cur1-Mode_45°|≤2,则将45°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(2)若|Mode_cur1-Mode_90°|≤2,则将90°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(3)若|Mode_cur1-Mode_0°|≤2,则将0°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域。
接着,检测右侧车道线候选区域,包括步骤:
S531:从I帧编码视频的右下角开始,依次从下往上,从右往左逐行扫描每个标准块,并将扫描到的标准块记为当前标准块;
S532:根据当前标准块所在的变换单元的标识flag_edge的取值判断是否为边缘块,若flag_edge=0,则继续扫描剩余标准块,直到发现边缘块,转到步骤S533;若flag_edge=1,则将扫描到的当前标准块作为起始块,并初始化右侧车道线候选区域;
S533:提取所述当前标准块和所述当前标准块的135°、90°和180°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur2、Mode_135°、Mode_90°、Mode_180°;
S534:根据方向优先级的搜索规则,按照设定的第二判定规则依次判断135°、90°和180°方向上的相邻标准块与当前标准块是否属于右侧车道线候选区域;
S535:对属于所述右侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S533和步骤S534,对所述右侧车道线候选区域进行进一步划分;
S536:判断是否存在所述相邻标准块满足所述第二判定规则,若不存在,则从所述起始块开始,继续从下往上,从右往左,扫描剩余的所述标准块,并重复步骤S532~S535,直到所有所述标准块全部被遍历,则结束对所述边缘检测图的右侧车道线的检测。
其中,在具体实施例中,根据所述第二判定规则判断135°、90°和180°方向上的所述相邻标准块与所述当前标准块是否属于右侧车道线候选区域的具体步骤为:
(1)设定一常数2,若|Mode_cur2-Mode_135°|≤2,则将135°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(2)若|Mode_cur2-Mode_90°|≤2,则将90°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(3)若|Mode_cur2-Mode_180°|≤2,则将180°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域。
再设定一阈值Thall,并计算第一候选区域内的所有标准块数量Numall1和第二候选区域内的所有标准块数量Numall2,若Numall1>Thall,则判定左侧车道线候选区域为左侧车道线区域,否则,左侧车道线候选区域不是左侧车道线区域;若Numall2>Thall,则判定右侧车道线候选区域为右侧车道线区域,否则,右侧车道线候选区域不是右侧车道线区域;
最后,根据上述步骤的判定结果求取包含左侧车道线区域的最小外接四边形和包含右侧车道线区域的的最小外接四边形,并标识出左侧车道线和右侧车道线,实现对车道线的检测:首先,从左侧车道线区域和右侧车道线区域中的所有标准块中找出最上面一行所有标准块中最左边的第一标准块和最右边的第二标准块,以及最下面一行所有标准块中最左边的第三标准块和最右边的第四标准块,具体包括如下步骤:
(1)计算左侧车道线区域和右侧车道线区域中所有标准块的坐标位置(xi,yi),并找出所有标准块中y坐标的最大值ymax和最小值ymin
(2)在y坐标为ymax的所有标准块中找出x坐标值最大的标准块Bru和x坐标值最小的标准块Blu
(3)在y坐标为ymin的所有标准块中找出x坐标值最大的标准块Brd和x坐标值最小的标准块Bld;然后,找出与所述标准块Blu左相邻的标准块B1,并计算标准块B1坐标B1(x1,y1);找出与标准块Bru右相邻的标准块B2,并计算标准块B2坐标B2(x2,y2);找出与标准块Bld左相邻的标准块B3,并计算标准块B3坐标B3(x3,y3);找出与标准块Bld右相邻的标准块B4,并计算标准块B4坐标B4(x4,y4);最后,连接坐标B1(x1,y1)、坐标B2(x2,y2)、坐标B3(x3,y3)和坐标B4(x4,y4),形成四边形,完成车道线的检测和标识,具体结果可参阅图7所示。
本发明的一种基于HEVC压缩视频的车道线检测方法,该方法首先从待处理的HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;再根据编码单元尺寸,分割出道路区域。然后,根据DCT系数得到边缘检测图,最后在边缘检测图的基础上,基于方向优先级搜索规则,利用帧内预测模式检测出车道线;与现有技术相比,本发明不需要对整个HEVC压缩视频进行视频解码,避免了不必要的视频解码过程,有效提升了计算效率。
以上仅为本发明的较佳实施例,但并不限制本发明的专利范围,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本发明专利保护范围之内。

Claims (8)

1.一种基于HEVC压缩视频的车道线检测方法,其特征在于,所述方法包括步骤:
S1:从HEVC压缩视频的码流中提取I帧编码视频的编码单元结构、变换单元结构、帧内预测模式及DCT系数;
S2:根据所述编码单元结构的尺寸,计算编码单元结构中每一行编码树单元的编码单元块数量,以实现对车道线道路区域的提取;
所述编码树单元中包括64×64、32×32、16×16和8×8大小的所述编码单元块;且步骤S2还包括步骤:
S21:计算每一行所述编码树单元中64×64、32×32、16×16和8×8大小的所述编码单元块的数量Num64、Num32、Num16和Num8
S22:根据8×8大小的所述编码单元块的数量Num8的取值是否为零判断每一行所述编码树单元是否为道路区域,其中,若Num8=0,则判定所述编码树单元所在行为非道路区域;若Num8≠0,计算
Figure FDA0003462777420000011
Figure FDA0003462777420000012
的值,其中,P16表示进一步划分为4个16×16大小的编码单元块的32×32大小编码单元块的数量,与没有进一步划分的32×32大小编码单元块的数量的比值;P8表示进一步划分为4个8×8大小的编码单元块的16×16大小编码单元块的数量,与没有进一步划分的16×16大小编码单元块的数量的比值;
S23:设定两个阈值Th16和Th8,判断P16与阈值Th16的大小以及P8与阈值Th8的大小,若P16<Th16且P8<Th8,则将所述I帧编码视频的所述编码树单元所在行判定为非道路区域;否则,在所述I帧编码视频中此行所述编码树单元及其以下的所有区域为道路区域;
S3:根据所述DCT系数中的交流分量确定所述变换单元结构中的变换单元块所对应的边缘模型;
S4:计算所有边缘块的边缘方向、边缘强度和边缘偏移量,以得到边缘检测图;
S5:采用基于方向优先级的搜索规则搜索边缘检测图,并基于帧内预测模式检测出车道线的具体位置。
2.根据权利要求1所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,所述交流分量包括F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2),所述边缘模型包括模型1、模型2、模型3、…、模型20共20种,且20种所述边缘模型分为T1、T2、T3、T4、T5共5类;其中,所述交流分量F(1,0)和F(0,1)与T1、T2、T3、T4、T5的关系可通过公式
Figure FDA0003462777420000021
表示;
所述交流分量F(1,0)、F(0,1)、F(1,1)、F(2,0)和F(0,2)与所述边缘模型之间的关系可通过公式
Figure FDA0003462777420000022
Figure FDA0003462777420000023
以及公式
Figure FDA0003462777420000024
表示。
3.根据权利要求2所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,所述模型1与所述模型2呈左对角线对称关系,且所述模型1的所述交流分量与所述模型2的所述交流分量满足关系:F(u,v)→F(v,u);所述模型2和模型5呈右对角线对称关系,且所述模型2的所述交流分量与所述模型5的所述交流分量满足关系:F(u,v)→(-1)u+vF(v,u);所述模型2和模型10、模型3和模型12、模型1和模型9、模型5和模型13以及模型17和模型18呈左右翻转对称关系,且呈左右翻转对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→(-1)u+1F(u,v);所述模型2和模型14、模型3和模型16、模型10和模型6、模型12和模型7以及模型19和模型20呈上下翻转对称关系,且呈上下翻转对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→(-1)v+1F(u,v);所述模型3和模型8、模型7和模型4、模型16和模型11以及模型12和模型15呈互补对称关系,且呈互补对称关系的每两个模型之间的所述交流分量满足关系:F(u,v)→-F(u,v)。
4.根据权利要求3所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,在步骤S3中,还包括步骤:
S31:对所述变换单元块设置标识flag_edge,并判断所述标识flag_edge的取值,若所述变换单元块对应某一所述边缘模型,即所述变换单元块为边缘块,则设置其flag_edge=1,并对所述边缘块设置参数边缘方向θ、边缘强度h和边缘偏移量d;若所述变换单元块不是所述边缘块,则设置其flag_edge=0。
5.根据权利要求4所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,在步骤S4中,还包括步骤:
S41:通过公式
Figure FDA0003462777420000031
Figure FDA0003462777420000032
和公式
Figure FDA0003462777420000033
计算所述模型2的边缘方向θ、边缘强度h和边缘偏移量d;
S42:通过公式
Figure FDA0003462777420000034
Figure FDA0003462777420000035
以及公式
Figure FDA0003462777420000036
计算所述模型3的边缘方向θ、边缘强度h和边缘偏移量d;
S43:通过公式θ=90°、
Figure FDA0003462777420000037
和公式
Figure FDA0003462777420000038
计算所述模型17的边缘方向θ、边缘强度h和边缘偏移量d;
S44:通过公式θ=0°、
Figure FDA0003462777420000039
和公式
Figure FDA00034627774200000310
计算所述模型19的边缘方向θ、边缘强度h和边缘偏移量d。
6.根据权利要求1~5任一项所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,在步骤S5中包括步骤:
S51:将64×64、32×32、16×16和8×8大小的所述编码单元块统一分割成4×4大小的标准块,且每个所述标准块的所述帧内预测模式等于每个所述标准块所在HEVC内预测单元的帧内预测模式;
S52:检测左侧车道线候选区域:
S521:从所述I帧编码视频的左下角开始,依次从下往上,从左往右逐行扫描每个所述标准块,扫描到的所述标准块记为当前标准块;
S522:根据所述当前标准块所在的变换单元的标识flag_edge的取值判断是否为所述边缘块,若flag_edge=0,则继续扫描剩余所述标准块,直到发现边缘块,转到步骤S523;若flag_edge=1,则将扫描到的所述当前标准块作为起始块,并初始化左侧车道线候选区域;
S523:提取所述当前标准块和所述当前标准块的45°、90°和0°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur1、Mode_45°、Mode_90°、Mode_0°;
S524:根据方向优先级的搜索规则,按照设定的第一判定规则依次判断45°、90°和0°方向上的所述相邻标准块与所述当前标准块是否属于左侧车道线候选区域;
S525:对属于所述左侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S523和步骤S524,对所述左侧车道线候选区域进行进一步划分;
S526:判断是否存在所述相邻标准块满足所述第一判定规则,若不存在,则从所述起始块开始,继续从下往上,从左往右,扫描剩余所述标准块,并重复步骤S522~S525,直到所有所述标准块全部被遍历,则结束对所述左侧车道线候选区域的检测;
S53:检测右侧车道线候选区域:
S531:从所述I帧编码视频的右下角开始,依次从下往上,从右往左逐行扫描每个所述标准块,并将扫描到的所述标准块记为当前标准块;
S532:根据所述当前标准块所在的变换单元的标识flag_edge的取值判断是否为所述边缘块,若flag_edge=0,则继续扫描剩余所述标准块,直到发现边缘块,转到步骤S533;若flag_edge=1,则将扫描到的所述当前标准块作为起始块,并初始化右侧车道线候选区域;
S533:提取所述当前标准块和所述当前标准块的135°、90°和180°方向上的相邻标准块的帧内预测模式,并依次记录为Mode_cur2、Mode_135°、Mode_90°、Mode_180°;
S534:根据方向优先级的搜索规则,按照设定的第二判定规则依次判断135°、90°和180°方向上的所述相邻标准块与所述当前标准块是否属于右侧车道线候选区域;
S535:对属于所述右侧车道线候选区域的所述相邻标准块进行扫描,并重复步骤S533和步骤S534,对所述右侧车道线候选区域进行进一步划分;
S536:判断是否存在所述相邻标准块满足所述第二判定规则,若不存在,则从所述起始块开始,继续从下往上,从右往左,扫描剩余的所述标准块,并重复步骤S532~S535,直到所有所述标准块全部被遍历,则结束对所述右侧车道线候选区域的检测;
S54:设定一阈值Thall,并计算所述左侧车道线候选区域内的所有所述标准块数量Numall和所述右侧车道线候选区域内的所有所述标准块数量Numall2,若Numall1>Thall,则判定所述左侧车道线候选区域为左侧车道线区域,否则,所述左侧车道线候选区域不是左侧车道线区域;若Numall2>Thall,则判定所述右侧车道线候选区域为右侧车道线区域,否则,所述右侧车道线候选区域不是右侧车道线区域;
S55:根据步骤S54的判定结果求取包含左侧车道线区域的最小外接四边形和包含右侧车道线区域的最小外接四边形,并标识出左侧车道线和右侧车道线,实现对车道线的检测。
7.根据权利要求6所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,根据所述第一判定规则判断45°、90°和0°方向上的所述相邻标准块与所述当前标准块是否属于左侧车道线候选区域的具体步骤为:
(1)设定一常数2,若|Mode_cur1-Mode_45°|≤2,则将45°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(2)若|Mode_cur1-Mode_90°|≤2,则将90°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
(3)若|Mode_cur1-Mode_0°|≤2,则将0°方向上的相邻标准块划为左侧车道线候选区域,否则划为非车道线候选区域;
根据所述第二判定规则判断135°、90°和180°方向上的所述相邻标准块与所述当前标准块是否属于右侧车道线候选区域的具体步骤为:
(31)设定一常数2,若|Mode_cur2-Mode_135°|≤2,则将135°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(32)若|Mode_cur2-Mode_90°|≤2,则将90°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域;
(33)若|Mode_cur2-Mode_180°|≤2,则将180°方向上的相邻标准块划为右侧车道线候选区域,否则划为非车道线候选区域。
8.根据权利要求6所述的一种基于HEVC压缩视频的车道线检测方法,其特征在于,步骤S55的具体过程包括步骤:
S551:从所述左侧车道线区域和右侧车道线区域中的所有所述标准块中,找出最上面一行所有标准块中最左边的第一标准块和最右边的第二标准块,以及最下面一行所有标准块中最左边的第三标准块和最右边的第四标准块:
(1)计算左侧车道线区域和右侧车道线区域中所有标准块的坐标位置(xi,yi),并找出所有所述标准块中y坐标的最大值ymax和最小值ymin
(2)在y坐标为ymax的所有标准块中找出x坐标值最大的标准块Bru和x坐标值最小的标准块Blu
(3)在y坐标为ymin的所有标准块中找出x坐标值最大的标准块Brd和x坐标值最小的标准块Bld
S552:找出与所述标准块Blu左相邻的标准块B1,并计算所述标准块B1坐标B1(x1,y1);找出与所述标准块Bru右相邻的标准块B2,并计算所述标准块B2坐标B2(x2,y2);找出与所述标准块Bld左相邻的标准块B3,并计算所述标准块B3坐标B3(x3,y3);找出与所述标准块Bld右相邻的标准块B4,并计算所述标准块B4坐标B4(x4,y4);
S553:连接坐标B1(x1,y1)、坐标B2(x2,y2)、坐标B3(x3,y3)和坐标B4(x4,y4),形成四边形,完成车道线的检测和标识。
CN201810984561.8A 2018-08-28 2018-08-28 一种基于hevc压缩视频的车道线检测方法 Active CN109086743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810984561.8A CN109086743B (zh) 2018-08-28 2018-08-28 一种基于hevc压缩视频的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810984561.8A CN109086743B (zh) 2018-08-28 2018-08-28 一种基于hevc压缩视频的车道线检测方法

Publications (2)

Publication Number Publication Date
CN109086743A CN109086743A (zh) 2018-12-25
CN109086743B true CN109086743B (zh) 2022-04-15

Family

ID=64794780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810984561.8A Active CN109086743B (zh) 2018-08-28 2018-08-28 一种基于hevc压缩视频的车道线检测方法

Country Status (1)

Country Link
CN (1) CN109086743B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632140A (zh) * 2013-11-27 2014-03-12 智慧城市系统服务(中国)有限公司 一种车道线检测方法及装置
CN103905818A (zh) * 2014-04-13 2014-07-02 浙江师范大学 基于霍夫变换的hevc标准中帧内预测模式快速确定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632140A (zh) * 2013-11-27 2014-03-12 智慧城市系统服务(中国)有限公司 一种车道线检测方法及装置
CN103905818A (zh) * 2014-04-13 2014-07-02 浙江师范大学 基于霍夫变换的hevc标准中帧内预测模式快速确定方法

Also Published As

Publication number Publication date
CN109086743A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN101957920B (zh) 基于数字视频的车牌查找方法
CN109145915B (zh) 一种复杂场景下车牌快速畸变矫正方法
CN100545858C (zh) 基于小波变换的复杂背景中的车牌提取方法
CN101916383B (zh) 基于多摄像机的车辆检测跟踪识别系统
CN100414560C (zh) 基于小波变换和雷登变换的车牌提取方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN104077756B (zh) 一种基于车道线置信度的方向滤波方法
US20120166080A1 (en) Method, system and computer-readable medium for reconstructing moving path of vehicle
CN103605977A (zh) 一种车道线的提取方法及装置
CN109919883B (zh) 一种基于灰度转换的交通视频数据获取方法
CN105608429B (zh) 基于差分激励的鲁棒车道线检测方法
CN110263635B (zh) 基于结构森林和PCANet的标志物检测与识别方法
CN109886175B (zh) 一种直线与圆弧相结合的车道线检测方法
CN103440785B (zh) 一种快速的车道偏移警示方法
Huang et al. Video stabilization for vehicular applications using SURF-like descriptor and KD-tree
CN101976340B (zh) 基于压缩域的车牌定位方法
CN111652033A (zh) 基于OpenCV的车道线检测方法
CN109086743B (zh) 一种基于hevc压缩视频的车道线检测方法
CN108269221B (zh) 一种jpeg重压缩图像篡改定位方法
CN103295003A (zh) 一种基于多特征融合的车辆检测方法
CN109815961A (zh) 一种基于局部纹理二值模式的路面修补类病害检测方法
Ma et al. Surveillance video coding with vehicle library
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
CN110414386B (zh) 基于改进scnn网络的车道线检测方法
CN112101163A (zh) 一种车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant