CN113989763A - 一种视频结构化分析方法和分析系统 - Google Patents

一种视频结构化分析方法和分析系统 Download PDF

Info

Publication number
CN113989763A
CN113989763A CN202111646515.5A CN202111646515A CN113989763A CN 113989763 A CN113989763 A CN 113989763A CN 202111646515 A CN202111646515 A CN 202111646515A CN 113989763 A CN113989763 A CN 113989763A
Authority
CN
China
Prior art keywords
feature map
target
video
structured
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111646515.5A
Other languages
English (en)
Other versions
CN113989763B (zh
Inventor
张志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Yunyan Shijie Technology Co ltd
Original Assignee
Jiangxi Yunyan Dashijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Yunyan Dashijie Technology Co ltd filed Critical Jiangxi Yunyan Dashijie Technology Co ltd
Priority to CN202111646515.5A priority Critical patent/CN113989763B/zh
Publication of CN113989763A publication Critical patent/CN113989763A/zh
Application granted granted Critical
Publication of CN113989763B publication Critical patent/CN113989763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种视频结构化分析方法和分析系统。该方法根据车载视频的特性，采用结构化目标的VGG模型提行人目标和车辆目标，根据HSV分量以及LBP纹理特征提取道路目标，可以防止随速度序列变化的道路特征影响其他特征的提取。同时，该方法采用双通道不同尺度的感知网络处理第一单帧图像，分别完成行人和车辆两种结构化目标的识别，可提高网络处理效率。

Description

一种视频结构化分析方法和分析系统
技术领域
本发明涉及视频处理技术，特别是涉及一种视频结构化分析方法和分析系统。
背景技术
在车辆行驶中需要对复杂的道路环境（包括大量车辆、行人的环境）进行分析，提取结构化特征，以支持驾驶者的判断以及进一步建立例如视频大数据等结构化平台。CN110659384A公开了一种结构化分析的方法，通过视频获取目标以及利用现有的目标检测框架检测被关注的目标主体。该方案适用于单一的目标主体，多类主体目标会降低系统响应速度。在例如行车记录仪等随车视频设备中，处理效率是重要考核指标。视频的多通道处理技术可以提高运算效率，如CN110769257A的那种智能视频结构化分析装置。在该装置中，多个ASIC芯片用于使用神经网络算法对同时输入的至少一路视频序列进行特征提取，以获取所需的结构化信息并将其输出至FPGA芯片。不同的结构化目标对视频帧的要求不同，在ASIC芯片处理前应当分割视频序列的帧。因此，需要提出一种高效的视频结构化分析方法，用于在复杂道路环境下对场景中的车辆、行人的数量进行分析，以帮助驾驶者判断该道路环境的车辆及行人，进而协助驾驶者作出驾驶决策。
发明内容
本发提供了一种视频结构化分析方法和分析系统，采用双通道多尺度结构的神经网络对视频进行结构化分析，提高结构化目标的识别效率。进一步的，本发明还改进了视频序列关键帧的提取，由可变的时钟参数确定关键帧位置，便于系统自适应学习。
本发明的目的可以采用以下技术方案实现：
一种视频结构化分析方法，其特征在于，包括以下步骤：
步骤1：获取载体移动的速度序列以及载体外侧的视频序列，所述视频序列包括行人目标、车辆目标和道路目标；
步骤2：预设时间间隔t1，根据该时间间隔t1从视频序列中提取第一单帧图像it；
步骤3：采用基于第一结构化目标的VGG模型提取第一单帧图像it的第一原始特征图f1，通过第一卷积运算获得第一感知特征图p1；
步骤4：通过对第一感知特征图p1线性上采样操作获得与第一原始特征图f1分辨率相同的第一尺度感知特征图s1，再根据第一尺度感知特征图s1与第一原始特征图f1的差值生成第一结构化特征图c1，c1＝s1－f1；
步骤5：采用基于第二结构化目标的VGG模型提取第一单帧图像it的第二原始特征图f2，通过第二卷积运算获得第二感知特征图p2；
步骤6：通过对第二感知特征图p2线性上采样操作获得与第二原始特征图f2分辨率相同的第二尺度感知特征图s2，再根据第二尺度感知特征图s2与第二原始特征图f2的差值生成第二结构化特征图c2，c2＝s2－f2；
步骤7：预设位移间隔，根据速度序列确定载体移动该位移间隔所花的时间间隔t2，根据时间间隔t2从视频序列中提取第二单帧图像is；
步骤8：根据第二单帧图像is获得道路特征；
步骤9：根据第一结构化特征图c1的行人特征、第二结构化特征图c2的车辆特征以及道路特征确定视频序列的道路目标、行人目标和车辆目标。
在本发明中，通过训练多个行人图像数据，获得基于第一结构化目标的VGG模型，通过训练多个车辆图像数据，获得基于第二结构化目标的VGG模型。
在本发明中，在步骤8中，采集第二单帧图像is的H色调分量、S饱和度分量、V明度分量以及LBP纹理特征，根据由H色调分量、S饱和度分量以及V明度分量组成的HSV三维直方图和LBP纹理特征分析道路特征。
在本发明中，还包括步骤10：根据所述道路目标的结构以及行人目标和车辆目标的数量确定载体的速度阈值，显示该速度阈值。
在本发明中，还包括步骤11：提取所述行人目标的第一属性和车辆目标的第二属性，根据该第一属性跟踪所述行人目标，根据该第二属性跟踪所述车辆目标。
在本发明中，在步骤2中，第一伪时钟调整视频序列的时钟参数，第一伪时钟至少从第一单帧图像、第一结构化特征图、第二结构化特征图中获得调整基准。
在本发明中，在步骤7中，第二伪时钟至少从第二单帧图像中获得调整基准，并由该调整基准调整视频序列。
一种视频结构化分析系统，其特征在于，包括：
移动载体，该移动载体设有速度传感单元以及摄像单元，摄像单元用于获取视频序列，速度传感单元用于获取速度序列，所述视频序列包括道路目标、行人目标和车辆目标；
第一图像提取单元，第一图像提取单元根据预设的时间间隔t1从视频序列中提取第一单帧图像it；
第一卷积处理单元，采用基于第一结构化目标的VGG模型提取单帧图像it的第一原始特征图f1，通过第一卷积运算获得具有行人特征的第一感知特征图p1；
第一特征提取单元，通过对第一感知特征图p1线性上采样操作获得与第一原始特征图f1分辨率相同的第一尺度感知特征图s1，再根据第一尺度感知特征图s1与第一原始特征图f1的差值生成第一结构化特征图c1，c1＝s1－f1；
第二卷积处理单元，采用基于第二结构化目标的VGG模型提取单帧图像it的第二原始特征图f2，通过第二卷积运算获得具有车辆特征的第二感知特征图p2；
第二特征提取单元，通过对第二感知特征图p2线性上采样操作获得与第二原始特征图f2分辨率相同的第二尺度感知特征图s2，再根据第二尺度感知特征图s2与第二原始特征图f2的差值生成第二结构化特征图c2，c2＝s2－f2；
第二图像提取单元，根据速度序列确定载体移动预设的位移间隔所花的时间间隔t2，并根据时间间隔t2从视频序列中提取第二单帧图像is；
第三特征提取单元，根据第二单帧图像is获得道路特征；
结构化分析单元，根据第一结构化特征图c1的行人特征、第二结构化特征图c2的车辆特征以及道路特征确定视频序列的道路目标、行人目标和车辆目标。
在本发明中，该视频结构化分析系统还包括固定时钟、第一伪时钟和第二伪时钟，固定时钟连接至摄像单元，第一伪时钟连接至第一图像提取单元，第二伪时钟连接至第二图像提取单元。
本发明的有益效果在于：根据车载视频的特性分别提取道路目标和其他目标，防止随速度序列变化的道路特征影响其他特征的提取。采用双通道处理第一单帧图像，分别完成行人和车辆两种结构化目标的识别，可提高网络处理效率。针对不同的目标引入不同尺度的卷积核，可实现高效率的数量统计工作。本发明进一步改进了关键帧的提取。第一单帧图像的关键帧提取与时间间隔以及前一周期的第一单帧图像的像素特征有关，图像的像素特征越复杂，关键帧的提取周期越短。第二单帧图像的关键帧提取还与行车速度有关，便于系统根据行车速度实时跟踪道路特征。
附图说明
图1为本发明的视频结构化分析方法流程图；
图2为本发明实施例所述的图像卷积处理流程图；
图3为本发明的视频结构化分析方法的原理图；
图4为本发明的视频结构化分析系统框图；
图5为本发明的调整视频序列的时钟参数的示意图；
图6为本发明的视频序列调整前后的关键帧周期对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
参考附图1至3，本发明的视频结构化分析方法，通过同时提取并分析行人、车辆、道路的特征从而判断当前道路的情况，包括以下步骤：
步骤1：移动载体（例如新能源汽车或燃油汽车）上设有摄像单元（例如行车记录仪）和速度传感单元。摄像单元获取移动载体所在环境的视频，该视频记录有移动载体所处环境的行人目标、车辆目标和道路目标。摄像单元将视频按时间顺序排列为视频序列进行存储。速度传感单元用于获取移动载体的速度，并按时间顺序排列为速度序列进行存储。通常由内置的固定时钟提供时间顺序，这种固定时钟通常是固定频率振荡电路。
步骤2：每间隔t1，第一图像提取单元将从所述视频序列中提取一第一单帧图像it，并将该图像同时发送至第一卷积处理单元和第二卷积处理单元。由于视频中的行人和车辆的密度和移动速度不断变化，第一单帧图像的选取周期直接影响分析精度。人为调整间隔t1给机器学习带来意外参数，系统的自适应调整难度增加。为此，发明人提出新的方案，即通过第一伪时钟根据第一视频参数调整视频序列。调整后的视频序列的单帧间隔发生变化，适应不同行人和车辆环境。由于该第一视频参数可以从视频序列以及在先的第一结化特征图和第二结构化特征图中获得，契合机器学习的闭环要求，避免过多的人为干预。
在本实施例中，固定时钟提供的固定周期的时钟参数例如 QUOTE
Figure 639187DEST_PATH_IMAGE002
Figure 228431DEST_PATH_IMAGE003
，由该固定时钟确定的视频序列为 QUOTE
Figure 696584DEST_PATH_IMAGE005
Figure 29476DEST_PATH_IMAGE005
。从像素特征中获得时钟参数的调整基准，像素特征来源于第一单帧图 像、第一结化特征图和第二结构化特征图。由多个像素特征确定的可变周期的第一伪时钟 的时钟参数例如 QUOTE
Figure 30799DEST_PATH_IMAGE007
Figure 587683DEST_PATH_IMAGE008
。需要说明的是，第一 伪时钟不是现有的时钟发生器，也并非固定频率谐振电路，而是模拟固定时钟的可变频率 信号发生器，由谐振电路的定频信号压缩获得的变频信号。算法可以表示为 QUOTE
Figure 792399DEST_PATH_IMAGE010
Figure 414135DEST_PATH_IMAGE011
。 QUOTE
Figure 20697DEST_PATH_IMAGE013
Figure 997749DEST_PATH_IMAGE014
为第一单帧图像的像素在 QUOTE
Figure 689762DEST_PATH_IMAGE016
Figure 849610DEST_PATH_IMAGE016
尺度下高斯二阶导数的积（例如用SURF算法 确定）， QUOTE
Figure 107416DEST_PATH_IMAGE018
Figure 474944DEST_PATH_IMAGE018
表示第一结化特征图和第二结构化特征图的多个局部特征值， QUOTE
Figure 637940DEST_PATH_IMAGE020
Figure 850747DEST_PATH_IMAGE020
为对应权重， QUOTE
Figure 182634DEST_PATH_IMAGE022
Figure 252221DEST_PATH_IMAGE022
为经验调整参数，用于调整系统灵敏度。需要说明 的是，本发明不限制第一伪时钟的调整算法，在另一实施例中，也可以采用图像曲率特征 （curvature）的加权公式作为调整算法。
步骤3：第一卷积处理单元首先采用基于第一结构化目标的VGG模型对第一单帧图像it进行处理。该基于第一结构化目标的VGG模型为预先使用大量图像训练得到的能够识别行人的模型，可快速识别输入图像中含有行人目标的图像并从该含有行人目标的图像中提取出行人特征。第一单帧图像it经过基于第一结构化目标的VGG模型处理，得到含有行人特征的第一原始特征图f1。
对于含有行人特征的第一原始特征图f1，第一卷积处理单元使用第一卷积运算继 续对其进行进一步的处理，以得到第一感知特征图p1。.为确保对较小的行人目标也有较强 的特征表达能力，第一卷积运算使用3*3的卷积核。该处理过程可用公式 QUOTE
Figure 168093DEST_PATH_IMAGE024
Figure 919011DEST_PATH_IMAGE026
表示，其中， QUOTE
Figure 151410DEST_PATH_IMAGE028
Figure 345893DEST_PATH_IMAGE029
为利用3*3的卷积核对第一原始特征图f1进行均值归一化操作， QUOTE
Figure DEST_PATH_IMAGE031
Figure 421165DEST_PATH_IMAGE031
为 再次使用一大小为3*3的卷积核 QUOTE
Figure DEST_PATH_IMAGE033
Figure 726507DEST_PATH_IMAGE033
进行卷积改变其特征维度。
步骤4：经过卷积运算获得的具有行人特征的第一感知特征图p1，其分辨率与第一 原始特征图f1相比降低许多。为方便后续操作，第一特征提取单元首先使用双线性插值法 进行上采样，将第一感知特征图p1还原到与第一原始特征图f1分辨率一样的大小，得到第一 尺度感知特征图s1。经线性上采样操作后，通过计算第一尺度感知特征图s1与第一原始特征 图f1的差值 QUOTE
Figure 751095DEST_PATH_IMAGE035
Figure 428064DEST_PATH_IMAGE035
，可得到由行人目标和其邻近单元的像素特征构成的有视 觉显著性的第一结构化特征图c1，c1＝s1－f1。
步骤5：在第一卷积处理单位开始对第一单帧图像it进行处理获取行人特征的同时，第二卷积处理单元开始处理第一单帧图像it以获取车辆特征。对于第一单帧图像it，第二卷积处理单元首先采用基于第二结构化目标的VGG模型进行处理。同样地，基于第二结构化目标的VGG模型已预先使用大量图像训练，可快速识别含有车辆目标的输入图像并从中提取出车辆特征。第一单帧图像it经过基于第二结构化目标的VGG模型处理，得到含有车辆特征的第二原始特征图f2。
对于含有车辆特征的第二原始特征图f2，第二卷积处理单元使用第二卷积运算继续对其进行进一步的处理，以得到第二感知特征图p2。由于在道路场景中，车辆类物体相对行人而言目标更大，使用更大的感受野能更全面地提取车辆特征，因此第二卷积运算使用空洞卷积提取车辆特征，在不引入额外参数的情况下扩大感受野。该卷积过程可表示为：
Figure 787370DEST_PATH_IMAGE037
其中， QUOTE
Figure 942407DEST_PATH_IMAGE039
Figure 103393DEST_PATH_IMAGE039
为空洞卷积在图像像素 QUOTE
Figure DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE043
处的输出，卷积核大小为M*N，r为空洞卷积参数空洞率，表示 QUOTE
Figure DEST_PATH_IMAGE045
Figure 482421DEST_PATH_IMAGE045
表示使用大小为M*N的卷积核在i和j表示相应位置上进行卷积运算。在本实施例 中，为较好地表达车辆特征，M*N的取值为7*7。经过第二卷积运算后，得到具有车辆特征的 第二感知特征图p2。
步骤6：为方便后续操作，第二特征提取单元首先使用双线性插值法进行上采样， 将第二感知特征图p2还原到与第二原始特征图f2分辨率一样的大小，得到第二尺度感知特 征图s2。计算第二尺度感知特征图s2与第二原始特征图f2的差值 QUOTE
Figure DEST_PATH_IMAGE047
Figure 576628DEST_PATH_IMAGE047
，得到 由车辆目标和其邻近单元的像素特征构成的有视觉显著性的第二结构化特征图c2，c2＝ s2－f2。
步骤7：由于载体移动过程中速度时常发生变化，为获取较有规律的道路特征，本发明以固定位移间隔为标准分析道路特征。第二图像提取单元内有位移间隔，可访问速度传感单元中的速度序列并计算载体移动该位移间隔需要的时间间隔t2。每间隔t2，第二图像提取单元从视频序列中提取一第二单帧图像is。第二伪时钟至少从第二单帧图像中获得调整基准，并由该调整基准调整视频序列。调整基准至少包括第二单帧图像的色调分量、饱和度分量、明度分量以及纹理特征的加权值。
步骤8：第三特征提取单元用以提取第二单帧图像is中的道路特征。在本实施例中，第三特征提取单元利用现有图像处理软件（例如OpenCV）对第二单帧图像is的H色调分量、S饱和度分量、V明度分量以及LBP纹理特征进行分析，并绘制由H色调分量、S饱和度分量以及V明度分量组成的HSV三维直方图。LBP纹理特征提取的是图像的局部信息，可反映道路的结构特征；HSV三维直方图提取的为图像的全局信息，可反映道路的颜色特征，结合这两者能够更加全面地表达道路特征。
步骤9：结构化分析单元获取上述步骤中提取的行人、车辆、道路的特征。根据第一结构化特征图c1的至少一个的行人特征、第二结构化特征图c2的至少一个的车辆特征以及HSV三维直方图和LBP纹理表达的道路特征，在本实施例中，结构化分析单元可利用计数算法统计移动载体所在道路环境中行人数量、车辆数量，分析道路具体结构。
步骤10：结构化分析单元可使用已知程序（例如使用Python、Java等编程语言编写的程序），据移动载体所在道路环境中的行人数量、车辆数量以及道路具体结构自动计算在当前道路上载体移动速度的阈值，并显示该速度阈值，可协助驾驶者作出驾驶决策。
步骤11：在本实施例中，处理第一单帧图像it和第二单帧图像is时，除提取行人目标数量、车辆目标数量及道路结构用以分析移动载体在当前道路环境下速度的阈值外，还可用以提取所述行人目标的第一属性和车辆目标的第二属性，根据该第一属性跟踪所述行人目标，根据该第二属性跟踪所述车辆目标。例如提取行人目标的面部特征属性可用于帮助寻找走失人口等、提取车辆目标的车牌字符特征属性可用于追踪车辆轨迹等。
如图4所示的本发明这种视频结构化分析系统，包括移动载体、第一图像提取单元、第一卷积处理单元、第一特征提取单元、第二卷积处理单元、第二特征提取单元、第二图像提取单元、第三特征提取单元以及结构化分析单元、固定时钟、第一伪时钟和第二伪时钟。
固定时钟连接至摄像单元，摄像单元根据该固定时钟的固定时钟信号流排列多个帧，形成视频序列。根据行人和车辆的像素变化，第一伪时钟用于调整视频序列的时钟参数。第一图像提取单元根据预设的时间间隔t1，从移动载体上的摄像单元所存储的视频序列中提取第一单帧图像it并将该图像同时发送至第一卷积处理单元和第二卷积处理单元。第一卷积处理单元采用基于第一结构化目标的VGG模型提取单帧图像it中含有行人目标的第一原始特征图f1，对第一原始特征图f1继续进行第一卷积运算获得具有行人特征的第一感知特征图p1。第一特征提取单元通过对第一感知特征图p1线性上采样操作获得与第一原始特征图f1分辨率相同的第一尺度感知特征图s1，再根据第一尺度感知特征图s1与第一原始特征图f1的差值生成第一结构化特征图c1，c1＝s1－f1。与此同时，第二卷积处理单元，采用基于第二结构化目标的VGG模型提取单帧图像it中含有车辆目标的第二原始特征图f2，对第二原始特征图f2继续进行第二卷积运算获得具有车辆特征的第二感知特征图p2。第二特征提取单元通过对第二感知特征图p2线性上采样操作获得与第二原始特征图f2分辨率相同的第二尺度感知特征图s2，再根据第二尺度感知特征图s2与第二原始特征图f2的差值生成第二结构化特征图c2，c2＝s2－f2。
根据道路的像素变化，第二伪时钟调整视频序列的时钟参数。第二图像提取单元根据速度序列确定载体移动预设的位移间隔需花的时间t2，并根据时间间隔t2从视频序列中提取第二单帧图像is。第三特征提取单元采集第二单帧图像is的H色调分量、S饱和度分量、V明度分量以及LBP纹理特征，根据由H色调分量、S饱和度分量以及V明度分量组成的HSV三维直方图和LBP纹理特征获得道路特征。结构化分析单元根据第一结构化特征图c1的至少一个的行人特征、第二结构化特征图c2的至少一个的车辆特征以及道路特征，确定视频序列的道路目标、行人目标和车辆目标。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频结构化分析方法，其特征在于，包括以下步骤：
步骤1：获取载体移动的速度序列以及载体外侧的视频序列，所述视频序列包括行人目标、车辆目标和道路目标；
步骤2：预设时间间隔t1，根据该时间间隔t1从视频序列中提取第一单帧图像it；
步骤3：采用基于第一结构化目标的VGG模型提取第一单帧图像it的第一原始特征图f1，通过第一卷积运算获得第一感知特征图p1；
步骤4：通过对第一感知特征图p1线性上采样操作获得与第一原始特征图f1分辨率相同的第一尺度感知特征图s1，再根据第一尺度感知特征图s1与第一原始特征图f1的差值生成第一结构化特征图c1，c1＝s1－f1；
步骤5：采用基于第二结构化目标的VGG模型提取第一单帧图像it的第二原始特征图f2，通过第二卷积运算获得第二感知特征图p2；
步骤6：通过对第二感知特征图p2线性上采样操作获得与第二原始特征图f2分辨率相同的第二尺度感知特征图s2，再根据第二尺度感知特征图s2与第二原始特征图f2的差值生成第二结构化特征图c2，c2＝s2－f2；
步骤7：预设位移间隔，根据速度序列确定载体移动该位移间隔所花的时间间隔t2，根据时间间隔t2从视频序列中提取第二单帧图像is；
步骤8：根据第二单帧图像is获得道路特征；
步骤9：根据第一结构化特征图c1的行人特征、第二结构化特征图c2的车辆特征以及道路特征确定视频序列的道路目标、行人目标和车辆目标。
2.根据权利要求1所述的视频结构化分析方法，其特征在于，通过训练多个行人图像数据，获得基于第一结构化目标的VGG模型，通过训练多个车辆图像数据，获得基于第二结构化目标的VGG模型。
3.根据权利要求1所述的视频结构化分析方法，其特征在于，在步骤8中，采集第二单帧图像is的H色调分量、S饱和度分量、V明度分量以及LBP纹理特征，根据由H色调分量、S饱和度分量以及V明度分量组成的HSV三维直方图和LBP纹理特征分析道路特征。
4.根据权利要求1所述的视频结构化分析方法，其特征在于，还包括步骤10：根据所述道路目标的结构以及行人目标和车辆目标的数量确定载体的速度阈值，显示该速度阈值。
5.根据权利要求1所述的视频结构化分析方法，其特征在于，还包括步骤11：提取所述行人目标的第一属性和车辆目标的第二属性，根据该第一属性跟踪所述行人目标，根据该第二属性跟踪所述车辆目标。
6.根据权利要求1所述的视频结构化分析方法，其特征在于，在步骤2中，第一伪时钟调整视频序列的时钟参数，第一伪时钟至少从第一单帧图像、第一结构化特征图、第二结构化特征图中获得调整基准。
7.根据权利要求1所述的视频结构化分析方法，其特征在于，在步骤7中，第二伪时钟至少从第二单帧图像中获得调整基准，并由该调整基准调整视频序列。
8.一种视频结构化分析系统，其特征在于，包括：
移动载体，该移动载体设有速度传感单元以及摄像单元，摄像单元用于获取视频序列，速度传感单元用于获取速度序列，所述视频序列包括道路目标、行人目标和车辆目标；
第一图像提取单元，第一图像提取单元根据预设的时间间隔t1从视频序列中提取第一单帧图像it；
第一卷积处理单元，采用基于第一结构化目标的VGG模型提取单帧图像it的第一原始特征图f1，通过第一卷积运算获得具有行人特征的第一感知特征图p1；
第一特征提取单元，通过对第一感知特征图p1线性上采样操作获得与第一原始特征图f1分辨率相同的第一尺度感知特征图s1，再根据第一尺度感知特征图s1与第一原始特征图f1的差值生成第一结构化特征图c1，c1＝s1－f1；
第二卷积处理单元，采用基于第二结构化目标的VGG模型提取单帧图像it的第二原始特征图f2，通过第二卷积运算获得具有车辆特征的第二感知特征图p2；
第二特征提取单元，通过对第二感知特征图p2线性上采样操作获得与第二原始特征图f2分辨率相同的第二尺度感知特征图s2，再根据第二尺度感知特征图s2与第二原始特征图f2的差值生成第二结构化特征图c2，c2＝s2－f2；
第二图像提取单元，根据速度序列确定载体移动预设的位移间隔所花的时间间隔t2，并根据时间间隔t2从视频序列中提取第二单帧图像is；
第三特征提取单元，根据第二单帧图像is获得道路特征；
结构化分析单元，根据第一结构化特征图c1的行人特征、第二结构化特征图c2的车辆特征以及道路特征确定视频序列的道路目标、行人目标和车辆目标。
9.根据权利要求8所述的视频结构化分析系统，其特征在于，该视频结构化分析系统还包括固定时钟、第一伪时钟和第二伪时钟， 固定时钟连接至摄像单元，第一伪时钟连接至第一图像提取单元，第二伪时钟连接至第二图像提取单元。
CN202111646515.5A 2021-12-30 2021-12-30 一种视频结构化分析方法和分析系统 Active CN113989763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111646515.5A CN113989763B (zh) 2021-12-30 2021-12-30 一种视频结构化分析方法和分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111646515.5A CN113989763B (zh) 2021-12-30 2021-12-30 一种视频结构化分析方法和分析系统

Publications (2)

Publication Number Publication Date
CN113989763A true CN113989763A (zh) 2022-01-28
CN113989763B CN113989763B (zh) 2022-04-15

Family

ID=79734945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111646515.5A Active CN113989763B (zh) 2021-12-30 2021-12-30 一种视频结构化分析方法和分析系统

Country Status (1)

Country Link
CN (1) CN113989763B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448265A (zh) * 2016-10-27 2017-02-22 广州微牌智能科技有限公司 司机驾驶行为数据的采集方法及装置
CN106503627A (zh) * 2016-09-30 2017-03-15 西安翔迅科技有限责任公司 一种基于视频分析的车辆避让行人检测方法
CN106778517A (zh) * 2016-11-25 2017-05-31 河南高速公路驻信段改扩建工程有限公司 一种监控视频序列图像车辆再识别的方法
CN106845547A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN108197623A (zh) * 2018-01-19 2018-06-22 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108304787A (zh) * 2018-01-17 2018-07-20 河南工业大学 基于卷积神经网络的道路目标检测方法
CN108460348A (zh) * 2018-02-12 2018-08-28 杭州电子科技大学 基于三维模型的道路目标检测方法
CN110427839A (zh) * 2018-12-26 2019-11-08 西安电子科技大学 基于多层特征融合的视频目标检测方法
CN110659384A (zh) * 2018-06-13 2020-01-07 杭州海康威视数字技术股份有限公司 视频结构化分析方法及装置
CN110826632A (zh) * 2019-11-11 2020-02-21 深圳前海微众银行股份有限公司 图像变化检测方法、装置、设备及计算机可读存储介质
CN111008562A (zh) * 2019-10-31 2020-04-14 北京城建设计发展集团股份有限公司 一种特征图深度融合的人车目标检测方法
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111414909A (zh) * 2020-03-16 2020-07-14 上海富瀚微电子股份有限公司 一种目标检测方法和装置
CN111738056A (zh) * 2020-04-27 2020-10-02 浙江万里学院 一种基于改进YOLO v3的重卡盲区目标检测方法
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知系统及其使用方法
CN113033604A (zh) * 2021-02-03 2021-06-25 淮阴工学院 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503627A (zh) * 2016-09-30 2017-03-15 西安翔迅科技有限责任公司 一种基于视频分析的车辆避让行人检测方法
CN106448265A (zh) * 2016-10-27 2017-02-22 广州微牌智能科技有限公司 司机驾驶行为数据的采集方法及装置
CN106778517A (zh) * 2016-11-25 2017-05-31 河南高速公路驻信段改扩建工程有限公司 一种监控视频序列图像车辆再识别的方法
CN106845547A (zh) * 2017-01-23 2017-06-13 重庆邮电大学 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN108304787A (zh) * 2018-01-17 2018-07-20 河南工业大学 基于卷积神经网络的道路目标检测方法
CN108197623A (zh) * 2018-01-19 2018-06-22 百度在线网络技术（北京）有限公司 用于检测目标的方法和装置
CN108460348A (zh) * 2018-02-12 2018-08-28 杭州电子科技大学 基于三维模型的道路目标检测方法
CN110659384A (zh) * 2018-06-13 2020-01-07 杭州海康威视数字技术股份有限公司 视频结构化分析方法及装置
CN110427839A (zh) * 2018-12-26 2019-11-08 西安电子科技大学 基于多层特征融合的视频目标检测方法
CN111008562A (zh) * 2019-10-31 2020-04-14 北京城建设计发展集团股份有限公司 一种特征图深度融合的人车目标检测方法
CN110826632A (zh) * 2019-11-11 2020-02-21 深圳前海微众银行股份有限公司 图像变化检测方法、装置、设备及计算机可读存储介质
CN111179177A (zh) * 2019-12-31 2020-05-19 深圳市联合视觉创新科技有限公司 图像重建模型训练方法、图像重建方法、设备及介质
CN111414909A (zh) * 2020-03-16 2020-07-14 上海富瀚微电子股份有限公司 一种目标检测方法和装置
CN111738056A (zh) * 2020-04-27 2020-10-02 浙江万里学院 一种基于改进YOLO v3的重卡盲区目标检测方法
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知系统及其使用方法
CN113033604A (zh) * 2021-02-03 2021-06-25 淮阴工学院 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDRAS PALFFY等: "CNN Based Road User Detection Using the 3D Radar Cube", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
PENG SUN等: "Challenges of Designing Computer Vision-Based Pedestrian Detector for Supporting Autonomous Driving", 《2019 IEEE 16TH INTERNATIONAL CONFERENCE ON MOBILE AD HOC AND SENSOR SYSTEMS (MASS)》 *
王萍萍等: "基于 YOLOv3 的车辆多目标检测", 《科技与创新》 *
黄福蓉: "用于实时道路场景的语义分割算法 CBR-ENet", 《中国电子科学研究院学报》 *

Also Published As

Publication number Publication date
CN113989763B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111126258B (zh) 图像识别方法及相关装置
EP2864933B1 (en) Method, apparatus and computer program product for human-face features extraction
CN111898523A (zh) 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN109636771B (zh) 基于图像处理的飞行目标检测方法及系统
CN101828201A (zh) 图像处理装置及方法、学习装置及方法以及程序
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN110678873A (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN109034136A (zh) 图像处理方法、装置、摄像设备及存储介质
CN111079669A (zh) 一种图像处理方法、装置及存储介质
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN112528939A (zh) 一种人脸图像的质量评价方法及装置
CN112949453A (zh) 烟火检测模型的训练方法、烟火检测方法及设备
CN112613434A (zh) 道路目标检测方法、装置及存储介质
CN112288031A (zh) 交通信号灯检测方法、装置、电子设备和存储介质
CN110751670B (zh) 一种基于融合的目标跟踪方法
CN113989763B (zh) 一种视频结构化分析方法和分析系统
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置
CN113344905B (zh) 一种带材跑偏量检测方法及系统
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质
CN112861608A (zh) 一种分心驾驶行为的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 330096 North Area, Floor 5, Science and Innovation Incubation Building, Innovation Workshop, No. 1189, Jingdong Avenue, Nanchang High-tech Industrial Development Zone, Nanchang City, Jiangxi Province

Patentee after: Jiangxi Yunyan Shijie Technology Co.,Ltd.

Address before: 330000 room 911, building a, Taihao science and Technology Plaza, 3088 Ziyang Avenue, Nanchang high tech Industrial Development Zone, Nanchang City, Jiangxi Province

Patentee before: JIANGXI YUNYAN DASHIJIE TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address