CN116580370A - 一种针对道路试验车图像信息的抽帧方法和系统 - Google Patents

一种针对道路试验车图像信息的抽帧方法和系统 Download PDF

Info

Publication number
CN116580370A
CN116580370A CN202310409282.XA CN202310409282A CN116580370A CN 116580370 A CN116580370 A CN 116580370A CN 202310409282 A CN202310409282 A CN 202310409282A CN 116580370 A CN116580370 A CN 116580370A
Authority
CN
China
Prior art keywords
frame
frames
key
image information
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310409282.XA
Other languages
English (en)
Inventor
程昊
万龙
曹东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Sagittarius Integration Co Ltd
Original Assignee
South Sagittarius Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Sagittarius Integration Co Ltd filed Critical South Sagittarius Integration Co Ltd
Priority to CN202310409282.XA priority Critical patent/CN116580370A/zh
Publication of CN116580370A publication Critical patent/CN116580370A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种针对道路试验车图像信息的抽帧方法，包括：获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；根据设定的阈值和计算的指标，对关键帧进行标记；根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；根据神经网络模型，对无关键目标帧进行标记；根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。本发明高度适应自动驾驶的业务场景，能更为有效地解决存储端的数据冗余问题。解放有限的人力资源，进而提高整个自动驾驶工具链的执行效率。并且针对不同内容区段的图像场景进行分治化处理，抽帧结果可信性更强。

Description

一种针对道路试验车图像信息的抽帧方法和系统
技术领域
本发明涉及的是视频通讯领域，特别涉及一种针对道路试验车图像信息的抽帧方法和系统。
背景技术
在业界不断探索高阶自动驾驶的业务背景下，道路试验车所采集的图像数据大小相比L1/L2自动驾驶阶段有了飞跃式提升，图像数据存储管理压力较大，同时也为数据存储服务器带来了更大的开销。
由于图像数据中，并非所有帧信息中都包含有价值的目标物体信息，同时，由于车辆所采集的图像数据在时间上具有连贯性，相邻帧的目标物体信息可能出现高度近似甚至完全重合的现象，这一现象在采集车辆、视野范围内被观测目标相对静止或移动速度缓慢时尤为明显，这些高相似的图像数据提供的信息增益相对较少，但占用的存储资源非常可观，因此需要提供一种识别手段对上述场景进行判断，有效过滤相似帧与无关键目标帧。
在此之前，业界提出过若干关于图像重复帧识别或关键帧提取的技术，落地场景基本聚焦在视频监控或安防领域，其对目标物体价值的判断方式与自动驾驶道路试验车的数据采集场景相比存在明显差异，在传统的视频监控或安防领域，关注点普遍聚焦于有人出现的场景，而对于道路试验车采集的图像数据而言，除行人外，各类机动车、非机动车、其他障碍物与交通标识目标也在关注对象之列，每个目标物体的位置是否出现了显著的位移、旋转或形变均是潜在的判断依据。因此，亟需一种针对道路试验车图像信息的抽帧方法和系统。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种针对道路试验车图像信息的抽帧方法和系统。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种针对道路试验车图像信息的抽帧方法，包括：
S100.获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
S200.根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；
S300.根据设定的阈值和计算的指标，对关键帧进行标记；
S400.根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；
S500.根据神经网络模型，对无关键目标帧进行标记；
S600.根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。进一步地，S100中，在道路试验车图像信息中标记候选关键帧的方法包括：
S101.对道路试验车图像按每秒一帧的比例进行抽样，选取每秒首帧作为代表帧，将所有代表帧组成简化数据集，在简化数据集中，以时间秒数作为各代表帧的索引；
S102.对选取的代表帧，使用聚类方式将图像数据按灰度直方图分为特征分簇；
S103.按生成时间对简化数据集进行排序，对于时间维度上不连续的簇，将此类簇分别按时间连续性进一步划分为多个簇，确保划分后的每个簇在时间维度上均保持连续；
S104.以像素点差的平方和为距离度量，对每个簇中的代表帧计算聚类中心，将聚类中心对应的帧标记为候选关键帧。
进一步地，S200中，基于实际需求，对相关阈值设定，相关阈值包括：
像素灰度差值阈值Tpd：用于判断帧间像素是否存在显著差异；
帧间显著差异绝对面积阈值Tad：用于按绝对面积判断帧间图像是否存在显著差异；
帧间显著差异面积比例阈值Trd：用于判断帧间图像是否存在显著差异；
图像块灰度最大差值阈值Tms：用于判断帧间图像是否局部性显著差异；
簇内平均差异阈值Tak：用于判断簇内图像是否普遍存在较高差异水平。
进一步地，S200中，基于实际需求，对相关指标计算，相关指标计算包括：
对每个簇内的代表帧，逐帧与该簇内的候选关键帧计算灰度值之差得到灰度差矩阵；
定义索引为i的代表帧的灰度差矩阵为Mi，并基于设定阈值，对每个矩阵计算如下指标：
Ni：表示灰度差矩阵Mi的元素数量，用于表征帧图像的尺寸；
Si：表示灰度差矩阵Mi的元素之和，用于表征帧间差异的整体水平；
ADi：表示灰度差矩阵Mi中值大于Tpd的元素数量，用于表征帧间存在显著差异的绝对面积；
RDi：表示灰度差矩阵Mi的元素数量与灰度差矩阵Mi中值大于Tpd的元素数量的比值ADi/Ni，用于表征帧间存在显著差异的相对面积；
MaxSubi：表示在灰度差矩阵Mi中按长为x，宽为y的窗口大小遍历选取子矩阵，定义矩阵Mi中的第j个子矩阵为SubMij，比较每个子矩阵SubMij的元素之和Sumij，MaxSubi即为矩阵Mi中各子矩阵元素之和的最大值，用于表征帧间图像块存在的最大差异。
进一步地，S200中，基于实际需求，对相关指标计算，相关指标计算还包括：
定义索引为k的的簇为Ck，对每个簇计算如下指标：
Ak：表示Ck中每个灰度差矩阵Mi中RDi的均值，用于表征簇内帧间差异的总体水平；
IQRk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距，即上四分位数与下四分位数之差；
SDk：表示Ck中每个灰度差矩阵Mi中RDi的标准差；
Vk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距与Ck中每个灰度差矩阵Mi中RDi的标准差的比值IQRk/SDk，用于表征簇内帧间差异的离散程度。
进一步地，S300中，对关键帧进行标记的方法包括：
S301.判断簇内帧间差异的总体水平Ak和簇内帧间差异的离散程度Vk与预设阈值的大小，当簇内帧间差异的离散程度Vk≤1.5或簇内帧间差异的总体水平Ak≤簇内平均差异阈值Tak时，将符合条件的簇中的候选关键帧直接标记为关键帧；
S302.当簇内帧间差异的离散程度Vk>1.5且簇内帧间差异的总体水平Ak>簇内平均差异阈值Tak时，将符合条件的簇内代表帧及代表帧对应的跟随帧取出作为细分数据集，按步骤S100的操作流程对每个细分数据集执行分簇及关键帧选取动作，生成细分的新簇替代原有的簇，选取出的帧标记为关键帧，生成的新簇内所有图像重新计算各帧图像灰度差矩阵及其相关指标。
进一步地，S400中，根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记，具体包括：在每个簇内，逐一计算图像帧与该簇关键帧的灰度差矩阵Mi，按以下规则计算：
当业务侧已定义阈值Tad时，集合R＝(MaxSubi<Tms)∧((RDi<Trd)∨(ADi<Tad))；
当业务侧未定义阈值Tad时，集合R＝(MaxSubi<Tms)∧(RDi<Trd)；
当集合R为真，则该图像帧及标记为相似帧。
进一步地，S500中，根据神经网络模型，对无关键目标帧进行标记，具体方法包括：
S501：对所有关键帧信息进行深度学习模型辅助人工标记的方式，识别出画面内是否存在行人、非机动车、机动车、障碍物与交通标识，并以此为依据，识别出不含潜在高价值目标的关键帧；
S502：将步骤S501中识别出的所有不含潜在高价值目标的关键帧及其簇内对应的所有帧均标记为无关键目标帧。
进一步地，S600中，根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧，具体方法包括：
S601：所有被标记为相似帧和无关键目标帧的代表帧及该批代表帧对应的跟随帧均丢弃；
S602：保留被标记为关键帧的图像帧，丢弃关键帧对应的跟随帧；
S603：所有被保留的帧与其时间戳信息合并存储，完成抽帧。
本发明还公开了一种针对道路试验车图像信息的抽帧系统，包括：候选关键帧标记单元、相关阈值设定和指标计算单元、关键帧标记单元、相似帧标记单元、无关键目标帧标记单元和图像信息抽帧单元；其中：
候选关键帧标记单元，用于获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
相关阈值设定和指标计算单元，用于根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；
相似帧标记单元，用于根据设定的阈值和计算的指标，对关键帧进行标记；
无关键目标帧标记单元，用于根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；
图像信息抽帧单元，用于根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明公开了一种针对道路试验车图像信息的抽帧方法，包括：
获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；根据设定的阈值和计算的指标，对关键帧进行标记；根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；根据神经网络模型，对无关键目标帧进行标记；根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
本发明与传统的视频监控或安防领域所应用的抽帧技术相比，有以下优势：
(1)高度适应自动驾驶的业务场景，充分考虑了自动驾驶领域的图像保留价值，能更为有效地解决存储端的数据冗余问题。
(2)充分体现了自动化的设计思想，最大限度减少人工介入，解放有限的人力资源，进而提高整个自动驾驶工具链的执行效率。
(3)针对不同内容区段的图像场景进行分治化处理，抽帧结果可信性更强。
(4)面向算法进行设计，不涉及具体的技术依赖，可使用各种开发语言或工具进行实现，应用面较为广泛。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中，一种针对道路试验车图像信息的抽帧方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的问题，本发明实施例提供一种针对道路试验车图像信息的抽帧方法和系统。
实施例1
本实施例公开了一种针对道路试验车图像信息的抽帧方法，其特征在于，包括：
S100.获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
具体的，在本实施例的S100中，在道路试验车图像信息中标记候选关键帧的方法包括：
S101.对道路试验车图像按每秒一帧的比例进行抽样，选取每秒首帧作为代表帧，将所有代表帧组成简化数据集，在简化数据集中，以时间秒数作为各代表帧的索引；具体的，选取每秒首帧作为代表帧(如：帧率为30fps的视频文件，可以视为每秒30帧的连续图像数据，则抽样选取第1,31,61,91……帧图像，其余情形同理)。
S102.对选取的代表帧，使用聚类方式将图像数据按灰度直方图分为特征分簇；具体的，计算简化数据集中每帧图像的灰度直方图，以灰度直方图为特征，用层次聚类的方法对简化数据集进行聚类，聚类完成后，代表帧图像以其所属的簇编号作为标签，每个簇以首帧时间顺序排序，以序号为各簇索引。
S103.按生成时间对简化数据集进行排序，对于时间维度上不连续的簇(即簇中至少有2帧在的时间索引之差大于1秒)，将此类簇分别按时间连续性进一步划分为多个簇，确保划分后的每个簇在时间维度上均保持连续；
S104.以像素点差的平方和为距离度量，对每个簇中的代表帧计算聚类中心，将聚类中心对应的帧标记为候选关键帧。
S200.根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；根据业务需求，设定一系列阈值，分别用于：①判断帧间像素是否存在显著差异；②按绝对面积判断帧间图像是否存在显著差异(该阈值视业务实际需求设置，例如图像分辨率较低或业务需要过滤某类固定小尺寸目标时可考虑设置该阈值，也可不设置)；③按面积比例判断帧间图像是否存在显著差异；④判断帧间图像是否局部性显著差异；⑤判断簇内图像的总体差异水平。所述5类阈值的高低，主要取决于业务对图像抽帧需求的严格程度。总体上，所述阈值的绝对值越高，则判断图像间相似的标准越宽松，更多图像数据将因为被判定为相似帧而丢弃，适用于对数据存储压力较敏感的场景；反之，则判断图像间相似的标准越严格，更多图像数据将得到保留，适用于对遗漏关键信息较敏感的场景。应用方可结合业务实际选取合适的阈值水平。
对簇中的代表帧逐一与关键帧计算灰度差，并计算代表帧的一系列指标，分别用于：①表征帧间差异的整体水平；②表征帧间存在显著差异的绝对面积；③表征帧间存在显著差异的面积占比；④表征帧间图像块存在的最大差异。
计算簇的一系列指标，分别用于：①表征簇内帧间差异的总体水平(其业务意义在于：该值越低，则簇内帧间差异普遍较小，对应视野内画面变化缓慢甚至无变化的场景，以低速行驶、停车为代表；反之该值越高，则簇内帧间差异普遍较大，对应视野内画面变化显著的场景，以高速行驶、转向或高密度交通路段行驶为代表)；②表征簇内帧间差异的离散程度(其业务意义在于：该值越低，则簇内帧间差异一致性高，对应视野内画面匀速变化的业务场景，以定速巡航为代表；反之该值越高，则簇内帧间差异一致性低，对应视野内画面变化较复杂的场景，以车辆转向、换道、路口行驶、高密度交通路段行驶为代表)。
通过比较簇指标与阈值的水平，筛选出图像变化幅度和频度均较大的簇，对该批簇内代表帧及代表帧对应的跟随帧再次执行分簇及关键帧选取动作，挖掘新的关键帧，由于该批簇内所有跟随帧已被取出重新计算，因此该批簇内每帧均标记为代表帧，不再设跟随帧，生成的新簇内所有图像和簇再次计算前述相关指标(其业务意义在于：前述流程中，使用代表帧替代全量图像数据进行计算，阈值的设置也难以兼顾每帧图像的个性化特征，不可避免会存在遗漏潜在高价值目标的可能性，本步骤从短时间内出现大幅变化的图像中再次细分并标记关键帧，在不显著影响执行性能的前提下，尽可能保留包含潜在高价值目标的图像数据)。
具体的，基于实际需求，对相关阈值设定和指标计算，具体包括：
S201：对每个簇内的代表帧，逐帧与该簇内的候选关键帧计算灰度值之差得到灰度差矩阵；
S202：基于实际业务需求设定以下阈值：
像素灰度差值阈值Tpd：用于判断帧间像素是否存在显著差异；
帧间显著差异绝对面积阈值Tad：用于按绝对面积判断帧间图像是否存在显著差异；
帧间显著差异面积比例阈值Trd：用于判断帧间图像是否存在显著差异；
图像块灰度最大差值阈值Tms：用于判断帧间图像是否局部性显著差异；
簇内平均差异阈值Tak：用于判断簇内图像是否普遍存在较高差异水平。
S203：定义索引为i的代表帧的灰度差矩阵为Mi，并基于阈值Td，对每个矩阵计算如下指标：
定义索引为i的代表帧的灰度差矩阵为Mi，并基于设定阈值，对每个矩阵计算如下指标：
Ni：表示灰度差矩阵Mi的元素数量，用于表征帧图像的尺寸；
Si：表示灰度差矩阵Mi的元素之和，用于表征帧间差异的整体水平；
ADi：表示灰度差矩阵Mi中值大于Tpd的元素数量，用于表征帧间存在显著差异的绝对面积；
RDi：表示灰度差矩阵Mi的元素数量与灰度差矩阵Mi中值大于Tpd的元素数量的比值ADi/Ni，用于表征帧间存在显著差异的相对面积；
MaxSubi：表示在灰度差矩阵Mi中按长为x，宽为y的窗口大小遍历选取子矩阵，定义矩阵Mi中的第j个子矩阵为SubMij，比较每个子矩阵SubMij的元素之和Sumij，MaxSubi即为矩阵Mi中各子矩阵元素之和的最大值，用于表征帧间图像块存在的最大差异。
S204：定义索引为k的的簇为Ck，对每个簇计算如下指标：
Ak：表示Ck中每个灰度差矩阵Mi中RDi的均值，用于表征簇内帧间差异的总体水平；
IQRk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距，即上四分位数与下四分位数之差；
SDk：表示Ck中每个灰度差矩阵Mi中RDi的标准差；
Vk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距与Ck中每个灰度差矩阵Mi中RDi的标准差的比值IQRk/SDk，用于表征簇内帧间差异的离散程度。
S300.根据设定的阈值和计算的指标，对关键帧进行标记；具体的，本实施例的S300中，对关键帧进行标记的方法包括：
S301.判断簇内帧间差异的总体水平Ak和簇内帧间差异的离散程度Vk与预设阈值的大小，当簇内帧间差异的离散程度Vk≤1.5或簇内帧间差异的总体水平Ak≤簇内平均差异阈值Tak时，将符合条件的簇中的候选关键帧直接标记为关键帧；
S302.当簇内帧间差异的离散程度Vk>1.5且簇内帧间差异的总体水平Ak>簇内平均差异阈值Tak时，将符合条件的簇内代表帧及代表帧对应的跟随帧取出作为细分数据集，按步骤S100的操作流程对每个细分数据集执行分簇及关键帧选取动作，生成细分的新簇替代原有的簇，选取出的帧标记为关键帧，生成的新簇内所有图像重新计算各帧图像灰度差矩阵及其相关指标。
S400.根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；在本实施例的S400中，根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记，具体包括：在每个簇内，逐一计算图像帧与该簇关键帧的灰度差矩阵Mi，按以下规则计算：
当业务侧已定义阈值Tad时，集合R＝(MaxSubi<Tms)∧((RDi<Trd)∨(ADi<Tad))；
当业务侧未定义阈值Tad时，集合R＝(MaxSubi<Tms)∧(RDi<Trd)；
当集合R为真，则该图像帧及标记为相似帧。
S500.根据神经网络模型，对无关键目标帧进行标记；在本实施例的S500中，根据神经网络模型，对无关键目标帧进行标记，具体方法包括：
S501：对所有关键帧信息进行深度学习模型辅助人工标记的方式，识别出画面内是否存在行人、非机动车、机动车、障碍物与交通标识，并以此为依据，识别出不含潜在高价值目标的关键帧；
S502：将步骤S501中识别出的所有不含潜在高价值目标的关键帧及其簇内对应的所有帧均标记为无关键目标帧。
S600.根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。具体的，S600中，根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧，具体方法包括：
S601：所有被标记为相似帧和无关键目标帧的代表帧及该批代表帧对应的跟随帧均丢弃；
S602：保留被标记为关键帧的图像帧，丢弃关键帧对应的跟随帧；
S603：所有被保留的帧与其时间戳信息合并存储，完成抽帧。
本实施例公开了一种针对道路试验车图像信息的抽帧方法，包括：
获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；根据设定的阈值和计算的指标，对关键帧进行标记；根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；根据神经网络模型，对无关键目标帧进行标记；根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
本发明与传统的视频监控或安防领域所应用的抽帧技术相比，有以下优势：
(1)高度适应自动驾驶的业务场景，充分考虑了自动驾驶领域的图像保留价值，能更为有效地解决存储端的数据冗余问题。
(2)充分体现了自动化的设计思想，最大限度减少人工介入，解放有限的人力资源，进而提高整个自动驾驶工具链的执行效率。
(3)针对不同内容区段的图像场景进行分治化处理，抽帧结果可信性更强。
(4)面向算法进行设计，不涉及具体的技术依赖，可使用各种开发语言或工具进行实现，应用面较为广泛。
实施例2
本实施例还公开了一种针对道路试验车图像信息的抽帧系统，包括：候选关键帧标记单元、相关阈值设定和指标计算单元、关键帧标记单元、相似帧标记单元、无关键目标帧标记单元和图像信息抽帧单元；其中：
候选关键帧标记单元，用于获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
相关阈值设定和指标计算单元，用于根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；
相似帧标记单元，用于根据设定的阈值和计算的指标，对关键帧进行标记；
无关键目标帧标记单元，用于根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；
图像信息抽帧单元，用于根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
其中，候选关键帧标记单元、相关阈值设定和指标计算单元、关键帧标记单元、相似帧标记单元、无关键目标帧标记单元和图像信息抽帧单元工作方法已在实施例1中进行了详细描述，本实施例再此不在进行赘述。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.一种针对道路试验车图像信息的抽帧方法，其特征在于，包括：
S100.获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
S200.根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；
S300.根据设定的阈值和计算的指标，对关键帧进行标记；
S400.根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；
S500.根据神经网络模型，对无关键目标帧进行标记；
S600.根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
2.如权利要求1所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S100中，在道路试验车图像信息中标记候选关键帧的方法包括：
S101.对道路试验车图像按每秒一帧的比例进行抽样，选取每秒首帧作为代表帧，将所有代表帧组成简化数据集，在简化数据集中，以时间秒数作为各代表帧的索引；
S102.对选取的代表帧，使用聚类方式将图像数据按灰度直方图分为特征分簇；
S103.按生成时间对简化数据集进行排序，对于时间维度上不连续的簇，将此类簇分别按时间连续性进一步划分为多个簇，确保划分后的每个簇在时间维度上均保持连续；
S104.以像素点差的平方和为距离度量，对每个簇中的代表帧计算聚类中心，将聚类中心对应的帧标记为候选关键帧。
3.如权利要求1所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S200中，基于实际需求，对相关阈值设定，相关阈值包括：
像素灰度差值阈值Tpd：用于判断帧间像素是否存在显著差异；
帧间显著差异绝对面积阈值Tad：用于按绝对面积判断帧间图像是否存在显著差异；
帧间显著差异面积比例阈值Trd：用于判断帧间图像是否存在显著差异；
图像块灰度最大差值阈值Tms：用于判断帧间图像是否局部性显著差异；
簇内平均差异阈值Tak：用于判断簇内图像是否普遍存在较高差异水平。
4.如权利要求3所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S200中，基于实际需求，对相关指标计算，相关指标计算包括：
对每个簇内的代表帧，逐帧与该簇内的候选关键帧计算灰度值之差得到灰度差矩阵；
定义索引为i的代表帧的灰度差矩阵为Mi，并基于设定阈值，对每个矩阵计算如下指标：
Ni：表示灰度差矩阵Mi的元素数量，用于表征帧图像的尺寸；
Si：表示灰度差矩阵Mi的元素之和，用于表征帧间差异的整体水平；
ADi：表示灰度差矩阵Mi中值大于Tpd的元素数量，用于表征帧间存在显著差异的绝对面积；
RDi：表示灰度差矩阵Mi的元素数量与灰度差矩阵Mi中值大于Tpd的元素数量的比值ADi/Ni，用于表征帧间存在显著差异的相对面积；
MaxSubi：表示在灰度差矩阵Mi中按长为x，宽为y的窗口大小遍历选取子矩阵，定义矩阵Mi中的第j个子矩阵为SubMij，比较每个子矩阵SubMij的元素之和Sumij，MaxSubi即为矩阵Mi中各子矩阵元素之和的最大值，用于表征帧间图像块存在的最大差异。
5.如权利要求4所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S200中，基于实际需求，对相关指标计算，相关指标计算还包括：
定义索引为k的的簇为Ck，对每个簇计算如下指标：
Ak：表示Ck中每个灰度差矩阵Mi中RDi的均值，用于表征簇内帧间差异的总体水平；
IQRk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距，即上四分位数与下四分位数之差；
SDk：表示Ck中每个灰度差矩阵Mi中RDi的标准差；
Vk：表示Ck中每个灰度差矩阵Mi中RDi的四分位距与Ck中每个灰度差矩阵Mi中RDi的标准差的比值IQRk/SDk，用于表征簇内帧间差异的离散程度。
6.如权利要求4所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S300中，对关键帧进行标记的方法包括：
S301.判断簇内帧间差异的总体水平Ak和簇内帧间差异的离散程度Vk与预设阈值的大小，当簇内帧间差异的离散程度Vk≤1.5或簇内帧间差异的总体水平Ak≤簇内平均差异阈值Tak时，将符合条件的簇中的候选关键帧直接标记为关键帧；
S302.当簇内帧间差异的离散程度Vk>1.5且簇内帧间差异的总体水平Ak>簇内平均差异阈值Tak时，将符合条件的簇内代表帧及代表帧对应的跟随帧取出作为细分数据集，按步骤S100的操作流程对每个细分数据集执行分簇及关键帧选取动作，生成细分的新簇替代原有的簇，选取出的帧标记为关键帧，生成的新簇内所有图像重新计算各帧图像灰度差矩阵及其相关指标。
7.如权利要求4所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S400中，根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记，具体包括：在每个簇内，逐一计算图像帧与该簇关键帧的灰度差矩阵Mi，按以下规则计算：
当业务侧已定义阈值Tad时，集合R＝(MaxSubi<Tms)∧((RDi<Trd)∨(ADi<Tad))；
当业务侧未定义阈值Tad时，集合R＝(MaxSubi<Tms)∧(RDi<Trd)；
当集合R为真，则该图像帧及标记为相似帧。
8.如权利要求1所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S500中，根据神经网络模型，对无关键目标帧进行标记，具体方法包括：
S501：对所有关键帧信息进行深度学习模型辅助人工标记的方式，识别出画面内是否存在行人、非机动车、机动车、障碍物与交通标识，并以此为依据，识别出不含潜在高价值目标的关键帧；
S502：将步骤S501中识别出的所有不含潜在高价值目标的关键帧及其簇内对应的所有帧均标记为无关键目标帧。
9.如权利要求1所述的一种针对道路试验车图像信息的抽帧方法，其特征在于，S600中，根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧，具体方法包括：
S601：所有被标记为相似帧和无关键目标帧的代表帧及该批代表帧对应的跟随帧均丢弃；
S602：保留被标记为关键帧的图像帧，丢弃关键帧对应的跟随帧；
S603：所有被保留的帧与其时间戳信息合并存储，完成抽帧。
10.一种针对道路试验车图像信息的抽帧系统，其特征在于，包括：候选关键帧标记单元、相关阈值设定和指标计算单元、关键帧标记单元、相似帧标记单元、无关键目标帧标记单元和图像信息抽帧单元；其中：
候选关键帧标记单元，用于获取道路试验车图像信息，并在道路试验车图像信息中标记候选关键帧；
相关阈值设定和指标计算单元，用于根据标记的候选关键帧，基于实际需求，对相关阈值设定和指标计算；
相似帧标记单元，用于根据设定的阈值和计算的指标，对关键帧进行标记；
无关键目标帧标记单元，用于根据标记的关键帧和设定的阈值和计算的指标，对相似帧进行标记；
图像信息抽帧单元，用于根据标记的关键帧、相似帧和无关键目标帧，对图像信息进行抽帧。
CN202310409282.XA 2023-04-18 2023-04-18 一种针对道路试验车图像信息的抽帧方法和系统 Pending CN116580370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310409282.XA CN116580370A (zh) 2023-04-18 2023-04-18 一种针对道路试验车图像信息的抽帧方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310409282.XA CN116580370A (zh) 2023-04-18 2023-04-18 一种针对道路试验车图像信息的抽帧方法和系统

Publications (1)

Publication Number Publication Date
CN116580370A true CN116580370A (zh) 2023-08-11

Family

ID=87534936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310409282.XA Pending CN116580370A (zh) 2023-04-18 2023-04-18 一种针对道路试验车图像信息的抽帧方法和系统

Country Status (1)

Country Link
CN (1) CN116580370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252449A (zh) * 2023-11-20 2023-12-19 水润天府新材料有限公司 一种全透式排水低噪路面施工工艺及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252449A (zh) * 2023-11-20 2023-12-19 水润天府新材料有限公司 一种全透式排水低噪路面施工工艺及系统
CN117252449B (zh) * 2023-11-20 2024-01-30 水润天府新材料有限公司 一种全透式排水低噪路面施工工艺及系统

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
US20210197851A1 (en) Method for building virtual scenario library for autonomous vehicle
CN113421269B (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN109190481B (zh) 一种遥感影像道路材质提取方法和系统
CN107239778B (zh) 高效准确的车牌识别方法
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN113160575A (zh) 一种非机动车辆及驾驶人的交通违法行为检测方法及系统
CN111242015A (zh) 一种基于运动轮廓语义图预测行车危险场景的方法
CN111008600A (zh) 一种车道线检测方法
CN116580370A (zh) 一种针对道路试验车图像信息的抽帧方法和系统
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN112819000A (zh) 街景图像语义分割系统及分割方法、电子设备及计算机可读介质
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN110222772B (zh) 一种基于块级别主动学习的医疗图像标注推荐方法
CN113011392B (zh) 一种基于路面图像多纹理特征融合的路面类型识别方法
CN114581886A (zh) 结合语义分割和频域分析的能见度判别方法、装置及介质
CN111046723A (zh) 一种基于深度学习的车道线检测方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN115512315B (zh) 一种非机动车儿童搭乘检测方法、电子设备及存储介质
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115909140A (zh) 基于高位视频监控的视频目标分割方法以及系统
CN116091964A (zh) 高位视频场景解析方法以及系统
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN115775459B (zh) 一种基于智能图像处理的数据采集系统及方法
CN112446293B (zh) 一种公路路面车辙污染事件视频检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination