CN114972199A - 信息检测方法、装置、电子设备及存储介质 - Google Patents

信息检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114972199A
CN114972199A CN202210468514.4A CN202210468514A CN114972199A CN 114972199 A CN114972199 A CN 114972199A CN 202210468514 A CN202210468514 A CN 202210468514A CN 114972199 A CN114972199 A CN 114972199A
Authority
CN
China
Prior art keywords
detected
determining
data
information
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210468514.4A
Other languages
English (en)
Inventor
龚越
阚宇衡
任金松
高威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Technology Development Co Ltd
Original Assignee
Shanghai Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Technology Development Co Ltd filed Critical Shanghai Sensetime Technology Development Co Ltd
Priority to CN202210468514.4A priority Critical patent/CN114972199A/zh
Publication of CN114972199A publication Critical patent/CN114972199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种信息检测方法、装置、电子设备及存储介质,该方法包括:对道路视频数据进行目标检测,确定道路视频数据中每个待检测对象的对象信息;对象信息至少包括关键点信息、跟踪序列信息;基于至少一个待检测对象对应的关键点信息,确定采集道路视频数据的采集装置对应的标定数据;基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,确定待检测对象的速度信息;基于各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据;其中,道路检测数据用于表征道路视频数据指示的目标区域的拥堵状态。

Description

信息检测方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种信息检测方法、装置、电子设备及存储介质。
背景技术
随着国民经济的快速发展,机动车保有量逐步增加,造成交通道路上出现了交通拥堵和交通安全的问题。其中,排队长度是信号控制的主要关注及调控指标之一,排队长度的识别能够给交通调控部门提供有效信息,以便交通调控部门进行信号调控和车辆疏导。同时随着视频检测设备的逐步普及,基于视频图像的排队检测成为了可能。
因此,提出一种基于视频图像的排队检测方法尤为重要。
发明内容
有鉴于此,本公开至少提供一种信息检测方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种信息检测方法,包括:
对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
上述方法中,通过利用基于至少一个待检测对象对应的关键点信息,确定采集道路视频数据的采集装置对应的标定数据,实现了相机的自动标定过程,缓解了人工标定方式带来的效率低、时间成本大的问题;进而基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,能够较准确的确定待检测对象的速度信息;再可以根据各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据,提高了道路视频数据的检测效率和精度。
一种可能的实施方式中,所述对象信息中还包括对象类型;所述基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据,包括:
从所述至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;
基于所述目标待检测对象对应的所述关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及所述关键点在对应的世界坐标系下的第一位置数据,确定采集所述道路视频数据的采集装置对应的标定数据。
考虑到不同类型的待检测对象对应的尺寸可能不同,为了缓解上述问题,较准确的确定标定数据,可以从至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;再基于目标待检测对象对应的关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及关键点在对应的世界坐标系下的第一位置数据,确定采集道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述标定数据包括内参数据和外参数据,所述基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据,包括:
将初始化的所述内参数据和外参数据,确定为当前内参数据和当前外参数据;
基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据;
基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据;
响应于不满足迭代截止条件,将所述优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至对所述当前外参数据进行迭代优化的步骤,直至满足迭代截止条件;
基于最后一次迭代优化后得到的优化后内参数据,确定采集道路视频数据的采集装置对应的标定数据。
这里,通过多次迭代调整的方式,实现了相机的自动标定,并且能够较准确的确定采集道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据,包括:
基于所述当前内参数据,将所述待检测对象的关键点信息指示的所述关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据;
基于所述第一转换后位置数据、所述当前外参数据和所述第一位置数据,构建外参数据对应的第一优化表达式;
基于所述第一优化表达式,确定待检测对象对应的优化后外参数据。
这里,将内参数据固定,通过构建第一优化表达式的方式,较准确的对外参数据进行调整,即使得每次迭代优化过程后外参数据朝向真值方向调整,提高了迭代调整的精度。
一种可能的实施方式中,所述基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据,包括:
基于所述当前内参数据、所述待检测对象对应的优化后外参数据、所述第一位置数据、和所述关键点信息指示的关键点在像素坐标系下的第二位置数据,构建内参数据对应的第二优化表达式;
基于所述第二优化表达式,确定待检测对象对应的优化后内参数据。
这里,将外参数据固定,通过构建第二优化表达式的方式,较准确的对内参数据进行调整,即使得每次迭代优化过程后内参数据朝向真值方向调整,提高了迭代调整的精度。
一种可能的实施方式中,所述基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息,包括:
基于所述标定数据,将每个待检测对象的各个位置数据转换至所述采集装置对应的相机坐标系下,得到第二转换后位置数据;
针对每个视频帧,基于所述视频帧包括的待检测对象对应的第二转换后位置数据、和历史视频帧中所述待检测对象对应的第二转换后位置数据,确定所述视频帧中每个所述待检测对象对应的速度值;
基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息。
这里,通过标定数据将每个待检测对象的各个位置数据转换至相机坐标系下,得到第二转换后位置数据;再利用第二转换后位置数据,较为精准的确定视频帧中待检测对象的速度值;以便利用该速度值较准确的确定待检测对象的速度信息。
一种可能的实施方式中,所述基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息,包括:
基于任一时间段内的多个视频帧中所述待检测对象的所述速度值,确定所述待检测对象在所述时间段内的平均速度;
基于所述待检测对象在各个时间段内的平均速度,确定所述待检测对象的速度信息。
一种可能的实施方式中,在所述基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息之后,还包括:将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值;
所述基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据,包括:基于各个所述筛除后的待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据。
考虑到待检测对象的速度信息的确定过程可能存在误差,为了缓解存在误差的待检测对象对道路检测数据的影响,可以将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值,以便提高道路检测数据的精准度。
一种可能的实施方式中,所述基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据,包括:
基于各个所述待检测对象的所述速度信息,确定在任一时间段内位于所述目标区域的每个待检测对象的对象状态;其中,所述对象状态包括停止状态、行驶状态;
基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态;
响应于所述区域状态为车辆停止状态,确定所述任一时间段内所述目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量;
基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据。
这里,通过利用各个待检测对象的速度信息,确定在任一时间段内位于目标区域内的每个待检测对象的对象状态;再利用任一时间段内目标区域中、处于停止状态的待检测对象的统计数量,较准确的确定任一时间段内目标区域对应的区域状态;响应于区域状态为车辆停止状态,基于确定的任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定道路视频数据对应的道路检测数据,实现了道路检测数据的自动检测过程,检测效率较高。
一种可能的实施方式中,基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态,包括:
在任一时间段内,按照待检测对象进入所述目标区域的行驶顺序,从所述各个待检测对象中,确定目标数量个候选待检测对象;
响应于处于停止状态的候选待检测对象的统计数量与所述目标数量的比例达到预设阈值,确定所述目标区域的区域状态为停止状态。
这里,在任一时间段内,按照待检测对象进入目标区域的行驶顺序,从各个待检测对象中确定目标数量个候选待检测对象;该候选待检测对象为位于目标区域的行驶方向前方的对象,候选待检测对象的对象状态对目标区域的状态影响较大。故可以在处于停止状态的候选待检测对象的统计数量与目标数量的比例达到预设阈值,确定目标区域的区域状态为停止状态。
一种可能的实施方式中,所述基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据,包括:
基于所述处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量,确定所述时间段下所述目标区域内包括的标准对象数;
基于所述标准对象数、预设的标准间距值和标准对象长度,确定在所述时间段内所述道路视频数据对应的排队长度;
基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
这里,通过确定标准对象数、排队长度,再基于标准对象数、排队长度中的至少一种,实现较灵活、较全面的确定道路视频数据对应的道路检测数据。
一种可能的实施方式中,在确定在所述时间段内所述道路视频数据对应的排队长度之后,还包括:基于各个时间段分别对应的所述排队长度,确定平均排队长度;
所述基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据,包括:基于所述标准对象数、所述排队长度和所述平均排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息,包括:
针对所述道路视频数据中的每个视频帧,对所述视频帧进行对象检测,确定所述视频帧包括的待检测对象的检测框信息;
基于所述道路视频数据中的各个视频帧、和所述每个视频帧包括的所述待检测对象的检测框信息,确定各个所述待检测对象的跟踪序列信息;其中,所述跟踪序列信息包括待检测对象在各个视频帧上的位置数据;以及
基于所述每个视频帧包括的所述待检测对象的检测框信息,从所述视频帧中获取所述待检测对象对应的目标局部图像;并对所述目标局部图像进行识别,确定所述待检测对象的对象类型、关键点信息;
基于所述检测框信息、所述跟踪序列信息、所述对象类型和所述关键点信息中的至少一种信息,确定所述待检测对象的对象信息。
上述实施方式中,通过对道路视频数据进行检测,确定道路视频数据中每个待检测对象的对象信息,以便后续能够利用该对象信息,确定道路视频数据对应的道路检测数据,为后续道路视频数据的检测提供数据支持。
以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
第二方面,本公开提供了一种信息检测装置,包括:
检测模块,用于对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
第一确定模块,用于基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
第二确定模块,用于基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
第三确定模块,用于基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
一种可能的实施方式中,所述对象信息中还包括对象类型;所述第一确定模块,在基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据时,用于:
从所述至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;
基于所述目标待检测对象对应的所述关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及所述关键点在对应的世界坐标系下的第一位置数据,确定采集所述道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述标定数据包括内参数据和外参数据,所述第一确定模块,在基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据时,用于:
将初始化的所述内参数据和外参数据,确定为当前内参数据和当前外参数据;
基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据;
基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据;
响应于不满足迭代截止条件,将所述优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至对所述当前外参数据进行迭代优化的步骤,直至满足迭代截止条件;
基于最后一次迭代优化后得到的优化后内参数据,确定采集所述道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述第一确定模块,在基于当前内参数据、待检测对象的关键点信息和关键点对应的所述第一位置数据,对当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据时,用于:
基于所述当前内参数据,将所述待检测对象的关键点信息指示的所述关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据;
基于所述第一转换后位置数据、所述当前外参数据和所述第二位置数据,构建外参数据对应的第一优化表达式;
基于所述第一优化表达式,确定所述待检测对象对应的优化后外参数据。
一种可能的实施方式中,所述第一确定模块,在基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据时,用于:
基于所述当前内参数据、所述待检测对象对应的优化后外参数据、所述第一位置数据、和所述关键点信息指示的关键点在像素坐标系下的第二位置数据,构建内参数据对应的第二优化表达式;
基于所述第二优化表达式,确定待检测对象对应的优化后内参数据。
一种可能的实施方式中,所述第二确定模块,在基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息时,用于:
基于所述标定数据,将每个待检测对象的各个位置数据转换至所述采集装置对应的相机坐标系下,得到第二转换后位置数据;
针对每个视频帧,基于所述视频帧包括的待检测对象对应的第二转换后位置数据、和历史视频帧中所述待检测对象对应的第二转换后位置数据,确定所述视频帧中每个所述待检测对象对应的速度值;
基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息。
一种可能的实施方式中,所述第二确定模块,在基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息时,用于:
基于任一时间段内的多个视频帧中所述待检测对象的所述速度值,确定所述待检测对象在所述时间段内的平均速度;
基于所述待检测对象在各个时间段内的平均速度,确定所述待检测对象的速度信息。
一种可能的实施方式中,所述第二确定模块,在所述基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息之后,还用于:
将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值;
所述第三确定模块,在基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据时,用于:
基于各个所述筛除后的待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块,在基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据时,用于:
基于各个所述待检测对象的所述速度信息,确定在任一时间段内位于所述目标区域的每个待检测对象的对象状态;其中,所述对象状态包括停止状态、行驶状态;
基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态;
响应于所述区域状态为车辆停止状态,确定所述任一时间段内所述目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量;
基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块,在基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态时,用于:
在任一时间段内,按照待检测对象进入所述目标区域的行驶顺序,从所述各个待检测对象中,确定目标数量个候选待检测对象;
响应于处于停止状态的候选待检测对象的统计数量与所述目标数量的比例达到预设阈值,确定所述目标区域的区域状态为停止状态。
一种可能的实施方式中,所述第三确定模块,在基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据时,用于:
基于所述处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量,确定所述时间段下所述目标区域内包括的标准对象数;
基于所述标准对象数、预设的标准间距值和标准对象长度,确定在所述时间段内所述道路视频数据对应的排队长度;
基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块,在确定在所述时间段内所述道路视频数据对应的排队长度之后,还用于:基于各个时间段分别对应的所述排队长度,确定平均排队长度;
所述第三确定模块,在基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据时,用于:基于所述标准对象数、所述排队长度和所述平均排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述检测模块,在对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息时,用于:
针对所述道路视频数据中的每个视频帧,对所述视频帧进行对象检测,确定所述视频帧包括的待检测对象的检测框信息;
基于所述道路视频数据中的各个视频帧、和所述每个视频帧包括的所述待检测对象的检测框信息,确定各个所述待检测对象的跟踪序列信息;其中,所述跟踪序列信息包括待检测对象在各个视频帧上的位置数据;以及
基于所述每个视频帧包括的所述待检测对象的检测框信息,从所述视频帧中获取所述待检测对象对应的目标局部图像;并对所述目标局部图像进行识别,确定所述待检测对象的对象类型、关键点信息;
基于所述检测框信息、所述跟踪序列信息、所述对象类型和所述关键点信息中的至少一种信息,确定所述待检测对象的对象信息。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的信息检测方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的信息检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种信息检测方法的流程示意图;
图2示出了本公开实施例所提供的一种目标区域的示意图;
图3示出了本公开实施例所提供的一种信息检测装置的架构示意图;
图4示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
排队长度是信号控制的主要关注及调控指标之一,排队长度的识别能够给交通调控部门提供有效信息,以便交通调控部门进行信号调控和车辆疏导。
排队长度的估计方法主要包括以下两种:第一种、通过线圈检测、微波检测、雷达检测、红外检测等物理检测手段,确定排队长度。比如,可以在道路中部布设线圈传感器,利用该线圈传感器估计排队长度。然而,该种方法存在着安装成本高、对路面破坏大、运维成本高、点位覆盖有限等问题;同时上述方法只能在部分安装位置处估计的较为准确,当排队长度超过检测器安装位置则无法进行精确估计。第二种、通过浮动车(比如出租车)数据,确定车辆的交通波及速度特征,进而得到道路的排队长度。但是该方法容易受样本抽样率的影响,算法精度有限。
随着视频检测设备的逐步普及,基于视频图像的排队检测成为了可能。一般的,基于视频图像的排队长度估计方法主要是对车辆数量进行检测。比如,对感兴趣区域(regionof interest,ROI)进行图像处理,提取车辆数,根据车辆数对排队长度进行估计。但是,该方法易受环境变化的影响,如镜头转动或车辆遮挡等,无法应用于不同的场景中,且需要大量的人工标注工作。
或者,还可以基于道路车辆排队长度样本构建训练数据集,通过深度神经网络(比如长短期神经网络、卷积神经网络等)直接预测观测区域的排队长度。但是,基于数据集预训练的深度学习框架,较难覆盖所有场景,因此较难进行大规模部署。
为了缓解上述问题,本公开实施例提供了一种信息检测方法、装置、电子设备及存储介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种信息检测方法进行详细介绍。本公开实施例所提供的信息检测方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、车载设备、视觉检测设备等。在一些可能的实现方式中,该信息检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例所提供的信息检测方法的流程示意图,该方法包括S101-S104,其中:
S101,对道路视频数据进行目标检测,确定道路视频数据中每个待检测对象的对象信息;对象信息至少包括关键点信息、跟踪序列信息。
S102,基于至少一个待检测对象对应的关键点信息,确定采集道路视频数据的采集装置对应的标定数据。
S103,基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,确定待检测对象的速度信息。
S104,基于各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据;其中,道路检测数据用于表征道路视频数据指示的目标区域的拥堵状态。
上述方法中,通过利用基于至少一个待检测对象对应的关键点信息,确定采集道路视频数据的采集装置对应的标定数据,实现了相机的自动标定过程,缓解了人工标定方式带来的效率低、时间成本大的问题;进而基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,能够较准确的确定待检测对象的速度信息;再可以根据各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据,提高了道路视频数据的检测效率和精度。
下述对S101-S104进行具体说明。
针对S101:
道路视频数据可以为交通道路上的采集装置(比如监控设备)实时采集的视频数据。实施时,监控设备采集到道路视频数据之后,可以将道路视频数据发送给检测设备(比如服务器),以便检测设备根据集成的上述信息检测方法,对道路视频数据进行实时检测,确定道路视频数据对应的道路检测数据。或者,可以将上述信息检测方法集成至监控设备上,以便监控设备实时的对采集到的道路视频数据进行检测,得到道路视频数据对应的道路检测数据。
在获取到道路视频数据后,可以对道路视频数据进行目标检测,确定道路视频数据中每个待检测对象的对象信息。比如,可以利用训练后的神经网络对道路视频数据进行目标检测,得到道路视频数据中每个待检测对象的对象信息。其中,待检测对象可以为交通道路上的任一对象,比如,待检测对象可以包括各种类型的车辆。
对象信息可以包括待检测对象的检测框信息、关键点信息、跟踪序列信息、对象类型等。其中,检测框信息可以包括待检测对象对应的检测框的四个顶点的坐标、置信度,或者,包括检测框的中心点的坐标、高度和宽度。关键点信息可以包括待检测对象的四个轮子对应的关键点的位置数据,即左前轮、左后轮、右前轮、右后轮分别对应的关键点的位置数据、置信度等。跟踪序列信息包括该待检测对象在各个视频帧上的位置数据。对象类型比如可以包括小汽车、面包车、小卡车、大卡车、运动型多用途汽车(sport utilityvehicle,SUV)、巴士、其他等。
在S101中,对道路视频数据进行目标检测,确定道路视频数据中每个待检测对象的对象信息,具体包括:
S1011,针对道路视频数据中的每个视频帧,对视频帧进行对象检测,确定视频帧包括的待检测对象的检测框信息。
S1012,基于道路视频数据中的各个视频帧、和每个视频帧包括的待检测对象的检测框信息,确定各个待检测对象的跟踪序列信息;其中,跟踪序列信息包括待检测对象在各个视频帧上的位置数据。
S1013,基于每个视频帧包括的待检测对象的检测框信息,从视频帧中获取待检测对象对应的目标局部图像;并对目标局部图像进行识别,确定待检测对象的对象类型、关键点信息。
S1014,基于检测框信息、跟踪序列信息、对象类型和关键点信息中的至少一种信息,确定待检测对象的对象信息。
在S1011中,可以利用训练后的用于进行车辆检测的第一神经网络,对道路视频数据中的每个视频帧进行对象检测,确定每个视频帧中包括的待检测对象的检测框信息,该检测框信息可以包括检测框的中心点在视频帧上的位置数据、检测框的尺寸(高度和宽度)、置信度,或者,也可以包括检测框的四个顶点在视频帧上的位置数据、置信度等。
实施时,可以利用快速区域卷积神经网络(Faster Region-convolutionalneural network,Faster R-CNN)对每个视频帧进行对象检测,确定该视频帧中包括的待检测对象的检测框信息。具体的,可以先使用深度卷积网络,对视频帧进行特征提取,并通过区域建议层Region Proposal Layer提取候选目标区域;基于得到的候选目标区域,对特征进行感兴趣区域池化ROI Pooling、类别分类和坐标回归,检测得到目标的置信度和检测框的位置。最后通过极大值抑制算法,合并交并比大于阈值的检测框,输出每个待检测对象的检测框信息。
在S1012中,在得到每个待检测对象的检测框信息之后,可以基于道路视频数据中的各个视频帧和每个视频帧包括的待检测对象的检测框信息,对每个待检测对象进行跟踪检测,即提取每个视频帧上的待检测对象的特征信息,根据提取到的特征信息,关联待检测对象的前后帧区域,得到待检测对象的跟踪序列信息。其中该跟踪序列信息包括待检测对象在各个视频帧上的位置数据。在跟踪检测的过程中,同一个待检测对象会赋予一个对象标识,不同待检测对象对应不同的对象标识。
在S1013中,在得到待检测对象的检测框信息之后,还可以从视频帧中截取得到待检测对象对应的目标局部图像。并利用训练后的用于进行属性识别的第二神经网络,对目标局部图像进行属性识别,确定待检测对象的对象类型;以及利用训练后的用于进行关键点检测的第三神经网络,对目标局部图像进行关键点检测,确定待检测对象的关键点信息,比如关键点信息可以包括待检测对象上每个关键点在像素坐标系上的第二位置数据、关键点对应的置信度等。其中,第一神经网络、第二神经网络和第三神经网络的网络结构可以根据需要进行设置,此处仅为示例性说明。
比如,第二神经网络可以以残差网络resnet18作为骨干网络,利用该骨干网络对目标局部图像进行特征提取,再使用两层全连接full-connection层根据提取到的特征数据,预测待检测对象的对象类型。
再比如,第三神经网络可以使用残差网络resnet作为提取图片特征的骨干网络,即利用骨干网络的卷积操作对目标局部图像进行特征提取,再使用特征金字塔网络(Feature Pyramid Networks,FPN)进一步提取多尺度的特征,输出特征图。并对FPN输出的特征图进行卷积运算,得到五个定位热力图,即左前轮、左后轮、右后轮、右前轮和背景分别对应的定位热力图;最后根据五个定位热力图,确定待检测对象的关键点信息。
在S1014中,可以将检测框信息、跟踪序列信息、对象类型和关键点信息中的一种或多种信息,确定为待检测对象的对象信息。
上述实施方式中,通过对道路视频数据进行检测,确定道路视频数据中每个待检测对象的对象信息,以便后续能够利用该对象信息,确定道路视频数据对应的道路检测数据,为后续道路视频数据的检测提供数据支持。
针对S102:
由于在真实场景中待检测对象的轴距是能够预先确定得到的,故这里可以根据先验的轴距信息和待检测对象的关键点信息,自动对采集道路视频数据的采集装置(比如监控设备、相机)进行标定,即得到采集道路视频数据的采集装置对应的标定数据,该标定数据可以包括相机内参矩阵,以便利用该标定数据能够确定待检测对象在真实场景中的移动距离。
示例性的,可以根据至少一个待检测对象对应的关键点信息(关键点信息包括关键点在视频帧对应的像素坐标系下的坐标信息)、和预先确定的每个关键点在构建的世界坐标系中的坐标信息,确定道路视频数据对应的标定数据。
或者,也可以根据至少一个待检测对象对应的关键点信息、和预先确定的每个关键点在构建的世界坐标系中的坐标信息,对外参数据和内参数据进行交替迭代调整,即先将内参数据固定,对待检测对象对应的外参数据进行迭代调整,利用调整后的外参数据,对内参数据进行迭代调整,完成第一迭代调整过程,直至迭代次数达到最大迭代次数,和/或,直至设置的优化目标的下降值小于预设值,得到标定数据。
一种可选实施方式中,S102中,标定数据包括内参数据和外参数据,基于至少一个待检测对象对应的关键点信息,确定采集道路视频数据的采集装置对应的标定数据,具体包括:
S1021,将初始化的内参数据和外参数据,确定为当前内参数据和当前外参数据。
S1022,基于当前内参数据、待检测对象的关键点信息和关键点对应的第一位置数据,对当前外参数据进行迭代优化,得到待检测对象对应的优化后外参数据。
S1023,基于待检测对象对应的优化后外参数据、待检测对象的关键点信息和关键点对应的第一位置数据,对当前内参数据进行迭代优化,得到待检测对象对应的优化后内参数据。
S1024,响应于不满足迭代截止条件,将优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至对当前外参数据进行迭代优化的步骤,直至满足迭代截止条件。
其中,迭代截止条件可以包括:迭代优化的次数等于设置的次数阈值,和/或,上次迭代优化后确定的优化目标的值、与本次迭代优化后确定的优化目标的值之间的偏差值小于目标阈值。
S1025,基于最后一次迭代优化后得到的优化后内参数据,确定采集道路视频数据的采集装置对应的标定数据。
这里,通过多次迭代调整的方式,实现了采集装置(比如相机)的自动标定,并且能够较准确的确定采集道路视频数据的采集装置对应的标定数据。
在确定标定数据时,可以先构造等式约束。针对每个待检测对象,构建该待检测对象对应的世界坐标系,比如,以待检测对象的左前轮为原点,构建世界坐标系。其中,相机坐标系为以采集装置(比如相机)的光心为原点构建的真实场景的坐标系。
假设待检测对象的对象类型为小汽车,则该待检测对象的左前轮对应的关键点在世界坐标系下的第一位置数据为(0,0),左后轮对应的关键点的第一位置数据为(0,3),右后轮对应的关键点的第一位置数据为(1.56,3),右前轮对应的关键点的第一位置数据为(1.56,0)。其中,3、1.56与车辆的轴距相关。
基于每个待检测对象的每个关键点,能够构建一组等式约束。若待检测对象为N个,则可以构建得到N×4组等式约束。或者,也可以根据每个关键点对应的置信度从高到底的顺序,从每个待检测对象对应的4个关键点中选取3个关键点,和/或,也可以根据设置的置信度阈值和每个关键点对应的置信度,从每个待检测对象对应的4个关键点中选取多个关键点。再利用选取的关键点的关键点信息,构建等式约束。
比如,针对第i个待检测对象的第j个关键点(i、j为正整数),该第j个关键点在世界坐标系的坐标为
Figure BDA0003625570740000131
在像素坐标系下的坐标为
Figure BDA0003625570740000132
则得到的等式约束为:
Figure BDA0003625570740000133
其中,Zi,j为关键点对应的深度信息,K为内参数据,Ti为第i个待检测对象对应的外参数据。由于不同的待检测对象对应不同的世界坐标系,故每个待检测对象会对应一个外参数据。
再以重投影均方误差作为内外参的优化目标,优化目标即为:
Figure BDA0003625570740000134
在S1021中,对内参数据和外参数据进行初始化操作,得到初始化的内参数据和初始化的外参数据。其中,初始化的内参数据和初始化的外参数据可以根据实际需要进行设置。并将初始化的内参数据和初始化的外参数据,确定为当前内参数据和当前外参数据。
在S1022中,先将内参数据固定,对外参数据进行迭代调整,完成一次迭代优化过程。即针对每个待检测对象,根据当前内参数据、和该待检测对象上的每个关键点在像素坐标系下的第二位置数据、和关键点在待检测对象对应的世界坐标系下的第一位置数据,对当前外参数据进行迭代优化,得到待检测对象对应的优化后外参数据,使得基于优化后外参数据和当前内参数据,对第一位置数据进行转换,转换后的位置数据与第二位置数据之间的偏差下降。
实施时,基于当前内参数据、待检测对象的关键点信息和关键点对应的第一位置数据,对当前外参数据进行迭代优化,得到待检测对象对应的优化后外参数据,具体包括:基于当前内参数据,将待检测对象的关键点信息指示的关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据;基于第一转换后位置数据、当前外参数据和第一位置数据,构建外参数据对应的第一优化表达式;基于第一优化表达式,确定待检测对象对应的优化后外参数据。
实施时,利用当前内参数据,将关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据。即将关键点
Figure BDA0003625570740000135
转换至相机坐标系下得到第一转换后位置数据
Figure BDA0003625570740000141
再利用第一转换后位置数据、当前外参数据和第一位置数据,构建外参数据对应的第一优化表达式。第一优化表达式为:
Figure BDA0003625570740000142
其中,R和t构成了外参数据,该R和t为未知数据;pi为第二位置数据,m为待检测对象的关键点(或者为选取的关键点)的数量。
通过求解上述第一优化表达式的最小二乘解,得到优化后的外参数据。比如,可以利用奇异值分解(Singular Value Decomposition,SVD)的算法,得到R和t,即得到优化后的外参数据。
这里,将内参数据固定,通过构建第一优化表达式的方式,较准确的对外参数据进行优化,即使得每次迭代优化过程后外参数据朝向真值方向调整,提高了迭代优化的精度。
在S1023中,将外参数据固定,对内参数据进行迭代优化。即将待检测对象对应的优化后外参数据固定,利用优化后外参数据、第一位置数据和第二位置数据,对当前内参数据进行迭代优化,得到待检测对象对应的优化后内参数据,使得基于优化后外参数据和优化后内参数据,对第一位置数据进行转换,转换后的位置数据与第二位置数据之间的偏差下降,即优化目标下降。
具体实施时,基于待检测对象对应的优化后外参数据、待检测对象的关键点信息和关键点对应的第一位置数据,对当前内参数据进行迭代优化,得到待检测对象对应的优化后内参数据,具体包括:基于当前内参数据、待检测对象对应的优化后外参数据、第一位置数据、和关键点信息指示的关键点在像素坐标系下的第二位置数据,构建内参数据对应的第二优化表达式;基于第二优化表达式,确定待检测对象对应的优化后内参数据。
示例性的,假设关键点
Figure BDA0003625570740000143
则第二优化表达式可以为:
Figure BDA0003625570740000144
其中,qi,j为关键点在像素坐标系下的第二位置数据,
Figure BDA0003625570740000145
为关键点在待检测对象对应的世界坐标系下的第一位置数据,Ti为待检测对象i对应的优化后外参数据;K为内参数据,且K为未知量。
实施时,为了提高算法的收敛性,求解K时,可以引入外参数据T0(比如可以为优化后外参数据),令H=K×T0,则第二优化表达式可以为:
Figure BDA0003625570740000146
这里,通过求解上述第二优化表达式的解H,再将得到的解H进行分解,得到优化后内参数据,即
Figure BDA0003625570740000147
比如,可以利用直线线性变换(Direct Linear Transform,DLT)方法求解得到H。
这里,将外参数据固定,通过构建第二优化表达式的方式,较准确的对内参数据进行优化,即使得每次迭代优化过程后内参数据朝向真值方向调整,提高了迭代优化的精度。
在S1024中,在进行一次迭代优化之后,可以判断本次迭代后是否满足迭代截止条件,若不满足,则将优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至S1022的步骤。若满足,则基于最后一次迭代优化后得到的优化后内参数据,确定采集道路视频数据的采集装置对应的标定数据。
其中,迭代截止条件包括:迭代优化的次数等于设置的次数阈值,和/或,构建的优化目标的值小于目标阈值。比如,次数阈值可以为5000次,若进行了5000次迭代,则确定满足迭代截止条件。和/或,比如,目标阈值可以为10-5,在上次迭代优化后确定的优化目标的值、与本次迭代优化后确定的优化目标的值之间的偏差值小于目标阈值时,确定满足迭代截止条件。
在S1025中,响应于满足迭代截止条件,将最后一次迭代优化后得到的优化后内参数据,确定为道路视频数据对应的标定数据。或者,也可以将最后一次迭代优化后得到的优化后内参数据和各个待检测对象分别对应的优化后外参数据,确定为道路视频数据对应的标定数据。
考虑到不同对象类型的待检测对象对应的轴距可能不同,比如小汽车对应的轴距要小于SUV对应的轴距。基于此,S101中确定的对象信息中还可以包括对象类型。在S102中,基于至少一个待检测对象对应的关键点信息,确定道路视频数据对应的标定数据,具体包括:从至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;基于目标待检测对象对应的关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及关键点在对应的世界坐标系下的第一位置数据,确定采集道路视频数据的采集装置对应的标定数据。
实施时,可以根据每个待检测对象对应的对象类型,从至少一个待检测对象中,确定对象类型与预设类型匹配的目标待检测对象;再可以参照上述S1021-S1025的过程,利用目标待检测对象对应的关键点信息,确定道路视频数据对应的标定数据。
其中,预设类型可以根据车辆轴距的稳定情况进行确定。比如,不同品牌或不同类型的小汽车的轴距之间的偏差小于设置的偏差阈值(即偏差较小),则认为小汽车的轴距较稳定,故预设类型可以为小汽车。再比如,不同品牌或不同类型的SUV的轴距之间的偏差大于设置的偏差阈值(即偏差较大),则认为SUV的轴距不太稳定,故不将SUV确定为预设类型。
考虑到不同类型的待检测对象对应的尺寸可能不同,为了缓解上述问题,较准确的确定标定数据,可以从至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;再基于目标待检测对象对应的关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及关键点在对应的世界坐标系下的第一位置数据,确定采集道路视频数据的采集装置对应的标定数据。
针对S103:
实施时,可以利用标定数据中的内参数据,将每个待检测对象的跟踪序列信息指示的各个位置数据转换至相机坐标系下,得到第二转换后位置数据。再根据两个第二转换后位置数据和时间差,确定待检测对象的速度信息。
一种可选实施方式中,基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,确定待检测对象的速度信息,具体包括:
S1031,基于标定数据,将每个待检测对象的各个位置数据转换至采集装置对应的相机坐标系下,得到第二转换后位置数据。
S1032,针对每个视频帧,基于视频帧包括的待检测对象对应的第二转换后位置数据、和历史视频帧中待检测对象对应的第二转换后位置数据,确定视频帧中每个待检测对象对应的速度值。
S1033,基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息。
这里,通过标定数据将每个待检测对象的各个位置数据转换至相机坐标系下,得到第二转换后位置数据;再利用第二转换后位置数据,较为精准的确定视频帧中待检测对象的速度值;以便利用该速度值较准确的确定待检测对象的速度信息。
实施时,利用标定数据中的内参数据,将每个待检测对象的各个位置数据转换至采集装置对应的相机坐标系下,得到第二转换后位置数据。
针对每个视频帧,利用该视频帧中待检测对象对应的第二转换后位置数据和历史视频帧中相同待检测对象对应的第二转换后位置数据,确定待检测对象的移动距离;再根据该移动距离、和该视频帧与历史视频帧之间的时间差,确定该视频帧中该待检测对象对应的速度值。该速度值可以为待检测对象的瞬时速度。
比如,瞬时速度为:
Figure BDA0003625570740000161
其中,
Figure BDA0003625570740000162
Figure BDA0003625570740000163
为该视频帧中待检测对象对应的第二转换后位置数据,该第二转换后位置数据为在水平面上的坐标值,不使用高度方向上的坐标值;
Figure BDA0003625570740000164
Figure BDA0003625570740000165
为历史视频帧中待检测对象对应的第二转换后位置数据,Δt为时间差。
再可以根据各个视频帧包括的待检测对象的速度值,确定每个待检测对象的速度信息。比如,针对待检测对象1,若包括待检测对象1的视频帧有视频帧1至视频帧50,则可以将视频帧1至视频帧50包括的待检测对象1的速度值按照采集时间顺序进行排列,得到待检测对象1的速度信息。
一种可能的实施方式中,基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息,具体包括:基于任一时间段内的多个视频帧中待检测对象的速度值,确定待检测对象在时间段内的平均速度;基于待检测对象在各个时间段内的平均速度,确定待检测对象的速度信息。
实施时,可以基于任一时间段内的多个视频帧中待检测对象的速度值,确定待检测对象在该时间段内的平均速度。比如,在时间段为10分10秒(不包括)至10分11秒(包括)时,可以确定待检测对象在该时间段内的平均速度。即若该时间段内存在该待检测对象的视频帧为:视频帧1、视频帧2、…、视频帧n,则可以将n个视频帧中该待检测对象的速度值求平均,得到待检测对象在该时间段内的平均速度。
再可以基于待检测对象在各个时间段内的平均速度,确定待检测对象的速度信息。比如,将待检测对象在各个时间段内的平均速度按照采集顺序排列,得到待检测对象的速度信息。
考虑到待检测对象的对象信息的检测过程中会存在误差,造成该待检测对象的速度信息存在异常,比如待检测对象的位置数据存在误差,造成待检测对象的速度值异常等,为了缓解出现上述情况时影响道路检测数据的检测精度,在得到待检测对象的速度信息之后,可以对各个待检测对象的速度信息进行筛选。
一种可能的实施方式中,在基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,确定待检测对象的速度信息之后,还包括:将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,异常速度值为位于确定的速度范围之外的速度值。
实施时,可以基于各个待检测对象对应的速度信息,确定平均值和方差,根据平均值和方差确定速度范围;再利用速度范围,确定每个待检测对象的速度信息中是否存在异常速度值,该异常速度值可以为位于确定的速度范围之外的速度值;若存在,则将该待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息。
或者,可以利用3σ原则基于各个待检测对象的速度信息,对待检测对象进行筛除,即将速度信息中存在异常速度的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息。
基于各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据,包括:基于各个筛除后的待检测对象的速度信息,确定道路视频数据对应的道路检测数据。
考虑到待检测对象的速度信息的确定过程可能存在误差,为了缓解存在误差的待检测对象对道路检测数据的影响,可以将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值,以便提高道路检测数据的精准度。
针对S104:
在确定了各个待检测对象的速度信息之后,可以利用各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据。其中,目标区域可以根据实际需要进行划分,比如参见图2所示,该图2中标注有目标区域。
实施时,可以根据各个待检测对象的速度信息,确定待检测对象是否处于行驶状态;若确定待检测对象没有处于行驶状态,则可以确定目标区域内待检测对象的对象数量,将该对象数量确定为道路检测数据。或者,也可以根据对象数量,确定目标区域的拥堵等级、拥堵状态等,将该拥堵等级、拥堵状态等确定为道路检测数据。
再或者,也可以根据目标区域内各个待检测对象对应的速度信息,确定目标区域的拥堵状态、拥堵等级,将该拥堵状态、拥堵等级等确定为道路检测数据,比如,若道路的限速为60km/h,在各个待检测对象的速度信息位于[0,20)之间,则确定拥堵状态为严重拥堵,拥堵等级为一级,将严重拥堵和一级确定为道路检测数据。
一种可选实施方式中,在S104中,基于各个待检测对象的速度信息,确定道路视频数据对应的道路检测数据,具体包括:
S1041,基于各个待检测对象的速度信息,确定在任一时间段内位于目标区域的每个待检测对象的对象状态;其中,对象状态包括停止状态、行驶状态。
S1042,基于任一时间段内目标区域中、处于停止状态的待检测对象的统计数量,确定任一时间段内目标区域对应的区域状态。
S1043,响应于区域状态为车辆停止状态,确定任一时间段内目标区域中处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量;并基于任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定道路视频数据对应的道路检测数据。
这里,通过利用各个待检测对象的所述速度信息,确定在任一时间段内位于目标区域内的每个待检测对象的对象状态;再利用任一时间段内目标区域中、处于停止状态的待检测对象的统计数量,较准确的确定任一时间段内目标区域对应的区域状态;响应于区域状态为车辆停止状态,基于确定的任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定道路视频数据对应的道路检测数据,实现了道路检测数据的自动检测过程,检测效率较高。
在S1041中,根据各个待检测对象的速度信息,确定任一时间段内位于目标区域内的每个待检测对象的对象状态。该对象状态包括停止状态和行驶状态。比如,在该时间段内位于目标区域内的待检测对象的速度信息(即该时间段内的平均速度)大于或等于设置的速度阈值,则确定该待检测对象的对象状态为行驶状态;若在该时间段内位于目标区域内的待检测对象的速度信息小于该速度阈值,则确定该待检测对象的对象状态为停止状态。其中,速度阈值可以根据该道路的限速进行具体确定。
在S1042中,统计该时间段内目标区域中、处于停止状态的待检测对象的统计数量。根据该统计数量,确定该时间段内目标区域对应的区域状态,该区域状态包括车辆停止状态和车辆行驶状态。比如,可以基于统计数量和目标区域内包括的待检测对象的总数量,确定停车比例,若该停车比例大于或等于确定的比例阈值,则确定该目标区域的区域状态为车辆停止状态;若该停车比例小于该比例阈值,则确定该目标区域的区域状态为车辆行驶状态。其中,可以根据投票法确定比例阈值。
另一种方式中,基于任一时间段内目标区域中、处于停止状态的待检测对象的统计数量,确定任一时间段内所述目标区域对应的区域状态,包括:在任一时间段内,按照待检测对象进入目标区域的行驶顺序,从各个待检测对象中,确定目标数量个候选待检测对象;响应于处于停止状态的候选待检测对象的统计数量与目标数量的比例达到预设阈值,确定目标区域的区域状态为停止状态。
这里,在任一时间段内,按照待检测对象进入目标区域的行驶顺序,从各个待检测对象中确定目标数量个候选待检测对象;该候选待检测对象为位于目标区域的行驶方向前方的对象,候选待检测对象的对象状态对目标区域的状态影响较大。故可以在处于停止状态的候选待检测对象的统计数量与目标数量的比例达到预设阈值,确定目标区域的区域状态为停止状态。
其中,目标数量可以根据实际需要进行设置,比如目标数量可以为5个。即在任一时间段内,按照待检测对象进入目标区域的行驶顺序,从各个待检测对象中,确定5个候选待检测对象。其中,候选待检测对象为位于目标区域行驶方向最前面的对象。若目标区域内包括的待检测对象的数量不足目标数量时,可以将目标区域内包括的每个待检测对象确定为候选待检测对象。
统计目标数量个候选待检测对象中处于停车状态的候选待检测对象的统计数量。若该统计数量与目标数量的比例达到(大于或等于)预设阈值,则确定目标区域的区域状态为停止状态。
在S1043中,在区域状态为车辆行驶状态时,则无需确定道路检测数据。在区域状态为车辆停止状态时,确定任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量;并基于处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定道路视频数据对应的道路检测数据。比如,可以确定对象类型对应的标准转换系数,基于标准转换系数和对象类型下的停止数量,确定道路视频数据对应的标准对象数,将该标准对象数确定为道路检测数据。比如,标准对象数为:Num=a×num,其中,Num为标准对象数,a为标准转换系数,num为对象类型对应的停止数量。
示例性的,对象类型与标准转换系数之间的映射关系可以为:小汽车的标准转换系数为1,中型车的标准转换系数为1.5,大车的标准转换系数为2等。假设确定得到处于停车状态的对象类型包括大车、小汽车、中型车,且大车的停车数量为1辆,小汽车的停车数量为2辆,中型车的停车数量为2辆,则标准对象数为:1×2+2×1+2×1.5=7。
在S1043中,基于任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定道路视频数据对应的道路检测数据,具体包括:
步骤1、基于统计信息中包括的待检测对象的对象类型、和每种对象类型下的统计数量,确定时间段下目标区域内包括的标准对象数。
步骤2、基于标准对象数、设置的间距值和对象长度,确定在时间段内道路视频数据对应的排队长度。
步骤3、基于标准对象数和排队长度中的至少一种,确定道路视频数据对应的道路检测数据。
实施时,基于处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量,确定时间段下所述目标区域内包括的标准对象数。比如,可以将处于停止状态的每种对象类型对应的停止数量与该对象类型对应的停止数量相乘,得到该对象类型对应的乘积结果;再将各个处于停止状态的对象类型对应的乘积结果相加,得到标准对象数。
根据标准对象数、预设的标准间距值和标准对象长度,确定在时间段内道路视频数据对应的排队长度,即目标区域的排队长度。比如,排队长度可以为:
Lt=(l1+l2)×Num
其中,Lt为排队长度,l1为标准间距值,l2为标准对象长度。这里,标准对象长度可以为小汽车的标准车长。该标准间距值和标准对象长度可以根据实际情况进行设置。
再可以基于标准对象数和/或排队长度,确定所述道路视频数据对应的道路检测数据。比如,可以将标准对象数和/或排队长度,确定为道路检测数据。或者,也可以根据标准对象数和/或排队长度,确定目标区域的拥堵等级、拥堵状态等;将确定的拥堵等级、拥堵状态等,确定为道路检测数据。
一种可能的实施方式中,在确定在时间段内道路视频数据对应的排队长度之后,还包括:基于各个时间段分别对应的排队长度,确定平均排队长度。
基于各个时间段对应的排队长度,确定平均排队长度。比如,平均排队长度为:
Figure BDA0003625570740000191
其中,
Figure BDA0003625570740000192
为采样时间间隔T秒内目标区域对应的平均排队长度,Lt为时间段内的排队长度。
再可以基于标准对象数、排队长度和平均排队长度中的至少一种,确定道路视频数据对应的道路检测数据。
比如可以将标准对象数、排队长度和平均排队长度中的至少一种,确定为道路视频数据对应的道路检测数据。或者,也可以根据标准对象数、排队长度和平均排队长度中的至少一种,确定目标区域的拥堵信息,该拥堵信息包括拥堵状态和/或拥堵等级,将确定的拥堵信息,确定为道路视频数据对应的道路检测数据。
这里,通过确定标准对象数、排队长度和平均排队长度,再基于标准对象数、排队长度和平均排队长度中的至少一种,实现较灵活、较全面的确定道路视频数据对应的道路检测数据。
进一步的,在基于道路检测数据确定目标区域处于拥堵状态时,可以生成针对目标区域的疏导策略。比如疏导策略可以为调整红绿灯的时长、指示行驶车辆更换行驶路线等。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种信息检测装置,参见图3所示,为本公开实施例提供的信息检测装置的架构示意图,包括检测模块301、第一确定模块302、第二确定模块303、第三确定模块304,具体的:
检测模块301,用于对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
第一确定模块302,用于基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
第二确定模块303,用于基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
第三确定模块304,用于基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
一种可能的实施方式中,所述对象信息中还包括对象类型;所述第一确定模块302,在基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据时,用于:
从所述至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;
基于所述目标待检测对象对应的所述关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及所述关键点在对应的世界坐标系下的第一位置数据,确定采集所述道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述标定数据包括内参数据和外参数据,所述第一确定模块302,在基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据时,用于:
将初始化的所述内参数据和外参数据,确定为当前内参数据和当前外参数据;
基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据;
基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据;
响应于不满足迭代截止条件,将所述优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至对所述当前外参数据进行迭代优化的步骤,直至满足迭代截止条件;
基于最后一次迭代优化后得到的优化后内参数据,确定采集所述道路视频数据的采集装置对应的标定数据。
一种可能的实施方式中,所述第一确定模块302,在基于当前内参数据、待检测对象的关键点信息和关键点对应的所述第一位置数据,对当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据时,用于:
基于所述当前内参数据,将所述待检测对象的关键点信息指示的所述关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据;
基于所述第一转换后位置数据、所述当前外参数据、和所述第一位置数据,构建外参数据对应的第一优化表达式;
基于所述第一优化表达式,确定所述待检测对象对应的优化后外参数据。
一种可能的实施方式中,所述第一确定模块302,在基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据时,用于:
基于所述当前内参数据、所述待检测对象对应的优化后外参数据、所述第一位置数据、和所述关键点信息指示的关键点在像素坐标系下的第二位置数据,构建内参数据对应的第二优化表达式;
基于所述第二优化表达式,确定待检测对象对应的优化后内参数据。
一种可能的实施方式中,所述第二确定模块303,在基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息时,用于:
基于所述标定数据,将每个待检测对象的各个位置数据转换至采集装置对应的相机坐标系下,得到第二转换后位置数据;
针对每个视频帧,基于所述视频帧包括的待检测对象对应的第二转换后位置数据、和历史视频帧中所述待检测对象对应的第二转换后位置数据,确定所述视频帧中每个所述待检测对象对应的速度值;
基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息。
一种可能的实施方式中,所述第二确定模块303,在基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息时,用于:
基于任一时间段内的多个视频帧中所述待检测对象的所述速度值,确定所述待检测对象在所述时间段内的平均速度;
基于所述待检测对象在各个时间段内的平均速度,确定所述待检测对象的速度信息。
一种可能的实施方式中,所述第二确定模块303,在基于标定数据和每个待检测对象的跟踪序列信息指示的各个位置数据,确定待检测对象的速度信息之后,还用于:将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值;
所述第三确定模块304,在基于各个所述待检测对象的所述速度信息,确定道路视频数据对应的道路检测数据时,用于:基于各个所述筛除后的待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块304,在基于各个所述待检测对象的所述速度信息,确定道路视频数据对应的道路检测数据时,用于:
基于各个所述待检测对象的所述速度信息,确定在任一时间段内位于所述目标区域的每个待检测对象的对象状态;其中,所述对象状态包括停止状态、行驶状态;
基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态;
响应于所述区域状态为车辆停止状态,确定所述任一时间段内所述目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量;
基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块304,在基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态时,用于:
在任一时间段内,按照待检测对象进入所述目标区域的行驶顺序,从所述各个待检测对象中,确定目标数量个候选待检测对象;
响应于处于停止状态的候选待检测对象的统计数量与所述目标数量的比例达到预设阈值,确定所述目标区域的区域状态为停止状态。
一种可能的实施方式中,所述第三确定模块304,在基于任一时间段内目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据时,用于:
基于所述处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量,确定所述时间段下所述目标区域内包括的标准对象数;
基于所述标准对象数、预设的标准间距值和标准对象长度,确定在所述时间段内所述道路视频数据对应的排队长度;
基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述第三确定模块304,在确定在所述时间段内所述道路视频数据对应的排队长度之后,还用于:基于各个时间段分别对应的所述排队长度,确定平均排队长度;
所述第三确定模块,在基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据时,用于:基于所述标准对象数、所述排队长度和所述平均排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
一种可能的实施方式中,所述检测模块301,在对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息时,用于:
针对所述道路视频数据中的每个视频帧,对所述视频帧进行对象检测,确定所述视频帧包括的待检测对象的检测框信息;
基于所述道路视频数据中的各个视频帧、和所述每个视频帧包括的所述待检测对象的检测框信息,确定各个所述待检测对象的跟踪序列信息;其中,所述跟踪序列信息包括待检测对象在各个视频帧上的位置数据;以及
基于所述每个视频帧包括的所述待检测对象的检测框信息,从所述视频帧中获取所述待检测对象对应的目标局部图像;并对所述目标局部图像进行识别,确定所述待检测对象的对象类型、关键点信息;
基于所述检测框信息、所述跟踪序列信息、所述对象类型和所述关键点信息中的至少一种信息,确定所述待检测对象的对象信息。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图4所示,为本公开实施例提供的电子设备的结构示意图,包括处理器401、存储器402、和总线403。其中,存储器402用于存储执行指令,包括内存4021和外部存储器4022;这里的内存4021也称内存储器,用于暂时存放处理器401中的运算数据,以及与硬盘等外部存储器4022交换的数据,处理器401通过内存4021与外部存储器4022进行数据交换,当电子设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:
对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
其中,处理器401的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的信息检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的信息检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种信息检测方法,其特征在于,包括:
对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
2.根据权利要求1所述的方法,其特征在于,所述对象信息中还包括对象类型;所述基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据,包括:
从所述至少一个待检测对象中,确定对应的对象类型与预设类型匹配的目标待检测对象;
基于所述目标待检测对象对应的所述关键点信息指示的每个关键点在像素坐标系下的第二位置数据,以及所述关键点在对应的世界坐标系下的第一位置数据,确定采集所述道路视频数据的采集装置对应的标定数据。
3.根据权利要求1或2所述的方法,其特征在于,所述标定数据包括内参数据和外参数据,所述基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据,包括:
将初始化的所述内参数据和外参数据,确定为当前内参数据和当前外参数据;
基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据;
基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据;
响应于不满足迭代截止条件,将所述优化后外参数据和优化后内参数据作为新的当前外参数据和当前内参数据,返回至对所述当前外参数据进行迭代优化的步骤,直至满足迭代截止条件;
基于最后一次迭代优化后得到的优化后内参数据,确定采集所述道路视频数据的采集装置对应的标定数据。
4.根据权利要求3所述的方法,其特征在于,所述基于所述当前内参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前外参数据进行迭代优化,得到所述待检测对象对应的优化后外参数据,包括:
基于所述当前内参数据,将所述待检测对象的关键点信息指示的所述关键点在像素坐标系下的第二位置数据转换至相机坐标系下,得到第一转换后位置数据;
基于所述第一转换后位置数据、所述当前外参数据和所述第一位置数据,构建外参数据对应的第一优化表达式;
基于所述第一优化表达式,确定所述待检测对象对应的优化后外参数据。
5.根据权利要求3或4所述的方法,其特征在于,所述基于所述待检测对象对应的所述优化后外参数据、所述待检测对象的所述关键点信息和所述关键点对应的所述第一位置数据,对所述当前内参数据进行迭代优化,得到所述待检测对象对应的优化后内参数据,包括:
基于所述当前内参数据、所述待检测对象对应的优化后外参数据、所述第一位置数据、和所述关键点信息指示的关键点在像素坐标系下的第二位置数据,构建内参数据对应的第二优化表达式;
基于所述第二优化表达式,确定所述待检测对象对应的优化后内参数据。
6.根据权利要求1-5任一所述的方法,其特征在于,所述基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息,包括:
基于所述标定数据,将每个待检测对象的各个位置数据转换至所述采集装置对应的相机坐标系下,得到第二转换后位置数据;
针对每个视频帧,基于所述视频帧包括的待检测对象对应的第二转换后位置数据、和历史视频帧中所述待检测对象对应的第二转换后位置数据,确定所述视频帧中每个所述待检测对象对应的速度值;
基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息。
7.根据权利要求6所述的方法,其特征在于,所述基于各个视频帧包括的待检测对象对应的速度值,确定每个待检测对象的速度信息,包括:
基于任一时间段内的多个视频帧中所述待检测对象的所述速度值,确定所述待检测对象在所述时间段内的平均速度;
基于所述待检测对象在各个时间段内的平均速度,确定所述待检测对象的速度信息。
8.根据权利要求1-7任一所述的方法,其特征在于,在所述基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息之后,还包括:
将各个待检测对象中,速度信息内存在异常速度值的待检测对象筛除,得到筛除后的待检测对象、和筛除后的待检测对象对应的速度信息;其中,所述异常速度值为位于确定的速度范围之外的速度值;
所述基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据,包括:
基于各个所述筛除后的待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据。
9.根据权利要求1-8任一所述的方法,其特征在于,所述基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据,包括:
基于各个所述待检测对象的所述速度信息,确定在任一时间段内位于所述目标区域的每个待检测对象的对象状态;其中,所述对象状态包括停止状态、行驶状态;
基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态;
响应于所述区域状态为车辆停止状态,确定所述任一时间段内所述目标区域中处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量;
基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据。
10.根据权利要求9所述的方法,其特征在于,所述基于所述任一时间段内所述目标区域中、处于停止状态的待检测对象的统计数量,确定所述任一时间段内所述目标区域对应的区域状态,包括:
在任一时间段内,按照待检测对象进入所述目标区域的行驶顺序,从所述各个待检测对象中,确定目标数量个候选待检测对象;
响应于处于停止状态的候选待检测对象的统计数量与所述目标数量的比例达到预设阈值,确定所述目标区域的区域状态为停止状态。
11.根据权利要求9或10所述的方法,其特征在于,所述基于所述任一时间段内所述目标区域中所述处于停止状态的待检测对象的对象类型、和每种对象类型对应的停止数量,确定所述道路视频数据对应的道路检测数据,包括:
基于所述处于停止状态的待检测对象的对象类型和每种对象类型对应的停止数量,确定所述时间段下所述目标区域内包括的标准对象数;
基于所述标准对象数、预设的标准间距值和标准对象长度,确定在所述时间段内所述道路视频数据对应的排队长度;
基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
12.根据权利要求11所述的方法,其特征在于,在确定在所述时间段内所述道路视频数据对应的排队长度之后,还包括:
基于各个时间段分别对应的所述排队长度,确定平均排队长度;
所述基于所述标准对象数和所述排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据,包括:
基于所述标准对象数、所述排队长度和所述平均排队长度中的至少一种,确定所述道路视频数据对应的道路检测数据。
13.根据权利要求1-12任一所述的方法,其特征在于,所述对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息,包括:
针对所述道路视频数据中的每个视频帧,对所述视频帧进行对象检测,确定所述视频帧包括的待检测对象的检测框信息;
基于所述道路视频数据中的各个视频帧、和所述每个视频帧包括的所述待检测对象的检测框信息,确定各个所述待检测对象的跟踪序列信息;其中,所述跟踪序列信息包括待检测对象在各个视频帧上的位置数据;以及
基于所述每个视频帧包括的所述待检测对象的检测框信息,从所述视频帧中获取所述待检测对象对应的目标局部图像;并对所述目标局部图像进行识别,确定所述待检测对象的对象类型、关键点信息;
基于所述检测框信息、所述跟踪序列信息、所述对象类型和所述关键点信息中的至少一种信息,确定所述待检测对象的对象信息。
14.一种信息检测装置,其特征在于,包括:
检测模块,用于对道路视频数据进行目标检测,确定所述道路视频数据中每个待检测对象的对象信息;所述对象信息至少包括关键点信息、跟踪序列信息;
第一确定模块,用于基于至少一个待检测对象对应的所述关键点信息,确定采集所述道路视频数据的采集装置对应的标定数据;
第二确定模块,用于基于所述标定数据和所述每个待检测对象的所述跟踪序列信息指示的各个位置数据,确定所述待检测对象的速度信息;
第三确定模块,用于基于各个所述待检测对象的所述速度信息,确定所述道路视频数据对应的道路检测数据;其中,所述道路检测数据用于表征所述道路视频数据指示的目标区域的拥堵状态。
15.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的信息检测方法的步骤。
16.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至13任一所述的信息检测方法的步骤。
CN202210468514.4A 2022-04-29 2022-04-29 信息检测方法、装置、电子设备及存储介质 Pending CN114972199A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210468514.4A CN114972199A (zh) 2022-04-29 2022-04-29 信息检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468514.4A CN114972199A (zh) 2022-04-29 2022-04-29 信息检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114972199A true CN114972199A (zh) 2022-08-30

Family

ID=82978387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468514.4A Pending CN114972199A (zh) 2022-04-29 2022-04-29 信息检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972199A (zh)

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
CN109087510B (zh) 交通监测方法及装置
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
Mithun et al. Detection and classification of vehicles from video using multiple time-spatial images
CN107591005B (zh) 动静态检测相结合的停车区域管理方法、服务器及系统
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN115331191B (zh) 车型识别方法、装置、系统和存储介质
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN114820465A (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN112528781B (zh) 一种障碍物检测方法、装置、设备和计算机可读存储介质
CN116612103B (zh) 一种基于机器视觉的建筑结构裂缝智能检测方法及其系统
CN111723854A (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN112289037B (zh) 基于复杂环境下高视角的机动车辆违规停车检测方法及系统
CN115082668A (zh) 遥感图像中感兴趣区域的筛选方法、装置、设备及介质
CN115205615A (zh) 一种车辆清洁度检测方法、装置和计算机可读存储介质
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
CN114972199A (zh) 信息检测方法、装置、电子设备及存储介质
CN113313078B (zh) 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统
CN115546762A (zh) 图像聚类方法、装置、存储介质及服务器
CN114255452A (zh) 目标测距方法及装置
CN115503712B (zh) 考虑道路运行条件的智能网联汽车预测控制方法和系统
CN115050028B (zh) 一种恶劣天气下小样本车牌检测方法
CN113553955A (zh) 交通检测方法、装置、电子设备及存储介质
CN114359853A (zh) 目标检测方法、车载设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination