CN113286096B - 视频识别方法及系统 - Google Patents

视频识别方法及系统 Download PDF

Info

Publication number
CN113286096B
CN113286096B CN202110546124.XA CN202110546124A CN113286096B CN 113286096 B CN113286096 B CN 113286096B CN 202110546124 A CN202110546124 A CN 202110546124A CN 113286096 B CN113286096 B CN 113286096B
Authority
CN
China
Prior art keywords
camera
area
lane
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110546124.XA
Other languages
English (en)
Other versions
CN113286096A (zh
Inventor
梁晖
潘琤雯
黄庭
胡德超
周萍
汪忠健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110546124.XA priority Critical patent/CN113286096B/zh
Publication of CN113286096A publication Critical patent/CN113286096A/zh
Application granted granted Critical
Publication of CN113286096B publication Critical patent/CN113286096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种视频识别方法及系统,属于视频识别及传输领域。该视频识别方法,包括:多组摄像头中的每组摄像头进行视频图像的采集,每组摄像头中的每个摄像头具有预定的视场角范围以及焦距参数;将采集的视频图像传输给识别模块;识别模块根据接收的视频图像,对图像中的目标物进行车道级的定位;摄像头的视场角范围以及焦距参数采用如下方式获取:根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度及第二距离,确定摄像头分别在垂直于第一方向的视场角范围及在第一方向的视场角范围;根据摄像头所采集的区域范围,确定摄像头的焦距参数。通过本申请的视频识别方法及系统,提高了车辆识别精准度以及定位精准度。

Description

视频识别方法及系统
技术领域
本申请属于视频识别及传输领域,特别涉及一种视频识别方法及系统。
背景技术
目前对于目标视觉识别的方法,主要还是基于机器视觉算法进行的,识别效果很大程度上依赖于算法性能,在一些近距离的识别场景中能够取得比较好的效果。但是对于远距离、距离跨度范围大、道路标志线无法通过视觉清楚识别的港口交通场景而言,由于成像设备的固定性、单一性等因素影响,仅通过一种算法进行识别,待识别的车辆可能会面临成像大小不一、质量参差不齐的情况,同时也会出现无法判断部分车辆具体所在车道,尤其当车辆跟车距离较近时,容易将不同车道的车辆误判成同一车道的车辆的问题,所以仅从算法上优化对远距离、距离跨度范围大的车辆进行识别及定位,并不能起到较好的效果。
随着智慧港口的建设,港口许多业务场景有对于5G网络的需求,尤其在需要视频辅助港口作业的场景下,而视频对网络带宽的占用较大。以港机远控场景为例,经测试,单台龙门吊进行正常远控作业时,视频传输过程所需的网络带宽为36Mbps,而实际上5G单基站的网络上行带宽存在较大的瓶颈,只有200Mbps左右,无法实现多台龙门吊同时进行视频作业。而且在智慧港口建设过程中需要视频监控进行辅助的业务场景较多,例如:港口安全监控、集卡全流程跟踪监控、无人集卡自动驾驶等,因此采用一定方法减少视频传输过程对网络带宽的占用显得格外重要。为了不影响视频的播放效果,现有的方法大多采用降低回传视频图像的质量及压缩视频来减小对网络带宽的占用,而操控室内的工作人员进行远控操作、目标识别时对于回传视频图像质量的要求较高,因此现有的技术方案不能满足大部分港口视频监控识别的要求。
发明内容
本申请提供一种视频识别方法及系统,能够解决现有的视频识别方式,存在车辆识别精准度以及定位精准度不高的问题。
为了解决上述技术问题,本申请提供一种视频识别方法,应用于视频识别系统,包括:
多组摄像头中的每组摄像头进行视频图像的采集,所述每组摄像头中的每个摄像头具有预定的视场角范围以及焦距参数;
将采集的视频图像传输给识别模块;
所述识别模块根据接收的视频图像,对图像中的目标物进行车道级的定位;
其中,每个摄像头的视场角范围以及焦距参数采用如下方式获取:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离;
根据摄像头所采集的区域范围,确定摄像头的焦距参数。
可选地,每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距。
可选地,每组摄像头的设置方式为:至少一个第二摄像头在所述第一摄像头四周均匀分布。
可选地,所述根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,包括:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围。
可选地,所述第一目标信息由靶面尺寸的高度和宽度之比确定。
可选地,所述根据摄像头所采集的区域范围,确定摄像头的焦距参数,包括:
根据所述区域范围,确定摄像头的识别物距;
根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数。
可选地,所述第二目标信息为靶面高度。
可选地,所述将采集的视频图像传输给识别模块,包括:
将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块。
可选地,所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新。
可选地,所述将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域,包括:
对目标帧进行图块单元划分;
根据划分的图块单元,将目标帧划分为第一区域和第二区域。
可选地,所述对图像中的目标物进行车道级的定位,包括:
根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道。
可选地,所述根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数,包括:
获取所述视频图像中的目标物在宽度方向所占用的第一像素个数以及所述目标物距车道边界所占用的第二像素个数;
确定目标物的实际宽度以及每条车道的宽度;
根据所述第一像素个数、所述第二像素个数、所述目标物的实际宽度和所述每条车道的宽度,确定图像中的目标物距车道边界所跨越的车道数。
可选地,所述根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道,包括:
若所述车道数与第一数值的差值的绝对值大于或等于0、且小于或等于预设值,则确定目标物位于第一数值所确定的车道上;
若所述车道数与第一数值的差值的绝对值大于或等于预设值、且小于1,则确定目标物位于第一数值加一以及第一数值加二所确定的两个车道上;
其中,所述第一数值由所述目标物距车道边界所跨越的车道数向下取整确定。
可选地,所述预设值=1-MN/W;
其中,MN为目标物的实际宽度,W为每条车道的宽度。
本申请还提供一种视频识别系统,包括:
视频采集模块,用于进行视频图像的采集;
视频传输模块,用于将采集的视频图像传输给识别模块;
识别模块,用于根据接收的视频图像,对图像中的目标物进行车道级的定位;
其中,所述视频采集模块包括多组摄像头,每组摄像头具有预定的视场角范围以及焦距参数;
每个摄像头的视场角范围以及焦距参数采用如下方式获取:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离;
根据摄像头所采集的区域范围,确定摄像头的焦距参数。
可选地,每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距。
可选地,所述根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围的实现方式,包括:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围。
可选地,所述根据摄像头所采集的区域范围,确定摄像头的焦距参数的实现方式,包括:
根据所述区域范围,确定摄像头的识别物距;
根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数。
可选地,所述视频采集模块,用于:
将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块。
可选地,所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新。
可选地,所述识别模块,用于:
根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道。。
本申请的有益效果是:
上述方案,通过利用多组摄像头进行图像的采集,每组摄像头中的每个摄像头的视场角范围以及焦距参数互不相同,以此保证能够采集到较为精准的视频图像,同时利用视频图像进行目标物的车道级的定位,以此提高定位的精准度。
附图说明
图1是本申请实施例的视频识别方法的流程示意图;
图2是多镜头摄像头分布状态示意图;
图3是多镜头摄像头分区域范围监控示意图;
图4是多镜头摄像头工作示意图;
图5是港口交通场景示意图;
图6是图像分块示意图;
图7是关键区域和非关键区域划分示意图;
图8是帧传输示意图;
图9是目标物车道定位示意图;
图10是本申请实施例的视频识别系统的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的视频识别方法及系统进行详细地说明。
如图1所示,本申请实施例提供一种视频识别方法,应用于视频识别系统,包括:
步骤101,多组摄像头中的每组摄像头进行视频图像的采集;
需要说明的是,所述每组摄像头中的每个摄像头具有预定的视场角范围以及焦距参数;也就是说,每组摄像头按照预定的视场角范围以及焦距参数进行预定区域内的视频图像的采集。
步骤102,将采集的视频图像传输给识别模块;
步骤103,所述识别模块根据接收的视频图像,对图像中的目标物进行车道级的定位。
可选地,本申请实施例中所说的每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距,也就是说,第一摄像头为短焦距摄像头,第二摄像头为长焦距摄像头。
具体地,第二摄像头的个数视使用情况而定,例如,在港口交通场景下,根据港口交通场景下的具体情况进行第二摄像头的个数的设置。
本申请实施例中,不对第一摄像头和第二摄像头的设置位置进行限定,优选地,每组摄像头的设置方式为:至少一个第二摄像头在所述第一摄像头四周均匀分布,例如,第一摄像头和第二摄像头的一种可选地设置示意如图2所示,第一摄像头21和第二摄像头22设置于同一底座20上第二摄像头22围绕成一个圆形,第一摄像头21位于圆形的中心位置。
本申请实施例中通过设置焦距不同的摄像头,能够实现对远距离、跨度范围大的港口道路内的信息进行分区域视频采集,例如,如图3所示,不同的摄像头采集的区域范围不同,范围1至范围N中的每个范围分别由一个长焦距摄像头进行采集,而范围1至范围N的整个路段,由一个短焦距摄像头进行采集。
需要说明的是,视频的成像效果越好,对目标物的识别精度就越高,所以只有获得目标物更完整、清晰的图像时,才可以对目标物的位置进行准确、高效地识别。因此将识别距离范围划分为N份不等区域,由多个具有不同性能参数的镜头,高质量地、清晰地采集对应的每块不同区域内的目标信息。随着镜头焦距的加长,摄像头视野也会随着变窄,能够采集到的信息也减少,因此由一个短焦距摄像头A负责采集该路段的所有目标信息,多个长焦距摄像头负责采集每个分路段范围内的目标信息,如下图4所示。
由于各个镜头仅采集固定的道路距离范围内的信息,需要确定每个摄像镜头的水平及垂直方向的视场角大小,保证摄像头仅对该区域进行成像,可选地,本申请实施例中所说的每个摄像头的视场角范围以及焦距参数可以采用如下方式获取。
一、摄像头的视场角范围的获取
具体地,根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离。
可选地,此种方式下的进一步地实现方式可以为:
步骤S101,根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
需要说明的是,本申请实施例中所说的第一方向指的是车道方向,而垂直于第一方向便指的是垂直于车道的方向,将第一方向标记为X方向,垂直于第一方向的变为Y方向。因摄像头通常是设置在路边的固定物(例如,灯杆)上,由于固定物的存在使得摄像头具有一定的高度,也就是说,摄像头的高度便是固定物的高度。而通常该固定物并不在道路中间,而是在道路一侧,且距车道边界具有一定距离,也就是说,上述所说的摄像头在第一方向的投影距车道边界的第一距离指的是固定物距车道边界的距离,如图5所示,摄像头在垂直于第一方向的视场角范围位于图5中的线a、b所构成的夹角内,其中,图5中的L1为固定物高度,L2为固定物距车道边界的距离,L3为车道总宽度,每个摄像头对应一组a和b,而该a和b由摄像头所采集的范围区域在X方向最小取值所对应的线的两端与摄像头的连线构成,也就是说,例如,长焦距摄像头B采集范围1内的目标物的视频图像,则此摄像头B对应的a和b即为图5中的标注所示。
下面以长焦距摄像头包括N个,其采集的范围分别对对应范围1-范围N,则对于长焦距摄像头n,根据图中的几何关系可以其对应的a的长度由公式一确定,其对应的b的长度由公式二确定。
Figure BDA0003073725360000091
其中,xn-1为长焦距摄像头n所采集范围中距原点最近的距离。
在得到a和b之后,便可以根据余弦定理求出a和b之间的夹角,即摄像头n在垂直于第一方向的视场角范围α,具体地,由公式三可获取α。
Figure BDA0003073725360000092
由此便可得到每个长焦距摄像头在垂直于第一方向的视场角范围,对于每个长焦距摄像头而言,α值随着所监控范围在x方向的距离的变化而变化。而对于短焦距摄像头在垂直于第一方向的视场角范围的获取方式与采集范围为范围1的长焦距摄像头在垂直于第一方向的视场角范围的获取方式相同,在此不再赘述。
步骤S102,根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围;
需要说明的是,在获取据摄像头在垂直于第一方向的视场角范围之后,便可以根据该视场角范围确定摄像头在第一方向的视场角范围。
需要说明的是,本申请实施例中采用工业摄像头常用的电荷耦合器件(CCD)作为成像元件,选用1/3inch的CCD,靶面尺寸为(w*h=4.8mm*3.6mm)。具体地,上述的第一目标信息由靶面尺寸的高度和宽度之比确定,因此可以根据公式四获取每个摄像头在x方向的视场角β:
公式四:
Figure BDA0003073725360000101
其中,h为靶面尺寸的高度,w为靶面尺寸的宽度,也就是说,上述的第一目标信息即为公式四中的S,在具体应用时,通常采用的CCD的靶面尺寸宽高之比为4∶3,也就是说,S=3/4。
二、摄像头的焦距参数的获取
根据摄像头所采集的区域范围,确定摄像头的焦距参数。
可选地,此种方式下的进一步地实现方式可以为:
步骤S201,根据所述区域范围,确定摄像头的识别物距;
需要说明的是,设定进入长焦距摄像头视野范围仅为整个车道宽度内信息,根据步骤102中所述采用的为CCD,按照CCD的靶面尺寸宽高之比,在沿车辆行驶方向上将识别的道路范围划分为N不等份,每份的边界范围区域由公式五确定。
公式五:[xn-1,xn]=[x0+S(n-1)L3,x0+SnL3],n≥1
其中,[xn-1,xn]为长焦距摄像头n所采集的范围n的所对应的区域,n小于或等于N。
也就是说,当采用的CCD靶面尺寸宽高之比为4∶3,根据CCD靶面成像原理,按照该比例关系,在沿车辆行驶方向上将识别的道路范围划分为N不等份,每份的边界范围区域为:
Figure BDA0003073725360000102
而摄像头的识别物距为每个区域范围的中心点,也就是说,每个长焦距摄像头n的识别物距可由公式六确定:
公式六:
Figure BDA0003073725360000103
而短焦距摄像头所采集的范围区域为[x0,xn],即短焦距摄像头所采集的范围区域为所有长焦距摄像头所采集的范围区域之和,其识别物距的获取方式与长焦距摄像头的识别物距的获取原理相同,在此不再赘述。
这里还需要说明的是,当前这组摄像头监控识别范围的x0值视港区现场环境而定,“范围N”的上限为下一组镜头监控识别范围的下限x0,也就说,多组摄像头所采集的视频区域是连续的。
步骤S202,根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数;
可选地,本申请实施例中所说的摄像头的焦距参数可以采用公式七得到。
公式七:摄像头的焦距参数=摄像头的识别物距×摄像头在第一方向的区域长度/第二目标信息。
可选地,该第二目标信息可以为靶面高度。
例如,针对长焦距摄像头n则其在第一方向的区域长度则为xn-xn-1
需要说明的是,在摄像头按照预定的视场角范围以及焦距参数得到视频图像之后,便需要将该视频图像传输给识别模块,进行图像中目标物的定位,具体地,步骤102的一种可选地实现方式为:
步骤1021,将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
需要说明的是,在港口的视频监控路数较多,视频图像由多组GOP(Group ofPicture)画面组成,每组GOP是一组连续的画面,MPEG编码将画面分为I、P、B三种,I是内部编码帧,P是前向预测帧,B是双向内插帧,I帧是完整的画面,又称帧内编码,而P帧和B帧记录的是相对I帧的变化,又称帧间编码,没有I帧,P帧和B帧无法解码。以I/P编码为例,视频图像编码后是由每一组I帧和多个P帧组成一组GOP画面组。因此在进行视频传输的过程中,为了减小视频信息对网络带宽的占用,根据港口交通场景的特点:场景简单、区域划分较明确、有规律性,主要区域由堆场、车道组成,视频监控识别的关注点主要在车道内。具体地,本申请实施例中的视频图像主要包括I帧和P帧,则在传输时,也主要以I帧和P帧的传输为例进行说明。也就是说,本申请实施例所说的目标帧指的便是I帧,目标帧中第一区域的参考帧为P帧。
在对I帧进行区域划分时,主要采取的划分方式为:
对目标帧进行图块单元划分;根据划分的图块单元,将目标帧划分为第一区域和第二区域。
例如,将一个I帧画面分为多个图块单元,每个图块单元内包含M×N个像素矩阵信息,如图6所示,图6中每个方框即表示一个图块单元。
在得到图块单元后,将图像划分第一区域和第二区域,具体地,该第一区域指的是关注区域即车道内的区域,第二区域指的是非关注区域,即车道外的区域,具体地,区域划分如图7所示,图7中虚线框所指示的为关注区域,虚线框外的为非关注区域。
步骤1022,按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块。
需要说明的是,此种传输方式指的是,先传输完整视频画面的第一个I帧,因I帧图像内容已分为关注区域与非关注区域,则第一I帧的关注区域与非关注区域的内容都会进行传输,接着传输P帧,当遇到下一个I帧时,只传输关注区域的I帧,非关注区域的I帧仍然以第一个I帧代替。
还需要说明的是,因非关注区域中的信息也并不是始终不变的,本申请实施例还提供一种更新非关注区域的方式,即所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新。
也就是说,本申请中设置一定的刷新频率更新第一个I帧。
具体地,I帧和P帧的传输示意图如图8所示。
需要说明的是,本申请实施例中的此种视频传输方式能够降低传输的视频大小,减小占用的网络带宽。
需要说明的是,当识别模块获取到摄像头采集的视频图像之后,便可以对视频图像中的目标物进行识别定位,具体地,步骤103的一种可选地实现方式为:
步骤1031,根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
可选地,此步骤的一种可以采用的实现方式为:
获取所述视频图像中的目标物在宽度方向所占用的第一像素个数以及所述目标物距车道边界所占用的第二像素个数;确定目标物的实际宽度以及每条车道的宽度;根据所述第一像素个数、所述第二像素个数、所述目标物的实际宽度和所述每条车道的宽度,确定图像中的目标物距车道边界所跨越的车道数。
需要说明的是,例如,以港口道路上行驶的车辆为例,则本申请实施例中所说的目标物为车辆,因港口道路上行驶的车辆主要是运载集装箱的,该集装箱的宽度通常要比车辆的宽度略宽一些,也就是说,目标物在宽度方向所占用的第一像素个数指的是集装箱在宽度方向所占用的第一像素个数,目标物的实际宽度也就是集装箱的实际宽度。
如图9所示,图9中左侧所示为一帧视频图像画面,由一个个小像素组成,由于不同种类集装箱的宽度由国际标准规定且唯一,且港口的每条车道的宽度W也是按港口道路规划的标准规定的。通过一帧视频图像中的信息,识别出车辆装载的集装箱宽度方向上的两个端点M、N,MN所表示的长度即为目标物的实际宽度以及宽度MN所占的像素的宽度v(即目标物在宽度方向所占用的第一像素个数)、M点距最边缘的A道路线的像素宽度u(即目标物距车道边界所占用的第二像素个数),可以对车辆进行道路级定位。假定车辆所在车道为Z,则目标物距车道边界所跨越的车道数由公式八确定。
公式八:Z1=MN×u/(v×W);
其中,Z1为目标物距车道边界所跨越的车道数。
步骤1032,根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道;
可选地,此步骤的一种可以采用的实现方式为:
若所述车道数与第一数值的差值的绝对值大于或等于0、且小于或等于预设值,则确定目标物位于第一数值所确定的车道上;
若所述车道数与第一数值的差值的绝对值大于或等于预设值、且小于1,则确定目标物位于第一数值加一以及第一数值加二所确定的两个车道上;
其中,所述第一数值由所述目标物距车道边界所跨越的车道数向下取整确定。
可选地,为了保证车道定位的准确性,该预设值由目标物的实际宽度以及车道宽度确定,具体地,该预设值=1-MN/W。
进一步需要说明的是,当判断得到目标物横跨两条车道时,说明目标物正在执行变道行为,若目标物长时间出于两车道之间行驶,不满足港口车辆交通行驶规则,业务人员将对该车进行预警或接管。
需要说明的是,本申请的视频识别方法是应用于视频识别系统的,该视频识别系统主要包括视频采集模块、视频传输模块和识别模块,通常情况下,该视频采集模块和视频传输模块可以均设置在路边的固定物上,而该识别模块可以设置在云端服务器上,也可以设置在车辆上,还可以设置在港口操作中控台上,本申请中对视频采集模块、视频传输模块和识别模块的具体设置位置不做限定。
需要说明的是,与现在技术相比,本申请实施例中通过利用多个摄像头分区域监控识别,提高对远距离目标的识别,可对车辆的车道级定位进行精准判断,且根据不同区域的关注度高低,实现了不同关键信息分区域视频回传的方式,能够解决如下问题:
(1)单一摄像头、单一算法无法实现对距离远、范围广的场景内所有目标的精准识别效果;
(2)道路线识别不清,容易被大车遮挡,无法对车辆进行准确地道路级定位;
本申请实施例还能够在保证视频回传图像质量的基础上,降低回传视频图像对网络带宽的高要求,可大大提高港口视频监控识别效果。
如图10所示,本申请实施例还提供一种视频识别方法系统1000,包括:
视频采集模块1001,用于进行视频图像的采集;
视频传输模块1002,用于将采集的视频图像传输给识别模块;
识别模块1003,用于根据接收的视频图像,对图像中的目标物进行车道级的定位;
其中,所述视频采集模块1001包括多组摄像头,每组摄像头具有预定的视场角范围以及焦距参数;
每个摄像头的视场角范围以及焦距参数采用如下方式获取:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离;
根据摄像头所采集的区域范围,确定摄像头的焦距参数。
可选地,每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距。
可选地,每组摄像头的设置方式为:至少一个第二摄像头在所述第一摄像头四周均匀分布。
可选地,所述根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围的实现方式,包括:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围。
可选地,所述第一目标信息由靶面尺寸的高度和宽度之比确定。
可选地,所述根据摄像头所采集的区域范围,确定摄像头的焦距参数的实现方式,包括:
根据所述区域范围,确定摄像头的识别物距;
根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数。
可选地,所述第二目标信息为靶面高度。
可选地,所述视频传输模块1002,用于:
将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块。
可选地,所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新。
可选地,所述视频采集模块将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域的具体实现方式,包括:
对目标帧进行图块单元划分;
根据划分的图块单元,将目标帧划分为第一区域和第二区域。
可选地,所述识别模块1003,用于:
根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道。
可选地,所述识别模块根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数的具体实现方式,包括:
获取所述视频图像中的目标物在宽度方向所占用的第一像素个数以及所述目标物距车道边界所占用的第二像素个数;
确定目标物的实际宽度以及每条车道的宽度;
根据所述第一像素个数、所述第二像素个数、所述目标物的实际宽度和所述每条车道的宽度,确定图像中的目标物距车道边界所跨越的车道数。
可选地,所述识别模块根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道的具体实现方式,包括:
若所述车道数与第一数值的差值的绝对值大于或等于0、且小于或等于预设值,则确定目标物位于第一数值所确定的车道上;
若所述车道数与第一数值的差值的绝对值大于或等于预设值、且小于1,则确定目标物位于第一数值加一以及第一数值加二所确定的两个车道上;
其中,所述第一数值由所述目标物距车道边界所跨越的车道数向下取整确定。
可选地,所述预设值=1-MN/W;
其中,MN为目标物的实际宽度,W为每条车道的宽度。
本申请实施例提供的视频识别方法系统能够实现图1的方法实施例中视频识别方法系统实现的各个过程,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (11)

1.一种视频识别方法,应用于视频识别系统,其特征在于,包括:
多组摄像头中的每组摄像头进行视频图像的采集,所述每组摄像头中的每个摄像头具有预定的视场角范围以及焦距参数;
将采集的视频图像传输给识别模块;
所述识别模块根据接收的视频图像,对图像中的目标物进行车道级的定位;
其中,每个摄像头的视场角范围以及焦距参数采用如下方式获取:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离;
根据摄像头所采集的区域范围,确定摄像头的焦距参数;
其中,每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距;
所述第一方向为车道方向;
其中,所述将采集的视频图像传输给识别模块,包括:
将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块;
所述第一区域为车道内的区域,所述第二区域为车道外的区域;
所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新;
所述目标帧为I帧,所述目标帧中第一区域的参考帧为P帧。
2.根据权利要求1所述的视频识别方法,其特征在于,每组摄像头的设置方式为:至少一个第二摄像头在所述第一摄像头四周均匀分布。
3.根据权利要求1所述的视频识别方法,其特征在于,所述根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,包括:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围;
其中,所述第一目标信息由靶面尺寸的高度和宽度之比确定。
4.根据权利要求1所述的视频识别方法,其特征在于,所述根据摄像头所采集的区域范围,确定摄像头的焦距参数,包括:
根据所述区域范围,确定摄像头的识别物距;
根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数;
其中,所述第二目标信息为靶面高度。
5.根据权利要求1所述的视频识别方法,其特征在于,所述将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域,包括:
对目标帧进行图块单元划分;
根据划分的图块单元,将目标帧划分为第一区域和第二区域。
6.根据权利要求1所述的视频识别方法,其特征在于,所述对图像中的目标物进行车道级的定位,包括:
根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道。
7.根据权利要求6所述的视频识别方法,其特征在于,所述根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数,包括:
获取所述视频图像中的目标物在宽度方向所占用的第一像素个数以及所述目标物距车道边界所占用的第二像素个数;
确定目标物的实际宽度以及每条车道的宽度;
根据所述第一像素个数、所述第二像素个数、所述目标物的实际宽度和所述每条车道的宽度,确定图像中的目标物距车道边界所跨越的车道数。
8.一种视频识别系统,其特征在于,包括:
视频采集模块,用于进行视频图像的采集;
视频传输模块,用于将采集的视频图像传输给识别模块;
识别模块,用于根据接收的视频图像,对图像中的目标物进行车道级的定位;
其中,所述视频采集模块包括多组摄像头,每组摄像头具有预定的视场角范围以及焦距参数;
每个摄像头的视场角范围以及焦距参数采用如下方式获取:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围,所述第二距离为摄像头在第一方向的采集范围的边界距摄像头在第一方向的投影在第一方向的最小投影距离;
根据摄像头所采集的区域范围,确定摄像头的焦距参数;
其中,每组摄像头包括:一个第一摄像头以及至少一个第二摄像头、且所述第一摄像头的焦距小于所述第二摄像头的焦距;
所述第一方向为车道方向;
其中,所述视频采集模块,用于:
将每个摄像头采集的视频图像的目标帧划分为第一区域和第二区域;
按照预设规则,传输视频图像给识别模块;
其中,所述预设规则,包括:
将视频图像的第一个目标帧包含的第一区域和第二区域以及所述目标帧中第一区域的参考帧传输给识别模块,对除第一个之外的目标帧,传输第一区域给识别模块;
所述第一区域为车道内的区域,所述第二区域为车道外的区域;
所述预设规则,还包括:
间隔预设时长,传输包含第一区域和第二区域的目标帧给识别模块,使得所述识别模块进行第一个目标帧的第二区域的更新;
所述目标帧为I帧,所述目标帧中第一区域的参考帧为P帧。
9.根据权利要求8所述的视频识别系统,其特征在于,所述根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头分别在垂直于第一方向的视场角范围以及在第一方向的视场角范围的实现方式,包括:
根据摄像头的高度、摄像头在第一方向的投影距车道边界的第一距离、车道总宽度以及第二距离,确定摄像头在垂直于第一方向的视场角范围;
根据摄像头在垂直于第一方向的视场角范围以及摄像头的成像元件的第一目标信息,确定摄像头在第一方向的视场角范围;
其中,所述第一目标信息由靶面尺寸的高度和宽度之比确定。
10.根据权利要求8所述的视频识别系统,其特征在于,所述根据摄像头所采集的区域范围,确定摄像头的焦距参数的实现方式,包括:
根据所述区域范围,确定摄像头的识别物距;
根据所述摄像头的识别物距、摄像头在第一方向的区域长度以及摄像头的成像元件的第二目标信息,确定摄像头的焦距参数;
其中,所述第二目标信息为靶面高度。
11.根据权利要求8所述的视频识别系统,其特征在于,所述识别模块,用于:
根据所述视频图像,确定图像中的目标物距车道边界所跨越的车道数;
根据所述目标物距车道边界所跨越的车道数,确定目标物所在的车道。
CN202110546124.XA 2021-05-19 2021-05-19 视频识别方法及系统 Active CN113286096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110546124.XA CN113286096B (zh) 2021-05-19 2021-05-19 视频识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110546124.XA CN113286096B (zh) 2021-05-19 2021-05-19 视频识别方法及系统

Publications (2)

Publication Number Publication Date
CN113286096A CN113286096A (zh) 2021-08-20
CN113286096B true CN113286096B (zh) 2022-08-16

Family

ID=77280089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110546124.XA Active CN113286096B (zh) 2021-05-19 2021-05-19 视频识别方法及系统

Country Status (1)

Country Link
CN (1) CN113286096B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040104A (zh) * 2021-11-16 2022-02-11 北京筑梦园科技有限公司 一种设备调试方法、装置及停车管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136007A2 (en) * 2007-05-08 2008-11-13 Amihay Halamish Acquiring regions of interest at a high frame rate
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098955B2 (en) * 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
CN101807347B (zh) * 2009-02-16 2012-09-19 北京汉王智通科技有限公司 多车道车辆监控方法及系统
JP2017022529A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 通信システム、通信装置、通信方法、及び、プログラム
US10178414B2 (en) * 2015-10-14 2019-01-08 International Business Machines Corporation Aggregated region-based reduced bandwidth video streaming
CN105744239B (zh) * 2016-05-11 2018-10-19 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置
CN105933678B (zh) * 2016-07-01 2019-01-15 湖南源信光电科技有限公司 基于多目标智能跟踪的多焦距镜头联动成像装置
CN108513097A (zh) * 2017-02-27 2018-09-07 杭州海康威视数字技术股份有限公司 一种多目摄像装置和监控系统
CN110830756B (zh) * 2018-08-07 2022-05-17 华为技术有限公司 一种监控方法与装置
CN209641070U (zh) * 2018-12-03 2019-11-15 讯飞智元信息科技有限公司 一种鸣笛抓拍系统
CN111311902B (zh) * 2018-12-12 2022-05-24 斑马智行网络(香港)有限公司 一种数据处理方法、装置、设备和机器可读介质
CN111435565A (zh) * 2018-12-26 2020-07-21 杭州海康威视数字技术股份有限公司 道路交通状态检测方法、装置、电子设备及存储介质
US20220004748A1 (en) * 2019-01-16 2022-01-06 Hangzhou Hikvision Digital Technology Co., Ltd. Video display method, device and system, and video camera
CN112541437A (zh) * 2020-12-15 2021-03-23 北京百度网讯科技有限公司 车辆定位方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136007A2 (en) * 2007-05-08 2008-11-13 Amihay Halamish Acquiring regions of interest at a high frame rate
CN109862356A (zh) * 2019-01-17 2019-06-07 中国科学院计算技术研究所 一种基于感兴趣区域的视频编码方法及系统

Also Published As

Publication number Publication date
CN113286096A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN109643489B (zh) 三维信息处理方法以及三维信息处理装置
CN102622895B (zh) 一种基于视频的车辆速度检测方法
CN104506804B (zh) 一种快速道路上的机动车异常行为监测装置及其方法
CN113593250A (zh) 一种基于视觉识别的违章停车检测系统
CN110070729B (zh) 一种基于雾计算的违停车辆检测系统及方法
CN109816971B (zh) 基于多源数据融合的危险品运输车辆预防跟踪系统及方法
CN113286096B (zh) 视频识别方法及系统
CN110379172A (zh) 交通规则的生成方法及装置、存储介质、电子装置
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
JP2002357557A (ja) 道路や周辺施設等の管理システム
CN111311942A (zh) 基于v2x技术的路况显示方法、系统、v2x终端及v2x服务器
CN106910339A (zh) 道路信息提供方法、装置及处理终端
CN111696365A (zh) 一种车辆跟踪系统
CN113286081A (zh) 机场全景视频的目标识别方法、装置、设备及介质
CN114170569A (zh) 一种路面异常情况监测方法、系统、存储介质及设备
CN108099956A (zh) 机车调车装置、方法和双目摄像机的夹角确定方法
CN207089303U (zh) 轨道板裂缝检测车以及系统
CN207657836U (zh) 一种机车调车装置
CN115240152A (zh) 一种基于视频深度学习技术的公路路产路权车载识别系统
CN113763704A (zh) 车辆控制方法、装置、计算机可读存储介质及处理器
CN115116033A (zh) 车位范围的处理方法及计算设备
CN115174850A (zh) 一种基于摄像联动的目标路径追踪系统及方法
CN113535863B (zh) 一种移动轨迹渲染方法、设备及存储介质
CN113421452A (zh) 一种基于视觉分析的露天停车场推荐系统
CN113823095B (zh) 交通状态的确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant