CN117274781B - 基于双管道信息交错车载实时检测方法及系统 - Google Patents

基于双管道信息交错车载实时检测方法及系统 Download PDF

Info

Publication number
CN117274781B
CN117274781B CN202311555340.6A CN202311555340A CN117274781B CN 117274781 B CN117274781 B CN 117274781B CN 202311555340 A CN202311555340 A CN 202311555340A CN 117274781 B CN117274781 B CN 117274781B
Authority
CN
China
Prior art keywords
vehicle
images
processing
pipeline
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311555340.6A
Other languages
English (en)
Other versions
CN117274781A (zh
Inventor
刘长福
李骥东
鲜斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Heneng Chuangyue Software Co ltd
Original Assignee
Chengdu Heneng Chuangyue Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Heneng Chuangyue Software Co ltd filed Critical Chengdu Heneng Chuangyue Software Co ltd
Priority to CN202311555340.6A priority Critical patent/CN117274781B/zh
Publication of CN117274781A publication Critical patent/CN117274781A/zh
Application granted granted Critical
Publication of CN117274781B publication Critical patent/CN117274781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双管道信息交错车载实时检测方法和系统，所述方法包括：将一个pipeline处理更改成双pipeline，这两个pipeline之间交互视频帧与车辆行驶信息绑定，用绑定好车辆行驶信息进行交互。通过双pipeline信息交错来进行多模型多场景分析。使用双pipeline管道来将实时性要求高的部实时流和和耗时高的部分模型分离，一个pipeline处理车辆实时流，一个pipeline只处理模型ai处理。依据车辆行驶信息进行调整ai处理pipeline处理的帧率。使得根据车辆车速、方向等行驶信息来梳理这部分梳理这些视频帧，踢除冗余视频帧，以达到动态调节模型处理帧率功能。能在同等算力平台上运行更多的模型和场景任务。

Description

基于双管道信息交错车载实时检测方法及系统
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种基于双管道信息交错车载实时检测方法及系统。
背景技术
目前， 边缘设置部署AI检测系统的方法主要是基于一个pipeline（管道）来进行处理，现有的方法想要增加模型数量需要提高硬件算力来保持帧率，帧率如果过多的降低将导致ai处理的结果跟当时的位置错位，导致检测出的问题位置误差过大，而且车辆停止，低速也保持相当的帧率进行ai模型处理，但这些视频帧包含的信息近乎相同，浪费了大量的算力，如果算力不足则导致不可调节的延迟。
发明内容
本发明的目的在于提供了一种基于双管道信息交错车载实时检测方法及系统，用以解决现有技术中存在的上述问题。
第一方面，本发明实施例提供了一种基于双管道信息交错车载实时检测方法，包括：
获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息；
启动解码管道和模型处理管道；所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道；
对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列；
调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果；
将所述检测结果进行场景后处理和网络传输。
可选的，所述对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列，包括：
基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中；
若将车辆图像和车辆行驶信息移动到处理队列之中，若将车辆图像和车辆行驶信息移动到处理队列之中，得到添加车辆图像和车辆行驶信息的处理队列；
若不将车辆图像和车辆行驶信息移动到处理队列之中，将所述车辆图像和对应的车辆行驶信息的内存进行销毁释放。
可选的，所述基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中，包括：
基于所述车辆行驶信息的车辆地理坐标和拍摄时间点，得到车速；
基于所述车辆行驶信息的车辆方向和拍摄时间点，得到车辆方向差；
基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像；
基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像；
将多张处理图像按照时间顺序移动到处理队列之中。
可选的，所述基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像，包括：
若车速为0，将车速对应的拍摄时间点之间的多张车辆图像中的一张车辆图像作为车速处理图像；
若车速小于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像进行抽帧，得到多张车速处理图像；所述车速处理图像的数量小于车辆图像的数量；
若车速大于车速高速时，将车速对应的拍摄时间点之间的多张车辆图像全部作为车速处理图像，得到多张车速处理图像；所述车速处理图像的数量等于车辆图像的数量。
可选的，所述基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像，包括：
若车辆方向差大于45度，将除车速处理图像外的车辆图像进行抽取，得到多张方向处理图像；
将多张方向处理图像和多张车速处理图像作为处理图像；
若车辆方向差等于90度，将车辆方向差对应的拍摄时间点之间的多张车辆图像全部作为处理图像。
可选的，所述调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果，包括：
从处理队列获取处理图像和对应的车辆行驶信息；
将处理图像和对应的车辆行驶信息经过数据格式转换成模型处理管道可识别格式；
调用模型处理管道，将处理图像复制到图形处理器中，调用人工智能模型进行处理，得到检测结果。
可选的，所述若车速小于车速阈值时，根据车速区间进行不同程度的抽帧。
可选的，所述车辆图像通过解码管道与车辆行驶信息绑定；所述解码管道和模型处理管道之间根据车辆图像进行交互。
可选的，所述解码队列和处理队列存储在内存中；
所述解码管道和模型处理管道通过内存进行交互。
第二方面，本发明实施例提供了一种基于双管道信息交错车载实时检测系统，包括：
获取模块：获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息；
启动管道模块：启动解码管道和模型处理管道；所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道；
解码模块：将所述车辆图像和车辆行驶信息输入解码管道中，解码管道将车辆行驶信息绑定于车辆图像中；多张车辆图像按照对应的车拍摄时间点的时间顺序构成解码队列；
跳帧模块：对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列；
人工智能模块：调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果；
处理模块：将所述检测结果进行场景后处理和网络传输。
相较于现有技术，本发明实施例达到了以下有益效果：
本发明实施例还提供了一种基于双管道信息交错车载实时检测方法和系统，所述方法包括：获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息；启动解码管道和模型处理管道；所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道；调用解码管道从摄像头获取实时流并解码成多张车辆图像，解码管道将车辆行驶信息绑定于车辆图像中；多张车辆图像按照对应的车拍摄时间点的时间顺序构成解码队列；所述多张车辆图像为视频帧序列；一张车辆图像对应一个车辆行驶信息；对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列；调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果；将所述检测结果进行场景后处理和网络传输所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息。
本发明首次将一个pipeline处理更改成双pipeline，这两个pipeline之间交互视频帧与车辆行驶信息绑定，用绑定好车辆行驶信息进行交互。通过双pipeline信息交错来进行多模型多场景分析。使用双pipeline管道来将实时性要求高的部实时流和和耗时高的部分模型分离，一个pipeline处理车辆实时流，一个pipeline只处理模型ai处理。依据车辆行驶信息进行调整ai处理pipeline处理的帧率。并将前后没有依赖关系的视频帧作为载体，使得根据车辆车速、方向等行驶信息来梳理这部分梳理这些视频帧，踢除冗余视频帧，以达到动态调节模型处理帧率功能。以提升模型和场景分析准确性和消除因多模型带来的延时导致的处理结果位置的误差，降低对硬件算力的绝对依赖。并能在同等算力平台上运行更多的模型和场景任务，而且无模型处理结果位置误差。
附图说明
图1是本发明实施例提供的一种基于双管道信息交错车载实时检测方法流程图。
图2是本发明实施例提供的一种基于双管道信息交错车载实时检测方法的过程示意图。
图3是本发明实施例提供的一种基于双管道信息交错车载实时检测方法中解码管道和模型处理管道的交互过程示意图。
具体实施方式
下面结合附图，对本发明作详细的说明。
实施例1
如图1所示，本发明实施例提供了一种基于双管道信息交错车载实时检测方法，所述方法包括：
S101：获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关的信息所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关的信息。
其中，所述车辆地理坐标为拍摄时间点车辆所在的地理位置，所述车辆方向表示拍摄时间点时车辆的方向，所述拍摄时间点表示车辆图像拍摄的时间点。
S102：启动解码管道和模型处理管道。所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道。
其中，本实施例中，如图2所示，解码管道为线程1，模型处理管道为线程2。图2中，将处理队列中数据调输入流式分析框架，所述流式分析框架为deepstream，调用图像处理器（gpu）进行识别。
其中，本实施例中，启动解码管道和模型处理管道的计算平台的参数：Nvidia NX、TX边缘计算设备，内存和显存不少于4G，处理器主频不低于2.3GHz。
S103：调用解码管道从摄像头获取实时流并解码成多张车辆图像，解码管道将车辆行驶信息绑定于车辆图像中；多张车辆图像按照对应的车拍摄时间点的时间顺序构成解码队列；所述多张车辆图像为视频帧序列；一张车辆图像对应一个车辆行驶信息。
其中，所述解码队列中为时间从远到近进行排列的车辆图像和车辆行驶信息。其中，所述车辆图像为解码成的解码图像，所述解码图像为YUV图像，YUV为一种特定的颜色编码方法。
其中，本实施例中，所述摄像设备为高清摄像头。参数：200万像素（1920*1080）的高清摄像头，布防检测区域距离摄像头距离小于10米，大于1米，ipx6级防水指标。
S104：对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列。
其中，如图3所示，在内存中存储的解码队列，实现跳帧算法，得到处理队列。将处理队列同样存储在内存中。
S105：调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果。
S106：将所述检测结果进行场景后处理和网络传输。
可选的，对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列，包括：
基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中。
若将车辆图像和车辆行驶信息移动到处理队列之中，得到添加车辆图像和车辆行驶信息的处理队列。
若不将车辆图像和车辆行驶信息移动到处理队列之中，将所述车辆图像和对应的车辆行驶信息的内存进行销毁释放。
其中，将所述车辆图像和对应的车辆行驶信息的内存进行销毁释放相当于删除所述车辆图像和对应的车辆行驶信息。
其中，启动跳帧算法扫描解码队列，根据其信息，通过算法来判断是否移动到处理队列之中， 不符合要求，则对该内存进行销毁释放。所述跳帧算法为下述设置。
可选的，所述基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中，包括：
基于所述车辆行驶信息的车辆地理坐标和拍摄时间点，得到车速。
其中，本实施例中，将车辆行驶信息中拍摄的两张车辆图像的车辆地理坐标之差除以两张车辆图像的拍摄时间点之差，得到车速。所述两张车辆图像为固定时间长度拍摄的车辆图像。
基于所述车辆行驶信息的车辆方向和拍摄时间点，得到车辆方向差。
其中，本实施例中，将车辆行驶信息中拍摄的两张车辆图像的车辆方向之差除以两张车辆图像的拍摄时间点之差，得到车辆方向差。
基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像。
基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像。
其中，跳转算法依据固定时间长度的车速和方向差进行判断。
将多张处理图像按照时间顺序移动到处理队列之中。
可选的，所述基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像，包括：
若车速为0，将车速对应的拍摄时间点之间的多张车辆图像中的一张车辆图像作为车速处理图像。
其中，所述车速对应的拍摄时间点之间表示计算车速时的相差最远的两张车辆图像对应的拍摄时间点段。
其中，若车速为0，则只通过一帧。本实施例中通过随机获得拍摄时间点内的多张车辆图像中的一张车辆图像。
若车速小于车速阈值时，将拍摄时间点内的多张车辆图像进行抽帧，得到多张车速处理图像。所述车速处理图像的数量小于车辆图像的数量。
其中，能够根据场景变化程度进行抽帧，根据场景变化程度大，则抽帧少，场景变换程度小，则抽帧大。
其中，本实施例中，所述车速阈值为30，当车速小于30km/h时，表示低速，进行抽帧。
其中，若车速小于车速阈值时，得到多张处理车辆图像。
若车速大于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像全部作为车速处理图像，得到多张车速处理图像。所述车速处理图像的数量等于车辆图像的数量。
其中，若车速为高速时，全帧通过。
其中，实现跳帧算法，车速为0时只处理一帧数据，低速时根据场景变化程度进行不同程序的抽帧，高速时则全帧处理。
通过上述方法，能通过交通情况充分利用硬件处理能力。
可选的，所述基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像，包括：
若车辆方向差大于45度，将除车速处理图像外的车辆图像进行抽取，得到多张方向处理图像。
其中，本实施例中采取按时间段分段进行抽取。
将多张方向处理图像和多张车速处理图像作为处理图像。
其中，方向差大于45度，则增多通过相应的帧。
若车辆方向差等于90度，将车辆方向差对应的拍摄时间点之间的多张车辆图像全部作为处理图像。
其中，车辆方向差为90度，则全帧通过。
其中，短时间方向转换过大也全帧处理。
通过上述方法，能通过交通情况充分利用硬件处理能力。
可选的，所述调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果，包括：
从处理队列获取处理图像和对应的车辆行驶信息。
其中，所述处理图像为处理队列中通过跳帧算法挑选后的车辆图像。
将处理图像和对应的车辆行驶信息经过数据格式转换成模型处理管道可识别格式。
将车辆图像复制到图形处理器中，调用人工智能模型进行处理，得到检测结果。
其中，经过数据格式转换成pipeline（管道）可识别格式， 并将图片复制到GPU（图形处理器）中， 调用ai（人工智能）模型进行处理
可选的，所述若车速小于车速阈值时，根据车速区间进行不同程度的抽帧。
其中，车速越快抽帧的间隔越大，车速越小抽帧的间隔越大。
可选的，所述车辆图像通过解码管道与车辆行驶信息绑定。所述解码管道和模型处理管道之间根据车辆图像进行交互。
其中，解码pipeline管道主要负责将摄像头的实时信息流解码成视频帧， 将与当时的车辆行驶信息进行绑定。双pipeline之间交互视频帧与车辆行驶信息绑定。
通过上述方法，车辆图像通过解码管道与车辆行驶信息绑定，后面模型处理的再慢，该视频帧的行驶信息已经对应好了， 不会产生错乱。
可选的，所述解码队列和处理队列存储在内存中。
其中，两个pipeline（管道）交互信息的内存， 分为两个队列，一个为从解码pipeline（管道）获取的信息的队列， 一个是需要AI处理的信息。
所述解码管道和模型处理管道通过内存进行交互。
通过上述方法，模型处理pipeline管道将内存中的信息转换到pipeline内部之中，进行AI模型计算。
可选的，同时启动两个pipeline管道， 一个pipeline管道连接摄像头，通过使用硬件解码成YUV图像，并与当时的车辆行驶信息存入内存解码队列中， 另一个pipeline管道从处理队列获取YUV图像和车辆行驶信息。经过数据格式转换成pipeline可识别格式，并将图片复制到GPU中， 调用AI模型进行处理。启动算法扫描解码队列， 根据其信息，通过算法来判断是否移动到处理队列之中， 不符合要求，则对该内存进行销毁释放。算法依据车速 方向进行判断， 车速为0，则只通过一帧， 低速时，根据车速区间进行不同程度的抽帧，高速时，全帧通过。方向差大于45度，则增多通过相应的帧，90度则全帧通过。
如图1， 线程1 和线程2是两个pipeline管道，解码pipeline管道主要负责将摄像头的实时信息流解码成视频帧， 将与当时的车辆行驶信息进行绑定。这样，后面模型处理的再慢，该视频帧的行驶信息已经对应好了， 不会产生错乱。模型处理pipeline管道将内存中的信息转换到pipeline内部之中，进行AI模型计算。
图2为图1中两个pipeline交互信息的内存， 分为两个队列，一个为从解码pipeline获取的信息的队列， 一个是需要AI处理的信息。中间实现跳帧算法，车速为0时只处理一帧数据，低速时根据场景变化程度进行不同程序的抽帧，高速时则全帧处理。短时间方向转换过大也全帧处理。这样能通过交通情况充分利用硬件处理能力。
通过双pipeline信息交错来进行AI模型处理和场景逻辑分析。一个pipeline处理车辆实时流，一个pipeline只处理模型AI处理。双pipeline之间交互视频帧与车辆行驶信息绑定。依据车辆行驶信息进行调整AI处理pipeline处理的帧率。
综上，边缘设置部署AI检测系统的方法主要是基于一个pipeline管道来进行处理，现有的方法想要增加模型数量需要提高硬件算力来保持帧率，帧率如果过多的降低将导致AI处理的结果跟当时的位置错位，导致检测出的问题位置误差过大，而且车辆停止，低速也保持相当的帧率进行AI模型处理，但这些视频帧包含的信息近乎相同，浪费了大量的算力，如果算力不足则导致不可调节的延迟。
针对以上问题，本发明首次将一个pipeline处理更改成双pipeline，这两个pipeline之间用绑定好车辆行驶信息进行交互。通过将实时性要求高的部分和耗时高的部分进行分离，并将前后没有依赖关系的视频帧作为载体，使得根据车辆车速、方向等行驶信息来梳理这部分梳理这些视频帧，踢除冗余视频帧，以达到动态调节模型处理帧率功能。
结果表明，本发明首次使用两个pipeline管道来进行多模型多场景分析的任务，并能在同等算力平台上运行更多的模型和场景任务，而且无模型处理结果位置误差。
具体的，本发明提出使用双pipeline管道来进行处理， 可在车载边缘端设备的移动场景与低性能arm边缘计算平台下，可以加载更多的模型来进行检测，以提升模型和场景分析准确性和消除因多模型带来的延时导致的处理结果位置的误差，降低对硬件算力的绝对依赖。
接下来，介绍该双pipeline的实现技术细节：
如图2，线程1 和线程2是两个pipeline管道，解码pipeline管道主要负责将摄像头的实时信息流解码成视频帧，将与当时的车辆行驶信息进行绑定。这样，后面模型处理的再慢，该视频帧的行驶信息已经对应好了，不会产生错乱。模型处理pipeline管道将内存中的信息转换到pipeline内部之中，进行AI模型计算。
图3为图2中两个pipeline交互信息的内存，分为两个队列，一个为从解码pipeline获取的信息的队列，一个是需要ai处理的信息。中间实现跳帧算法，车速为0时只处理一帧数据，低速时根据场景变化程度进行不同程序的抽帧，高速时则全帧处理。短时间方向转换过大也全帧处理。这样能通过交通情况充分利用硬件处理能力。
本发明提供的方法的流程详细如下：
1）同时启动两个pipeline管道，一个pipeline管道连接摄像头，通过使用硬件解码成yuv图像，并与当时的车辆行驶信息存入内存解码队列中，另一个pipeline管道从处理队列获取yuv图像和车辆行驶信息。经过数据格式转换成pipeline可识别格式，并将图片复制到gpu中，调用ai模型进行处理。
2）启动算法扫描解码队列，根据其信息，通过算法来判断是否移动到处理队列之中， 不符合要求，则对该内存进行销毁释放。
3）算法依据车速方向进行判断，车速为0，则只通过一帧，低速时，根据车速区间进行不同程度的抽帧，高速时，全帧通过。方向差大于45度，则增多通过相应的帧，90度则全帧通过。
通过采用上述方案，本技术减少对硬件的绝对依赖， 通过时间和空间两个维度来增加处理效率。可以使得边缘arm设备能够增加模型数量和模型大小，以提升整体的效果准确率和降低误报率。
实施例3
基于上述的一种基于双管道信息交错车载实时检测方法，本发明实施例还提供了一种基于双管道信息交错车载实时检测系统，所述系统包括获取模块、启动管道模块、解码模块、跳帧模块、人工智能模块和处理模块。其中，
获取模块用于 ，获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关的信息所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关的信息。
启动管道模块用于启动解码管道和模型处理管道。所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道。
解码模块用于将所述车辆图像和车辆行驶信息输入解码管道中，得到解码队列。
跳帧模块用于对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像进行抽帧，根据判断结果、车辆图像和车辆行驶信息生成处理队列。
人工智能模块用于调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果。
处理模块用于将所述检测结果进行场景后处理和网络传输。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述基于双管道信息交错车载实时检测方法的任一方法的步骤以及上述的所涉及的数据。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (6)

1.一种基于双管道信息交错车载实时检测方法，其特征在于，包括：
获得多张车辆图像和多个车辆行驶信息；所述多张车辆图像为车辆行驶过程中摄像设备实时拍摄的视频对应的图像；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；一张车辆图像对应一个车辆行驶信息；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆图像的有关车辆的信息；
启动解码管道和模型处理管道；所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道；
将所述车辆图像和车辆行驶信息输入解码管道中，解码管道将车辆行驶信息绑定于车辆图像中；多张车辆图像按照对应的车拍摄时间点的时间顺序构成解码队列；
对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列；调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果；
将所述检测结果进行场景后处理和网络传输；
所述对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列，包括：
基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中；
若将车辆图像和车辆行驶信息移动到处理队列之中，得到添加车辆图像和车辆行驶信息的处理队列；
若不将车辆图像和车辆行驶信息移动到处理队列之中，将所述车辆图像和对应的车辆行驶信息的内存进行销毁释放；
所述基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中，包括：
基于所述车辆行驶信息的车辆地理坐标和拍摄时间点，得到车速；
基于所述车辆行驶信息的车辆方向和拍摄时间点，得到车辆方向差；
基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像；
基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像；
将多张处理图像按照时间顺序移动到处理队列之中；
所述基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像，包括：
若车速为0，将车速对应的拍摄时间点之间的多张车辆图像中的一张车辆图像作为车速处理图像；
若车速小于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像进行抽帧，得到多张车速处理图像；所述车速处理图像的数量小于车辆图像的数量；
若车速大于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像全部作为车速处理图像，得到多张车速处理图像；所述车速处理图像的数量等于车辆图像的数量；
所述基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像，包括：
若车辆方向差大于45度，将除车速处理图像外的车辆图像进行抽取，得到多张方向处理图像；
将多张方向处理图像和多张车速处理图像作为处理图像；
若车辆方向差等于90度，将车辆方向差对应的拍摄时间点之间的多张车辆图像全部作为处理图像。
2.根据权利要求1所述的基于双管道信息交错车载实时检测方法，其特征在于，所述调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果，包括：
从处理队列获取处理图像和对应的车辆行驶信息；
将处理图像和对应的车辆行驶信息经过数据格式转换成模型处理管道可识别格式；
调用模型处理管道，将处理图像复制到图形处理器中，调用人工智能模型进行处理，得到检测结果。
3.根据权利要求1所述的基于双管道信息交错车载实时检测方法，其特征在于，所述若车速小于车速阈值时，根据车速区间进行不同程度的抽帧。
4.根据权利要求1所述的基于双管道信息交错车载实时检测方法，其特征在于，所述车辆图像通过解码管道将车辆图像与车辆行驶信息绑定；所述解码管道和模型处理管道之间根据车辆行驶信息进行交互。
5.根据权利要求1所述的基于双管道信息交错车载实时检测方法，其特征在于，所述解码队列和处理队列存储在内存中；
所述解码管道和模型处理管道通过内存进行交互。
6.一种基于双管道信息交错车载实时检测系统，其特征在于，包括：
获取模块：获得多个车辆行驶信息；所述车辆行驶信息包括车辆地理坐标、车辆方向和拍摄时间点；所述车辆行驶信息为车辆行驶过程中实时获取的对应的车辆有关车辆的信息；
启动管道模块：启动解码管道和模型处理管道；所述解码管道和模型处理管道为计算机中能够同时进行数据处理的两个不同的管道；
解码模块：将车辆图像和车辆行驶信息输入解码管道中，解码管道将车辆行驶信息绑定于车辆图像中；多张车辆图像按照对应的车拍摄时间点的时间顺序构成解码队列；
跳帧模块：对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列；
人工智能模块：调用模型处理管道，将处理队列中的车辆图像和车辆行驶信息输入人工智能模型，进行人工智能检测，得到检测结果；
处理模块：将所述检测结果进行场景后处理和网络传输；
所述对解码队列中的车辆图像对应的车辆行驶信息判断，判断是否对解码队列中的车辆图像挑选出必要处理图像，根据判断结果、解码队列生成处理队列，包括：
基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中；
若将车辆图像和车辆行驶信息移动到处理队列之中，得到添加车辆图像和车辆行驶信息的处理队列；
若不将车辆图像和车辆行驶信息移动到处理队列之中，将所述车辆图像和对应的车辆行驶信息的内存进行销毁释放；
所述基于所述解码队列中的车辆行驶信息，判断是否将车辆图像和车辆行驶信息移动到处理队列之中，包括：
基于所述车辆行驶信息的车辆地理坐标和拍摄时间点，得到车速；
基于所述车辆行驶信息的车辆方向和拍摄时间点，得到车辆方向差；
基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像；
基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像；
将多张处理图像按照时间顺序移动到处理队列之中；
所述基于所述车速、拍摄时间点和车辆图像，得到多张车速处理图像，包括：
若车速为0，将车速对应的拍摄时间点之间的多张车辆图像中的一张车辆图像作为车速处理图像；
若车速小于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像进行抽帧，得到多张车速处理图像；所述车速处理图像的数量小于车辆图像的数量；
若车速大于车速阈值时，将车速对应的拍摄时间点之间的多张车辆图像全部作为车速处理图像，得到多张车速处理图像；所述车速处理图像的数量等于车辆图像的数量；
所述基于所述车辆方向差、拍摄时间点、多张车速处理图像和多张车辆图像，得到多张处理图像，包括：
若车辆方向差大于45度，将除车速处理图像外的车辆图像进行抽取，得到多张方向处理图像；
将多张方向处理图像和多张车速处理图像作为处理图像；
若车辆方向差等于90度，将车辆方向差对应的拍摄时间点之间的多张车辆图像全部作为处理图像。
CN202311555340.6A 2023-11-21 2023-11-21 基于双管道信息交错车载实时检测方法及系统 Active CN117274781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311555340.6A CN117274781B (zh) 2023-11-21 2023-11-21 基于双管道信息交错车载实时检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311555340.6A CN117274781B (zh) 2023-11-21 2023-11-21 基于双管道信息交错车载实时检测方法及系统

Publications (2)

Publication Number Publication Date
CN117274781A CN117274781A (zh) 2023-12-22
CN117274781B true CN117274781B (zh) 2024-04-16

Family

ID=89202985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311555340.6A Active CN117274781B (zh) 2023-11-21 2023-11-21 基于双管道信息交错车载实时检测方法及系统

Country Status (1)

Country Link
CN (1) CN117274781B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
CN111627215A (zh) * 2020-05-21 2020-09-04 平安国际智慧城市科技股份有限公司 基于人工智能的视频图像识别方法及相关设备
CN113747195A (zh) * 2021-09-07 2021-12-03 重庆赛迪奇智人工智能科技有限公司 视频数据处理方法、装置、设备及存储介质
CN114116444A (zh) * 2020-08-31 2022-03-01 丰田研究所股份有限公司 监控自动驾驶车辆的自主操作的测试数据的系统和方法
CN114257618A (zh) * 2021-12-13 2022-03-29 航天科技控股集团股份有限公司 一种基于车联网平台的车辆运行数据实时分析系统
CN114494978A (zh) * 2022-02-21 2022-05-13 浪潮云信息技术股份公司 基于Pipeline的并行视频结构化推理方法及系统
CN115834922A (zh) * 2022-12-20 2023-03-21 南京大学 一种面向实时视频分析的画面增强型解码方法
CN115866331A (zh) * 2022-11-23 2023-03-28 广州瀚信通信科技股份有限公司 视频抽帧分析方法、装置、设备及存储介质
CN115909240A (zh) * 2022-11-06 2023-04-04 合肥湛达智能科技有限公司 一种基于车道线和车辆识别的道路拥堵检测方法
WO2023138556A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备
CN116665096A (zh) * 2023-05-19 2023-08-29 杭州电子科技大学 基于深度学习视觉算法的智慧加油站安全监管方法
CN116830164A (zh) * 2020-11-23 2023-09-29 福特全球技术公司 LiDAR去相关对象检测系统与方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017044550A1 (en) * 2015-09-11 2017-03-16 Intel Corporation A real-time multiple vehicle detection and tracking
RU2767955C1 (ru) * 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
US20230169805A1 (en) * 2021-11-29 2023-06-01 Amazon Technologies, Inc. Fleet data collection using a unified model to collect data from heterogenous vehicles

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019094843A1 (en) * 2017-11-10 2019-05-16 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
CN108765762A (zh) * 2018-07-25 2018-11-06 智慧式控股有限公司 智慧式无人载客车辆、共享系统及商业模式
CN111627215A (zh) * 2020-05-21 2020-09-04 平安国际智慧城市科技股份有限公司 基于人工智能的视频图像识别方法及相关设备
CN114116444A (zh) * 2020-08-31 2022-03-01 丰田研究所股份有限公司 监控自动驾驶车辆的自主操作的测试数据的系统和方法
CN116830164A (zh) * 2020-11-23 2023-09-29 福特全球技术公司 LiDAR去相关对象检测系统与方法
CN113747195A (zh) * 2021-09-07 2021-12-03 重庆赛迪奇智人工智能科技有限公司 视频数据处理方法、装置、设备及存储介质
CN114257618A (zh) * 2021-12-13 2022-03-29 航天科技控股集团股份有限公司 一种基于车联网平台的车辆运行数据实时分析系统
WO2023138556A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备
CN114494978A (zh) * 2022-02-21 2022-05-13 浪潮云信息技术股份公司 基于Pipeline的并行视频结构化推理方法及系统
CN115909240A (zh) * 2022-11-06 2023-04-04 合肥湛达智能科技有限公司 一种基于车道线和车辆识别的道路拥堵检测方法
CN115866331A (zh) * 2022-11-23 2023-03-28 广州瀚信通信科技股份有限公司 视频抽帧分析方法、装置、设备及存储介质
CN115834922A (zh) * 2022-12-20 2023-03-21 南京大学 一种面向实时视频分析的画面增强型解码方法
CN116665096A (zh) * 2023-05-19 2023-08-29 杭州电子科技大学 基于深度学习视觉算法的智慧加油站安全监管方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MultEYE: Monitoring System for Real-Time Vehicle Detection, Tracking and Speed Estimation from UAV Imagery on Edge-Computing Platforms;Navaneeth B 等;Remote Sensing;第13卷(第4期);573-573 *
面向深度学习应用的组件式开发框架的设计实现;刘祥 等;计算机应用 网络首发;1-9 *

Also Published As

Publication number Publication date
CN117274781A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN109872341B (zh) 一种基于计算机视觉的高空抛物检测方法与系统
Asha et al. Vehicle counting for traffic management system using YOLO and correlation filter
Pham et al. GPU implementation of extended gaussian mixture model for background subtraction
WO2016173277A1 (zh) 视频编码方法、解码方法及其装置
CN112528961B (zh) 一种基于Jetson Nano的视频分析方法
CN112016461A (zh) 一种多目标的行为识别方法及系统
Jadhav et al. Aerial multi-object tracking by detection using deep association networks
Kristensen et al. An embedded real-time surveillance system: Implementation and evaluation
CN114972763A (zh) 激光雷达点云分割方法、装置、设备及存储介质
Ujiie et al. Interpolation-based object detection using motion vectors for embedded real-time tracking systems
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
US20130063597A1 (en) Method for image processing of image data recorded with an optical sensor in a motor vehicle, and a motor vehicle
CN111798486A (zh) 基于人体运动预测的多视角人体运动捕捉方法
EP3975133A1 (en) Processing of images captured by vehicle mounted cameras
CN114723944A (zh) 图像分析方法、存储介质和电子设备
CN117274781B (zh) 基于双管道信息交错车载实时检测方法及系统
Fujitake et al. Temporal feature enhancement network with external memory for live-stream video object detection
Guo et al. The first challenge on moving object detection and tracking in satellite videos: Methods and results
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN116524376A (zh) 一种遥感目标检测方法、系统、介质、设备及终端
Rajjak et al. Recent advances in object detection and tracking for high resolution video: Overview and state-of-the-art
CN115797164B (zh) 固定视场中的图像拼接方法、装置、系统
WO2023105800A1 (en) Object detection device, object detection method, and object detection system
CN114758275A (zh) 一种基于gpu车辆视频检测方法
JP2001307104A (ja) 動画像のオブジェクト抽出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant