CN112995432B - 一种基于5g双记录仪的深度图像识别方法 - Google Patents

一种基于5g双记录仪的深度图像识别方法 Download PDF

Info

Publication number
CN112995432B
CN112995432B CN202110158969.1A CN202110158969A CN112995432B CN 112995432 B CN112995432 B CN 112995432B CN 202110158969 A CN202110158969 A CN 202110158969A CN 112995432 B CN112995432 B CN 112995432B
Authority
CN
China
Prior art keywords
target
recorder
module
frame
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110158969.1A
Other languages
English (en)
Other versions
CN112995432A (zh
Inventor
邬文达
倪仰
李晓丹
陈尚武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co ltd
Original Assignee
Hangzhou Xujian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co ltd filed Critical Hangzhou Xujian Science And Technology Co ltd
Priority to CN202110158969.1A priority Critical patent/CN112995432B/zh
Publication of CN112995432A publication Critical patent/CN112995432A/zh
Application granted granted Critical
Publication of CN112995432B publication Critical patent/CN112995432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0644—External master-clock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于5G双记录仪的深度图像识别方法，包括以下步骤；S1、两个记录仪的镜头与传感器等参数完全相同，两个记录仪的平行放置，垂直高度相同，它们的光轴相互平行，两个成像平面共面；S2、GPS时间同步模块：使用GPS或北斗同步卫星信号更新5G记录仪时间，使用GPS时间同步模块让两个5G记录仪的视频帧同步模块的时间误差到毫秒级；S3、视频帧同步模块让两个5G记录仪的生成视频帧同步。本发明通过双记录仪提升目标识别的准确度和识别效率；通过双执法记录仪识别目标对象，并生成目标距离的深度信息，便于后端的呈现。

Description

一种基于5G双记录仪的深度图像识别方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于5G双记录仪的深度图像识别方法。
背景技术
目前的图像识别系统使用单记录仪，单记录仪多用于图像识别对比，和已有的数据库进行匹配，同时识别效率和识别准确度不高，因此单记录仪的深度识别难度高，可实现度低，使用两个5G记录仪进行配合能实现深度识别。
发明内容
为了解决上述现有技术方案中的不足，本发明提供了一种基于5G双记录仪的深度图像识别方法。
具体技术方案如下：
一种基于5G双记录仪的深度图像识别方法，包括以下步骤；
S1、两个记录仪的镜头与传感器参数完全相同，两个记录仪的平行放置，垂直高度相同，它们的光轴相互平行，两个成像平面共面，
S2、GPS时间同步模块：使用GPS或北斗同步卫星信号更新5G记录仪时间，使用GPS时间同步模块让两个5G记录仪的视频帧同步模块的时间误差到毫秒级；
S3、视频帧同步模块让两个5G记录仪的生成视频帧同步；
S4、主帧生成模块接收主记录仪的视频帧同步模块的生成帧时间规则(帧生成时间以及帧间隔)，根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给目标对齐模块与主帧目标识别模块；
S5、辅助帧生成模块接收辅助记录仪的视频帧同步模块的生成帧时间规则；根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给辅助帧目标识别模块与目标图像抽取模块；
S6、主帧目标识别模块接收主帧生成模块的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法(如YOLO算法)，得到目标类别与目标位置(目标类别如人，车，物)，目标位置使用左上角坐标加上宽高表示；主帧目标识别模块把目标类别与目标位置与时间戳发送给目标对齐模块；
S7、辅助帧目标识别模块接收辅助帧生成模块3的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法(如YOLO算法)，得到目标类别与目标位置(目标类别如人，车，物)，目标位置使用左上角坐标加上宽高表示；辅助帧目标识别模块10把目标类别与目标位置与时间戳发送给目标图像抽取模块；
S8、目标图像抽取模块接收辅助帧生成模块的YUV视频帧与时间戳，接收辅助帧目标识别模块的目标类别与目标位置与时间戳；根据时间戳匹配YUV视频帧与目标类别与目标位置，根据目标位置从YUV视频帧截取，生成每个目标的YUV图像，把每个目标的YUV图像与目标类别与目标位置与时间戳发送5G D2D发送模块；
S9、辅助记录仪使用5G D2D发送模块把目标图像发送给5G D2D接收模块，包含每个目标的YUV图像与目标类别与目标位置与时间戳；
S10、5G D2D接收模块从5G D2D发送模块接收目标图像，包含目标的YUV图像与目标类别与目标位置与时间戳，5G D2D接收模块接收目标图像发送给目标对齐模块；主记录仪使用5G D2D接收模块接收辅助记录仪的目标图像；5G的D2D传输的最大带宽为10Gbps，每秒YUV图像的数据为分辨率宽*分辨率高*每像素平均位数*帧率(4KP30帧YUV420的视频帧举例，每秒数据量为3840*2160*12*30为2.9Gbps，由于采用目标抽取方法传输数据远小于2.9Gbps，也远小于D2D传输的最大带宽为10Gbps，因为辅助记录仪与主记录仪贴近一起工作，辅助记录仪与主记录仪有足够带宽可以直接使用D2D传输每个目标的YUV未压缩图像数据)，采用YUV未压缩数据能避免有损视频压缩(如H264或h265)对图像的破坏，同时因为减少视频编码压缩过程从而减少处理时延；
S11、目标对齐模块对齐目标；
S12、目标深度分析模块对目标进行深度分析；
S13、深度目标视频编码模块接收主帧生成模块的YUV视频帧与时间戳，深度目标视频编码模块接收目标深度分析模块的目标信息，目标信息包含目标的类型与时间戳与位置以及深度信息(目标与执法仪的距离)；深度目标视频编码模块根据时间戳匹配目标信息与YUV视频帧，深度目标视频编码模块对YUV视频帧采用视频压缩编码h264或h265压缩成压缩视频流，把该YUV视频帧的所有目标信息生成SEI自定义信息帧，插入到压缩视频流；深度目标视频编码模块把带目标信息的压缩视频流发送给5G网络传输模块；
S14、5G网络传输模块接收到深度目标视频编码模块的带有目标信息的压缩视频流，通过5G网络最终发送到呈现客户端；
S15、呈现客户端接收到带有目标信息的压缩视频流，对应视频流解压显示，同时提取SEI帧的目标信息，按照目标的位置叠加目标的类型与深度信息(目标与执法仪的距离)；
所述S3包括以下步骤：
3.1视频帧同步模块接收GPS时间同步模块，让两个记录仪的视频帧同步模块的时间同步；
3.2视频帧同步模块选举出主记录仪，根据SUPI进行Hash计算得到Hash值，以Hash值小的为主记录仪，Hash值大的为辅助记录仪；
3.3主记录仪向辅助记录仪同步视频帧生成时间，主记录仪同步视频生成帧时间规则，把自己的生成帧时间发送给辅助记录仪的视频帧同步模块与主记录仪的主帧生成模块；
3.4辅助记录仪的视频帧同步模块收到生成帧时间规则后，通知辅助记录仪的辅助帧生成模块的生成帧时间。
所述S11包括以下步骤：
11.1主记录仪的目标对齐模块接收主帧生成模块的YUV视频帧与时间戳；
11.2主记录仪的目标对齐模块接收主记录仪的主帧目标识别模块的目标类别与目标位置与时间戳；
11.3主记录仪的目标对齐模块接收5G D2D接收模块的辅助记录仪识别的每个目标的YUV图像与目标类别与目标位置与时间戳；
11.4主记录仪的目标对齐模块根据YUV视频帧的时间戳匹配目标，目标的时间戳与视频帧的时间戳小于阈值5ms为匹配，这样YUV视频帧关联上主记录仪与辅助记录仪的所有目标；
11.5主记录仪的目标对齐模块分别对辅助记录仪的每个目标的位置匹配判断，设定辅助记录仪目标位置的坐标x1,y1，宽高w1，h1，主记录仪的目标位置的坐标x2,y2，宽高w2，h2；则在坐标x1-分辨率宽/10，y1-分辨率高/10，宽高视频分辨率宽/5，视频分辨率高/5的区间中查主记录仪中相同目标类型对象，即判断x2,y2在上述区间；
11.6如果在上述区间，比较两个目标对象的宽高距离是否小于阈值(如10)，宽高距离为x2-x1*x2-x1+y2-y1*y2-y1的开根号值；
11.7宽高距离如果小于阈值，进行目标对象颜色匹配；对辅助记录仪的目标的YUV图像进行色域空间转化为RGB图像，分别对R,G,B三个色彩通道进行均值计算，对R,G,B色彩通道的每个像素分别进行平均值计算，得到辅助记录仪目标的色彩均值r1,g1,b1；同时也对主记录仪的YUV视频帧进行色空间转为RGB视频帧，使用坐标x2,y2，宽高w2，h2取出主记录仪的目标的RGB图像，对R,G,B色彩通道的每个像素分别进行平均值计算，得到主记录仪目标的色彩均值r2，g2，b2，对两个目标对象的色彩距离判断是否小于阈值(如10)，色彩距离为r2-r1*r2-r1+g2-g1*g2-g1+b2-b1*b2-b1的开根号值；
11.8色彩距离如果小于阈值则这两个目标为同一个目标对象，目标对齐模块使用主记录仪的目标位置的坐标x2,y2，宽高w2，h2从YUV视频帧截取Y通道视频数据；
11.9目标对齐模块把主记录仪目标的位置与类型与Y通道图像数据与时间戳，以及辅助记录仪目标的位置与类型与Y通道图像数据发送给目标深度分析模块。
所述S12包括以下步骤：
12.1接收目标对齐模块接收目标对齐模块的主记录仪目标的类型与时间戳与位置与Y通道亮度图像数据，以及辅助记录仪目标的位置与Y通道图像数据；
12.2目标深度分析模块先判断左右记录仪，如果主记录仪目标的中心横坐标小于辅助记录仪目标的中心横坐标，则判断左侧记录仪为主记录仪，右侧记录仪为辅助记录仪；如果主记录仪目标的中心横坐标大于辅助记录仪的中心横坐标，左侧记录仪为辅助记录仪，右侧记录仪为主记录仪；
12.2目标深度分析模块分别计算左侧记录仪与右侧记录仪的中心点,位置计算中心点方法：设置位置的左上角坐标与宽高x，y，w，h，中心坐标为x+w/2，y+h/2；
12.3目标深度分析模块拿到像素点后，对右侧记录仪目标的中心点进行小范围纠正，避免目标检测算法带来小误差，目标深度分析模块从左侧记录仪的Y通道图亮度像数据取出中心九个点数据K，中心九个点为以左侧记录仪的目标中心点为中心的九点；依次扫描右侧记录仪的中心区域的点，中心区域的左上角坐标与宽高为中心点水平坐标-5，中心点垂直坐标-5，10，10,以中心区域的每个点坐标为中心从右侧记录仪的九个点数据，用这九个点数据与左侧记录仪中心九个点数据进行距离计算得到距离值，距离计算方法为每个对应亮度像素相减再平方，把平方后数值相加，把相加值开根号；目标深度分析模块取距离值最小的点，为右侧记录仪目标的修正后中心点；
12.4目标深度分析模块使用视差法距离计算方法，计算目标与记录仪的距离，作为目标的深度信息；两个记录仪的光轴相互平行，两个成像平面共面，两个记录仪的光心有一个固定的基线距离设为d，记录仪的焦距设为f，视差设为b，按照视差法距离公式的目标距离z＝d*f/b；视差b为右侧记录仪的修正后中心点水平坐标减去左侧记录仪的中心点水平坐标；焦距f为记录仪的镜头固定值，从镜头模组信息读取；基线距离d为固定值，可以在实验室提前手动标定计算，计算公式为d＝z*b/f，通过手动测量目标距离z与视差b，即可以得到基线距离d；
12.5目标深度分析模块把主记录仪目标的类型与时间戳与位置以及深度信息(目标与执法仪的距离)发送给深度目标视频编码模块。
本发明的有益效果是：
(1)通过双记录仪提升目标识别的准确度和识别效率；
(2)通过双执法记录仪识别目标对象，并生成目标距离的深度信息，便于后端的呈现。
附图说明
图1是本发明一种基于5G双记录仪的深度图像识别方法中各模块关系示意图。
具体实施方式
下面详细描述本发明的实施例，下面的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，一种基于5G双记录仪的深度图像识别方法，包括以下步骤；
S1、两个记录仪的镜头与传感器参数完全相同，两个记录仪的平行放置，垂直高度相同，它们的光轴相互平行，两个成像平面共面，
S2、GPS时间同步模块1：使用GPS或北斗同步卫星信号更新5G记录仪时间，使用GPS时间同步模块1让两个5G记录仪的视频帧同步模块2的时间误差到毫秒级；
S3、视频帧同步模块2让两个5G记录仪的生成视频帧同步；
3.1视频帧同步模块2接收GPS时间同步模块1，让两个记录仪的视频帧同步模块2的时间同步；
3.2视频帧同步模块2选举出主记录仪，根据SUPI进行Hash计算得到Hash值，以Hash值小的为主记录仪，Hash值大的为辅助记录仪；
3.3主记录仪向辅助记录仪同步视频帧生成时间，主记录仪同步视频生成帧时间规则，把自己的生成帧时间发送给辅助记录仪的视频帧同步模块2与主记录仪的主帧生成模块3；
3.4辅助记录仪的视频帧同步模块2收到生成帧时间规则后，通知辅助记录仪的辅助帧生成模块4的生成帧时间。
S4、主帧生成模块3接收主记录仪的视频帧同步模块2的生成帧时间规则(帧生成时间以及帧间隔)，根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给目标对齐模块5与主帧目标识别模块10；
S5、辅助帧生成模块4接收辅助记录仪的视频帧同步模块2的生成帧时间规则；根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给辅助帧目标识别模块11与目标图像抽取模块9；
S6、主帧目标识别模块10接收主帧生成模块3的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法(如YOLO算法)，得到目标类别与目标位置(目标类别如人，车，物)，目标位置使用左上角坐标加上宽高表示；主帧目标识别模块10把目标类别与目标位置与时间戳发送给目标对齐模块5；
S7、辅助帧目标识别模块11接收辅助帧生成模块3的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法(如YOLO算法)，得到目标类别与目标位置(目标类别如人，车，物)，目标位置使用左上角坐标加上宽高表示；辅助帧目标识别模块10把目标类别与目标位置与时间戳发送给目标图像抽取模块9；
S8、目标图像抽取模块9接收辅助帧生成模块4的YUV视频帧与时间戳，接收辅助帧目标识别模块11的目标类别与目标位置与时间戳；根据时间戳匹配YUV视频帧与目标类别与目标位置，根据目标位置从YUV视频帧截取，生成每个目标的YUV图像，把每个目标的YUV图像与目标类别与目标位置与时间戳发送5G D2D发送模块7；
S9、辅助记录仪使用5G D2D发送模块7把目标图像发送给5G D2D接收模块6，包含每个目标的YUV图像与目标类别与目标位置与时间戳；
S10、5G D2D接收模块6从5G D2D发送模块7接收目标图像，包含目标的YUV图像与目标类别与目标位置与时间戳，5G D2D接收模块6接收目标图像发送给目标对齐模块5；主记录仪使用5G D2D接收模块6接收辅助记录仪的目标图像；5G的D2D传输的最大带宽为10Gbps，每秒YUV图像的数据为分辨率宽*分辨率高*每像素平均位数*帧率(4KP30帧YUV420的视频帧举例，每秒数据量为3840*2160*12*30为2.9Gbps，由于采用目标抽取方法传输数据远小于2.9Gbps，也远小于D2D传输的最大带宽为10Gbps，因为辅助记录仪与主记录仪贴近一起工作，辅助记录仪与主记录仪有足够带宽可以直接使用D2D传输每个目标的YUV未压缩图像数据)，采用YUV未压缩数据能避免有损视频压缩(如H264或h265)对图像的破坏，同时因为减少视频编码压缩过程从而减少处理时延；
S11、目标对齐模块5对齐目标；
11.1主记录仪的目标对齐模块5接收主帧生成模块3的YUV视频帧与时间戳；
11.2主记录仪的目标对齐模块5接收主记录仪的主帧目标识别模块10的目标类别与目标位置与时间戳；
11.3主记录仪的目标对齐模块5接收5G D2D接收模块6的辅助记录仪识别的每个目标的YUV图像与目标类别与目标位置与时间戳；
11.4主记录仪的目标对齐模块5根据YUV视频帧的时间戳匹配目标，目标的时间戳与视频帧的时间戳小于阈值5ms为匹配，这样YUV视频帧关联上主记录仪与辅助记录仪的所有目标；
11.5主记录仪的目标对齐模块5分别对辅助记录仪的每个目标的位置匹配判断，设定辅助记录仪目标位置的坐标x1,y1，宽高w1，h1，主记录仪的目标位置的坐标x2,y2，宽高w2，h2；则在坐标x1-分辨率宽/10，y1-分辨率高/10，宽高视频分辨率宽/5，视频分辨率高/5的区间中查主记录仪中相同目标类型对象，即判断x2,y2在上述区间；
11.6如果在上述区间，比较两个目标对象的宽高距离是否小于阈值(如10)，宽高距离为x2-x1*x2-x1+y2-y1*y2-y1的开根号值；
11.7宽高距离如果小于阈值，进行目标对象颜色匹配；对辅助记录仪的目标的YUV图像进行色域空间转化为RGB图像，分别对R,G,B三个色彩通道进行均值计算，对R,G,B色彩通道的每个像素分别进行平均值计算，得到辅助记录仪目标的色彩均值r1,g1,b1；同时也对主记录仪的YUV视频帧进行色空间转为RGB视频帧，使用坐标x2,y2，宽高w2，h2取出主记录仪的目标的RGB图像，对R,G,B色彩通道的每个像素分别进行平均值计算，得到主记录仪目标的色彩均值r2，g2，b2，对两个目标对象的色彩距离判断是否小于阈值(如10)，色彩距离为r2-r1*r2-r1+g2-g1*g2-g1+b2-b1*b2-b1的开根号值；
11.8色彩距离如果小于阈值则这两个目标为同一个目标对象，目标对齐模块5使用主记录仪的目标位置的坐标x2,y2，宽高w2，h2从YUV视频帧截取Y通道视频数据；
11.9目标对齐模块5把主记录仪目标的位置与类型与Y通道图像数据与时间戳，以及辅助记录仪目标的位置与类型与Y通道图像数据发送给目标深度分析模块8。
S12、目标深度分析模块8对目标进行深度分析；
12.1接收目标对齐模块5接收目标对齐模块5的主记录仪目标的类型与时间戳与位置与Y通道亮度图像数据，以及辅助记录仪目标的位置与Y通道图像数据；
12.2目标深度分析模块8先判断左右记录仪，如果主记录仪目标的中心横坐标小于辅助记录仪目标的中心横坐标，则判断左侧记录仪为主记录仪，右侧记录仪为辅助记录仪；如果主记录仪目标的中心横坐标大于辅助记录仪的中心横坐标，左侧记录仪为辅助记录仪，右侧记录仪为主记录仪；
12.2目标深度分析模块8分别计算左侧记录仪与右侧记录仪的中心点,位置计算中心点方法：设置位置的左上角坐标与宽高x，y，w，h，中心坐标为x+w/2，y+h/2；
12.3目标深度分析模块8拿到像素点后，对右侧记录仪目标的中心点进行小范围纠正，避免目标检测算法带来小误差，目标深度分析模块8从左侧记录仪的Y通道图亮度像数据取出中心九个点数据K，中心九个点为以左侧记录仪的目标中心点为中心的九点；依次扫描右侧记录仪的中心区域的点，中心区域的左上角坐标与宽高为中心点水平坐标-5，中心点垂直坐标-5，10，10,以中心区域的每个点坐标为中心从右侧记录仪的九个点数据，用这九个点数据与左侧记录仪中心九个点数据进行距离计算得到距离值，距离计算方法为每个对应亮度像素相减再平方，把平方后数值相加，把相加值开根号；目标深度分析模块8取距离值最小的点，为右侧记录仪目标的修正后中心点；
12.4目标深度分析模块8使用视差法距离计算方法，计算目标与记录仪的距离，作为目标的深度信息；两个记录仪的光轴相互平行，两个成像平面共面，两个记录仪的光心有一个固定的基线距离设为d，记录仪的焦距设为f，视差设为b，按照视差法距离公式的目标距离z＝d*f/b；视差b为右侧记录仪的修正后中心点水平坐标减去左侧记录仪的中心点水平坐标；焦距f为记录仪的镜头固定值，从镜头模组信息读取；基线距离d为固定值，可以在实验室提前手动标定计算，计算公式为d＝z*b/f，通过手动测量目标距离z与视差b，即可以得到基线距离d；
12.5目标深度分析模块8把主记录仪目标的类型与时间戳与位置以及深度信息(目标与执法仪的距离)发送给深度目标视频编码模块12。
S13、深度目标视频编码模块12接收主帧生成模块3的YUV视频帧与时间戳，深度目标视频编码模块12接收目标深度分析模块8的目标信息，目标信息包含目标的类型与时间戳与位置以及深度信息(目标与执法仪的距离)；深度目标视频编码模块12根据时间戳匹配目标信息与YUV视频帧，深度目标视频编码模块12对YUV视频帧采用视频压缩编码(h264或h265)压缩成压缩视频流，把该YUV视频帧的所有目标信息生成SEI自定义信息帧，插入到压缩视频流；深度目标视频编码模块12把带目标信息的压缩视频流发送给5G网络传输模块13；
S14、5G网络传输模块13接收到深度目标视频编码模块12的带有目标信息的压缩视频流，通过5G网络最终发送到呈现客户端14；
S15、呈现客户端14接收到带有目标信息的压缩视频流，对应视频流解压显示，同时提取SEI帧的目标信息，按照目标的位置叠加目标的类型与深度信息(目标与执法仪的距离)；
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种基于5G双记录仪的深度图像识别方法，其特征在于，包括以下步骤；
S1、两个记录仪的镜头与传感器参数完全相同，两个记录仪的平行放置，垂直高度相同，它们的光轴相互平行，两个成像平面共面，S2、GPS时间同步模块(1)：使用GPS或北斗同步卫星信号更新5G记录仪时间，使用GPS时间同步模块(1)让两个5G记录仪的视频帧同步模块(2)的时间误差到毫秒级；
S3、视频帧同步模块(2)让两个5G记录仪的生成视频帧同步；
S4、主帧生成模块(3)接收主记录仪的视频帧同步模块(2)的生成帧时间规则，根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给目标对齐模块(5)与主帧目标识别模块(10)；
S5、辅助帧生成模块(4)接收辅助记录仪的视频帧同步模块(2)的生成帧时间规则；根据生成帧时间规则生成YUV视频帧，使用当前时间给YUV视频帧打上时间戳，发送给辅助帧目标识别模块(11)与目标图像抽取模块(9)；
S6、主帧目标识别模块(10)接收主帧生成模块(3)的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法，得到目标类别与目标位置，目标位置使用左上角坐标加上宽高表示；主帧目标识别模块(10)把目标类别与目标位置与时间戳发送给目标对齐模块(5)；
S7、辅助帧目标识别模块(11)接收辅助帧生成模块(3)的YUV视频帧与时间戳，对YUV视频帧使用基于神经网络的目标检测算法，得到目标类别与目标位置，目标位置使用左上角坐标加上宽高表示；辅助帧目标识别模块(10)把目标类别与目标位置与时间戳发送给目标图像抽取模块(9)；
S8、目标图像抽取模块(9)接收辅助帧生成模块(4)的YUV视频帧与时间戳，接收辅助帧目标识别模块(11)的目标类别与目标位置与时间戳；根据时间戳匹配YUV视频帧与目标类别与目标位置，根据目标位置从YUV视频帧截取，生成每个目标的YUV图像，把每个目标的YUV图像与目标类别与目标位置与时间戳发送5G D2D发送模块(7)；
S9、辅助记录仪使用5G D2D发送模块(7)把目标图像发送给5G D2D接收模块(6)，包含每个目标的YUV图像与目标类别与目标位置与时间戳；
S10、5G D2D接收模块(6)从5G D2D发送模块(7)接收目标图像，包含目标的YUV图像与目标类别与目标位置与时间戳，5G D2D接收模块(6)接收目标图像发送给目标对齐模块(5)；主记录仪使用5G D2D接收模块(6)接收辅助记录仪的目标图像；5G的D2D传输的最大带宽为10Gbps，每秒YUV图像的数据为分辨率宽*分辨率高*每像素平均位数*帧率，采用YUV未压缩数据能避免有损视频压缩对图像的破坏，同时因为减少视频编码压缩过程从而减少处理时延；
S11、目标对齐模块(5)对齐目标；
S12、目标深度分析模块(8)对目标进行深度分析；
S13、深度目标视频编码模块(12)接收主帧生成模块(3)的YUV视频帧与时间戳，深度目标视频编码模块(12)接收目标深度分析模块(8)的目标信息，目标信息包含目标的类型与时间戳与位置以及深度信息；深度目标视频编码模块(12)根据时间戳匹配目标信息与YUV视频帧，深度目标视频编码模块(12)对YUV视频帧采用视频压缩编码压缩成压缩视频流，把该YUV视频帧的所有目标信息生成SEI自定义信息帧，插入到压缩视频流；深度目标视频编码模块(12)把带目标信息的压缩视频流发送给5G网络传输模块(13)；
S14、5G网络传输模块(13)接收到深度目标视频编码模块(12)的带有目标信息的压缩视频流，通过5G网络最终发送到呈现客户端(14)；
S15、呈现客户端(14)接收到带有目标信息的压缩视频流，对应视频流解压显示，同时提取SEI帧的目标信息，按照目标的位置叠加目标的类型与深度信息。
2.根据权利要求1所述的一种基于5G双记录仪的深度图像识别方法，其特征在于，所述S3包括以下步骤：
3.1视频帧同步模块(2)接收GPS时间同步模块(1)，让两个记录仪的视频帧同步模块(2)的时间同步；
3.2视频帧同步模块(2)选举出主记录仪，根据SUPI进行Hash计算得到Hash值，以Hash值小的为主记录仪，Hash值大的为辅助记录仪；
3.3主记录仪向辅助记录仪同步视频帧生成时间，主记录仪同步视频生成帧时间规则，把自己的生成帧时间发送给辅助记录仪的视频帧同步模块(2)与主记录仪的主帧生成模块(3)；
3.4辅助记录仪的视频帧同步模块(2)收到生成帧时间规则后，通知辅助记录仪的辅助帧生成模块(4)的生成帧时间。
3.根据权利要求1所述的一种基于5G双记录仪的深度图像识别方法，其特征在于，所述S11包括以下步骤：
11.1主记录仪的目标对齐模块(5)接收主帧生成模块(3)的YUV视频帧与时间戳；
11.2主记录仪的目标对齐模块(5)接收主记录仪的主帧目标识别模块(10)的目标类别与目标位置与时间戳；
11.3主记录仪的目标对齐模块(5)接收5G D2D接收模块(6)的辅助记录仪识别的每个目标的YUV图像与目标类别与目标位置与时间戳；
11.4主记录仪的目标对齐模块(5)根据YUV视频帧的时间戳匹配目标，目标的时间戳与视频帧的时间戳小于阈值5ms为匹配，这样YUV视频帧关联上主记录仪与辅助记录仪的所有目标；
11.5主记录仪的目标对齐模块(5)分别对辅助记录仪的每个目标的位置匹配判断，设定辅助记录仪目标位置的坐标(x1,y1)，宽高(w1，h1)，主记录仪的目标位置的坐标(x2,y2)，宽高(w2，h2)；则在坐标(x1-分辨率宽/10，y1-分辨率高/10)，宽高(视频分辨率宽/5，视频分辨率高/5)的区间中查主记录仪中相同目标类型对象，即判断(x2,y2)在上述区间；
11.6如果在上述区间，比较两个目标对象的宽高距离是否小于阈值，宽高距离为((x2-x1)*(x2-x1)+(y2-y1)*(y2-y1))的开根号值；
11.7宽高距离如果小于阈值，进行目标对象颜色匹配；对辅助记录仪的目标的YUV图像进行色域空间转化为RGB图像，分别对R,G,B三个色彩通道进行均值计算，对R,G,B色彩通道的每个像素分别进行平均值计算，得到辅助记录仪目标的色彩均值(r1,g1,b1)；同时也对主记录仪的YUV视频帧进行色空间转为RGB视频帧，使用坐标(x2,y2)，宽高(w2，h2)取出主记录仪的目标的RGB图像，对R,G,B色彩通道的每个像素分别进行平均值计算，得到主记录仪目标的色彩均值(r2，g2，b2)，对两个目标对象的色彩距离判断是否小于阈值，色彩距离为((r2-r1)*(r2-r1)+(g2-g1)*(g2-g1)+(b2-b1)*(b2-b1))的开根号值；
11.8色彩距离如果小于阈值则这两个目标为同一个目标对象，目标对齐模块(5)使用主记录仪的目标位置的坐标(x2,y2)，宽高(w2，h2)从YUV视频帧截取Y通道视频数据；
11.9目标对齐模块(5)把主记录仪目标的位置与类型与Y通道图像数据与时间戳，以及辅助记录仪目标的位置与类型与Y通道图像数据发送给目标深度分析模块(8)。
4.根据权利要求1所述的一种基于5G双记录仪的深度图像识别方法，其特征在于，所述S12包括以下步骤：
12.1接收目标对齐模块(5)接收目标对齐模块(5)的主记录仪目标的类型与时间戳与位置与Y通道(亮度)图像数据，以及辅助记录仪目标的位置与Y通道图像数据；
12.2目标深度分析模块(8)先判断左右记录仪，如果主记录仪目标的中心横坐标小于辅助记录仪目标的中心横坐标，则判断左侧记录仪为主记录仪，右侧记录仪为辅助记录仪；
如果主记录仪目标的中心横坐标大于辅助记录仪的中心横坐标，左侧记录仪为辅助记录仪，右侧记录仪为主记录仪；
12.2目标深度分析模块(8)分别计算左侧记录仪与右侧记录仪的中心点,位置计算中心点方法：设置位置的左上角坐标与宽高(x，y，w，h)，中心坐标为(x+w/2，y+h/2)；
12.3目标深度分析模块(8)拿到像素点后，对右侧记录仪目标的中心点进行小范围纠正，避免目标检测算法带来小误差，目标深度分析模块(8)从左侧记录仪的Y通道图(亮度)像数据取出中心九个点数据K，中心九个点为以左侧记录仪的目标中心点为中心的九点；依次扫描右侧记录仪的中心区域的点，中心区域的左上角坐标与宽高为(中心点水平坐标-5，中心点垂直坐标-5，10，10),以中心区域的每个点坐标为中心从右侧记录仪的九个点数据，用这九个点数据与左侧记录仪中心九个点数据进行距离计算得到距离值，距离计算方法为每个对应亮度像素相减再平方，把平方后数值相加，把相加值开根号；目标深度分析模块(8)取距离值最小的点，为右侧记录仪目标的修正后中心点；
12.4目标深度分析模块(8)使用视差法距离计算方法，计算目标与记录仪的距离，作为目标的深度信息；两个记录仪的光轴相互平行，两个成像平面共面，两个记录仪的光心有一个固定的基线距离设为d，记录仪的焦距设为f，视差设为b，按照视差法距离公式的目标距离z＝d*f/b；视差b为右侧记录仪的修正后中心点水平坐标减去左侧记录仪的中心点水平坐标；焦距f为记录仪的镜头固定值，从镜头模组信息读取；基线距离d为固定值，可以在实验室提前手动标定计算，计算公式为d＝z*b/f，通过手动测量目标距离z与视差b，即可以得到基线距离d；
12.5目标深度分析模块(8)把主记录仪目标的类型与时间戳与位置以及深度信息发送给深度目标视频编码模块(12)。
CN202110158969.1A 2021-02-05 2021-02-05 一种基于5g双记录仪的深度图像识别方法 Active CN112995432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158969.1A CN112995432B (zh) 2021-02-05 2021-02-05 一种基于5g双记录仪的深度图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158969.1A CN112995432B (zh) 2021-02-05 2021-02-05 一种基于5g双记录仪的深度图像识别方法

Publications (2)

Publication Number Publication Date
CN112995432A CN112995432A (zh) 2021-06-18
CN112995432B true CN112995432B (zh) 2022-08-05

Family

ID=76347375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158969.1A Active CN112995432B (zh) 2021-02-05 2021-02-05 一种基于5g双记录仪的深度图像识别方法

Country Status (1)

Country Link
CN (1) CN112995432B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241546A1 (en) * 2020-02-04 2021-08-05 XL Hybrids Data extraction apparatuses, systems, and methods
CN115985007A (zh) * 2022-12-06 2023-04-18 杭州未兰石云信息科技有限公司 一种基于低功耗的5g记录仪视频巡检方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270570A (zh) * 2014-10-17 2015-01-07 北京英泰智软件技术发展有限公司 双目摄像机及其图像处理方法
CN110769277A (zh) * 2019-10-25 2020-02-07 杭州叙简科技股份有限公司 执法记录仪基于加速度传感器的视频编码系统及编码方式
CN111127282A (zh) * 2018-10-31 2020-05-08 北京嘀嘀无限科技发展有限公司 用于确定推荐位置的系统和方法
CN111753609A (zh) * 2019-08-02 2020-10-09 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2550842A1 (en) * 2003-12-30 2005-07-21 The Trustees Of The Stevens Institute Of Technology Three-dimensional imaging system using optical pulses, non-linear optical mixers and holographic calibration
DE102006055641B4 (de) * 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
CN103379266B (zh) * 2013-07-05 2016-01-20 武汉烽火众智数字技术有限责任公司 一种具有视频语义分析功能的高清网络摄像机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270570A (zh) * 2014-10-17 2015-01-07 北京英泰智软件技术发展有限公司 双目摄像机及其图像处理方法
CN111127282A (zh) * 2018-10-31 2020-05-08 北京嘀嘀无限科技发展有限公司 用于确定推荐位置的系统和方法
CN111753609A (zh) * 2019-08-02 2020-10-09 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机
CN110769277A (zh) * 2019-10-25 2020-02-07 杭州叙简科技股份有限公司 执法记录仪基于加速度传感器的视频编码系统及编码方式

Also Published As

Publication number Publication date
CN112995432A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112995432B (zh) 一种基于5g双记录仪的深度图像识别方法
US9060165B2 (en) 3D video communication method, sending device and system, image reconstruction method and system
US9305399B2 (en) Apparatus and method for displaying objects
US10194135B2 (en) Three-dimensional depth perception apparatus and method
US7330584B2 (en) Image processing apparatus and method
US9225965B2 (en) Method and system for producing multi-view 3D visual contents
KR101091297B1 (ko) 화상 처리 장치 및 방법
US20110044502A1 (en) Motion detection method, apparatus and system
US20120133733A1 (en) Three-dimensional video image processing device, three-dimensional display device, three-dimensional video image processing method and receiving device
US20120257815A1 (en) Method and apparatus for analyzing stereoscopic or multi-view images
CN103559864A (zh) Led显示模块的亮色度校正方法
EP3359971A1 (en) Camera-based speed estimation and system calibration therefor
US11825071B2 (en) Temporal alignment system and method
CN116704048B (zh) 一种双光配准方法
CN113395409B (zh) 应用于多目相机的视频同步方法
US9049495B2 (en) Information processing system, information processing apparatus, control method of these, and storage medium
CN116051681B (zh) 一种基于智能手表生成图像数据的处理方法及系统
CN109831666B (zh) 一种数字视频信号传输质量的检测方法
CN112233164B (zh) 一种视差图错误点识别与校正方法
CN111231530B (zh) 一种双色打印机质量检测方法
CN112822481A (zh) 立体摄像机的校正品质的检测方法及检测系统
JP2007053604A (ja) 映像信号のフレーム同期方式
US20190058869A1 (en) Stereoscopic image-capturing apparatus
CN117294809B (zh) 一种主备信号画面比对方法、系统、装置及介质
CN113079275B (zh) 一种基于优化直方图匹配的阵列相机色彩校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant