CN115619740B - 一种高精度视频测速方法、系统、电子设备及存储介质 - Google Patents
一种高精度视频测速方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115619740B CN115619740B CN202211278622.1A CN202211278622A CN115619740B CN 115619740 B CN115619740 B CN 115619740B CN 202211278622 A CN202211278622 A CN 202211278622A CN 115619740 B CN115619740 B CN 115619740B
- Authority
- CN
- China
- Prior art keywords
- image
- optical flow
- cost
- processing
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 116
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000004364 calculation method Methods 0.000 claims abstract description 80
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims description 28
- 238000004220 aggregation Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种高精度视频测速方法、系统、电子设备及存储介质，其中方法包括：通过双目摄像头获取视频图像，将视频图像输入至FPGA中；对视频图像进行去畸变处理，确定去畸变图像；将去畸变图像的映射关系存储至FPGA的外接存储器中，确定图像映射信息；通过预先训练好的二值神经网络模型对图像映射信息进行特征提取，确定图像特征，图像特征包括当前帧图像特征和前一帧图像特征；对当前帧图像特征进行深度计算处理，确定距离信息；根据前一帧图像特征对当前帧图像特征进行光流估计处理，确定图像光流；根据距离信息和图像光流对视频图像进行速度计算处理，确定像素速度；本发明能提高视频测速的精度和准确度，可广泛应用于视频测速技术领域。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其是一种高精度视频测速方法、系统、电子设备及存储介质。
背景技术
随着汽车保有量的快速增加，如何保证大规模车辆的安全、快速通行成为了公路建设的核心问题。而对高速上的车辆进行持续精确测速可以为高速的管理方和司乘人员提供准确的信息，是车路协同的一项重要的监测内容。高速公路上已有的精确测速设备主要还是以激光雷达和毫米波雷达为主。但是，使用单目车辆测速技术存在精度差、速度慢等问题。另一方面，使用激光雷达虽然可以提高精度，但是存在造价昂贵、数据单一等问题。综合上述，相关技术中存在的技术问题亟需得到解决。
发明内容
有鉴于此，本发明实施例提供一种高精度视频测速方法、系统、电子设备及存储介质，以实现。
一方面，本发明提供了一种高精度视频测速方法，包括：
通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中；
对所述视频图像进行去畸变处理，确定去畸变图像；
将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；
通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；
对所述当前帧图像特征进行深度计算处理，确定距离信息；
根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；
根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度。
可选地，所述对所述视频图像进行去畸变处理，确定去畸变图像，包括：
获取标定板；
根据所述标定板获取所述双目摄像头的内外参数；
根据所述内外参数对所述视频图像进行像素位置校正处理，确定去畸变图像。
可选地，所述将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息，包括：
对去畸变图像进行位置信息读取处理，确定图像位置信息；
根据所述图像位置信息对所述去畸变图像进行地址编码处理，确定图像映射关系；
将所述图像映射关系存储至所述FPGA的外接存储器中，确定图像映射信息。
可选地，所述通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征，包括：
对所述图像映射信息进行数据拼接处理，确定二进制数据；
将所述二进制数据输入所述二值神经网络模型中进行特征提取处理，确定输出数据；
对所述输出数据进行数据复原处理，确定图像特征。
可选地，所述对所述当前帧图像特征进行深度计算处理，确定距离信息，包括：
所述当前帧图像特征包括左视图特征和右视图特征；
对所述左视图特征和所述右视图特征进行汉明距离计算处理，确定初始代价；
对所述初始代价进行代价聚合处理，确定聚合代价；
根据所述聚合代价进行视差选取处理，确定图像视差；
根据深度计算公式对所述图像视差进行深度计算处理，确定距离信息。
可选地，所述根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流，包括：
分别对所述前一帧图像特征和所述当前帧图像特征进行金字塔降采样处理，再通过滑窗采样计算公式进行计算处理，确定初始光流代价；
根据所述初始光流代价进行粗光流选取处理，确定初始光流；
对所述初始光流进行光流细化处理，确定光流点；
对所述光流点进行光流代价计算处理，确定光流点代价；
对所述光流点代价进行代价聚合处理，确定目标光流代价；
根据所述目标光流代价进行光流信息选取处理，确定图像光流。
可选地，所述二值神经网络模型为：
其中，popcnt表示统计向量中1的个数，xnor表示同或计算，x1表示单个通道卷积输出的结果；x0表示卷积的输入；知/>分别表示根据神经网络的权值离线计算的阈值，具体计算公式为/>知/>分别为/>的上取整和下取整，u，b，β，σ，γ分别表示二值神经网络的权重。
另一方面，本发明实施例还提供了一种系统，包括：
第一模块，用于通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中；
第二模块，用于对所述视频图像进行去畸变处理，确定去畸变图像；
第三模块，用于将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；
第四模块，用于通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；
第五模块，用于对所述当前帧图像特征进行深度计算处理，确定距离信息；
第六模块，用于根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；
第七模块，用于根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度。
另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中，能够通过视频传感器和FPGA进行测速，减少了使用成本，提供了更丰富的图像信息；另外，本发明实施例对所述视频图像进行去畸变处理，确定去畸变图像；将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；对所述当前帧图像特征进行深度计算处理，确定距离信息；根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度，能够对视频进行深度和光流计算，从而提高视频测速的准确度和精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种高精度视频测速方法的流程图；
图2是本申请实施例提供的一种视频测速系统安装结构图；
图3是本申请实施例提供的一种视频测速系统结构图；
附图标记：左相机1，右相机2，FPGA(现场可编辑逻辑门列阵)3。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，对本申请中涉及的若干名词进行解析：
FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)：属于专用集成电路中的一种半定制电路，是可编程的逻辑列阵，能够有效的解决原有的器件门电路数较少的问题。FPGA的基本结构包括可编程输入输出单元，可配置逻辑块，数字时钟管理模块，嵌入式块RAM，布线资源，内嵌专用硬核，底层内嵌功能单元。由于FPGA具有布线资源丰富，可重复编程和集成度高，投资较低的特点，在数字电路设计领域得到了广泛的应用。
光流：运动图像分析的重要方法，光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。在计算机视觉中，光流扮演着重要角色，在目标对象分割、识别、跟踪、机器人导航以及形状信息恢复等都有着非常重要的应用。
现有视频测速的技术主要是基于单目连续帧的映射关系进行测速，但是该技术使用单目相机需要测量对照物的距离，并且根据相机的内外参估算车辆的距离，而估算的结果往往不够准确，因此测速精度较差。其次，由于高速中的车速较高，因此需要测速系统具有较高的处理速率，现有视频测速的技术只计算了车辆中心的速度，这种对单点进行测速的方式也会产生较大的误差。一方面，使用单目相机的测速技术存在精度差、速度慢等问题。另一方面，使用激光雷达虽然可以提高精度，但是存在造价昂贵、数据单一等问题。为了解决以上问题，本方案提供了一种高精度视频测速方法、系统、电子设备及存储介质，通过在门架上安装双目摄像头，并对图像进行深度和光流计算，提高了视频测速的精度和准确度。
参照图1，本发明实施例提供一种高精度视频测速方法，包括：
S101、通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中；
S102、对所述视频图像进行去畸变处理，确定去畸变图像；
S103、将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；
S104、通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；
S105、对所述当前帧图像特征进行深度计算处理，确定距离信息；
S106、根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；
S107、根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度。
在本发明实施例中，参照图2，在门架上安装了双目摄像头，双目摄像头包括左相机1和右相机2，通过双目摄像头获取实时的视频图像，将视频图像周期性地输入FPGA(现场可编程逻辑门列阵)中进行视频测速处理。参照图3，FPGA包括硬核和软核，硬核和软核之间采用Avalon总线进行连接，其中，硬核用于对图像进行去畸变校正和双目匹配，软核用于进行速度计算，在本发明实施例中采用Nios II嵌入式处理器实现。本发明实施例可应用于高速公路上，也可以应用于马路等需要测速的场景。
本发明实施例对视频图像进行去畸变处理后，在FPGA外接的存储器中建立视频图像的映射关系，得到图像映射信息。接着将图像映射信息输入预先训练好的二值神经网络模型进行特征提取处理，提取得到图像特征。需要注意的是，该图像特征包括当前帧图像特征和前一帧图像特征，具体地，本发明实施例由于在进行光流计算时需要采用图像前后帧的特征，因此需要将当前帧图像的前一帧图像在进行特征提取时存入内存中。可以想到的是，本发明实施例还可以在对每一帧视频图像进行特征提取后，将每一帧视频图像的特征都存储到内存中。本发明实施例在获取得到图像特征后，对当前帧图像特征进行深度估计处理得到距离信息，再根据前一帧视频图像特征对当前帧图像特征进行光流估计处理得到图像光流。最后根据距离信息和图像光流对视频图像中的每一个像素进行速度计算，得到像素速度。本发明实施例通过在门架上安装双目摄像头，并对图像进行深度和光流计算，提高了视频测速的精度和准确度。
进一步作为优选的实施方式，所述对所述视频图像进行去畸变处理，确定去畸变图像，包括：
获取标定板；
根据所述标定板获取所述双目摄像头的内外参数；
根据所述内外参数对所述视频图像进行像素位置校正处理，确定去畸变图像。
在本发明实施例中，由于双目摄像头在高速公路中门架的位置固定，获取得到的视频图像具有较高的稳定性，因此可以通过图像的直接映射来进行去畸变和图像矫正。首先，通过标定板获取双目摄像头的内外参数，其中，标定板在机器视觉、图像测量等应用中用于校正镜头畸变。在本发明实施例中可采用实心圆阵列图案的标定板或国际象棋盘图案的标定板。然后，根据内外参数在MATLAB中计算左、右图中每一个像素对应的最佳矫正位置，形成一个像素位置对应表，使用像素位置对应表进行图像的去畸变和矫正。其中，MATLAB是一种商业数学软件，应用于数据分析、深度学习、图像处理等技术领域。
进一步作为优选的实施方式，所述将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息，包括：
对去畸变图像进行位置信息读取处理，确定图像位置信息；
根据所述图像位置信息对所述去畸变图像进行地址编码处理，确定图像映射关系；
将所述图像映射关系存储至所述FPGA的外接存储器中，确定图像映射信息。
在本发明实施例中，读取去畸变图像的位置信息，建立映射后的图片的内存用于进行像素的映射，其地址开始的存储信息是图像的左上角的图像信息。在FPGA接收到图像的开始有效信号后，根据行信号和列信号一次编辑存储地址，通过DMA(直接存储器访问)将对应的图像位置进行读取，使用DMA每读取一次就读取一行的位置信息，再通过位置信息进行地址编码，得到图像映射信息。地址编码公式如下所示：
ADD(x，y)＝Abegin+x′×col+y′×row
其中，ADD(x，y)为像素的地址，x′，y′分别为DMA读取的像素映射位置的横坐标和纵坐标，Abegin为图像的起始地址，col和row分别为图像的列和行数量。
进一步作为优选的实施方式，所述通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征，包括：
对所述图像映射信息进行数据拼接处理，确定二进制数据；
将所述二进制数据输入所述二值神经网络模型中进行特征提取处理，确定输出数据；
对所述输出数据进行数据复原处理，确定图像特征。
在本发明实施例中，采用预先训练好的二值神经网络模型对图像映射信息进行特征提取，由于二值神经模型的第一层输入的是三通道的RGB像素值，在计算前需要把像素值转换成为二进制输入，因此在第一层的输入端进行数据拼接操作，具体拼接方式为将RGB三通道的数据按二进制进行拼接为{R，G，B}共计24位的二进制作为输入数据输入。在输出端，需要重新将数据按照位数将其进行复原，得到图像特征。数据复原公式如下所示：
其中，n表示当前二进制所在的位数，为输出的特征的对应所在的位数；x2为复原后的结果。
进一步作为优选的实施方式，所述对所述当前帧图像特征进行深度计算处理，确定距离信息，包括：
所述当前帧图像特征包括左视图特征和右视图特征；
对所述左视图特征和所述右视图特征进行汉明距离计算处理，确定初始代价；
对所述初始代价进行代价聚合处理，确定聚合代价；
根据所述聚合代价进行视差选取处理，确定图像视差；
根据深度计算公式对所述图像视差进行深度计算处理，确定距离信息。
在本发明实施例中，基于采用双目摄像头进行图像采集，通过特征提取后得到的当前帧图像特征包括左视图特征和右视图特征，根据左视图特征和右视图特征，使用汉明距离计算左视图特征和右视图特征的匹配距离作为初始代价，汉明距离计算公式如下所示：
Cinit(p，d)＝hamming(Fl，Fr)
其中，Cinit(p，d)表示初始代价，Fl表示左视图特征，Fr表示右视图特征。
然后，本发明实施例在计算中将一个滑窗的代价进行求和以增加代价的表达能力，使用局部聚合的方法进行代价聚合，具体通过像素相似度计算，聚合相似的像素代价，并且为了降低计算复杂度，将滑窗进行稀疏采样，即只选用相隔行列的像素进行相似度计算，具体计算如下：
SP(p，q)＝|I(p)-I(q)|＜ε
其中，SP(p，q)用于表示滑窗的中心像素是否和其余像素相似，是一个二值；I(p)表示滑窗的中心像素的RGB值，I(q)表示其余像素的RGB值。聚合的代价计算如下：
其中，Cagg(p，d)表示聚合后的代价，Cinit(p，d)表示初始代价，q表示稀疏窗口中的所有像素。
接着，本发明实施例使用赢者通吃的策略对视差进行选取，将聚合代价最小的视差值作为图像视差，并对图像视差进行左右一致性检测和中值滤波等视差优化方法对视差进行优化。最后根据深度计算公式计算得到距离信息，深度计算公式如下所示：
式中，D为距离信息，d为图像视差，f为相机焦距，B为左右相机镜头之间的距离。
进一步作为优选的实施方式，所述根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流，包括：
分别对所述前一帧图像特征和所述当前帧图像特征进行金字塔降采样处理，再通过滑窗采样计算公式进行计算处理，确定初始光流代价；
根据所述初始光流代价进行粗光流选取处理，确定初始光流；
对所述初始光流进行光流细化处理，确定光流点；
对所述光流点进行光流代价计算处理，确定光流点代价；
对所述光流点代价进行代价聚合处理，确定目标光流代价；
根据所述目标光流代价进行光流信息选取处理，确定图像光流。
在本发明实施例中，分别对前一帧图像特征和当前帧图像特征进行金字塔降采样处理，具体使用两层金字塔形式分别对两帧图像特征进行降采样计算，其中第一层金字塔为原始特征，降采样采用隔行和隔列采样的方式，将原始特征降低到原来的四分之一大小。并且在降采样后的图像特征上使用滑窗匹配方法求取粗略的光流，为了获得和原图一样的光流数据，本发明实施例在计算中采用的是步长为1的滑窗，再通过滑窗下采样的方式进行计算，滑窗采样计算公式如下所示：
Cs(v)＝hamming(Fl(x，y)，F′l(x+2×i，y+2×j))
其中，Cs(v)为初始光流代价，(x，y)为当前滑窗的坐标位置，(x+2×i，y+2×j)表示滑窗下采样后其他像素的位置，Fl为当前帧图像特征，F′l为前一帧图像特征。将得到的初始光流代价乘以2进行比例还原，并使用赢者通吃策略选取粗光流，得到初始光流。对初始光流进一步细化，首先选择视差周围的五个点进行计算：
S(v)＝[mvinit(x，y)，mvnew(x-1，y)，mvnew(x，y-1)，mvinit(x-1，y)，mvinit(x-2，y)]
其中，mvinit(x，y)表示初始光流，mvnew表示对应位置的光流。并分别计算上述五个位置的代价：
Cs(v)(x′，y′)＝hamming(Fl(x，y)，F′l(x+mvx，y+mvy))
其中，mvx和mvy分别是光流的横坐标分类和纵坐标分量。
对上述(x，y)的代价进行代价聚合求取最后的目标光流代价CAs(v)(x，y)，根据目标光流代价使用赢者通吃策略选取得到图像光流，代价聚合公式如下所示：
CAs(v)(x，y)＝∑Cs(v)(x′，y′)
进一步作为优选的实施方式，所述二值神经网络模型为：
其中，popcnt表示统计向量中1的个数，xnor表示同或计算，x1表示单个通道卷积输出的结果；x0表示卷积的输入；和/>分别表示根据神经网络的权值离线计算的阈值，具体计算公式为/>知/>分别为/>的上取整和下取整，u，b，β，σ，γ分别表示二值神经网络的权重。
在本发明实施例中，使用二值神经网络作为FPGA中的特征提取模块进行特征提取处理，为了节省资源，本发明实施例基于浮点网络模型二值化，设计一个流处理框架进行特征提取，该流处理框架如下所示：
其中，popcnt表示统计向量中1的个数，xnor表示同或计算，x1表示单个通道卷积输出的结果；x0表示卷积的输入；知/>分别表示根据神经网络的权值离线计算的阈值，具体计算公式为/>和/>分别为/>的上取整和下取整，u，b，β，σ，γ分别表示二值神经网络的权重。
本发明实施例根据图像光流和距离信息进行速度计算。光流是3D速度在图像上的映射，光流和速度之间的关系可以由以下进行计算：
V＝-T-ω×P
其中ω表示角速度，T表示运动的平动分量，P表示位置信息，V表示实际速度。
其中，三维点的投影关系如下：
其中，Z为距离信息，对其进行求导可得：
式中，mv表示图像光流，Δtime表示时间差，v表示像素速度，f表示相机焦距。
联立以上三个公式可得：
其中，vx为横向的速度量，x，y表示当前像素位置，当旋转恒定不变，可以根据速度计算公式得到图像中每个像素的速度，速度计算公式如下所示：
其中，b为基线距离，d为视差信息，mv为图像光流。根据该公式即可计算得到图像中所有像素的具体速度。
与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：本发明实施例使用视频进行速度计算可以在不增加新的传感器基础上进行扩展，可以对视频进行高精度的速度测试，并且视频传感器的价格远低于雷达传感器，可以有效降低资源。其次，本发明实施例使用视频进行测速，可以提供更丰富的图像信息，以提供诸如识别、检测等高层次应用。最后，本发明实施例使用FPGA进行计算，可以通过流水线的形式提高计算速度，图像的处理的帧率可以高达上百帧，并且可以计算完全稠密的速度信息，可以更好的提供上层应用。并且FPGA的功耗低于10W，可以有效的节省能源。总而言之，对比目前的速度计算方法，本发明实施例具有精度高、速度快、功耗低和价格低的优点。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种高精度视频测速方法，其特征在于，所述方法包括：
通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中；
对所述视频图像进行去畸变处理，确定去畸变图像；
将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；
通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；
所述通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，包括：
对所述图像映射信息进行数据拼接处理，确定二进制数据；
将所述二进制数据输入所述二值神经网络模型中进行特征提取处理，确定输出数据；
对所述输出数据进行数据复原处理，确定图像特征；
所述二值神经网络模型为：
其中，popcnt表示统计向量中1的个数，xnor表示同或计算，x1表示单个通道卷积输出的结果；x0表示卷积的输入；和/>分别表示根据神经网络的权值离线计算的阈值，具体计算公式为/> 和/>分别为/>的上取整和下取整，w，u，b，β，σ，γ分别表示二值神经网络的权重；
对所述当前帧图像特征进行深度计算处理，确定距离信息；
所述对所述当前帧图像特征进行深度计算处理，确定距离信息，包括：
所述当前帧图像特征包括左视图特征和右视图特征；
对所述左视图特征和所述右视图特征进行汉明距离计算处理，确定初始代价；
对所述初始代价进行代价聚合处理，确定聚合代价；
根据所述聚合代价进行视差选取处理，确定图像视差；
根据深度计算公式对所述图像视差进行深度计算处理，确定距离信息；
所述对所述初始代价进行代价聚合处理，确定聚合代价，包括：
根据滑窗进行稀疏采样，选取相隔行列的像素进行相似度计算，得到相似度计算结果；
根据所述相似度计算结果结合所述初始代价进行局部聚合处理，得到聚合代价；
根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；
所述根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流，包括：
分别对所述前一帧图像特征和所述当前帧图像特征进行金字塔降采样处理，再通过滑窗采样计算公式进行计算处理，确定初始光流代价；
根据所述初始光流代价进行粗光流选取处理，确定初始光流；
对所述初始光流进行光流细化处理，确定光流点；
对所述光流点进行光流代价计算处理，确定光流点代价；
对所述光流点代价进行代价聚合处理，确定目标光流代价；
根据所述目标光流代价进行光流信息选取处理，确定图像光流；
根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频图像进行去畸变处理，确定去畸变图像，包括：
获取标定板；
根据所述标定板获取所述双目摄像头的内外参数；
根据所述内外参数对所述视频图像进行像素位置校正处理，确定去畸变图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息，包括：
对去畸变图像进行位置信息读取处理，确定图像位置信息；
根据所述图像位置信息对所述去畸变图像进行地址编码处理，确定图像映射关系；
将所述图像映射关系存储至所述FPGA的外接存储器中，确定图像映射信息。
4.一种视频测速系统，其特征在于，所述系统包括：
第一模块，用于通过双目摄像头获取视频图像，将所述视频图像输入至FPGA中；
第二模块，用于对所述视频图像进行去畸变处理，确定去畸变图像；
第三模块，用于将所述去畸变图像的映射关系存储至所述FPGA的外接存储器中，确定图像映射信息；
第四模块，用于通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，所述图像特征包括当前帧图像特征和前一帧图像特征；
所述第四模块，用于通过预先训练好的二值神经网络模型对所述图像映射信息进行特征提取，确定图像特征，包括：
对所述图像映射信息进行数据拼接处理，确定二进制数据；
将所述二进制数据输入所述二值神经网络模型中进行特征提取处理，确定输出数据；
对所述输出数据进行数据复原处理，确定图像特征；
所述二值神经网络模型为：
其中，popcnt表示统计向量中1的个数，xnor表示同或计算，x1表示单个通道卷积输出的结果；x0表示卷积的输入；和/>分别表示根据神经网络的权值离线计算的阈值，具体计算公式为/> 和/>分别为/>的上取整和下取整，w，u，b，β，σ，γ分别表示二值神经网络的权重；
第五模块，用于对所述当前帧图像特征进行深度计算处理，确定距离信息；
所述第五模块，用于对所述当前帧图像特征进行深度计算处理，确定距离信息，包括：
所述当前帧图像特征包括左视图特征和右视图特征；
对所述左视图特征和所述右视图特征进行汉明距离计算处理，确定初始代价；
对所述初始代价进行代价聚合处理，确定聚合代价；
根据所述聚合代价进行视差选取处理，确定图像视差；
根据深度计算公式对所述图像视差进行深度计算处理，确定距离信息；
所述对所述初始代价进行代价聚合处理，确定聚合代价，包括：
根据滑窗进行稀疏采样，选取相隔行列的像素进行相似度计算，得到相似度计算结果；
根据所述相似度计算结果结合所述初始代价进行局部聚合处理，得到聚合代价；
第六模块，用于根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流；
所述第六模块，用于根据所述前一帧图像特征对所述当前帧图像特征进行光流估计处理，确定图像光流，包括：
分别对所述前一帧图像特征和所述当前帧图像特征进行金字塔降采样处理，再通过滑窗采样计算公式进行计算处理，确定初始光流代价；
根据所述初始光流代价进行粗光流选取处理，确定初始光流；
对所述初始光流进行光流细化处理，确定光流点；
对所述光流点进行光流代价计算处理，确定光流点代价；
对所述光流点代价进行代价聚合处理，确定目标光流代价；
根据所述目标光流代价进行光流信息选取处理，确定图像光流；
第七模块，用于根据所述距离信息和所述图像光流对所述视频图像进行速度计算处理，确定像素速度。
5.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；
所述存储器用于存储程序；
所述处理器执行所述程序实现权利要求1至3中任一项所述的方法。
6.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211278622.1A CN115619740B (zh) | 2022-10-19 | 2022-10-19 | 一种高精度视频测速方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211278622.1A CN115619740B (zh) | 2022-10-19 | 2022-10-19 | 一种高精度视频测速方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115619740A CN115619740A (zh) | 2023-01-17 |
| CN115619740B true CN115619740B (zh) | 2023-08-08 |
Family
ID=84864464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211278622.1A Active CN115619740B (zh) | 2022-10-19 | 2022-10-19 | 一种高精度视频测速方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619740B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595990A (zh) * | 2013-10-30 | 2014-02-19 | 清华大学 | 运动感知的双目立体视频舒适度获取方法 |
| CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
| CN110782433A (zh) * | 2019-10-15 | 2020-02-11 | 浙江大华技术股份有限公司 | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 |
| CN111160534A (zh) * | 2019-12-31 | 2020-05-15 | 中山大学 | 一种适用于移动终端的二值神经网络前向传播框架 |
| CN111553296A (zh) * | 2020-04-30 | 2020-08-18 | 中山大学 | 一种基于fpga实现的二值神经网络立体视觉匹配方法 |
| CN111626308A (zh) * | 2020-04-22 | 2020-09-04 | 上海交通大学 | 一种基于轻量卷积神经网络的实时光流估计方法 |
| CN111998862A (zh) * | 2020-07-02 | 2020-11-27 | 中山大学 | 一种基于bnn的稠密双目slam方法 |
| CN112633324A (zh) * | 2020-11-27 | 2021-04-09 | 中山大学 | 一种基于神经网络的环视立体视觉匹配系统、方法及介质 |
| CN113281779A (zh) * | 2021-05-20 | 2021-08-20 | 中山大学 | 一种3d物体快速检测方法、装置、设备及介质 |
| CN113673545A (zh) * | 2020-05-13 | 2021-11-19 | 华为技术有限公司 | 光流估计方法、相关装置、设备及计算机可读存储介质 |
| CN114037731A (zh) * | 2021-10-18 | 2022-02-11 | 中山大学 | 一种fpga实现的神经网络光流估计方法、装置及介质 |
| CN114387312A (zh) * | 2021-12-27 | 2022-04-22 | 苏州智加科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200097818A1 (en) * | 2018-09-26 | 2020-03-26 | Xinlin LI | Method and system for training binary quantized weight and activation function for deep neural networks |
-
2022
- 2022-10-19 CN CN202211278622.1A patent/CN115619740B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595990A (zh) * | 2013-10-30 | 2014-02-19 | 清华大学 | 运动感知的双目立体视频舒适度获取方法 |
| CN104318561A (zh) * | 2014-10-22 | 2015-01-28 | 上海理工大学 | 基于双目立体视觉与光流融合的车辆运动信息检测方法 |
| CN110782433A (zh) * | 2019-10-15 | 2020-02-11 | 浙江大华技术股份有限公司 | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 |
| CN111160534A (zh) * | 2019-12-31 | 2020-05-15 | 中山大学 | 一种适用于移动终端的二值神经网络前向传播框架 |
| CN111626308A (zh) * | 2020-04-22 | 2020-09-04 | 上海交通大学 | 一种基于轻量卷积神经网络的实时光流估计方法 |
| CN111553296A (zh) * | 2020-04-30 | 2020-08-18 | 中山大学 | 一种基于fpga实现的二值神经网络立体视觉匹配方法 |
| CN113673545A (zh) * | 2020-05-13 | 2021-11-19 | 华为技术有限公司 | 光流估计方法、相关装置、设备及计算机可读存储介质 |
| CN111998862A (zh) * | 2020-07-02 | 2020-11-27 | 中山大学 | 一种基于bnn的稠密双目slam方法 |
| CN112633324A (zh) * | 2020-11-27 | 2021-04-09 | 中山大学 | 一种基于神经网络的环视立体视觉匹配系统、方法及介质 |
| CN113281779A (zh) * | 2021-05-20 | 2021-08-20 | 中山大学 | 一种3d物体快速检测方法、装置、设备及介质 |
| CN114037731A (zh) * | 2021-10-18 | 2022-02-11 | 中山大学 | 一种fpga实现的神经网络光流估计方法、装置及介质 |
| CN114387312A (zh) * | 2021-12-27 | 2022-04-22 | 苏州智加科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 金字塔光流三维运动估计与深度重建直接方法;张聪炫;陈震;黎明;;仪器仪表学报(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115619740A (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11954813B2 (en) | Three-dimensional scene constructing method, apparatus and system, and storage medium | |
| CN112733812B (zh) | 三维车道线检测方法、装置及存储介质 | |
| Hoppe et al. | Incremental Surface Extraction from Sparse Structure-from-Motion Point Clouds. | |
| CN101582171B (zh) | 一种创建深度图的方法及装置 | |
| CN106128121A (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
| CN111539484A (zh) | 训练神经网络的方法及装置 | |
| CN115345946A (zh) | 基于深度学习的汽车全景影像系统的外参标定方法、装置 | |
| CN116012817A (zh) | 基于双网络深度学习的实时全景车位检测方法、装置 | |
| CN115619740B (zh) | 一种高精度视频测速方法、系统、电子设备及存储介质 | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| CN114913500B (zh) | 位姿确定方法、装置、计算机设备和存储介质 | |
| CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
| CN107452230B (zh) | 一种障碍物检测方法、装置、终端设备及存储介质 | |
| CN115468576A (zh) | 一种基于多模态数据融合的自动驾驶定位方法及系统 | |
| CN115018926A (zh) | 车载相机的俯仰角确定方法、装置、设备和存储介质 | |
| CN115035164A (zh) | 一种运动目标识别方法及装置 | |
| CN113901903A (zh) | 道路识别方法和装置 | |
| CN109583511B (zh) | 速度融合方法和装置 | |
| Peng et al. | High-speed dense matching algorithm for high-resolution aerial image based on CPU-FPGA | |
| CN116917936A (zh) | 双目相机外参标定的方法及装置 | |
| CN112380986A (zh) | 抗复杂街道背景干扰的车型检测方法、系统及存储介质 | |
| CN116402871B (zh) | 一种基于场景平行要素的单目测距方法、系统及电子设备 | |
| Diskin et al. | UAS exploitation by 3D reconstruction using monocular vision | |
| Zhu et al. | Toward the ghosting phenomenon in a stereo-based map with a collaborative RGB-D repair | |
| Xie et al. | Lane-level vehicle self-localization in under-bridge environments based on multi-level sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lu Lu Inventor after: Hou Guoxi Inventor after: Ma Huajie Inventor after: Ling Yehua Inventor after: Zhou Yang Inventor before: Lu Lu Inventor before: Hou Guoxi Inventor before: Ma Huajie Inventor before: Ling Yehua Inventor before: Zhou Yang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |