CN111739300B - 一种基于fpga的智慧泊车深度学习网络的训练方法 - Google Patents

一种基于fpga的智慧泊车深度学习网络的训练方法 Download PDF

Info

Publication number
CN111739300B
CN111739300B CN202010701133.7A CN202010701133A CN111739300B CN 111739300 B CN111739300 B CN 111739300B CN 202010701133 A CN202010701133 A CN 202010701133A CN 111739300 B CN111739300 B CN 111739300B
Authority
CN
China
Prior art keywords
network
deep learning
fpga
expert
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010701133.7A
Other languages
English (en)
Other versions
CN111739300A (zh
Inventor
王铭宇
王堃
吴晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Star Innovation Technology Co ltd
Original Assignee
Chengdu Star Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Star Innovation Technology Co ltd filed Critical Chengdu Star Innovation Technology Co ltd
Priority to CN202010701133.7A priority Critical patent/CN111739300B/zh
Publication of CN111739300A publication Critical patent/CN111739300A/zh
Application granted granted Critical
Publication of CN111739300B publication Critical patent/CN111739300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA的智慧泊车深度学习网络的训练方法，涉及智能识别领域，通过多种深度学习网络和计算机视觉技术，识别并不断学习运动物体的形状、颜色等信息，并将各种信息整理并上传到云服务器通过专家网络进行不同场景下的纠错，能在多种场景下都能高效高正确率的识别运动物体，并且使用FPGA芯片对专用深度学习网络进行深度定制，既能够实现更优的性能，更低的功耗，又能够在需要的时候对深度学习网络进行优化和调整，解决了现有智能识别终端产品均使用GPU作为深度学习网络的处理单元，造成了设备能够处理的视频流数量不多，实时性较差，设备难以维护，使用寿命短的问题。

Description

一种基于FPGA的智慧泊车深度学习网络的训练方法
技术领域
本发明涉及智能识别网络领域，特别涉及一种基于FPGA的智慧泊车深度学习网络训练方法及系统。
背景技术
随着现在汽车量越来越大，现在的城市道旁，开放式停车场等室外停车场地越来越多，而在不同的天气、能见度、不同角度都能清楚识别停车场内的车牌也是目前智慧停车的一个重要方向。
现有的智慧泊车技术对于不同场景尤其是不同天气、时间、光照等情况下的识别情况和正确率往往不同，并且由于识别时车辆在运动，车牌拍摄出来的清晰度会降低，现在急需一种能在多种场景下都能高效高正确率的识别车牌的智慧泊车的智能识别系统，通过深度学习网络不断学习对目标进行识别检测。并且现有智能识别的终端服务器均使用GPU作为深度学习网络的处理单元，因为GPU为通用处理器，处理速度慢，功耗高，发热量大，并需要风扇为主要芯片散热，这些因素造成了设备能够处理的视频流数量不多，实时性较差，设备难以维护，使用寿命短。
发明内容
本发明的目的在于：提供了一种基于FPGA的智慧泊车深度学习网络的训练方法，通过多种深度学习网络和计算机视觉技术，识别并不断学习车辆形状、车牌、停车行为习惯等信息，并将各种信息整理并上传到云服务器通过专家网络进行不同场景下的纠错，能在多种场景下都能高效高正确率的识别车牌，并且可以应用到识别其他运动物体，并且使用FPGA芯片对本发明专用深度学习网络进行深度定制，既能够实现更优的性能，更低的功耗，又能够在需要的时候对深度学习网络进行优化和调整，解决了现有的智慧泊车技术对于不同场景尤其是不同天气、时间、光照等情况下的识别情况和正确率往往不同的问题，还解决了目前智能识别在识别运动物体时准确率较低的问题，还解决了现有智能识别终端产品均使用GPU作为深度学习网络的处理单元，造成了设备能够处理的视频流数量不多，实时性较差，设备难以维护，使用寿命短的问题。
本发明采用的技术方案如下：
一种基于FPGA的智慧泊车深度学习网络的训练方法，包括依次进行的以下步骤：
步骤1：构建深度学习网络，包括深度学习运动物体识别的通用网络和运动物体识别纠错的专家网络；
步骤2：准备原始图片数据集；
步骤3：用通用网络和专家网络对数据集中原始图片进行识别，并读取通用网络和专家网络输出的识别结果，通用网络输出物体标识Ln和物体坐标Cn，专家网络输出物体标识Lz和物体坐标Cz；步骤4：将通用网络的识别结果和专家网络的识别结果进行比较，若Ln不等于Lz，则进行步骤5，当Ln等于Lz时，再比较通用网络输出的物体坐标Cn和专家网络输出的物体坐标Cz，若Cn不等于Cz，则进行步骤6，当Cn等于Cz时，则通用网络训练结束；
步骤5：通用网络输出的物体标识Ln按照专家网络输出物体标识Lz改变调整，通用网络调整后的识别结果生成新的图片数据集，使用新的图片数据集再对通用网络进行训练，即进行步骤3-4；
步骤6：对比Cn与Cz的差值，若差值高于门限值，通用网络输出的物体坐标Cn按照专家网络输出物体坐标Cz改变调整，通用网络调整后的识别结果生成新的图片数据集，新的图片数据集再对通用网络进行训练，即进行步骤3-4；若差值低于门限值时，则通用网络训练结束。
进一步的，所述步骤3具体为：
步骤31：用通用网络对数据集中原始图片进行识别；
步骤32：读取通用网络输出的识别结果，输出物体标识Ln和物体坐标Cn；
步骤33：将通用网络输出的识别结果对照工具软件进行分类；
步骤34：经过步骤33分类后的通用网络识别结果，及其相对应的原始图片数据集分别导入到专家网络，专家网络根据通用网络识别结果的不同分类而训练，经过训练后专家网络对导入的原始图片数据集进行识别，其输出物体标识Lz和物体坐标Cz。
进一步的，所述通用网络输出的识别结果分类的判别标准主要包括原始图片的采集时间、原始图片采集时的天气和光照情况、原始图片采集的地点、原始图片的分辨率、图片识别的历史错误率。
进一步的，还包括对通用网络输出的结果对照工具软件完成图像重构，为系统检查人员提供直观的视觉参考。
进一步的，所述专家网络针对不同的场景构建不同的专家网络，在进行步骤34，专家网络在云服务器上运行对通用网络进行自动训练。
进一步的，所述通用网络根据智慧泊车场景定制了车辆运动检测网络、深度学习车辆识别网络、深度学习车牌识别网络、深度学习车牌号码及文字识别网络，并在智慧泊车边缘服务器上运行，所述智慧泊车边缘服务器包括FPGA模块、ARM模块、底板模块，FPGA模块、ARM模块、底板模块组合形成全功能并带有多种外围设备接口的智慧泊车边缘服务器，并使用FPGA模块作为深度学习网络的处理器。
进一步的，所述FPGA模块连接时钟电路、时序电路、电源模块和存储模块，并且FPGA模块还连接到RJ45接口和USB接口。
进一步的，所述ARM模块连接GPS模块、蓝牙/WiFi模块、4G模块及摄像头，并且ARM模块还连接到TF存储卡、传感器和传输接口。
进一步的，所述传输接口包括电源接口、风扇接口、USB接口、RJ45接口、RS485、DI/DO接口和RTC接口。
进一步的，所述FPGA模块和ARM模块通过RJ45接口、PCI-E总线和/或USB接口连接。
本发明是一种基于FPGA的智慧泊车深度学习网络的训练方法，本发明中的智慧泊车边缘服务器，支持多路高清摄像头，核心模块核心模块FPGA模块使用FPGA芯片，FPGA芯片属于专用集成电路中一种半定制电路，是可编程的逻辑列阵。我们使用FPGA芯片对所述通用网络进行深度定制，既能够实现更优的性能，更快的识别速度和精确度，更低的功耗，并且，通过专家网络，对通用网络识别结果进行分析和调整，用调整后的识别结果生成新的数据集，用新的数据集对通用网络进行训练和优化。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明是一种基于FPGA的智慧泊车深度学习网络的训练方法，通过多种深度学习网络和现有计算机视觉技术，识别并不断学习车辆形状，车牌，停车行为习惯等信息，并将各种信息整理并上传到云服务器通过专家网络进行不同场景下的纠错，能在多种场景下都能高效高正确率的识别车牌，解决了现有的智慧泊车技术对于不同场景尤其是不同天气、时间、光照等情况下的识别情况和正确率往往不同的问题。
本发明一种基于FPGA的智慧泊车深度学习网络的训练方法，服务器的各个模块采取可组合式设计，可根据功能多少的需要任意组合，FPGA模块和ARM模块组合形成最简功能组合，实现功能最简的智慧泊车服务器。将FPGA模块、ARM模块和底板模块三种模块组合形成全功能并带有多种外围设备接口的智慧泊车边缘服务器，这种组合式设计从硬件上减少了不同版本和功能的智慧泊车边缘服务器的投入市场的时间，并降低了生产成本。
本发明一种基于FPGA的智慧泊车深度学习网络的训练方法，使用FPGA芯片对所述通用网络进行深度定制，既能够实现更优的性能，更快的识别速度和精确度，更低的功耗，又能够在需要的时候对通用网络进行优化和调整，解决了现有智慧泊车终端产品均使用GPU作为深度学习网络的处理单元，造成了设备能够处理的视频流数量不多，实时性较差，设备难以维护，使用寿命短的问题。
本发明一种基于FPGA的智慧泊车深度学习网络的训练方法，通过多种深度学习网络和计算机视觉技术，识别并不断学习运动物体的颜色、形状等信息，并将各种信息整理并上传到云服务器通过专家网络进行不同场景下的纠错，能在多种场景下都能高效高正确率的识别运动物体。
本发明一种基于FPGA的智慧泊车深度学习网络的训练方法，通过更高性能的FPGA芯片，同时结合多种接口，使得本系统能够处理的视频流数量增多。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的方法流程图；
图2是深度学习网络在智慧泊车场景中的应用流程图；
图3是本发明的智慧泊车边缘服务器模块框图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合图1至图3对本发明作详细说明。
实施例1
如图1所示，一种基于FPGA的智慧泊车深度学习网络的训练方法，包括依次进行的以下步骤：
步骤1：构建深度学习网络，包括深度学习运动物体识别的通用网络和运动物体识别纠错的专家网络；
步骤2：准备原始图片数据集；这里的原始图片集主要是对两种深度学习网络进行训练的图片数据集。
步骤3：用通用网络和专家网络对数据集中原始图片进行识别，并读取通用网络和专家网络输出的识别结果，通用网络输出物体标识Ln和物体坐标Cn，专家网络输出物体标识Lz和物体坐标Cz；输出的识别结果是指通用网络对图片中物体的物体标识Ln和物体坐标Cn，对于通用网络已经标注好的输出的图片即为“输出的识别结果”，然后我们使用工具软件辅助将其进行分类，分到各个不同的场景下，和专家网络一一对应，方便进一步用专家网络再次进行标注和输出，“工具软件”主要是辅助人工筛查的现有分类工具软件。
步骤4：将通用网络的识别结果和专家网络的识别结果进行比较，若Ln不等于Lz，则进行步骤5，当Ln等于Lz时，再比较通用网络输出的物体坐标Cn和专家网络输出的物体坐标Cz，若Cn不等于Cz，则进行步骤6，当Cn等于Cz时，则通用网络训练结束；
步骤5：通用网络输出的物体标识Ln按照专家网络输出物体标识Lz改变调整，通用网络调整后的识别结果生成新的图片数据集，使用新的图片数据集再对通用网络进行训练，即进行步骤3-4；
步骤6：对比Cn与Cz的差值，若差值高于门限值，通用网络输出的物体坐标Cn按照专家网络输出物体坐标Cz改变调整，通用网络调整后的识别结果生成新的图片数据集，新的图片数据集再对通用网络进行训练，即进行步骤3-4；若差值低于门限值时，则通用网络训练结束。
在本发明中，构建了两个深度学习网络，分别是“深度学习运动物体识别的通用网络”和“运动物体识别纠错的专家网络”，通用网络是为边缘服务器实际使用的深度学习网络，用于识别车牌或其他标的物的一般深度学习网络，而纠错专家网络是针对不同的场景构建不同的专家网络，不同的场景如夜晚、光线较暗时或者中午、冬季、夏季、降雪、下雨、阴天、闹市、郊区等环境场景。门限值可配置缺省值，缺省值是图片对角线长度的5%。
具体的，所述步骤3具体为：
步骤31：用通用网络对数据集中原始图片进行识别；
步骤32：读取通用网络输出的识别结果，输出物体标识Ln和物体坐标Cn；
步骤33：将通用网络输出的识别结果对照工具软件进行分类；
步骤34：经过步骤33分类后的通用网络识别结果，及其相对应的原始图片数据集分别导入到专家网络，专家网络根据通用网络识别结果的不同分类而训练，经过训练后专家网络对导入的原始图片数据集进行识别，其输出物体标识Lz和物体坐标Cz。
在本发明的优选实施例中，所述通用网络输出的识别结果分类的判别标准主要包括原始图片的采集时间、原始图片采集时的天气和光照情况、原始图片采集的地点、原始图片的分辨率、图片识别的历史错误率。
在本发明的优选实施例中，还包括对通用网络输出的结果对照工具软件完成图像重构，为系统检查人员提供直观的视觉参考。在有人工时，将人工标注的和专家网络进行对比，若差别较大，超过预设阈值，则使用人工标注的图片对比专家网络标注的图片进行图像重构重新标注图片；而在无人工时，或人工标注和专家网络标注的图片差别较小在阈值范围内时，重新进行标注，然后使用重新标注的图片同时再次替换训练深度学习网络和使用深度学习网络标注的图片再次进行训练。
在本发明的优选实施例中，所述专家网络针对不同的场景构建不同的专家网络，在进行步骤34，专家网络在云服务器上运行对通用网络进行自动训练。
在本发明的优选实施例中，所述步骤2中图片图片集中的图片是相机视图，并且服务器在给图片命名时将相机编号体现在图片名称中，然后将区域坐标文件放入图片文件夹中。
本方法是一种基于FPGA的智慧泊车深度学习网络的训练方法，运用并分类多个智慧泊车场景下的通用网络，并通过多个不同场景下的专家网络对通用识别网络进行监督检查和纠错。
实施例2
本实施例是对本发明的进一步说明。
如图2-3所示，本实施例在上述实施例的基础上，在本发明一种优选实施例中，所述通用网络根据智慧泊车场景定制了车辆运动检测网络、深度学习车辆识别网络、深度学习车牌识别网络、深度学习车牌号码及文字识别网络，并在智慧泊车边缘服务器上运行，所述智慧泊车边缘服务器包括FPGA模块、ARM模块、底板模块，FPGA模块、ARM模块、底板模块组合形成全功能并带有多种外围设备接口的智慧泊车边缘服务器，并使用FPGA模块作为深度学习网络的处理器。
所述FPGA模块连接时钟电路、时序电路、电源模块和存储模块，并且FPGA模块还连接到RJ45接口和USB接口。
所述ARM模块连接GPS模块、蓝牙/WiFi模块、4G模块及摄像头，并且ARM模块还连接到TF存储卡、传感器和传输接口。
所述传输接口包括电源接口、风扇接口、USB接口、RJ45接口、RS485、DI/DO接口和RTC接口。
所述FPGA模块和ARM模块通过RJ45接口、PCI-E总线和/或USB接口连接。
在本发明中，服务器的各个模块采取可组合式设计，可根据功能多少的需要任意组合，FPGA模块和ARM模块组合形成最简功能组合，实现功能最简的智慧泊车服务器。将FPGA模块、ARM模块和底板模块三种模块组合形成全功能并带有多种外围设备接口的智慧泊车边缘服务器，这种组合式设计从硬件上减少了不同版本和功能的智慧泊车边缘服务器的投入市场的时间，并降低了生产成本。
如图2所示，根据智慧泊车场景定制了车辆运动检测网络、深度学习车辆识别网络、深度学习车牌识别网络、深度学习车牌号码及文字识别网络，摄像头采集的全景图经车辆运动检测网络用于排除与目标车位无关的运动，并将采集的全景图给深度学习车辆识别网络识别，深度学习车辆识别网络排除全景图中的干扰车辆，得到多张目标车辆，深度学习车牌识别网络将多张目标车辆识别检测得到多张车牌，深度学习车牌号码及文字识别网络识别多张车牌，并采用多数票选择算法准确识别车牌号。根据智慧泊车场景定制的各个通用网络均由FPGA模块和ARM模块协同完成，在保证运行速度的前提下，为了降低功耗和节省空间，本发明充分考虑了不同深度学习网络相似模块在尽可能少的影响智慧泊车边缘服务器运行速度前提下的复用，比如：车辆运动检测网络部分使用了深度学习车辆识别网络的CNN和Maxpooling网络，辅以运动识别算法，既保证了检测速度，又减少了硬件空间的使用。
综上，本发明中的智慧泊车边缘服务器，支持多路高清摄像头，核心模块FPGA模块使用FPGA芯片，FPGA芯片属于专用集成电路中一种半定制电路，是可编程的逻辑列阵。我们使用FPGA芯片对所述通用网络进行深度定制，既能够实现更优的性能，更快的识别速度和精确度，更低的功耗，并且，通过专家网络，对通用网络识别结果进行分析和调整，用调整后的识别结果生成新的数据集，用新的数据集对通用网络进行训练和优化。
一种基于FPGA的智慧泊车深度学习网络的训练方法，是基于智慧泊车的背景下发明的，用于解决目前智慧泊车的智能识别中存在的问题，但是由于本发明不仅限于智慧泊车中的智能识别，用于识别运动物体在其他场景中的智能识别，同样纳入本发明的保护范围。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (9)

1.一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：包括依次进行的以下步骤：
步骤1：构建深度学习网络，包括深度学习运动物体识别的通用网络和不同场景的运动物体识别纠错的专家网络；
步骤2：准备原始图片数据集；
步骤3：用通用网络和专家网络对数据集中原始图片进行识别，并读取通用网络和专家网络输出的识别结果，将通用网络输出的识别结果对照工具软件进行分类，通用网络输出的识别结果经工具软件分类后，将与其相对应的原始图片数据集分别导入到专家网络，专家网络根据通用网络识别结果的不同分类而训练，经过训练后专家网络对导入的原始图片数据集进行识别，通用网络输出物体标识Ln和物体坐标Cn，专家网络输出物体标识Lz和物体坐标Cz；
步骤4：将通用网络的识别结果和专家网络的识别结果进行比较，若Ln不等于Lz，则进行步骤5，当Ln等于Lz时，再比较通用网络输出的物体坐标Cn和专家网络输出的物体坐标Cz，若Cn不等于Cz，则进行步骤6，当Cn等于Cz时，则通用网络训练结束；
步骤5：通用网络输出的物体标识Ln按照专家网络输出物体标识Lz改变调整，通用网络调整后的识别结果生成新的图片数据集，使用新的图片数据集再对通用网络进行训练，即进行步骤3-4；
步骤6：对比Cn与Cz的差值，若差值高于门限值，通用网络输出的物体坐标Cn按照专家网络输出物体坐标Cz改变调整，通用网络调整后的识别结果生成新的图片数据集，新的图片数据集再对通用网络进行训练，即进行步骤3-4；若差值低于门限值时，则通用网络训练结束。
2.根据权利要求1所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述通用网络输出的识别结果分类的判别标准主要包括原始图片的采集时间、原始图片采集时的天气和光照情况、原始图片采集的地点、原始图片的分辨率、图片识别的历史错误率。
3.根据权利要求1所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：还包括对通用网络输出的结果对照工具软件完成图像重构，为系统检查人员提供直观的视觉参考。
4.根据权利要求1所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述专家网络针对不同的场景构建不同的专家网络，在进行步骤3，专家网络在云服务器上运行对通用网络进行自动训练。
5.根据权利要求1所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述通用网络根据智慧泊车场景定制了车辆运动检测网络、深度学习车辆识别网络、深度学习车牌识别网络、深度学习车牌号码及文字识别网络，并在智慧泊车边缘服务器上运行，所述智慧泊车边缘服务器包括FPGA模块、ARM模块、底板模块，FPGA模块、ARM模块、底板模块组合形成全功能并带有多种外围设备接口的智慧泊车边缘服务器，并使用FPGA模块作为深度学习网络的处理器。
6.根据权利要求5所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述FPGA模块连接时钟电路、时序电路、电源模块和存储模块，并且FPGA模块还连接到RJ45接口和USB接口。
7.根据权利要求5所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述ARM模块连接GPS模块、蓝牙/WiFi模块、4G模块及摄像头，并且ARM模块还连接到TF存储卡、传感器和传输接口。
8.根据权利要求7所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述传输接口包括电源接口、风扇接口、USB接口、RJ45接口、RS485、DI/DO接口和RTC接口。
9.根据权利要求5所述的一种基于FPGA的智慧泊车深度学习网络的训练方法，其特征在于：所述FPGA模块和ARM模块通过RJ45接口、PCI-E总线和/或USB接口连接。
CN202010701133.7A 2020-07-21 2020-07-21 一种基于fpga的智慧泊车深度学习网络的训练方法 Active CN111739300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010701133.7A CN111739300B (zh) 2020-07-21 2020-07-21 一种基于fpga的智慧泊车深度学习网络的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010701133.7A CN111739300B (zh) 2020-07-21 2020-07-21 一种基于fpga的智慧泊车深度学习网络的训练方法

Publications (2)

Publication Number Publication Date
CN111739300A CN111739300A (zh) 2020-10-02
CN111739300B true CN111739300B (zh) 2020-12-11

Family

ID=72655143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010701133.7A Active CN111739300B (zh) 2020-07-21 2020-07-21 一种基于fpga的智慧泊车深度学习网络的训练方法

Country Status (1)

Country Link
CN (1) CN111739300B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256423A (zh) * 2017-05-05 2017-10-17 深圳市丰巨泰科电子有限公司 一种增广神经网架构及其训练方法、计算机可读存储介质
CN110705564A (zh) * 2019-09-09 2020-01-17 华为技术有限公司 图像识别的方法和装置
CN111259823A (zh) * 2020-01-19 2020-06-09 人民中科(山东)智能技术有限公司 一种基于卷积神经网络的色情图像识别方法
CN111414817A (zh) * 2020-03-05 2020-07-14 上海兆芯集成电路有限公司 面部识别系统及面部识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256423A (zh) * 2017-05-05 2017-10-17 深圳市丰巨泰科电子有限公司 一种增广神经网架构及其训练方法、计算机可读存储介质
CN110705564A (zh) * 2019-09-09 2020-01-17 华为技术有限公司 图像识别的方法和装置
CN111259823A (zh) * 2020-01-19 2020-06-09 人民中科(山东)智能技术有限公司 一种基于卷积神经网络的色情图像识别方法
CN111414817A (zh) * 2020-03-05 2020-07-14 上海兆芯集成电路有限公司 面部识别系统及面部识别方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Invariant image recognition using a multi-network neural model;V.Cruz;《International 1989 Joint Conference on Neural Networks》;20020806;第17-22页 *
Tiny Image Classification using Four-Block Convolutional Neural Network;Mohsin Sharif;《2019 International Conference on Information and Communication Technology Convergence (ICTC)》;20191226;第1-6页 *
基于YOLOV3的车辆多目标检测;王萍萍;《科技与创新》;20200215(第03期);第68-70页 *
基于全卷积神经网络的多场景图像语义分割研究;于芳洲;《中国优秀硕士学位论文全文数据库信息科技辑》;20200315(第03期);I138-1378 *
基于卷积神经网络的图像场景分类方法研究;战春儒;《中国优秀硕士学位论文全文数据库信息科技辑》;20180115(第01期);I138-2138 *
基于改进Faster R-CNN的嘴部检测方法;魏文韬;《计算机系统应用》;20191231(第12期);第238-242页 *
基于深度学习的场景识别研究;姜啸远;《中国优秀硕士学位论文全文数据库信息科技辑》;20180315(第03期);I138-1901 *
基于视觉的室内场景识别及其在多源融合定位中的应用;刘梦云;《中国博士学位论文全文数据库信息科技辑》;20200615(第06期);I138-81 *
视频图像中的运动目标检测算法研究;陈磊;《中国优秀硕士学位论文全文数据库信息科技辑》;20071015(第04期);I138-647 *

Also Published As

Publication number Publication date
CN111739300A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN110399856B (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
DE102012218390B4 (de) Optimierung der Erkennung von Objekten in Bildern
CN107506760B (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111931627A (zh) 一种基于多模态信息融合的车辆再识别方法及装置
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍系统
US20180240194A1 (en) Visual analytics based vehicle insurance anti-fraud detection
CN111476169B (zh) 一种基于视频帧的复杂场景路侧停车行为识别方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN106462766A (zh) 在预览模式中进行图像捕捉参数调整
CN112417953A (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN110555378B (zh) 基于直播视频的天气预测方法、系统及天气预测装置
CN110598621A (zh) 车辆品牌识别方法、装置、设备及计算机可读存储介质
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN103377558A (zh) 交通流量管控系统及方法
CN112163545A (zh) 一种头部特征提取方法、装置、电子设备及存储介质
CN109063790B (zh) 对象识别模型优化方法、装置和电子设备
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN104361357A (zh) 基于图片内容分析的相片集分类系统及分类方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN114741732A (zh) 一种基于隐私数据保护的智能网联汽车数据训练方法、电子设备及计算机可读存储介质
CN111739300B (zh) 一种基于fpga的智慧泊车深度学习网络的训练方法
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN105631425B (zh) 基于视频流的车牌识别方法、系统及智能数字摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A training method of intelligent parking depth learning network based on FPGA

Effective date of registration: 20220526

Granted publication date: 20201211

Pledgee: Industrial Bank Limited by Share Ltd. Chengdu branch

Pledgor: Chengdu Star Innovation Technology Co.,Ltd.

Registration number: Y2022510000141