CN110969104B - 基于二值化网络检测可行驶区域的方法、系统及存储介质 - Google Patents

基于二值化网络检测可行驶区域的方法、系统及存储介质 Download PDF

Info

Publication number
CN110969104B
CN110969104B CN201911154242.5A CN201911154242A CN110969104B CN 110969104 B CN110969104 B CN 110969104B CN 201911154242 A CN201911154242 A CN 201911154242A CN 110969104 B CN110969104 B CN 110969104B
Authority
CN
China
Prior art keywords
condition
convolution
cgan
network
binarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911154242.5A
Other languages
English (en)
Other versions
CN110969104A (zh
Inventor
董翔宇
张中
章海斌
丁霞
汪太平
朱俊
祁麟
吴永恒
汪世才
杜鹏
杨瑞金
魏南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Zhong
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd filed Critical Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Priority to CN201911154242.5A priority Critical patent/CN110969104B/zh
Publication of CN110969104A publication Critical patent/CN110969104A/zh
Application granted granted Critical
Publication of CN110969104B publication Critical patent/CN110969104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施方式提供一种基于二值化网络检测可行驶区域的方法、系统及存储介质，属于车道识别领域。所述方法包括：获取多种道路场景视频，对所述道路场景视频进行预处理以形成训练集和测试集；创建条件生成对抗网络CGAN；将所述条件生成对抗网络CGAN转化为基于二值化条件的所述条件生成对抗网络CGAN；采用所述训练集训练所述条件生成对抗网络CGAN并采用所述测试集测试所述条件生成对抗网络CGAN；采用训练好的所述条件生成对抗网络CGAN根据实际的道路视频检测所述可行驶区域。该方法、系统及存储介质通过将条件生成对抗网络CGAN应用到车道检测的领域中，实现了基于拍摄的现场的图片识别出可行驶区域的技术目的。

Description

基于二值化网络检测可行驶区域的方法、系统及存储介质
技术领域
本发明涉及车道识别技术领域，具体地涉及一种基于二值化网络检测可行驶区域的方法、系统及存储介质。
背景技术
随着深度学习的发展，人工智能在各个领域有了广泛的应用，其中可行驶区域线检测是智能交通系统中重要组成部分，车道检测是指运用图像处理技术将视频或图像中的可行驶区域进行识别，并显示出可行驶区域边界线的具体位置。车道识别是实现自动驾驶以及防止偏离可行驶区域的关键技术之一。
现有的可行驶区域检测方法随着在高性能的服务器取得优越的效果，技术越来越成熟并且网络结构也逐渐变得复杂，这种复杂的识别系统耗时耗资源，无法在汽车上使用。应用机器视觉技术实现汽车车道检测系统需要的是成本低廉、性能可靠、安装和使用简便、能够迅速普及与应用到汽车上。因此，提供一种能够使现有的深度神经网络应用在低功耗设备上，减少深度神经网络的计算的方案，是亟待解决的技术问题。
发明内容
本发明实施方式的目的是提供一种基于二值化网络检测可行驶区域的方法、系统及存储介质，该方法、系统及存储介质通过将条件生成对抗网络CGAN(ConditionalGenerative Adversarial Net)应用到车道检测的领域中，实现了基于拍摄的现场的图片识别出可行驶区域的技术目的。
为了实现上述目的，本发明实施方式提供一种基于二值化网络检测可行驶区域的方法，所述方法包括：
获取多种道路场景视频，对所述道路场景视频进行预处理以形成训练集和测试集；
创建条件生成对抗网络CGAN；
将所述条件生成对抗网络CGAN转化为基于二值化条件的所述条件生成对抗网络CGAN；
采用所述训练集训练所述条件生成对抗网络CGAN并采用所述测试集测试所述条件生成对抗网络CGAN；
采用训练好的所述条件生成对抗网络CGAN根据实际的道路视频检测所述可行驶区域。
可选地，对所述道路场景视频进行预处理以形成训练集和测试集具体包括：
将所述道路场景视频处理为单个帧的图像；
对所述图像进行标定、训练、校正和旋转变换中的至少一者以形成图像数据集；
将所述图像数据集划分为训练集和测试集。
可选地，对所述图像进行标定、训练、校正和旋转变换中的至少一者以形成图像数据集具体包括：
采用AutoCAD选取与所述图像中的环境颜色不同的色彩对所述图像进行标定。
可选地，
所述条件生成对抗网络CGAN包括生成模型、判别模型和设置于所述生成模型和判别模型之间的特征提取层；
创建条件生成对抗网络CGAN具体包括在生成模型和判别模型的建模中均引入条件变量；
所述生成模型包括生成器网络，所述生成器网络包括：
全局生成器，包括全局前端卷积层、全局残差块和全局转置卷积后端；
局部生成器，包括局部前端卷积层、局部残差块以及局部转置卷积后端。
可选地，所述全局前端卷积层包括1个大小为6*6的卷积核和5个大小为3*3的卷积核，所述全局前端卷积层的激活函数为Relu(Rectified Linear Unit，修正线性单元)函数且偏移步长为1；
所述全局残差块包括7个大小为3*3的卷积核；
所述全局转置卷积后端包括6层InstanceNorm-ReLU(Instance Normalization-Rectified Linear Unit，实列正则化的修正线性单元)层，且每层所述InstanceNorm-ReLU层包括512、128、64个大小为3*3的卷积核，所述全局转置卷积后端的偏移步长为1/2；
所述局部前端卷积层包括1个大小为6*6的卷积核和2个大小为3*3的卷积核；
所述局部残差块包括2个3*3的卷积核；
所述局部转置卷积后端包括1个3*3的卷积核，且所述局部转置卷积后端的激活函数为Relu函数，偏移步长为1；
所述特征提取层包括大小为3*3卷积核，所述特征提取层的偏移步长为1；
所述判别模型包括判别网络，所述判别网络包括4层Convolution-InstanceNorm-LeakyReLU层，且每层所述Convolution-InstanceNorm-LeakyReLU层包括64、128、256、512个大小为4*4的卷积核，所述Convolution-InstanceNorm-LeakyReLU层的偏移步长为2，所述Convolution-InstanceNorm-LeakyReLU层的激活函数为LeakyReLU函数，且所述LeakyReLU函数的斜率为0.2。
可选地，将所述条件生成对抗网络CGAN转化为基于二值化条件的所述条件生成对抗网络CGAN具体包括：
根据公式(1)确定基于二值化条件的所述条件生成对抗网络CGAN的二值化激活值，
Figure BDA0002284368940000041
其中，ab为所述二值化激活值，ar为实值激活值；
根据公式(2)确定基于二值化条件的所述条件生成对抗网络CGAN的二值化权重，
Figure BDA0002284368940000042
其中，wb为所述二值化权重，wr为实际权重。
另一方面，本发明还提供一种基于二值化网络检测可行驶区域的系统，所述系统包括处理器，所述处理器用于执行上述任一所述的方法。
另一方面，本发明还提供一种用于检测目标的方法，所述方法包括：
采用如权利要求1至7任一所述的方法确定可行驶区域；
判断所述可行驶区域内是否存在目标；
在判断所述可行驶区域内存在目标的情况下，采用图像识别算法获取所述目标的识别码。
再一方面，本发明还提供一种用于检测目标的系统，所述系统包括处理器，所述处理器用于执行上述所述的方法。
再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行上述任一所述的方法。
通过上述技术方案，本发明提供的基于二值化网络检测可行驶区域的方法、系统及存储介质通过将条件生成对抗网络CGAN应用到车道检测的领域中，实现了基于拍摄的现场的图片识别出可行驶区域的技术目的。同时由于基于二值化的条件生成对抗网络CGAN的算法复杂度低，也减少了运行的系统的占用内存，从而降低了整体系统的功耗。
另一方面，本发明提供的用于检测目标的方法及系统通过确定上述基于二值化网络检测可行驶区域的方法检测到的可行驶区域是否存在违规车辆，并在确定存在违规车辆的情况下，通过图像识别算法确定违规车辆的车牌号，提高了道路监测的效率。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一个实施方式的基于二值化网络检测可行驶区域的方法的流程图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示是根据本发明的一个实施方式的基于二值化网络检测可行驶区域的方法的流程图。在图1中，该方法可以包括：
在步骤S10中，获取多种道路场景视频，对道路场景视频进行预处理以形成训练集和测试集。其中，该道路场景视频可以是例如从交管系统中直接获取，也可以是通过在道路周围设置摄像头的方式来拍摄获取。对于该预处理过程，可以是本领域人员所知的多种形式。在本发明的一个优选示例中，该预处理可以是例如首先将该道路场景视频处理为单个帧的图像；再对图像进行标定、训练、校正、旋转变换以及后期处理中的至少一者以形成图像数据集；最后将该图像数据集划分为训练集和测试集。更具体地，以标定操作为例，为了便于将该图像中的可行驶区域与周围环境区分开，可以是例如采用AutoCAD选取与图像中的环境颜色不同的色彩对图像进行标定。对于该图像的尺寸、数量以及分辨率，则可以是本领域人员所知的多种构成方式。在该示例中，该图像的数量可以为2500张，每张该图像的分辨率可以为1280*720。训练集和测试集的划分比可以为4:1，即在图像的数量为2500张的情况下，训练集可以包括2000张图像，测试集可以包括500张图像。
在步骤S11中，创建条件生成对抗网络CGAN。其中，该条件生成对抗网络CGAN可以包括生成模型、判别模型以及设置于该生成模型和判别模型之间的特征提取层。
在该实施方式中，该生成模型可以用于根据输入的图像学习、模仿和建模真实数据(输入的图像)的分布规律。该判别模型可以用于判别接收到的数据(生成模型传输的数据)是真实的数据还是该生成模型模拟生成的数据。两个模型在不断地竞争过程中相互提高各自的生成能力和判别能力。在该实施方式中，可以通过引入条件变量y来将两者结合在一起，从而使得传统的GAN深度学习演变成本发明提供的CGAN监督学习机制。
在该实施方式中，该生成模型可以包括生成器网络。该生成器网络可以进一步包括全局生成器和局部生成器。该全局生成器可以包括全局前端卷积层、全局残差块和全局转置卷积后端。具体地，该全局前端卷积层可以包括1个大小为6*6的卷积核和5个大小为3*3的卷积核。该全局前端卷积层的激活函数可以为Relu函数且偏移步长可以为1。全局残差块可以包括7个大小为3*3的卷积核。该全局转置卷积后端可以包括6层InstanceNorm-ReLU层，且每层InstanceNorm-ReLU层可以包括512、128、64个大小为3*3的卷积核。该全局转置卷积后端的偏移步长可以为1/2。那么，在图像输入该全局生成器中时，全局前端卷积可以采用6*6的卷积核进行实例标准化操作，再采用3*3的卷积核对该图像进行特征提取(此时为了防止在卷积操作提取特征时出现的忽略边缘的特征的问题，可以使用填充策略)。
该局部生成器可以包括局部前端卷积层、局部残差块以及局部转置卷积后端。该局部前端卷积层可以包括1个大小为6*6的卷积核和2个大小为3*3的卷积核。该局部残差块可以包括2个3*3的卷积核。该局部转置卷积后端可以包括1个3*3的卷积核，且该局部转置卷积后端的激活函数可以为Relu函数，偏移步长可以为1。那么，在全局生成器输出的图像输入该局部生成器时，该局部前端卷积可以首先采用大小为6*6的卷积核进行实例标准化操作；再采用其余的3*3的卷积核对该图像进行特征提取。
在本发明的一个示例中，以分辨率为2048*1024的图像为例，首先对该图像进行下采样处理，得到一个分辨率为1024&512的图像；再采用该图像对全局生成器进行预训练；然后采用该图像训练局部生成器。实验证明，这样由全局生成器和局部生成器的构成方式无论是在训练的过程还是在后续数据处理的过程中都可以将全局信息和局部信息有效地整合在一起，从而最终形成高分辨率的图像。
在该实施方式中，特征提取层可以包括大小为3*3卷积核。该特征提取层的偏移步长可以为1。其中，该特征提取层可以用于提取该生成模型传输的图像的初级特征，从而得到对应的特征图。
在该实施方式中，该判别模型可以包括判别网络。该判别网络可以使用60*60的Patch-Gan，包括4层Convolution-InstanceNorm-LeakyReLU层，且每层Convolution-InstanceNorm-LeakyReLU层可以包括64、128、256、512个大小为4*4的卷积核。该Convolution-InstanceNorm-LeakyReLU层的偏移步长可以为2。该Convolution-InstanceNorm-LeakyReLU层的激活函数可以为LeakyReLU函数，且该LeakyReLU函数的斜率可以为0.2。
在步骤S12中，将条件生成对抗网络CGAN转化为基于二值化条件的条件生成对抗网络CGAN。具体地，可以根据公式(1)确定基于二值化条件的条件生成对抗网络CGAN的二值化激活值，
Figure BDA0002284368940000081
其中，ab为二值化激活值，ar为实值激活值。
根据公式(2)确定基于二值化条件的条件生成对抗网络CGAN的二值化权重，
Figure BDA0002284368940000082
其中，wb为二值化权重，wr为实际权重。
在步骤S13中，采用训练集训练条件生成对抗网络CGAN并采用测试集测试条件生成对抗网络CGAN。
在该实施方式中，在训练该条件生成对抗网络CGAN的过程中，该条件生成对抗网络CGAN的判别模型在进行特征提取时，每层特征提取器的特征匹配损失可以是例如公式(3)所示，
Figure BDA0002284368940000091
其中，LFM(G,D)表示该特征匹配损失，G为生成模型，D为判别模型，E(s,x)为激活函数，Ni表示每层元素的数量，D(i)为判别模型的第i层，G(s)为生成函数，x为特征。
为了限制条件生成对抗网络CGAN具有二值化权重，该条件生成对抗网络CGAN的卷积操作也可以是例如采用公司(4)来表示，
Figure BDA0002284368940000092
其中，I表示稀疏矩阵，W表示卷积特征矩阵，β是变量，*表示传统的卷积运算，在该实施方式中，由于卷积过程的权值均为二进制形式，因此，该卷积计算仅涉及加法和减法的卷积运算，不涉及乘法。对于变量E和β，则可以采用公式(5)来表示，
Figure BDA0002284368940000093
其中，β*为变量β的最优近似表示，E*为变量E的最优近似表示；
进一步地，对该公式(5)进行求解，该公式(6)也可以采用公式(6)来表示，
Figure BDA0002284368940000094
其中，n为向量维数，
Figure BDA0002284368940000095
为卷积特征矩阵W的l1行；
在训练该基于二值化条件的条件生成对抗CGAN网络时，可以仅在前向传播和反向传播期间对权重进行二值化。为了更新参数，可以使用高精度(实值)权重。在每次迭代的过程中，在给定前一次迭代的实值权值的情况下，采用上述公式(6)计算对应的二值化权值，然后根据缩放后的二值化权值计算激活的正向传播和梯度的反向传播。其中，梯度公式可以为公式(7)，
Figure BDA0002284368940000101
其中，W表示卷积特征矩阵，β是变量函数，C是反向传播矩阵，n是向量维数，sign是激活函数，δ是一设定常量。
另外，考虑到二进制卷积神经网络本身的特性，即前几层的二值化会造成较大的精度损失，而后几层的二值化效果比较微弱。因此，在将该条件生成对抗网络CGAN转换为基于二值化条件的条件生成对抗网络CGAN时，可以在该条件生成对抗网络CGAN的第一层和最后一层保留权值精度。
在步骤S14中，采用训练好的条件生成对抗网络CGAN根据实际的道路视频检测可行驶区域。
另一方面，本发明还提供一种基于二值化网络检测可行驶区域的系统，该系统可以包括处理器，该处理器可以用于执行上述任一所述的方法。
另一方面，本发明还提供一种用于检测目标的方法，该方法可以包括采用如上述任一的方法确定可行驶区域；判断可行驶区域内是否存在目标；在判断可行驶区域内存在目标的情况下，采用图像识别算法获取该目标的识别码。
再一方面，本发明还提供一种用于检测目标的系统，该系统可以包括处理器，该处理器可以用于执行上述所述的方法。
再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得该机器执行上述任一的方法。
通过上述技术方案，本发明提供的基于二值化网络检测可行驶区域的方法、系统及存储介质通过将条件生成对抗网络CGAN应用到车道检测的领域中，实现了基于拍摄的现场的图片识别出可行驶区域的技术目的。同时由于基于二值化的条件生成对抗网络CGAN的算法复杂度低，也减少了运行的系统的占用内存，从而降低了整体系统的功耗。
另一方面，本发明提供的用于检测目标的方法及系统通过确定上述基于二值化网络检测可行驶区域的方法检测到的可行驶区域是否存在违规车辆，并在确定存在违规车辆的情况下，通过图像识别算法确定违规车辆的车牌号，提高了道路监测的效率。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (9)

1.一种基于二值化网络检测可行驶区域的方法，其特征在于，所述方法包括：
获取多种道路场景视频，对所述道路场景视频进行预处理以形成训练集和测试集；
创建条件生成对抗网络CGAN；
将所述条件生成对抗网络CGAN转化为基于二值化条件的所述条件生成对抗网络CGAN；
采用所述训练集训练基于二值化条件的所述条件生成对抗网络CGAN并采用所述测试集测试基于二值化条件的所述条件生成对抗网络CGAN；
采用训练好的所述条件生成对抗网络CGAN根据实际的道路视频检测所述可行驶区域；
将所述条件生成对抗网络CGAN转化为基于二值化条件的所述条件生成对抗网络CGAN具体包括：
根据公式(1)确定基于二值化条件的所述条件生成对抗网络CGAN的二值化激活值，
Figure QLYQS_1
其中，ab为所述二值化激活值，ar为实值激活值；
根据公式(2)确定基于二值化条件的所述条件生成对抗网络CGAN的二值化权重，
Figure QLYQS_2
其中，wb为所述二值化权重，wr为实际权重。
2.根据权利要求1所述的方法，其特征在于，对所述道路场景视频进行预处理以形成训练集和测试集具体包括：
将所述道路场景视频处理为单个帧的图像；
对所述图像进行标定、训练、校正和旋转变换中的至少一者以形成图像数据集；
将所述图像数据集划分为训练集和测试集。
3.根据权利要求2所述的方法，其特征在于，对所述图像进行标定、训练、校正和旋转变换中的至少一者以形成图像数据集具体包括：
采用AutoCAD选取与所述图像中的环境颜色不同的色彩对所述图像进行标定。
4.根据权利要求1所述的方法，其特征在于，所述条件生成对抗网络CGAN包括生成模型、判别模型和设置于所述生成模型和判别模型之间的特征提取层；
创建条件生成对抗网络CGAN具体包括在生成模型和判别模型的建模中均引入条件变量；
所述生成模型包括生成器网络，所述生成器网络包括：
全局生成器，包括全局前端卷积层、全局残差块和全局转置卷积后端；
局部生成器，包括局部前端卷积层、局部残差块以及局部转置卷积后端。
5.根据权利要求4所述的方法，其特征在于，所述全局前端卷积层包括1个大小为6*6的卷积核和5个大小为3*3的卷积核，所述全局前端卷积层的激活函数为Relu函数且偏移步长为1；
所述全局残差块包括7个大小为3*3的卷积核；
所述全局转置卷积后端包括6层InstanceNorm-ReLU层，且每层所述InstanceNorm-ReLU层包括512、128、64个大小为3*3的卷积核，所述全局转置卷积后端的偏移步长为1/2；
所述局部前端卷积层包括1个大小为6*6的卷积核和2个大小为3*3的卷积核；
所述局部残差块包括2个3*3的卷积核；
所述局部转置卷积后端包括1个3*3的卷积核，且所述局部转置卷积后端的激活函数为Relu函数，偏移步长为1；
所述特征提取层包括大小为3*3卷积核，所述特征提取层的偏移步长为1；
所述判别模型包括判别网络，所述判别网络包括4层Convolution-InstanceNorm-LeakyReLU层，且每层所述Convolution-InstanceNorm-LeakyReLU层包括64、128、256、512个大小为4*4的卷积核，所述Convolution-InstanceNorm-LeakyReLU层的偏移步长为2，所述Convolution-InstanceNorm-LeakyReLU层的激活函数为LeakyReLU函数，且所述LeakyReLU函数的斜率为0.2。
6.一种基于二值化网络检测可行驶区域的系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至5任一所述的方法。
7.一种用于检测目标的方法，其特征在于，所述方法包括：
采用如权利要求1至5任一所述的方法确定可行驶区域；
判断所述可行驶区域内是否存在目标；
在判断所述可行驶区域内存在目标的情况下，采用图像识别算法获取所述目标的识别码。
8.一种用于检测目标的系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求7所述的方法。
9.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至5、7任一所述的方法。
CN201911154242.5A 2019-11-22 2019-11-22 基于二值化网络检测可行驶区域的方法、系统及存储介质 Active CN110969104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911154242.5A CN110969104B (zh) 2019-11-22 2019-11-22 基于二值化网络检测可行驶区域的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911154242.5A CN110969104B (zh) 2019-11-22 2019-11-22 基于二值化网络检测可行驶区域的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110969104A CN110969104A (zh) 2020-04-07
CN110969104B true CN110969104B (zh) 2023-07-11

Family

ID=70031368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911154242.5A Active CN110969104B (zh) 2019-11-22 2019-11-22 基于二值化网络检测可行驶区域的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110969104B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395956B (zh) * 2020-10-27 2023-06-02 湖南大学 一种面向复杂环境的可通行区域检测方法及系统
CN115223119B (zh) * 2022-06-15 2024-06-11 广州汽车集团股份有限公司 一种可行驶区域检测方法与系统
CN115620137A (zh) * 2022-10-24 2023-01-17 贝壳找房(北京)科技有限公司 绿化区域的生成方法与生成系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁帅 ; 秦贵和 ; 晏婕 ; .应用残差生成对抗网络的路况视频帧预测模型.西安交通大学学报.2018,(10),全文. *

Also Published As

Publication number Publication date
CN110969104A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN111507460B (zh) 为了提供自动停车系统检测停车空间的方法和装置
CN113362329B (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN110969104B (zh) 基于二值化网络检测可行驶区域的方法、系统及存储介质
Mnih et al. Learning to detect roads in high-resolution aerial images
CN107944450B (zh) 一种车牌识别方法及装置
CN110728295B (zh) 半监督式的地貌分类模型训练和地貌图构建方法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN109740479A (zh) 一种车辆重识别方法、装置、设备及可读存储介质
Cai et al. Guided attention network for object detection and counting on drones
CN112215119A (zh) 一种基于超分辨率重建的小目标识别方法、装置及介质
Wang et al. Deep learning‐based vehicle detection with synthetic image data
CN114998220A (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN110245673A (zh) 车位检测方法及装置
Zhao et al. YOLO‐Highway: An Improved Highway Center Marking Detection Model for Unmanned Aerial Vehicle Autonomous Flight
Guan et al. RoadCapsFPN: Capsule feature pyramid network for road extraction from VHR optical remote sensing imagery
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
CN114612654A (zh) 一种基于循环深度神经网络的磁共振成像特征提取方法
CN112950553A (zh) 一种多尺度肺叶分割方法、系统、存储介质及电子设备
KR102418476B1 (ko) 2차원 이미지 데이터와 3차원 뎁스 데이터를 이용하여 차량 번호판의 판독과 위조와 오염 여부의 판단을 정밀하게 수행하는 주차관제시스템의 운영방법
CN115512428B (zh) 一种人脸活体判别方法、系统、装置和存储介质
CN113781409B (zh) 一种螺栓松动检测方法、装置及存储介质
Li et al. TDCC: top‐down semantic aggregation for colour constancy
Wangiyana CNN Performance Analysis for SAR Object Classification
CN118196544A (zh) 基于信息增强与特征融合的无人机小目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201224

Address after: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant after: STATE GRID ANHUI POWER SUPPLY COMPANY OVERHAUL BRANCH

Applicant after: Zhang Zhong

Address before: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant before: STATE GRID ANHUI POWER SUPPLY COMPANY OVERHAUL BRANCH

Applicant before: HEFEI ZHANDA INTELLIGENT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant after: Super high voltage branch of State Grid Anhui Electric Power Co.,Ltd.

Applicant after: Zhang Zhong

Address before: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061

Applicant before: STATE GRID ANHUI POWER SUPPLY COMPANY OVERHAUL BRANCH

Applicant before: Zhang Zhong

GR01 Patent grant
GR01 Patent grant