CN109426773A - 一种道路识别方法和装置 - Google Patents

一种道路识别方法和装置 Download PDF

Info

Publication number
CN109426773A
CN109426773A CN201710738728.8A CN201710738728A CN109426773A CN 109426773 A CN109426773 A CN 109426773A CN 201710738728 A CN201710738728 A CN 201710738728A CN 109426773 A CN109426773 A CN 109426773A
Authority
CN
China
Prior art keywords
symmetric form
convolutional neural
neural networks
road
full convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710738728.8A
Other languages
English (en)
Inventor
刘承文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201710738728.8A priority Critical patent/CN109426773A/zh
Publication of CN109426773A publication Critical patent/CN109426773A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种视频监控中的道路识别方法和装置，该方法创建对称型全卷积神经网络，使用存在对应标注数据的训练样本、测试样本和校验数据进行参数优化调整，并通过参数优化调整后的对称型全卷积神经网络对待识别的道路监控画面进行道路识别，通过应用本申请实施例所提出的技术方案，实现了对每个像素点端到端的道路检测，可以解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。

Description

一种道路识别方法和装置
技术领域
本申请涉及视频监控领域，特别涉及一种道路识别方法和装置。
背景技术
视频监控与处理是智能交通系统中的一个重要组成部分。在道路监控的实际应用中，如拥堵检测、道路抛洒物检测等，都需要先将道路准确地检测出来，才能以此为基础进行进一步处理。
传统方法基于背景建模技术，将道路作为背景来检测，缺点是容易受天气影响，而且背景更新错误容易把目标更新进去。近年来，基于机器学习的框架被逐渐引入到道路检测中，将图像中的像素块输入到分类器中进行“道路”和“非道路”分类。但是，这样的处理方案由于待检测场景的复杂多样性，和现有分类器中的特征表达能力有限，在减少了计算强度的同时，也存在部分场景下分割效果不佳的问题。
基于这样的问题，现有技术提出了基于深度卷积神经网络(Deep ConvolutionalNeural Network，DCNN)的场景自适应道路分割方法。该方法将图像分割成32x32的超像素块，输入到DCNN中进行训练，以获取道路的深度特征，最后利用学习的特征对新的样本进行分类，将道路从背景和目标中分割出来。
申请人在实现本申请的过程中发现，上述现有的处理方案至少存在如下的问题：
应用基于DCNN的场景自适应道路分割方法的重要前提是能够提取出可靠的超像素块，才能利用DCNN网络从道路、背景和目标中提取有效的特征向量。
对于实际场景的监控，由于环境的复杂性，往往会导致超像素分割不准确，从而影响最终的分类判断。
其次，因为超像素块间的边界问题，以及用超像素块的类别来代表其中的每个像素点类别，都较难保证最终道路分割的完整性，容易出现较大块的孔洞。
第三，容易受到噪声干扰，如图像抖动模糊、成像噪点等。
由此可见，传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，降低了道路识别的准确性，并对在此基础上进一步监控处理的结果产生了不利影响。
发明内容
本申请实施例提供一种道路识别方法和装置，以实现通过对称型全卷积神经网络进行视频监控画面中的道路识别，解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。
为了达到上述技术目的，本申请提供了一种道路识别方法，应用于视频监控设备，所述方法具体包括：
根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集；
创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接；
根据所述训练样本集确定所述对称型全卷积神经网络的参数信息；
将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
优选的，所述根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集，具体包括：
分别将所述图像数据集中所包括的各原始图片中的各像素点，进行类别标注，生成所述各原始图片所对应的标注图片；
将所述图像数据集中所包括的各原始图片所对应的标注图片，组成标注数据集，其中，所述图像数据集中的一个原始图片，和所述标注数据集中的与所述原始图片相对应的标注图片，组成所述原始图片的图片信息组；
根据所述图像数据集中所有原始图片的图片信息组，生成训练样本集。
优选的，在所述根据所述训练样本集确定所述对称型全卷积神经网络的参数信息的步骤之前，所述方法还包括：
将所述图像数据集进行预设处理，并将处理后的图像数据集和相应的标注数据集生成至少一个校验数据集；
所述根据所述训练样本集确定所述对称型全卷积神经网络的参数信息，具体包括：
根据所述训练样本集和所述校验数据集，确定所述对称型全卷积神经网络的参数信息。
优选的，所述将所述图像数据集进行预设处理，并将处理后的图像数据集和相应的标注数据集生成至少一个校验数据集具体包括：
对所述图像数据集中各原始图片进行镜像和/或旋转操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集；
和/或，
对所述图像数据集中各原始图片进行模糊和/或加入白噪声操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集。
优选的，所述对称型全卷积神经网络结构，具体包括：
采用串联方式将卷积层、池化层和上采样层组成对称型网络结构，其中，卷积层的数目为偶数层；
利用掩膜方法将所述对称型网络结构中处于镜像位置的池化层和上采样层进行连接，使各上采样层利用处于其镜像位置的池化层所生成的掩膜信息获取相应的采样结果。
优选的，所述根据所述训练样本集和所述校验数据集，确定所述对称型全卷积神经网络的参数信息，具体包括：
根据预训练模型参数，初始化所述对称型全卷积神经网络中所有节点的权重参数；
根据所述对称型全卷积神经网络的当前权重参数，随机选择所述训练样本集中的图片信息组，将所述图片信息组中的原始图片输入所述对称型神经网络，并根据输出结果和所述图片信息组中的标注图片确定所述对称型全卷积神经网络的损失函数值；
利用所述校验数据集对所述损失函数值进行校验，生成所述损失函数值的校验信息值；
根据所述损失函数值和所述损失函数值的校验信息值，确定所述对称型全卷积神经网络的反向传播阈值策略；
根据所述反向传播阈值策略，更新所述对称型全卷积神经网络中所有节点的权重参数，直至所述损失函数值收敛后，根据当前的所述对称型全卷积神经网络中所有节点的权重参数，确定所述对称型全卷积神经网络的参数信息。
优选的，所述将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息，具体包括：
将待识别的道路监控画面的原始图片信息输入所述对称型全卷积神经网络，生成相应的处理结果；
根据所述处理结果，确定所述原始图片信息中的各像素点所对应的标注数据信息；
根据所述标注数据信息的内容，确定所述原始图片信息中的各像素点的类型是否为道路；
将所述待识别的道路监控画面中所有类型为道路的像素点的集合，确定为所述待识别的道路监控画面中的道路识别结果。
另一方面，本申请实施例还提出了一种道路识别装置，具体包括：
生成模块，配置成根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集；
创建模块，配置成创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接；
参数确定模块，配置成根据所述生成模块所生成的训练样本集，确定所述对称型全卷积神经网络的参数信息；
识别模块，配置成将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
又一方面，本申请实施例还提出了一种道路识别装置，包括处理器以及存储有若干计算机指令的非易失性存储器，该些计算机指令被处理器执行时实现上述方法的步骤。
再一方面，本申请实施例还提出了一种计算机可读存储介质，其上存储有计算机指令，该些计算机指令被处理器执行时实现上述方法的步骤。
与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：
本申请实施例公开了一种道路识别方法和装置，该方法创建对称型全卷积神经网络，利用掩膜方法将对称型网络结构中处于镜像位置的池化层和上采样层进行连接，使得上采样层利用掩膜信息获得了更准确的采样结果，实现了对每个像素点端到端的道路检测，可以解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性；并且，使用校验数据对对称型全卷积神经网络的参数进行优化调整，并通过参数优化调整后的对称型全卷积神经网络对待识别的道路监控画面进行道路识别，使得道路检测的适用性更广、抗干扰能力更强。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提出的一种道路识别方法的流程示意图；
图2为本申请实施例所提出的一种具体应用场景下的道路识别方法的流程示意图；
图3为本申请实施例所提出的一种对称型全卷积神经网络的结构示意图；
图4为本申请实施例所提出的一种道路识别装置的结构示意图。
具体实施方式
正如本申请背景技术所陈述的，传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，降低了道路识别的准确性，并对在此基础上进一步监控处理的结果产生了不利影响。
本申请的发明人希望通过本申请所提供的方法，可以实现通过对称型全卷积神经网络进行视频监控画面中的道路识别，解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。
本发明实施例提出的一种道路识别方法，应用于视频监控设备，所述视频监控设备可以是，但不限于，行车记录仪、卡口流量监控设备、车位检测器等。
如图1所示，为本申请实施例所提出的一种道路识别方法的流程示意图，该方法具体包括：
步骤S101、根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集。
在具体的应用场景中，本步骤的处理过程包括：
步骤1、分别将所述图像数据集中所包括的各原始图片中的各像素点，进行对应的类别标注，生成所述各原始图片所对应的标注图片。
需要说明的是，所述类别可以是道路、背景或目标，也可以是其他类别，本发明不限于分类的方法和数目。
需要说明的是，图像数据集中包括多个原始图片。而此处所提及的原始图片，可以是一个监控画面的完整截图，也可以是根据预设的划分规则，对完整截图所划分的多个子图片，例如，将一整完整截图等分为2个子图片，或者进行2×2，3×3等均分，生成多个子图片。具体原始图片的构成方式可以根据实际需要进行调整，这样的变化并不会影响本申请的保护范围。
完整截图能够完整地体现监控画面中的环境特征，而多个子图片的划分则可以减少单个图片区域的数据处理量，也可以将一个完整截图的标注处理调整为并行的多个处理过程，提高标注处理的效率。
无论采用上述的哪种处理方式，最终的标注对象都是像素点，因此，最终将一个完整截图的所有像素点进行标注完毕后，可以生成一个完整截图所对应的标注图片，或者一个完整截图的多个子图片所分别对应的标注子图片集合，进行组合后，同样可以得到与完整截图相对应的完整标注图片。
需要进一步指出的是，具体的标注方式可以是针对像素点的数据标识(例如，对表征了不同内容的像素点标识不同的数字)，也可以是采用预设形式的标识(例如，追加图层，加载蒙版，填充预设的颜色等形式)，在能够保证标注信息在后续处理中被识别的前提下，具体标注方式的变化并不会影响本申请的保护范围。
步骤2、将所述图像数据集中所包括的各原始图片所对应的标注图片，组成标注数据集，其中，所述图像数据集中的一个原始图片，和所述标注数据集中的与所述原始图片相对应的标注图片，组成所述原始图片的图片信息组。
具体组成图片信息组的方式可以是建立匹配表，添加分组标识，匹配式的命名等方式，这样分组方式的变化并不会影响本申请的保护范围。
步骤3、将所述图像数据集中所有原始图片的图片信息组，生成训练样本集。
本发明的一个实施例中，将所述图像数据集中所有原始图片的图片信息组，按照预设比例随机划分为训练样本集和测试样本集。
训练样本是为了后续参数生成过程准备的数据样本，测试样本则是为了参数生成后进行模拟处理验证过程而准备的数据样本，通过这样的处理，可以使后续参数生成结果更加准确，为创建对称型全卷积神经网络提供更加精确的参数保证，在实际的应用中，训练样本可以多于测试样本，以此保证参数生成过程具有足够的参考样本，具体预设比例可以根据实际需要进行调整，这样的变化并不会影响本申请的保护范围。
步骤S102、创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接。
在具体的应用场景中，创建包括卷积层、池化层和上采样层的对称型全卷积神经网络结构，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接。
利用所述训练样本集，确定所述对称型全卷积神经网络结构中的相关参数，创建对称型全卷积神经网络。
在本发明的一个优选实施例中，利用所述测试样本集，对所述对称型全卷积神经网络结构中的相关参数进行测试，在达到预设标准的情况下，该对称型全卷积神经网络的当前参数值测试通过。
在具体的应用场景中，所述对称型全卷积神经网络结构，具体包括：
采用串联方式将卷积层、池化层和上采样层组成对称型网络结构，其中，卷积层的数目为偶数层；
利用掩膜方法将所述对称型网络结构中处于镜像位置的池化层和上采样层进行连接，使各上采样层利用处于其镜像位置的池化层所生成的掩膜信息获取相应的采样结果。
步骤S103、根据所述训练样本集确定所述对称型全卷积神经网络的参数信息。
在具体的应用场景中，本步骤的处理过程包括：
根据预训练模型参数，初始化所述对称型全卷积神经网络中所有节点的权重参数；
根据所述对称型全卷积神经网络的当前权重参数，随机选择所述训练样本集中的图片信息组，将所述图片信息组中的原始图片输入所述对称型神经网络，并根据输出结果和所述图片信息组中的标注图片确定所述对称型全卷积神经网络的损失函数值；
根据所述损失函数值确定所述对称型全卷积神经网络的反向传播阈值策略；
根据所述反向传播阈值策略，更新所述对称型全卷积神经网络中所有节点的权重参数，直至所述损失函数值收敛后，根据当前的所述对称型全卷积神经网络中所有节点的权重参数，确定所述对称型全卷积神经网络的参数信息。
步骤S104、将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
在具体的应用场景中，本步骤的处理过程包括：
将待识别的道路监控画面的原始图片信息输入所述对称型全卷积神经网络，生成相应的处理结果；
根据所述处理结果，确定所述原始图片信息中的各像素点所对应的标注数据信息；
根据所述标注数据信息的内容，确定所述原始图片信息中的各像素点的类型是否为道路；
将所述待识别的道路监控画面中所有类型为道路的像素点的集合，确定为所述待识别的道路监控画面中的道路识别结果。
在本发明的一个优选实施例中，在步骤S103之前，还包括步骤：
将所述图像数据集进行预设处理，并将处理后的图像数据集和相应的标注数据集生成至少一个校验数据集。
在具体的应用场景中，本步骤的处理过程可以是，对所述图片数据集中各原始图片进行镜像和/或旋转操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集；本步骤的处理过程还可以是对所述图片数据集中各原始图片进行模糊和/或加入白噪声操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集。
优选的，将处理后的图像数据集和相应的标注数据集生成两个校验数据集，具体包括：
对所述图片数据集中各原始图片进行镜像和/或旋转操作，生成第一校验图片，并将所述图像数据集中所有原始图片的第一校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成第一校验数据集；对所述图片数据集中各原始图片进行模糊和/或加入白噪声操作，生成第二校验图片，并将所述图像数据集中所有原始图片的第二校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成第二校验数据集。
需要说明的是，上述的镜像和/或旋转操作，以及模糊和/或加入白噪声操作都是本申请的发明人根据实际应用场景中出现频率最高的干扰情况所选择的预处理类型，在实际的应用中，如果有其他类型的干扰情况，也可以进一步增加其他的干扰操作处理，从而，生成第三校验数据集等，这样的处理可以进一步提高对图片收到多种干扰情况的区分精度，这样的变化并不会影响本申请的保护范围。
则步骤S103可以包括：根据所述训练样本集和所述校验数据集，确定所述对称型全卷积神经网络的参数信息，具体包括：
根据预训练模型参数，初始化所述对称型全卷积神经网络中所有节点的权重参数；
根据所述对称型全卷积神经网络的当前权重参数，随机选择所述训练样本集中的图片信息组，将所述图片信息组中的原始图片输入所述对称型神经网络，并根据输出结果和所述图片信息组中的标注图片确定所述对称型全卷积神经网络的损失函数值；
利用所述校验数据集对所述损失函数值进行校验，生成所述损失函数值的校验信息值；
根据所述损失函数值和所述损失函数值的校验信息值，确定所述对称型全卷积神经网络的反向传播阈值策略；
根据所述反向传播阈值策略，更新所述对称型全卷积神经网络中所有节点的权重参数，直至所述损失函数值收敛后，根据当前的所述对称型全卷积神经网络中所有节点的权重参数，确定所述对称型全卷积神经网络的参数信息。
与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：
本申请实施例公开了一种道路识别方法和装置，该方法创建对称型全卷积神经网络，利用掩膜方法将对称型网络结构中处于镜像位置的池化层和上采样层进行连接，使得上采样层利用掩膜信息获得了更准确的采样结果；并使用存在对应标注数据的训练样本、测试样本和校验数据进行参数优化调整，通过参数优化调整后的对称型全卷积神经网络对待识别的道路监控画面进行道路识别，通过应用本申请实施例所提出的技术方案，实现了对每个像素点端到端的道路检测，可以解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例为了解决现有技术的问题，提出了一种道路识别方法，该方法设计了一种对称型全卷积神经网络，能够直接对图像中的每个像素点进行深度特征学习，最后将道路与背景、目标等其他类别分割开来，获取道路的准确位置，是一种完全端到端的道路检测方法。相比较现有技术中的道路检测方法，对道路区域的定位更准确，场景适应性更佳，目标提取的完整性更好。
如图2所示，为本申请实施例所提出的一种具体应用场景下的视频监控中的道路识别方法的流程示意图，该方法具体包括：
步骤S201、选取不同场景道路图像生成数据集及校验数据集。
在具体的应用场景中，本步骤的处理过程包括：
步骤1、选取不同场景道路图像中的图片数据集D，对单个图片中的道路、背景、目标(行人、车辆等)位置进行像素级标注，道路、背景、目标的标签分别设置为0、1、2，最后带标签信息的标签图片采用带调色板的检索图片表示。需要说明的是，上述的标签设置数值只是本申请实施例中的一种优选示例，具体数值的变化并不会影响本申请的保护范围。
步骤2，将图像数据集中原图及其对应的标签信息随机分成两部分，一部分作为训练样本集，另一部分作为测试样本集，每个样本集中的样本都包含一张原始图像和相应的标签图片，在具体的应用场景中，训练样本和测试样本比例可以设置为4:1。但这只是本申请实施例中的一种优选示例，具体比例的变化并不会影响本申请的保护范围。
步骤3，生成校验数据集D1和D2，其中校验数据集D1由D通过镜像和旋转等操作获得，校验数据集D2由D通过模糊和加入白噪声等操作获得，D1、D2的标签图片和D相同。
其中，校验数据集D1镜像为旋转预设角度的左右对称镜像。校验数据集D2模糊采用高斯模糊方法，均值为0，标准差为σ的二维高斯函数如下：
白噪声采用高斯白噪声，为加性噪声，即在原图基础上进行加噪处理。高斯噪声是由Marsaglia和Bray方法获得的随机噪声
步骤S202、构建道路检测对称型全卷积神经网络。
在具体的应用场景中，本步骤的处理过程包括：
步骤1，采用串联方式将卷积层、池化层和上采样层组成对称型网络结构，其中，卷积层的数目为偶数层。
如图3所示，为本申请实施例所提出的一种对称型全卷积神经网络的结构示意图，该结构中包含8组卷积、3次池化和3次上采样，利用训练样本集，学习道路检测估计函数l(x,θ)，其中x为训练样本集中的输入图像和对应的标签，θ为网络学习参数。
步骤2，该对称型全卷积神经网络采用多个卷积核串联的方式，进行相应的卷积运算和池化运算。
其中，第一、二、七、八组卷积中每组进行两层卷积运算，第三、四、五、六组卷积中每组进行三层卷积运算，所有卷积核大小为3*3；三次池化均利用2*2大小卷积核进行下采样运算；三次上采样则利用2*2大小卷积核进行上采样运算，以确保最终得到的结果图像与输入图像尺寸一致。
需要进一步说明的是，上述的具体处理规则可以根据实际需要进行调整，例如，具体的卷积运算可以是一层，也可以是多层，在保证各组处理类型对称的情况下，这样的变化并不会影响本申请的保护范围。进一步的，卷积核的大小也可以根据实际需要进行调整，上述的卷积核大小数值只是一种优选示例。
步骤3，该对称型全卷积神经网络利用掩膜方法将第一次池化和第三次上采样连接，第二次池化和第二次上采样连接，第三次池化和第一次上采样连接。即在每一次池化时，生成一个同样大小的掩膜，保存池化关键点信息；在上采样时，利用对应的掩膜信息来获得更准确的采样结果。
在该对称型网络结构中，第一、二、三、四组卷积用于学习每个类别的特征信息，第五、六、七、八组卷积用于将特征信息恢复为每个像素点的类别，掩膜的作用是通过保存的关键点信息，来还原各关键像素点的类别，实现完全端到端的道路目标检测。
步骤S203、利用训练样本，离线学习对称型全卷积神经网络参数。
在具体的应用场景中，本步骤的处理过程包括：
步骤1，利用预训练模型参数初始化对称型全卷积神经网络模型中的所有节点的权重参数。
步骤2，计算前向损失，根据对称型网络模型的当前权重参数，随机抽取训练集D中道路检测图像的图片信息组，将图片信息组中的原始图片输入对称型全卷积网络，计算所述对称型网络模型所得到的损失函数值：
其中，x(i)为输入图像数据，y(i)为对应的输出分类标签，l(θ)即上述道路检测估计函数，表示每类标签对应图像部分与所述对称型全卷积网络输出结果间的损失函数值，N,S分别表示样本编号和类别编号。
在实践中发现，由于道路、背景、目标的标签数量不一，会造成边界分割不准确问题，加入权值αl，把上述公式进一步调整为以下公式：
L(θ)＝∑αl·l(θ),
从而，可以使边界问题得到较大改善。权值αl由大样本数据统计确定，分别对应前述的0、1、2三类标签。
步骤3，计算损失校验信息，利用校验数据集D1、D2来对前向计算结果进行校验，目标函数如下：
其中f、f1、f2分别为数据集D、D1、D2中图像经过对称型网络卷积计算后的图像特征信息，||||表示计算二范数。m为可变的噪声系数，用于平衡白噪声信息。
步骤4，计算反传梯度，根据所得到的损失函数值和校验信息值，将卷积神经网络的反向传播阈值策略调整如下：
其中，η,λ分别表示辅助数据集D1、D2对应的校验信息的权重。通过链式导数传导法则可计算对称型网络中所有节点权重参数的偏导数。
步骤5，重复上述步骤2-4并更新所有的权重参数，直到损失函数收敛，得到最终的对称型全卷积神经网络模型。
步骤S204、利用训练好的网络模型，得到输入图像的道路检测结果。
在具体的应用场景中，本步骤的处理过程包括：
步骤1，将待检测图像或者测试样本集中的原始图片缩放到与训练样本一致尺寸后，输入到训练好的对称型全卷积神经网络模型中，计算得到的标签为0的结果即为道路检测位置，需要说明的是，对于待检测图像，经过本步骤的处理后，得到的即为道路识别结果，而测试样本集的原始图片，经过本步骤处理后的结果则需要与测试样本集中与该原始图片相对应的标注图片进行比对，从而，检测训练好的对称型全卷积神经网络模型是否有效。
步骤2，由于是对每个像素点进行判断，所以可以仅对兴趣区域ObjLoc:(Xp,Yp,Width,Height)进行检测，以提高检测的性能。而兴趣区域以兴趣点为中心进行周边扩展，其中，Xp表示兴趣点在当前图片中的横坐标值，Yp表示兴趣点在当前图片中的纵坐标值，Width表示以该兴趣点为中心，横向扩展的长度范围，Height表示以该兴趣点为中心，纵向扩展的高度范围。
与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：
本申请实施例公开了一种道路识别方法，该方法创建对称型全卷积神经网络，使用存在对应标注数据的训练样本、测试样本和校验数据进行参数优化调整，并通过参数优化调整后的对称型全卷积神经网络对待识别的道路监控画面进行道路识别，通过应用本申请实施例所提出的技术方案，实现了对每个像素点端到端的道路检测，可以解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。
为更清楚地说明本申请前述实施例提供的方案，基于与上述方法同样的发明构思，本申请实施例还提出了一种道路识别装置，其结构示意图如图4所示，具体包括：
生成模块41，配置成根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集；
创建模块42，配置成创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接；
参数确定模块43，配置成根据所述生成模块所生成的训练样本集，确定所述对称型全卷积神经网络的参数信息；
识别模块44，配置成将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
优选的，所述生成模块41，具体用于：
分别将所述图像数据集中所包括的各原始图片中的各像素点，进行道路、背景或目标的对应标注，生成所述各原始图片所对应的标注图片；
将所述图像数据集中所包括的各原始图片所对应的标注图片，组成标注数据集，其中，所述图像数据集中的一个原始图片，和所述标注数据集中的与所述原始图片相对应的标注图片，组成所述原始图片的图片信息组；
根据所述图像数据集中所有原始图片的图片信息组，生成训练样本集。
优选的，所述参数确定模块43，具体用于：
根据预训练模型参数，初始化所述对称型全卷积神经网络中所有节点的权重参数；
根据所述对称型全卷积神经网络的当前权重参数，随机选择所述训练样本集中的图片信息组，将所述图片信息组中的原始图片输入所述对称型神经网络，并根据输出结果和所述图片信息组中的标注图片确定所述对称型全卷积神经网络的损失函数值；
根据所述损失函数值，确定所述对称型全卷积神经网络的反向传播阈值策略；
根据所述反向传播阈值策略，更新所述对称型全卷积神经网络中所有节点的权重参数，直至所述损失函数值收敛后，根据当前的所述对称型全卷积神经网络中所有节点的权重参数，确定所述对称型全卷积神经网络的参数信息。
优选的，所述识别模块44，具体用于：
将待识别的道路监控画面的原始图片信息输入所述对称型全卷积神经网络，生成相应的处理结果；
根据所述处理结果，确定所述原始图片信息中的各像素点所对应的标注数据信息；
根据所述标注数据信息的内容，确定所述原始图片信息中的各像素点的类型是否为道路；
将所述待识别的道路监控画面中所有类型为道路的像素点的集合，确定为所述待识别的道路监控画面中的道路识别结果。
与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：
本申请实施例公开了一种道路识别装置，该装置创建对称型全卷积神经网络，使用存在对应标注数据的训练样本、测试样本和校验数据进行参数优化调整，并通过参数优化调整后的对称型全卷积神经网络对待识别的道路监控画面进行道路识别，通过应用本申请实施例所提出的技术方案，实现了对每个像素点端到端的道路检测，可以解决传统的基于DCNN的场景自适应道路分割方法不能有效解决道路视频监控场景中的道路分割的问题，提高视频监控画面中道路识别的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络侧设备等)执行本发明实施例各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明实施例所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明实施例的几个具体实施场景，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。

Claims (10)

1.一种道路识别方法，应用于视频监控设备，其特征在于，所述方法具体包括：
根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集；
创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接；
根据所述训练样本集确定所述对称型全卷积神经网络的参数信息；
将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
2.如权利要求1所述的方法，其特征在于，所述根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集，具体包括：
分别将所述图像数据集中所包括的各原始图片中的各像素点，进行类别标注，生成所述各原始图片所对应的标注图片；
将所述图像数据集中所包括的各原始图片所对应的标注图片，组成标注数据集，其中，所述图像数据集中的一个原始图片，和所述标注数据集中的与所述原始图片相对应的标注图片，组成所述原始图片的图片信息组；
根据所述图像数据集中所有原始图片的图片信息组，生成训练样本集。
3.如权利要求1所述的方法，其特征在于，在所述根据所述训练样本集确定所述对称型全卷积神经网络的参数信息的步骤之前，所述方法还包括：
将所述图像数据集进行预设处理，并将处理后的图像数据集和相应的标注数据集生成至少一个校验数据集；
所述根据所述训练样本集确定所述对称型全卷积神经网络的参数信息，具体包括：
根据所述训练样本集和所述校验数据集，确定所述对称型全卷积神经网络的参数信息。
4.如权利要求3所述的方法，其特征在于，所述将所述图像数据集进行预设处理，并将处理后的图像数据集和相应的标注数据集生成至少一个校验数据集具体包括：
对所述图像数据集中各原始图片进行镜像和/或旋转操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集；
和/或，
对所述图像数据集中各原始图片进行模糊和/或加入白噪声操作，生成校验图片，并将所述图像数据集中所有原始图片的校验图片，和所述标注数据集中的与所有原始图片相对应的标注图片，组成校验数据集。
5.如权利要求1-4中任意一项所述的方法，其特征在于，所述对称型全卷积神经网络结构，具体包括：
采用串联方式将卷积层、池化层和上采样层组成对称型网络结构，其中，卷积层的数目为偶数层；
利用掩膜方法将所述对称型网络结构中处于镜像位置的池化层和上采样层进行连接，使各上采样层利用处于其镜像位置的池化层所生成的掩膜信息获取相应的采样结果。
6.如权利要求3所述的方法，其特征在于，所述根据所述训练样本集和所述校验数据集，确定所述对称型全卷积神经网络的参数信息，具体包括：
根据预训练模型参数，初始化所述对称型全卷积神经网络中所有节点的权重参数；
根据所述对称型全卷积神经网络的当前权重参数，随机选择所述训练样本集中的图片信息组，将所述图片信息组中的原始图片输入所述对称型神经网络，并根据输出结果和所述图片信息组中的标注图片确定所述对称型全卷积神经网络的损失函数值；
利用所述校验数据集对所述损失函数值进行校验，生成所述损失函数值的校验信息值；
根据所述损失函数值和所述损失函数值的校验信息值，确定所述对称型全卷积神经网络的反向传播阈值策略；
根据所述反向传播阈值策略，更新所述对称型全卷积神经网络中所有节点的权重参数，直至所述损失函数值收敛后，根据当前的所述对称型全卷积神经网络中所有节点的权重参数，确定所述对称型全卷积神经网络的参数信息。
7.如权利要求1所述的方法，其特征在于，所述将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息，具体包括：
将待识别的道路监控画面的原始图片信息输入所述对称型全卷积神经网络，生成相应的处理结果；
根据所述处理结果，确定所述原始图片信息中的各像素点所对应的标注数据信息；
根据所述标注数据信息的内容，确定所述原始图片信息中的各像素点的类型是否为道路；
将所述待识别的道路监控画面中所有类型为道路的像素点的集合，确定为所述待识别的道路监控画面中的道路识别结果。
8.一种道路识别装置，其特征在于，具体包括：
生成模块，配置成根据道路监控画面的图像数据集，生成相应的标注数据集，并根据所述图像数据集和相应的标注数据集生成训练样本集；
创建模块，配置成创建对称型全卷积神经网络，所述对称型全卷积神经网络中的池化层与所述池化层镜像对称的上采样层相连接；
参数确定模块，配置成根据所述生成模块所生成的训练样本集，确定所述对称型全卷积神经网络的参数信息；
识别模块，配置成将待识别的道路监控画面的信息输入所述对称型全卷积神经网络，识别所述待识别的道路监控画面中的道路信息。
9.一种道路识别装置，包括处理器以及存储有若干计算机指令的非易失性存储器，其特征在于，该些计算机指令被处理器执行时实现权利要求1至权利要求7中任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该些计算机指令被处理器执行时实现权利要求1至权利要求7中任意一项所述方法的步骤。
CN201710738728.8A 2017-08-24 2017-08-24 一种道路识别方法和装置 Pending CN109426773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710738728.8A CN109426773A (zh) 2017-08-24 2017-08-24 一种道路识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710738728.8A CN109426773A (zh) 2017-08-24 2017-08-24 一种道路识别方法和装置

Publications (1)

Publication Number Publication Date
CN109426773A true CN109426773A (zh) 2019-03-05

Family

ID=65501533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710738728.8A Pending CN109426773A (zh) 2017-08-24 2017-08-24 一种道路识别方法和装置

Country Status (1)

Country Link
CN (1) CN109426773A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287932A (zh) * 2019-07-02 2019-09-27 中国科学院遥感与数字地球研究所 基于深度学习图像语义分割的道路阻断信息提取
CN110956146A (zh) * 2019-12-04 2020-04-03 新奇点企业管理集团有限公司 一种道路背景建模方法、装置、电子设备和存储介质
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111209894A (zh) * 2020-02-10 2020-05-29 上海翼枭航空科技有限公司 道路航拍图像的路边违章建筑识别方法
CN112115817A (zh) * 2020-09-01 2020-12-22 国交空间信息技术（北京）有限公司 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN113240917A (zh) * 2021-05-08 2021-08-10 林兴叶 一种将深度神经网络应用于智慧交通的交通管理系统
CN113408457A (zh) * 2021-06-29 2021-09-17 西南交通大学 一种联合高分影像和视频图像的道路信息智能提取方法
CN117334023A (zh) * 2023-12-01 2024-01-02 四川省医学科学院·四川省人民医院 一种用眼行为监测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
CN106920227A (zh) * 2016-12-27 2017-07-04 北京工业大学 基于深度学习与传统方法相结合的视网膜血管分割方法
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUANGLIANG CHENG 等: "Automatic Road Detection and Centerline Extraction via Cascaded End-to-End Convolutional Neural Network", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
HYEONWOO NOH 等: "Learning Deconvolution Network for Semantic Segmentation", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION（ICCV）》 *
LIANG CHEN 等: "Fully automatic acute ischemic lesion segmentation in DWI using convolutional neural networks", 《NEUROIMAGE:CLINICAL》 *
VIJAY BADRINARAYANAN 等: "SegNet:A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
曹卫娜: "基于深度学习的图像检索研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287932A (zh) * 2019-07-02 2019-09-27 中国科学院遥感与数字地球研究所 基于深度学习图像语义分割的道路阻断信息提取
CN110287932B (zh) * 2019-07-02 2021-04-13 中国科学院空天信息创新研究院 基于深度学习图像语义分割的道路阻断信息提取方法
CN110956146A (zh) * 2019-12-04 2020-04-03 新奇点企业管理集团有限公司 一种道路背景建模方法、装置、电子设备和存储介质
CN110956146B (zh) * 2019-12-04 2024-04-12 新奇点企业管理集团有限公司 一种道路背景建模方法、装置、电子设备和存储介质
CN111191654A (zh) * 2019-12-30 2020-05-22 重庆紫光华山智安科技有限公司 道路数据生成方法、装置、电子设备及存储介质
CN111209894A (zh) * 2020-02-10 2020-05-29 上海翼枭航空科技有限公司 道路航拍图像的路边违章建筑识别方法
CN112115817A (zh) * 2020-09-01 2020-12-22 国交空间信息技术（北京）有限公司 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN112115817B (zh) * 2020-09-01 2024-06-07 国交空间信息技术（北京）有限公司 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN113240917A (zh) * 2021-05-08 2021-08-10 林兴叶 一种将深度神经网络应用于智慧交通的交通管理系统
CN113240917B (zh) * 2021-05-08 2022-11-08 广州隧华智慧交通科技有限公司 一种将深度神经网络应用于智慧交通的交通管理系统
CN113408457A (zh) * 2021-06-29 2021-09-17 西南交通大学 一种联合高分影像和视频图像的道路信息智能提取方法
CN117334023A (zh) * 2023-12-01 2024-01-02 四川省医学科学院·四川省人民医院 一种用眼行为监测方法及系统

Similar Documents

Publication Publication Date Title
CN109426773A (zh) 一种道路识别方法和装置
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN109816012B (zh) 一种融合上下文信息的多尺度目标检测方法
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
KR102362744B1 (ko) 딥 뉴럴 네트워크(deep neural network) 기반의 다중 패치 조합(multiple patch combination)을 이용하여 얼굴을 인식하고, 극도의 상황에서 결함 허용 능력 및 흔들림에 강인한 성질을 향상시키는 방법
CN104537647B (zh) 一种目标检测方法及装置
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108596101A (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN109271990A (zh) 一种针对rgb-d图像的语义分割方法及装置
CN108960015A (zh) 一种基于深度学习的车系自动识别方法及装置
CN109118504B (zh) 一种基于神经网络的图像边缘检测方法、装置及其设备
CN106096655B (zh) 一种基于卷积神经网络的光学遥感图像飞机检测方法
CN107092883A (zh) 物体识别追踪方法
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN111626184B (zh) 一种人群密度估计方法及系统
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN111310518B (zh) 图片特征提取方法、目标重识别方法、装置及电子设备
CN109472193A (zh) 人脸检测方法及装置
CN110245711A (zh) 基于角度旋转生成网络的sar目标识别方法
CN107967474A (zh) 一种基于卷积神经网络的海面目标显著性检测方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
KR102313604B1 (ko) 멀티 피딩을 적용한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190305

RJ01 Rejection of invention patent application after publication