CN110334682B - 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法 - Google Patents

基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法 Download PDF

Info

Publication number
CN110334682B
CN110334682B CN201910629380.8A CN201910629380A CN110334682B CN 110334682 B CN110334682 B CN 110334682B CN 201910629380 A CN201910629380 A CN 201910629380A CN 110334682 B CN110334682 B CN 110334682B
Authority
CN
China
Prior art keywords
hash
iterative
iterative search
hash code
driving system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910629380.8A
Other languages
English (en)
Other versions
CN110334682A (zh
Inventor
魏斯玮
袁野
傅稼润
王春枝
叶志伟
严灵毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Cccc Traffic Engineering Co ltd
Hubei University of Technology
Original Assignee
Wuhan Cccc Traffic Engineering Co ltd
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cccc Traffic Engineering Co ltd, Hubei University of Technology filed Critical Wuhan Cccc Traffic Engineering Co ltd
Priority to CN201910629380.8A priority Critical patent/CN110334682B/zh
Publication of CN110334682A publication Critical patent/CN110334682A/zh
Application granted granted Critical
Publication of CN110334682B publication Critical patent/CN110334682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于自动驾驶技术领域，公开了一种基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，获取目标图像，对获取的图像提取特征，利用深度学习目标函数创建哈希码；将数据集进行n次迭代以得到最终的哈希码标签；将所生成的哈希码标签带入ILS迭代局部搜索来强化精度，进而得到最终的检测结果。本发明采用深度学习更注重行人细节的检测，准确率更高，提高了可行性；采取预局部迭代搜索的方法提高了容错率，更好的完成了鲁棒性及容错率与可行性两方面的需求。

Description

基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法
技术领域
本发明属于自动驾驶技术领域，尤其涉及一种基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法。
背景技术
目前，业内常用的现有技术是这样的：
在现今自动驾驶技术领域，为了达到使车辆可以自主判断实时的路况信息，需要提前使自动驾驶系统对于路况信息集进行自主学习，以减少其在陌生路段出现危险的风险。“域自适应”则是今年自动驾驶算法的热点技术。
在：“域自适应”的技术领域存在以下两个主要的任务领域：
1)域适应的可能性。简单来说，就是满足哪些条件才有可能实现域自适应学习。这对模型的学习能力、源域和目标域的相关性(比如硅谷和重庆的路面差异)、算法的误差界分析(源域和目标域必须同时满足最小近似误差)、学习任务的先验知识等，这四个问题的妥善解决，才能有效帮助机器进行域自适应学习。
2)鲁棒性。在域自适应学习中，训练样本和测试样本之间的分布不一致，因此导致源域上训练的模型往往不适用于目标域的学习。而域自适应学习的鲁棒性则能够度量算法对训练样本改变的敏感程度，从而克服目标域泛化误差界的“扰动”。
不同的算法采取不同的方式以力求完成以上两个任务，但是经过多次试验，仍然存在以下问题：
一是多种源域数据本身之间具有偏差，比如伯克利的数据集BDD100K覆盖了不同的时间、光照、天气和地理位置，甚至包含了GPS和IMU以及对应的时间戳信息；
二是多种源域数据间类别存在偏差。比如滴滴D2-City数据集中，将注释了包围框和跟踪ID的道路对象分为12个不同的类别，而伯克利的数据集BDD100K中的GT框标签则只有10个类别。
可以总结得出结论，由于数据源自身的复杂性以及源与源差异巨大，导致现今自动驾驶的“域自适应”技术很难普遍的达成算法可能性与鲁棒性两种需求。
现有自适应域技术的具体方法包括：
(1)基于中间检测的方法：
这种方法需要通过计算机视觉中的检测方法检测与驾驶相关的各种目标，包括标志线，交通标志，信号灯，其他车辆，行人等等。将这些目标检测出来之后，通过一种方法将其合并到最终的决策，对于“域自适应”得出统一的结果。
这种方法的缺点在于，为了进行自动驾驶，算法必须将所有的信息考虑在内。而由于现有测试集的复杂多样，图片或视频集大部分信息都是无用信息，即对无人车的驾驶没有帮助，考虑全部的信息显然会增加算法的复杂程度。并且由于需得出统一决策，很难使的达成的结果适用于每一种差别巨大的数据集。
(2)直接映射方法：
这种方法的输入时当前无人车视场中的图像，输出是当前的转向角度，中间使用一个ConvNet进行学习。这种方法相对操作简单。
这种方法的缺陷是其对无人车驾驶场景的抽象能力极为有限，在面对复杂的驾驶情况时难以做出决策，而现今测试数据集又有着纷繁复杂的特点。
不同的驾驶人在面对相同情况时可能做出不同的决策。因此，训练数据中很可能会存在冲突的现象发生，使得这一学习过程称为了一个病态问题。例如：当前方出现车辆时，有的人会选择超车，有的人会选择跟车。
将图像直接映射为转向角度的抽象程度太低，这种描述无法提供对当前环境的完整描述。例如：在这种方法中，超车这一完整动作将被视为先左转，然后直行，一段时间后再右转。仅此而已，缺乏更强的表达能力。很同时达成以上两种要求。
综上所述，现有技术存在的问题是：
(1)由于数据源自身的复杂性以及源与源差异巨大，导致现今自动驾驶的“域自适应”技术很难普遍的达成算法可能性与鲁棒性两种需求。
(2)现有自适应域技术中间检测方法无法有效甄别有效信息与无效信息，需要综合考虑所有信息，增加了算法的复杂程度，同时无法适用于每一种差别巨大的数据集。
(3)现有自适应域技术直接映射方法对无人车驾驶场景的抽象能力极为有限，在面对复杂的驾驶情况时难以做出决策，缺乏表达能力，且无法适应现有纷繁复杂的数据集。
解决上述技术问题的难度：
(1)在现今所应用到实际的图像检索技术中，由于对图像检索的速率要求很高，并且为了应用的效果也要求反映的结果在准确率方面有很好的表现，所以现今的图像检索算法更多的关注检索的效率与精度，使得这些“传统”的检索算法很难有精力面对更多的问题。这就使得现今的算法很难完成上述问题的解决。
(2)现今综合性能表现较好的算法同样很难适用于自动驾驶领域，因为“传统”图像检索更多的面对的目标是单纯，单一的图片，是相对理想化的检测目标。而自动驾驶系统需要面对现实中复杂多样的检测目标，需要对现实中复杂的驾驶情况作出决策。
解决上述技术问题的意义：
(1)首先，可以解决现今检索算法无法满足自动驾驶技术对于复杂情况分析的需要。
(2)在解决自动驾驶技术的问题后，可以进一步推广至所有相关领域的应用，使得图像检索领域在不损失速率与精确度的前提下，提升图像检索算法所应用的范围。
发明内容
针对现有技术存在的问题，本发明提供了一种基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法。
本发明是这样实现的，一种基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法具体包括：
步骤一，获取目标图像，对获取的图像提取特征，利用X＝[x1，x2，…xn]∈Rn×p表示图像特征，其中n是训练图像的数量，p是特征的维度。
步骤二，利用深度学习目标函数创建哈希码。
步骤三，将数据集进行n次迭代以得到最终的哈希码标签。
步骤四，将所生成的哈希码标签带入ILS迭代局部搜索来强化精度，进而得到最终的检测结果。
进一步，步骤二中，所述利用深度学习目标函数创建哈希码具体包括：
(1)在图片经过深层次的神经网络捕捉特征后，采用相应的数学公式对获取的特征进行数据格式上的规范化处理。
(2)设对应图像特征X的哈希码为H＝[h1，h2，…hn]T∈{1,-1}n×c，(c是哈希码的长度，n为图片的数量。建立一个n×n相似矩阵S，矩阵第i行第j列的元素即为图像特征xi和xj之间的相关性，定义为：
Figure BDA0002128234880000041
其中，Nk(x)表示特征向量x的k近邻。
由两个二进制码hi和hj之间不同的比特数给出两个二进制码hi和hj之间对应特征xi和xj的汉明距离。
(3)利用加权平均最小化相似数据之间的汉明距离，从而最小化数据的重构误差及语义损失，得到最终目标哈希函数为：
Figure BDA0002128234880000051
s.t.HHT＝I。
其中，N为输入特征向量的临近集合，S为创建的临近相似矩阵，C为偏置参数。I为单位矩阵。选取(N-S+φC)的最小非零特征值作为H的数值。
(4)利用上述哈希函数得到邻域结构保存的哈希码。
进一步，步骤(1)中，所述数学公式具体包括：
数学公式具体针对调整所捕捉的特征的格式，视特征而定，并不存在定式。
进一步，步骤四中，所述将所生成的哈希码标签带入ILS迭代局部搜索具体包括：
首先，导入在哈希标签生成阶段获得的哈希码标签，用Backprop算法进行建模，构建目标函数，则生成的训练函数可表示为：
Figure BDA0002128234880000052
F(x)表示输出为一个mxd矩阵，m是批量的样本数量，d是最后一个全连接层的输出数量，x是输出向量，y是对应的标签。
其次，将生成的函数结果设为H，利用迭代搜索对函数结果进行强化，即最小化目标函数值。
进一步，所述利用迭代搜索对函数结果进行强化具体包括：
1)利用扰动算子跳出局部最优陷阱：采用临界元件导向微扰(CEGP)来解决局部最优陷阱问题，即通过改变临界元件的值来跳出局部最优陷阱。
具体包括：
a.评分：给每个元素打分。
b.选择：选择一定数量的高分元素。
c.扰动：用所选的临界元素随机扰动解。即依次扰动每个哈希码的前m个元素，直到满足停止条件。
2)引入增量更新，降低成本：首先计算并构建矩阵Sij，其中i行j列的值为hi和hj的相似度。当hi的一个元素被更改时，只需更新相应哈希码hi与其他hj之间的相似度值，而不需要计算其他hj之间的相似度。从而避免重复计算整个Sij。
3)停止条件设置：应用K-fold交叉验证生成stop条件，停止条件将指示什么时候进一步的局部搜索没有得到更好的泛化，一旦交叉验证的误差估计低于预先设定的阈值，盲降就会停止。
进一步，所述迭代搜索优化哈希算法具体包括：
输入：H-局部最优解(机器学习目标函数所创建的标签)。
输出：H-扰动解(强化后的数据)。
1)H←初始解。
2)评分：将前面的c元素赋1分，其他元素赋0分，重复。
3：选择：有序地从m个要扰动的元素中选择1个。
4)扰动：设置元素为其相对的数字，得到一个扰动解H*。
5)H*←局部搜索(H*)。
6)H←停止条件(H*，H*)，直到满足停止条件。得出利用迭代局部搜索(ILS)加工后的高精度数据结果。
本发明的另一目的在于提供一种实施所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的基于迭代搜索优化哈希算法的自动驾驶系统。
本发明的另一目的在于提供一种实施所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的信息处理终端。
本发明的另一目的在于提供一种实施所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的自主驾驶车辆。
综上所述，本发明的优点及积极效果为：
(1)使用迭代搜索优化哈希算法进自动驾驶自适应域技术首次提出。
(2利用迭代搜索优化哈希算法提高了自适应域的可行性以及容错率。
本发明采用深度学习更注重行人细节的检测，准确率更高，提高了可行性；采取预局部迭代搜索的方法提高了容错率。如图3所示。
本发明旨在利用迭代搜索优化哈希算精确度高、对于环境偏差或图片损伤容错率高的特点，来达成预适应技术在现今困难下的任务目标。
本发明选用迭代搜索优化哈希算法，相对于其他算法来说，其作为检索标签所应用的哈希码更为精准，针对细节的识别更为准确，并且附加了区域迭代搜索环节来加强精度，故检测精度的容错率方面也有相应提高；利用精度加工来克服不同数据集差异巨大所带来的偏差，并且利用深度学习精确度高的特点来克服数据集中场景偏差巨大的问题，由此更好的完成了鲁棒性(容错率)与可行性两方面的需求。
本发明将加权平均汉明距离最小化，表示语义损失，使结果更加精确；采用临界元件导向微扰(CEGP)来解决局部最优陷阱问题；引入增量更新，降低了成本；设置了停止条件使其在适当的时候停止局部搜索优化得出最后结果，
本发明采用了相对较为简单的网络结构，具有结构简单、易于实现等特点。
本发明通过盲降利用扰动算子跳出刚访问的局部最优陷阱，将搜索过程引向一个新的有希望的区域，最终达成有最为准确的结果；增量更新避免了对整个Sij进行一次又一次的计算，在很大程度上提高了局部搜索算法的效率。
附图说明
图1是本发明实施例提供的基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法流程图。
图2是本发明实施例提供的基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法原理图。
图3是本发明实施例提供的迭代搜索优化哈希概念图。
图4是本发明实施例提供的迭代搜索优化哈希算法与对比算法在GIST 1M上的最近邻搜索效果。
图5是本发明实施例提供的局部搜索优化哈希算法与对比算法在不同码长时的F1-measure图。
图6是本发明实施例提供的迭代搜索优化哈希算法与对比算法在四个数据库上的P-R曲线对比图。
图中：(a)COREL 1000；(b)CEA CLIC；(c)Caltech 256；(d)COLLECTION 5000；(e)各种方法的线型标识。
图7是本发明实施例提供的迭代搜索优化哈希算法的目标函数值变化曲线图。
图8本发明实施例提供的局部搜索优化哈希算法与原始查询方法在不同规模数据集上的平均查询时间图。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，由于数据源自身的复杂性以及源与源差异巨大，导致现今自动驾驶的“域自适应”技术很难普遍的达成算法可能性与鲁棒性两种需求。现有自适应域技术中间检测方法无法有效甄别有效信息与无效信息，需要综合考虑所有信息，增加了算法的复杂程度，同时无法适用于每一种差别巨大的数据集；现有自适应域技术直接映射方法对无人车驾驶场景的抽象能力极为有限，在面对复杂的驾驶情况时难以做出决策，缺乏表达能力，且无法适应现有纷繁复杂的数据集。
为解决上述问题，下面结合附图对本发明的应用原理做详细描述。
如图1-图2所示，本发明实施例提供的基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法具体包括：
S101，获取目标图像，对获取的图像提取特征，利用X＝[x1，x2，…xn]∈Rn×p表示图像特征，其中n是训练图像的数量，p是特征的维度。
S102，利用深度学习目标函数创建哈希码。
S103，将数据集进行n次迭代以得到最终的哈希码标签。
S104，将所生成的哈希码标签带入ILS迭代局部搜索来强化精度，进而得到最终的检测结果。
步骤S102中，本发明实施例提供的利用深度学习目标函数创建哈希码具体包括：
(1)在图片经过深层次的神经网络捕捉特征后，采用相应的数学公式对获取的特征进行数据格式上的规范化处理。
(2)设对应图像特征X的哈希码为H＝[h1，h2，…hn]T∈{1,-1}n×c，(c是哈希码的长度，n为图片的数量。建立一个n×n相似矩阵S，矩阵第i行第j列的元素即为图像特征xi和xj之间的相关性，定义为：
Figure BDA0002128234880000091
其中，Nk(x)表示特征向量x的k近邻。
由两个二进制码hi和hj之间不同的比特数给出两个二进制码hi和hj之间对应特征xi和xj的汉明距离。
(3)利用加权平均最小化相似数据之间的汉明距离，从而最小化数据的重构误差及语义损失，得到最终目标哈希函数为：
Figure BDA0002128234880000092
s.t.HHT＝I。
其中，N为输入特征向量的临近集合，S为创建的临近相似矩阵，C为偏置参数。I为单位矩阵。选取(N-S+φC)的最小非零特征值作为H的数值。
(4)利用上述哈希函数得到邻域结构保存的哈希码。
步骤(1)中，本发明实施例提供的数学公式具体包括：
数学公式具体针对调整所捕捉的特征的格式，视特征而定，并不存在定式。
步骤S104中，本发明实施例提供的将所生成的哈希码标签带入ILS迭代局部搜索具体包括：
首先，导入在哈希标签生成阶段获得的哈希码标签，用Backprop算法进行建模，构建目标函数，则生成的训练函数可表示为：
Figure BDA0002128234880000101
F表示输出为一个mxd矩阵，m是批量的样本数量，d是最后一个全连接层的输出数量，x是输出向量，y是对应的标签。
其次，将生成的函数结果设为H，利用迭代搜索对函数结果进行强化，即最小化目标函数值。
在本发明实施例中，提供的利用迭代搜索对函数结果进行强化具体包括：
1)利用扰动算子跳出局部最优陷阱：
采用临界元件导向微扰(CEGP)来解决局部最优陷阱问题，即通过改变临界元件的值来跳出局部最优陷阱。
具体包括：
a.评分：给每个元素打分。
b.选择：选择一定数量的高分元素。
c.扰动：用所选的临界元素随机扰动解。即依次扰动每个哈希码的前m个元素，直到满足停止条件。
2)引入增量更新，降低成本：首先计算并构建矩阵Sij，其中i行j列的值为hi和hj的相似度。当hi的一个元素被更改时，只需更新相应哈希码hi与其他hj之间的相似度值，而不需要计算其他hj之间的相似度。从而避免重复计算整个Sij。
3)停止条件设置：应用K-fold交叉验证生成stop条件，停止条件将指示什么时候进一步的局部搜索没有得到更好的泛化，一旦交叉验证的误差估计低于预先设定的阈值，盲降就会停止。
在本发明实施例中，提供的迭代搜索优化哈希算法具体包括：
输入：H-局部最优解(机器学习目标函数所创建的标签)。
输出：H-扰动解(强化后的数据)。
1)H←初始解。
2)评分：将前面的c元素赋1分，其他元素赋0分。
重复。
3)选择：有序地从m个要扰动的元素中选择1个。
4)扰动：设置元素为其相对的数字，得到一个扰动解H*。
5)H*←局部搜索(H*)。
6)H←停止条件(H*，H*)。
直到满足停止条件。
得出利用迭代局部搜索(ILS)加工后的高精度数据结果。
下面结合具体实施例对本发明的应用原理做进一步描述。
实施例1：
1)迭代搜索优化哈希算法(Iterated local search optimized hashing)，是一种基于深度学习的散列算法。
本发明采用机器学习构建目标函数，将其最小化，得到邻域结构保存的哈希码。采用迭代局部搜索(ILS)，进一步最小化目标函数值，得到精确的哈希码生成码。
首先本发明利用机器学习构建目标函数，最后生成的函数可表示为：表示输出为一个mxd矩阵,m是批量的样本数量，d是最后一个全连接层的输出数量，x是输出向量，y是对应的标签。
则生成的训练函数可表示为：
Figure BDA0002128234880000121
在函数结果生成后，将结果设为H，利用迭代搜索对其进行强化。强化的重点是在有限的搜索区域内尽可能优化目标函数，而多样化应该能够驱动搜索去探索搜索空间中新的有前景的区域。盲降利用扰动算子跳出刚访问的局部最优陷阱，将搜索过程引向一个新的有希望的区域。最终达成有最为准确的结果。利用本阶段，利用精度加工来克服不同数据集差异巨大所带来的偏差，并且利用第一阶段深度学习精确度高的特点来克服数据集中场景偏差巨大的问题。最终达成“可行性”与“鲁棒性”二者兼得的结果。
2)本发明将整个框架分为两大部分，首先在第一部分利用上述的第一种深度学习算法来创建哈希码。
在第一阶段，可分为以下两个步骤：
步骤一：在图片经过深层次的神经网络捕捉特征后，采用数学公式(数学公式具体针对调整所捕捉的特征的格式，视特征而定，并不存在定式)，对获取的特征进行数据格式上的规范化处理，使特征的数据格式能够完全符合接下来的哈希码创建公式，否则输入为统一规范化的数据，会使该数据无法被使用。接下来建立一个n×n相似矩阵S，两个二进制码hi和hj之间的汉明距离(对应于特征xi和xj)是由它们之间不同的比特数给出的。寻求将加权平均汉明距离最小化，表示语义损失，使结果更加精确。在此之后，得到的是精确详细又符合计算公式的哈希码。
步骤二：采用迭代局部搜索加强精度。在此环节采用临界元件导向微扰(CEGP)来解决局部最优陷阱问题.引入了增量更新,来降低成本。并且设置了停止条件使其在适当的时候停止局部搜索优化得出最后结果。
所采用的哈希函数：
训练特征为：X＝[x1，x2，…xn]∈Rn×p训练特征为前面环节所输入的视觉特征，(R为参数矩阵，n为训练图像的个数，p为特征的维数)，设哈希码为H＝[h1，h2，…hn]T∈{1,-1}n×c(c是哈希码的长度，n为图片的数量)。
创建相似矩阵矩阵S。其中Nk(x)表示特征向量x的近邻集合。
以上公式为判断特征是否所输入参数是否属于临近特征集合，创建临近相似矩阵进行之后的优化可保证哈希码的识别性。
最终哈希函数可表示为：
Figure BDA0002128234880000131
S.t.HHT＝I
以上哈希函数为最终哈希码H的计算公式，其含义选取(N-S+φC)的最小非零特征值作为H的数值。其中N为输入特征向量的临近集合，S为创建的临近相似矩阵，C为偏置参数。I为单位矩阵。
实施例2
本发明实现了一种端到端的深度学习算法来学习哈希函数。
首先，导入在哈希标签生成阶段获得的哈希码标签。在此之后，用Backprop(backward propagation oferrors，误差的反向传播，简称BP)算法实现它的建模，由于采用了相对较为简单的网络结构，该算法具有结构简单、易于实现等特点。对于本阶段学习过程的函数：
Figure BDA0002128234880000132
输出为一个mxd矩阵,m是批量的样本数量，d是最后一个全连接层的输出数量，x是输出向量，y是对应的标签。
接下来是极为关键的迭代局部搜索(ILS)环节，在本环节强化的重点是在有限的搜索区域内尽可能优化目标，而尽可能多样化的驱动搜索去探索搜索空间中新的有前景的区域。盲降利用扰动算子跳出刚访问的局部最优陷阱，将搜索过程引向一个新的区域。
首先是利用扰动算子跳出局部最优陷阱的问题，在本阶段采用临界元件导向微扰(CEGP)来解决局部最优陷阱问题，即通过改变临界元件的值来跳出局部最优陷阱。
其过程包括三个部分：
1)评分：给每个元素打分。
2)选择：选择一定数量的高分元素。
3)扰动：用所选的临界元素随机扰动解。在本发明中，依次扰动每个哈希码的前m个元素，直到满足停止条件。
接下来是成本降低环节，为了降低计算成本，引入了增量更新。首先计算Sij，构造一个矩阵，其中i行j列的值为hi和hj的相似度。当hi的一个元素被更改时，只需要更新相应哈希码hi与其他hj之间的相似度值，而不需要计算这些hj之间的相似度。增量更新避免了对整个Sij进行一次又一次的计算，在很大程度上提高了局部搜索算法的效率。
最后是停止条件设置环节，可能会过于接近数据，导致夸大数据的微小波动，学习不相关的细节，导致泛化或预测性能差。因此，设置一个停止条件，以便在适当的位置停止本地搜索。在这里，本发明应用K-fold交叉验证来生成stop条件，它可以指示什么时候进一步的局部搜索没有得到更好的泛化。一旦交叉验证的误差估计低于预先设定的阈值，盲降就会停止。
以上所述内容的步骤：
输入：H-局部最优解(机器学习目标函数所创建的标签)。
输出：H-扰动解(强化后的数据)。
1)H←初始解。
2)评分：由于基于机器学习的解决方案本质上是有序的，所以前面的元素更重要，应该得到更高的分数。为了简化这个过程，给前面的c元素赋1分，其他元素赋0分。
重复。
3)选择：有序地从m个要扰动的元素中选择1个。
4)扰动：设置元素为其相对的数字，得到一个扰动解H*。
5)H*←局部搜索(H*)。
6)H←停止条件(H*，H*)。
直到满足停止条件。
由此得出利用迭代局部搜索(ILS)加工后的高精度数据结果。
以下结合实验对本发明作进一步描述。
本发明的图像集包括51,736张图像，其中1,000张图像来自COREL 1000图像集，15,128张图像来自CEA CLIC图像集，另外30,608张图像来自Caltech 256图像集，另外5,000张图片是从网上下载的，称为COLLECIION 5000。前三个图像集都是图像处理、图像检索和计算机视觉的常用图像集，而最后一个数据集是用来在真实世界图像上验证本发明的方法。
对每个数据集，本发明随机选取1,000张图片构成四个查询图像集。然后，对每个查询图像集，本发明随机选取20张图像并用前述方法生成对应的2,000张相似图像。在计算基于机器学习的初始哈希值时，本发明首先提取4,000张查询图像的HSV特征，然后计算投影矩阵W，偏差项b，以及对应的哈希码。然后用W和b生成8,000张相似图像哈希码。在局部搜索优化过程中，本发明分别对四个原始图像和相似图像的图像集所对应2,020个哈希码进行局部搜索。
为了评估本发明的方法，本发明做了一系列实验，用以测试所提方法不同参数(码长，φ，γ)情况下检索的准确率，效率和有效性。为了展示所提方法的效果，本发明将其与五种先进的方法做了对比，包括KLSH(kernelized locality sensitive hashing)，SpH(spectral hashing)，STH(self-taught hashing)，ITQ(iterative quantization)，MLH(minimal loss hashing)。所提方法的参数设置如下：(1)构建近邻矩阵时k设为20；(2)哈希算法中φ，γ调节范围为10-6，10-3，100，10+3，10+6，最终设为100，10-5。对比实验的k也设为20。
本发明首先在数据集GIST 1M上评估效果。按照很多哈希方法采用的汉明排序搜索策略，本发明评估了前N个汉明近邻的查全率，实验效果见图4迭代搜索优化哈希算法与对比算法在GIST 1M上的最近邻搜索效果。本发明的ILS-Hashing优于其他方法，本发明的方法没有做迭代搜索优化时略逊于MLH。
随后，本发明通过调节码长c(从4到80)探索了码长对检索效果的影响。对每个码长，本发明首先寻找与查询图像的汉明距离最近的100张图像，然后计算改图像的F1-mesure。所有查询图像的F1-mesure计算后，将平均的F1-mesure作为当前码长的对应指标。图5局部搜索优化哈希算法与对比算法在不同码长时的F1-measure证明，本发明的方法在码长较小时优于其他方法。随着码长的增加，大部分方法的性能逐渐下降，而SpH保持了好效果。然而，由于长的哈希码需要更多存储空间和计算开销，码长较长时的性能不是特别重要。根据图5本发明将码长设为20，用于进一步的对比实验。
图6((a)COREL 1000；(b)CEA CLIC；(c)Caltech 256；(d)COLLECTION 5000；(e)各种方法的线型标识。
)展示了四个训练集上查准率和查全率的对比实验。可以看出，除了查全率过大或过小时，本发明的方法均优于其他方法。即使本发明的方法不做局部搜索优化，其效果也优于大部分方法，仅在caltech 256数据集上略逊于MLH。这样的表现主要源于两个方面的因素：
(1)本发明构建了统一的优化目标函数，同时优化局部结构保持性能和映射函数，并引入了正则项，从而使得积累误差较小。
(2)采用局部搜索使得哈希码更精确，也就是说，最后生成的指纹语义损失较小。需要注意的是，所有算法在COREL 1000、CEA CLIC、Caltech 256三个数据库上的表现比在COLLECTION 5000上的表现好，这主要是因为COLLECTION 5000是从网络上下载的真实世界图像，相对其他数据集的图像更为复杂。此外，由于全局特征HSV对部分攻击不够鲁棒，这里的P-R本发明可以尝试采用局部特征，但这是以计算和存储开销为代价的。
图7迭代搜索优化哈希算法的目标函数值变化曲线图展示了目标函数值在局部搜索优化过程中的减小。很明显，随着迭代的进行，目标函数值一直在降低，直到满足停止条件，这意味着哈希码随着迭代局部搜索的进行变得更加精确。
表1展示了每次迭代在不同规模数据集上的时间开销，证明增量更新能有效加速局部搜索的迭代过程。
表1迭代搜索优化哈希算法中不同规模数据集上迭代一次的平均时间(s)
数据库规模 迭代时间 未进行增量更新的迭代时间
505 0.172 1.853
1010 0.328 3.687
2020 0.642 7.148
此外，本发明证明了所提方法的效率。本发明比较了不同规模数据集上单幅图像的平均查询时间。相似性搜索通常线性扫描数据并计算两两间的相似度。图8局部搜索优化哈希算法与原始查询方法在不同规模数据集上的平均查询时间展示了所提方法和原始特征数据检索的时间开销对比。很明显所提方法随数据集规模增长的时间开销增长较为缓慢，而原始特征数据检索的时间开销随数据集规模的增长大幅增加。这个现象主要是由原始特征数据与哈希指纹的性质区别造成的。对哈希指纹，计算两两间的相似度只需要进行一次异或操作并统计非零比特位。但对原始特征，计算两两间相似度需要计算二者的欧氏距离，这明显比前者耗时很多。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，其特征在于，所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法包括：
获取目标图像，对获取的图像提取特征，利用深度学习目标函数创建哈希码；具体包括：
(1)在图片经过深层次的神经网络捕捉特征后，采用相应的数学公式对获取的特征进行数据格式上的规范化处理；
(2)设对应图像特征X的哈希码为H＝[h1，h2，…hn]T∈{1，-1}n×c，c是哈希码的长度，n为图片的数量；建立n×n相似矩阵S，矩阵第i行第j列的元素为图像特征xi和xj之间的相关性，定义为：
Figure FDA0004184173770000011
其中，Nk(x)表示特征向量x的k近邻；
由两个二进制码hi和hj之间不同的比特数给出两个二进制码hi和hj之间对应特征xi和xj的汉明距离；
(3)利用加权平均最小化相似数据之间的汉明距离，以及最小化数据的重构误差及语义损失，得到最终目标哈希函数：
Figure FDA0004184173770000012
s.t.HHT＝I；
其中，N为输入特征向量的临近集合，S为创建的临近相似矩阵，C为偏置参数；I为单位矩阵；选取(N-S+φC)的最小非零特征值作为H的数值；
(4)利用上述哈希函数得到邻域结构保存的哈希码；
将数据集进行n次迭代以得到最终的哈希码标签；
将所生成的哈希码标签带入ILS迭代局部搜索强化精度，得到最终的检测结果；
迭代搜索优化哈希算法具体包括：
输入：H-局部最优解；
输出：H-扰动解；
1)H-初始解；
2)评分：将前面的c元素赋1分，剩余元素赋0分；
3)选择：有序地从m个要扰动的元素中选择1个；
4)扰动：设置元素为其相对的数字，得到一个扰动解H*；
5)局部搜索H*；
6)直到满足停止条件，得出利用迭代局部搜索加工后的高精度数据结果。
2.如权利要求1所述的基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，其特征在于，利用深度学习目标函数创建哈希码前需进行：
获取目标图像，对获取的图像提取特征，利用X＝[x1，x2，…xn]∈Rn×p表示图像特征，其中n是训练图像的数量，p是特征的维度。
3.如权利要求1所述的基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，其特征在于，将所生成的哈希码标签带入ILS迭代局部搜索具体包括：
首先，导入在哈希标签生成阶段获得的哈希码标签，用Backprop算法进行建模，构建目标函数，则生成的训练函数表示为：
Figure FDA0004184173770000021
F表示输出为一个mxd矩阵，m是批量的样本数量，d是最后一个全连接层的输出数量，x是输出向量，y是对应的标签；
其次，将生成的函数结果设为H，并利用迭代搜索对函数结果进行强化。
4.如权利要求3所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，其特征在于，利用迭代搜索对函数结果进行强化具体包括：
1)利用扰动算子跳出局部最优陷阱：通过改变临界元件的值跳出局部最优陷阱；
2)引入增量更新，降低成本：首先计算并构建矩阵Sij，其中i行j列的值为hi和hj的相似度；当hi的一个元素被更改时，只更新相应哈希码hi与其他hj之间的相似度值，不需要计算其他hj之间的相似度，防止重复计算整个Sij；
3)停止条件设置：应用K-fold交叉验证生成停止条件。
5.如权利要求4所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法，其特征在于，
步骤1)通过改变临界元件的值跳出局部最优陷阱，具体包括：
评分：给每个元素打分；
选择：选择一定数量的高分元素；
扰动：用所选的临界元素随机扰动解；依次扰动每个哈希码的前m个元素，直到满足停止条件。
6.一种实施权利要求1所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的基于迭代搜索优化哈希算法的自动驾驶系统。
7.一种实施权利要求1所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的信息处理终端。
8.一种实施权利要求1所述基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法的自主驾驶车辆。
CN201910629380.8A 2019-07-12 2019-07-12 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法 Active CN110334682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910629380.8A CN110334682B (zh) 2019-07-12 2019-07-12 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910629380.8A CN110334682B (zh) 2019-07-12 2019-07-12 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法

Publications (2)

Publication Number Publication Date
CN110334682A CN110334682A (zh) 2019-10-15
CN110334682B true CN110334682B (zh) 2023-06-27

Family

ID=68146637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910629380.8A Active CN110334682B (zh) 2019-07-12 2019-07-12 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法

Country Status (1)

Country Link
CN (1) CN110334682B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010124735A1 (de) * 2009-04-29 2010-11-04 Novelty Group Limited System zum herstellen eines durch einen verifikationscode geschützten gegenstands, verfahren zur herstellung eines entsprechenden gegenstands, verfahren zum verifizieren der echtheit eines gegenstands
CN109948585A (zh) * 2019-03-29 2019-06-28 湖北工业大学 一种基于高精度哈希图像检索技术的行人检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2485695B (en) * 2012-01-27 2012-11-28 Half Minute Media Ltd Automatic detection of the recurrence in a video stream of a stored sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010124735A1 (de) * 2009-04-29 2010-11-04 Novelty Group Limited System zum herstellen eines durch einen verifikationscode geschützten gegenstands, verfahren zur herstellung eines entsprechenden gegenstands, verfahren zum verifizieren der echtheit eines gegenstands
CN109948585A (zh) * 2019-03-29 2019-06-28 湖北工业大学 一种基于高精度哈希图像检索技术的行人检测方法及系统

Also Published As

Publication number Publication date
CN110334682A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
US10902615B2 (en) Hybrid and self-aware long-term object tracking
US10691952B2 (en) Adapting to appearance variations when tracking a target object in video sequence
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN114332621B (zh) 一种基于多模型特征融合的病虫害识别方法及系统
US20210182618A1 (en) Process to learn new image classes without labels
CN111274958B (zh) 一种网络参数自纠正的行人重识别方法及系统
CN112016467A (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN111209799B (zh) 基于部分共享网络和余弦间隔损失函数的行人搜索方法
CN114600130A (zh) 在无标记的情况下学习新图像类的处理
CN112347838A (zh) 道路地图融合
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN115457082A (zh) 一种基于多特征融合增强的行人多目标跟踪算法
CN114445461A (zh) 基于非配对数据的可见光红外目标跟踪训练方法及装置
Hasegawa et al. Robust detection and recognition of japanese traffic sign in the complex scenes based on deep learning
CN111126327A (zh) 车道线检测方法、系统、车载系统及车辆
Tsintotas et al. The revisiting problem in simultaneous localization and mapping
Islam et al. Active learning-based pedestrian and road sign detection
CN110334682B (zh) 基于迭代搜索优化哈希算法的自动驾驶系统域自适应方法
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN106650814A (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
Jaenal et al. Unsupervised appearance map abstraction for indoor visual place recognition with mobile robots
Bouaziz et al. Map management for robust long-term visual localization of an autonomous shuttle in changing conditions
CN114187655B (zh) 一种基于联合训练策略的无监督行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant