CN111126571A

CN111126571A - 基于dht网络的r-cnn网络优化方法、存储介质

Info

Publication number: CN111126571A
Application number: CN201911354714.1A
Authority: CN
Inventors: 刘德建; 于恩涛; 陈琦; 林小云; 张小华; 林琛
Original assignee: Fujian TQ Digital Co Ltd
Current assignee: Fujian TQ Digital Co Ltd
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2020-05-08
Anticipated expiration: 2039-12-25
Also published as: CN111126571B

Abstract

本发明基于DHT网络的R‑CNN网络优化方法、存储介质，方法包括：提取各个候选框对应的特征值集；将各个特征值集中的特征值分类存储至DHT网络的不同存储块中，且特征值在存储块中的存储区域对应其候选框在图片中的排版；使用非等价进位均值算法顺序计算各个存储块中前后两组特征值的均值是否相等，合并均值相等的两组特征值的存储区域，并以所述均值为其节点ID，其中，相邻两个特征值为一组特征值；将DHT网络的各个存储块的节点ID进行归一化处理后，传入R‑CNN网络。本发明能够显著提高算力和效率，更快速、高效地获取计算结果；同时，又能减少内存占用，优化内存和系统性能；进一步地，还能降低查找难度。

Description

基于DHT网络的R-CNN网络优化方法、存储介质

技术领域

本发明涉及R-CNN网络的对象检测领域，具体涉及基于DHT网络的R-CNN网络优化方法、存储介质。

背景技术

R-CNN为基于区域的卷积神经网络。目前的实现方式为输入图像；用选择性搜索算法在图像中提取2000个左右的候选框，并把候选框缩放为固定大小；将归一化后的候选框输入CNN网络，提取特征；对于每个候选框提取到的CNN特征，再用SVM分类来做识别，用线性回归来微调边框位置与大小，对每个类别单独训练一个边框回归器，整个过程为最初的基于区域的卷积神经网络(R-CNN)实现方式。

针对于R-CNN的优化算法，目前已有的优化方式：无论是fast-RCNN还是SPP-net等，都是改变选取方式，对整副图像做一次CNN特征提取然后再通过选择性搜索算法提取区域候选框，投影到最后的特征层。

其中的选择性搜索算法中，要先生成区域集R＝{r1,.....rn}；计算区域集R里每个相邻区域的相似度S＝{ri,rj}；找出相似度最高的区域max(S)＝{ri,rj}，将其合并为新集rt＝ri∪rj，添加进R；从S中移除所有ri,rj相关的子集；计算新集合rt与所有与它相邻区域的相似性s(rt,r*)；R＝R∪rt；重复以上步骤，直到S集合为空。

上述操作中需要提取2000个左右的候选框后，对候选框内的各数据进行相似度重复计算合并，计算量很大，而且会进行重复计算；其次，对于卷积出来的特征数据还需要单独进行保存，占用磁盘空间大，且并不会对数据进行分类，增大查找难度。

发明内容

本发明所要解决的技术问题是：提供基于DHT网络的R-CNN网络优化方法、存储介质，更少占用资源、更快速地得出计算结果、更易于查找。

为了解决上述技术问题，本发明采用的技术方案为：

基于DHT网络的R-CNN网络优化方法，包括：

S1：提取各个候选框对应的特征值集；

S2：将各个特征值集中的特征值分类存储至DHT网络的不同存储块中，且特征值在存储块中的存储区域对应其候选框在图片中的排版；

S3：使用非等价进位均值算法顺序计算各个存储块中前后两组特征值的均值是否相等，合并均值相等的两组特征值的存储区域，并以所述均值为其节点ID，其中，相邻两个特征值为一组特征值；

S4：将DHT网络的各个存储块的节点ID进行归一化处理后，传入R-CNN网络。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行后，能够实现上述基于DHT网络的R-CNN网络优化方法所包含的步骤。

本发明的有益效果在于：本发明同时包含选择性搜索算法的优化及其基于DHT网络的R-CNN网络优化。针对前者，通过对候选框的各个特征值使用不同的存储块进行分类存储，且在存储块中的存储位置按照其候选框在图片的排版进行存放；使用非等价进位均值算法计算各个存储块中两两相邻特征值的均值，并合并均值相等的特征值的存储区域，并以所述均值为该存储区域的节点ID。当所有存储块都计算结束后，每个候选框由自身特征变为与其相邻候选框的均值，以此获取图片中具备相同特征的候选框。由于仅基于特征值进行计算，计算结果仅涉及存储区域及其节点ID；同时，各存储块不相关，可并行计算获取结果，因此，算法优化，能够明显计算量、更少占用资源、更快速、高效地获取计算结果。针对后者，将上述算法与DHT网络进行结合，可以直接利用其存储格式以及各个内容块的节点ID来存储、计算以及查找，而无需单独进行保存，显著减少了内存的占用，同时又能缩短查找难度。

附图说明

图1为本发明实施例一种基于DHT网络的R-CNN网络优化方法的流程示意图；

图2为图1的优化方法中步骤S3的具体流程示意图；

图3为本发明实施例一和实施例二基于DHT网络的R-CNN网络优化方法的流程示意图；

图4为对应图3的示例图；

图5为均值计算示例图；

图6为对应图5的均值比较示例图；

图7为本发明实施例三的方法经过选择性搜索算法后输出的区分区域的图片示例图；

图8为本发明实施例二和实施例三的方法中经过归一化操作后得到的示例图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

本发明最关键的构思在于：将特征值分类后基于DHT网络进行存储，并使用非等价进位均值算法计算各个存储块中两两相邻特征值的均值，合并均值相等的存储区域的节点ID，实现了算法以及R-CNN网络的同步优化。

本发明涉及的技术术语解释：

技术术语	解释
		R-CNN网络	基于区域的卷积神经网络
节点ID	标识处理后区块内容存储集的ID
		内容块ID	标识处理前区块内容存储集的ID
非等价进位均值算法	两区域计算不等时向前取一位进行计算的方式

请参照图1以及图2，本发明提供基于DHT网络的R-CNN网络优化方法，包括：

S1：提取各个候选框对应的特征值集；

从上述描述可知，本发明的有益效果在于：通过本发明进行对象检测，同时解决选择性搜索算法计算量大及特征数据需要单独保存，以及R-CNN网络占用磁盘空间的问题。首先通过优化选择性搜索算法，将现有算法通过对相似度高的区域进行合并后重新添加进集合区域R中不停做∪合并来说，本发明只需要两两计算数据的平均值，当相邻平均值相同时就进行合并只记录区域位置，减少不停做∪操作来筛选最大相似度的次数，从而大大简化计算量，提高计算效率。其次对于现有的算法数据不停地存储在集合S的方式，本发明在上述基础上采用DHT网络特性，将均值存储在节点，将特征值存储在内容块，只要计算出均值，内容块即无用，可抛弃，因此假设计算次数n，内容块便可减少3n存储量，从而实现内存占用的大大减少，同时，更有利于计算高效完成。

进一步地，所述S3，具体为：

S31：各个存储块以相邻两个特征值为一组特征值，由第一至第四个特征值组成的前后两组特征值开始；

S32：计算当前的前后两组特征值的均值是否相等；

S33：若相等，则合并对应两组特征值的存储区域，以所述均值为其节点ID，并标记后一组特征值为新的前一特征值，其后一组特征值为新的后一特征值，返回步骤S32；

S34：若不相等，后一组特征值向前进位一个特征值，计算前一组特征值与进位后的后一组特征值的均值是否相等；若相等，则合并对应两组特征值的存储区域，以所述均值为其节点ID，并顺序后移取进位后的后一组特征值之后的两组特征值，返回步骤S32；若不相等，则合并前一组特征值的存储区域，以所述均值为其节点ID，并顺序后移取所述进位后的后一组特征值之后的两组特征值，返回步骤S32。

由上述描述可知，在具体实例中，可通过上述步骤实现对算法的优化。

进一步地，所述S4中进行归一化处理后，得到一区分区域的图片。

由上述描述可知，通过归一处理，将各个候选框的节点ID进行融合，得到仅对图片内容进行区分，而不对内容进行定位的图像分割结果，所述区分区域已经能够满足对象检测的基本数据要求，同时能明确特征分布。

进一步地，还包括：

S5：所述区分区域的图片依次经过R-CNN网络的卷积计算、向量机SVM，以及归一器后，输出检测结果。

由上述描述可知，依次经过卷积计算、SVM分类识别以及微调边框位置和大小后，获取准确且直观的检测结果。

进一步地，所述S4中进行归一化处理之前，还包括：抛弃各个存储块存储的特征值，保留各存储块的存储区域的节点ID。

由上述描述可知，由于采用边计算边存储边删除的方式，因此所耗费的算力非常小。

进一步地，所述S1之前，还包括：

S0：图片传入网络生成预设个数的候选框。

由上述描述可知，通过R-CNN网络自动对图片进行分割，拆分成指定个数的候选框，为后续基于候选框的处理提供支持。

进一步地，所述S1中提取的特征值集包括特征值：颜色空间、颜色距离、纹理距离、大小以及形状交叠。

由上述描述可知，通过获取每个候选框的每一个特征值，并独立进行每种特征值的分析处理，提高了分析的准确度，且并不会难化算法。

进一步地，所述S3中，并行执行各个存储块的计算。

由上述描述可知，基于各个存储块的独立性，可以实现各存储块均值计算的并行处理，从而显著提高计算效率，缩短计算耗时。

本发明提供的另一个技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行后，能够实现下述基于DHT网络的R-CNN网络优化方法所包含的步骤：

S1：提取各个候选框对应的特征值集；

进一步地，所述S3，具体为：

S32：计算当前的前后两组特征值的均值是否相等；

进一步地，还包括：

进一步地，所述S1之前，还包括：

S0：图片传入网络生成预设个数的候选框。

进一步地，所述S3中，并行执行各个存储块的计算。

从上述描述可知，对应本领域普通技术人员可以理解实现上述技术方案中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来实现的，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时，可包括如上述各方法的流程。所述流程被执行后，同样能够实现上述各个方法对应的有益效果。

其中，所述的存储介质可以是磁盘、光碟、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

实施例一

请参照图2至图6，本实施例提供基于DHT网络的R-CNN网络优化方法，通过对算法进行优化，以及数据存储方式进行优化，实现高效计算且占用空间少，同时又能降低查找难度。

请参阅图3，方法包括：

S0：图片传入R-CNN网络生成预设个数的候选框。

传入后，系统将自动生成2000个左右的候选框；

S1：提取各个候选框对应的特征值集；所述特征值集包括颜色空间、颜色距离、纹理距离、大小以及形状交叠这些特征值的集合。

优选地，对上述特征值设置特定标识，如颜色空间记为cs，颜色距离记为cd、纹理距离记为td、大小记为si、形状交叠记为os。

S2：将各个特征值集中的特征值分类存储至DHT网络的不同存储块中，且特征值在存储块中所处的存储区域对应其候选框在图片中的排版位置。例如，拆解的颜色空间，从左至右，从上至下进行存储。而后续存储在节点的均值也按照两两节点顺序进行存储。

首先生成一个一个DHT存储网络。根据DHT网络原理，在网络中，将生成N多个内容区块和节点，保证节点和区块一一对应且并不相交。为保证节点的存储空间，在生成节点时，并不给予节点字符大小限制。在本实施例中，网络中预设个数和位置的内容块视为一个存储块，节点用于存储计算结果，所述存储区域即内容块对应存储块所处的区域位置。

其次，将采集到的所有的候选框的颜色空间存储在一个存储块中，将所有的颜色距离存储在另一个存储块中，以此类推，对各个候选框对应的特征值集所包含的特征值进行分类存储。需要注意的是，各类特征在存储块中的存储位置(所处内容块对应存储块的位置)与其对应的候选框在图片中的排版位置相对应。具体请参阅图4中对应所述DHT网络的存储及计算图示。

S3：使用非等价进位均值算法顺序计算各个存储块中前后两组特征值的均值是否相等，合并均值相等的两组特征值的存储区域，并以所述均值为其节点ID，其中，相邻两个特征值为一组特征值。

请参阅图2、图5和图6，在一具体实例中，该步骤可以通过下述步骤实现：

S31：各个存储块以相邻两个特征值为一组特征值，下面，由第一和第二个特征组成的前一组特征值以及第三个和第四个特征值组成的后一两组特征值开始；

S32：计算当前的前后两组特征值的均值是否相等；

以计算颜色空间对应的存储块，当前为上述的两组特征值为例，即计算第一位和第二位颜色空间的均值是否等于第三位和第四位颜色空间的均值；

即合并第一至第四位颜色空间的内容块区域，并将计算得到的均值记录在节点上，作为合并后得到的内容块区域的节点ID。这样节点和存储内容块即可一一对应，节点和节点，内容块和内容块之间却并没有关联。

需要说明的是，本实施例中合并的仅仅只是存储区域，即内存块区域，并以均值为合并后区域的节点ID，而特征值位置以及特性均不进行合并。也就是说，均值不再代表两两相邻区域而是一片相同的区域。

优选地，合并后删除第一至第四位内容块中存储的内容，即删除第一至第四位颜色空间的值，但是第一至第四位的内容块对应的区域为新区域，节点ID为上述均值。这种边计算边存储边删除的方式，所需耗费的算力非常小。

S34：若不相等，后一组特征值向前进位一个特征值，计算前一组特征值与进位后的后一组特征值的均值是否相等；若相等，则合并对应两组特征值的存储区域，以所述均值为其节点ID，并顺序后移取进位后的后一组特征值之后的两组特征值，返回步骤S32；若不相等，则合并前一组特征值的存储区域，以所述均值为其节点ID，并标记所述进位后的后一组特征值为新的前一特征值，返回步骤S32。

即若第一和第二个特征值的均值不等于第三和第四个特征值的均值，则后一组特征值向前进一位，由第二和第三特征值组成新的后一组特征值，计算其均值，然后与原本的前一组特征值(第一和第二特征值)的均值进行比较；若相等，则合并当前比较的两组特征值所处的存储区域，即合并第一至第三特征值的内容块区域，并以均值为合并后内容块区域的节点ID；而后取第四特征值和第五特征值为新的前一组特征值，第六和第七特征值为后一组特征值，返回步骤S32；若不相等，则证明只有第一和第二特征值拥有相同的颜色空间，因此合并第一和第二特征值的内容块区域，并以其均值为合并后区域的节点ID；而后，而后取第三特征值和第四特征值为新的前一组特征值，第五和第六七特征值为后一组特征值，返回步骤S32。

S35：直至完成各个存储块的计算。

通过上述步骤，实现将现有算法计算区域集R里每个相邻区域的相似度S，变更为计算两两区域的均值avg。当两两相邻区域的均值计算相等时，认为这四个区域的图像为同一类；而当不等时，通过向前一位选择，对存在重叠的三个区域分别进行邻区求平均值，若此时相等，则认为前三位为相同图像；而当依旧不相等时，继续计算其后区域的均值。通过节点将相同均值的区域进行合并和标识，且用一个均值进行表示。重点在合并均值区域时，只合并均值相等的存储区域，而均值位置及特性并不进行合并，也就是均值不再代表两两相邻区域而是一片相同的区域。也就是说，所述相同的区域为一个统一的区域，存储的内容是一样的。这一片区域使用节点ID：4来标识，而不再是原本各存储区域的2+2,3+1,1+3和4+0，而是认为它是一个具有相同特性的一片区域。

具体而言，上一步骤计算得到的各个存储块的节点数据进行最终归一化后，将得到一个与输入图片相对应的区分区域的图片；而后，将该区分区域的图片那传输给CNN网络进行卷积计算后，依次通过向量机SVM进行识别以及归一器对边框位置和大小进行微调处理后最终输出检测结果。

其中，归一化操作是把所有的数据(颜色空间、颜色距离、纹理距离、大小和形状交叠)进行融合，最终得出一张显示存储区域不显示内容的图片，如图8所示，原图中划分的不同区域将以不同颜色进行区分。

优选地，当颜色空间、颜色距离、纹理距离、大小和形状交叠信息均通过选择性算法计算存储后，可直接弃掉内容块的内容，而仅留存节点数据，此时写入结束，将各节点数据归一化，传给CNN网络。

本实施例基于DHT网络的特性：只需要选取节点ID，即可找到对应的内容块ID，从而找到内容。用于存储选择性搜索算法产生的数据内容及数据均值。在进行选择性搜索算法划分时，通过对各个存储块计算出相邻候选框的平均值avg_cs，avg_cd，avg_td，avg_td，avg_si和avg_os，比对前后两两数据平均值，相同即合并；不同则进一位合并，并把这些均值作为节点存储，实现直接调取节点数据，即可输出一副图片。

实施例二

请参阅图5至图8，本实施例提供一对应实施例一的具体运用场景：

基于DHT网络分布方式的R-CNN网络优化方案，针对对象检测方法中的选择性搜索算法和数据存储做出优化，更快速、更少占用资源地完成对象检测。

首先一张图片传入后，建立一个DHT网络，设置5个存储块，分别用于存储颜色空间cs、颜色距离cd、纹理距离td、大小si、形状交叠记os，这五类特征值，各个存储块的节点存储的均值记为avg_cs，avg_cd，avg_td，avg_td，avg_si和avg_os。

进行选择性搜索算法，如图1所示，对DHT网络中存储特征值颜色空间td的存储块左上角位置前两个纹理距离进行计算得出一个avg_td(r1,r2)＝1；接下来计算横向三四位的均值avg_td(r3,r4)；当发现均值也为1时，认为这4个区域的纹理距离相同，即r1，r2，r3，r4这4个区域拥有相同纹理，则删除存储块中这4个区域的节点，把这4处的均值覆盖在内容中对应的左上角横向1,2,3,4位置，即标记一个对应这四个区域的新节点，并以均值为节点ID；而avg_td(r3,r4)＝2时，计算均值avg_td(r2,r3)，若avg_td(r2,r3)＝1，则认为区域r1、r2、r3的纹理距离相同，即拥有相同纹理，此时只删除r1，r2，r3这3个内容块对应的节点，并新建一个对应的节点，并以它们的均值为节点ID，而保留r4内容块，让r4和r5做均值计算avg_td(r4,r5)，继续其后计算；而当avg_td(r2,r3)≠1时，认为只有r1和r2是拥有相同纹理距离，即r1、r2拥有相同纹理，此时删除r1，r2的内容块内容，合并内容块r1和r2的区域，并以其avg_td值为对应节点ID；之后继续计算avg_td(r3,r4)和avg_td(r5,r6)。

根据非等价进位均值算法，可以算出所有前后相邻区域的纹理距离均值，当所有区域计算结束后，每个区域由原来自己的纹理距离变为与其相邻区域的平均值，这就变为会有一片区域拥有相同的纹理值。

通过把相同的均值(即基于节点ID)进行区域定位，根据存储在DHT内容块中的位置即可确认每个均值分布，由此大大降低查找难度。把每个相同均值的内容块进行独立命名，而这个独立区域表明，该内容块中所有区域均为相同纹理如图7分布所示。由此可证，具有相同纹理的区域被“归一化”，并通过节点标识特征值，节点内仅存储每个区域的均值范围及对应的均值。根据DHT存储网络原理，节点数据可以代表内容块数据。同理，对颜色空间、颜色距离、大小和形状交叠分别进行计算，也记录在它们内容块的节点中。每当计算出相同的均值，内容块数据即可做一次合并，这样将以计算次数3n减少内容块的存储空间。

由于存储块与存储块之间互无关联，存储块内容可以独立进行均值计算，即支持各个存储块并行计算；且由于仅对相邻两个存储区域做均值计算，采用边计算边存储边删除的方式，所耗费的算力是非常小的，所以各个存储块几乎可以同时得出结果。由此极大的提高了计算效率。

当所有的颜色空间、颜色距离、纹理距离、大小和形状交叠都计算出均值并且已经存储在节点后，将数据进行归一化。最终在归一化时，只需把各节点进行归一合并，便可得到区分区域后的图片，这个图片效果如图8所示，仅对内容进行区分，而不对内容进行定位，这样的图像分割，已经可以满足对象检测的基本数据要求。

最终将归一化的这张图片传输给CNN进行卷积，然后将输出传给支持向量机(SVM)，使用一个线性回归收紧对象边界框，得出结果。

实施例三

本实施例对应实施例一和实施例二，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序在被处理器执行后，能够实现上述实施例一或实施例二所述的基于DHT网络的R-CNN网络优化方法所包含的步骤。具体的步骤内容在此不进行复述，详情请参阅实施例一或实施例二的记载。

综上所述，本发明提供的基于DHT网络的R-CNN网络优化方法、存储介质，能够显著提高算力和效率，更快速、高效地获取计算结果；同时，又能减少内存占用，优化内存和系统性能；进一步地，还能降低查找难度。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.基于DHT网络的R-CNN网络优化方法，其特征在于，包括：

S1：提取各个候选框对应的特征值集；

2.如权利要求1所述的基于DHT网络的R-CNN网络优化方法，其特征在于，所述S3，具体为：

S32：计算当前的前后两组特征值的均值是否相等；

3.如权利要求1所述的基于DHT网络的R-CNN网络优化方法，其特征在于，所述S4中进行归一化处理后，得到一区分区域的图片。

4.如权利要求3所述的基于DHT网络的R-CNN网络优化方法，其特征在于，还包括：

5.如权利要求1所述的基于DHT网络的R-CNN网络优化方法，其特征在于，所述S4中进行归一化处理之前，还包括：抛弃各个存储块存储的特征值，保留各存储块的存储区域的节点ID。

6.如权利要求1所述的基于DHT网络的R-CNN网络优化方法，其特征在于，所述S1之前，还包括：

S0：图片传入网络生成预设个数的候选框。

7.如权利要求1所述的基于DHT网络的R-CNN网络优化方法，其特征在于，所述S1中提取的特征值集包括特征值：颜色空间、颜色距离、纹理距离、大小以及形状交叠。

8.如权利要求1所述的R-CNN网络中选择性搜索算法的优化方法，其特征在于，所述S3中，并行执行各个存储块的计算。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序在被处理器执行后，能够实现上述权利要求1-8任意一项所述的基于DHT网络的R-CNN网络优化方法所包含的步骤。