CN111582257A - 用于对待检测对象进行检测的方法、装置及系统 - Google Patents
用于对待检测对象进行检测的方法、装置及系统 Download PDFInfo
- Publication number
- CN111582257A CN111582257A CN201910117719.6A CN201910117719A CN111582257A CN 111582257 A CN111582257 A CN 111582257A CN 201910117719 A CN201910117719 A CN 201910117719A CN 111582257 A CN111582257 A CN 111582257A
- Authority
- CN
- China
- Prior art keywords
- prediction
- frame
- inclination angle
- calibration
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 19
- 230000006378 damage Effects 0.000 description 30
- 230000001788 irregular Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000003902 lesion Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 239000003973 paint Substances 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000037380 skin damage Effects 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及用于对待检测对象进行检测的方法、装置及系统，该方法包括：获取包含待检测对象的图像的数据；分析图像的数据以确定待检测对象的位置信息和倾斜角度；根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；根据用于生成预测框的位置信息和倾斜角度生成与待检测对象相匹配的预测框；以及利用预测框对待检测对象进行检测。本公开提供的技术方案有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确，进而提高检测的准确率。
Description
技术领域
本公开涉及目标检测技术领域，尤其涉及一种用于对待检测对象进行检测的方法、装置及系统。
背景技术
深度学习是近年来炙手可热的人工智能技术，利用深度学习技术实现的目标检测算法拥有速度快、准确率高的优势。深度学习技术的支架是卷积神经网络，卷积神经网络通过卷积核提取图像抽象特征并利用这些抽象特征来完成指定的任务。为使网络具有完成指定任务的能力，首先需要利用大量已有样本调整网络内的参数，也就是进行网络的训练操作；当参数调整完毕后保存这些参数得到网络模型；最后利用网络模型即可在未知的数据上完成任务。
目前，在进行目标检测任务时，需要事先对图像进行标定，得到标定框(groundtruth box)，并保存标定框的位置和标签信息。现有的用来标定对象的标定框只有非倾斜(正)的矩形框，如图4所示。然而，在待检测对象或者待检测物体为不规则形状，如图3a至图3e所示的飞机蒙皮损伤检测过程中所遇到的不规则的损伤类型(诸如裂纹和掉漆等)的情况下，采用常规的标定框对这类损伤进行检测时，由于这类损伤的形状不规则，会出现较多的倾斜状的损伤，此时，常规的标定框内会引入较多的背景信息，进而会降低检测的精度。
发明内容
本公开实施例提供了一种用于对待检测对象进行检测的方法、装置及系统，用于解决现有技术中存在的上述技术问题，降低标定框中的背景信息，提高检测精度。
根据本公开实施例的一方面，提供了一种用于对待检测对象进行检测的方法，包括：获取包含待检测对象的图像的数据；分析图像的数据以确定待检测对象的位置信息和倾斜角度；根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框；以及利用预测框对待检测对象进行检测。
在根据本公开的一示例性实施例中，根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框包括：利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框；获取对待检测对象预设的标定框；以及在多个预测框之中确定与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，在多个预测框之中确定与标定框相匹配的预测框包括：判定标定框的倾斜角度是否为0°；当标定框的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者当标定框的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，在多个预测框之中确定与标定框相匹配的预测框包括：获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框包括：获取多个预测框中的每一个预测框与标定框之间的交叠面积；在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。
根据本公开实施例的另一方面，提供了一种用于对待检测对象进行检测的装置，其特征在于，包括：图像获取模块，被配置为获取包含待检测对象的图像的数据；图像分析模块，被配置为分析图像的数据以确定待检测对象的位置信息和倾斜角度；预测框信息确定模块，被配置为根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；预测框生成模块，被配置为根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框；以及检测模块，被配置为利用预测框对待检测对象进行检测。
在根据本公开的一示例性实施例中，预测框生成模块进一步被配置为：利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框；获取对待检测对象预设的标定框；以及在多个预测框之中确定与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，预测框生成模块进一步被配置为：判定标定框的倾斜角度是否为0°；当标定框的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者当标定框的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，预测框生成模块进一步被配置为：获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。
在根据本公开的一示例性实施例中，预测框生成模块进一步被配置为：获取多个预测框中的每一个预测框与标定框之间的交叠面积；在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。
根据本公开实施例的又一方面，提供了一种用于对待检测对象进行检测的装置，包括：存储器和处理器，处理器连接至存储器，存储器存储有处理器执行的程序指令，处理器在执行程序指令时能够执行以上的方法。
根据本公开实施例的又一方面，提供了一种用于对待检测对象进行检测的系统，包括：图像采集装置，用于采集包含待检测对象的图像的数据；以及根据以上的用于对待检测对象进行检测的装置。
根据本公开实施例的又一方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质上存储有包括程序指令的计算机程序，程序指令在被处理器执行时执行以上的方法。
根据本公开实施例的又一方面，提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行以上的方法。
根据本公开实施例的又一方面，提供了一种计算机程序产品，其中，计算机程序产品包括存储在非暂时性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行以上的方法。
根据本公开的各实施例提供的用于对待检测对象进行检测的方法、装置和系统，通过确定用于生成预测框的位置信息及倾斜角度，根据位置信息及倾斜角度生成与待检测对象相匹配的预测框，并利用预测框对待检测对象进行检测处理，有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确。而且，本公开的各实施例中的预测框可以更好地贴合待检测对象的形状，进一步提升了检测的精度，从而有效地提高了检测过程中的稳定性和可靠性。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示例性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1a是根据本公开的一种8×8特征映射的示意图；
图1b是根据本公开的一种4×4特征映射的示意图；
图2是根据本公开的一个特征映射单元的各预测框的关系的示意图；
图3a是根据本公开的一种由裂纹所产生的不规则损伤的示意图；
图3b是根据本公开的一种由穿孔所产生的不规则损伤的示意图；
图3c是根据本公开的一种由铆钉所产生的不规则损伤的示意图；
图3d是根据本公开的一种由划痕所产生的不规则损伤的示意图；
图3e是根据本公开的一种由掉漆所产生的不规则损伤的示意图；
图4是根据本公开的一种损伤检测方法的效果图；
图5是根据本公开的一实施例的一种用于对待检测对象进行检测的方法的流程图；
图6为根据本公开的一示例性实施例的根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框的流程图；
图7为根据本公开的一示例性实施例的在多个预测框之中确定与标定框相匹配的预测框的流程图；
图8为根据本公开的另一示例性实施例的在多个预测框之中确定与标定框相匹配的预测框的流程图；
图9为根据本公开的一示例性实施例的根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框的流程图；
图10是根据本公开的实施例的一种损伤检测方法的效果图；
图11为根据本公开的一实施例的一种用于对待检测对象进行检测的装置的方框图；
图12为根据本公开的一实施例的一种用于对待检测对象进行检测的系统的方框图；以及
图13为根据本公开的另一实施例的一种用于对待检测对象进行检测的系统的方框图。
具体实施方式
为了使本领域技术人员更好地理解本公开内容，下面将结合本公开实施例的各附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。以下示例性实施例仅用于说明本公开内容，但不用来限制本公开的范围。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当落入本公开内容的保护范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不一定用于描述特定的顺序或先后次序。应该理解，这样使用的术语在适当情况下可以互换，以便文中描述的本公开的实施例能够以除文中图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含一系列步骤或模块或单元的过程、方法、系统、产品或设备不必限于明确列出的那些步骤或模块或单元，而是可包括没有明确列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块或单元。
为了便于理解本公开内容，下面给出对关键术语的说明：
对象/目标检测：定位对象/目标、确定对象/目标的位置及大小。
特征映射：在每个卷积层，数据都以三维形式存在，可以将卷积层看作多个二维图像叠加在一起，其中的每一个二维图像称为一个特征映射。如果在输入层中的是灰度图像，则只有一个特征映射；如果在输入层中的是彩色图像，则一般有3个特征映射(红绿蓝)。
特征映射单元(feature map cell)：是指特征映射中的各个单元格，如图1a和图1b所示，分别有64个和16个单元。
预测框：每个特征映射单元上的一系列固定大小的框，如图1a和图1b所示。
单拍多框检测器(Single Shot MultiBox Detector，SSD)：一种目标检测方法，属于单级(one-stage)类型。
交并比(Intersection over Union，IOU)：由于算法不能百分百跟人工标注的数据完全匹配，因此就存在一个定位精度评价公式：IOU，它定义了两个边框(bounding box)之间的重叠度。
目标检测算法的实现需要两大步骤：制作数据集和训练神经网络。在SSD目标检测算法中，可以同时采用较低的和较高的特征映射进行检测。在完成目标检测时，需要事先对图像进行标定，得到标定框，并保存标定框的位置和标签信息。标签信息即为标定框内物体的所属类型。现有的目标检测标定工具可以标定正(非倾斜)的矩形框，将标定完的结果保存在xml文件当中，xml文件内写有标定框内的物体标签以及该物体的位置信息。
图1a是根据本公开的一种8×8特征映射的示意图，图1b是根据本公开的一种4×4特征映射的示意图。如图1a和图1b所示，分别有8×8和4×4两种不同的特征映射。
如果一个特征映射的大小是m×n，则有m×n个特征映射单元，假定每个特征映射单元有k个预测框，对于每个预测框都需要预测c个类别得分(score)和4个偏移量(offset)，特征映射一共有(c+4)×k×m×n个输出。这些输出个数的含义是采用3×3的卷积核对该层的特征映射卷积(实际代码(code)是分别用不同数量的3×3卷积核对该层特征映射进行卷积)时卷积核的个数，包含两部分：数量c×k×m×n是置信度输出，表示每个预测框的置信度，也就是类别的概率；数量4×k×m×n是位置信息(localization)输出，表示每个预测框回归后的坐标。训练中还有一个参数为先验框(prior box)，最终输出的先验框实际上就是最终被选择的预测框，因为对于每个特征映射单元来说，不是每个预测框都要被选择。
需要说明的是，预测框是一种概念，先验框则是实际的选取。训练中一张完整的图像送进网络获得各个特征映射，对于正样本训练来说，需要先将先验框与标定框做匹配，匹配成功说明这个先验框包含对象，但离完整对象的标定框还有段距离，训练的目的是保证预测框的分类置信度的同时，将先验框尽可能回归到标定框。
图2是根据本公开的一个特征映射单元的各预测框的关系示意图。如
图2所示，SSD的网络框架在生成预测框时，可以生成大小不同、宽高比不同的预测框，以特征映射上每个点的中点为中心(偏移量＝0.5)，生成一系列同心的预测框。然后中心点的坐标会乘以步长(step)，相当于从特征映射位置映射回原图位置。
SSD的网络框架会生成多个特征映射，在不同的特征映射上，正方形预测框的最小边长min_size和最大边长max_size的设置是不同的：在第一个特征映射上，需要预先设定预测框的最小和最大的边长。而第二个特征映射上的预测框的最小边长就是上一个特征映射上的最大边长，第二个特征映射的预测框的最大边长按照以下公式获得。其他的特征映射上的预测框的尺寸依次类推。因此，每个特征映射对应预测框的最小边长min_size和最大边长max_size由以下公式决定：
公式中，m是使用特征映射的数量(SSD 300中，m＝6)，第k层的min_size＝Sk，第k层的max_size＝Sk+1。
如图2所示，正方形预测框的最小边长为min_size，最大边长为
每在prototxt(SSD目标检测算法中写入参数的一个文件)设置一个宽高比(aspect ratio)，会生成2个长方形，长宽为：
和
也就是说，生成的长方形预测框的面积是最小边长的平方。中间最小的正方形预测框的面积也是最小边长的平方。只有外侧最大的正方形预测框的面积是最小边长×最大边长。例如，假如其中宽高比＝2，会生成两个正方形和两个长方形的预测框。
图3a是根据本公开的一种由裂纹所产生的不规则损伤的示意图；图3b是根据本公开的一种由穿孔所产生的不规则损伤的示意图；图3c是根据本公开的一种由铆钉所产生的不规则损伤的示意图；图3d是根据本公开的一种由划痕所产生的不规则损伤的示意图；以及图3e是根据本公开的一种由掉漆所产生的不规则损伤的示意图。
图4是根据本公开的一种损伤检测方法的效果图。数据集的制作需要使用图像标定软件，在图像上将损伤框出来，该软件会将损伤的类型和位置信息保存在xml类型的文件当中。但是用来标定待检测对象的标定框只有非倾斜的矩形框，如图4所示。在待检测对象或者待检测物体为不规则结构时，如图3a-图3e所示的飞机蒙皮损伤检测过程中所遇到的那些不规则的损伤类型(例如，裂纹和掉漆)，由于这类损伤的形状不规则，会出现较多的倾斜状的损伤。此时，采用图4所示的常规的标定框对这类损伤进行检测时，标定框内会引入较多的背景信息，进而会降低标定和检测的精度。
本公开内容使得检测的过程也能产生倾斜的矩形框，并保留倾斜角度的信息，而倾斜框的使用，尤其是针对掉漆、裂纹等这种形状不规则的损伤，能够更好的贴合损伤的边缘，减少背景信息的引入。
图5是根据本公开的一实施例的一种用于对待检测对象进行检测的方法的流程图。如图5所示，本公开实施例提供一种用于对待检测对象进行检测的方法，该方法可产生倾斜的预测框，进而可以提高待检测对象的标定和检测的精度和效率，该方法包括：
步骤S1，获取包含待检测对象的图像的数据。待检测对象可以是各种损伤，但不限于此。具体地，待检测对象可以是图3a至图3e所示的飞机蒙皮的各种不规则的损伤形状，如裂纹或者掉漆等形状。包含这些损伤的图像数据可以预先拍摄并存储在存储器中，然后在该方法执行时，从存储器中获取图像数据。可替代地，可以通过图像传感器，例如摄像头等，拍摄各种损伤的图像，并通过有线或无线通信方式直接从传感器中接收所拍摄的图像。
步骤S3，分析图像的数据以确定待检测对象的位置信息和倾斜角度。具体地，可以对先前获取的包括有待检测对象和背景信息的图像进行图像识别分析，确定待检测对象的位置、形状、尺寸、倾斜角度等各种信息，其中图像分析的方法可采用已知方法。
步骤S5，根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度。在确定待检测对象的位置信息和倾斜角度之后，根据上述位置信息和倾斜角度预估出预测框的位置信息和倾斜角度。位置信息可至少包括左上角位置信息和右下角位置信息，但不限于此。一般情况下，预测框为矩形框或者方框结构，因此，可以利用所确定出的左上角位置信息和右下角位置信息预估出预测框的大致位置和尺寸；另外，本实施例中的预测框的倾斜角度包括0°、180°和其他角度，例如，5°、15°、25°……175°等。
步骤S7，根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框。在获得左上角位置信息、右下角位置信息和倾斜角度后，根据上述信息生成与待检测对象相匹配的预测框。本实施例中的相匹配可以是指：预测框的尺寸大小、倾斜角度与待检测对象的尺寸大小、倾斜角度相同；或者，预测框的尺寸大小、倾斜角度与待检测对象的尺寸大小、倾斜角度的相似度均大于预设的相似度阈值。例如，当待检测对象的倾斜为30°，则所生成的预测框的倾斜角度可以为30°，以使得预测框与待检测对象的倾斜角度尽量一致，从而可以有效地减少预测框中的背景信息量。
步骤S9，利用预测框对待检测对象进行检测。在确定预测框之后，利用预测框对待检测对象进行检测。还可以对位于预测框中的待检测对象进行其他检测处理。由于预测框与待检测对象的匹配度较高，从而减少了图像检测过程中背景信息的引入，使得检测结果更加准确。
本公开的实施例提供的用于对待检测对象进行检测的方法，通过确定用于生成预测框的例如左上角位置信息、右下角位置信息的位置信息以及倾斜角度，根据位置信息以及倾斜角度生成与待检测对象相匹配的预测框，利用预测框对待检测对象进行检测处理，有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确。而且，本实施例中的预测框可以更好地贴合待检测对象的形状边缘，进一步提升了检测的精度，从而有效地提高了该方法使用的稳定可靠性。
图6为根据本公开的一示例性实施例的根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框的流程图。本实施例对于根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设定，优选的，如图6所示，根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框包括：
步骤S71，利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框。为了预测出与标定框尽量接近的预测框，SSD神经网络可以根据位置信息和倾斜角度，在图像上设定大量粗略的预测框，这些预测框并不能很好的和标定框吻合，因此，还需要对预测框进行调整。
步骤S73，获取对待检测对象预设的标定框。标定框可以作为调整预测框的参考标准，该标定框可以为待检测对象的外轮廓，或者标定框也可以是指基于待检测对象的外轮廓所生成的标定区域。标定框可以是人根据待标定图像的外轮廓或形状而预设的方形或矩形框。
步骤S75，在多个预测框之中确定与标定框相匹配的预测框。在获得SSD神经网络生成的多个预测框和预设的标定框之后，可以将标定框与多个预测框中的每一预测框在某一或某些方面进行对照或者测量每一预测框与标定框之间的交叠面积等，根据对照或测量结果从多个预测框中选出与标定框相匹配的预测框。
图7为根据本公开的一示例性实施例的在多个预测框之中确定与标定框相匹配的预测框的流程图。本实施例对于在多个预测框之中确定与标定框相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设置，优选的，如图7所示，本实施例的在多个预测框之中确定与标定框相匹配的预测框可包括：
S751：判定标定框的倾斜角度是否为0°；
S753：当标定框的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者
S755：当标定框的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
通过判定标定框的倾斜角度是否为0°，并基于判定结果在非倾斜的预测框或者倾斜的预测框中确定与标定框相匹配的预测框。若标定框的倾斜角度为0°时，则在多个预测框之中的非倾斜的预测框(正预测框)中确定与标定框相匹配的预测框，由于减少了要考虑的预测框的数量，从而可节省后续步骤的工作量。
图8为根据本公开的另一示例性实施例的在多个预测框之中确定与标定框相匹配的预测框的流程图。本实施例对于在多个预测框之中确定与标定框相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设置，优选的，如图8所示，在多个预测框之中确定与标定框相匹配的预测框可包括：
步骤S757，获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；其中，对象类别信息可包括人物、动物、景色或者建筑物等等。
步骤S759，根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。具体的，在获取到尺寸信息、位置信息、倾斜角度和对象类别信息之后，可以依据尺寸信息、位置信息、倾斜角度和对象类别信息对预测框的位置信息和尺寸信息等进行调整，并且，还可以利用标定框的倾斜角度对预测框的倾斜角度进行调整；例如，当标定框的尺寸较大时，可以根据标定框的尺寸信息和位置信息将预测框调大；当标定框的尺寸较小时，可以根据标定框的尺寸信息和位置信息将预测框调小。当标定框的位置为倾斜位置时，可确定标定框的倾斜角度，根据该倾斜角度可确定用于调整预测框的倾斜角度，通过该倾斜角度对预测框进行旋转调整，以使得预测框与标定框相匹配。当然的，本领域技术人员还可以根据设计需求采用其他的是实现方式，在此不再赘述。
需要注意的是，本实施例中图8所示的技术方案与上述图7所示的实施例中的步骤是相互独立的，二者可以相互单独实施，也可以结合再一起实施。例如，本实施例的各步骤可针对通过图7所示的方式而获得的多个倾斜或非倾斜的预测框实施，有效地提高了执行效率，同时进一步提高了该方法的精度。
图9为根据本公开的一示例性实施例的根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框的流程图。在上述实施例的基础上，继续参考附图8可知，对于根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设置，优选的，如图9所示，本实施例中的根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框可包括：
步骤S7591，获取多个预测框中的每一个预测框与标定框之间的交叠面积。其中，交叠面积为预测框与标定框的重合区域的面积，可以先获取预测框所占的区域A，而后获取标定框所占的区域B，交叠面积即为A∩B的面积。可替代地，可获取所有的预测框的每一个与标定框之间的交叠面积比例。在多个预测框中确定与最大的交叠面积比例所对应的预测框为最大预测框，然后，对最大预测框的位置信息和尺寸信息等进行调整，获取与标定框相匹配的预测框。交叠面积比例＝交叠面积/(预测框所在面积+标定框所在面积)。
步骤S7593，在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框。由于有多个预测框，因此可以获得多个交叠面积，其中，需要说明的是，当预测框与标定框完全没有重合区域时，交叠面积为0。在获得多个交叠面积时，可以比较交叠面积的大小，获得交叠面积中最大的交叠面积，根据最大的交叠面积确定相对应的最大预测框，该最大预测框即为与标定框相似度较高的预测框。
步骤S7595，根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。在确定最大预测框之后，利用标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框的位置信息和尺寸信息等进行调整，以使得最大预测框可以与标定框更加匹配，从而获取到与标定框相匹配的预测框。
通过上述方式获取与标定框相匹配的预测框，不仅保证了预测框确定的准确性，并且该预测框还可以为倾斜的预测框，预测框可以更好地贴合待检测对象的形状边缘，进一步提高了检测的精度，并且也提高了该方法的适用范围。
图10是根据本公开的实施例的一种损伤检测方法的效果图。如图10所示，通过应用上述方法，利用倾斜的预测框以更好地贴合待检测对象的形状边缘，有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确，进而提高检测的准确率。
本公开的应用例将上述对象检测方法应用于对飞机蒙皮损伤检测过程中遇到的不规则损伤类型(比如铆钉损伤、穿孔、划痕、裂纹、掉漆等五种损伤)的检测。虽然这些损伤的形状不规则，会出现较多的倾斜状的损伤，但用本公开的实施例的上述方法对这类损伤进行检测时，利用倾斜的预测框更好地贴合待检测对象的形状边缘，有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确，进而提高检测的准确率。
与常规的非倾斜的预测框相比，应用本公开的实施例需要对标定软件及目标检测的网络进行修改，以便目标检测的过程中既可以标定正矩形框也可以标定旋转一定角度后的矩形框，并且SSD可以对任意的矩形框进行识别和匹配。
1、可以对目标检测中对图像进行手工标定的软件进行修改，使得标定软件不仅可以标定常见的正矩形框，还可以保存旋转一定角度的倾斜的矩形框，尤其是在飞机蒙皮上出现裂纹、掉漆两类损伤的情况下。本应用例中，除了获取用于生成预测框的左上角位置信息(坐标信息)和右下角位置信息(坐标信息)之后，还需要保存标定用的矩形框的倾斜角度信息，例如0°、45°等。这样，对具有一定倾斜角度的裂纹、掉漆等类别的损伤进行标定时，可以尽量的减少其他背景信息的引入。
2、为了预测出与标定框尽量接近的预测框，SSD神经网络可以根据预先设定的长宽比以及尺寸大小，在图像上设定大量粗略设定的预测框，这些预测框并不能很好的和标定框吻合，训练SSD神经网络可以让网络学习如何调整这些预测框的位置以及大小，以便吻合标定框，并且一个标定框仅对应一个预测框。
对于一个确定的标定框，网络将会选取最接近标定框的预测框去吻合。由于标定的形式发生了改变，为了使网络同样能识别并且匹配到旋转了一定角度后的矩形框，将改变传统的目标检测算法——SSD的网络结构，使得SSD可以生成旋转一定角度的预测框，在与标定框进行匹配时，程序首先对标定框的倾斜角度的参数进行判断，若倾斜角度为0°，则选用非倾斜的矩形框进行匹配；若参数为θ°，则选用旋转θ°后的矩形框进行匹配，如图10所示；然后，通过计算与标定框的交叠面积进行左上和右下角的位置匹配。
具体的，在训练时，标定框与预测框(就是先验框)按照如下方式(1)或(2)进行配对：
(1)获取与每一个标定框的相似度最大的预测框
寻找与每一个标定框有最大的雅卡尔交叠面积(jaccard overlap)的预测框，这样，就能保证每一个标定框与唯一的一个预测框对应起来(所谓的交叠面积就是IOU)，其中，IOU＝SI/(SA+SB-SI)，SI为标定框与预测框的重叠区域，SA可以为标定框所在区域，SB可以为预测框所在区域，其中，该IOU越大，则说明标定框与预测框之间的相关性越高。
(2)对预测框进行匹配
SSD还可以将所有预测框与任意一个标定框尝试配对，具体的匹配过程可以通过以下公式来实现，只要两者之间的交叠面积大于阈值(用户预先设置或者系统默认的)，就认为匹配(SSD 300阈值为0.5)，这样可以有效地减少漏检情况的产生。
其中，x是雅卡尔(jaccard)系数，范围为(0，1)；c是置信度，l是预测框，g是标定框，Lconf是置信损失，Lloc是定位损失，α是预设参数。需要说明的是，置信损失和定位损失公式均可以采用现有技术中的实现方式来获取。
(3)背景信息与待检测对象的识别
显然配对到标定框的预测框就是正(positive)，没有配对到标定框的预测框就是负(negative)，其中，被设置为正的匹配框被用于让网络认知到图像中哪些位置是待检测对象，而设置为负的匹配框被用于让网络认知到哪些位置是背景。
本实施例提供的方法，可以有效地减少了图像检测过程中背景信息的引入，使得检测结果更加准确，此外，具有倾斜角度的预测框可以更好的贴合标定框内的物体的形状边缘，提升了检测的准确率，从而有效地保证了该方法实施的准确可靠性。
图11为根据本公开的一实施例的一种用于对待检测对象进行检测的装置的方框图。如图11所示，本实施例提供了一种用于对待检测对象进行检测的装置10，该装置执行上述检测方法，该装置10包括：图像获取模块101，被配置为获取包含待检测对象的图像的数据；图像分析模块103，被配置为分析图像的数据以确定待检测对象的位置信息和倾斜角度；预测框信息确定模块105，被配置为根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；预测框生成模块107，被配置为根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框；以及检测模块109，被配置为利用预测框对待检测对象进行检测。
本实施例对于图像获取模块101、图像分析模块103、预测框信息确定模块105、预测框生成模块107和检测模块109的具体配置不作限定，本领域技术人员可以根据其实现的功能和作用对其进行任意设置，在此不再赘述。另外，本实施例中图像获取模块101、图像分析模块103、预测框信息确定模块105、预测框生成模块107和检测模块109所实现的操作步骤的具体实现过程以及实现效果与上述实施例中步骤S1至S9的具体实现过程以及实现效果相同，具体可参考上述陈述内容，在此不再赘述。
在上述实施例的基础上，继续参考附图11可知，本实施例对于预测框生成模块107根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设置，优选的，在预测框生成模块107根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框时，该预测框生成模块107可配置为：利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框；获取对待检测对象预设的标定框；以及在多个预测框之中确定与标定框相匹配的预测框。
在预测框生成模块107在多个预测框之中确定与标定框相匹配的预测框时，该预测框生成模块107可配置为：判定待检测对象的倾斜角度是否为0°；当待检测对象的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者当待检测对象的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
进一步的，本实施例对于预测框生成模块107在多个预测框之中确定与标定框相匹配的预测框的具体实现方式不作限定，本领域技术人员可以根据具体的设计需求进行设置，优选的，本实施例中的另一种实现方式可为：在预测框生成模块107在多个预测框之中确定与标定框相匹配的预测框时，该预测框生成模块107可配置为：获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。
在预测框生成模块107根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框时，该预测框生成模块107可配置为：获取多个预测框中的每一个预测框与标定框之间的交叠面积；在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。
本实施例提供的用于对待检测对象进行检测的装置能够用于执行图5至图9所示的方法，其具体执行方式和有益效果类似针对方法所进行的描述，在此不再赘述。
根据本公开实施例的一种用于对待检测对象进行检测的装置，包括：存储器和处理器，处理器连接至存储器，存储器存储有处理器执行的程序指令，处理器在执行程序指令时能够执行以上的方法。
图12为根据本公开的一实施例的一种用于对待检测对象进行检测的系统的方框图。如图12所示，根据本公开实施例的一种用于对待检测对象进行检测的系统1，包括：图像采集装置20，用于采集包含待检测对象的图像的数据；以及待检测对象检测装置40。图像采集装置20可包括传感器组件，例如，相机。待检测对象检测装置40可是上述的装置10，可替代地，也可以是处理器等。
根据本公开实施例的一种计算机可读存储介质，其中，计算机可读存储介质上存储有包括程序指令的计算机程序，程序指令在被处理器执行时执行以上的方法。
根据本公开实施例的一种处理器，处理器用于运行程序，其中，程序运行时执行以上的方法。
根据本公开实施例的一种计算机程序产品，其中，计算机程序产品包括存储在非暂时性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行以上的方法。
图13为根据本公开的另一实施例的一种用于对待检测对象进行检测的系统的方框图。如图13所示，系统800可包括以下一个或多个组件：处理器组件802、存储器804、电源组件806、多媒体组件808、音频组件810、输入/输出(I/O)接口812、传感器组件814以及通信组件816。
处理器组件802通常控制系统800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理器组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理器组件802可以包括一个或多个模块，便于处理器组件802和其他组件之间的交互。例如，处理器组件802可以包括多媒体模块，以方便多媒体组件808和处理器组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在系统800的操作。这些数据的示例包括用于在系统800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图像、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件806为系统800的各种组件提供电力。电源组件806可以包括电源管理系统、一个或多个电源、及其他与为系统800生成、管理和分配电力相关联的组件。
多媒体组件808包括在系统800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当系统800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理器组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为系统800提供各个方面的状态评估和数据采集。例如，传感器组件814可以检测到系统800的打开/关闭状态，组件的相对定位，例如组件为系统800的显示器和小键盘，传感器组件814还可以检测系统800或系统800一个组件的位置改变，用户与系统800接触的存在或不存在，系统800方位或加速/减速和系统800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括摄像头组件，摄像头可采用如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件816被配置为便于系统800和其他设备之间有线或无线方式的通信。系统800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，系统800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
本公开实施例中的各个功能单元或组件可以集成在一个处理模块中，也可以是各个单元单独的物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现，并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。上述提到的存储介质可以是只读存储器、磁盘或光盘等。以上所描述的装置实施例仅仅是示意性的，例如单元或模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的，作为单元或模块显示的部件可以是或者也可以不是物理单元或模块，即可以位于一个地方，或者也可以分布到多个网络单元或模块上。可以根据实际的需要选择其中的部分或者全部单元或模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元或模块可以集成在一个处理单元或模块中，也可以是各个单元或模块单独物理存在，也可以两个或两个以上单元或模块集成在一个单元或模块中。上述集成的单元或模块既可以采用硬件的形式实现，也可以采用软件功能单元或模块的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(例如，电路)来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
本公开还可配置如下：
(1)一种用于对待检测对象进行检测的方法，包括：
获取包含待检测对象的图像的数据；
分析图像的数据以确定待检测对象的位置信息和倾斜角度；
根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；
根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框；以及
利用预测框对待检测对象进行检测。
(2)根据(1)的方法，其中，根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框包括：
利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框；
获取对待检测对象预设的标定框；以及
在多个预测框之中确定与标定框相匹配的预测框。
(3)根据(2)的方法，其中，在多个预测框之中确定与标定框相匹配的预测框包括：
判定标定框的倾斜角度是否为0°；
当标定框的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者
当标定框的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
(4)根据(2)或(3)的方法，其中，在多个预测框之中确定与标定框相匹配的预测框包括：
获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；以及
根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。
(5)根据(4)的方法，其中，根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框包括：
获取多个预测框中的每一个预测框与标定框之间的交叠面积；
在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及
根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。
(6)一种用于对待检测对象进行检测的装置，包括：
图像获取模块，被配置为获取包含待检测对象的图像的数据；
图像分析模块，被配置为分析图像的数据以确定待检测对象的位置信息和倾斜角度；
预测框信息确定模块，被配置为根据待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；
预测框生成模块，被配置为根据用于生成预测框的位置信息和倾斜角度来生成与待检测对象相匹配的预测框；以及
检测模块，被配置为利用预测框对待检测对象进行检测。
(7)根据(6)的装置，其特征在于，预测框生成模块进一步被配置为：
利用预设的单拍多框检测器(SSD)神经网络，根据用于生成预测框的位置信息和倾斜角度生成多个预测框；
获取对待检测对象预设的标定框；以及
在多个预测框之中确定与标定框相匹配的预测框。
(8)根据(7)的装置，其特征在于，预测框生成模块进一步被配置为：
判定标定框的倾斜角度是否为0°；
当标定框的倾斜角度为0°时，在多个预测框之中的非倾斜的预测框中确定与标定框相匹配的预测框；或者
当标定框的倾斜角度不为0°时，在多个预测框之中的倾斜的预测框中确定与标定框相匹配的预测框。
(9)根据(7)或(8)的装置，其特征在于，预测框生成模块进一步被配置为：
获取标定框的尺寸信息、位置信息、倾斜角度和位于标定框内的对象类别信息中的至少一项；以及
根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对预测框进行调整以获取与标定框相匹配的预测框。
(10)根据权利要求(9)的装置，其特征在于，预测框生成模块进一步被配置为：
获取多个预测框中的每一个预测框与标定框之间的交叠面积；
在多个预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及
根据标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对最大预测框进行调整，以获取与标定框相匹配的预测框。
(11)一种用于对待检测对象进行检测的装置，其中，包括：存储器和处理器，处理器连接至存储器，存储器存储有处理器执行的程序指令，处理器在执行程序指令时能够执行(1)至(5)中任一项的方法。
(12)一种用于对待检测对象进行检测的系统，其中，包括：图像采集装置，用于采集包含待检测对象的图像的数据；以及根据(6)至(11)中的任一项的用于对待检测对象进行检测的装置。
(13)一种计算机可读存储介质，其中，计算机可读存储介质上存储有包括程序指令的计算机程序，程序指令在被处理器执行时执行(1)至(5)中任一项的方法。
(14)一种处理器，其中，处理器用于运行程序，其中，程序运行时执行(1)至(5)中任一项的方法。
(15)一种计算机程序产品，其中，计算机程序产品包括存储在非暂时性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行(1)至(5)中任一项的方法。
以上仅是本公开的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。
Claims (13)
1.一种用于对待检测对象进行检测的方法，其特征在于，包括：
获取包含所述待检测对象的图像的数据；
分析所述图像的数据以确定所述待检测对象的位置信息和倾斜角度；
根据所述待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；
根据用于生成所述预测框的位置信息和倾斜角度来生成与所述待检测对象相匹配的所述预测框；以及
利用所述预测框对所述待检测对象进行检测。
2.根据权利要求1所述的方法，其特征在于，根据用于生成所述预测框的位置信息和倾斜角度来生成与所述待检测对象相匹配的所述预测框包括：
利用预设的单拍多框检测器(SSD)神经网络，根据用于生成所述预测框的位置信息和倾斜角度生成多个预测框；
获取对所述待检测对象预设的标定框；以及
在多个所述预测框之中确定与所述标定框相匹配的预测框。
3.根据权利要求2所述的方法，其特征在于，在多个所述预测框之中确定与所述标定框相匹配的预测框包括：
判定所述标定框的倾斜角度是否为0°；
当所述标定框的倾斜角度为0°时，在多个所述预测框之中的非倾斜的预测框中确定与所述标定框相匹配的所述预测框；或者
当所述标定框的倾斜角度不为0°时，在多个所述预测框之中的倾斜的预测框中确定与所述标定框相匹配的所述预测框。
4.根据权利要求2或3所述的方法，其特征在于，在多个所述预测框之中确定与所述标定框相匹配的预测框包括：
获取所述标定框的尺寸信息、位置信息、倾斜角度和位于所述标定框内的对象类别信息中的至少一项；以及
根据所述标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对所述预测框进行调整以获取与所述标定框相匹配的所述预测框。
5.根据权利要求4所述的方法，其特征在于，根据所述标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对所述预测框进行调整以获取与所述标定框相匹配的所述预测框包括：
获取多个所述预测框中的每一个预测框与所述标定框之间的交叠面积；
在多个所述预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及
根据所述标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对所述最大预测框进行调整，以获取与所述标定框相匹配的预测框。
6.一种用于对待检测对象进行检测的装置，其特征在于，包括：
图像获取模块，被配置为获取包含所述待检测对象的图像的数据；
图像分析模块，被配置为分析所述图像的数据以确定所述待检测对象的位置信息和倾斜角度；
预测框信息确定模块，被配置为根据所述待检测对象的位置信息和倾斜角度来确定用于生成预测框的位置信息和倾斜角度；
预测框生成模块，被配置为根据用于生成所述预测框的位置信息和倾斜角度来生成与所述待检测对象相匹配的所述预测框；以及
检测模块，被配置为利用所述预测框对所述待检测对象进行检测。
7.根据权利要求6所述的装置，其特征在于，所述预测框生成模块进一步被配置为：
利用预设的单拍多框检测器(SSD)神经网络，根据用于生成所述预测框的位置信息和倾斜角度生成多个预测框；
获取对所述待检测对象预设的标定框；以及
在多个所述预测框之中确定与所述标定框相匹配的预测框。
8.根据权利要求7所述的装置，其特征在于，所述预测框生成模块进一步被配置为：
判定所述标定框的倾斜角度是否为0°；
当所述标定框的倾斜角度为0°时，在多个所述预测框之中的非倾斜的预测框中确定与所述标定框相匹配的所述预测框；或者
当所述标定框的倾斜角度不为0°时，在多个所述预测框之中的倾斜的预测框中确定与所述标定框相匹配的所述预测框。
9.根据权利要求7或8所述的装置，其特征在于，所述预测框生成模块进一步被配置为：
获取所述标定框的尺寸信息、位置信息、倾斜角度和位于所述标定框内的对象类别信息中的至少一项；以及
根据所述标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对所述预测框进行调整以获取与所述标定框相匹配的所述预测框。
10.根据权利要求9所述的装置，其特征在于，所述预测框生成模块进一步被配置为：
获取多个所述预测框中的每一个预测框与所述标定框之间的交叠面积；
在多个所述预测框中确定与最大的交叠面积对应的预测框，作为最大预测框；以及
根据所述标定框的尺寸信息、位置信息、倾斜角度和对象类别信息中的至少一项对所述最大预测框进行调整，以获取与所述标定框相匹配的预测框。
11.一种用于对待检测对象进行检测的装置，其特征在于，包括：存储器和处理器，所述处理器连接至所述存储器，所述存储器存储有所述处理器执行的程序指令，所述处理器在执行程序指令时能够执行根据权利要求1至5中任一项所述的方法。
12.一种用于对待检测对象进行检测的系统，其特征在于，包括：图像采集装置，用于采集包含所述待检测对象的图像的数据；以及根据权利要求6至11中的任一项所述的用于对待检测对象进行检测的装置。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有包括程序指令的计算机程序，所述程序指令在被处理器执行时执行根据权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117719.6A CN111582257A (zh) | 2019-02-15 | 2019-02-15 | 用于对待检测对象进行检测的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910117719.6A CN111582257A (zh) | 2019-02-15 | 2019-02-15 | 用于对待检测对象进行检测的方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111582257A true CN111582257A (zh) | 2020-08-25 |
Family
ID=72114805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910117719.6A Pending CN111582257A (zh) | 2019-02-15 | 2019-02-15 | 用于对待检测对象进行检测的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582257A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053333A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的方坯检测方法、系统、设备及介质 |
| CN112669292A (zh) * | 2020-12-31 | 2021-04-16 | 上海工程技术大学 | 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法 |
| CN112798020A (zh) * | 2020-12-31 | 2021-05-14 | 中汽研（天津）汽车工程研究院有限公司 | 一种用于评估智能汽车定位精度的系统及方法 |
| CN113189598A (zh) * | 2021-05-13 | 2021-07-30 | 无锡德林海环保科技股份有限公司 | 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法 |
| CN114687012A (zh) * | 2022-02-25 | 2022-07-01 | 武汉智目智能技术合伙企业(有限合伙) | 一种针对高含杂量原棉的高效异纤清除装置以及清除方法 |
| CN114757875A (zh) * | 2022-03-08 | 2022-07-15 | 深圳集智数字科技有限公司 | 一种金属裂纹检测方法、装置、电子设备及存储介质 |
| CN114757875B (zh) * | 2022-03-08 | 2024-10-22 | 深圳须弥云图空间科技有限公司 | 一种金属裂纹检测方法、装置、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169313A1 (en) * | 2015-12-14 | 2017-06-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
| CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN107742093A (zh) * | 2017-09-01 | 2018-02-27 | 国网山东省电力公司电力科学研究院 | 一种红外图像电力设备部件实时检测方法、服务器及系统 |
| CN108009990A (zh) * | 2017-11-30 | 2018-05-08 | 北京小米移动软件有限公司 | 倾斜对象处理方法及装置 |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN108268869A (zh) * | 2018-02-13 | 2018-07-10 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN108460413A (zh) * | 2018-02-12 | 2018-08-28 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络的训练方法、装置以及设备 |
| CN108846826A (zh) * | 2018-04-24 | 2018-11-20 | 深圳大学 | 物体检测方法、装置、图像处理设备及存储介质 |
| CN108875577A (zh) * | 2018-05-11 | 2018-11-23 | 深圳市易成自动驾驶技术有限公司 | 目标检测方法、装置及计算机可读存储介质 |
| CN109145931A (zh) * | 2018-09-03 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 物体检测方法、装置及存储介质 |
-
2019
- 2019-02-15 CN CN201910117719.6A patent/CN111582257A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169313A1 (en) * | 2015-12-14 | 2017-06-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
| CN107038448A (zh) * | 2017-03-01 | 2017-08-11 | 中国科学院自动化研究所 | 目标检测模型构建方法 |
| CN107563412A (zh) * | 2017-08-09 | 2018-01-09 | 浙江大学 | 一种基于深度学习的红外图像电力设备实时检测方法 |
| CN107742093A (zh) * | 2017-09-01 | 2018-02-27 | 国网山东省电力公司电力科学研究院 | 一种红外图像电力设备部件实时检测方法、服务器及系统 |
| CN108009990A (zh) * | 2017-11-30 | 2018-05-08 | 北京小米移动软件有限公司 | 倾斜对象处理方法及装置 |
| CN108052946A (zh) * | 2017-12-11 | 2018-05-18 | 国网上海市电力公司 | 一种基于卷积神经网络的高压机柜开关自动识别方法 |
| CN108460413A (zh) * | 2018-02-12 | 2018-08-28 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络的训练方法、装置以及设备 |
| CN108268869A (zh) * | 2018-02-13 | 2018-07-10 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN108846826A (zh) * | 2018-04-24 | 2018-11-20 | 深圳大学 | 物体检测方法、装置、图像处理设备及存储介质 |
| CN108875577A (zh) * | 2018-05-11 | 2018-11-23 | 深圳市易成自动驾驶技术有限公司 | 目标检测方法、装置及计算机可读存储介质 |
| CN109145931A (zh) * | 2018-09-03 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 物体检测方法、装置及存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112053333A (zh) * | 2020-08-31 | 2020-12-08 | 中冶赛迪重庆信息技术有限公司 | 一种基于机器视觉的方坯检测方法、系统、设备及介质 |
| CN112053333B (zh) * | 2020-08-31 | 2023-04-07 | 中冶赛迪信息技术(重庆)有限公司 | 一种基于机器视觉的方坯检测方法、系统、设备及介质 |
| CN112669292A (zh) * | 2020-12-31 | 2021-04-16 | 上海工程技术大学 | 一种实现飞机蒙皮喷漆表面缺陷检测与分类的方法 |
| CN112798020A (zh) * | 2020-12-31 | 2021-05-14 | 中汽研（天津）汽车工程研究院有限公司 | 一种用于评估智能汽车定位精度的系统及方法 |
| CN112798020B (zh) * | 2020-12-31 | 2023-04-07 | 中汽研（天津）汽车工程研究院有限公司 | 一种用于评估智能汽车定位精度的系统及方法 |
| CN113189598A (zh) * | 2021-05-13 | 2021-07-30 | 无锡德林海环保科技股份有限公司 | 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法 |
| CN113189598B (zh) * | 2021-05-13 | 2021-12-07 | 无锡德林海环保科技股份有限公司 | 一种湖床盆地快速定位及淤泥分布及厚度快速测定方法 |
| CN114687012A (zh) * | 2022-02-25 | 2022-07-01 | 武汉智目智能技术合伙企业(有限合伙) | 一种针对高含杂量原棉的高效异纤清除装置以及清除方法 |
| CN114757875A (zh) * | 2022-03-08 | 2022-07-15 | 深圳集智数字科技有限公司 | 一种金属裂纹检测方法、装置、电子设备及存储介质 |
| CN114757875B (zh) * | 2022-03-08 | 2024-10-22 | 深圳须弥云图空间科技有限公司 | 一种金属裂纹检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582257A (zh) | 用于对待检测对象进行检测的方法、装置及系统 | |
| US9953506B2 (en) | Alarming method and device | |
| CN109961009B (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
| RU2577188C1 (ru) | Способ, аппарат и устройство для сегментации изображения | |
| US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
| CN108629354B (zh) | 目标检测方法及装置 | |
| US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
| RU2596580C2 (ru) | Способ и устройство для сегментации изображения | |
| WO2017020514A1 (zh) | 图片场景判定方法、装置以及服务器 | |
| WO2019104953A1 (zh) | 定位方法及装置、移动终端 | |
| WO2020088069A1 (zh) | 手势关键点检测方法、装置、电子设备及存储介质 | |
| WO2019041519A1 (zh) | 目标跟踪装置、方法及计算机可读存储介质 | |
| CN107613202B (zh) | 一种拍摄方法及移动终端 | |
| CN105631406B (zh) | 图像识别处理方法和装置 | |
| CN106228556B (zh) | 图像质量分析方法和装置 | |
| EP2843625A1 (en) | Method for synthesizing images and electronic device thereof | |
| CN105528606A (zh) | 区域识别方法及装置 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| US9633444B2 (en) | Method and device for image segmentation | |
| CN104268864B (zh) | 卡片边缘提取方法和装置 | |
| CN105678242A (zh) | 手持证件模式下的对焦方法和装置 | |
| CN111832561B (zh) | 基于计算机视觉的字符序列识别方法、装置、设备和介质 | |
| CN110910445A (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
| CN109584262A (zh) | 基于遥感影像的云检测方法、装置及电子设备 | |
| CN114332149A (zh) | 图像分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |