CN111680733A - 组分检测、样本库建立方法、装置、平台、系统及介质 - Google Patents
组分检测、样本库建立方法、装置、平台、系统及介质 Download PDFInfo
- Publication number
- CN111680733A CN111680733A CN202010487320.XA CN202010487320A CN111680733A CN 111680733 A CN111680733 A CN 111680733A CN 202010487320 A CN202010487320 A CN 202010487320A CN 111680733 A CN111680733 A CN 111680733A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- sample
- type
- candidate frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000000463 material Substances 0.000 claims abstract description 246
- 239000013598 vector Substances 0.000 claims abstract description 131
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 239000002994 raw material Substances 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 36
- 238000012795 verification Methods 0.000 claims description 34
- 238000010276 construction Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 26
- 239000002699 waste material Substances 0.000 claims description 26
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 6
- 238000011179 visual inspection Methods 0.000 abstract description 6
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 37
- 230000008569 process Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 5
- 238000010845 search algorithm Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种组分检测、样本库建立方法、装置、平台、系统及介质,通过获取各类物料的样本图从而预先建立样本库;通过获取包含待检测对象的待检测图像,提取各预设候选框在待检测图像中的区域所对应的特征向量,并将各预设候选框所对应的特征向量与预先建立的样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在待检测图像中的区域,确定出待检测对象中各类型物料的占比。此外,还可以通过核验端对占比数据进行核验,以最终确定是否核验通过。相对于传统的目测或者局部取样的检测方式而言,检测结果更少依赖于人类经验,检测结果相对更为精准,可以满足工业需要以及市场需求。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种组分检测、样本库建立方法、装置、平台、系统及介质。
背景技术
目前,建筑垃圾处置行业缺乏对建筑垃圾原料组分精准的定性分析手段,大多数企业采用的都是目测或者局部取样的检测方式,这就导致检测结果相对模糊。而对建筑垃圾组分性质的认知不清,导致后续处置工艺、技术、设备在研发选取上缺乏针对性、高效性,同时也会导致建筑垃圾质量评测体系无法建立,从而无法满足未来建筑垃圾“按质论价”的市场需求。
发明内容
本申请实施例的目的在于提供一种组分检测、样本库建立方法、装置、平台、系统及介质,用以解决目前通过目测或者局部取样的检测方式的检测结果相对模糊,无法满足工业需要以及市场需求的问题。
本申请实施例提供了一种组分检测方法,包括:获取待检测图像;所述待检测图像中包含待检测对象;提取各预设候选框在所述待检测图像中的区域所对应的特征向量;将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比。
在上述实现过程中,通过预设候选框以及特征提取,得到待检测图像中各预设候选框对应区域所对应的特征向量,进而将各预设候选框对应区域的特征向量与样本库中各物料的特征向量进行比对,从而得以确定出各预设候选框对应区域对应的物料类型,进而即可根据各物料类型所对应的预设候选框在待检测图像中的区域,确定出待检测对象中各类型物料的占比,从而实现对于待检测对象中各类型物料的占比检测(即实现了对待检测图像中组分检测),相对于传统的目测或者局部取样的检测方式而言,检测结果更少依赖于人类经验,检测结果相对更为精准,可以满足工业需要以及市场需求。
进一步地,所述提取各预设候选框在所述待检测图像中的区域所对应的特征向量,包括:对所述待检测图像进行特征提取,得到所述待检测图像的特征图;在所述特征图中确定各预设候选框所对应的区域;提取各所述区域所对应的特征向量。
进一步地,所述提取各所述区域所对应的特征向量,包括:对各所述区域采用金字塔空间池化,得到各所述区域所对应的特征向量。
应当理解的是,各预设候选框所对应的区域可能大小不一,金字塔空间池化可以将输入的大小不一的区域进行特征提取,得到固定长度的特征向量。同时金字塔空间池化可以对每一区域都从不同角度进行特征提取,因此得到的特征向量的精度更高,可以更全面的表达该区域的特征。
进一步地,所述方法还包括:对所述待检测图像进行选择性搜索,得到所述待检测图像中的各所述预设候选框。
选择性搜索是物体检测领域中常见的算法,其可以有效从图片中定位出物体的位置,并给出给相应的候选区域。在上述实现过程中,通过选择性搜索,可以快速从待检测图像确定出对应有各类物料的候选框。
进一步地,将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型,包括:将各预设候选框所对应的特征向量输入预设的支持向量机SVM模型中,得到各预设候选框所对应的物料类型;所述SVM模型采用所述预设样本库中各物料的特征向量作为样本训练得到。
在样本库中存在各物料的特征向量,因此可以将各预设候选框所对应的物料类型的确定问题看作是一个分类问题。上述实现过程中,通过SVM模型可以基于小样本集即实现高效可靠的类型分类,分类结果可靠,准确性高。
进一步地,根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比,包括:将对应同种物料的相邻预设候选框在所述待检测图像中的区域整合在一起,得到对应各类型物料的子区域;根据各类型物料的子区域占所有物料的子区域总面积的占比,确定所述待检测对象中各类型物料的占比。
进一步地,所述根据各类型物料的子区域占所有物料的子区域总面积的占比,确定所述待检测对象中各类型物料的占比,包括:根据各类型物料的子区域占所有物料的子区域总面积的占比,结合各类型物料的密度信息,计算得到各类型物料占所有物料的质量占比。
在上述实现过程中,在各类型物料的子区域占所有物料的子区域总面积的占比已知的情况下,结合各类型物料的密度信息,即可很容易的得到各类型物料占所有物料的质量占比,从而便于后期根据各物料的质量占比来评价待检测图像中的物料质量,便于进行后续处置工艺、技术及设备的研发与选取,也能够满足“按质论价”的市场需求。
进一步地,所述方法还包括:将确定出的所述待检测对象中各类型物料的占比发送给预设的核验端;接收在核验不通过时,所述核验端返回的卸料原料堆图像;提取各预设候选框在所述卸料原料堆图像中的区域所对应的特征向量;将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在所述卸料原料堆图像中的区域,确定出所述卸料原料堆图像中各类型物料的占比,并发送给所述核验端。
在实际应用过程中,拍摄诸如建筑垃圾等混合物料堆图片时,拍摄到的往往是表层图像,但实际应用过程中可能存在有“表里不一的情况”,因此需要人工进行现场核验。在上述实现过程中,可以将确定出的待检测对象中各类型物料的占比发送给预设的核验端,由现场人员进行对比,若出现明显偏差较大的情况,则现场人员可以认为核验不通过,从而重新拍摄卸料原料堆图像,重新确定卸料原料堆图像中各类型物料的占比。这样,通过现场核验的方式,提高了对于诸如建筑垃圾等混合物料堆的组分(即混合物料堆中所具有的各类型物料的占比)检测准确性。
本申请实施例还提供了一种样本库建立方法,包括:获取各类型的物料的样本图,各所述样本图标记有对应的物料类型;对各样本图进行底层特征提取,得到各样本图的底层特征图;对提取到的各样本图的底层特征图进行特征编码;将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量,并将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
在上述实现过程中,通过对各类型的物料的样本图进行特征提取、编码、特征融合后,即得到了大量对应于各类型的物料的特征向量。通过这些特征向量作为样本库,即可有效用于诸如对待检测图像中的所含物料类型的分类检测,可以广泛应用于实现诸如建筑垃圾回收或利用等行业中。
进一步地,所述将编码后的各样本图的底层特征进行融合处理,得到各样本图的特征向量,包括:采用空间金字塔匹配算法对编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量。
本申请实施例还提供了一种组分检测装置,包括:第一获取模块、第一提取模块和第一处理模块;所述第一获取模块,用于获取待检测图像;所述待检测图像中包含待检测对象;所述第一提取模块,用于提取各预设候选框在所述待检测图像中的区域所对应的特征向量;所述第一处理模块,用于将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比。
本申请实施例还提供了一种样本库建立装置,包括:第二获取模块、第二提取模块和第二处理模块;所述第二获取模块,用于获取各类型的物料的样本图,各所述样本图标记有对应的物料类型;所述第二提取模块,用于对各样本图进行底层特征提取,得到各样本图的底层特征图;所述第二处理模块,用于对提取到的各样本图的底层特征图进行特征编码;将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量,并将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
本申请实施例还提供了一种智能验收平台,包括:摄像头、处理器、存储器及通信总线;所述通信总线用于实现所述摄像头、处理器和存储器之间的连接通信;所述摄像头用于采集待检测图像,并传输给所述处理器;所述处理器用于执行存储器中存储的一个或者多个程序,以实现上述任一种的方法。
本申请实施例还提供了一种智能验收系统,包括:核验端和上述的智能验收平台;所述核验端用于接收所述智能验收平台确定出的待检测对象中各类型物料的占比,并提供给用户核验;所述核验端还用于在用户确定核验不通过时,拍摄卸料原料堆图像并发送给所述智能验收平台。
本申请实施例中还提供了一种可读存储介质,所述可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一种的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种组分检测方法的流程示意图;
图2为本申请实施例提供的一种预设候选框的分层划分的示意图;
图3为本申请实施例提供的一种样本库建立方法的流程示意图;
图4为本申请实施例提供的一种组分检测装置的结构示意图;
图5为本申请实施例提供的一种样本库建立装置的结构示意图;
图6为本申请实施例提供的一种智能验收平台的结构示意图;
图7为本申请实施例提供的一种智能验收系统的结构示意图;
图8为本申请实施例提供的一种智能验收系统的功能化结构示意图;
图9为本申请实施例提供的一种功能化智能验收系统的流程顺序示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
实施例一:
参见图1所示,图1为本申请实施例中提供的一种组分检测方法,包括:
S101:获取待检测图像。
在本申请实施例中,待检测图像可以由摄像头采集得到。在本申请实施例中,待检测图像中包含有待检测对象。
示例性的,待检测图像可以为建筑垃圾的进场原料图像,此时进场原料堆即为待检测对象。在待检测图像为建筑垃圾的进场原料图像时,可以在地磅间原料车停放位置设置摄像头,从而在进场原料车进入地磅间时,自动采集建筑垃圾的进场原料图像。
在摄像头采集待检测图像时,还可以通过配备相应的光源(比如全光谱光源)来确保拍摄得到的待检测图像的清晰度。
在本申请实施例中,在采集得到待检测图像后,为了便于进行后续处理,还可以先对采集得到的待检测图像进行诸如二值化、图像滤波、降噪、图像增强等预处理,从而消除待检测图像中的干扰信息、增强有用的特征信息,最大限度的简化待检测图像中的有用信息数据。
S102:提取各预设候选框在待检测图像中的区域所对应的特征向量。
S103:将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型。
在本申请实施例的一种可行实施方式中,各预设候选框可以是由工程师根据实际需要自行进行划分的。
应当理解的是,太大的候选框在待检测图像对应的某一物料外的其余内容(即干扰信息)就可能越多,而过多的干扰信息可能导致在与预设样本库中各物料的特征向量进行比对时,与单类型物料的特征向量相差很大,从而导致样本库没有能够与之匹配的类型。而太小的候选框则可能由于仅截取到了物料的某一小部分内容,导致大量物料的特征信息遗失,从而也会导致样本库没有能够与之匹配的类型。而由于不同待检测图像中,各物料所占区域的大小是不固定的,因此单一的预设候选框存在检测不准确的问题。
为解决这一问题,在进行预设候选框划分时,可以设置多层候选框。所谓多层候选框,是指在按照不同的划分方式划分出多个层级的候选框,每一个层级的候选框都会对应待检测图像的一部分区域。比如参见图2所示,在第一层每个搜索框可以为整个待检测图像的八分之一大小,第二层中每个搜索框可以为整个待检测图像的十六分之一大小,第三层中每个搜索框可以为整个待检测图像的三十二分之一大小,等等。
这样,对于较大区域的物料,其可以被某一较大的候选框选中,而对于较小区域的物料,其可以被某一较小的候选框选中。
需要注意的是,在采用上述可行实施方式实现时,可能会存在部分候选框由于具有的干扰信息过多,因此所对应的特征向量在样本库中找不到与其相似的特征向量,而部分候选框由于具有的特征信息过少,所对应的特征向量在样本库中也找不到与其相似的特征向量的情况。对于这些部分候选框,在本申请实施例中可以认为其所对应的物料类型为空,在确定待检测对象中各类型物料的占比时可以将其排除在外,仅采用对应的物料类型不为空的各预设候选框在所述待检测图像中的区域来确定待检测对象中各类型物料的占比。
应当理解的是,前述示例的划分方式仅是本申请实施例中可行的一种划分方式,不代表本申请中仅可采用该方式划分多层候选框。事实上,多层候选框的设置应当由工程师根据实际需要或者多次试验来进行合理的设定。此外,每一层中,各候选框的之间可以有重叠,从而提高每一层的候选框数量,进而提高获取到的对应各类型物料的候选框的准确性和可靠性。
而在本申请实施例的另一种可行实施方式中,也可以采用选择性搜索算法对待检测图像进行候选框搜索,从而得到待检测图像中的各所述预设候选框。
选择性搜索算法是一种物体检测算法,其可以从图像中定位出各个物体的位置,并给出框选出相应物体的候选框。选择性搜索算法中,可以通过设置迭代次数设置候选框粒度。比如,对于同一幅具有一只狗的图像,较低的迭代次数下,可能仅能输出对应于图像中狗的候选框,而在高迭代次数下,则可以在输出对应于图像中狗的候选框的同时,还输出对应于狗的眼睛、鼻子的候选框。在本申请实施例中,可以由工程师根据实际需要设置相应的迭代次数。
应当理解的是,除了选择性搜索算法外,本申请实施例中也可以采用其余的物体检测算法来对待检测图像进行候选框搜索,得到相应的候选框。
通过前述诸如选择性搜索算法等物体检测算法得到的候选框,其可以更贴合于待检测图像中的各物料实际区域,可以排除许多待检测图像中明显不对应于物料的区域。
当然,出于不同物体检测算法的精度的影响,搜索得到的各预设候选框中,也有可能存在部分不对应于物料,或者对应于物料但是区域内干扰信息较多的预设候选框。对此,与上一可行实施方式中类型,这些预设候选框对应的特征向量在与预设样本库中各物料的特征向量进行比对时,样本库中不存在与之类似的特征向量,因此可以确定这些预设候选框所对应的物料类型为空,在确定待检测对象中各类型物料的占比时,可以将这些预设候选框排除在外,仅采用对应的物料类型不为空的各预设候选框在所述待检测图像中的区域来确定待检测对象中各类型物料的占比。
在本申请实施例中,为了得到各预设候选框在待检测图像中的区域所对应的特征向量,可以先对待检测图像进行特征提取,得到待检测图像的特征图,进而再基于特征图中确定各预设候选框所对应的区域,提取出各所述区域所对应的特征向量。
在本申请实施例中,可以采用卷积神经网络对于待检测图像进行特征提取。
由于各预设候选框所对应的区域可能大小不一,而传统方式得到的一个特征向量的长度是与输入的与该特征向量对应的图像大小相匹配的,也即输入的图像大小不同,则得到的特征向量的长度也即不同。而不同长度的特征向量通常不利于进行比对。为此,在本申请实施例中可以对各预设候选框所对应的区域采用金字塔空间池化,从而得到各区域所对应的特征向量。
通过金字塔空间池化,各区域所对应的特征向量的长度可以一致,同时金字塔空间池化可以对每一区域都从不同角度进行特征提取,因此也可以使得得到的特征向量的精度更高,可以更全面的表达各预设候选框所对应的区域的特征。
在本申请实施例中,在将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型时,可以通过以下方式进行比对:
方式一:可以通过分别计算向量各预设候选框所对应的特征向量与预设样本库中各物料的特征向量之间的相似度,并总结其与各类型物料的特征向量之间的总相似度,来确定各预设候选框所对应的物料类型。
示例性的,可以设预设候选框所对应的特征向量为A,样本库中存在第一类型物料的特征向量a1、a2、a3…an,第二类型物料的特征向量b1、b2、b3…bm,分别计算特征向量A与a1、a2、a3…an之间的相似度Ka1、Ka2、Ka3、…Kan、特征向量A与b1、b2、b3…bm之间的相似度Kb1、Kb2、Kb3、…Kbm,根据Ka1、Ka2、Ka3、…Kan计算得到一个对应于第一类型物料的总相似度K1,根据Kb1、Kb2、Kb3、…Kbm计算得到一个对应于第一类型物料的总相似度K2(比如计算Ka1、Ka2、Ka3、…Kan的期望,以该期望作为K1,计算Kb1、Kb2、Kb3、…Kbm的期望,以该期望作为K2)。然后比较K1和K2是否达到预设相似度阈值,若K1达到K2未达到,则确定该预设候选框所对应的物料类型为第一类型物料;若K2达到K1未达到,则确定该预设候选框所对应的物料类型为第二类型物料;若K1、K2均未达到,则确定该预设候选框所对应的物料类型为空。值得注意的是,若K1、K2均达到,此时一种可行的方式是,将K1和K2中较大的一个所对应的物料类型作为该预设候选框所对应的物料类型。
方式二:可以将类型确定问题转换为分类问题,从而预先基于样本库中的各特征向量作为样本,训练得到相应的分类模型(也可以是在对待检测图像进行组分检测的过程中进行训练),对各预设候选框所对应的特征向量进行分类。
示例性的,可以采用SVM(支持向量机)模型来实现对于各预设候选框所对应的物料类型的确定。
S104:根据各物料类型所对应的预设候选框在待检测图像中的区域,确定出待检测对象中各类型物料的占比。
应当理解的是,在本申请实施例中,各预设候选框之间是可以存在重叠区域的。为此,可能存在相邻的多个预设候选框描述的是同一个物料的情况。因此,为了提高对于同一个物料的区域大小定位准确性,可以将对应同种物料的相邻预设候选框在所述待检测图像中的区域整合在一起,从而可以得到各类型物料的子区域。
此后,基于各类型物料的子区域占所有物料的子区域总面积的占比,确定待检测对象中各类型物料的占比。
需要注意的是,在实际应用中,可能存在有对应于同一类型的物料分布在不同位置的情况。此时该类型的物料即会确定出多个子区域。因此,在确定待检测对象中各类型物料的占比时,需要计算的是各类型物料的所有子区域占所有物料的子区域总面积的占比。
需要理解的是,由于各预设候选框之间是可以存在重叠区域的,因此可能出现在不同类型物料的交界处,对应不同类型物料的预设候选框之间存在重叠区域的情况。
对此,在本申请实施例的一种可行实施方式中,可以采用图像分割算法对重叠区域进行分割,使得不同类型物料的在重叠区域得以分割开来,确保各类型物料的子区域间没有重叠。
需要说明的是,在建筑垃圾等领域,待检测对象的组分通常是很难非常精准的确定的,由于可能存在物料堆叠等情况,因此待检测图像中各类型物料的占比,并不一定完全与待检测对象中各类型物料的占比一致。
因此在本申请实施例中,所确定出的各类型物料在待检测对象中的占比可以是一个范围值。比如,在根据待检测图像中各类型物料的子区域确定出各类型物料在待检测图像中的占比后,取一个预设的波动范围来得到待检测对象中各类型物料的占比。例如,确定得到第一类型物料在待检测图像中的占比位50%,可以取正负3%作为波动值,得到第一类型物料在待检测对象中的占比为47%至53%。
而由于各类型物料在待检测对象中的占比可以是一个范围值,因此在本申请实施例的另一种可行实施方式中,通常不同类型物料的重叠区域相对比较小,因此也可以不对重叠区域进行分割处理,而允许不同类型的物料的子区域之间具有少部分重合。
应当理解的是,前述各类型物料的子区域占所有物料的子区域总面积的占比是各类型物料在待检测图像中的空间占比。通常对于物料组分的检测,除了可以通过各类型物料的空间占比来体现外,也可以通过各类型物料的质量占比来体现。
对此,在需要通过各类型物料的质量占比来体现,可以预先存储各类型物料对应的密度信息。进而根据各类型物料的子区域占所有物料的子区域总面积的占比,结合各类型物料的密度信息,计算得到各类型物料占所有物料的质量占比。
在实际应用过程中,拍摄诸如建筑垃圾等混合物料堆图片时,拍摄到的往往是表层图像,但实际应用过程中可能存在有“表里不一的情况”,因此需要人工进行现场核验。
本申请实施例的上述过程,可以通过诸如服务器等智能验收平台来实现。
在本申请的一种可行实施方式中,可以设置核验端,从而将确定出的待检测对象中各类型物料的占比发送给预设的核验端进行核验。
在本申请实施例中,核验端可以为移动终端。核验人员在收到待检测对象中各类型物料的占比的信息后,即可结合现场实际,对比收到待检测对象中各类型物料的占比信息是否准确。若准确,对于待检测对象的组分检测过程即结束。若不准确,则核验人员可以通过核验端拍摄现场的卸料原料堆图像并提交给智能验收平台,从而使得智能验收平台将卸料原料堆图像作为新的待检测图像,重新按照前述过程,得到待检测对象中各类型物料的占比信息并发送给核验端再次进行核验。
需要理解的是,在本申请实施例中,对于得到的待检测对象中各类型物料的占比信息可以存储并整理成为报告单形式。在多次核验才通过时,可以针对每一次的待检测对象中各类型物料的占比信息都进行保存,以便于进行溯源管理。
值得注意的是,在本申请实施例中,还提供了一种样本库建立的方法,参见图3所示,包括:
S301:获取各类型的物料的样本图,各样本图标记有对应的物料类型。
在本申请实施例中,样本图可以由工程师收集得到。同时为了丰富样本,可以在收集到的样本图的基础上,通过旋转、变换等仿射变化处理,并加入随机噪点与畸变,从而得到丰富的样本图。
S302:对各样本图进行底层特征提取,得到各样本图的底层特征图。
在本申请实施例中,可以选择兴趣点检测与密集提取相结合的多特征提取算法,来最大限度提取到样本图中的底层特征。
示例性的,可以通过FAST(Features from Accelerated Segment Test)算子与HOG(Histogram of Oriented Gradient,方向梯度直方图)来进行样本图的特征提取。
S303:对提取到的各样本图的底层特征图进行特征编码;
通常,提取到的底层特征图中会包含了大量的冗余与噪声,因此可以使用特征变换算法对步骤S302中提取到的底层特征图进行编码,从而获得更具区分性、更加鲁棒的特征表达。
示例性的,在本申请实施例中,可以采用向量量化编码和Fisher向量编码结合的方法来进行特征编码。
首先,使用向量量化编码对提取到的底层特征进行粗糙重构。然后使用Fisher向量编码,由各样本图的所有特征生成高斯混合模型,基于该高斯混合模型求得偏导值并将其归一化,从而得到编码后的底层特征图。
S304:将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量。
在本申请实施例中,为了确保后续进行组分检测时,各候选框对应的特征向量能够有效和样本库中各类型物料的特征向量进行比对,可以采用SPM(Spatial PyramidMatching,空间金字塔匹配)算法对编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量。
SPM是一种利用空间金字塔进行图像匹配、识别、分类的算法。其可以将样本图分成若干块,并分别对每个块行卷积、池化等操作从而统计每一子块的特征,最后将所有块的特征拼接起来,得到固定长度的特征向量作为各类型物料的样本图最终的特征表达。这样,由于每一个样本图对应的特征向量都是固定长度的,因此便于进行特征向量的比对。同时,SPM能够从不同角度获取图像的特征信息,因此不会丢失图像的局部或细节信息,从而使得最终得到的特征向量对于各类型物料的样本图的表达更为全面、准确。
S305:将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
本申请实施例中提供的方案,在应用到建筑垃圾的处理领域中时,可以实现对于建筑垃圾自动化图像,并基于自动化获取的图像进行组分检测。相比于传统的目测或者局部取样的检测方式而言,能够给出一个相对更为精确的检测结果,可以满足工业需要以及市场需求。
同时,通过设置核验端,可以实现线上与线下的核验互动,从而通过线下核验的方式,对智能验收平台的组分检测结果不断进行修正,从而进一步提高了检测结果的准确性。
实施例二:
基于同一发明构思,本申请实施例中还提供了一种组分检测装置和样本库建立装置。请参阅图4和图5所示,图4示出了与实施例一所示的组分检测方法对应的组分检测装置100,图5示出了与实施例一所示的样本库建立方法对应的样本库建立装置200。应理解,装置100和200具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置100和200中包括至少一个能以软件或固件的形式存储于存储器中或固化在装置100和200的操作系统中的软件功能模块。具体地:
参见图4所示,组分检测装置100包括:第一获取模块101、第一提取模块102和第一处理模块103。其中:
第一获取模块101,用于获取待检测图像;待检测图像中包含待检测对象;
第一提取模块102,用于提取各预设候选框在待检测图像中的区域所对应的特征向量;
第一处理模块103,用于将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在待检测图像中的区域,确定出待检测对象中各类型物料的占比。
在本申请实施例中,第一提取模块102具体用于对待检测图像进行特征提取,得到待检测图像的特征图;在特征图中确定各预设候选框所对应的区域;提取各区域所对应的特征向量。
在本申请实施例中,第一提取模块102具体用于对各区域采用金字塔空间池化,得到各区域所对应的特征向量。
在本申请实施例中,第一获取模块101还用于对待检测图像进行选择性搜索,得到待检测图像中的各预设候选框。
在本申请实施例中,第一处理模块103具体用于将各预设候选框所对应的特征向量输入预设的支持向量机SVM模型中,得到各预设候选框所对应的物料类型;SVM模型采用预设样本库中各物料的特征向量作为样本训练得到。
在本申请实施例中,第一处理模块103具体用于将对应同种物料的相邻预设候选框在待检测图像中的区域整合在一起,得到对应各类型物料的子区域;根据各类型物料的子区域占所有物料的子区域总面积的占比,确定待检测对象中各类型物料的占比。
在本申请实施例中,第一处理模块103具体用于根据各类型物料的子区域占所有物料的子区域总面积的占比,结合各类型物料的密度信息,计算得到各类型物料占所有物料的质量占比。
在本申请实施例中,第一处理模块103还用于将确定出的待检测对象中各类型物料的占比发送给预设的核验端;第一获取模块101还用于接收在核验不通过时,核验端返回的卸料原料堆图像;第一提取模块102还用于提取各预设候选框在卸料原料堆图像中的区域所对应的特征向量;第一处理模块103还用于将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在卸料原料堆图像中的区域,确定出卸料原料堆图像中各类型物料的占比,并发送给核验端。
参见图5所示,样本库建立装置200包括:第二获取模块201、第二提取模块202和第二处理模块203。其中:
第二获取模块201,用于获取各类型的物料的样本图,各样本图标记有对应的物料类型;
第二提取模块202,用于对各样本图进行底层特征提取,得到各样本图的底层特征图;
第二处理模块203,用于对提取到的各样本图的底层特征图进行特征编码;将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量,并将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
在本申请实施例中,第二处理模块203具体用于采用空间金字塔匹配算法对编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量。
需要理解的是,出于描述简洁的考量,部分实施例一中描述过的内容在本实施例中不再赘述。
此外,本实施例还提供了一种智能验收平台,参见图6所示,其包括摄像头601、处理器602、存储器603以及通信总线604。其中:
通信总线604用于实现摄像头601、处理器602和存储器603之间的连接通信。
摄像头601用于采集待检测图像,并传输给处理器602。
处理器602用于执行存储器603中存储的一个或多个程序,以实现上述实施例一中的组分检测方法,或实现上述实施例一中的样本库建立方法。
可以理解,图6所示的结构仅为示意,电子设备还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置,例如还可以具有数据输入/输出组件等部件。
本实施例还提供了一种可读存储介质,如软盘、光盘、硬盘、闪存、U盘、SD(SecureDigital Memory Card,安全数码卡)卡、MMC(Multimedia Card,多媒体卡)卡等,在该可读存储介质中存储有实现上述各个步骤的一个或者多个程序,这一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例一中的组分检测方法,或实现上述实施例一中的样本库建立方法。在此不再赘述。
此外,本申请实施例中还提供了一种智能验收系统,参见图7所示,包括:核验端和前述的智能验收平台。其中:
所述核验端用于接收所述智能验收平台确定出的待检测对象中各类型物料的占比,并提供给用户核验;
所述核验端还用于在用户确定核验不通过时,拍摄卸料原料堆图像并发送给所述智能验收平台。
实施例三:
本申请实施例以上述智能验收系统实现对于建筑垃圾的组分检测的过程为例,对本申请实施例的方案进行示例说明。
需要说明的是,智能验收系统从功能上,可以分为学习单元、输入单元、评价单元和验收单元四大功能部分。其中,学习单元应用于智能验收平台中用于构建样本库,而输入单元则用于获取待检测图像以及核验端发来的卸料原料堆图像,而评价单元用于确定待检测图像中各类型物料的质量占比,得到质量评价报告,验收单元则涉及到核验端与智能验收平台双端交互,用于对质量评价报告进行核验。智能验收系统的功能结构和实现过程可以分别参考图8和图9所示,包括:
1)学习单元:获取大量建筑垃圾中可能含有的各类型物料的原始样本图像,对其进行分类及样本标注,通过后续建立的学习手段对物料图像进行底层特征提取、特征编码、特征融合等处理,建立建筑垃圾行业具有代表性的物料样本数据库。具体的:
①建立样本图像:建立各类型物料的样本数据库需要大量的图像样本。由于人工获取的样本图像多为自然图像,因此可以通过对自然图像进行旋转、变换等仿射变化,并在此基础上加入随机噪点与畸变,得到多样的目标样本集合。
②底层特征提取:在得到目标样本集合后,对集合中的各样本图像进行特征检测及提取,选择兴趣点检测与密集提取相结合的多特征提取算法,通过多特征描述图像底层特征,最大限度提取有用信息对样本图像进行底层描述。
在本申请实施例中,可以通过FAST算子与HOG来进行样本图像的特征提取。其中:FAST算法通过对图像像素值的检查来确定角点,在确定的角点上执行非极大值抑制,完成图像特征点的检测;而HOG算法通过计算图像梯度值,并建立分块直方图,在9个通道方向基础上每个块内的每个像素对方向直方图进行投票,最终提取HOG特征。
③特征编码:提取到的底层特征中往往包含了大量的冗余与噪声,故在此使用特征变换算法对底层特征进行编码,从而获得更具区分性、更加鲁棒的特征表达。
在本申请实施例中,可以采用向量量化编码和Fisher向量编码结合的方法来进行特征编码。其中:向量量化编码使用一较小原型向量与随机的样本图像进行对比,判断样本图像与原型向量是否靠拢,寻找最邻近的特征向量,不断迭代至设定最大迭代次数来对提取到的底层特征进行粗糙重构。而Fisher向量编码是在由样本图像的所有特征生成的高斯混合模型的基础上,求得偏导值并将其归一化后来实现对底层特征的编码描述。
④特征融合:在特征编码后,对特征集进行整合操作,将编码后的特征进行融合处理,得到一个特征向量作为各样本图像的特征表达。
本申请实施例中采用空间金字塔匹配方式来将图像均匀分块,对每个区块进行卷积、池化等操作,并将所有特征图转换成固定长度的特征向量来作为各样本图像的最终特征表达,从而整理得到具有大量建筑垃圾物料特征的样本数据库。
2)输入单元:用于获取图像信息,包括:
在地磅间设置摄像头来采集进场原料的图像(即待检测图像)与接收验收端采集的修正图像(即卸料原料堆图像)两部分。
输入单元还可以通过对图像进行预处理来减少采集到的图像中的干扰信息,增强并简化图像中的有用数据。具体包括:
①图像采集:在地磅间的原料车停放位置的左上方、右上方设置2台高清摄像头并配备全光谱光源。当进场原料车进入地磅间时,采集待检测图像传输至智能验收平台来处理判断进场原料的混杂程度。验收人携带验收端对验收不合格的原料进行就地图像采集,并采集得到卸料原料堆图像传送至智能验收平台进行数据修正。
②图像预处理:对获取的待检测图像或卸料原料堆图像进行图像预处理,包括二值化、图像滤波、降噪、图像增强等。从而通过基础处理算法来消除原始图像中的干扰信息、增强有用的特征信息及最大限度的简化图像中有用信息数据。
3)评价单元:通过构建图像特征空间金字塔,对待检测图像或卸料原料堆图像进行候选框搜索,并对待检测图像或卸料原料堆图像通过卷积神经网络与金字塔空间池化来提取特征向量,依靠支持向量机进行分类识别。在此基础上,通过卷积进行整合,将图像分割为不同物料对应的子区域,根据区域及种类确定整体质量占比,实现对待检测图像或卸料原料堆图像所对应的建筑垃圾原料的质量评价。其具体包括:
①提取预处理后的图像信息,通过选择性搜索,从待检测图像或卸料原料堆图像进行搜索出n个候选框。
②特征提取阶段,把整张待检测图像或卸料原料堆图像,输入卷积神经网络中,进行一次性特征提取,得到feature maps(特征图),然后在feature maps中找到各个候选框的区域,再对各个候选框采用金字塔空间池化,多尺度提取出固定长度的特征向量。
③采用支持向量机算法进行特征向量分类识别。
④将对应同种类型的物料的相邻候选框区域合并在一起,形成对应各类型物料的子区域。这些子区域,组成图像的完备子集。
得到不同物料在整体区域内的各子区域的位置及其所占区域大小后,结合不同物料的不同密度信息,即可计算得到待检测图像或卸料原料堆图像所对应的建筑垃圾原料的不同物料在整体中的质量占比。
4)验收单元:将处理数据进行整合优化,发送至核验端进行验收,若该数据与验收数据不符,通过核验端重新采集该建筑垃圾原料信息(即卸料原料堆图像),再次进行原料组分识别,对评价报告实时修正与更新,直至通过验收,实现智能验收系统的动态优化。
①验收确认:核验端得到的建筑垃圾原料评价报告(各物料质量占比)后,由现场核验人员在进场原料车卸料时,观察卸料堆物料组成混杂度是否与评价报告一致。如果一致,通过验收;若不一致,通过核验端重新采集卸料原料堆图像发送给智能验收平台。
②移动修正:数据与核验端验收不一致,报告验收人通过核验端采集卸料原料堆图像,采集的卸料原料堆图像需尽量反映物料的真实混杂程度,将其重新输入步骤2),生成新的评价报告,完成检测结果的实时修正与更新,直至通过验收,实现评价模型的动态优化。
现有关于建筑垃圾的原料组分检测是通过目测或者局部采样分析实现的,其检测结果相对滞后且不具备整体代表性。而采用本申请实施例的方案,可以对建筑垃圾原料进行较为准确的处理分析,通过对摄像头及核验端采集到的原料图像进行分析处理,实现了原料组分的准确分类及防止原料出现“表里不一”情况进行数据修正,形成建筑垃圾原料组分数据库,使后续处置工艺、技术及设备的研发与选取上更具有针对性、高效性,为建筑垃圾质量评价体系的建立提供坚实数据基础,弥补建筑行业空白。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物料上分开的,作为单元显示的部件可以是或者也可以不是物料单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
在本文中,多个是指两个或两个以上。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种组分检测方法,其特征在于,包括:
获取待检测图像;所述待检测图像中包含待检测对象;
提取各预设候选框在所述待检测图像中的区域所对应的特征向量;
将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;
根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比。
2.如权利要求1所述的组分检测方法,其特征在于,所述提取各预设候选框在所述待检测图像中的区域所对应的特征向量,包括:
对所述待检测图像进行特征提取,得到所述待检测图像的特征图;
在所述特征图中确定各预设候选框所对应的区域;
提取各所述区域所对应的特征向量。
3.如权利要求2所述的组分检测方法,其特征在于,所述提取各所述区域所对应的特征向量,包括:
对各所述区域采用金字塔空间池化,得到各所述区域所对应的特征向量。
4.如权利要求1所述的组分检测方法,其特征在于,所述方法还包括:
对所述待检测图像进行选择性搜索,得到所述待检测图像中的各所述预设候选框。
5.如权利要求1所述的组分检测方法,其特征在于,将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型,包括:
将各预设候选框所对应的特征向量输入预设的支持向量机SVM模型中,得到各预设候选框所对应的物料类型;所述SVM模型采用所述预设样本库中各物料的特征向量作为样本训练得到。
6.如权利要求1所述的组分检测方法,其特征在于,根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比,包括:
将对应同种物料的相邻预设候选框在所述待检测图像中的区域整合在一起,得到对应各类型物料的子区域;
根据各类型物料的子区域占所有物料的子区域总面积的占比,确定所述待检测对象中各类型物料的占比。
7.如权利要求6所述的组分检测方法,其特征在于,所述根据各类型物料的子区域占所有物料的子区域总面积的占比,确定所述待检测对象中各类型物料的占比,包括:
根据各类型物料的子区域占所有物料的子区域总面积的占比,结合各类型物料的密度信息,计算得到各类型物料占所有物料的质量占比。
8.如权利要求1-7任一项所述的组分检测方法,其特征在于,所述方法还包括:
将确定出的所述待检测对象中各类型物料的占比发送给预设的核验端;
接收在核验不通过时,所述核验端返回的卸料原料堆图像;
提取各预设候选框在所述卸料原料堆图像中的区域所对应的特征向量;
将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;
根据各物料类型所对应的预设候选框在所述卸料原料堆图像中的区域,确定出所述卸料原料堆图像中各类型物料的占比,并发送给所述核验端。
9.一种样本库建立方法,其特征在于,包括:
获取各类型的物料的样本图,各所述样本图标记有对应的物料类型;
对各样本图进行底层特征提取,得到各样本图的底层特征图;
对提取到的各样本图的底层特征图进行特征编码;
将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量,并将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
10.如权利要求9所述的样本库建立方法,其特征在于,所述将编码后的各样本图的底层特征进行融合处理,得到各样本图的特征向量,包括:
采用空间金字塔匹配算法对编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量。
11.一种建筑垃圾组分检测装置,其特征在于,包括:第一获取模块、第一提取模块和第一处理模块;
所述第一获取模块,用于获取待检测图像;所述待检测图像中包含待检测对象;
所述第一提取模块,用于提取各预设候选框在所述待检测图像中的区域所对应的特征向量;
所述第一处理模块,用于将各预设候选框所对应的特征向量与预设样本库中各物料的特征向量进行比对,确定出各预设候选框所对应的物料类型;根据各物料类型所对应的预设候选框在所述待检测图像中的区域,确定出所述待检测对象中各类型物料的占比。
12.一种样本库建立装置,其特征在于,包括:第二获取模块、第二提取模块和第二处理模块;
所述第二获取模块,用于获取各类型的物料的样本图,各所述样本图标记有对应的物料类型;
所述第二提取模块,用于对各样本图进行底层特征提取,得到各样本图的底层特征图;
所述第二处理模块,用于对提取到的各样本图的底层特征图进行特征编码;将编码后的各样本图的底层特征图进行融合处理,得到各样本图的特征向量,并将各样本图的特征向量与各样本图的物料类型关联,得到样本库。
13.一种智能验收平台,其特征在于,包括摄像头、处理器、存储器及通信总线;
所述通信总线用于实现所述摄像头、处理器和存储器之间的连接通信;
所述摄像头用于采集待检测图像,并传输给所述处理器;
所述处理器用于执行存储器中存储的一个或者多个程序,以实现如权利要求1至8任一项所述的组分检测方法,或实现如权利要求9或10所述的样本库建立方法。
14.一种智能验收系统,其特征在于,包括:核验端和如权利要求13所述的智能验收平台;
所述核验端用于接收所述智能验收平台确定出的待检测对象中各类型物料的占比,并提供给用户核验;
所述核验端还用于在用户确定核验不通过时,拍摄卸料原料堆图像并发送给所述智能验收平台。
15.一种可读存储介质,其特征在于,所述可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至8任一项所述的组分检测方法,或实现如权利要求9或10所述的样本库建立方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487320.XA CN111680733A (zh) | 2020-06-01 | 2020-06-01 | 组分检测、样本库建立方法、装置、平台、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487320.XA CN111680733A (zh) | 2020-06-01 | 2020-06-01 | 组分检测、样本库建立方法、装置、平台、系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111680733A true CN111680733A (zh) | 2020-09-18 |
Family
ID=72453896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010487320.XA Pending CN111680733A (zh) | 2020-06-01 | 2020-06-01 | 组分检测、样本库建立方法、装置、平台、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680733A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112648007A (zh) * | 2020-12-28 | 2021-04-13 | 北京宸控科技有限公司 | 一种液压柱搬运方法 |
CN113108839A (zh) * | 2021-04-13 | 2021-07-13 | 合肥轩丐智能科技有限公司 | 基于传感器技术和图像分析的建筑工程质量验收智能检测分析方法 |
CN114266369A (zh) * | 2021-12-22 | 2022-04-01 | 安徽自然美环境科技有限公司 | 一种生活垃圾资源回收系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512685A (zh) * | 2015-12-10 | 2016-04-20 | 小米科技有限责任公司 | 物体识别方法和装置 |
CN106960214A (zh) * | 2017-02-17 | 2017-07-18 | 北京维弦科技有限责任公司 | 基于图像的物体识别方法 |
CN107589420A (zh) * | 2017-09-07 | 2018-01-16 | 广东工业大学 | 一种物体内部成分探测方法、装置及系统 |
WO2018054329A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京市商汤科技开发有限公司 | 物体检测方法和装置、电子设备、计算机程序和存储介质 |
CN108229488A (zh) * | 2016-12-27 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于检测物体关键点的方法、装置及电子设备 |
CN110717960A (zh) * | 2019-10-22 | 2020-01-21 | 北京建筑大学 | 一种建筑垃圾遥感图像样本的生成方法 |
CN110930087A (zh) * | 2019-09-29 | 2020-03-27 | 杭州惠合信息科技有限公司 | 库存盘点方法及装置 |
CN111061933A (zh) * | 2019-11-21 | 2020-04-24 | 深圳壹账通智能科技有限公司 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
-
2020
- 2020-06-01 CN CN202010487320.XA patent/CN111680733A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512685A (zh) * | 2015-12-10 | 2016-04-20 | 小米科技有限责任公司 | 物体识别方法和装置 |
WO2018054329A1 (zh) * | 2016-09-23 | 2018-03-29 | 北京市商汤科技开发有限公司 | 物体检测方法和装置、电子设备、计算机程序和存储介质 |
CN108229488A (zh) * | 2016-12-27 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于检测物体关键点的方法、装置及电子设备 |
CN106960214A (zh) * | 2017-02-17 | 2017-07-18 | 北京维弦科技有限责任公司 | 基于图像的物体识别方法 |
CN107589420A (zh) * | 2017-09-07 | 2018-01-16 | 广东工业大学 | 一种物体内部成分探测方法、装置及系统 |
CN110930087A (zh) * | 2019-09-29 | 2020-03-27 | 杭州惠合信息科技有限公司 | 库存盘点方法及装置 |
CN110717960A (zh) * | 2019-10-22 | 2020-01-21 | 北京建筑大学 | 一种建筑垃圾遥感图像样本的生成方法 |
CN111061933A (zh) * | 2019-11-21 | 2020-04-24 | 深圳壹账通智能科技有限公司 | 图片样本库构建方法、装置、可读存储介质及终端设备 |
Non-Patent Citations (2)
Title |
---|
李思琦 等: "建筑垃圾堆放点样本集构建与优化研究", 环境工程, no. 03 * |
郑琛媛 等: "一种针对特定目标的提议算法", 火力与指挥控制, no. 03 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112648007A (zh) * | 2020-12-28 | 2021-04-13 | 北京宸控科技有限公司 | 一种液压柱搬运方法 |
CN112648007B (zh) * | 2020-12-28 | 2023-10-10 | 北京宸控科技有限公司 | 一种液压柱搬运方法 |
CN113108839A (zh) * | 2021-04-13 | 2021-07-13 | 合肥轩丐智能科技有限公司 | 基于传感器技术和图像分析的建筑工程质量验收智能检测分析方法 |
CN113108839B (zh) * | 2021-04-13 | 2022-12-09 | 中建西南咨询顾问有限公司 | 基于传感器技术和图像分析的建筑工程质量验收智能检测分析方法 |
CN114266369A (zh) * | 2021-12-22 | 2022-04-01 | 安徽自然美环境科技有限公司 | 一种生活垃圾资源回收系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680733A (zh) | 组分检测、样本库建立方法、装置、平台、系统及介质 | |
CN111079584A (zh) | 基于改进YOLOv3的快速车辆检测方法 | |
CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
CN113822247B (zh) | 基于航拍影像的违章建筑识别方法及系统 | |
CN105574550A (zh) | 一种车辆识别方法及装置 | |
Li et al. | An anti-fraud system for car insurance claim based on visual evidence | |
CN107341508B (zh) | 一种快速美食图片识别方法及系统 | |
Ghosh et al. | Automated detection and classification of pavement distresses using 3D pavement surface images and deep learning | |
CN114926766A (zh) | 识别方法及装置、设备、计算机可读存储介质 | |
CN111291627A (zh) | 人脸识别方法、装置及计算机设备 | |
CN113158777A (zh) | 质量评分方法、质量评分模型的训练方法及相关装置 | |
CN117217368A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
CN109359689B (zh) | 一种数据识别方法及装置 | |
CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
CN112348011B (zh) | 一种车辆定损方法、装置及存储介质 | |
CN117541594A (zh) | 一种双非极大值抑制的横向风成脊小目标检测方法及系统 | |
CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
CN110458120B (zh) | 一种复杂环境下不同车型识别方法及系统 | |
KR102230559B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 | |
CN110689028A (zh) | 现场图测评方法、现场勘查记录测评方法及其装置 | |
CN115114963B (zh) | 基于卷积神经网络的智能流媒体视频大数据分析方法 | |
CN116994024A (zh) | 集装箱图像中的部件识别方法、装置、设备、介质及产品 | |
CN116091862A (zh) | 一种画质识别方法、装置、设备、存储介质及产品 | |
CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |