CN117994585A - 对象识别方法及设备 - Google Patents
对象识别方法及设备 Download PDFInfo
- Publication number
- CN117994585A CN117994585A CN202410190052.3A CN202410190052A CN117994585A CN 117994585 A CN117994585 A CN 117994585A CN 202410190052 A CN202410190052 A CN 202410190052A CN 117994585 A CN117994585 A CN 117994585A
- Authority
- CN
- China
- Prior art keywords
- recognition result
- recognition
- object image
- preset number
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 241000196324 Embryophyta Species 0.000 description 13
- 238000012360 testing method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 244000144730 Amygdalus persica Species 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 2
- 241000220317 Rosa Species 0.000 description 2
- 241000109329 Rosa xanthina Species 0.000 description 2
- 235000004789 Rosa xanthina Nutrition 0.000 description 2
- 235000019693 cherries Nutrition 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical group N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种对象识别方法及设备。包括:根据第一对象图像产生第一识别结果组,第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;根据第二对象图像产生第二识别结果组,第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;根据第一识别结果组和第二识别结果组初步确定以及根据第一对象图像与第二对象图像在同一采样层上的图像特征再次确定第一对象图像与第二对象图像是否对应于相同的待识别对象,若是,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致,提高了用户的体验。
Description
技术领域
本发明涉及对象识别技术领域,尤其涉及一种对象识别方法及设备。
背景技术
为了对某一对象进行识别,用户可以提供拍摄该对象所得的图像,由相应的对象识别程序或设备等对这些图像进行识别处理,从而得出对象的种类等信息。在识别过程中,一方面准确率难以达到100%,另一方面对应于同一待识别对象的不同图像之间往往存在着拍摄光线、拍摄角度以及清晰度等方面的差异,因此可能导致针对同一对象的若干次识别有着不一样的识别结果,这给用户带来了疑惑,造成了不好的用户体验。
发明内容
本发明的目的在于提供一种对象识别方法及设备,以解决现有的对象识别方法针对同一对象的若干次识别有着不一样的识别结果的问题。
为了达到上述目的,本发明提供了一种对象识别方法,所述对象识别方法包括:
获取连续拍摄的第一对象图像和第二对象图像;
根据所述第一对象图像产生第一识别结果组,其中,所述第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;
根据所述第二对象图像产生第二识别结果组,其中,所述第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;
根据所述第一识别结果组和所述第二识别结果组初步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当初步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一对象图像与所述第二对象图像在同一采样层上的图像特征再次确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当再次确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致。
本发明还提供了一种对象识别设备,所述对象识别设备包括处理器和存储器,所述存储器上存储有指令,当所述指令被所述处理器执行时,实现所述的对象识别方法的步骤。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1示出本发明一示例性实施例的对象识别方法的流程示意图;
图2示出本发明第一具体实施例的对象识别方法中的部分流程示意图;
图3示出本发明第三具体实施例的对象识别方法中的部分流程示意图;
图4示出本发明第四具体实施例的对象识别方法中的部分流程示意图;
图5示出本发明第五具体实施例的对象识别方法中的部分流程示意图;
图6示出本发明第六具体实施例的对象识别方法中的部分流程示意图;
图7示出本发明第七具体实施例的对象识别方法中的部分流程示意图;
图8示出本发明第八具体实施例的对象识别方法中的部分流程示意图;
图9示出本发明第九具体实施例的对象识别方法中的部分流程示意图;
图10示出本发明第十具体实施例的对象识别方法中的部分流程示意图;
图11示出本发明第十一具体实施例的对象识别方法中的部分流程示意图;
图12示出本发明的一示例性实施例的对象识别设备的框图。
注意,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在一些情况中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了便于理解,在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此,本发明并不限于附图等所公开的位置、尺寸及范围等。
具体实施方式
下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。也就是说,本文中的结构及方法是以示例性的方式示出,来说明本发明中的结构和方法的不同实施例。然而,本领域技术人员将会理解,它们仅仅说明可以用来实施的本发明的示例性方式,而不是穷尽的方式。此外,附图不必按比例绘制,一些特征可能被放大以示出具体组件的细节。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
随着图像分析等技术的发展,对象识别已被越来越广泛地应用。在对象的识别中,当用户有意检测识别的准确率时,可能针对同一待识别对象进行若干次识别。或者,当用户对前一次的识别结果存在疑惑甚至不认可时,也可能会再次拍摄同一待识别对象以进行重复识别。在实际情况下,当针对同一待识别对象进行多次识别时,所提供的对象图像之间可能存在一些差异(例如由拍摄距离、拍摄角度、光照条件等参数的变化引起),此时有必要及时和准确地判断出针对同一待识别对象所发起的识别,以便对所产生的识别结果进行调整,从而减少用户的疑惑,改善用户体验。在后文中,将以待识别对象为植物为例,详细阐述本发明的技术方案。本领域技术人员可以理解的是,待识别对象也可以是除植物之外的其它类型的对象。
在一具体示例中,根据测试数据可知,在用户使用对象识别的最初十分钟内,针对同一待识别对象的识别行为的次数很可能会在两次或两次以上。如果不针对这一情况进行处理,那么15%的用户将得到针对同一植物的不同的识别结果,而在针对同一植物的多次识别过程中,识别结果的一致率仅为80.48%。
为了解决上述问题,如图1所示,在本发明的一示例性实施例中,提出了一种对象识别方法,该对象识别方法可以包括:
步骤S000,获取连续拍摄的第一对象图像和第二对象图像;
步骤S100,根据第一对象图像产生第一识别结果组;
步骤S200,根据第二对象图像产生第二识别结果组。
其中,第一对象图像和第二对象图像是用户手持拍照设备连续拍摄的两个图像,第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果,第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果。置信度是指某一识别结果与其相应的对象图像相符合的概率。在一些示例中,当输出第一识别结果组或第二识别结果组时,可以优先输出置信度较高的第一识别结果或第二识别结果。在另一些示例中,可以不输出置信度过低(例如,置信度小于预设置信度阈值)的第一识别结果和第二识别结果,以减少对用户的干扰。在又一些示例中,在输出第一识别结果或第二识别结果的同时,还可以输出相应的置信度,以供用户参考。
可以利用预先训练好的对象识别模型,根据第一对象图像确定第一识别结果组,和/或根据第二对象图像确定第二识别结果组。其中,对象识别模型可以是基于神经网络模型而训练的,例如可以是基于卷积神经网络模型或深度残差网络模型而训练的。
卷积神经网络模型为深度前馈神经网络,其利用卷积核扫描对象图像,提取出对象图像中待识别的特征,进而识别对象的待识别的特征。另外,在识别对象图像的过程中,可以直接将原始的对象图像输入卷积神经网络模型,而无需预处理对象图像。卷积神经网络模型相比于其他的对象识别模型,具备更高的识别准确率以及识别效率。
深度残差网络模型相比于卷积神经网络模型多了恒等映射层,可以避免随着网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。深度残差网络模型中恒等映射层的恒等映射函数需要满足:恒等映射函数与深度残差网络模型的输入之和等于深度残差网络模型的输出。引入恒等映射以后,深度残差网络模型对输出的变化更加明显,因此可以大大提高对象的识别准确率和识别效率(尤其是植物生理期识别的识别准确率和识别效率,从而提高植物的识别准确率和识别效率)。
在一些实施例中,对象识别模型的具体训练过程可以包括:
准备包括一定数量的标注有识别结果的对象图像的样本集。其中,为了改善训练效果,针对每种可能的识别结果,都可以准备一定数量的对象图像,每种识别结果所对应的对象图像的数目可以相等或不等。
然后,在样本集中确定一部分对象图像作为测试集,另一部分对象图像作为训练集。其中,测试集和训练集可以被手动确定或自动确定,且确定过程可以是随机的。在一具体示例中,所确定的测试集中的样本数目可以为整个样本集中的样本数目的5%-20%,相应地,训练集中的样本数目为整个样本集中的样本数目的80%-95%。
然后,可以利用训练集来训练对象识别模型,并利用测试集对训练所得的对象识别模型进行测试,从而获得对象识别模型的准确率。其中,训练过程具体包括调整对象识别模型中的各个模型参数。
通过比较对象识别模型的准确率与预设准确率,可以确定是否还需要继续进行训练。具体而言,当训练所得的对象识别模型的准确率大于或等于预设准确率时,可以认为该对象识别模型的准确率已经符合要求,因而可以结束训练,并利用训练好的对象识别模型进行对象识别。而当训练所得的对象识别模型的准确率小于预设准确率时,可以认为该对象识别模型还需要进一步的优化。此时,可以通过增大训练集中的样本数目,具体可以通过扩大样本集和/或训练集,或者增大训练集的样本数目占整个样本集的样本数目的比例来进一步训练对象识别模型。或者,可以调整对象识别模型本身,并对调整后的对象识别模型进行训练,直到获得符合要求的对象识别模型。
此外,对象识别模型还可以根据包括待识别对象的拍摄地点、拍摄时间和拍摄环境中的至少一个来确定识别结果。其中,拍摄地点可以是植物所在的具体地点(例如可以用经纬度来表示)或者更大范围的区域(例如,亚洲区域、美洲区域等);拍摄时间可以是一天中的某个具体时间,或者一年中的某个季节时段等;拍摄环境可以包括植物周围环境的温度、湿度等与其生长密切相关的天气等参数。
在训练对象识别模型的过程中,拍摄地点、拍摄时间和拍摄环境中的至少一个可以同时被标注在相应的对象图像中。也就是说,拍摄地点、拍摄时间和拍摄环境中的至少一个可以作为对象识别模型的输入参数的一部分,在识别对象时,将包括拍摄地点、拍摄时间和拍摄环境中的至少一个的对象图像输入对象识别模型中,可以获得相应的识别结果。
或者,拍摄地点、拍摄时间或拍摄环境可以不被标注在对象图像中,而对象识别模型可以直接根据拍摄地点、拍摄时间和拍摄环境中的至少一个来筛选识别结果。在一具体示例中,对象识别模型可以先根据拍摄地点、拍摄时间和拍摄环境中的至少一个来得到候选识别结果库,然后根据对输入的对象图像的图像识别从候选识别结果库中获得一个或多个识别结果。在另一具体示例中,对象识别模型可以先根据对输入的对象图像的图像识别获得一个或多个识别结果,然后根据拍摄地点、拍摄时间和拍摄环境中的至少一个从所获得的一个或多个识别结果中剔除不符合的识别结果。
又或者,可以根据不同的拍摄地点、拍摄时间或拍摄环境,分别训练不同的对象识别模型,在识别过程中,根据拍摄地点、拍摄时间或拍摄环境,选择相应的对象识别模型来进行识别。例如,在不同的地理区域中存在的植物种类往往有着很大的差别。因此可以根据植物的拍摄地点来构建不同的对象识别模型,从而提高识别的准确率。类似地,植物在不同季节中、甚至在一天的不同时段中,其形态可能存在差别,同时不同时间的光照条件等也可能对对象图像造成影响,因此可以根据待识别对象的拍摄时间来构建不同的对象识别模型。
需要注意的是,根据同一对象图像,对象识别模型可以产生一个或多个分别具有相应的置信度的识别结果,针对同一对象图像产生的识别结果可以被归入同一个识别结果组中,以待后续处理。
此外,还可以收集用户所拍摄的对象图像及其相关信息(包括拍摄地点、拍摄时间或拍摄环境等),以丰富样本集中的样本,便于后期根据这些收集的样本进一步优化对象识别模型。
返回图1,对象识别方法还可以包括:
步骤S300,根据第一识别结果组和第二识别结果组初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象。
具体而言,当第一识别结果组和第二识别结果组中包括了满足预设条件的相同或相似的第一识别结果与第二识别结果时,可以初步确定第一对象图像与第二对象图像对应于相同的待识别对象。
在第一具体实施例中,如图2所示,根据第一识别结果组和第二识别结果组初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象可以包括:
步骤S311,比较第一识别结果组与第二识别结果组;
步骤S312,当第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与第二识别结果组的前第一预设数目个第二识别结果中的第二预设数目个第二识别结果相同时,初步确定第一对象图像与第二对象图像对应于相同的待识别对象;
其中,第一预设数目大于或等于第二预设数目。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13,…,R1m),第二识别结果组可以被表示为(R21,R22,R23,…,R2n),其中,R11、R12、R13、…、R1m为置信度由高到低排列的m个第一识别结果,R21、R22、R23、…、R2n为置信度由高到低排列的n个第二识别结果,第一预设数目可以为2,第二预设数目可以为1。那么,当第一识别结果组的前两个第一识别结果(即置信度最高和第二高的第一识别结果)中存在至少一个第一识别结果与第二识别结果组中的前两个第二识别结果(即置信度最高和第二高的第二识别结果)中的一个第二识别结果相同时,例如当R11、R12中的R11与R21、R22中的R22相同时,则初步确定第一对象图像与第二对象图像对应于相同的待识别对象。
在另一具体示例中,第一预设数目可以为3,第二预设数目可以为2。那么,当第一识别结果组的前三个第一识别结果(即置信度最高、第二高和第三高的第一识别结果)中存在至少两个第一识别结果与第二识别结果组中的前三个第二识别结果(即置信度最高、第二高和第三高的第二识别结果)中的两个第二识别结果相同时,例如当R11、R12、R13中的R11与R21、R22、R23中的R22相同、且R12与R23相同时,则初步确定第一对象图像与第二对象图像对应于相同的待识别对象。相比于第一预设数目为2、第二预设数目为1的前一示例,本示例中错判第一对象图像与第二对象图像对应于相同的待识别对象的概率将会降低,但同时可能会遗漏一些第一对象图像与第二对象图像对应于相同的待识别对象的情形。根据测试结果可知,本示例相对于前一示例的错判的概率可以从5%降低到0.6%,但是遗漏的概率会从9%升高到11%。可以理解的是,在其它具体示例中,也可以根据需要改变第一预设数目和/或第二预设数目的值。
在第二具体实施例中,比较第一识别结果组与第二识别结果组可以包括:
确定第一对象图像与第二对象图像的拍摄时间间隔;
比较拍摄时间间隔与预设时间间隔;
当拍摄时间间隔小于或等于预设时间间隔时,比较第一识别结果组中的前第一预设数目个第一识别结果与第二识别结果组中的前第一预设数目个第二识别结果。
也就是说,在初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象时,还可以将第一对象图像与第二对象图像的拍摄时间间隔考虑在其中。只有当拍摄时间间隔较短、即小于或等于预设时间间隔时,才进一步比较第一识别结果组与第二识别结果组以初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象,这样有助于快速排除掉一些不对应于相同的待识别对象的情形,减少所需处理的数据率,提高计算效率。
当然,在其它实施例中,根据实际需求,对拍摄时间间隔的判断也可以在比较第一识别结果组与第二识别结果组之后进行。
在一些实施例中,比较第一识别结果组与第二识别结果组可以包括:
将第一识别结果组中的前第一预设数目个第一识别结果与第二识别结果组中的前第一预设数目个第二识别结果形成在一个集合中;
确定集合中的元素数目;
比较元素数目与第三预设数目;
其中,第三预设数目等于第一预设数目的两倍减去第二预设数目的差;
当元素数目小于或等于第三预设数目时,确定第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与第二识别结果组的前第一预设数目个第二识别结果中的第二预设数目个第二识别结果相同。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13,…,R1m),第二识别结果组可以被表示为(R21,R22,R23,…,R2n),第一预设数目为3,第二预设数目为2,根据计算可得第三预设数目为4。那么,集合中的元素可以包括第一识别结果组中的前三个第一识别结果R11、R12、R13与第二识别结果组中的前三个第二识别结果R21、R22和R23。需要注意的是,集合中的元素具有互异性,因此当R11、R12、R13、R21、R22和R23中包括相同的元素时,集合中的元素数目将小于6。当R11、R12、R13、R21、R22和R23中包括至少两组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目4。
在另一具体示例中,假设第一预设数目为2,第二预设数目为1,根据计算可得第三预设数目为3。那么,集合中的元素可以包括第一识别结果组中的前两个第一识别结果R11、R12与第二识别结果组中的前两个第二识别结果R21、R22。当R11、R12、R21和R22中包括至少一组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目3。
在实际情况下,考虑到对象之间可能具有较高的相似性,而且识别准确率并非100%,因此根据对应于同一待识别对象的第一对象图像和第二对象图像所产生的第一识别结果组与第二识别结果组中可能并不存在相同的第一识别结果与第二识别结果,为了避免对这种情况的漏判,在本发明的第三具体实施例中,如图3所示,根据第一识别结果组和第二识别结果组初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象可以包括:
步骤S321,比较第一识别结果组与第二识别结果组;
步骤S322,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定第一对象图像与第二对象图像的拍摄时间间隔;
步骤S323,比较拍摄时间间隔与预设时间间隔;
步骤S324,当拍摄时间间隔小于或等于预设时间间隔时,初步确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果;
步骤S325,当第一识别结果组与第二识别结果组中存在相似的第一识别结果和第二识别结果时,初步确定第一对象图像与第二对象图像对应于相同的待识别对象。
也就是说,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,可以结合拍摄时间间隔与相似的识别结果,来初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象,从而减少漏判,并提高判断的准确率。
其中,确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果可以包括:
基于包含至少一组相似的对象种类的规则数据库来确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果。
具体而言,规则数据库可以是预先创建的,其中可以包含多组易混淆的相似的对象种类的名称。此外,规则数据库还可以包括这些相似的对象种类的区别特征、针对这些区别特征的优化的拍摄参数等信息。对于第一识别结果组中的每个第一识别结果,可以在规则数据库中查找与其相似的对象,并返回第二识别结果组中查找是否存在与相似的对象相同的第二识别结果,若存在,则可以认为这个第二识别结果与第一识别结果是相似的,进而根据相似的第一识别结果与第二识别结果初步确定第一对象图像与第二对象图像是否对应于相同的待识别对象。
根据第一识别结果组和第二识别结果组初步确定第一对象图像与第二对象图像对应于相同的待识别对象时,初步确定的结果可能不够准确,需要结合其他参数辅助再次确定,通过两次确认步骤防止误判,提高了检测的准确性。
返回图1,在本发明的一示例性实施例中,对象识别方法还可以包括:
步骤S400,当初步确定第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一对象图像与第二对象图像在同一采样层上的图像特征再次确定第一对象图像与第二对象图像是否对应于相同的待识别对象。当再次确定第一对象图像与第二对象图像对应于相同的待识别对象时,可以认定用户对目前的识别方法或前一次识别的结果存在疑虑,为了减少用户的疑惑并改善用户体验,有必要进行一些特别的处理,后文中将详细阐述。
在一些实施例中,图像特征为低层特征,低层特征是一种局部特征,如轮廓、边缘、颜色、纹理和形状特征。低层特征的特征语义信息较少,但目标位置准确,提取出图像的低层特征之后可以获得一定的旋转、尺度、视角变化等变换的不变性,从而能够对连续拍摄的图像进行正确匹配,可以有效地实现连续拍摄图像的自动匹配与检测。
在一些实施例中,图像特征也可以为高层特征,高层特征是人眼能够直接观察到的特征。相比低层特征匹配来说,高层特征的语义信息比较丰富,但是目标位置比较粗略。利用高层特征匹配连续拍摄的图像,需要准备领域相关的数据集,启动成本较高,但可以减少光照变化等因素对特征提取的稳定性的影响,准确性具有显著提升。在第四具体实施例中,如图4所示,根据第一对象图像与第二对象图像在同一采样层上的图像特征再次确定第一对象图像与第二对象图像是否对应于相同的待识别对象的步骤可以包括:
步骤S411,利用尺度不变特征转换算法或方向梯度直方图算法提取低层特征;
步骤S412,获取第一对象图像与第二对象图像的低层特征之间的欧式距离或余弦距离,当欧式距离或余弦距离小于相应的阈值时,确定第一对象图像与第二对象图像对应于相同的待识别对象。
在一具体实施例中,利用尺度不变特征转换算法(SIFT,Scale InvariantFeature Transform)提取第一对象图像与第二对象图像的低层特征。SIFT算法可以检测出图像中的关键点,并计算出每个关键点的方向直方图作为该点的描述子。利用尺度不变特征转换算法提取低层特征的具体步骤为:在图像的高斯差分空间建立尺度空间,通过高斯函数的不同参数构建图像金字塔;在每个尺度进行差分运算检测关键点;确定关键点方向,统计关键点周围的梯度方向直方图得到该关键点的主方向;生成SIFT描述子将关键点周围区域分割成多个子区域,统计每个子区域的梯度方向直方图;连接每个子区域的梯度方向直方图得到关键点的SIFT描述子。
在另一具体实施例中,利用方向梯度直方图算法(HoG,Histogram of OrientedGradient)提取第一对象图像与第二对象图像的低层特征。HoG算法则可以获取图像的局部区域的梯度方向直方图作为特征描述,如此,每个图像可以用一个特征向量来进行表示。利用尺度不变特征转换算法提取低层特征的具体步骤为:将图像分割成小的连通区域单元,称为cell;在每个cell内计算梯度方向直方图;将直方图根据方向进行统计,获得每个cell的HoG描述子;将局部cell的HoG描述子连接起来代表更大局部区域的特征。
在一具体实施例中,计算出第一对象图像与第二对象图像的低层特征之间的欧式距离或余弦距离,当欧式距离小于第一阈值或者余弦距离小于第二阈值时,表明第一对象图像与第二对象图像之间的相似度较高,可以确定连续拍摄的第一对象图像与第二对象图像对应于相同的待识别对象。
在一具体实施例中,计算出第一对象图像与第二对象图像的低层特征之间的归一化的余弦距离,第二阈值设置为0.1,当归一化的余弦距离小于0.1时,可以再次确定第一对象图像与第二对象图像对应于相同的待识别对象。
可以理解的是,在其它具体示例中,也可以根据需要改变第二阈值的值。
在第五具体实施例中,如图5所示,根据第一对象图像与第二对象图像在同一采样层上的图像特征再次确定第一对象图像与第二对象图像是否对应于相同的待识别对象的步骤可以包括:
步骤S421,利用预先训练好的深度卷积神经网络提取高层特征;
步骤S422,获取第一对象图像与第二对象图像的高层特征之间的欧式距离或余弦距离,当欧式距离或余弦距离小于相应的阈值时,确定第一对象图像与第二对象图像对应于相同的待识别对象。
在一具体实施例中,利用深度卷积神经网络提取第一对象图像与第二对象图像的高层特征。利用深度卷积神经网络提取高层特征的具体步骤为:构建深度卷积神经网络,深度卷积神经网络包含卷积层、池化层等;事先在大规模标注数据集(如ImageNet)上对深度卷积神经网络进行训练;将图像输入训练好的深度卷积神经网络中,自动输出深层的特征映射;平坦化特征映射,得到高层特征。
深度卷积神经网络可以采用专用的独立模型,以便和对象识别模型进行区分隔离,避免因为对象识别模型的不断更新造成影响。
在一具体实施例中,可以利用领域自适应训练算法对深度卷积神经网络进行训练,从而提高特征提取效果。利用领域自适应训练算法训练深度卷积神经网络的具体步骤为:在特定领域大规模标注数据集上对深度卷积神经网络进行训练,特定领域大规模标注数据集例如可以为植物分类数据集,使网络学习目标领域的专属特征,提高判断的准确性。步骤S422与步骤S412的方法类似,在此不再过多赘述。
再次确定的结果也可能不够准确,需要结合其他参数辅助进一步确定,通过三次确认步骤防止误判,提高了检测的准确性。
在本发明的一示例性实施例中,当再次确定第一对象图像与第二对象图像对应于相同的待识别对象时,根据拍摄第一对象图像时与拍摄第二对象图像时的位置变化及总拍摄次数进一步确定第一对象图像与第二对象图像是否对应于相同的待识别对象。当进一步确定第一对象图像与第二对象图像对应于相同的待识别对象时,可以认定用户对目前的识别方法或前一次识别的结果存在疑虑,为了减少用户的疑惑并改善用户体验,有必要进行一些特别的处理,后文中将详细阐述。
在一些实施例中,拍摄第一对象图像时与拍摄第二对象图像时的位置变化为拍摄第一对象图像与拍摄第二对象图像之间的运动步数。举例而言,拍摄第一对象图像和第二对象图像的拍摄设备是手机,用户手持手机在第一位置拍摄了第一对象图像,然后行走几步到达第二位置,在第二位置拍摄了第二对象图像,用户从第一位置到第二位置的运动步数即为拍摄第一对象图像时与拍摄第二对象图像时的位置变化;若运动步数为0,则表明用户没有移动,拍摄第一对象图像的第一位置与拍摄第二对象图像的第二位置是相同的,运动步数越大,理论上可以认为拍摄第一对象图像的第一位置与拍摄第二对象图像的第二位置越远。
在一些实施例中,运动步数可以通过获取拍摄设备中的惯性传感器(如加速计)采集的数据,并进行数据处理和计算后得到;或者,若拍摄设备可以自己处理和计算其惯性传感器采集的数据,运动步数也可以直接通过拍摄设备得到,从而省略进行数据处理和计算的步骤。
在一些实施例中,拍摄第一对象图像时与拍摄第二对象图像时的位置变化也可以为拍摄第一对象图像的第一位置与拍摄第二对象图像的第二位置之间的距离,若距离为0,则表明用户没有移动,拍摄第一对象图像的第一位置与拍摄第二对象图像的第二位置是相同的,距离越大,理论上可以认为拍摄第一对象图像的第一位置与拍摄第二对象图像的第二位置越远。
可以理解的是,拍摄第一对象图像时与拍摄第二对象图像时的位置变化越小,表明拍摄第一对象图像和拍摄第二对象图像是在越近的位置,则可以认为第一对象图像与第二对象图像对应于相同的待识别对象的可能性越高。
进一步地,当前的总拍摄次数越少,表明用户拍摄同一待识别对象的可能性越高,则可以认为第一对象图像与第二对象图像对应于相同的待识别对象的可能性越高。
在第六具体实施例中,如图6所示,根据拍摄第一对象图像时与拍摄第二对象图像时的位置变化及总拍摄次数进一步确定第一对象图像与第二对象图像是否对应于相同的待识别对象的步骤可以包括:
步骤S401,比较位置变化与预设变化范围以及比较总拍摄次数与预设拍摄次数;
步骤S402,当位置变化位于预设变化范围内且总拍摄次数小于预设拍摄次数时,再次确定第一对象图像与第二对象图像对应于相同的待识别对象。
在一具体实施例中,位置变化为运动步数,预设变化范围为0步-3步,预设拍摄次数为10次,当运动步数位于0步-3步之内,如0步、1步或2步等,并且总拍摄次数小于10次,如2次、3次或5次等,则可以进一步确定第一对象图像与第二对象图像对应于相同的待识别对象。
在另一具体实施例中,位置变化可以为距离,预设变化范围为1米,预设拍摄次数为10次,当距离在1米之内,如0.3米、0.5米或0.8米等,并且总拍摄次数小于10次,如2次、3次或5次等,则可以进一步确定第一对象图像与第二对象图像对应于相同的待识别对象。
可以理解的是,在其它具体示例中,也可以根据需要改变预设变化范围和/或预设拍摄次数的值。
在第七具体实施例中,如图7所示,根据拍摄第一对象图像时与拍摄第二对象图像时的位置变化及总拍摄次数进一步确定第一对象图像与第二对象图像是否对应于相同的待识别对象的步骤可以包括:
步骤S4021,建立表征第一对象图像与第二对象图像对应于相同的待识别对象的置信度与两个影响因子的函数关系,两个影响因子分别为位置变化及总拍摄次数对第一对象图像与第二对象图像对应于相同的待识别对象的置信度的影响,函数关系中,两个影响因子分别具有各自的权重;
步骤S4022,当函数关系表征第一对象图像与第二对象图像对应于相同的待识别对象的置信度大于预定置信度时,进一步确定第一对象图像与第二对象图像对应于相同的待识别对象。
在一具体实施例中,函数关系为F(x,y)=Wx·g(x)+Wy·h(y),其中,F(x,y)用于表征第一对象图像与第二对象图像对应于相同的待识别对象的置信度;g(x)为第一影响因子,用于表征位置变化对第一对象图像与第二对象图像对应于相同的待识别对象的置信度的影响;h(x)为第二影响因子,用于表征总拍摄次数对第一对象图像与第二对象图像对应于相同的待识别对象的置信度的影响;Wx为第一影响因子的权重;Wy为第二影响因子的权重。
在另一具体实施例中,第二影响因子的权重Wy还受总拍摄次数的影响,即第二影响因子的权重Wy的大小与所述总拍摄次数的多少负相关,总拍摄次数越多,第二影响因子的权重Wy越小,总拍摄次数越少,第二影响因子的权重Wy越大。通过总拍摄次数的具体值调整其对应的第二影响因子的权重,使得函数关系能够更准确的表征第一对象图像与第二对象图像对应于相同的待识别对象的置信度。
进一步地,当F(x,y)表征第一对象图像与第二对象图像对应于相同的待识别对象的置信度大于预定置信度时,可以进一步确定第一对象图像与第二对象图像对应于相同的待识别对象。根据测试结果可知,本示例相对于前一示例的错判的概率可以降低。
在一具体实施例中,预定置信度为0.9,当F(x,y)大于0.9,例如为0.92、0.95或0.98时,可以进一步确定第一对象图像与第二对象图像对应于相同的待识别对象。
可以理解的是,在其它具体示例中,也可以根据需要改变预定置信度的值。
返回图1,在本发明的一示例性实施例中,对象识别方法还可以包括:
步骤S500,当再次确定第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致。
在一些实施例中,经调整的第二识别结果组与第一识别结果组至少部分地一致可以为经调整的第二识别结果组的第一个第二识别结果与第一识别结果组的第一个第一识别结果相一致,即两次分别产生的置信度最高的第一识别结果和第二识别结果是一致的。在另一些实施例中,经调整的第二识别结果组与第一识别结果组至少部分地一致可以为经调整的第二识别结果组的前若干个第二识别结果与第一识别结果组的前若干个第一识别结果一致(其中,第一识别结果组中的第一识别结果的顺序与第二识别结果组中的第二识别结果的顺序可以相同或不同)。可以理解的是,也可以根据实际需要采用其它方式来定义经调整的第二识别结果组与第一识别结果组至少部分地一致。
在一些实施例中,可以调整第二识别结果组以保障经调整的第二识别结果组的第一个第二识别结果与第一识别结果组的第一个第一识别结果相一致,这样,两次产生的置信度最高的识别结果将是相同的,可以有效地减少用户的疑惑,改善用户体验。具体而言,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S511,将第一识别结果组中的第一个第一识别结果作为第二识别结果组中的第一个第二识别结果。
进一步地,如图8所示,在第八具体实施例中,对于第二识别结果组中的除第一个第二识别结果之外的其它第二识别结果,可以根据下述规则进行调整。即,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致还可以包括:
步骤S512,按照置信度由高到低的顺序排列第一识别结果组中的第二个第一识别结果至第四预设数目个第一识别结果,以及第二识别结果组中的前第五预设数目个第二识别结果;
步骤S513,按照排列后的顺序将第一识别结果或第二识别结果依次作为第二识别结果组中的第二个至之后的第二识别结果;
其中,第四预设数目小于或等于第一识别结果的总数,第五预设数目小于或等于第二识别结果的总数。
尤其是在第一识别结果组与第二识别结果组中存在相同的第一识别结果和第二识别结果的情况下,可以采用这些步骤来调整第二识别结果组。此外,为了避免经调整的第二识别结果组偏重于第一识别结果或第二识别结果,第四预设数目也可以等于第五预设数目。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第一预设数目为3,第二预设数目为2,根据计算可得第三预设数目为4。那么,集合中的元素可以包括第一识别结果组中的前三个第一识别结果R11、R12、R13与第二识别结果组中的前三个第二识别结果R21、R22和R23。当R11、R12、R13、R21、R22和R23中包括至少两组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目4。
此外,第四预设数目可以等于第一识别结果的总数3,第五预设数目可以等于第二识别结果的总数3。那么,对R12、R13、R21、R22和R23按照置信度由高到低的顺序排列,假设得到置信度最高和第二高的识别结果分别为R21和R12,则经调整的第二识别结果组可以为(R11,R21,R12)。当然,在其它具体示例中,经调整的第二识别结果组中的第二识别结果的数目也可以与调整前的第二识别结果组中的第二识别结果的数目不同,但其中各个第二识别结果的顺序是根据R12、R13、R21、R22和R23的按照置信度由高到低的排列顺序获得的。
根据测试可知,通过上述方式得到的识别结果的一致率可以从80.48%上升到90.14%。
在另一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第一预设数目为2,第二预设数目为1,根据计算可得第三预设数目为3。那么,集合中的元素可以包括第一识别结果组中的前两个第一识别结果R11和R12与第二识别结果组中的前两个第二识别结果R21和R22。当R11、R12、R21和R22中包括至少一组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目3。
此外,第四预设数目可以等于第一识别结果的总数3,第五预设数目可以等于第二识别结果的总数3。那么,对R12、R13、R21、R22和R23按照置信度由高到低的顺序排列,假设得到置信度最高和第二高的识别结果分别为R21和R12,则经调整的第二识别结果组为(R11,R21,R12)。
根据测试可知,识别结果的一致率可以从80.48%上升到91.95%,相对于前一示例中的90.14%也有所上升。
当然,在其它实施例中,根据需要,第四预设数目也可以小于第一识别结果的总数,和/或第五预设数目可以小于第二识别结果的总数。
在第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果的情况下,可以将与某个第一识别结果相似的第二识别结果尽量调整到靠前的位置。如图9所示,在第九具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致还可以包括:
步骤S522,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在第二识别结果组的前第六预设数目个第二识别结果中是否存在与第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
步骤S523,当存在与第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为第二识别结果组中的第二个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第六预设数目为2。第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果,且仅R12与R21是相似的。那么,经调整的第二识别结果组中,第一个第二识别结果为R11,第二个第二识别结果为R12(R21)。
在另一些实施例中,也可以综合两次的识别结果来调整第二识别结果组,使第二次反映的识别结果尽可能准确,而不受到第一次识别的过多限制。例如,如图10所示,在第十具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S531,确定在第二识别结果组的前第七预设数目个第二识别结果中是否存在与第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果;
步骤S532,当存在与第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果时,将该第二识别结果作为第二识别结果组中的第一个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第七预设数目为2。如果R21、R22中的R21与R11、R12中的R12相同,那么可以将R21(R12)作为经调整的第二识别结果组中的第一个第二识别结果,而不是将R11作为经调整的第二识别结果组中的第一个第二识别结果。由于经过两次识别,都存在R21(R12)这一结果,因此可以认为其具有更高的准确率。
在第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果的情况下,如图11所示,在第十一具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S541,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在第二识别结果组的前第八预设数目个第二识别结果中是否存在与第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
步骤S542,当存在与第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为第二识别结果组中的第一个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第八预设数目为2。如果第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果,且R21、R22中的R21与R11、R12中的R12相似,那么可以将R21作为经调整的第二识别结果组中的第一个第二识别结果。其中,确定相似的第一识别结果和第二识别结果的方法可以参考上文中所描述的基于规则数据库的方法。
可以理解的是,当用户进行了三次或三次以上的拍摄时,可以参考上述方法来确定本次拍摄与前一次拍摄是否针对相同的待识别对象,以及根据前一次所得的识别结果组来调整本次所得的识别结果组。
在本发明的一些实施例中,对象识别方法还可以包括:
当第一对象图像与第二对象图像对应于相同的待识别对象时,输出特征提示信息。
其中,特征提示信息可以指示至少一个第一识别结果和/或第二识别结果以及与其相似的对象种类之间的区别特征。在上文中提到,区别特征可以被包括在规则数据库中以待获取。特征提示信息可以包括文字信息和图片信息中的至少一种。用户根据这些特征提示信息,可以更好地辨认待识别对象。
在一具体示例中,一组相似的待识别对象可以包括桃花和樱花,与其相应的区别特征为:桃花呈瓜子形,花瓣外端有一个尖,樱花的花瓣外端有一个三角形的缺口。在另一具体示例中,一组相似的待识别对象可以包括玫瑰花和月季花,与其相应的区别特征为:月季的花径光滑,刺的顶端有一点弯弯的弧度;玫瑰花的花径上的刺比较多,并且刺的顶端不弯曲,茎上还有一些小绒毛。这些区别特征可以被包括在特征提示信息中,以文字信息或图片信息或两者结合的形式被展示给用户,以便用户进行分辨。
在本发明的一些实施例中,对象识别方法还可以包括:
当第一对象图像与第二对象图像对应于相同的待识别对象时,输出拍摄指示信息。
其中,拍摄指示信息可以包括与获取待识别对象的特定部分的图像、以不同角度获取待识别对象的至少一部分的图像、或者以不同距离获取待识别对象的至少一部分的图像有关的指示。
在上文中提到,针对区别特征的优化的拍摄参数可以被包括在规则数据库中以待获取,而这些拍摄参数可以被包括在拍摄指示信息中而输出。在一具体示例中,对应于包括桃花和樱花的一组相似的待识别对象,拍摄参数可以包括:拍摄花瓣细节。在另一具体示例中,对应于包括玫瑰花和月季花的一组相似的待识别对象,拍摄参数可以包括:拍摄花茎,并且距花茎一定距离以使图像中呈现多个花刺。通过输出包括拍摄参数的拍摄提示信息,可以帮助用户更好地提供有助于提高识别准确率的对象图像,从而改善识别效果。
如图12所示,本发明还提供了一种对象识别设备900,包括处理器910和存储器920,存储器920上存储有指令,当指令被处理器910执行时,实现上述对象识别方法的步骤。
其中,处理器910可以根据存储在存储器920中的指令执行各种动作和处理。具体地,处理器910可以是一种集成电路芯片,具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以是X86架构或者是ARM架构等。
存储器920存储有可执行指令,该指令在被处理器910执行上文所述的对象识别方法。存储器920可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。应注意,本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。在此公开的各实施例可以任意组合,而不脱离本发明的精神和范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。
Claims (20)
1.一种对象识别方法,其特征在于,所述对象识别方法包括:
获取连续拍摄的第一对象图像和第二对象图像;
根据所述第一对象图像产生第一识别结果组,其中,所述第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;
根据所述第二对象图像产生第二识别结果组,其中,所述第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;
根据所述第一识别结果组和所述第二识别结果组初步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当初步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一对象图像与所述第二对象图像在同一采样层上的图像特征再次确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当再次确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致。
2.根据权利要求1所述的对象识别方法,其特征在于,根据所述第一识别结果组和所述第二识别结果组初步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象包括:
比较所述第一识别结果组与所述第二识别结果组;
当所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同时,初步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象;
其中,所述第一预设数目大于或等于所述第二预设数目。
3.根据权利要求2所述的对象识别方法,其特征在于,比较所述第一识别结果组与所述第二识别结果组包括:
确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,比较所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果;
或者,比较所述第一识别结果组与所述第二识别结果组包括:
将所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果形成在一个集合中;
确定所述集合中的元素数目;
比较所述元素数目与第三预设数目;
其中,所述第三预设数目等于所述第一预设数目的两倍减去所述第二预设数目的差;
当所述元素数目小于或等于所述第三预设数目时,确定所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同。
4.根据权利要求1所述的对象识别方法,其特征在于,根据所述第一识别结果组和所述第二识别结果组初步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象包括:
比较所述第一识别结果组与所述第二识别结果组;
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果;
当所述第一识别结果组与所述第二识别结果组中存在相似的第一识别结果和第二识别结果时,初步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
5.根据权利要求1所述的对象识别方法,其特征在于,所述图像特征为低层特征。
6.根据权利要求5所述的对象识别方法,其特征在于,利用尺度不变特征转换算法或方向梯度直方图算法提取所述图像特征。
7.根据权利要求1所述的对象识别方法,其特征在于,所述图像特征为高层特征。
8.根据权利要求7所述的对象识别方法,其特征在于,利用预先训练好的深度卷积神经网络提取所述图像特征。
9.根据权利要求8所述的对象识别方法,其特征在于,利用领域自适应训练算法训练所述深度卷积神经网络。
10.根据权利要求1所述的对象识别方法,其特征在于,获取所述第一对象图像与所述第二对象图像的图像特征之间的欧式距离或余弦距离,当所述欧式距离或所述余弦距离小于相应的阈值时,确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
11.根据权利要求1所述的对象识别方法,其特征在于,当再次确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据拍摄所述第一对象图像时与拍摄所述第二对象图像时的位置变化及总拍摄次数进一步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象。
12.根据权利要求11所述的对象识别方法,其特征在于,拍摄所述第一对象图像时与拍摄所述第二对象图像时的位置变化为拍摄所述第一对象图像与拍摄所述第二对象图像之间的运动步数。
13.根据权利要求11或12所述的对象识别方法,其特征在于,根据拍摄所述第一对象图像时与拍摄所述第二对象图像时的位置变化及总拍摄次数进一步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象的步骤包括:
比较所述位置变化与预设变化范围以及比较所述总拍摄次数与预设拍摄次数;
当所述位置变化位于所述预设变化范围内且所述总拍摄次数小于所述预设拍摄次数时,进一步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
14.根据权利要求11或12所述的对象识别方法,其特征在于,根据拍摄所述第一对象图像时与拍摄所述第二对象图像时的位置变化及总拍摄次数进一步确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象的步骤包括:
建立表征所述第一对象图像与所述第二对象图像对应于相同的待识别对象的置信度与两个影响因子的函数关系,两个影响因子分别为所述位置变化及所述总拍摄次数对所述第一对象图像与所述第二对象图像对应于相同的待识别对象的置信度的影响,所述函数关系中,两个影响因子分别具有各自的权重;
当所述函数关系表征所述第一对象图像与所述第二对象图像对应于相同的待识别对象的置信度大于预定置信度时,进一步确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
15.根据权利要求14所述的对象识别方法,其特征在于,对应所述总拍摄次数的影响因子的权重的大小与所述总拍摄次数的多少负相关。
16.根据权利要1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
将所述第一识别结果组中的第一个第一识别结果作为所述第二识别结果组中的第一个第二识别结果;
按照置信度由高到低的顺序排列所述第一识别结果组中的第二个第一识别结果至第四预设数目个第一识别结果,以及所述第二识别结果组中的前第五预设数目个第二识别结果;
按照排列后的顺序将第一识别结果或第二识别结果依次作为所述第二识别结果组中的第二个至之后的第二识别结果;
其中,所述第四预设数目小于或等于第一识别结果的总数,所述第五预设数目小于或等于第二识别结果的总数。
17.根据权利要求16所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致还包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第六预设数目个第二识别结果中是否存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第二个第二识别结果。
18.根据权利要求1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
确定在所述第二识别结果组的前第七预设数目个第二识别结果中是否存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果;
当存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
19.根据权利要求1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第八预设数目个第二识别结果中是否存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
20.一种对象识别设备,其特征在于,所述对象识别设备包括处理器和存储器,所述存储器上存储有指令,当所述指令被所述处理器执行时,实现如权利要求1至19中任一项所述的对象识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410190052.3A CN117994585A (zh) | 2024-02-20 | 2024-02-20 | 对象识别方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410190052.3A CN117994585A (zh) | 2024-02-20 | 2024-02-20 | 对象识别方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117994585A true CN117994585A (zh) | 2024-05-07 |
Family
ID=90895026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410190052.3A Pending CN117994585A (zh) | 2024-02-20 | 2024-02-20 | 对象识别方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117994585A (zh) |
-
2024
- 2024-02-20 CN CN202410190052.3A patent/CN117994585A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Song et al. | Kiwifruit detection in field images using Faster R-CNN with VGG16 | |
Li et al. | SAR image change detection using PCANet guided by saliency detection | |
CN111178120B (zh) | 一种基于作物识别级联技术的害虫图像检测方法 | |
CN108108807B (zh) | 学习型图像处理方法、系统及服务器 | |
CN107273864B (zh) | 一种基于深度学习的人脸检测方法 | |
CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及系统 | |
CN111784721A (zh) | 基于深度学习的超声内窥图像智能分割与量化方法及系统 | |
CN110175615A (zh) | 模型训练方法、域自适应的视觉位置识别方法及装置 | |
Sahay et al. | Leaf analysis for plant recognition | |
CN109886295A (zh) | 一种基于神经网络的蝴蝶识别方法及相关设备 | |
CN111460884A (zh) | 基于人体跟踪的多人脸识别方法 | |
KR102325250B1 (ko) | 반려동물 식별 시스템 및 그 방법 | |
CN109033321B (zh) | 一种图像与自然语言特征提取及基于关键词的语言指示图像分割方法 | |
Nahar et al. | Fingerprint classification using deep neural network model resnet50 | |
CN115690803A (zh) | 数字图像的识别方法、装置、电子设备及可读存储介质 | |
Suwais et al. | A review on classification methods for plants leaves recognition | |
Borman et al. | Classification of Medicinal Wild Plants Using Radial Basis Function Neural Network with Least Mean Square | |
CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
CN115858846B (zh) | 一种基于深度学习的滑雪者图像检索方法和系统 | |
Abilash et al. | Currency recognition for the visually impaired people | |
CN105893945A (zh) | 一种遥感图像目标识别方法 | |
CN112183613B (zh) | 对象识别方法和设备与非暂态计算机可读存储介质 | |
CN117994585A (zh) | 对象识别方法及设备 | |
Singh et al. | Computer vision technique for detection of grape esca (black measles) disease from grape leaf samples |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |