CN112183613B - 对象识别方法和设备与非暂态计算机可读存储介质 - Google Patents
对象识别方法和设备与非暂态计算机可读存储介质 Download PDFInfo
- Publication number
- CN112183613B CN112183613B CN202011018430.8A CN202011018430A CN112183613B CN 112183613 B CN112183613 B CN 112183613B CN 202011018430 A CN202011018430 A CN 202011018430A CN 112183613 B CN112183613 B CN 112183613B
- Authority
- CN
- China
- Prior art keywords
- recognition result
- recognition
- preset number
- object image
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 241000196324 Embryophyta Species 0.000 description 12
- 238000012360 testing method Methods 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 244000144730 Amygdalus persica Species 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 2
- 235000006040 Prunus persica var persica Nutrition 0.000 description 2
- 241000220317 Rosa Species 0.000 description 2
- 241000109329 Rosa xanthina Species 0.000 description 2
- 235000004789 Rosa xanthina Nutrition 0.000 description 2
- 235000019693 cherries Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical group N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种对象识别方法和设备与非暂态计算机可读存储介质。对象识别方法包括:获取第一对象图像,并根据第一对象图像产生第一识别结果组,其中,第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;获取第二对象图像,并根据第二对象图像产生第二识别结果组,其中,第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;根据第一识别结果组和第二识别结果组确定第一对象图像与第二对象图像是否对应于相同的待识别对象;当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致。
Description
技术领域
本公开涉及对象识别技术领域,具体来说,涉及一种对象识别方法和设备与非暂态计算机可读存储介质。
背景技术
为了对某一对象进行识别,用户可以提供拍摄该对象所得的图像,由相应的对象识别程序或设备等对这些图像进行识别处理,从而得出对象的种类等信息。在识别过程中,一方面准确率难以达到100%,另一方面对应于同一待识别对象的不同图像之间往往存在着拍摄光线、拍摄角度以及清晰度等方面的差异,因此可能导致针对同一对象的若干次识别有着不一样的识别结果,这给用户带来了疑惑,造成了不好的用户体验。
发明内容
本公开的目的在于提供一种对象识别方法、对象识别设备以及非暂态计算机可读存储介质。
根据本公开的一个方面,提供了一种对象识别方法,包括:
获取第一对象图像,并根据所述第一对象图像产生第一识别结果组,其中,所述第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;
获取第二对象图像,并根据所述第二对象图像产生第二识别结果组,其中,所述第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;
根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致。
在一些实施例中,根据所述第一对象图像产生第一识别结果组包括:
利用预先训练好的对象识别模型,根据所述第一对象图像确定所述第一识别结果组;和/或
根据所述第二对象图像产生第二识别结果组包括:
利用预先训练好的对象识别模型,根据所述第二对象图像确定所述第二识别结果组。
在一些实施例中,所述对象识别模型根据包括待识别对象的拍摄地点、拍摄时间和拍摄环境中的至少一个来确定识别结果。
在一些实施例中,所述对象识别模型是基于卷积神经网络模型或深度残差网络模型而训练的。
在一些实施例中,根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象包括:
比较所述第一识别结果组与所述第二识别结果组;
当所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同时,确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象;
其中,所述第一预设数目大于或等于所述第二预设数目。
在一些实施例中,比较所述第一识别结果组与所述第二识别结果组包括:
确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,比较所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果。
在一些实施例中,比较所述第一识别结果组与所述第二识别结果组包括:
将所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果形成在一个集合中;
确定所述集合中的元素数目;
比较所述元素数目与第三预设数目;
其中,所述第三预设数目等于所述第一预设数目的两倍减去所述第二预设数目的差;
当所述元素数目小于或等于所述第三预设数目时,确定所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同。
在一些实施例中,根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象包括:
比较所述第一识别结果组与所述第二识别结果组;
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果;
当所述第一识别结果组与所述第二识别结果组中存在相似的第一识别结果和第二识别结果时,确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
在一些实施例中,确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果包括:
基于包含至少一组相似的对象种类的规则数据库来确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果。
在一些实施例中,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
将所述第一识别结果组中的第一个第一识别结果作为所述第二识别结果组中的第一个第二识别结果。
在一些实施例中,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致还包括:
按照置信度由高到低的顺序排列所述第一识别结果组中的第二个第一识别结果至第四预设数目个第一识别结果,以及所述第二识别结果组中的前第五预设数目个第二识别结果;
按照排列后的顺序将第一识别结果或第二识别结果依次作为所述第二识别结果组中的第二个至之后的第二识别结果;
其中,所述第四预设数目小于或等于第一识别结果的总数,所述第五预设数目小于或等于第二识别结果的总数。
在一些实施例中,所述第四预设数目等于所述第五预设数目。
在一些实施例中,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致还包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第六预设数目个第二识别结果中是否存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第二个第二识别结果。
在一些实施例中,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
确定在所述第二识别结果组的前第七预设数目个第二识别结果中是否存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果;
当存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
在一些实施例中,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第八预设数目个第二识别结果中是否存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
在一些实施例中,所述对象识别方法还包括:
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,输出特征提示信息;
其中,所述特征提示信息指示至少一个第一识别结果和/或第二识别结果以及与其相似的对象种类之间的区别特征。
在一些实施例中,所述特征提示信息包括文字信息和图片信息中的至少一种。
在一些实施例中,所述对象识别方法还包括:
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,输出拍摄指示信息;
其中,所述拍摄指示信息包括与获取待识别对象的特定部分的图像、以不同角度获取待识别对象的至少一部分的图像、或者以不同距离获取待识别对象的至少一部分的图像有关的指示。
根据本公开的另一方面,提供了一种对象识别设备,所述对象识别设备包括处理器和存储器,所述存储器上存储有指令,当所述指令被所述处理器执行时,实现上述对象识别方法的步骤。
根据本公开的又一方面,提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有指令,当所述指令被执行时,实现上述对象识别方法的步骤。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1示出了根据本公开的一示例性实施例的对象识别方法的流程示意图;
图2示出了根据本公开的第一具体实施例的对象识别方法中的部分流程示意图;
图3示出了根据本公开的第三具体实施例的对象识别方法中的部分流程示意图;
图4示出了根据本公开的第四具体实施例的对象识别方法中的部分流程示意图;
图5示出了根据本公开的第五具体实施例的对象识别方法中的部分流程示意图;
图6示出了根据本公开的第六具体实施例的对象识别方法中的部分流程示意图;
图7示出了根据本公开的第七具体实施例的对象识别方法中的部分流程示意图;
图8示出了根据本公开的一示例性实施例的对象识别设备的框图。
注意,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在一些情况中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了便于理解,在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此,本公开并不限于附图等所公开的位置、尺寸及范围等。
具体实施方式
下面将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。也就是说,本文中的结构及方法是以示例性的方式示出,来说明本公开中的结构和方法的不同实施例。然而,本领域技术人员将会理解,它们仅仅说明可以用来实施的本公开的示例性方式,而不是穷尽的方式。此外,附图不必按比例绘制,一些特征可能被放大以示出具体组件的细节。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
随着图像分析等技术的发展,对象识别已被越来越广泛地应用。在对象的识别中,当用户有意检测识别的准确率时,可能针对同一待识别对象进行若干次识别。或者,当用户对前一次的识别结果存在疑惑甚至不认可时,也可能会再次拍摄同一待识别对象以进行重复识别。在实际情况下,当针对同一待识别对象进行多次识别时,所提供的对象图像之间可能存在一些差异(例如由拍摄距离、拍摄角度、光照条件等参数的变化引起),此时有必要及时和准确地判断出针对同一待识别对象所发起的识别,以便对所产生的识别结果进行调整,从而减少用户的疑惑,改善用户体验。在后文中,将以待识别对象为植物为例,详细阐述本公开的技术方案。本领域技术人员可以理解的是,待识别对象也可以是除植物之外的其它类型的对象。
在一具体示例中,根据测试数据可知,在用户使用对象识别的最初十分钟内,针对同一待识别对象的识别行为的次数很可能会在两次或两次以上。如果不针对这一情况进行处理,那么15%的用户将得到针对同一植物的不同的识别结果,而在针对同一植物的多次识别过程中,识别结果的一致率仅为80.48%。
为了解决上述问题,如图1所示,在本公开的一示例性实施例中,提出了一种对象识别方法,该对象识别方法可以包括:
步骤S100,获取第一对象图像,并根据第一对象图像产生第一识别结果组;
步骤S200,获取第二对象图像,并根据第二对象图像产生第二识别结果组。
其中,第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果,第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果。置信度是指某一识别结果与其相应的对象图像相符合的概率。在一些示例中,当输出第一识别结果组或第二识别结果组时,可以优先输出置信度较高的第一识别结果或第二识别结果。在另一些示例中,可以不输出置信度过低(例如,置信度小于预设置信度阈值)的第一识别结果和第二识别结果,以减少对用户的干扰。在又一些示例中,在输出第一识别结果或第二识别结果的同时,还可以输出相应的置信度,以供用户参考。
可以利用预先训练好的对象识别模型,根据第一对象图像确定第一识别结果组,和/或根据第二对象图像确定第二识别结果组。其中,对象识别模型可以是基于神经网络模型而训练的,例如可以是基于卷积神经网络模型或深度残差网络模型而训练的。
卷积神经网络模型为深度前馈神经网络,其利用卷积核扫描对象图像,提取出对象图像中待识别的特征,进而识别对象的待识别的特征。另外,在识别对象图像的过程中,可以直接将原始的对象图像输入卷积神经网络模型,而无需预处理对象图像。卷积神经网络模型相比于其他的对象识别模型,具备更高的识别准确率以及识别效率。
深度残差网络模型相比于卷积神经网络模型多了恒等映射层,可以避免随着网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。深度残差网络模型中恒等映射层的恒等映射函数需要满足:恒等映射函数与深度残差网络模型的输入之和等于深度残差网络模型的输出。引入恒等映射以后,深度残差网络模型对输出的变化更加明显,因此可以大大提高对象的识别准确率和识别效率(尤其是植物生理期识别的识别准确率和识别效率,从而提高植物的识别准确率和识别效率)。
在一些实施例中,对象识别模型的具体训练过程可以包括:
准备包括一定数量的标注有识别结果的对象图像的样本集。其中,为了改善训练效果,针对每种可能的识别结果,都可以准备一定数量的对象图像,每种识别结果所对应的对象图像的数目可以相等或不等。
然后,在样本集中确定一部分对象图像作为测试集,另一部分对象图像作为训练集。其中,测试集和训练集可以被手动确定或自动确定,且确定过程可以是随机的。在一具体示例中,所确定的测试集中的样本数目可以为整个样本集中的样本数目的5%-20%,相应地,训练集中的样本数目为整个样本集中的样本数目的80%-95%。
然后,可以利用训练集来训练对象识别模型,并利用测试集对训练所得的对象识别模型进行测试,从而获得对象识别模型的准确率。其中,训练过程具体包括调整对象识别模型中的各个模型参数。
通过比较对象识别模型的准确率与预设准确率,可以确定是否还需要继续进行训练。具体而言,当训练所得的对象识别模型的准确率大于或等于预设准确率时,可以认为该对象识别模型的准确率已经符合要求,因而可以结束训练,并利用训练好的对象识别模型进行对象识别。而当训练所得的对象识别模型的准确率小于预设准确率时,可以认为该对象识别模型还需要进一步的优化。此时,可以通过增大训练集中的样本数目,具体可以通过扩大样本集和/或训练集,或者增大训练集的样本数目占整个样本集的样本数目的比例来进一步训练对象识别模型。或者,可以调整对象识别模型本身,并对调整后的对象识别模型进行训练,直到获得符合要求的对象识别模型。
此外,对象识别模型还可以根据包括待识别对象的拍摄地点、拍摄时间和拍摄环境中的至少一个来确定识别结果。其中,拍摄地点可以是植物所在的具体地点(例如可以用经纬度来表示)或者更大范围的区域(例如,亚洲区域、美洲区域等);拍摄时间可以是一天中的某个具体时间,或者一年中的某个季节时段等;拍摄环境可以包括植物周围环境的温度、湿度等与其生长密切相关的天气等参数。
在训练对象识别模型的过程中,拍摄地点、拍摄时间和拍摄环境中的至少一个可以同时被标注在相应的对象图像中。也就是说,拍摄地点、拍摄时间和拍摄环境中的至少一个可以作为对象识别模型的输入参数的一部分,在识别对象时,将包括拍摄地点、拍摄时间和拍摄环境中的至少一个的对象图像输入对象识别模型中,可以获得相应的识别结果。
或者,拍摄地点、拍摄时间或拍摄环境可以不被标注在对象图像中,而对象识别模型可以直接根据拍摄地点、拍摄时间和拍摄环境中的至少一个来筛选识别结果。在一具体示例中,对象识别模型可以先根据拍摄地点、拍摄时间和拍摄环境中的至少一个来得到候选识别结果库,然后根据对输入的对象图像的图像识别从候选识别结果库中获得一个或多个识别结果。在另一具体示例中,对象识别模型可以先根据对输入的对象图像的图像识别获得一个或多个识别结果,然后根据拍摄地点、拍摄时间和拍摄环境中的至少一个从所获得的一个或多个识别结果中剔除不符合的识别结果。
又或者,可以根据不同的拍摄地点、拍摄时间或拍摄环境,分别训练不同的对象识别模型,在识别过程中,根据拍摄地点、拍摄时间或拍摄环境,选择相应的对象识别模型来进行识别。例如,在不同的地理区域中存在的植物种类往往有着很大的差别。因此可以根据植物的拍摄地点来构建不同的对象识别模型,从而提高识别的准确率。类似地,植物在不同季节中、甚至在一天的不同时段中,其形态可能存在差别,同时不同时间的光照条件等也可能对对象图像造成影响,因此可以根据待识别对象的拍摄时间来构建不同的对象识别模型。
需要注意的是,根据同一对象图像,对象识别模型可以产生一个或多个分别具有相应的置信度的识别结果,针对同一对象图像产生的识别结果可以被归入同一个识别结果组中,以待后续处理。
此外,还可以收集用户所拍摄的对象图像及其相关信息(包括拍摄地点、拍摄时间或拍摄环境等),以丰富样本集中的样本,便于后期根据这些收集的样本进一步优化对象识别模型。
返回图1,对象识别方法还可以包括:
步骤S300,根据第一识别结果组和第二识别结果组确定第一对象图像与第二对象图像是否对应于相同的待识别对象。
具体而言,当第一识别结果组和第二识别结果组中包括了满足预设条件的相同或相似的第一识别结果与第二识别结果时,可以确定第一对象图像与第二对象图像对应于相同的待识别对象。当第一对象图像与第二对象图像对应于相同的待识别对象时,可以认定用户对目前的识别方法或前一次识别的结果存在疑虑,为了减少用户的疑惑并改善用户体验,有必要进行一些特别的处理,后文中将详细阐述。
在第一具体实施例中,如图2所示,根据第一识别结果组和第二识别结果组确定第一对象图像与第二对象图像是否对应于相同的待识别对象可以包括:
步骤S311,比较第一识别结果组与第二识别结果组;
步骤S312,当第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与第二识别结果组的前第一预设数目个第二识别结果中的第二预设数目个第二识别结果相同时,确定第一对象图像与第二对象图像对应于相同的待识别对象;
其中,第一预设数目大于或等于第二预设数目。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13,…,R1m),第二识别结果组可以被表示为(R21,R22,R23,…,R2n),其中,R11、R12、R13、…、R1m为置信度由高到低排列的m个第一识别结果,R21、R22、R23、…、R2n为置信度由高到低排列的n个第二识别结果,第一预设数目可以为2,第二预设数目可以为1。那么,当第一识别结果组的前两个第一识别结果(即置信度最高和第二高的第一识别结果)中存在至少一个第一识别结果与第二识别结果组中的前两个第二识别结果(即置信度最高和第二高的第二识别结果)中的一个第二识别结果相同时,例如当R11、R12中的R11与R21、R22中的R22相同时,则确定第一对象图像与第二对象图像对应于相同的待识别对象。
在另一具体示例中,第一预设数目可以为3,第二预设数目可以为2。那么,当第一识别结果组的前三个第一识别结果(即置信度最高、第二高和第三高的第一识别结果)中存在至少两个第一识别结果与第二识别结果组中的前三个第二识别结果(即置信度最高、第二高和第三高的第二识别结果)中的两个第二识别结果相同时,例如当R11、R12、R13中的R11与R21、R22、R23中的R22相同、且R12与R23相同时,则确定第一对象图像与第二对象图像对应于相同的待识别对象。相比于第一预设数目为2、第二预设数目为1的前一示例,本示例中错判第一对象图像与第二对象图像对应于相同的待识别对象的概率将会降低,但同时可能会遗漏一些第一对象图像与第二对象图像对应于相同的待识别对象的情形。根据测试结果可知,本示例相对于前一示例的错判的概率可以从5%降低到0.6%,但是遗漏的概率会从9%升高到11%。可以理解的是,在其它具体示例中,也可以根据需要改变第一预设数目和/或第二预设数目的值。
在第二具体实施例中,比较第一识别结果组与第二识别结果组可以包括:
确定第一对象图像与第二对象图像的拍摄时间间隔;
比较拍摄时间间隔与预设时间间隔;
当拍摄时间间隔小于或等于预设时间间隔时,比较第一识别结果组中的前第一预设数目个第一识别结果与第二识别结果组中的前第一预设数目个第二识别结果。
也就是说,在确定第一对象图像与第二对象图像是否对应于相同的待识别对象时,还可以将第一对象图像与第二对象图像的拍摄时间间隔考虑在其中。只有当拍摄时间间隔较短、即小于或等于预设时间间隔时,才进一步比较第一识别结果组与第二识别结果组以确定第一对象图像与第二对象图像是否对应于相同的待识别对象,这样有助于快速排除掉一些不对应于相同的待识别对象的情形,减少所需处理的数据率,提高计算效率。
当然,在其它实施例中,根据实际需求,对拍摄时间间隔的判断也可以在比较第一识别结果组与第二识别结果组之后进行。
在一些实施例中,比较第一识别结果组与第二识别结果组可以包括:
将第一识别结果组中的前第一预设数目个第一识别结果与第二识别结果组中的前第一预设数目个第二识别结果形成在一个集合中;
确定集合中的元素数目;
比较元素数目与第三预设数目;
其中,第三预设数目等于第一预设数目的两倍减去第二预设数目的差;
当元素数目小于或等于第三预设数目时,确定第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与第二识别结果组的前第一预设数目个第二识别结果中的第二预设数目个第二识别结果相同。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13,…,R1m),第二识别结果组可以被表示为(R21,R22,R23,…,R2n),第一预设数目为3,第二预设数目为2,根据计算可得第三预设数目为4。那么,集合中的元素可以包括第一识别结果组中的前三个第一识别结果R11、R12、R13与第二识别结果组中的前三个第二识别结果R21、R22和R23。需要注意的是,集合中的元素具有互异性,因此当R11、R12、R13、R21、R22和R23中包括相同的元素时,集合中的元素数目将小于6。当R11、R12、R13、R21、R22和R23中包括至少两组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目4。
在另一具体示例中,假设第一预设数目为2,第二预设数目为1,根据计算可得第三预设数目为3。那么,集合中的元素可以包括第一识别结果组中的前两个第一识别结果R11、R12与第二识别结果组中的前两个第二识别结果R21、R22。当R11、R12、R21和R22中包括至少一组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目3。
在实际情况下,考虑到对象之间可能具有较高的相似性,而且识别准确率并非100%,因此根据对应于同一待识别对象的第一对象图像和第二对象图像所产生的第一识别结果组与第二识别结果组中可能并不存在相同的第一识别结果与第二识别结果,为了避免对这种情况的漏判,在本公开的第三具体实施例中,如图3所示,根据第一识别结果组和第二识别结果组确定第一对象图像与第二对象图像是否对应于相同的待识别对象可以包括:
步骤S321,比较第一识别结果组与第二识别结果组;
步骤S322,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定第一对象图像与第二对象图像的拍摄时间间隔;
步骤S323,比较拍摄时间间隔与预设时间间隔;
步骤S324,当拍摄时间间隔小于或等于预设时间间隔时,确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果;
步骤S325,当第一识别结果组与第二识别结果组中存在相似的第一识别结果和第二识别结果时,确定第一对象图像与第二对象图像对应于相同的待识别对象。
也就是说,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,可以结合拍摄时间间隔与相似的识别结果,来确定第一对象图像与第二对象图像是否对应于相同的待识别对象,从而减少漏判,并提高判断的准确率。
其中,确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果可以包括:
基于包含至少一组相似的对象种类的规则数据库来确定第一识别结果组与第二识别结果组中是否存在相似的第一识别结果和第二识别结果。
具体而言,规则数据库可以是预先创建的,其中可以包含多组易混淆的相似的对象种类的名称。此外,规则数据库还可以包括这些相似的对象种类的区别特征、针对这些区别特征的优化的拍摄参数等信息。对于第一识别结果组中的每个第一识别结果,可以在规则数据库中查找与其相似的对象,并返回第二识别结果组中查找是否存在与相似的对象相同的第二识别结果,若存在,则可以认为这个第二识别结果与第一识别结果是相似的,进而根据相似的第一识别结果与第二识别结果确定第一对象图像与第二对象图像是否对应于相同的待识别对象。
返回图1,在本公开的一示例性实施例中,对象识别方法还可以包括:
步骤S400,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致。
在一些实施例中,经调整的第二识别结果组与第一识别结果组至少部分地一致可以为经调整的第二识别结果组的第一个第二识别结果与第一识别结果组的第一个第一识别结果相一致,即两次分别产生的置信度最高的第一识别结果和第二识别结果是一致的。在另一些实施例中,经调整的第二识别结果组与第一识别结果组至少部分地一致可以为经调整的第二识别结果组的前若干个第二识别结果与第一识别结果组的前若干个第一识别结果一致(其中,第一识别结果组中的第一识别结果的顺序与第二识别结果组中的第二识别结果的顺序可以相同或不同)。可以理解的是,也可以根据实际需要采用其它方式来定义经调整的第二识别结果组与第一识别结果组至少部分地一致。
在一些实施例中,可以调整第二识别结果组以保障经调整的第二识别结果组的第一个第二识别结果与第一识别结果组的第一个第一识别结果相一致,这样,两次产生的置信度最高的识别结果将是相同的,可以有效地减少用户的疑惑,改善用户体验。具体而言,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S411,将第一识别结果组中的第一个第一识别结果作为第二识别结果组中的第一个第二识别结果。
进一步地,如图4所示,在第四具体实施例中,对于第二识别结果组中的除第一个第二识别结果之外的其它第二识别结果,可以根据下述规则进行调整。即,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致还可以包括:
步骤S412,按照置信度由高到低的顺序排列第一识别结果组中的第二个第一识别结果至第四预设数目个第一识别结果,以及第二识别结果组中的前第五预设数目个第二识别结果;
步骤S413,按照排列后的顺序将第一识别结果或第二识别结果依次作为第二识别结果组中的第二个至之后的第二识别结果;
其中,第四预设数目小于或等于第一识别结果的总数,第五预设数目小于或等于第二识别结果的总数。
尤其是在第一识别结果组与第二识别结果组中存在相同的第一识别结果和第二识别结果的情况下,可以采用这些步骤来调整第二识别结果组。此外,为了避免经调整的第二识别结果组偏重于第一识别结果或第二识别结果,第四预设数目也可以等于第五预设数目。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第一预设数目为3,第二预设数目为2,根据计算可得第三预设数目为4。那么,集合中的元素可以包括第一识别结果组中的前三个第一识别结果R11、R12、R13与第二识别结果组中的前三个第二识别结果R21、R22和R23。当R11、R12、R13、R21、R22和R23中包括至少两组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目4。
此外,第四预设数目可以等于第一识别结果的总数3,第五预设数目可以等于第二识别结果的总数3。那么,对R12、R13、R21、R22和R23按照置信度由高到低的顺序排列,假设得到置信度最高和第二高的识别结果分别为R21和R12,则经调整的第二识别结果组可以为(R11,R21,R12)。当然,在其它具体示例中,经调整的第二识别结果组中的第二识别结果的数目也可以与调整前的第二识别结果组中的第二识别结果的数目不同,但其中各个第二识别结果的顺序是根据R12、R13、R21、R22和R23的按照置信度由高到低的排列顺序获得的。
根据测试可知,通过上述方式得到的识别结果的一致率可以从80.48%上升到90.14%。
在另一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第一预设数目为2,第二预设数目为1,根据计算可得第三预设数目为3。那么,集合中的元素可以包括第一识别结果组中的前两个第一识别结果R11和R12与第二识别结果组中的前两个第二识别结果R21和R22。当R11、R12、R21和R22中包括至少一组相同的第一识别结果和第二识别结果时,元素数目将小于或等于第三预设数目3。
此外,第四预设数目可以等于第一识别结果的总数3,第五预设数目可以等于第二识别结果的总数3。那么,对R12、R13、R21、R22和R23按照置信度由高到低的顺序排列,假设得到置信度最高和第二高的识别结果分别为R21和R12,则经调整的第二识别结果组为(R11,R21,R12)。
根据测试可知,识别结果的一致率可以从80.48%上升到91.95%,相对于前一示例中的90.14%也有所上升。
当然,在其它实施例中,根据需要,第四预设数目也可以小于第一识别结果的总数,和/或第五预设数目可以小于第二识别结果的总数。
在第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果的情况下,可以将与某个第一识别结果相似的第二识别结果尽量调整到靠前的位置。如图5所示,在第五具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致还可以包括:
步骤S422,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在第二识别结果组的前第六预设数目个第二识别结果中是否存在与第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
步骤S423,当存在与第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为第二识别结果组中的第二个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第六预设数目为2。第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果,且仅R12与R21是相似的。那么,经调整的第二识别结果组中,第一个第二识别结果为R11,第二个第二识别结果为R12(R21)。
在另一些实施例中,也可以综合两次的识别结果来调整第二识别结果组,使第二次反映的识别结果尽可能准确,而不受到第一次识别的过多限制。例如,如图6所示,在第六具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S431,确定在第二识别结果组的前第七预设数目个第二识别结果中是否存在与第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果;
步骤S432,当存在与第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果时,将该第二识别结果作为第二识别结果组中的第一个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第七预设数目为2。如果R21、R22中的R21与R11、R12中的R12相同,那么可以将R21(R12)作为经调整的第二识别结果组中的第一个第二识别结果,而不是将R11作为经调整的第二识别结果组中的第一个第二识别结果。由于经过两次识别,都存在R21(R12)这一结果,因此可以认为其具有更高的准确率。
在第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果的情况下,如图7所示,在第七具体实施例中,当第一对象图像与第二对象图像对应于相同的待识别对象时,根据第一识别结果组调整第二识别结果组,使得经调整的第二识别结果组与第一识别结果组至少部分地一致可以包括:
步骤S441,当第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在第二识别结果组的前第八预设数目个第二识别结果中是否存在与第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
步骤S442,当存在与第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为第二识别结果组中的第一个第二识别结果。
在一具体示例中,假设第一识别结果组可以被表示为(R11,R12,R13),第二识别结果组可以被表示为(R21,R22,R23),第八预设数目为2。如果第一识别结果组与第二识别结果组中不存在相同的第一识别结果和第二识别结果,且R21、R22中的R21与R11、R12中的R12相似,那么可以将R21作为经调整的第二识别结果组中的第一个第二识别结果。其中,确定相似的第一识别结果和第二识别结果的方法可以参考上文中所描述的基于规则数据库的方法。
可以理解的是,当用户进行了三次或三次以上的拍摄时,可以参考上述方法来确定本次拍摄与前一次拍摄是否针对相同的待识别对象,以及根据前一次所得的识别结果组来调整本次所得的识别结果组。
在本公开的一些实施例中,对象识别方法还可以包括:
当第一对象图像与第二对象图像对应于相同的待识别对象时,输出特征提示信息。
其中,特征提示信息可以指示至少一个第一识别结果和/或第二识别结果以及与其相似的对象种类之间的区别特征。在上文中提到,区别特征可以被包括在规则数据库中以待获取。特征提示信息可以包括文字信息和图片信息中的至少一种。用户根据这些特征提示信息,可以更好地辨认待识别对象。
在一具体示例中,一组相似的待识别对象可以包括桃花和樱花,与其相应的区别特征为:桃花呈瓜子形,花瓣外端有一个尖,樱花的花瓣外端有一个三角形的缺口。在另一具体示例中,一组相似的待识别对象可以包括玫瑰花和月季花,与其相应的区别特征为:月季的花径光滑,刺的顶端有一点弯弯的弧度;玫瑰花的花径上的刺比较多,并且刺的顶端不弯曲,茎上还有一些小绒毛。这些区别特征可以被包括在特征提示信息中,以文字信息或图片信息或两者结合的形式被展示给用户,以便用户进行分辨。
在本公开的一些实施例中,对象识别方法还可以包括:
当第一对象图像与第二对象图像对应于相同的待识别对象时,输出拍摄指示信息。
其中,拍摄指示信息可以包括与获取待识别对象的特定部分的图像、以不同角度获取待识别对象的至少一部分的图像、或者以不同距离获取待识别对象的至少一部分的图像有关的指示。
在上文中提到,针对区别特征的优化的拍摄参数可以被包括在规则数据库中以待获取,而这些拍摄参数可以被包括在拍摄指示信息中而输出。在一具体示例中,对应于包括桃花和樱花的一组相似的待识别对象,拍摄参数可以包括:拍摄花瓣细节。在另一具体示例中,对应于包括玫瑰花和月季花的一组相似的待识别对象,拍摄参数可以包括:拍摄花茎,并且距花茎一定距离以使图像中呈现多个花刺。通过输出包括拍摄参数的拍摄提示信息,可以帮助用户更好地提供有助于提高识别准确率的对象图像,从而改善识别效果。
如图8所示,本公开还提供了一种对象识别设备900,包括处理器910和存储器920,存储器920上存储有指令,当指令被处理器910执行时,实现上述对象识别方法的步骤。
其中,处理器910可以根据存储在存储器920中的指令执行各种动作和处理。具体地,处理器910可以是一种集成电路芯片,具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以是X86架构或者是ARM架构等。
存储器920存储有可执行指令,该指令在被处理器910执行上文所述的对象识别方法。存储器920可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意,本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
根据本公开的另一个方面,提出了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质上存储有指令,当指令被执行时,可以实现上文所描述的对象识别方法中的步骤。
类似地,本公开实施例中的非暂态计算机可读存储介质可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。应注意,本文描述的计算机可读存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
一般而言,本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑,或其任何组合中实施。某些方面可以在硬件中实施,而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时,将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备,或其某些组合中实施。
在说明书及权利要求中的词语“前”、“后”、“顶”、“底”、“之上”、“之下”等,如果存在的话,用于描述性的目的而并不一定用于描述不变的相对位置。应当理解,这样使用的词语在适当的情况下是可互换的,使得在此所描述的本公开的实施例,例如,能够在与在此所示出的或另外描述的那些取向不同的其他取向上操作。
如在此所使用的,词语“示例性的”意指“用作示例、实例或说明”,而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且,本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
如在此所使用的,词语“基本上”意指包含由设计或制造的缺陷、器件或元件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪声以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。
另外,前面的描述可能提及了被“连接”或“耦接”在一起的元件或节点或特征。如在此所使用的,除非另外明确说明,“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式直接地连接(或者直接通信)。类似地,除非另外明确说明,“耦接”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用,即使这两个特征可能并没有直接连接也是如此。也就是说,“耦接”意图包含元件或其它特征的直接连结和间接连结,包括利用一个或多个中间元件的连接。
另外,仅仅为了参考的目的,还可以在本文中使用“第一”、“第二”等类似术语,并且因而并非意图限定。例如,除非上下文明确指出,否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。
还应理解,“包括/包含”一词在本文中使用时,说明存在所指出的特征、整体、步骤、操作、单元和/或组件,但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
在本公开中,术语“提供”从广义上用于涵盖获得对象的所有方式,因此“提供某对象”包括但不限于“购买”、“制备/制造”、“布置/设置”、“安装/装配”、和/或“订购”对象等。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。在此公开的各实施例可以任意组合,而不脱离本公开的精神和范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。
Claims (18)
1.一种对象识别方法,其特征在于,所述对象识别方法包括:
获取第一对象图像,并根据所述第一对象图像产生第一识别结果组,其中,所述第一识别结果组包括按照置信度由高到低的顺序排列的一个或多个第一识别结果;
获取第二对象图像,并根据所述第二对象图像产生第二识别结果组,其中,所述第二识别结果组包括按照置信度由高到低的顺序排列的一个或多个第二识别结果;
根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象;
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致;
其中,根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象包括:
比较所述第一识别结果组与所述第二识别结果组;当所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同时,确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象;其中,所述第一预设数目大于或等于所述第二预设数目;
其中,比较所述第一识别结果组与所述第二识别结果组包括:
将所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果形成在一个集合中;确定所述集合中的元素数目;比较所述元素数目与第三预设数目;其中,所述第三预设数目等于所述第一预设数目的两倍减去所述第二预设数目的差;当所述元素数目小于或等于所述第三预设数目时,确定所述第一识别结果组的前第一预设数目个第一识别结果中存在至少第二预设数目个第一识别结果与所述第二识别结果组的前第一预设数目个第二识别结果中的所述第二预设数目个第二识别结果相同。
2.根据权利要求1所述的对象识别方法,其特征在于,根据所述第一对象图像产生第一识别结果组包括:
利用预先训练好的对象识别模型,根据所述第一对象图像确定所述第一识别结果组;和/或
根据所述第二对象图像产生第二识别结果组包括:
利用预先训练好的对象识别模型,根据所述第二对象图像确定所述第二识别结果组。
3.根据权利要求2所述的对象识别方法,其特征在于,所述对象识别模型根据包括待识别对象的拍摄地点、拍摄时间和拍摄环境中的至少一个来确定识别结果。
4.根据权利要求2所述的对象识别方法,其特征在于,所述对象识别模型是基于卷积神经网络模型或深度残差网络模型而训练的。
5.根据权利要求1所述的对象识别方法,其特征在于,比较所述第一识别结果组与所述第二识别结果组还包括:
确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,比较所述第一识别结果组中的前第一预设数目个第一识别结果与所述第二识别结果组中的前第一预设数目个第二识别结果。
6.根据权利要求1所述的对象识别方法,其特征在于,根据所述第一识别结果组和所述第二识别结果组确定所述第一对象图像与所述第二对象图像是否对应于相同的待识别对象还包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定所述第一对象图像与所述第二对象图像的拍摄时间间隔;
比较所述拍摄时间间隔与预设时间间隔;
当所述拍摄时间间隔小于或等于所述预设时间间隔时,确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果;
当所述第一识别结果组与所述第二识别结果组中存在相似的第一识别结果和第二识别结果时,确定所述第一对象图像与所述第二对象图像对应于相同的待识别对象。
7.根据权利要求6所述的对象识别方法,其特征在于,确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果包括:
基于包含至少一组相似的对象种类的规则数据库来确定所述第一识别结果组与所述第二识别结果组中是否存在相似的第一识别结果和第二识别结果。
8.根据权利要求1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
将所述第一识别结果组中的第一个第一识别结果作为所述第二识别结果组中的第一个第二识别结果。
9.根据权利要求8所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致还包括:
按照置信度由高到低的顺序排列所述第一识别结果组中的第二个第一识别结果至第四预设数目个第一识别结果,以及所述第二识别结果组中的前第五预设数目个第二识别结果;
按照排列后的顺序将第一识别结果或第二识别结果依次作为所述第二识别结果组中的第二个至之后的第二识别结果;
其中,所述第四预设数目小于或等于第一识别结果的总数,所述第五预设数目小于或等于第二识别结果的总数。
10.根据权利要求9所述的对象识别方法,其特征在于,所述第四预设数目等于所述第五预设数目。
11.根据权利要求8所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致还包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第六预设数目个第二识别结果中是否存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第六预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第二个第二识别结果。
12.根据权利要求1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
确定在所述第二识别结果组的前第七预设数目个第二识别结果中是否存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果;
当存在与所述第一识别结果组的前第七预设数目个第一识别结果中的第一识别结果相同的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
13.根据权利要求1所述的对象识别方法,其特征在于,当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,根据所述第一识别结果组调整所述第二识别结果组,使得经调整的第二识别结果组与所述第一识别结果组至少部分地一致包括:
当所述第一识别结果组与所述第二识别结果组中不存在相同的第一识别结果和第二识别结果时,确定在所述第二识别结果组的前第八预设数目个第二识别结果中是否存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果;
当存在与所述第一识别结果组的前第八预设数目个第一识别结果中的第一识别结果相似的第二识别结果时,将该第二识别结果作为所述第二识别结果组中的第一个第二识别结果。
14.根据权利要求1所述的对象识别方法,其特征在于,所述对象识别方法还包括:
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,输出特征提示信息;
其中,所述特征提示信息指示至少一个第一识别结果和/或第二识别结果以及与其相似的对象种类之间的区别特征。
15.根据权利要求14所述的对象识别方法,其特征在于,所述特征提示信息包括文字信息和图片信息中的至少一种。
16.根据权利要求1所述的对象识别方法,其特征在于,所述对象识别方法还包括:
当所述第一对象图像与所述第二对象图像对应于相同的待识别对象时,输出拍摄指示信息;
其中,所述拍摄指示信息包括与获取待识别对象的特定部分的图像、以不同角度获取待识别对象的至少一部分的图像、或者以不同距离获取待识别对象的至少一部分的图像有关的指示。
17.一种对象识别设备,其特征在于,所述对象识别设备包括处理器和存储器,所述存储器上存储有指令,当所述指令被所述处理器执行时,实现如权利要求1至16中任一项所述的对象识别方法的步骤。
18.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质上存储有指令,当所述指令被执行时,实现如权利要求1至16中任一项所述的对象识别方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018430.8A CN112183613B (zh) | 2020-09-24 | 2020-09-24 | 对象识别方法和设备与非暂态计算机可读存储介质 |
US17/163,579 US11809526B2 (en) | 2020-09-24 | 2021-02-01 | Object identification method and device and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018430.8A CN112183613B (zh) | 2020-09-24 | 2020-09-24 | 对象识别方法和设备与非暂态计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112183613A CN112183613A (zh) | 2021-01-05 |
CN112183613B true CN112183613B (zh) | 2024-03-22 |
Family
ID=73943390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011018430.8A Active CN112183613B (zh) | 2020-09-24 | 2020-09-24 | 对象识别方法和设备与非暂态计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11809526B2 (zh) |
CN (1) | CN112183613B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544508B2 (en) * | 2020-11-23 | 2023-01-03 | Nielsen Consumer Llc | Methods, systems, articles of manufacture, and apparatus to recalibrate confidences for image classification |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259221A1 (en) * | 2009-06-03 | 2010-12-08 | ETH Zurich | Computer system and method for tracking objects in video data |
CN107844794A (zh) * | 2016-09-21 | 2018-03-27 | 北京旷视科技有限公司 | 图像识别方法和装置 |
CN108230296A (zh) * | 2017-11-30 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像特征的识别方法和装置、存储介质、电子装置 |
WO2019096029A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 活体识别方法、存储介质和计算机设备 |
CN110232134A (zh) * | 2019-06-13 | 2019-09-13 | 上海商汤智能科技有限公司 | 数据更新方法、服务器及计算机存储介质 |
CN110490086A (zh) * | 2019-07-25 | 2019-11-22 | 杭州睿琪软件有限公司 | 一种用于对象识别结果二次确认的方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2570990A1 (en) * | 2011-09-13 | 2013-03-20 | Thomson Licensing | Apparatus and method for determining a confidence value of a disparity estimate |
US10025984B2 (en) * | 2016-07-18 | 2018-07-17 | X Development Llc | Delegation of object and pose detection |
US20230169767A1 (en) * | 2020-02-20 | 2023-06-01 | Shenzhen Hollyland Technology Co., Ltd. | Wireless transmission system and transmitting control device |
-
2020
- 2020-09-24 CN CN202011018430.8A patent/CN112183613B/zh active Active
-
2021
- 2021-02-01 US US17/163,579 patent/US11809526B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2259221A1 (en) * | 2009-06-03 | 2010-12-08 | ETH Zurich | Computer system and method for tracking objects in video data |
CN107844794A (zh) * | 2016-09-21 | 2018-03-27 | 北京旷视科技有限公司 | 图像识别方法和装置 |
WO2019096029A1 (zh) * | 2017-11-20 | 2019-05-23 | 腾讯科技(深圳)有限公司 | 活体识别方法、存储介质和计算机设备 |
CN108230296A (zh) * | 2017-11-30 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 图像特征的识别方法和装置、存储介质、电子装置 |
CN110232134A (zh) * | 2019-06-13 | 2019-09-13 | 上海商汤智能科技有限公司 | 数据更新方法、服务器及计算机存储介质 |
CN110490086A (zh) * | 2019-07-25 | 2019-11-22 | 杭州睿琪软件有限公司 | 一种用于对象识别结果二次确认的方法及系统 |
Non-Patent Citations (2)
Title |
---|
ONLINE MULTI-OBJECT TRACKING WITH CONVOLUTIONAL NEURAL NETWORKS;Long Chen et. al;《 2017 IEEE International Conference on Image Processing (ICIP)》;645-648 * |
Pedestrian Tracking Using Online Boosted Random Ferns Learning in Far-Infrared Imagery for Safe Driving at Night;Joon-Young Kwak et. al;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;第18卷(第1期);69-80 * |
Also Published As
Publication number | Publication date |
---|---|
US20220092364A1 (en) | 2022-03-24 |
US11809526B2 (en) | 2023-11-07 |
CN112183613A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351986B (zh) | 学习系统及装置和方法、训练数据生成装置及生成方法 | |
CN111340070B (zh) | 植物病虫害诊断方法和系统 | |
CN110555416B (zh) | 一种植物识别方法及装置 | |
CN109635657A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
US11335087B2 (en) | Method and system for object identification | |
RU2018143339A (ru) | Распознавание сорняков в естественной среде | |
CN108875811A (zh) | 动物种类的分类方法、装置、计算机设备和存储介质 | |
CN113096100B (zh) | 用于植物病症诊断的方法和植物病症诊断系统 | |
US9842279B2 (en) | Data processing method for learning discriminator, and data processing apparatus therefor | |
CN110490086B (zh) | 一种用于对象识别结果二次确认的方法及系统 | |
CN111488833A (zh) | 一种行人重识别方法、装置及电子设备和存储介质 | |
WO2023098463A1 (zh) | 植物识别方法、植物识别设备和植物识别系统 | |
CN107145879A (zh) | 一种植物种类自动识别方法及系统 | |
CN112183613B (zh) | 对象识别方法和设备与非暂态计算机可读存储介质 | |
US20220269721A1 (en) | Method and system for acquiring species identification names and readable storage medium | |
CN116188995B (zh) | 一种遥感图像特征提取模型训练方法、检索方法及装置 | |
WO2021017316A1 (zh) | 基于残差网络的信息识别方法、装置和计算机设备 | |
CN111126233A (zh) | 基于距离值的通话通道构建方法、装置和计算机设备 | |
CN113313193A (zh) | 植物图片识别方法、可读存储介质及电子设备 | |
Yildiz et al. | Amstertime: A visual place recognition benchmark dataset for severe domain shift | |
WO2023231644A1 (zh) | 对象识别模型的训练方法、对象识别方法和对象识别设备 | |
WO2023093480A1 (zh) | 物种游览方法、游览系统及可读存储介质 | |
CN110147850B (zh) | 图像识别的方法、装置、设备及存储介质 | |
CN111881994B (zh) | 识别处理方法及设备和非暂态计算机可读存储介质 | |
CN117994585A (zh) | 对象识别方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |