CN113239804B - 图像识别方法、可读存储介质及图像识别系统 - Google Patents
图像识别方法、可读存储介质及图像识别系统 Download PDFInfo
- Publication number
- CN113239804B CN113239804B CN202110522915.9A CN202110522915A CN113239804B CN 113239804 B CN113239804 B CN 113239804B CN 202110522915 A CN202110522915 A CN 202110522915A CN 113239804 B CN113239804 B CN 113239804B
- Authority
- CN
- China
- Prior art keywords
- category
- image
- preset
- recognition
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像识别方法、可读存储介质及图像识别系统,所述图像识别方法包括:输入待识别图像,运行识别引擎以识别得到待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断待识别图像中的内容是否属于非预设类别;若物种识别结果的置信度不小于第一预设值,则忽略非类别引擎的判断结果,而得到待识别图像中的内容属于预设类别的类别识别结果;若物种识别结果的置信度小于第一预设值,且非类别引擎的判断结果为否时,得到待识别图像中的内容属于预设类别的类别识别结果;若物种识别结果的置信度小于第一预设值,且非类别引擎的判断结果为是时,得到待识别图像中的内容属于非预设类别的类别识别结果。
Description
技术领域
本发明涉及对象识别技术领域,特别涉及一种图像识别方法、可读存储介质及图像识别系统。
背景技术
在一些对象识别的应用程序中,用户会在应用程序中为不希望支持的许多其他图像拍照。例如在识别某一种类,如识别植物或识别鸟类(还例如识别蘑菇、鱼类、昆虫、宠物、石头等)的应用程序中输入了动物图片或者石头图片。如果这时强制进行植物或者鸟类的物种识别的话,将会得到奇怪的结果,这将使应用程序看起来不专业,也容易导致用户在评论中产生抱怨等问题。
发明内容
本发明的目的在于提供一种图像识别方法、可读存储介质及图像识别系统,以解决现有对象识别程序对不希望支持的物种进行识别时产生的问题。
为解决上述技术问题,根据本发明的第一个方面,提供了一种图像识别方法,其包括:
输入待识别图像,运行识别引擎以识别得到所述待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断所述待识别图像中的内容是否属于非预设类别;
若所述物种识别结果的置信度不小于第一预设值,则忽略所述非类别引擎的判断结果,而得到所述待识别图像中的内容属于预设类别的类别识别结果;
若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为否时,得到所述待识别图像中的内容属于预设类别的类别识别结果;
若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为是时,得到所述待识别图像中的内容属于非预设类别的类别识别结果;
以及,根据预设逻辑输出所述类别识别结果;
可选的,在所述图像识别方法中,所述非类别引擎根据标注有是否为非预设类别的信息的图像内容训练得到。
可选的,在所述图像识别方法中,所述识别引擎根据标注有物种的信息的图像内容训练得到。
可选的,所述图像识别方法还包括:判断所述待识别图像中的内容的类别的数量是否为两个以上,若是,且其中至少一种类别为需排除的冗余类别,则在输入所述待识别图像后,排除所述待识别图像中的冗余类别。
可选的,在所述图像识别方法中,所述冗余类别包括人脸。
可选的,在所述图像识别方法中,所述冗余类别的判断和识别利用人脸识别引擎处理。
可选的,在所述图像识别方法中,对于所述待识别图像,若所述识别引擎识别得到两个以上的物种识别结果,对两个以上所述物种识别结果的置信度由高到低的顺序排序;
所述预设逻辑包括:排除所述置信度低于第二预设值的所述类别识别结果;其中,所述第二预设值小于所述第一预设值。
可选的,在所述图像识别方法中,所述预设类别根据输入或预置确定。
可选的,在所述图像识别方法中,所述预设类别根据输入确定,若输出的所述类别识别结果包括所述待识别图像中的内容属于非预设类别,所述图像识别方法还包括提示重新输入所述预设类别,并根据重新输入的所述预设类别对所述待识别图像再次进行识别。
可选的,在所述图像识别方法中,所述预设类别为植物。
可选的,在所述图像识别方法中,在运行所述识别引擎以及运行所述非类别引擎之前,所述图像识别方法包括:调用通用物种识别引擎对所述待识别图像进行识别处理,以得到所述预设类别。
为解决上述技术问题,根据本发明的第二个方面,还提供了一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的图像识别方法。
为解决上述技术问题,根据本发明的第三个方面,还提供了一种图像识别系统,其包括处理器和如上所述的可读存储介质,当所述可读存储介质上的程序被所述处理器执行时,实现如上所述的图像识别方法。
综上所述,在本发明提供的图像识别方法、可读存储介质及图像识别系统中,所述图像识别方法包括:输入待识别图像,运行识别引擎以识别得到所述待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断所述待识别图像中的内容是否属于非预设类别;若所述物种识别结果的置信度不小于第一预设值,则忽略所述非类别引擎的判断结果,而得到所述待识别图像中的内容属于预设类别的类别识别结果;若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为否时,得到所述待识别图像中的内容属于预设类别的类别识别结果;若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为是时,得到所述待识别图像中的内容属于非预设类别的类别识别结果;以及,根据预设逻辑输出所述类别识别结果。
如此配置,通过识别引擎和非类别引擎的设置,基于识别引擎的物种识别结果的置信度与第一预设值的比较结果,结合非类别引擎的判断结果,可以较准确地得到待识别图像的预设类别是否为预设类别的识别结果。克服了现有对象识别程序对不希望支持的物种进行识别时产生的问题。
附图说明
本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:
图1是本发明一实施例的图像识别方法的流程图。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
如在本说明书中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,术语“或”通常是以包括“和/或”的含义而进行使用的,术语“若干”通常是以包括“至少一个”的含义而进行使用的,术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的,此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本说明书中的具体含义。
本发明的目的在于提供一种图像识别方法、可读存储介质及图像识别系统,以解决现有对象识别程序对不希望支持的物种进行识别时产生的问题。
以下参考附图进行描述。
发明人发现,基于背景技术的描述,现有的对象识别应用程序在获得不希望支持的图像时,常会对产生一些错误的识别判断。发明人在一个现有的对象识别引擎中,随机选择了5000至10000张图像作为输入进行测试,并在图像上标记了正确的结果,得到的测试结果如下表1所示:
表1
Bird | Fish | Insect | Mushroom | ||
True/True | 3691 | 3778 | 3631 | 4493 | It’s xx,and engine says it’s xx |
True/False | 716 | 330 | 692 | 132 | It’s not xx,but engine says it’s xx |
False/True | 99 | 261 | 122 | 72 | It’s xx,but engine says it’s not xx |
False/False | 487 | 623 | 552 | 289 | It’s not xx,and engine says it’s not xx |
需理解,表1中的xx表示了识别的种类,表1中示例性地表示了鸟类(Bird)、鱼类(Fish)、昆虫(Insect)和蘑菇(Mushroom)四个种类的对象识别。可以理解的,一个比较好的对象识别引擎,应满足:False/True必须低,否则可能会具有较低的识别效率;以及应该有低的True/False,否则可能会具有较高的错误率,识别引擎就没那么有用了。
基于上述研究,发明人发现,单纯地采用单一的识别引擎,难以克服对于非支持类别的对象的识别。针对上述问题,本发明提供了一种图像识别方法,请参考图1,其是本发明一实施例的图像识别方法的流程图。该方法可以在例如手机、平板等智能终端上安装的应用程序(app)中实现,也可以在例如电脑等设备上安装的应用程序中实现,本发明对该方法的实现方式不作限制。需要说明的,本发明所称的图像,不仅包括静态的图片或若干帧图片形成的图片组,也可包括动态的视频或影像等,本发明对图像的具体形式亦不作限制。
如图1所示,所述图像识别方法包括:
步骤S1:输入待识别图像,运行识别引擎以识别得到所述待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断所述待识别图像中的内容是否属于非预设类别;
步骤S2:若所述物种识别结果的置信度不小于第一预设值,则忽略所述非类别引擎的判断结果,而得到所述待识别图像中的内容属于预设类别的类别识别结果;
步骤S3:若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为否时,得到所述待识别图像中的内容属于预设类别的类别识别结果;
步骤S4:若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为是时,得到所述待识别图像中的内容属于非预设类别的类别识别结果;
以及,步骤S5:根据预设逻辑输出所述类别识别结果。
可选的,在一些示例中,步骤S1中输入待识别图像,可以直接获取由用户上传输入的图像或由用户拍摄得到的图像。在另一些示例中,可以在接收到用户指令后,生成并输出相应的提示信息,以提示用户上传图像。
下面以一个具体的示例对物种和预设类别的概念进行说明,在一个具体的示例中,预设类别为植物,物种为银杏,可以理解的,银杏是植物的一种,植物是一个大的集合,银杏为植物集合下的一个子集,即物种为预设类别的子集。进一步需要说明的,这里的子集并不限制为真子集,即一个预设类别下属也可能仅包括一个物种。
可选的,所述非类别引擎根据标注有是否为非预设类别的信息的图像内容训练得到;所述识别引擎根据标注有物种的信息的图像内容训练得到。识别引擎的建立和非类别引擎的建立并不相同。下面同样以植物为例进行说明,非类别引擎如可利用图像内容作为训练样本进行训练,而这些作为训练样本的图像内容上直接标注是否为植物。由此训练得到的非类别引擎,能够识别图像中的预设类别是否为植物。识别引擎同样可利用图像内容作为训练样本进行训练,但与非类别引擎的训练样本不同的,作为识别引擎的训练样本的图像内容上标注是具体的植物物种,如银杏、玫瑰等。由此训练得到的识别引擎,能够识别图像中的物种。
可选的,本领域技术人员可根据现有的训练模型对非类别引擎和识别引擎进行训练,如神经网络模型,具体可以是卷积神经网络模型或残差网络模型对非类别引擎和识别引擎进行训练。卷积神经网络模型为深度前馈神经网络,其利用卷积核扫描待识别图像,提取出待识别图像中待识别的内容特征,进而对内容特征进行识别。另外,在对待识别图像进行识别的过程中,可以直接将原始的图像输入卷积神经网络模型,而无需对图像进行预处理。卷积神经网络模型相比于其他的识别模型,具备更高的识别准确率以及识别效率。残差网络模型相比于卷积神经网络模型多了恒等映射层,可以避免随着网络深度(网络中叠层的数量)的增加而导致的准确率饱和、甚至下降的现象。残差网络模型中恒等映射层的恒等映射函数需要满足:恒等映射函数与残差网络模型的输入之和等于残差网络模型的输出。引入恒等映射以后,残差网络模型对输出的变化更加明显,因此可以大大提高物种和预设类别的识别准确率和识别效率。
可以理解的,由于识别引擎对于物种的识别并非百分之百的可靠,其具有一定的错误可能,因此将识别引擎所识别得到的物种识别结果与对应的真实的物种种类相符的概率(亦即该物种识别结果接近真实种类的可信程度)称为置信度。容易理解的,若置信度越接近1,即代表识别引擎所识别得到的物种识别结果越接近对应的真实的物种种类,其物种识别结果越可信,而若置信度越接近0,则代表识别引擎所识别得到的物种识别结果越不可信。
可选的,考虑到所述图像识别方法的False/True以及True/False的设置目标,第一预设值可根据不同的应用程序(app)以及每个应用程序(app)的实际情况进行设定和调整,如第一预设值可设置为0.3~0.5之间的某一个值。
优选的,在所述图像识别方法中,所述预设类别根据输入或预置确定。例如采用交互的方式,由用户先选择确定一个预设类别,进而再执行上述步骤进行图像识别。在一些实施例中,用户选择调用相应的识别引擎和非类别引擎来进行处理,例如当前用户觉得自己拍的是植物,即可将植物作为预设类别,点击选择植物识别,那么调用的是对植物的识别引擎和非植物引擎来识别。在其它的一些实施例中,预设类别可以根据预置确定,例如若应用程序主要应用于植物识别,则可以通过软件预置的方式将植物确定为预设类别。
下面以第一预设值为0.3,以植物作为预设类别进行识别为例,结合下表2,对上述步骤S1~步骤S4进行说明:
表2
None xx engine:No | None xx engine:Yes | |
ID engine≥0.3 | xx | xx |
ID engine<0.3 | xx | None xx |
其中,ID engine代表识别引擎,None xx engine代表非类别引擎,xx为预设类别。首先建立对应于预设类别的识别引擎和非类别引擎,对于待识别图像将分别运行识别引擎和非类别引擎两个引擎。
当识别引擎的物种识别结果的置信度不小于0.3时,如果非类别引擎的判断结果为no(即并非是非植物),则得到待识别图像中的内容属于预设类别的类别识别结果(即类别识别结果为:图像中的内容属于植物);如果非类别引擎的判断结果为yes(即认为待识别图像是非植物),由于置信度已经不小于0.3,其具有一定的真实性,为了降低False/True,可选择忽略非类别引擎的判断结果,还是得到待识别图像中的内容属于预设类别的类别识别结果(即类别识别结果还是为:图像中的内容属于植物)。
当识别引擎的物种识别结果的置信度小于0.3时,如果非类别引擎的判断结果为no(即并非是非植物),则得到待识别图像中的内容属于预设类别的类别识别结果(即类别识别结果为:图像中的内容属于植物);虽然识别引擎的物种识别结果的置信度较低,较为不可信,但识别引擎仅仅是针对某一特定的物种种类的识别,其结果并不一定完全代表该图像的内容并非是植物。基于此,如果非类别引擎的判断结果为no(即并非是非植物),即直接得到待识别图像中的内容属于预设类别的类别识别结果(即类别识别结果为:图像中的内容属于植物);
当识别引擎的物种识别结果的置信度小于0.3时,如果非类别引擎的判断结果为yes(即认为待识别图像是非植物),由于置信度已经较小,识别引擎的物种识别结果为某一植物物种的真实性较低,同时,非类别引擎判断待识别图像是非植物,即得到待识别图像中的内容属于非预设类别的类别识别结果(即类别识别结果为:图像中的内容属于非植物)。
进一步,通过步骤S5,在得到对图像的识别结果后,根据预设逻辑输出所述类别识别结果。这里的根据预设逻辑输出所述类别识别结果,如可以是直接输出,例如将前述步骤S1~步骤S4得到的类别识别结果作为提示信息输出。在一个可替代的示范例中,待识别图像由用户拍摄得到,输出的提示信息如可为:“用户所拍摄的图像为非植物”。更进一步的,若得到的类别识别结果包括待识别图像中的内容属于预设类别,除了可以输出该类别识别结果,如“用户所拍摄的图像为植物”;还可以进一步输出所识别得到的物种识别结果,如“用户所拍摄的图像为银杏”。即若得到的类别识别结果包括待识别图像中的内容属于预设类别,所述图像识别方法还可进一步包括输出所述物种识别结果的信息。
优选的,所述图像识别方法还包括:判断所述待识别图像中的的内容的类别的数量是否为两个以上,若是,且其中至少一种类别为需排除的冗余类别,则在输入所述待识别图像后,排除所述待识别图像中的冗余类别。在一些情况下,例如待识别图像由用户拍摄得到,常会在图像中包含冗余的内容,例如人捧着植物,而预置或输入的预设类别为植物,则此时人即为冗余的内容,应当予以排除,而避免其对最终的类别识别结果产生影响。
更优选的,所述冗余类别包括人脸。因为用户拍人脸的情况比较多。可选的,所述冗余类别的判断和识别利用人脸识别引擎处理,对图像识别时,可加入人脸识别引擎,以便快速分辨出用户拍摄人脸的行为,如果待识别图像是包含人脸的图像,则容易被误识别为人脸而被排除,例如是人捧着植物或花,人拎着鱼,人提着鸟笼,人牵着狗,人抱着猫等等情况,这时需要排除人脸的识别结果,而保留所需要的预设类别来进行识别。
在一些实施例中,对于所述待识别图像,所述识别引擎可能并非只能得到唯一的物种识别结果,有可能会得到两个以上的物种识别结果。例如在一个示范例中,用户对某一树木拍摄得到的图像,经识别引擎识别后,得到两个物种识别结果:1)银杏;2)菩提。因银杏和菩提两者的树形相似,叶片形状也类似。可选的,识别引擎可对两个物种识别结果分别提供对应的置信度。较佳的,为了能输出更准确的信息,可以对两个以上所述物种识别结果按照置信度由高到低的顺序排序,排在第一位的为置信度最高的物种识别结果,在本文也被称为“Top 1的识别结果”,排在第二位的物种识别结果,被称为“Top 2的识别结果”,排在第三位的物种识别结果被称为“Top 3的识别结果”,依此类推。
进一步的,所述预设逻辑包括:排除所述置信度低于第二预设值的所述类别识别结果;其中,所述第二预设值小于所述第一预设值。这里的第二预设值可根据不同的应用程序(app)以及每个应用程序(app)的实际情况进行设定和调整,如第二预设值可设置为0.1。基于两个以上的两个物种识别结果,结合所述非类别引擎的判断结果,将置信度较低的物种识别结果及其所对应的类别识别结果排除,能够为用户提供更真实的识别结果,能够有效地避免将错误的结果输出给用户。
在一些实施例中,步骤S5的预设逻辑可包括:仅保留Top 1的识别结果,而忽略Top2及之后的识别结果。由于Top 1的识别结果为置信度最高的识别结果,其结果相对更可信,因此可以仅保留Top 1的识别结果,而排除其它的识别结果。
进一步的,所述预设逻辑根据所述类别识别结果的置信度与第二预设值、第三预设值或第四预设值的关系确定,其中所述第四预设值>所述第三预设值>所述第二预设值。根据置信度与第二预设值、第三预设值或第四预设值的关系,来确定预设逻辑,能够有效地避免将错误的结果输出给用户。
较佳的,第四预设值被配置为高置信度,第三预设值被配置为较高置信度,第二预设值被配置为低置信度,本领域技术人员可根据实际对第二预设值、第三预设值和第四预设值的具体数值进行调整和设定。在一个可替代的示范例中,第四预设值为0.8,第三预设值为0.5,第二预设值为0.1。即置信度不小于0.8时,可认为置信度很高;置信度在0.5~0.8之间时,可认为置信度较高;置信度在0.1~0.5之间时,可认为置信度一般;而置信度小于0.1时,可认为置信度低。
在一些实施例中,若所述置信度排序于前N个的识别结果的置信度均小于所述第四预设值且不小于所述第三预设值;若存在第N个之后的识别结果,且第N个之后的识别结果的置信度小于所述第二预设值,根据预设逻辑对识别结果进行预设操作的步骤包括:忽略第N个之后的识别结果,保留前N个的识别结果;若不存在第N个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:保留前N个的识别结果;其中N为不小于2的自然数。
以N=2,步骤S1~步骤S4得到3个识别结果为例进行说明,此时置信度排序于前2个的识别结果分别为Top 1和Top 2的识别结果,Top 1和Top 2的识别结果的置信度均较高,而此时存在第3个识别结果,即Top 3的识别结果,而Top 3的识别结果的置信度低,此时所述预设逻辑即保留前2个的识别结果(即保留Top 1和Top 2的识别结果),而忽略第3个的识别结果(即忽略Top 3的识别结果)。若Top 1和Top 2的识别结果的置信度较高,说明识别结果的可信度较高,而同时Top 3的识别结果的置信度低,此时应排除Top 3的识别结果,以提高准确率。
需要说明的,上述步骤中,存在第N个之后的识别结果,第N个之后的识别结果的置信度小于所述第二预设值并非限定第N+1个识别结果的置信度小于第二预设值,而可以是第N+2个或者第N+3个…等的识别结果的置信度小于第二预设值。例如,同样以N=2为例,若步骤S1~步骤S4得到5个识别结果,排序于前2个的Top 1和Top 2的识别结果的置信度均较高,而Top 4和Top 5的识别结果的置信度均低,但并不限定Top 3的识别结果的置信度处于何种水平。此时,预设逻辑保留前2个的识别结果(即保留Top 1和Top 2的识别结果),忽略第4、5个的识别结果(即忽略Top 4和Top 5的识别结果)。至于此时Top3的识别结果,可根据实际选择保留或忽略,本实施例对此不作限制。
在另一些实施例中,若所述置信度排序于前M个的识别结果的置信度不小于所述第四预设值;若存在第M个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:忽略第M个之后的识别结果,保留前M个的识别结果;若不存在第M个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:保留前M个的识别结果;其中M为自然数。
以M=1,步骤S1~步骤S4得到3个识别结果为例进行说明,此时置信度排序于前1个的识别结果即为Top 1的识别结果,该Top 1的识别结果的置信度为很高,而此时存在第2、第3个识别结果,即Top2、Top 3的识别结果,此时所述预设逻辑即保留前1个的识别结果(即保留Top 1的识别结果),而忽略第2、第3个的识别结果(即忽略Top2、Top 3的识别结果)。若Top 1的识别结果的置信度很高,说明识别结果的可信度很高,可以不必再参考Top2、Top 3的识别结果,而可直接排除Top2、Top 3的识别结果。
在其它的一些实施例中,若所述置信度排序于前P个的识别结果的置信度均小于所述第三预设值且不小于所述第二预设值,且前P个识别结果中的至少一个识别结果包括待识别图像中的内容属于预设类别;根据预设逻辑对识别结果进行预设操作的步骤包括:忽略所述待识别图像中的内容属于非预设类别的识别结果,而保留所述待识别图像中的内容属于预设类别的识别结果;其中P为自然数。
以P=3,预设类别为植物为例进行说明,此时置信度排序于前3个的识别结果即为Top 1、Top2、Top 3的识别结果,若该三个识别结果的置信度均为一般置信度,即说明识别结果的可信度一般。
基于上述的图像识别方法,本实施例还提供一种可读存储介质,其上存储有程序,所述程序被执行时实现如上所述的图像识别方法,该可读存储介质可集成设置在手机、平板等智能终端或电脑中,也可以独立附设。可读存储介质可以是易失性存储器或非易失性存储器,或可同时包括易失性和非易失性存储器两者,本发明对可读存储介质的具体类型不作特别的限制。
进一步的,本实施例还提供一种图像识别系统。所述图像识别系统可包括处理器和如上所述的可读存储介质,当可读存储介质上的程序被处理器执行时,可以实现如上文所描述的图像识别方法中的步骤。所述处理器可以是一种集成电路芯片,具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。本发明对处理器的具体类型亦不作特别的限制。本领域技术人员可根据实际进行配置。
综上所述,在本发明提供的图像识别方法、可读存储介质及图像识别系统中,所述图像识别方法包括:输入待识别图像,运行识别引擎以识别得到所述待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断所述待识别图像中的内容是否属于非预设类别;若所述物种识别结果的置信度不小于第一预设值,则忽略所述非类别引擎的判断结果,而得到所述待识别图像中的内容属于预设类别的类别识别结果;若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为否时,得到所述待识别图像中的内容属于预设类别的类别识别结果;若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为是时,得到所述待识别图像中的内容属于非预设类别的类别识别结果;以及,根据预设逻辑输出所述类别识别结果。如此配置,通过识别引擎和非类别引擎的设置,基于识别引擎的物种识别结果的置信度与第一预设值的比较结果,结合非类别引擎的判断结果,可以较准确地得到待识别图像的预设类别是否为预设类别的识别结果。克服了现有对象识别程序对不希望支持的物种进行识别时产生的问题。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。
Claims (11)
1.一种图像识别方法,其特征在于,包括:
输入待识别图像,运行识别引擎以识别得到所述待识别图像中的内容的物种并得到物种识别结果,以及运行非类别引擎以判断所述待识别图像中的内容是否属于非预设类别;
若所述物种识别结果的置信度不小于第一预设值,则忽略所述非类别引擎的判断结果,而得到所述待识别图像中的内容属于预设类别的类别识别结果;
若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为否时,得到所述待识别图像中的内容属于预设类别的类别识别结果;
若所述物种识别结果的置信度小于所述第一预设值,且所述非类别引擎的判断结果为是时,得到所述待识别图像中的内容属于非预设类别的类别识别结果;
以及,根据预设逻辑输出所述类别识别结果;
所述非类别引擎根据标注有是否为非预设类别的信息的图像内容训练得到;
其中,对于所述待识别图像,若所述识别引擎识别得到两个以上的物种识别结果,对两个以上所述物种识别结果的置信度由高到低的顺序排序;
所述预设逻辑包括:排除所述物种识别结果的置信度低于第二预设值的所述类别识别结果;其中,所述第二预设值小于所述第一预设值;
所述预设逻辑还根据所述类别识别结果的置信度与第二预设值、第三预设值或第四预设值的关系确定,其中所述第四预设值>所述第三预设值>所述第二预设值;
若所述类别识别结果的置信度排序于前N个的识别结果的置信度均小于所述第四预设值且不小于所述第三预设值;若存在第N个之后的识别结果,且第N个之后的识别结果的置信度小于所述第二预设值,根据预设逻辑对识别结果进行预设操作的步骤包括:忽略第N个之后的识别结果,保留前N个的识别结果;若不存在第N个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:保留前N个的识别结果;其中N为不小于2的自然数;
若所述类别识别结果的置信度排序于前M个的识别结果的置信度不小于所述第四预设值;若存在第M个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:忽略第M个之后的识别结果,保留前M个的识别结果;若不存在第M个之后识别结果,根据预设逻辑对识别结果进行预设操作的步骤包括:保留前M个的识别结果;其中M为自然数;
若所述类别识别结果的置信度排序于前P个的识别结果的置信度均小于所述第三预设值且不小于所述第二预设值,且前P个识别结果中的至少一个识别结果包括待识别图像中的内容属于预设类别;根据预设逻辑对识别结果进行预设操作的步骤包括:忽略所述待识别图像中的内容属于非预设类别的识别结果,而保留所述待识别图像中的内容属于预设类别的识别结果;其中P为自然数。
2.根据权利要求1所述的图像识别方法,其特征在于,所述识别引擎根据标注有物种的信息的图像内容训练得到。
3.根据权利要求1所述的图像识别方法,其特征在于,所述图像识别方法还包括:判断所述待识别图像中的内容的类别的数量是否为两个以上,若是,且其中至少一种类别为需排除的冗余类别,则在输入所述待识别图像后,排除所述待识别图像中的冗余类别。
4.根据权利要求3所述的图像识别方法,其特征在于,所述冗余类别包括人脸。
5.根据权利要求4所述的图像识别方法,其特征在于,所述冗余类别的判断和识别利用人脸识别引擎处理。
6.根据权利要求1所述的图像识别方法,其特征在于,所述预设类别根据输入或预置确定。
7.根据权利要求6所述的图像识别方法,其特征在于,所述预设类别根据输入确定,若输出的所述类别识别结果包括所述待识别图像中的内容属于非预设类别,所述图像识别方法还包括提示重新输入所述预设类别,并根据重新输入的所述预设类别对所述待识别图像再次进行识别。
8.根据权利要求1所述的图像识别方法,其特征在于,所述预设类别为植物。
9.根据权利要求1所述的图像识别方法,其特征在于,在运行所述识别引擎以及运行所述非类别引擎之前,所述图像识别方法包括:调用通用物种识别引擎对所述待识别图像进行识别处理,以得到所述预设类别。
10.一种可读存储介质,其上存储有程序,其特征在于,所述程序被执行时实现根据权利要求1~9中任一项所述的图像识别方法。
11.一种图像识别系统,其特征在于,包括处理器和根据权利要求10所述的可读存储介质,当所述可读存储介质上的程序被所述处理器执行时,实现根据权利要求1~9中任一项所述的图像识别方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110522915.9A CN113239804B (zh) | 2021-05-13 | 2021-05-13 | 图像识别方法、可读存储介质及图像识别系统 |
PCT/CN2022/091716 WO2022237726A1 (zh) | 2021-05-13 | 2022-05-09 | 图像识别方法、可读存储介质及图像识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110522915.9A CN113239804B (zh) | 2021-05-13 | 2021-05-13 | 图像识别方法、可读存储介质及图像识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239804A CN113239804A (zh) | 2021-08-10 |
CN113239804B true CN113239804B (zh) | 2023-06-02 |
Family
ID=77134029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110522915.9A Active CN113239804B (zh) | 2021-05-13 | 2021-05-13 | 图像识别方法、可读存储介质及图像识别系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113239804B (zh) |
WO (1) | WO2022237726A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239804B (zh) * | 2021-05-13 | 2023-06-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及图像识别系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101449264A (zh) * | 2006-07-12 | 2009-06-03 | 柯法克斯公司 | 用于转导数据分类的方法和系统以及使用机器学习方法的数据分类方法 |
WO2016033965A1 (zh) * | 2014-09-05 | 2016-03-10 | 华为技术有限公司 | 图像分类器的生成方法、图像分类方法和装置 |
CN106778922A (zh) * | 2017-02-16 | 2017-05-31 | 大连海事大学 | 一种适合高维特征的鞋印新类别检测方法 |
WO2017156864A1 (zh) * | 2016-03-14 | 2017-09-21 | 百度在线网络技术(北京)有限公司 | 图像识别方法、装置、设备及非易失性计算机存储介质 |
CN107483701A (zh) * | 2017-08-04 | 2017-12-15 | 深圳天珑无线科技有限公司 | 一种来电处理的方法、移动终端及具有存储功能的装置 |
CN108171274A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于识别动物的方法和装置 |
CN108399418A (zh) * | 2018-01-23 | 2018-08-14 | 北京奇艺世纪科技有限公司 | 一种用户分类方法及装置 |
DE102018125321A1 (de) * | 2017-10-13 | 2019-04-18 | International Business Machines Corporation | System und Verfahren für Gattungs- und Objekterkennung |
CN109815355A (zh) * | 2019-01-28 | 2019-05-28 | 网易(杭州)网络有限公司 | 图像搜索方法及装置、存储介质、电子设备 |
US10445569B1 (en) * | 2016-08-30 | 2019-10-15 | A9.Com, Inc. | Combination of heterogeneous recognizer for image-based character recognition |
CN111191590A (zh) * | 2019-12-30 | 2020-05-22 | Oppo(重庆)智能科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
WO2020239015A1 (zh) * | 2019-05-31 | 2020-12-03 | 北京金山云网络技术有限公司 | 一种图像识别、分类方法、装置、电子设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023025B (zh) * | 2015-08-03 | 2018-09-25 | 大连海事大学 | 一种开集痕迹图像分类方法及系统 |
CN105095919A (zh) * | 2015-09-08 | 2015-11-25 | 北京百度网讯科技有限公司 | 图像识别方法和装置 |
CN107291737B (zh) * | 2016-04-01 | 2019-05-14 | 腾讯科技(深圳)有限公司 | 敏感图像识别方法及装置 |
CN107690659B (zh) * | 2016-12-27 | 2021-08-10 | 达闼机器人有限公司 | 一种图像识别系统及图像识别方法 |
WO2018208710A1 (en) * | 2017-05-08 | 2018-11-15 | PlantSnap, Inc. | Systems and methods for electronically identifying plant species |
WO2018236120A1 (ko) * | 2017-06-23 | 2018-12-27 | 주식회사 에이엠아이티 | 네거티브 마커를 이용한 유사 종 식별 방법 및 장치 |
CN108197543A (zh) * | 2017-12-22 | 2018-06-22 | 深圳云天励飞技术有限公司 | 图像过滤方法及装置、嵌入式设备和存储介质 |
CN111814810A (zh) * | 2020-08-11 | 2020-10-23 | Oppo广东移动通信有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN113239804B (zh) * | 2021-05-13 | 2023-06-02 | 杭州睿胜软件有限公司 | 图像识别方法、可读存储介质及图像识别系统 |
-
2021
- 2021-05-13 CN CN202110522915.9A patent/CN113239804B/zh active Active
-
2022
- 2022-05-09 WO PCT/CN2022/091716 patent/WO2022237726A1/zh active Application Filing
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101449264A (zh) * | 2006-07-12 | 2009-06-03 | 柯法克斯公司 | 用于转导数据分类的方法和系统以及使用机器学习方法的数据分类方法 |
WO2016033965A1 (zh) * | 2014-09-05 | 2016-03-10 | 华为技术有限公司 | 图像分类器的生成方法、图像分类方法和装置 |
WO2017156864A1 (zh) * | 2016-03-14 | 2017-09-21 | 百度在线网络技术(北京)有限公司 | 图像识别方法、装置、设备及非易失性计算机存储介质 |
US10445569B1 (en) * | 2016-08-30 | 2019-10-15 | A9.Com, Inc. | Combination of heterogeneous recognizer for image-based character recognition |
CN106778922A (zh) * | 2017-02-16 | 2017-05-31 | 大连海事大学 | 一种适合高维特征的鞋印新类别检测方法 |
CN107483701A (zh) * | 2017-08-04 | 2017-12-15 | 深圳天珑无线科技有限公司 | 一种来电处理的方法、移动终端及具有存储功能的装置 |
DE102018125321A1 (de) * | 2017-10-13 | 2019-04-18 | International Business Machines Corporation | System und Verfahren für Gattungs- und Objekterkennung |
CN108171274A (zh) * | 2018-01-17 | 2018-06-15 | 百度在线网络技术(北京)有限公司 | 用于识别动物的方法和装置 |
CN108399418A (zh) * | 2018-01-23 | 2018-08-14 | 北京奇艺世纪科技有限公司 | 一种用户分类方法及装置 |
CN109815355A (zh) * | 2019-01-28 | 2019-05-28 | 网易(杭州)网络有限公司 | 图像搜索方法及装置、存储介质、电子设备 |
WO2020239015A1 (zh) * | 2019-05-31 | 2020-12-03 | 北京金山云网络技术有限公司 | 一种图像识别、分类方法、装置、电子设备及存储介质 |
CN111191590A (zh) * | 2019-12-30 | 2020-05-22 | Oppo(重庆)智能科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
基于深度度量学习的MR图像特征点匹配研究;姜海洋;《中国优秀硕士学位论文全文数据库医药卫生科技辑》(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113239804A (zh) | 2021-08-10 |
WO2022237726A1 (zh) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555416B (zh) | 一种植物识别方法及装置 | |
US10262214B1 (en) | Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same | |
CN113239804B (zh) | 图像识别方法、可读存储介质及图像识别系统 | |
CN112348117A (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN112668490A (zh) | 基于YOLOv4的害虫检测方法、系统、装置及可读存储介质 | |
CN113222055B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
CN112015966A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
CN113313193A (zh) | 植物图片识别方法、可读存储介质及电子设备 | |
CN109977755B (zh) | 一种采用单幅图像检测猪站立和躺卧姿态的方法 | |
CN109710628B (zh) | 信息处理方法及装置、系统、计算机及可读存储介质 | |
Bello et al. | Development of a software package for cattle identification in Nigeria | |
CN111177447A (zh) | 一种基于深度网络模型的行人图像识别方法 | |
CN114140663A (zh) | 一种基于多尺度注意力学习网络的害虫识别方法及系统 | |
CN112686255A (zh) | 基于霍夫变换的印章识别方法、装置、设备和存储介质 | |
CN109993070A (zh) | 一种基于全局距离尺度损失函数的行人再识别方法 | |
CN116912881A (zh) | 一种动物物种识别方法、计算机设备以及识别系统 | |
CN112287894A (zh) | 基于深度学习的水域特征提取方法及系统 | |
CN110895691B (zh) | 图像处理方法、装置及电子设备 | |
CN112766387B (zh) | 一种训练数据的纠错方法、装置、设备及存储介质 | |
CN114841955A (zh) | 一种生物物种的识别方法、装置、设备及存储介质 | |
AU2019200458A1 (en) | Method and system for acquiring data files of blocks of land and of building plans and for automatic making of matches thereof | |
CN114821658A (zh) | 牛脸识别方法、运行控制装置、电子设备及存储介质 | |
CN111414952B (zh) | 行人重识别的噪声样本识别方法、装置、设备和存储介质 | |
CN114037889A (zh) | 一种图像识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |