CN110490086A - 一种用于对象识别结果二次确认的方法及系统 - Google Patents

一种用于对象识别结果二次确认的方法及系统 Download PDF

Info

Publication number
CN110490086A
CN110490086A CN201910674381.4A CN201910674381A CN110490086A CN 110490086 A CN110490086 A CN 110490086A CN 201910674381 A CN201910674381 A CN 201910674381A CN 110490086 A CN110490086 A CN 110490086A
Authority
CN
China
Prior art keywords
result
approximate
image
object type
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910674381.4A
Other languages
English (en)
Other versions
CN110490086B (zh
Inventor
徐青松
李青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Glority Software Ltd
Original Assignee
Hangzhou Glority Software Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Glority Software Ltd filed Critical Hangzhou Glority Software Ltd
Priority to CN201910674381.4A priority Critical patent/CN110490086B/zh
Publication of CN110490086A publication Critical patent/CN110490086A/zh
Application granted granted Critical
Publication of CN110490086B publication Critical patent/CN110490086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及用于对象识别结果二次确认的方法及系统。提供了一种用于对象识别结果二次确认的方法,该方法包括:获取来自用户的呈现对象的至少一部分的第一图像;基于第一图像,通过预先建立的对象识别模型来识别所述对象的种类,以返回一个或多个具有各自的可能性的结果;以及当返回的结果中包括具有大于阈值的可能性的至少两个结果时,向用户提供提示信息,所述提示信息指示所述至少两个结果的区别特征并且提示用户获取所述对象的能够呈现所述区别特征的第二图像。

Description

一种用于对象识别结果二次确认的方法及系统
技术领域
本公开涉及计算机视觉领域,特别涉及一种用于对象识别结果二次确认的方法及系统。
背景技术
在计算机视觉领域中,存在对多种对象进行识别的需求。然而,大多数情况下,用户需要自己根据对象的特征,通过搜索引擎、专业字典等辅助工具来自行查找并识别出对象的种类。这种查找非常耗时,并且准确性不高。
近年来,出现了通过拍摄对象的图像,然后将该图像作为输入以得到对象的种类信息的应用。然而,由上述应用识别出的对象的种类可能存在多个相似的结果,无法为用户识别出准确的结果。
因此,存在对改进的用于识别对象的种类的系统及方法的需求。
发明内容
本公开提供了一种新颖的用于对象识别结果二次确认的方法及系统。
根据本公开的第一方面,提供了一种用于对象识别结果二次确认的方法,包括:获取来自用户的呈现对象的至少一部分的第一图像;基于第一图像,通过预先建立的对象识别模型来识别所述对象的种类,以返回一个或多个具有各自的可能性的结果;以及当返回的结果中包括具有大于阈值的可能性的至少两个结果时,向用户提供提示信息,所述提示信息指示所述至少两个结果的区别特征并且提示用户获取所述对象的能够呈现所述区别特征的第二图像。
在该方法中,具有大于阈值的可能性的至少两个结果包括近似的对象种类,并且所述提示信息基于包含近似的对象种类的名称和近似的对象种类的区别特征的规则数据库。通过以下操作中的一种或多种操作来确定所述至少两个对象种类属于近似的对象种类:1)所述至少两个对象种类是常见的近似的对象种类;2)当用户提供所述至少两个对象种类中的一个对象种类的图像供其他用户对所述一个对象种类进行鉴定和投票时,鉴定和投票的结果中所述至少两个对象种类中的其他对象种类的数量大于阈值;以及3)所有用户对所述至少两个对象种类中的一个对象种类的判断的结果中所述至少两个对象种类中的其他对象种类的数量大于阈值。此外,还可以通过以下操作来确定所述至少两个对象种类属于近似的对象种类:利用所述至少两个对象种类中任一对象种类的测试样本集对利用训练样本集建立的对象识别模型进行测试;以及所述测试的结果中识别结果为所述至少两个对象种类的数量均大于阈值。当所述对象是植物时,所述至少一个结果以及与其对应的易混淆的对象种类包括相同物种中的至少两个品种,或者至少两个物种。
在该方法中,向用户提供所述提示信息是通过文字方式、图片方式或者图文结合方式中的一种方式实现的。
在该方法中,所述规则数据库还包含近似的植物种类的拍摄规则,该近似的植物种类的拍摄规则与近似的植物种类的区别特征相对应,所述提示信息还包括向用户提示拍摄规则,所述拍摄规则包括获取所述对象的特定部分的图像、以不同角度获取所述对象的至少一部分的图像、或者以不同距离获取所述对象的至少一部分的图像。
该方法还包括:基于所获取的所述对象的能够呈现所述区别特征的第二图像,通过所述对象识别模型来确定所述对象的种类。
在该方法中,所述对象识别模型包括深度卷积神经网络或深度残差网络。
根据本公开的第二方面,提供了一种系统,包括一个或多个处理器以及一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行指令以及与所述一系列计算机可执行指令相关联的计算机可访问数据,其中,所述一系列计算机可执行指令在由所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据本公开记载的方法。
根据本公开的第三方面,提供了一种非暂态计算机可读介质,其上存储有一系列计算机可执行指令,所述计算机可执行指令在由一个或多个计算装置运行时使得所述一个或多个计算装置执行根据本公开记载的方法。
通过以下参考附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1示出了根据本发明的一个示例性实施例的系统的总体架构的示意图。
图2示出了对于图1所示的系统的网络环境的示意图。
图3示出了根据本发明的一个示例性实施例的用于对象识别结果二次确认的方法的流程图。
图4示出了根据本发明的一个示例性实施例的规则数据库的示意图。
图5示出了根据本发明的图3中所示的方法的一个示例性功能的用户界面的示意图。
图6示出了可以实现根据本发明的实施例的计算设备的示例性配置。
具体实施方式
以下将参照附图来详细描述本公开的各种示例性实施例。应当注意的是:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。为了更好地解释本公开,在下面的描述中阐述了许多细节,然而可以理解的是,在没有这些细节的情况下也可以实践本公开。
以下对各种示例性实施例的描述仅仅是说明性的,本领域普通技术人员将认识到其它变体、修改和替代方案是可能的。在本公开中,术语“第一”、“第二”等仅仅被用来在元件或步骤等之间进行区分,而并不旨在表示时间顺序、优先级或重要性。
对于本领域普通技术人员已知的技术、方法和设备在本文中可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为本说明书的一部分。
本申请的发明人深入研究了用于对象识别结果二次确认的方法及系统。为了简化描述,以下示例性实施例中以植物作为对象的示例,但是应该认识到的是,本公开中的“对象”包括但不限于动物、人物、景物、自然物、建筑物、商品、食品、药品、和/或日用品等。
图1示出了根据本发明的一个示例性实施例的系统的总体架构100的示意图。如图1所示,系统接收来自用户的呈现植物的至少一部分的第一图像101。用户对该植物感兴趣并希望获知该植物所属的种类信息。第一图像101可以是用户先前存储的或者用户实时拍摄的。用户可以通过便携式设备内置的镜头或与该便携式设备连接的外置镜头来拍摄植物图像。
系统在接收到第一图像101之后,通过预先建立的对象识别模型102进行分析,以得到第一图像101中所呈现的植物种类的信息。在本示例性实施例中,该对象识别模型102为植物识别模型。当对象为其他类型时,相应的对象识别模型可以是针对其他类型的识别模型。对象识别模型可以包括多个地域对象识别模型。例如,地域可以按照北美、东亚、欧洲等较大面积的地域划分,也可以按照中国的长三角、珠三角、西北地区等较小面积的地域进行划分。获取用户拍摄的图片时同时获取图片拍摄的位置信息,例如可以通过移动终端的GPS信号获取位置信息,通过不同的位置信息可以调用不同的植物识别模型,例如美国和中国的植物识别模型是采用不同的样本训练建立不同的识别模型,因为不同地域的植物并不相同。
对象识别模型102可以首先判断第一图像101中的图像内容是否属于植物,如果不是的话则由系统提示用户图像错误,直到从用户接收到呈现植物的第一图像101为止。之后,对象识别模型可以对第一图像101进行识别,返回一个或多个具有各自的可能性的结果103。例如,系统可以按照识别出的结果的可能性从高到低排列多个可能的植物种类信息。对象识别模型102可以通过使用包括大量植物图像的训练样本集对神经网络进行训练得到。下文将参考图2对上述神经网络训练进行进一步的描述。
在现实环境中,存在独特的易辨别的植物。这种情况对应于由对象识别模型返回的结果中仅包括一个可能性较高的结果(103-A),即系统根据植物的图像能够直接判断出其种类。然而,通常也存在多种形态相似的植物,因此对象识别模型102返回的结果中可能包括多个可能性较高(例如,可能性大于一定阈值)的结果(103-B),即返回的结果中可能包括近似的多个植物种类。为了进一步提高识别的准确性,系统预先创建了规则数据库104,其中包含近似的植物种类的名称以及这些近似的植物种类的区别特征,同时规则数据库104中包含针对每个区别特征应该采取的拍摄规则。下文将参考图4对规则数据库104进行进一步的描述。基于规则数据库104中的内容,系统向用户提供提示信息105,该提示信息105中指示先前返回的可能性最高的几个植物种类的区别特征,并且根据规则数据库104中的与该区别特征对应的拍摄规则向用户提示以获取该植物的能够呈现上述区别特征的第二图像106。基于所获取的第二图像106,系统通过对象识别模型102来进一步识别该植物的种类。
应该注意的是,第一图像101和第二图像106可以是静态图像,也可以是动态图像。
当对象识别模型102返回的结果中仅有一个结果的可能性大于一定阈值或者仅包括一个可能性较高的结果(103-A)时,系统也会将该返回结果的名称在所述规则数据库104中进行查询,判断其是否具有近似的植物种类,如果有则同样向用户提供提示信息105(虚线部分,如果没有则不会输出提示信息105),该提示信息105中包括识别结果和近似植物物种的区别特征,并且根据规则数据库104中的与该区别特征对应的拍摄规则向用户提示以获取该植物的能够呈现上述区别特征的第二图像106。
同时,当对象识别模型102返回的结果中的具有大于阈值的可能性的至少两个结果,但所述至少两个结果并未在所述规则数据库104中查询到,则将所述至少两个结果添加到所述规则数据库104中作为近似的对象种类存储其名称,并将所述近似的对象种类的区别特征标记为待补充。相关信息会统一通过系统推送到相应处理人员,以便对所述新增的近似的对象种类的区别特征进行补充,并且更新所述规则数据库104。
图2示出了对于图1所示的系统的网络环境200的示意图。系统的网络环境200可以包括移动设备202、远程服务器203、训练设备204和数据库205,它们通过网络206彼此有线或无线地耦接。网络205可以体现为广域网(诸如移动电话网络、公共交换电话网络、卫星网络、互联网等)、局域网(诸如Wi-Fi、Wi-Max、ZigBeeTM、BluetoothTM等)和/或其它形式的联网功能。
移动设备202可以为移动电话、平板计算机、膝上型计算机、个人数字助理和/或被配置用于捕获、存储和/或传输诸如数字照片之类的图像的其它计算装置。因此,移动设备202可以包括诸如数字相机之类的图像捕获装置和/或可以被配置为从其它装置接收图像。移动设备202可以包括显示器。显示器可以被配置用于向用户201提供一个或多个用户界面,所述用户界面可以包括多个界面元素,用户201可以与界面元素进行交互等。例如,用户201可以使用移动设备202对植物进行拍照并上传或存储图像。移动设备202可以向用户输出有关植物的种类信息并推荐适合该植物的养护准则等。
远程服务器203可以被配置为对经由网路206从移动设备202接收的植物图像等进行分析以确定植物的种类,并推荐养护准则等。远程服务器203还可以被配置为创建并训练对象识别模型102。
训练设备204可以耦合到网络206以促进对象识别模型102的训练。训练设备204可以具有多个CPU和/或GPU以辅助训练对象识别模型102。
在一个实施例中,对象识别模型102可以基于对神经网络进行训练来建立,其训练过程如下:
为每个植物种类获取一定数量的标注有对应信息的图像样本,为每个植物种类准备的图像样本的数量可以相等也可以不等。为每个图像样本标注的对应信息可以包括图像样本中的植物名称(包括学名、别称、植物学分类的类别名称等)。为每个植物种类获取的图像样本可以尽可能包括该种类的植物的不同角度、不同光照条件、不同季节(例如同一植物在不同季节的形态可能不同)、不同时间(例如同一植物在每天的早晨和夜晚的形态可能不同)、不同生长环境(例如同一植物在室内和室外生长的形态可能不同)、不同地理位置(例如同一植物在不同的地理位置生长的形态可能不同)的图像。在这些情况下,为每个图像样本标注的对应信息还可以包括该图像样本的角度、光照、季节、时间、生长环境、地理位置等信息。
将经过上述标注处理的图像样本划分为用于训练对象识别模型的训练样本集和用于对训练结果进行测试的测试样本集。通常训练样本集内的样本的数量明显大于测试样本集内的样本的数量,例如,测试样本集内的样本的数量占总图像样本数量的5%到20%,相应的训练样本集内的样本的数量占总图像样本数量的80%到95%。本领域技术人员应该理解的是,训练样本集和测试样本集内的样本数量可以根据需要来调整。
利用训练样本集对神经网络进行训练,并利用测试样本集对经过训练的神经网络的输出准确率进行测试。若输出准确率不满足要求,则增加训练样本集中的图像样本的数量,并利用更新的训练样本集重新对神经网络进行训练,直到经过训练的神经网络的输出准确率满足要求为止。若输出准确率满足要求,则训练结束。如此,输出准确率满足要求的经过训练的神经网络可以用作已训练的对象识别模型102。
上述神经网络例如可以包括深度卷积神经网络(CNN)或者深度残差网络(Resnet)。其中,深度卷积神经网络为深度前馈神经网络,其利用卷积核扫描植物图像,提取出植物图像中待识别的特征,进而对植物待识别的特征进行识别。另外,在对植物图像进行识别的过程中,可以直接将原始植物图像输入深度卷积神经网络模型,而无需对植物图像进行预处理。深度卷积神经网络模型相比于其他的识别模型,具备更高的识别准确率以及识别效率。而深度残差网络模型相比于深度卷积神经网络模型增加了恒等映射层,可以避免随着网络深度(网络中叠层的数量)的增加,卷积神经网络造成的准确率饱和、甚至下降的现象。残差网络模型中恒等映射层的恒等映射函数需要满足:恒等映射函数与残差网络模型的输入之和等于残差网络模型的输出。引入恒等映射以后,残差网络模型对输出的变化更加明显,因此可以大大提高植物生理期识别的识别准确率和识别效率,进而提高植物的识别准确率和识别效率。
应该注意的是,本发明的构思可以使用其他已知或将来发展的训练及识别模型来实践。
数据库205可以耦合到网络206并提供远程服务器203进行相关计算所需的数据。例如,数据库205可以包括规则数据库104,存储有关近似的植物种类的名称和近似的植物种类的区别特征,以及与这些区别特征对应的拍摄规则。数据库可以采取本领域中已知的各种数据库技术来实现。远程服务器203可以根据需要访问数据库205以进行相关操作。
应该理解的是,本文的网络环境仅仅是一个示例。本领域技术人员可以根据需要,增加更多的装置或删减一些装置,并且可以对一些装置的功能和配置进行修改。
下面根据图3描述根据本发明的一个示例性实施例的用于对象识别结果二次确认的方法。
在步骤S301,获取来自用户的呈现植物的至少一部分的第一图像。如前所述,第一图像可以是用户先前存储的或者用户实时拍摄的。用户可以通过便携式设备内置的镜头或与该便携式设备连接的外置镜头来拍摄植物图像。
在步骤S302,基于所获取的第一图像,通过预先建立的对象识别模型来识别所述植物的种类,以返回一个或多个具有各自的可能性的结果。
在步骤S303,当返回的结果中包括具有大于阈值的可能性的至少两个结果时,即返回的结果中包括近似的多个植物种类时,系统向用户提供提示信息,其中所述提示信息指示所述至少两个结果的区别特征并且提示用户获取所述植物的能够呈现所述区别特征的第二图像。
在该步骤中,提示信息是基于规则数据库而提供的。图4示出了根据本发明的一个示例性实施例的规则数据库104的示意图。
规则数据库104中包括与近似的植物种类相关的多种信息。可以通过一种或多种方法来确定多个植物属于近似的植物种类。
例如,在第一种方法中,可以确定多个植物属于常见的近似的植物种类(401)。例如根据常识,迎春花和连翘、桃花和樱花等都属于生活中常见的近似的植物种类。
在第二种方法中,可以根据安装在用户设备中的应用内的鉴定和投票功能来做出判断(402)。例如,当用户对于某种植物的识别结果不确定时,可以在应用内发起鉴定或投票,其中包括多个植物种类的候选选项,这些候选选项可以是用户自定义的或由系统自动挑选的。该鉴定或投票的结果中的某些候选选项的出现次数达到阈值时,系统将这些候选选项认定为近似的植物种类。在一个示例中,在鉴定或投票中包括三个候选选项:玫瑰花、月季花和牡丹花。共计收到500个有效反馈结果,其中玫瑰花、月季花和牡丹花的出现次数分别为250、200和50,阈值为100(阈值可以是预先设定的,也可以是根据有效反馈结果的数量而计算得到的(诸如阈值与有效反馈结果的数量呈一定比例))。因此,玫瑰花和月季花被确定为属于近似的植物种类。
在第三种方法中,可以根据应用内的考考好友功能来做出判断(403)。例如,用户提供一个植物图像并上传至考考好友功能,并且列出多个植物种类的候选选项以供所有用户进行判断选择。当作为错误答案的某些候选选项被选中的数量达到阈值时,认为这些错误答案与正确答案对应的植物种类属于近似的植物种类。在一个示例中,用户上传了一个玫瑰花的图像至考考好友功能,并设置了三个候选选项:玫瑰花、月季花和蔷薇花。共计收到500个有效猜测结果,其中玫瑰花、月季花和蔷薇花的出现次数分别为200、150和150,阈值为100(阈值可以是预先设定的,也可以是根据有效猜测结果的数量而计算得到的(诸如阈值与有效猜测结果的数量呈一定比例))。因此,玫瑰花、月季花和蔷薇花被确定为属于近似的植物种类。
在第四种方法中,可以根据训练识别模型时的中间结果来确定多个植物属于近似的植物种类。如前所述,系统通过训练样本集建立了对象识别模型,并且利用任一对象种类的测试样本集对对象识别模型进行测试(404)。当测试的结果中识别结果为多个植物种类的出现次数大于阈值时,则确定该多个植物种类属于近似的植物种类。经过多次不同对象种类的测试,可以获取尽可能多的近似植物物种数据。例如,樱花存在多个品种,例如大岛樱、松月樱、八重红枝垂樱等。将包含1000张大岛樱的图像的测试样本集发送给对象识别模型进行识别测试,其中测试的结果显示:500张为大岛樱、300张为松月樱、100张为八重红枝垂樱、以及100张为其他近似物种。设定阈值为200(阈值可以是预先设定的,也可以是根据有效测试结果的数量而计算得到的(诸如阈值与有效测试结果的数量呈一定比例)),则确定大岛樱、松月樱为近似的植物种类。
应该注意的是,近似的植物种类可以属于相同物种的不同品种,也可以属于不同的物种。例如,前述的大岛樱和松月樱属于同一物种的不同品种,而玫瑰花和月季花则属于不同的物种。
当获取到近似的植物种类的数据后,将近似的植物种类的名称405存储在规则数据库104中。根据一组近似的植物种类中的每个植物的特征得到区别特征407,并且指定与该区别特征相对应的拍摄规则408。区别特征407和拍摄规则408组成规则信息406。规则信息406与近似的植物种类的名称405相映射,并且也存储在规则数据库104中。基于规则信息406向用户发送提示信息。具体地,提示信息可以包括两部分。基于区别特征407发送提示信息的第一部分,告知用户近似植物种类的区别,并且基于拍摄规则408向用户发送提示信息的第二部分,提示用户获取能够呈现植物的上述区别特征的特定图像,以供进一步对植物进行识别来提高识别的准确性。
在一个示例中,一组近似的植物种类包括桃花和樱花,与其相映射的区别特征为:桃花呈瓜子形,花瓣外端有一个尖,樱花的花瓣外端有一个三角形的缺口;拍摄规则为:拍摄花瓣细节。
在另一个示例中,一组近似的植物种类包括玫瑰花和月季花,与其相映射的区别特征为:月季的花径光滑,刺的顶端有一点弯弯的弧度;玫瑰花的花径上的刺比较多,并且刺的顶端不弯曲,茎上还有一些小绒毛;拍摄规则为:拍摄花茎,并且距花茎一定距离以使图像中呈现多个花刺。
应该注意到的是,拍摄规则408包括但不限于向用户提示获取植物的特定部分的图像、以不同角度获取植物的图像、或者以不同距离获取植物的图像。
本发明的方法可以被实现为个人计算机等上的可执行程序、移动智能设备上的应用程序和/或移动智能设备上的其他应用程序中运行的小程序等。图5中示出了根据本发明的图3中所示的方法的一个示例性功能的用户界面(UI)500的示意图。图5示出了系统针对来自用户的图像进行识别,识别结果中桃花和樱花的可能性均超过阈值的场景。在规则数据库104中检索桃花和樱花的名称,并查找其映射的规则信息。根据规则信息中的区别特征,应用向用户显示提示信息105,告知用户桃花和樱花的区别在于桃花呈瓜子形,花瓣外端有一个尖,而樱花的花瓣外端有一个三角形的缺口。此外,根据规则信息中的拍摄规则,提示信息105中还包括提示用户拍摄植物的具体部位,即花瓣的细节。用户可以按下拍摄图标501再次对植物进行拍摄以呈现植物的区别特征,便于对象识别模型进一步对植物进行识别。应该认识到的是,提示信息105可以通过文字方式、图片方式或图文结合方式中的任何一种方式显示。
可选地或进一步地,本发明中所公开和描述的系统获取并记录获取植物的第一图像和第二图像时的位置信息、季节信息和时间信息,当识别植物的种类时首先根据上述位置信息和季节信息排除不可能的对象种类。此外,系统可以将用户获取的植物的图像存储到该植物种类的样本库中,并且记录与获取该图像的位置信息、季节信息和时间信息对应的生理周期信息和形态信息。
可选地或进一步地,本发明中所公开和描述的系统可以将识别出的植物种类添加到用户的列表中并设置养护提醒,所述养护提醒包括浇水闹钟等。
本发明的系统和方法通过建立包括近似的植物种类的名称及其相对应的区别特征、拍摄规则的规则数据库,在对象识别模型返回多个可能性较高的结果时,提示用户这些近似植物种类的区别,并提示用户获取该植物的能够呈现区别特征的特定图像,以便获得准确性更高的识别结果。本发明为用户提供了更专业的植物识别结果,并且在识别之后不断更新数据库,从而持续提高识别的准确性能。
图6示出了可以实现根据本发明的实施例的计算设备700的示例性配置。计算设备700是可以应用本发明的上述方面的硬件设备的实例。计算设备700可以是被配置为执行处理和/或计算的任何机器。计算设备700可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(PDA)、智能电话、车载计算机或以上组合。
如图6所示,计算设备700可以包括可能经由一个或多个接口与总线702连接或通信的一个或多个元件。总线702可以包括但不限于,工业标准架构(Industry StandardArchitecture,ISA)总线、微通道架构(Micro Channel Architecture,MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。计算设备700可以包括例如一个或多个处理器704、一个或多个输入设备706、以及一个或多个输出设备708。一个或多个处理器704可以是任何种类的处理器,并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。输入设备706可以是能够向计算设备输入信息的任何类型的输入设备,并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备708可以是能够呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
计算设备700还可以包括或被连接至非暂态存储设备714,该非暂态存储设备714可以是任何非暂态的并且可以实现数据存储的存储设备,并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备700还可以包括随机存取存储器(RAM)710和只读存储器(ROM)712。ROM 712可以以非易失性方式存储待执行的程序、实用程序或进程。RAM 710可提供易失性数据存储,并存储与计算设备700的操作相关的指令。计算设备700还可包括耦接至数据链路718的网络/总线接口716。网络/总线接口716可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统,并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)。
可以单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。
例如,前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备,所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
例如,前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。
虽然已通过示例详细展示了本发明的一些具体实施例,但是本领域技术人员应当理解,上述示例仅意图是说明性的而不限制本发明的范围。应该认识到的是,前述方法中的一些步骤不一定按照图示的顺序执行,而是它们可以被同时、以不同顺序或以重叠方式执行。此外,本领域技术人员可以根据需要增加一些步骤或省略一些步骤。前述系统中的一些部件不是必须按照图示的布置,本领域技术人员可以根据需要增加一些部件或省略一些部件。本领域技术人员应该理解,上述实施例可以在不脱离本发明的范围和实质的情况下被修改。本发明的范围是通过所附的权利要求限定的。

Claims (13)

1.一种用于对象识别结果二次确认的方法,其特征在于,包括:
获取来自用户的呈现对象的至少一部分的第一图像;
基于第一图像,通过预先建立的对象识别模型来识别所述对象的种类,以返回一个或多个具有各自的可能性的结果;以及
当返回的结果中包括具有大于阈值的可能性的至少两个结果时,向用户提供提示信息,所述提示信息包括所述至少两个结果的区别特征并且提示用户获取所述对象的能够呈现所述区别特征的第二图像。
2.根据权利要求1所述的方法,其特征在于,其中具有大于阈值的可能性的至少两个结果包括近似的对象种类,并且所述提示信息基于包含近似的对象种类的名称和近似的对象种类的区别特征的规则数据库。
3.根据权利要求2所述的方法,其特征在于,其中通过以下操作中的一种或多种操作来确定所述至少两个对象种类属于近似的对象种类:
所述至少两个对象种类是常见的近似的对象种类;
当用户提供所述至少两个对象种类中的一个对象种类的图像供其他用户对所述一个对象种类进行鉴定和投票时,鉴定和投票的结果中所述至少两个对象种类中的其他对象种类的数量大于阈值;以及
所有用户对所述至少两个对象种类中的一个对象种类的判断的结果中所述至少两个对象种类中的其他对象种类的数量大于阈值。
4.根据权利要求2所述的方法,其特征在于,其中通过以下操作来确定所述至少两个对象种类属于近似的对象种类:
利用所述至少两个对象种类中任一对象种类的测试样本集对利用训练样本集建立的对象识别模型进行测试;以及
所述测试的结果中识别结果为所述至少两个对象种类的数量均大于阈值。
5.根据权利要求4所述的方法,其特征在于,所述对象包括植物,所述至少一个结果以及与其对应的易混淆的对象种类包括相同物种中的至少两个品种,或者至少两个物种。
6.根据权利要求2所述的方法,其特征在于,当对象识别模型返回的结果中仅有一个结果的可能性大于一定阈值或者仅包括一个可能性较高的结果时,将该返回结果的对象种类的名称在所述规则数据库中进行查询,判断其是否具有近似的植物种类,如果有则同样向用户提供提示信息,如果没有则不会输出提示信息,该提示信息中包括识别结果和近似植物物种的区别特征,并且根据规则数据库中的与该区别特征对应的拍摄规则向用户提示以获取该植物的能够呈现上述区别特征的第二图像。
7.根据权利要求2所述的方法,其特征在于,当对象识别模型返回的结果中的具有大于阈值的可能性的至少两个结果,但所述至少两个结果并未在所述规则数据库中查询到,则将所述至少两个结果添加到所述规则数据库中作为近似的对象种类存储其名称,并将所述近似的对象种类的区别特征标记为待补充。
8.根据权利要求1所述的方法,其特征在于,
向用户提供所述提示信息是通过文字方式、图片方式或者图文结合方式中的一种方式实现的。
9.根据权利要求2所述的方法,其特征在于,
所述规则数据库还包含近似的植物种类的拍摄规则,该近似的植物种类的拍摄规则与近似的植物种类的区别特征相对应,所述提示信息还包括向用户提示拍摄规则,所述拍摄规则包括获取所述对象的特定部分的图像、以不同角度获取所述对象的至少一部分的图像、或者以不同距离获取所述对象的至少一部分的图像。
10.根据权利要求2所述的方法,其特征在于,还包括:
基于所获取的所述对象的能够呈现所述区别特征的第二图像,通过所述对象识别模型来确定所述对象的种类。
11.根据权利要求1所述的方法,其特征在于,所述对象识别模型包括深度卷积神经网络或深度残差网络。
12.一种系统,其特征在于,包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器被配置为存储一系列计算机可执行指令以及与所述一系列计算机可执行指令相关联的计算机可访问数据,
其中,所述一系列计算机可执行指令在由所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1-11中任一项所述的方法。
13.一种非暂态计算机可读存储介质,其特征在于,其上存储有一系列计算机可执行指令,所述一系列计算机可执行指令在由一个或多个计算装置执行时,使得所述一个或多个计算装置执行根据权利要求1-11中任一项所述的方法。
CN201910674381.4A 2019-07-25 2019-07-25 一种用于对象识别结果二次确认的方法及系统 Active CN110490086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910674381.4A CN110490086B (zh) 2019-07-25 2019-07-25 一种用于对象识别结果二次确认的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910674381.4A CN110490086B (zh) 2019-07-25 2019-07-25 一种用于对象识别结果二次确认的方法及系统

Publications (2)

Publication Number Publication Date
CN110490086A true CN110490086A (zh) 2019-11-22
CN110490086B CN110490086B (zh) 2021-08-20

Family

ID=68548175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910674381.4A Active CN110490086B (zh) 2019-07-25 2019-07-25 一种用于对象识别结果二次确认的方法及系统

Country Status (1)

Country Link
CN (1) CN110490086B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242178A (zh) * 2020-01-02 2020-06-05 杭州睿琪软件有限公司 对象识别方法、装置及设备
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN112183613A (zh) * 2020-09-24 2021-01-05 杭州睿琪软件有限公司 对象识别方法和设备与非暂态计算机可读存储介质
CN112270297A (zh) * 2020-11-13 2021-01-26 杭州睿琪软件有限公司 用于显示识别结果的方法和计算机系统
CN112784925A (zh) * 2021-02-08 2021-05-11 杭州睿胜软件有限公司 用于对象识别的方法、计算机系统及电子设备
CN114417040A (zh) * 2022-01-20 2022-04-29 杭州睿胜软件有限公司 物种识别结果名称显示方法、系统及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334858B1 (ko) * 2012-09-27 2013-11-29 기초과학연구원 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN106095884A (zh) * 2016-06-03 2016-11-09 深圳码隆科技有限公司 一种基于图片的相关物品信息处理方法及装置
CN108108767A (zh) * 2017-12-29 2018-06-01 美的集团股份有限公司 一种谷物识别方法、装置和计算机存储介质
CN109033991A (zh) * 2018-07-02 2018-12-18 北京搜狗科技发展有限公司 一种图像识别方法及装置
CN109344851A (zh) * 2018-08-01 2019-02-15 迈克医疗电子有限公司 图像分类显示方法和装置、分析仪器和存储介质
CN109447150A (zh) * 2018-10-26 2019-03-08 杭州睿琪软件有限公司 一种植物观赏方法、装置、电子设备和存储介质
CN109472280A (zh) * 2018-09-10 2019-03-15 广东数相智能科技有限公司 一种更新物种识别模型库的方法、存储介质及电子设备
CN109472210A (zh) * 2018-10-15 2019-03-15 广州地理研究所 一种植物的识别方法、装置、储存介质和设备
CN109583564A (zh) * 2018-10-31 2019-04-05 东华大学 基于vgg卷积神经网络的极相似动物纤维自动识别方法
CN109726700A (zh) * 2019-01-07 2019-05-07 武汉南博网络科技有限公司 一种基于多特征的虫害识别预警方法和装置
CN109840549A (zh) * 2019-01-07 2019-06-04 武汉南博网络科技有限公司 一种病虫害识别方法和装置
CN109858448A (zh) * 2019-01-31 2019-06-07 深兰科技(上海)有限公司 一种零售场景下的物品识别方法及设备
CN109977899A (zh) * 2019-04-03 2019-07-05 上海感图网络科技有限公司 一种物品识别的训练、推理以及增加新种类的方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334858B1 (ko) * 2012-09-27 2013-11-29 기초과학연구원 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN106095884A (zh) * 2016-06-03 2016-11-09 深圳码隆科技有限公司 一种基于图片的相关物品信息处理方法及装置
CN108108767A (zh) * 2017-12-29 2018-06-01 美的集团股份有限公司 一种谷物识别方法、装置和计算机存储介质
CN109033991A (zh) * 2018-07-02 2018-12-18 北京搜狗科技发展有限公司 一种图像识别方法及装置
CN109344851A (zh) * 2018-08-01 2019-02-15 迈克医疗电子有限公司 图像分类显示方法和装置、分析仪器和存储介质
CN109472280A (zh) * 2018-09-10 2019-03-15 广东数相智能科技有限公司 一种更新物种识别模型库的方法、存储介质及电子设备
CN109472210A (zh) * 2018-10-15 2019-03-15 广州地理研究所 一种植物的识别方法、装置、储存介质和设备
CN109447150A (zh) * 2018-10-26 2019-03-08 杭州睿琪软件有限公司 一种植物观赏方法、装置、电子设备和存储介质
CN109583564A (zh) * 2018-10-31 2019-04-05 东华大学 基于vgg卷积神经网络的极相似动物纤维自动识别方法
CN109726700A (zh) * 2019-01-07 2019-05-07 武汉南博网络科技有限公司 一种基于多特征的虫害识别预警方法和装置
CN109840549A (zh) * 2019-01-07 2019-06-04 武汉南博网络科技有限公司 一种病虫害识别方法和装置
CN109858448A (zh) * 2019-01-31 2019-06-07 深兰科技(上海)有限公司 一种零售场景下的物品识别方法及设备
CN109977899A (zh) * 2019-04-03 2019-07-05 上海感图网络科技有限公司 一种物品识别的训练、推理以及增加新种类的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUE HAN LEE 等: "DEEP-PLANT: PLANT IDENTIFICATION WITH CONVOLUTIONAL NEURAL NETWORKS", 《ARXIV》 *
刘晶晶: "基于深度网络特征学习的植物叶片识别算法研究与实现", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242178A (zh) * 2020-01-02 2020-06-05 杭州睿琪软件有限公司 对象识别方法、装置及设备
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN112183613A (zh) * 2020-09-24 2021-01-05 杭州睿琪软件有限公司 对象识别方法和设备与非暂态计算机可读存储介质
CN112183613B (zh) * 2020-09-24 2024-03-22 杭州睿琪软件有限公司 对象识别方法和设备与非暂态计算机可读存储介质
CN112270297A (zh) * 2020-11-13 2021-01-26 杭州睿琪软件有限公司 用于显示识别结果的方法和计算机系统
CN112270297B (zh) * 2020-11-13 2024-05-31 杭州睿琪软件有限公司 用于显示识别结果的方法和计算机系统
CN112784925A (zh) * 2021-02-08 2021-05-11 杭州睿胜软件有限公司 用于对象识别的方法、计算机系统及电子设备
WO2022166706A1 (zh) * 2021-02-08 2022-08-11 杭州睿胜软件有限公司 用于对象识别的方法、计算机系统及电子设备
CN112784925B (zh) * 2021-02-08 2024-05-31 杭州睿胜软件有限公司 用于对象识别的方法、计算机系统及电子设备
CN114417040A (zh) * 2022-01-20 2022-04-29 杭州睿胜软件有限公司 物种识别结果名称显示方法、系统及可读存储介质

Also Published As

Publication number Publication date
CN110490086B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN110378303A (zh) 用于对象识别的方法及系统
CN110490086A (zh) 一种用于对象识别结果二次确认的方法及系统
WO2021068744A1 (zh) 昆虫识别方法及系统
US9256808B2 (en) Classifying and annotating images based on user context
CN105247845B (zh) 用于选择媒体项目的系统和方法
US8923570B2 (en) Automated memory book creation
CN109447150B (zh) 一种植物观赏方法、装置、电子设备和存储介质
CN108595497B (zh) 数据筛选方法、装置及终端
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
JPH1091634A (ja) 写真画像検索システム
CN106462598A (zh) 信息处理设备、信息处理方法与程序
CN103412951A (zh) 基于人物照片的人脉关联分析管理系统与方法
WO2015154383A1 (zh) 拍照方法及拍照终端
JP2019185188A (ja) 情報処理方法、情報処理装置及び情報処理システム
CN106250396B (zh) 一种图像标签自动生成系统及方法
CN107077594A (zh) 标记移动设备上的视觉媒体
CN107479906A (zh) 基于Cordova的跨平台在线教育移动终端
JP2013069011A (ja) 画像通信システム及び端末装置並びにプログラム
CN106777066B (zh) 一种图像识别匹配媒体文件的方法和装置
JP2019024551A (ja) データベース構築方法、およびデータベース構築プログラム
WO2023093480A1 (zh) 物种游览方法、游览系统及可读存储介质
JP2020109610A (ja) ディープランニングを利用した植物分類システムおよびその方法
CN105426925B (zh) 图像标注方法和电子设备
CN110309712A (zh) 一种运动类型识别方法及终端设备
JP6063697B2 (ja) 画像表示のための装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant