CN109766914A - 基于图像识别的物品识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于图像识别的物品识别方法、装置、设备及存储介质，所述方法包括：获取在预设环境范围内拍摄的第一图像，将第一图像输入第一图像识别模型，并通过第一图像识别模型提取第一图像中各物品的第一图像特征；获取各物品的物品信息，并将各物品的第一图像特征与该物品的物品信息关联存储；在接收到辨识指令时，获取待辨识物品的第二图像，并将第二图像输入第二图像识别模型，通过第二图像识别模型自第二图像中提取待辨识物品的第二图像特征；确定与第二图像特征匹配的第一图像特征，获取并提示与该第一图像特征关联的物品信息。本发明可以提升在预设环境范围待辨识物品的精确度，同时提升小朋友辨识物品的兴趣，寓教于乐。

Description

基于图像识别的物品识别方法、装置、设备及存储介质

技术领域

本发明涉及图像识别领域，具体涉及一种基于图像识别的物品识别方法、装置、设备及存储介质。

背景技术

目前，随着人们生活水平的提高，家长对于儿童的教育逐渐重视，且秉承的教育观念通常都是“教育从娃娃抓起”，尤其是对于儿童的生活与学习习惯的教育尤为重视。目前，市面上有数不胜数的多种类的儿童玩具，游戏机、绘本、识字卡片等，但目前尚未出现一种可供儿童自动识别玩具等物品的辨识物品的学习类设备，且种类繁多的绘本和卡片等玩具，容易被儿童撕毁和乱扔，丢失之后又需要重新购买，浪费了资源，提升了养育成本。

发明内容

本发明实施例提供一种基于图像识别的物品识别方法、装置、设备及存储介质，本发明可以提升在预设环境范围待辨识物品的精确度，同时提升小朋友辨识物品的兴趣，寓教于乐。

一种基于图像识别的物品识别方法，包括：

获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

一种基于图像识别的物品识别装置，包括：

第一提取模块，用于获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取模块，用于获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

第二提取模块，用于在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定模块，用于确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述基于图像识别的物品识别方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述基于图像识别的物品识别方法。

本发明提供的基于图像识别的物品识别方法、装置、设备及存储介质，本发明在将预设环境范围内的物品的第一图像特征均存储的基础上，通过第一图像识别模型识别第一图像中各物品的第一图像特征，通过第二图像识别模型识别第二图像中待辨识物品的第二图像特征，并确定与所述第二图像特征匹配的第一图像特征，获取并提示与该第一图像特征关联的待辨识物品的物品信息，提升了在该预设环境范围待辨识物品的精确度。同时，本发明还可以提升小朋友辨识物品的兴趣，寓教于乐；并且，本发明可以预先设定收纳物品的位置点，从而在该物品放置的位置点被更改时，可以对用户进行提示，为培养良好的收纳习惯提供了帮助。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中基于图像识别的物品识别方法的应用环境示意图；

图2是本发明一实施例中基于图像识别的物品识别方法的流程图；

图3是本发明一实施例中基于图像识别的物品识别方法的步骤S20的流程图；

图4是本发明一实施例中基于图像识别的物品识别方法的步骤S201的流程图；

图5是本发明一实施例中基于图像识别的物品识别方法的步骤S40的流程图；

图6是本发明一实施例中基于图像识别的物品识别装置的原理框图；

图7是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的基于图像识别的物品识别方法，在将预设环境范围内的物品的第一图像特征均存储的基础上，通过第一图像识别模型识别第一图像中各物品的第一图像特征，通过第二图像识别模型识别第二图像中待辨识物品的第二图像特征，并确定与所述第二图像特征匹配的第一图像特征，获取并提示与该第一图像特征关联的待辨识物品的物品信息，提升了在该预设环境范围待辨识物品的精确度。同时，本发明还可以提升小朋友辨识物品的兴趣，寓教于乐；并且，本发明可以预先设定收纳物品的位置点，从而在该物品放置的位置点被更改时，可以对用户进行提示，为培养良好的收纳习惯提供了帮助。可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种基于图像识别的物品识别方法，以该方法应用在图1中的服务器为例进行说明，包括以下步骤S10-S40：

S10，获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征。

其中，所述预设环境范围是指家庭、学校教室等可供儿童、智力障碍人群等特定人群进行学习的小范围环境。在所述预设环境范围中存在的物品基本都是可以预估到的物品类型(比如玩具、学习用品、食物、日常家居等)，以便于对该预设环境范围中的物品进行图像识别。

所述第一图像是从摄像设备(物品辨识装置中内置的摄像设备或与所述物品辨识装置通信连接的摄像设备)录制的视频中提取的第一图像，或所述摄像设备直接拍摄的第一图像。所述第一图像中可能包括至少一个物品可供进行图像识别。

可理解地，可以通过第一图像识别模型对所述第一图像中的各物品进行识别，以提取各物品对应的第一图像特征。在一实施例中，所述第一图像特征是指物品的轮廓、纹理、物品在各视角中表现的形状、物品颜色等特征及各特征之间的组合。可理解地，与一个物品关联的第一图像特征可能包括从多个所述第一图像中提取的多个所述第一图像特征。所述第一图像识别模型的训练过程如下：获取第一预设数量的不同的第一图像样本，各所述第一图像样本中包含对应于同一图像特征(同一第一图像特征)，可以通过包含第一初始参数的第一图像识别模型对所述第一图像样本进行识别，并获取自所述第一图像样本中识别的所述图像特征与该第一图像样本对应的所述图像特征的整体偏差度，判断所述整体偏差度是否大于预设的偏差阈值；若所述整体偏差度大于第一偏差阈值，则对所述第一图像识别模型的第一初始参数进行调整，并返回执行所述通过调整第一初始参数之后的所述第一图像识别模型对所述第一图像样本进行识别，直至所述整体偏差度小于或等于第一偏差阈值；若所述整体偏差度小于或等于第一偏差阈值，则提示所述第一图像识别模型的训练完成。

在一实施例中，所述步骤S10之前还包括：

标记所述预设环境范围中各位置点，并将各所述位置点的标记与该位置点的位置特征关联存储。也即，按照预设标记规则(可以用字母、数字或符号等组合且按照预设顺序排列成的编号标记各个位置点，且每个编号与该编号所代表的位置点的名称关联；亦可直接用位置点的名称来标记各位置点)标记所述预设环境范围中各位置点。作为优选，所述位置特征包括第一位置特征和/或所述第二位置特征；其中，所述第一位置特征是指在获取在预设环境范围内拍摄的所述位置点的位置图像之后，从所述位置图像中提取各所述位置点的特征。也即，本实施例中需要事先拍摄该预设环境范围内的各位置点的位置图像，并从各位置点的位置图像中提取该位置点的第一位置特征，所述第一位置特征是指该位置点的具体的轮廓、形状、颜色、纹理等特征。所述第二位置特征是指用户录入的各所述位置点的特征。所述第二位置特征包括各所述位置点在所述预设环境范围内中所处的方向与位置、所述位置点与其他位置点的距离和关联关系、该位置点包括的范围等特征。

在一实施例中，所述步骤S10中，所述通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征，包括：

通过所述第一图像识别模型提取各物品在所述第一图像中的第一位置信息，匹配所述第一位置信息与各所述位置点的位置特征，并获取与所述第一位置信息匹配的所述位置点的第一标记。也即，在该步骤中，还需要在所述第一图像中提取第一位置信息，所述第一位置信息是指该物品在所述预设环境范围中拍摄所述第一图像时所处位置的特征；通过所述第一位置信息可以确认在拍摄第一图像时该物品所处的位置点。也即，在各所述位置点的位置特征中找寻与所述第一位置信息匹配的位置特征；从而确定与该第一位置信息对应的所述物品所处的位置点，进而获取所述物品所处位置点的第一标记。

将各所述物品的第一图像特征与该物品所处的所述位置点的第一标记关联存储。在该步骤中，在找寻到所述物品所处的位置点之后，获取该位置点的第一标记，将所述第一标记与该物品的第一图像特征关联存储，从而将该物品标记为应该被收纳在该位置点物品。如此，在后续步骤中，在根据所述第一图像特征辨识该物品之后，可以根据该位置点的第一标记，确认该物品是否从该位置点被移动至其他位置，且在被移动之后，提醒用户该物品应该被收纳的位置点的名称(该位置点的名称已经与该位置点的第一标记关联，且将该第一标记对应的位置点认为是该物品的收纳点)。在该实施例中，主要是为了预先设定各物品应该被存放或收纳的位置点，以提示用户将各物品收纳至预设的位置点(收纳点)，进而为用户培养良好的收纳习惯提供帮助。

S20，获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储。

所述物品信息是指物品的名称、属性、功能、使用方法等信息。

在一实施例中，如图3所示，所述物品信息包括物品名称以及其他信息；所述步骤S20包括：

S201，获取所述物品的物品名称；也即，在步骤S10中提取所述第一图像中的物品的第一图像特征之后，此时需要用户录入该物品的物品名称。可理解地，所述物品名称可以由用户直接手动文字录入、通过语音录入音频、或通过语音录入音频之后将所述音频识别为文字；也即，所述物品名称存储在所述数据库中的形式可以为音频或文字。

在一实施例中，如图4所示，所述步骤S201包括：

S2011，获取数据库中预先存储的各物品的物品特征；也即，在服务器的数据库中，亦可以事先存储有各物品的物品特征，可以通过匹配该物品特征与所述第一图像特征来确定该物品的物品名称。

S2012，检测各所述物品的物品特征中是否存在与所述第一图像特征匹配的物品特征。也即，将所述第一图像特征与各所述物品的物品特征逐一进行对比，判断所述第一图像特征与每个物品的物品特征是否匹配；可理解地，可以通过检测所述第一图像特征与一个物品的物品特征的相似度来判定两者是否匹配；若两者的相似度超过第一相似度阈值(比如，设定所述第一相似度阈值为0.7)，则可以认为两者是匹配的；若两者的相似度并未超过所述第一相似度阈值，则认为两者是不匹配的，此时，可以判断该第一图像特征与下一个物品的物品特征是否匹配。可理解地，在判定所述第一图像特征与每一个物品的物品特征均不匹配时，代表检测到各所述物品的物品特征中并不存在与所述第一图像特征匹配的物品特征。

在另一实施例中，亦可以遍历各所述物品的物品特征，计算所述第一图像特征与每一个物品的物品特征的相似度，并确定与所述第一图像特征相似度最高(且最高的相似度大于所述第二相似度阈值)的一个物品的物品特征，为与所述第一图像特征匹配的物品特征。如上述，在本实施例中，还必须设定一个第二相似度阈值(比如，设定所述第二相似度阈值为0.5)，以确定只有大于所述第二相似度阈值时，与所述第一图像特征相似度最高的该物品的物品特征，才可以确定为与所述第一图像特征匹配的物品特征；从而避免在所述数据库中各所述物品的物品特征与所述第一图像特征均相似度过低的情况下，获取的所述物品的物品名称有误；比如，若所述数据库中各所述物品的物品特征与所述第一图像特征的相似度在0-0.2之间波动，此时，很明显数据库中存储的物品中很可能并没有与所述第一图像特征对应的物品，此时，判定各所述物品的物品特征中并不存在与所述第一图像特征匹配的物品特征。

S2013，在检测到各所述物品的物品特征中并不存在与所述第一图像特征匹配的物品特征时，提示用户需要手动录入所述物品的物品名称；进一步地，用户可以在手动录入所述物品的物品名称时，还同时录入所述物品的其他信息，比如该物品的属性、功能、使用方法等。

S2014，在检测到各所述物品的物品特征中存在与所述第一图像特征匹配的物品特征时，将该物品特征对应的所述物品标记为该第一图像特征所属的物品，并获取所述物品的物品名称。

也即，在存在与所述第一图像特征匹配的物品特征时，可以该物品特征对应的物品即为该第一图像特征所属的物品，此时，该物品的物品名称即为所述步骤S201中需要获取的物品名称。

S202，访问外网并根据所述物品名称检索所述物品的其他信息，或自数据库中根据所述物品名称调取所述物品的其他信息。

也即，对应于所述物品名称的所述物品的其他信息，可以由用户手动文字录入或通过语音录入；亦可以预先与所述物品名称关联存储在数据库中，以供用户根据所述物品名称随时调取；还可以在获取所述物品名称之后，根据预设的检索网站地址自动访问外网，在该检索网站中根据该物品名称检索该物品的其他信息，比如该物品的属性、功能、使用方法等。

S203，将所述物品的其他信息和所述物品名称以文字或音频的形式存储至所述数据库，且所述物品的其他信息和所述物品名称与该物品的第一图像特征关联。

也即，该物品信息(也即物品的其他信息和物品名称)亦可以用文字或音频的形式存储在所述数据库中，可理解地，服务器在获取到所述物品信息时，其被获取到的形式可能为文字或语音，但是服务器可根据需求将其进行转化为需求形式；比如，可以将获取到的所有物品信息统一转换为音频，以便于在后续步骤S40中通过语音播放所述物品信息。

所述步骤S10-S20可以反复被执行，从而将所述预设环境范围内的所有物品的第一图像特征都存储，以尽可能地令存储的所述第一图像特征在最大程度上包含该环境范围待辨识物品的第二图像特征，进而提升辨识的精确度。

S30，在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征。

其中，用户可以通过点击或滑动等方式触发所述预设按键(触发之后代表用户需要对所述待辨识物品进行辨识)发送所述辨识指令至服务器；在触发该预设按键之前，首先通过摄像设备拍摄所述第二图像，所述第二图像是从摄像设备录制的视频中提取的第二图像，或所述摄像设备直接拍摄的第二图像。

在一实施例中，可理解地，可以通过第二图像识别模型对所述第二图像中的待辨识物品进行识别，以提取待辨识物品所对应的第二图像特征。所述第二图像特征是指物品的轮廓、纹理、物品在各视角中表现的形状、物品颜色等特征及各特征之间的组合。在所述步骤S30之前还包括，训练所述第二图像识别模型。且所述第二图像识别模型的训练过程如下：

获取第二预设数量的不同的第二图像样本，各所述第二图像样本中包含对应于同一图像特征(同一第二图像特征)，可以通过包含第二初始参数的第二图像识别模型对所述第二图像样本进行识别，并获取自所述第二图像样本中识别的所述图像特征与该第二图像样本对应的所述图像特征的整体偏差度，判断所述整体偏差度是否大于第二偏差阈值；若所述整体偏差度大于第二偏差阈值，则对所述第二图像识别模型的第二初始参数进行调整，并返回执行所述通过调整第二初始参数之后的所述第二图像识别模型对所述第二图像样本进行识别，直至所述整体偏差度小于或等于第二偏差阈值；若所述整体偏差度小于或等于第二偏差阈值，则提示所述第二图像识别模型的训练完成。

在另一实施例中，所述步骤S30还包括：

通过所述第二图像识别模型提取待辨识物品在所述第二图像中的第二位置信息，匹配所述第二位置信息与各所述位置点的位置特征，并获取与所述第二位置信息匹配的所述位置点的第二标记。

也即，在该步骤中，还需要在所述第二图像中提取待辨识物品的第二位置信息，所述第二位置信息是指该待辨识物品在所述预设环境范围中拍摄所述第二图像时所处位置的特征；通过所述第二位置信息可以确认在拍摄第二图像时该待辨识物品所处的位置点。此时，在步骤S10中标记的各所述位置点的位置特征中，找寻与所述第二位置信息匹配的位置特征；从而确定与该第二位置信息对应的所述待辨识物品所处的位置点，进而获取所述待辨识物品所处位置点的第二标记。

进一步地，当用户(比如小朋友)没按指定位置(收纳点)放置物品，此时找不到物品时，可以在通过在客户端选取与该物品对应的第一图像或物品名称等与该物品唯一关联的物品信息之后，触发预设的找寻按键。此时，服务器会根据选取的物品信息调取该物品最后一次执行的所述步骤S30时，所获取到的与所述第二位置信息匹配的所述位置点的第二标记，进而查看该物品是否在与所述第二标记对应的位置点，以帮助找寻物品。

S40，确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

可理解地，所述提示与该第一图像特征关联的所述物品信息的提示方式可以为语音播放，也可以是出语音播放之外的其他提示方式，比如，在客户端的显示屏上同步显示语音播放的音频所对应的文字，以供儿童在听看的过程中寓教于乐地进行学习和识字。

在一实施例中，如图5所示，所述步骤S40包括：

S401，检测是否存在与所述第二图像特征匹配的所述第一图像特征；

也即，将所述第二图像特征与步骤S10-S20中存储的各所述物品的第一图像特征逐一进行对比，判断所述第二图像特征与每个物品的第一图像特征是否匹配；可理解地，可以通过检测所述第二图像特征与其中一个物品的第一图像特征的相似度来判定两者是否匹配；若两者的相似度超过第三相似度阈值(比如，设定所述第三相似度阈值为0.7)，则可以认为两者是匹配的；若两者的相似度并未超过所述第三相似度阈值，则认为两者是不匹配的，此时，可以判断该第二图像特征与下一个物品的第一图像特征是否匹配。可理解地，在判定所述第二图像特征与每一个物品的第一图像特征均不匹配时，代表检测到各所述物品的第一图像特征中并不存在与所述第二图像特征匹配的第一图像特征。

在另一实施例中，亦可以遍历各所述物品的第一图像特征，计算所述第二图像特征与每一个物品的第一图像特征的相似度，并确定与所述第二图像特征相似度最高(且最高的相似度大于所述第四相似度阈值)的一个物品的第一图像特征，为与所述第二图像特征匹配的第一图像特征。如上述，在本实施例中，还必须设定一个第四相似度阈值(比如，设定所述第四相似度阈值为0.5)，以确定只有大于所述第四相似度阈值时，与所述第二图像特征相似度最高的该物品的第一图像特征，才可以确定为是与所述第二图像特征匹配的第一图像特征；从而避免在所述数据库中各所述物品的第一图像特征与所述第二图像特征均相似度过低的情况下，确认的所述待辨识物品具体是何种物品出现误差；比如，若所述数据库中各所述物品的第一图像特征与所述第二图像特征的相似度在0-0.2之间波动，此时，很明显数据库中存储的物品中很可能并没有与所述第二图像特征对应的物品，此时，判定各所述物品的第一图像特征中并不存在与所述第二图像特征匹配的第一图像特征。

作为优选，在检测到并不存在与所述第二图像特征匹配的所述第一图像特征时，说明该物品可能是该预设环境范围内新进的物品，此时无法进行识别，需要重复步骤S10-S20存储其信息之后方可进行识别，此时，可以提示用户无法识别所述待辨识物品，比如，提示小朋友无法识别新玩具：“对不起哦，我也不认识它究竟是什么，我们去问一下妈妈吧”。

S402，在存在与所述第二图像特征匹配的所述第一图像特征时，确认该第一图像特征对应的所述物品为所述待辨识物品。

也即，在存在与所述第二图像特征匹配的第一图像特征时，可以该第一图像特征对应的物品即为所述待辨识物品。

S403，获取与该第一图像特征对应的所述物品的物品信息，并通过语音播放所述物品信息。也即，该物品信息(也即物品的其他信息和物品名称)可以用文字或音频的形式存储在所述数据库中，可理解地，服务器在获取到所述物品信息时，其被获取到的形式可能为文字或语音，但是服务器可根据需求将其进行转化为需求形式；比如，可以将获取到的所有物品信息统一转换为音频，以便于在后续步骤S50中通过语音(且语音播报的语言可以为多种语言，比如中文、英文等)播放所述物品信息。比如，当小朋友扫描到所述待辨识物品时，可以通过上述步骤快速对所述待辨识物品进行识别，且自动播放该物品的物品信息，比如，通过中英文等多种语言播放物品的名字，并对该物品进行更深入的介绍和词语解释等。同时，在进行语音播报的同时，还可以在客户端的显示屏上同步显示语音播放的音频所对应的文字，以供儿童在听看的过程中寓教于乐地进行学习和识字。

在一实施例中，所述确定与所述第二图像特征匹配的所述第一图像特征之后，还包括：

获取与所述第二图像特征匹配的该第一图像特征关联的位置点的第一标记。也即，在步骤S402中确认与所述第二图像特征匹配的第一图像特征之后，此时可以确认所述待辨识物品为与所述第一图像特征对应的物品，且该待辨识物品应该被收纳至与该第一图像特征关联的位置点(即在所述步骤S10中确定的第一标记所代表的收纳点)。

检测所述第一标记与所述第二标记是否匹配。在该步骤中，需要判定当前所述待辨识物品所处的位置点(对应于所述步骤S30中获取的第二标识)是否为上述第一标记所代表的收纳点。

在所述第一标记与所述第二标记并不匹配时，提示所述待辨识物品应被收纳至与所述第一标记对应的位置点。也即，在所述第一标记与所述第二标记并不匹配时，说明当前所述待辨识物品所处的位置点并不是上述第一标记所代表的收纳点(已经从该收纳点被移走)，此时可以根据所述第一标记调取所述待辨识物品应该被收纳的位置点(收纳点)的名称(位置点名称可以是以语音或文字的形式存储在数据库中，若所述位置点名称以语音字的形式存储，直接调取播放即可，若所述位置点名称以文字的形式存储，需要将文字转换为音频之后通过语音播报)，进而通过语音播报该位置点的名称。比如，小朋友会有物品乱放，玩具乱丢的习惯，当小朋友将玩具放到非指定的位置(除该物品的收纳点之外的其他位置)时，则在通过上述步骤快速对所述待辨识物品进行识别之后，立即发出语音提示：“请放到xxx位置(对应于该待辨识物品的收纳点)哦，小朋友要养成自己的物品自己放好的习惯哦”，从而提示小朋友养成收纳的好习惯。

作为优选，可以进一步语音播放(或在客户端的显示屏上同步显示)该位置点的位置特征，比如说明其相邻的物品或位置点的名称等，为用户进行进一步提示。

在一实施例中，如图6所示，提供一种基于图像识别的物品识别装置，该基于图像识别的物品识别装置与上述实施例中基于图像识别的物品识别方法一一对应。所述基于图像识别的物品识别装置包括：

第一提取模块11，用于获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取模块12，用于获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

第二提取模块13，用于在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定模块14，用于确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

在一实施例中，所述装置还包括：

标记模块，用于标记所述预设环境范围中各位置点，并将各所述位置点的标记与该位置点的位置特征关联存储；

所述第一提取模块11包括：

第一匹配子模块，用于通过所述第一图像识别模型提取各物品在所述第一图像中的第一位置信息，匹配所述第一位置信息与各所述位置点的位置特征，并获取与所述第一位置信息匹配的所述位置点的第一标记；

第一存储子模块，用于将各所述物品的第一图像特征与该物品所处的所述位置点的第一标记关联存储。

在一实施例中，所述物品信息包括物品名称以及其他信息；所述获取模块12包括：

第一获取子模块，用于获取所述物品的物品名称；

第二获取子模块，用于访问外网并根据所述物品名称检索所述物品的其他信息，或自数据库中根据所述物品名称调取所述物品的其他信息；

第二存储子模块，用于将所述物品的其他信息和所述物品名称以文字或音频的形式存储至所述数据库，且所述物品的其他信息和所述物品名称与该物品的第一图像特征关联。

在一实施例中，所述第一获取子模块包括：

获取单元，用于获取数据库中预先存储的各物品的物品特征；

检测单元，用于检测各所述物品的物品特征中是否存在与所述第一图像特征匹配的物品特征；

提示单元，用于在检测到各所述物品的物品特征中并不存在与所述第一图像特征匹配的物品特征时，提示用户需要手动录入所述物品的物品名称；

标记单元，用于在检测到各所述物品的物品特征中存在与所述第一图像特征匹配的物品特征时，将该物品特征对应的所述物品标记为该第一图像特征所属的物品，并获取所述物品的物品名称。

在一实施例中，所述第二提取模块13包括：

第二匹配子模块，用于通过所述第二图像识别模型提取待辨识物品在所述第二图像中的第二位置信息，匹配所述第二位置信息与各所述位置点的位置特征，并获取与所述第二位置信息匹配的所述位置点的第二标记。

在一实施例中，所述确定模块14包括：

第三获取子模块，用于获取与所述第二图像特征匹配的该第一图像特征关联的位置点的第一标记；

第一检测子模块，用于检测所述第一标记与所述第二标记是否匹配；

提示子模块，用于在所述第一标记与所述第二标记并不匹配时，提示所述待辨识物品应被收纳至与所述第一标记对应的位置点。

在一实施例中，所述确定模块14包括：

第二检测子模块，用于检测是否存在与所述第二图像特征匹配的所述第一图像特征；

确认子模块，用于在存在与所述第二图像特征匹配的所述第一图像特征时，确认该第一图像特征对应的所述物品为所述待辨识物品；

播放子模块，用于获取与该第一图像特征对应的所述物品的物品信息，并通过语音播放所述物品信息。

关于基于图像识别的物品识别装置的具体限定可以参见上文中对于基于图像识别的物品识别方法的限定，在此不再赘述。上述基于图像识别的物品识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。。该计算机可读指令被处理器执行时以实现一种基于图像识别的物品识别方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：

获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机可读指令，计算机可读指令被处理器执行时实现以下步骤：

获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、存储器总线直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元或模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的物品识别方法，其特征在于，包括：

获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定与所述第二图像特征匹配的所述第一图像特征，获取并提示提示与该第一图像特征关联的所述物品信息。

2.如权利要求1所述的基于图像识别的物品识别方法，其特征在于，所述获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征之前，还包括：

标记所述预设环境范围中各位置点，并将各所述位置点的标记与该位置点的位置特征关联存储；

所述通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征，包括：

通过所述第一图像识别模型提取各物品在所述第一图像中的第一位置信息，匹配所述第一位置信息与各所述位置点的位置特征，并获取与所述第一位置信息匹配的所述位置点的第一标记；

将各所述物品的第一图像特征与该物品所处的所述位置点的第一标记关联存储。

3.如权利要求1所述基于图像识别的物品识别的方法，其特征在于，所述物品信息包括物品名称以及其他信息；

所述获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储，包括：

获取所述物品的物品名称；

访问外网并根据所述物品名称检索所述物品的其他信息，或自数据库中根据所述物品名称调取所述物品的其他信息；

将所述物品的其他信息和所述物品名称以文字或音频的形式存储至所述数据库，且所述物品的其他信息和所述物品名称与该物品的第一图像特征关联。

4.如权利要求3所述基于图像识别的物品识别的方法，其特征在于，所述获取所述物品的物品名称，包括：

获取数据库中预先存储的各物品的物品特征；

检测各所述物品的物品特征中是否存在与所述第一图像特征匹配的物品特征；

在检测到各所述物品的物品特征中并不存在与所述第一图像特征匹配的物品特征时，提示用户需要手动录入所述物品的物品名称；

在检测到各所述物品的物品特征中存在与所述第一图像特征匹配的物品特征时，将该物品特征对应的所述物品标记为该第一图像特征所属的物品，并获取所述物品的物品名称。

5.如权利要求2所述的基于图像识别的物品识别方法，其特征在于，所述通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征，包括：

通过所述第二图像识别模型提取待辨识物品在所述第二图像中的第二位置信息，匹配所述第二位置信息与各所述位置点的位置特征，并获取与所述第二位置信息匹配的所述位置点的第二标记。

6.如权利要求5所述的基于图像识别的物品识别方法，其特征在于，所述确定与所述第二图像特征匹配的所述第一图像特征之后，包括：

获取与所述第二图像特征匹配的该第一图像特征关联的位置点的第一标记；

检测所述第一标记与所述第二标记是否匹配；

在所述第一标记与所述第二标记并不匹配时，提示所述待辨识物品应被收纳至与所述第一标记对应的位置点。

7.如权利要求1至6任一项所述的基于图像识别的物品识别方法，其特征在于，所述确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息，包括：

检测是否存在与所述第二图像特征匹配的所述第一图像特征；

在存在与所述第二图像特征匹配的所述第一图像特征时，确认该第一图像特征对应的所述物品为所述待辨识物品；

获取与该第一图像特征对应的所述物品的物品信息，并通过语音播放所述物品信息。

8.一种基于图像识别的物品识别装置，其特征在于，包括：

第一提取模块，用于获取在预设环境范围内拍摄的第一图像，将所述第一图像输入第一图像识别模型，并通过所述第一图像识别模型提取所述第一图像中各物品的第一图像特征；

获取模块，用于获取各所述物品的物品信息，并将各所述物品的第一图像特征与该物品的物品信息关联存储；

第二提取模块，用于在接收到辨识指令时，获取待辨识物品的第二图像，并将所述第二图像输入第二图像识别模型，通过所述第二图像识别模型自所述第二图像中提取所述待辨识物品的第二图像特征；

确定模块，用于确定与所述第二图像特征匹配的所述第一图像特征，获取并提示与该第一图像特征关联的所述物品信息。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7任一项所述基于图像识别的物品识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至7任一项所述基于图像识别的物品识别方法。