CN112085795A - 物品定位方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种物品定位方法、装置、设备及存储介质，属于AR技术领域。该方法包括：获取环境图像，环境图像是对真实环境进行拍摄得到的图像；根据环境图像以及目标物品的物品图像，定位真实环境中的目标物品；响应于目标物品位于真实环境中，通过AR方式在环境图像中突出显示目标物品。本申请实施例提供的方法基于图像识别以及图像匹配技术实现物品定位，无需在物品上设置特殊的电子标签，降低了物品定位的实现成本，同时，采用AR方式对环境图像中的目标物品进行突出显示，显示效果更加直观显著，有助于提高用户基于环境图像定位目标物品的效率。

Description

物品定位方法、装置、设备及存储介质

本申请实施例要求于2019年12月31日提交，申请号为62/955,885、发明名称为“物品定位、防止物品丢失的方法及系统”的美国专利申请的优先权，其全部内容通过引用结合在本申请实施例中。

技术领域

本申请实施例涉及AR技术领域，特别涉及一种物品定位方法、装置、设备及存储介质。

背景技术

在日常生活中，人们经常会面临找不到特定物品的问题，比如找不到钥匙或者眼镜等等。

为了提高用户寻找物品的效率，用户可以在容易丢失的物品上设置射频标识(Radio Frequency Identification，RFID)标签或者蓝牙标签，从而利用RFID和蓝牙标签进行物品定位。

发明内容

本申请实施例提供了一种物品定位方法、装置、设备及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种物品定位方法，所述方法包括：

获取环境图像，所述环境图像是对真实环境进行拍摄得到的图像；

根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品；

响应于所述目标物品位于所述真实环境中，通过增强现实(Augmented Reality，AR)方式在所述环境图像中突出显示所述目标物品。

另一方面，本申请实施例提供了一种物品定位装置，所述装置包括：

第一获取模块，用于获取环境图像，所述环境图像是对真实环境进行拍摄得到的图像；

第一定位模块，用于根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品；

第一显示模块，用于响应于所述目标物品位于所述真实环境中，通过AR方式在所述环境图像中突出显示所述目标物品。

另一方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现上述方面所述的物品定位方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的物品定位方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的物品定位方法。

本申请实施例提供的方法基于图像识别以及图像匹配技术实现物品定位，当需要定位目标物品时，只需拍摄真实环境的环境图像，即可根据该环境图像以及目标物品的物品图像定位目标物品，无需在物品上设置特殊的电子标签，降低了物品定位的实现成本，同时，采用AR方式对环境图像中的目标物品进行突出显示，显示效果更加直观显著，有助于提高用户基于环境图像定位目标物品的效率。

附图说明

图1示出了本申请一个示例性实施例提供的物品定位方法的流程图；

图2是本申请一个示例性实施例示出的物品定位过程的实施示意图；

图3示出了本申请另一个示例性实施例提供的物品定位方法的流程图；

图4示出了本申请一个示例性实施例提供的物品定位过程的界面示意图；

图5是本申请一个示例性实施例示出的图像特征点匹配过程的实施示意图；

图6示出了本申请另一个示例性实施例提供的物品定位方法的流程图；

图7示出了本申请另一个示例性实施例提供的物品定位方法的流程图；

图8是本申请一个示例性实施例示出的物品位置提醒过程的实施示意图；

图9示出了本申请一个实施例提供的物品定位装置的结构框图；

图10示出了本申请一个示例性实施例提供的电子设备的结构方框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

相关技术中，利用特殊电子标签(RFID标签或蓝牙标签)进行物品定位前，用户首先需要将电子标签设置在待定位的物品上，比如将电子标签粘贴在物品上，在进行物品定位时，终端通过射频功能或者蓝牙功能来感应电子标签，从而实现物品定位。

显然，采用上述方式实现物品定位时，需要在物品上额外设置电子标签，一方面增加了额外的成本，另一方面，在体积较小的物品上设置电子标签的难度较高(比如眼镜)。此外，由于电子标签的感应范围有限，用户需要使用终端进行反复搜索，导致物品定位的效率较低。

本申请实施例提供的物品定位方法中，当需要定位真实环境中的目标物品时，用户只需要使用电子设备对真实环境进行图像拍摄，电子设备即可通过图像识别以及匹配技术，根据环境图像和物品图像定位目标物品，并通过AR方式对环境图像中的目标物品进行突出显示。整个物品定位过程中，无需预先在目标物品上设置电子标签，降低了物品定位的实现成本；并且物品定位不再受限于电子标签的感应范围，用户拍摄一张环境图像并进行物品定位时的物品搜索范围更大，提高了物品定位的效率；同时，利用AR技术在拍摄的环境图像中标记出目标物品，使定位效果更加直观，方便用户基于AR显示快速定位目标物品，进一步提高了物品定位的效率。

本申请实施例提供的物品定位方法用于具有图像拍摄以及AR功能的电子设备。其中，该电子设备可以是智能手机、平板电脑或个人计算机(内置或连接摄像头)等终端，也可以是智能眼镜、智能头盔等具有AR功能的头戴式显示器(Head-Mounted Display，头戴式显示器)。

应用于终端时，若用户需要定位物品，即使用终端对真实环境进行拍摄(拍摄一张图片或者拍摄一段视频)，终端通过AR方式在显示屏显示的环境图像上突出显示目标物品；应用于头戴式显示器时，若用户需要定位物品，即通过头戴式显示器的摄像组件进行环境图像采集，并通过投影(适用于智能眼镜等光学透视型HMD)或者图像叠加(适用于VR头盔等非光学透视型HMD)等方式突出显示目标物品。为了方便表示，下述各个实施例以物品定位方法应用于终端设备为例进行说明。

请参考图1，其示出了本申请一个示例性实施例提供的物品定位方法的流程图，本实施例以该方法用于终端设备为例进行说明，该方法可以包括如下步骤。

步骤101，获取环境图像，环境图像是对真实环境进行拍摄得到的图像。

可选的，该环境图像是终端设备对真实环境进行拍摄得到一张图片，或者，该环境图像是使用终端设备对真实环境进行扫描过程中采集到的一帧图像(比如开启摄像头并移动智能手机过程中，取景框内实时显示的图像)。

在一种可能的应用场景下，当需要通过智能手机定位物品时，用户使用智能手机对待搜索区域的真实环境进行拍摄，得到环境图像；在另一种可能的应用场景下，当需要通过智能眼镜定位物品时，用户佩戴智能眼镜并将视线移动至待搜索区域，以便智能眼镜上设置的摄像组件进行环境图像采集。

示意性的，如图2所示，定位物品时，用户使用智能手机21对真实环境22(桌面)进行拍摄，得到环境图像23。

步骤102，根据环境图像以及目标物品的物品图像，定位真实环境中的目标物品。

其中，该目标物品为待定位物品，且目标物品的数量为至少一件，其可以是钥匙、钱包、笔、水杯、雨伞、家用电器等等，本申请实施例并不对目标物品的类型以及数量进行限定。

可选的，该目标物品可以由用户指定，比如用户通过选择操作或语音指令指示待定位的目标物品，比如用户在物品定位界面中选择钥匙作为待定位的目标物品；或者，该目标物品可以由终端设备根据所处场景自动确定，比如用户离家时终端设备自动确定待定位的目标物品为钥匙。

在一些可能的实施例中，在定位目标物品前，终端设备首先获取目标物品的物品图像，以便后续基于物品图像和环境图像进行图像识别及匹配。其中，目标物品的物品图像可以是预先拍摄的图像，或者，物品图像可以是终端设备根据目标物品的物品名称，从网络下载的图像，即该物品图像可以是目标物品的实际图像，也可以是与目标物品具有相同属性的物品的图像。

比如，该物品图像是用户预先使用终端设备拍摄的指定眼镜的图像，或者，该物品图像是终端设备从网络下载的通用眼镜模板图像。

关于基于图像识别和匹配实现物品定位的具体方式，下述实施例将进行详述。

步骤103，响应于目标物品位于真实环境中，通过AR方式在环境图像中突出显示目标物品。

当识别出目标物品位于环境图像所指示的真实环境时，为了提高目标物品在环境图像中的显著程度，终端设备通过AR方式对环境图像中的目标物品进行突出显示。

针对不同类型的终端设备，AR显示目标物品的方式也不同，在一种可能的实施方式中，当终端设备为智能手机或非光学透视型HMD时，终端设备将目标物品的AR图像叠加显示在环境图像上；当终端设备为光学透视型HMD时，终端设备将目标物品的AR图像投影在透视镜片或者用户眼球上。

示意性的，如图2所示，当目标物品为钥匙时，智能手机21对环境图像23以及钥匙图像进行图像识别及匹配，确定环境图像23中包含钥匙，从而在环境图像23上叠加显示钥匙AR图像24，以提示用户钥匙所在的位置。

综上所述，本申请实施例提供的方法基于图像识别以及图像匹配技术实现物品定位，当需要定位目标物品时，只需拍摄真实环境的环境图像，即可根据该环境图像以及目标物品的物品图像定位目标物品，无需在物品上设置特殊的电子标签，降低了物品定位的实现成本，同时，采用AR方式对环境图像中的目标物品进行突出显示，显示效果更加直观显著，有助于提高用户基于环境图像定位目标物品的效率。

在一种可能的实施方式中，终端设备可以通过AR方式在环境图像上叠加显示目标物品的二维图像，以指示目标物品在真实环境中的位置，下面采用示例性实施例进行说明。

请参考图3，其示出了本申请另一个示例性实施例提供的物品定位方法的流程图，本实施例以该方法用于终端设备为例进行说明，该方法可以包括如下步骤。

步骤301，获取环境图像，环境图像是对真实环境进行拍摄得到的图像。

本步骤的实施方式可以参考上述步骤101，本实施例在此不再赘述。

步骤302，获取环境图像中第一特征点的第一特征描述子，以及物品图像中第二特征点的第二特征描述子，特征描述子用于表征特征点处的图像特征。

在一种可能的实施方式中，终端设备基于图像中特征点(feature point)的特征描述子(feature descriptor)实现图像匹配。因此，获取到环境图像后，终端设备需要对环境图像进行特征点识别，并进一步基于特征点处的图像特征得到各个特征点对应的特征描述子。

其中，特征点可以是图像中灰度值(grayscale value)变化幅度大于阈值的像素点，相应的，终端设备获取环境图像中各个像素点对应的灰度值，并将灰度值与相邻像素点对应灰度值之差大于差值阈值的像素点确定为特征点；或者，特征点也可以是图像中边缘曲率(edge curvature)大于阈值的像素点，相应的，终端设备识别环境图像中的图像边缘，并从中筛选出边缘曲率大于曲率阈值的图像边缘，进而将该图像边缘处的像素点确定为特征点。

可选的，终端设备可以通过哈里斯角(Harris Corners)检测、Shi-Tomasi角点检测或FAST(Features from Accelerated Segment Test)特征点检测方式确定图像中的特征点，本实施例对此不作限定。

特征描述子是一种描述特征点周侧图像特征的向量化表示，可以根据特征点周侧预定范围内像素点的红绿蓝(Red-Green-Blue，RGB)或者灰度值确定得到。可选的，终端设备可以通过BRISK(Binary Robust Independent Elementary Features)、HOG(histogramof oriented gradients)等方式确定特征点对应的特征描述子，本实施例对此不作限定。

在一些可能的实施例中，终端设备可以通过SIFT(Scale-Invariant FeatureTransform)、SURF(Speeded-Up Robust Features)或ORB(Oriented FAST and RotatedBRIEF)等方式实现特征点检测以及特征描述子生成，本实施例对此不作限定。

对于环境图像，终端设备实时进行特征点检测以及特征描述子生成，而对于目标物品对应的物品图像，特征点检测以及特征描述子可以实时生成，也可以预先生成并存储，当需要进行物品定位时，终端设备直接获取即可。

在一种可能的实施方式中，对于容易丢失的物品，用户预先使用终端设备拍摄该物品(可以多角度拍摄多次，且可以放置在纯色背景前拍摄)，由终端设备从图像中分割出物品区域，并对物品区域进行特征点检测以及特征描述子生成。其中，特征点检测以及特征描述子生成的过程可以参考上述步骤，本实施例在此不再赘述。

在另一种可能的实施方式中，当未预先拍摄待定位的目标物品时，终端设备根据目标物品的物品名称、类型等属性信息，从网络获取目标物品对应通用物品模板的物品图像，从而对物品图像中的物体进行特征点检测和特征描述子生成，以便后续进行目标物品定位。示意性的，如图4所示，用户使用AR找物功能时，终端在物品选择界面41显示若干候选物品选项42，用户可以从候选物品选项42中选择目标物品，也可以输入候选物品以外的其他物品。图4中，用户从候选物品选项42中选择“钥匙”作为目标物品。

需要说明的是，环境图像中第一特征点的数量与物品图像中第二特征点的数量不同，且通常情况下，第一特征点的数量大于第二特征点的数量(因为环境图像中包含的物品众多)。

步骤303，根据第一特征描述子和第二特征描述子之间的特征距离，确定环境图像与物品图像的特征点匹配情况。

在一些实施例中，定位目标物品过程中，对于目标图像中的各个第二特征点，终端设备计算第二特征点对应第二特征描述子与环境图像中各个第一特征点对应第一特征描述子之间的特征距离，并确定特征距离最小的第一特征点与该第二特征点对应。其中，特征描述子采用特征向量表示时，特征距离可以为特征向量之间的余弦距离或者欧式距离。

对于存在对应关系第一特征点和第二特征点，终端设备计算特征点之间的几何变换关系，从而滤除特征点对应过程中的离群点(离群点指无法通过计算得到几何变换关系的特征点)，确定出图像之间匹配的特征点。其中，几何变换包括单应变换(homographictransformation)和仿射变换(affine transformation)。

进一步的，终端设备根据环境图像和物品图像中特征点的匹配情况，确定环境图像与物品图像中匹配特征点的数量，若数量大于数量阈值，则确定环境图像中包含目标物品，若数量小于数量阈值，则确定环境图像中不包含目标物品。其中，该数量阈值可以根据物品图像中第二特征点的数量确定。

示意性的，如图4所示，终端设备将钥匙对应的物品图像与环境图像43进行特征点匹配，从而确定环境图像与物品图像的特征点匹配情况。

步骤304，根据特征点匹配情况定位目标物品。

在一种可能的实施方式中，终端设备根据环境图像中匹配特征点的位置，确定目标物品在环境图像中所处的位置，实现目标物品定位。

然而在实际情况下，待定位的目标物品往往会被其他物体部分遮挡，当采用包含目标物品完整影像的物品图像进行特征点匹配时，可能因匹配特征点数量过少导致无法定位目标物品。比如，当目标物品的大部分被遮挡，仅小部分出现在环境图像中时，由于目标物品的物品图像中包含100个特征点，而进行图像匹配后确定出的匹配特征点数量仅为10个时，由于匹配特征点数量过少，导致目标物品定位失败。

为了提高目标物品被遮挡时的定位准确性，当基于环境图像和物品图像得到的特征点匹配情况指示环境图像中不包含目标物品时，终端设备进一步通过下述步骤305至306进行物品定位；当基于环境图像和物品图像得到的特征点匹配情况指示环境图像中包含目标物品时，终端设备执行下述步骤307。

步骤305，响应于特征点匹配情况指示环境图像中不包含目标物品，获取目标物品对应的至少一张候选子图像，候选子图像为目标物品被部分遮挡情况时的图像，且不同候选子图像对应不同遮挡位置。

在一种可能的实施方式中，目标物品除了对应包含完整物品影像的物品图像外，还包含至少一张候选子图像，候选子图像是目标物品被部分遮挡时拍摄的图像，且不同候选子图像对应的遮挡位置不同，或者，目标物品被遮挡的比例不同。

在一个示意性的例子中，如图5所示，当目标物品为钥匙时，终端设备首先将钥匙完整图像52(包含100个特征点)与环境图像53(包含1000个特征点)进行特征点匹配，确定出匹配特征点数量为20个(因为环境图像中的钥匙被书本遮挡)，由于匹配特征点数量小于数量阈值(比如钥匙完整图像中特征点数量的50％)，因此终端设备进一步获取钥匙对应的候选子图像54，其中，候选子图像54中的钥匙被部分遮挡，且特征点数量少于钥匙完整图像52(图5中特征点数量分别为20、15、15和20个)。

步骤306，根据环境图像以及候选子图像，定位真实环境中的目标物品。

进一步的，终端设备对环境图像以及候选子图像进行特征点匹配，并根据特征点匹配情况确定是否包含目标物品。其中，环境图像与候选子图像的特征点匹配过程可以参考上述步骤，此处不再赘述。

示意性的，如图5所示，终端设备对环境图像53和候选子图像54进行特征点匹配，确定环境图像53和第四张候选子图像54之间的匹配特征点数量为15个，大于数量阈值，因此终端设备确定环境图像53中存在被部分遮挡的钥匙(与候选子图像对应的物品遮挡情况一直)。

可选的，终端设备根据环境图像和候选子图像之间匹配特征点的位置，确定目标物品在环境图像中的位置。

步骤307，响应于目标物品位于真实环境中，对物品图像中目标物品的物品轮廓进行几何变换，得到变换后的物品轮廓，其中，变换后的物品轮廓与环境图像中目标物品的轮廓相匹配。

当通过二维图像对环境图像中的目标物品进行突出显示时，由于真实环境中目标物品放置姿态角度与物品图像中目标物品的放置姿态角度存在差异，因此为了提高AR显示效果的真实性，在一种可能的实施方式中，终端设备首先提取物品图像中目标物品的物品轮廓，然后对物品轮廓进行几何变换，使变换后的物品轮廓与环境图像中目标物品的轮廓相匹配(大小匹配、姿态角度匹配)

其中，几何变换包括单应变换和仿射变换，且进行几何变换时采用的几何变换关系可以从特征点匹配过程中获取。

比如，当物品图像中目标物品为竖直姿态，而真实环境中目标物品为横卧姿态时，终端设备对目标物品的物品轮廓进行90°旋转，使物品轮廓呈现横卧姿态。

步骤308，在环境图像上目标物品对应的显示区域处叠加显示变换后的物品轮廓。

进一步的，终端设备根据目标物品在环境图像上的显示区域，在该显示区域上层叠加显示变换后的物品轮廓，从而达到指示真实环境中目标物品所在位置的效果。

可选的，变换后的物品轮廓采用高亮显示、特效显示或加粗显示，从而与环境图像中的其他物品进行区分。

在一种可能的实施方式中，当目标物品被部分遮挡时，终端设备在环境图像上叠加显示目标物品的完整物品轮廓，展示出目标物品的被遮挡部分，在物品遮挡情况下达到更显著的提示效果。

本实施例中，终端设备基于环境图像与物品图像之间的特征点匹配情况，确定目标物品是否位于真实环境，目标物品的识别准确率较高，同时，针对物品遮挡情况，终端设备基于环境图像与候选子图像(物品部分遮挡)之间的特征点匹配情况，确定目标物品是否位于真实环境中，进一步提高了物品部分遮挡情况下的识别准确率。

此外，本实施例中，终端设备对物品图像中的物品轮廓进行几何变换，从而将几何变换后的物品轮廓显示在环境图像上层，以此指示目标物品的位置，提高了用户根据指示定位目标物品的效率。

在另一些可能的实施例中，终端设备可以通过AR方式在环境图像上叠加显示目标物品的三维模型，进一步提高了物品位置指示效果。在图3的基础上，如图6所示，上述步骤307至308可以被替换为如下步骤。

步骤309，获取目标物品的三维模型。

在一种可能的实施方式中，三维模型可以由终端设备通过对目标物品进行3D建模得到，或者，该三维模型由终端设备从网络获取得到，本实施例对此不作限定。

步骤310，根据AR系统中同步定位与地图构建(Simultaneous Localization AndMapping，SLAM)功能提供的实时相机位置以及实时相机方向，在环境图像上叠加显示目标物品的三维模型。

将目标物品的三维模型显示在环境图像中时，若终端设备的对真实环境的拍摄位置或拍摄角度发生变化，环境图像中物品影像也需要相应发生改变(比如靠近拍摄时物品影像变大，改变拍摄角度时所展示的物品角度发生变化)，以此达到更加真实的展示效果。因此，本实施例中，终端设备需要根据AR系统中SLAM功能提供的实时相机位置(real timecamera position)以及实时相机方向(real time camera orientation)，确定三维模型的投影位置，从而根据该投影位置在环境图像上叠加显示该三维模型。

在一种可能的应用场景下，当用户使用佩戴的HMD进行物品定位时，HMD在目标物品位置处显示三维模型，用户走向目标物品过程中，三维模型在画面中的显示尺寸逐渐增大。

在一种可能的应用场景下，当采用本申请实施例提供的方案实现物品查找时，在定位真实环境中的目标物品前，终端设备接收物品查找指令，该物品查找指令中包含目标物品的物品标识。其中，该物品查找指令可以通过选择操作触发，或者，通过语音指令触发，本实施例对此不作限定。相应的，当真实环境中不包含目标物品时，终端设备通过预设方式进行提示。

在另一种可能的应用场景下，本申请实施例提供的方案还能够用于实现物品防丢/携带提醒，即提醒用户可能遗忘或者需要携带的物品。下面采用示意性的实施例进行说明。

请参考图7，其示出了本申请另一个示例性实施例提供的物品定位方法的流程图，本实施例以该方法用于终端设备为例进行说明，该方法可以包括如下步骤。

步骤701，获取环境图像，环境图像是对真实环境进行拍摄得到的图像。

本步骤的实施方式可以参考上述步骤101，本实施例在此不再赘述。

步骤702，响应于当前处于预设场景，确定预设场景对应的目标物品，和/或，根据预设场景对应的关联信息确定目标物品，关联信息包括天气信息、地理位置信息、身体状态信息、时间信息、日程信息和提醒信息中的至少一种。

在一种可能的实施方式中，终端设备开启物品防丢/携带提醒功能后，自动检测当前场景是否属于预设场景，若属于，则基于当前场景确定需要进行防丢提醒的物品。其中，该预设场景可以为用户预先设置或者默认设置的物品防丢/携带提醒场景，比如上班出门场景、下班回家场景、下车场景、离店场景等等，本申请并不对预设场景的具体类型进行限定。

可选的，该终端设备可以基于网络连接情况(比如无线网络连接情况)、地理位置(经纬度信息)、时间以及运动数据确定当前所处的场景，比如终端设备识别出当前地理位置为家，且时间为9:00，从而确定当前处于上班出门场景。

关于预设场景对应目标物品的确定方式，在一种可能的实施方式中，终端设备存储有预设场景与物品集合之间的对应关系，当识别出处于预设场景时，终端设备即获取当前场景对应物品集合中包含的目标物品，其中，该物品集合可以根据用户的物品携带习惯确定或者默认设置。示意性的，预设场景与物品集合之间的对应关系如表一所示。

表一

预设场景	物品集合
		上班出门场景	钱包、手机、钥匙、公文包
下车场景	公文包、手机
		健身场景	健身包、水杯、耳机

目标物品除了与当前所处场景相关外，还可能与其他场景对应的关联信息相关，因此在一种可能的实施方式中，终端设备根据预设场景对应的关联信息确定目标物品，该关联信息包括天气信息、地理位置信息、身体状态信息、时间信息、日程信息和提醒信息中的至少一种。

在一个示意性的例子中，当识别出处于上班出门场景时，终端设备除了基于表一将钱包、手机、钥匙、公文包确定为目标物品外，进一步获取天气信息和用户的身体状态信息。当天气信息指示当前有雨时，将雨伞确定为目标物品，当身体状态信息指示用户生病时，将药盒确定为目标物品。

在另一个示意性的例子中，当识别出处于上班出门场景时，终端设备除了基于表一将钱包、手机、钥匙、公文包确定为目标物品外，进一步获取日程信息和提醒信息。当日程信息指示今天乘坐飞机出差时，且提醒信息提示需要携带笔记本电脑时，终端设备将移动电源、降噪耳机(基于日程信息确定)以及笔记本电脑确定为目标物品。

当然，其他与场景相关的信息都可以被视作关联信息，本申请实施例仅以上述类型的关联信息为例进行说明，但并不对此构成限定。

步骤703，根据环境图像以及目标物品的物品图像，定位真实环境中的目标物品。

本步骤的实施方式可以参考上述实施例，本实施例在此不再赘述。

在一种可能的实施方式中，当真实环境中包含目标物品时，终端设备可以通过AR方式在环境画面中显示目标物品，提醒用户需要携带该目标物品。

步骤704，响应于真实环境中不包含目标物品，确定目标物品的候选放置位置。

当真实环境中不包含目标物品时，终端设备进一步确定该目标物品的候选放置位置，以便后续结合该候选放置位置对目标物品进行防丢/携带提醒，提高用户后续查找该目标物品的效率。

可选的，目标物品的候选放置位置基于用户习惯确定。在一种可能的实施方式中，终端设备获取包含目标物品的历史环境图像，并识别历史环境图像中目标物品的历史放置位置，从而基于该历史放置位置确定目标物品的候选放置位置。其中，当终端设备为智能眼镜时，该历史环境图像可以由智能眼镜在日常工作中采集得到。

比如，用户佩戴智能眼镜的过程中，智能眼镜通过图像识别确定用户经常将钱包放置在外衣口袋中，经常将水瓶放置在背包的水瓶架上。

步骤705，响应于环境图像中包含候选放置位置，通过AR方式在候选放置位置显示目标物品。

在一种可能的实施方式中，确定出目标物品的候选放置位置后，终端设备检测候选放置位置是否位于环境图像内，若位于，则通过AR方式在该候选放置位置处于显示目标物品，提示用户目标物品可能放置的位置。其中，终端设备可以通过二维或三维方式显示目标物品。

在一个示意性的例子中，如图8所示，上班出门场景下，用户佩戴的智能眼镜通过图像识别确定用户未携带钱包时，智能眼镜确定钱包的候选放置位置为上衣口袋。当识别出当前环境图像81中包含上衣时，智能眼镜通过投影的方式，使用户通过智能眼镜可以在上衣口袋处的查看到AR钱包影像82。

在其他可能的实施方式中，当环境图像中不包含候选放置位置时，终端设备显示目标物品放置在候选放置位置处的AR影像，以提醒用户。

本实施例中，终端设备通过图像识别技术实现物品防丢/携带提醒功能，在用户遗漏物品时提醒用户，或提醒用户在特定场景下携带特定物品，能够降低用户遗漏物品的概率。

请参考图9，其示出了本申请一个实施例提供的物品定位装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为终端设备的全部或一部分。该装置包括：

第一获取模块901，用于获取环境图像，所述环境图像是对真实环境进行拍摄得到的图像；

第一定位模块902，用于根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品；

第一显示模块903，用于响应于所述目标物品位于所述真实环境中，通过增强现实AR方式在所述环境图像中突出显示所述目标物品。

可选的，第一显示模块903，包括：

第一显示单元，用于通过AR方式在所述环境图像上叠加显示所述目标物品的二维图像；

或，

第二显示单元，用于通过AR方式在所述环境图像上叠加显示所述目标物品的三维模型。

可选的，第一显示单元，用于：

对所述物品图像中所述目标物品的物品轮廓进行几何变换，得到变换后的物品轮廓，其中，所述变换后的物品轮廓与所述环境图像中所述目标物品的轮廓相匹配；

在所述环境图像上所述目标物品对应的显示区域处叠加显示所述变换后的物品轮廓。

可选的，第二显示单元，用于：

获取所述目标物品的三维模型；

根据AR系统中同时定位与地图构建SLAM功能提供的实时相机位置以及实时相机方向，在所述环境图像上叠加显示所述目标物品的三维模型。

可选的，所述第一定位模块902，包括：

特征获取单元，用于获取所述环境图像中第一特征点的第一特征描述子，以及所述物品图像中第二特征点的第二特征描述子，特征描述子用于表征特征点处的图像特征；

特征匹配单元，用于根据所述第一特征描述子和所述第二特征描述子之间的特征距离，确定所述环境图像与所述物品图像的特征点匹配情况；

定位单元，用于根据所述特征点匹配情况定位所述目标物品。

可选的，所述装置还包括：

第二获取模块，用于响应于所述特征点匹配情况指示所述环境图像中不包含所述目标物品，获取所述目标物品对应的至少一张候选子图像，所述候选子图像为所述目标物品被部分遮挡情况时的图像，且不同候选子图像对应不同遮挡位置；

第二定位模块，用于根据所述环境图像以及所述候选子图像，定位所述真实环境中的所述目标物品。

可选的，所述装置还包括：

指令接收模块，用于接收物品查找指令，所述物品查找指令中包含所述目标物品的物品标识；

或，

场景识别模块，用于响应于当前处于预设场景，确定所述预设场景对应的所述目标物品，和/或，根据所述预设场景对应的关联信息确定所述目标物品，所述关联信息包括天气信息、地理位置信息、身体状态信息、时间信息、日程信息和提醒信息中的至少一种。

可选的，所述装置还包括：

位置确定模块，用于响应于所述真实环境中不包含所述目标物品，确定所述目标物品的候选放置位置；

第二显示模块，用于响应于所述环境图像中包含所述候选放置位置，通过AR方式在所述候选放置位置显示所述目标物品。

可选的，所述候选放置位置根据所述目标物品的历史放置位置确定得到，所述历史放置位置从包含所述目标物品的历史环境图像中识别得到。

综上所述，本申请实施例提供的方法基于图像识别以及图像匹配技术实现物品定位，当需要定位目标物品时，只需拍摄真实环境的环境图像，即可根据该环境图像以及目标物品的物品图像定位目标物品，无需在物品上设置特殊的电子标签，降低了物品定位的实现成本，同时，采用AR方式对环境图像中的目标物品进行突出显示，显示效果更加直观显著，有助于提高用户基于环境图像定位目标物品的效率。

请参考图10，其示出了本申请一个示例性实施例提供的电子设备的结构方框图。其可以实现成为上述实施例中的终端设备，本申请中的电子设备可以包括一个或多个如下部件：处理器1010和存储器1020。

处理器1010可以包括一个或者多个处理核心。处理器1010利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集，以及调用存储在存储器1020内的数据，执行电子设备的各种功能和处理数据。可选地，处理器1010可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块芯片进行实现。

存储器1020可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器1020包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本)等。

本申请实施例中的电子设备还包括摄像组件1030，该摄像组件1030用于采集环境图像。在一种可能的实现方式中，当电子设备为终端时，该摄像组件1030可以是终端的前置摄像头或者后置摄像头；在另一种可能的实现方式中，当电子设备为HMD时，该摄像组件1030可以是设置在HMD前部的摄像头。

此外，电子设备还可以包括显示组件1040，该显示组件1040可以包括用于进行画面显示的显示屏，也可以包括用于进行图像投影的投影器件(比如智能眼镜上的投影仪)。

除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、扬声器、麦克风、电源等部件，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有至少一条指令，至少一条指令用于被处理器执行以实现如上述实施例所述的物品定位方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的物品定位方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种物品定位方法，其特征在于，所述方法包括：

获取环境图像，所述环境图像是对真实环境进行拍摄得到的图像；

根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品；

响应于所述目标物品位于所述真实环境中，通过增强现实AR方式在所述环境图像中突出显示所述目标物品。

2.根据权利要求1所述的方法，其特征在于，所述通过AR方式在所述环境图像中突出显示所述目标物品，包括：

通过AR方式在所述环境图像上叠加显示所述目标物品的二维图像；

或，

通过AR方式在所述环境图像上叠加显示所述目标物品的三维模型。

3.根据权利要求2所述的方法，其特征在于，所述通过AR方式在所述环境图像上叠加显示所述目标物品的二维图像，包括：

对所述物品图像中所述目标物品的物品轮廓进行几何变换，得到变换后的物品轮廓，其中，所述变换后的物品轮廓与所述环境图像中所述目标物品的轮廓相匹配；

在所述环境图像上所述目标物品对应的显示区域处叠加显示所述变换后的物品轮廓。

4.根据权利要求2所述的方法，其特征在于，所述通过AR方式在所述环境图像上叠加显示所述目标物品的三维模型，包括：

获取所述目标物品的三维模型；

根据AR系统中同步定位与地图构建SLAM功能提供的实时相机位置以及实时相机方向，在所述环境图像上叠加显示所述目标物品的三维模型。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品，包括：

获取所述环境图像中第一特征点的第一特征描述子，以及所述物品图像中第二特征点的第二特征描述子，特征描述子用于表征特征点处的图像特征；

根据所述第一特征描述子和所述第二特征描述子之间的特征距离，确定所述环境图像与所述物品图像的特征点匹配情况；

根据所述特征点匹配情况定位所述目标物品。

6.根据权利要求5所述的方法，其特征在于，所述确定所述环境图像与所述物品图像的特征点匹配情况之后，所述方法还包括：

响应于所述特征点匹配情况指示所述环境图像中不包含所述目标物品，获取所述目标物品对应的至少一张候选子图像，所述候选子图像为所述目标物品被部分遮挡情况时的图像，且不同候选子图像对应不同遮挡位置；

根据所述环境图像以及所述候选子图像，定位所述真实环境中的所述目标物品。

7.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品之前，所述方法还包括：

接收物品查找指令，所述物品查找指令中包含所述目标物品的物品标识；

或，

响应于当前处于预设场景，确定所述预设场景对应的所述目标物品，和/或，根据所述预设场景对应的关联信息确定所述目标物品，所述关联信息包括天气信息、地理位置信息、身体状态信息、时间信息、日程信息和提醒信息中的至少一种。

8.根据权利要求7所述的方法，其特征在于，所述目标物品为所述预设场景对应的物品，和/或，所述目标物品是根据所述关联信息确定的物品；

所述根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品之后，所述方法还包括：

响应于所述真实环境中不包含所述目标物品，确定所述目标物品的候选放置位置；

响应于所述环境图像中包含所述候选放置位置，通过AR方式在所述候选放置位置显示所述目标物品。

9.根据权利要求8所述的方法，其特征在于，所述候选放置位置根据所述目标物品的历史放置位置确定得到，所述历史放置位置从包含所述目标物品的历史环境图像中识别得到。

10.一种物品定位装置，其特征在于，所述装置包括：

第一获取模块，用于获取环境图像，所述环境图像是对真实环境进行拍摄得到的图像；

第一定位模块，用于根据所述环境图像以及目标物品的物品图像，定位所述真实环境中的所述目标物品；

第一显示模块，用于响应于所述目标物品位于所述真实环境中，通过增强现实AR方式在所述环境图像中突出显示所述目标物品。

11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如权利要求1至9任一所述的物品定位方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令，所述至少一条指令用于被处理器执行以实现如权利要求1至9任一所述的物品定位方法。

Images