CN108154074A - 一种基于位置和图像识别的图像匹配方法 - Google Patents

Abstract

本发明涉及一种基于位置和图像识别的图像匹配方法，目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户位置以及用户设备的拍摄方向发送到系统服务器，系统服务器在用户设备拍摄目标用户身体图像的同时获取用户位置区域内目标用户位置以及目标用户设备方向，系统服务器根据上述获取的信息并结合在系统服务器中备案的用户身份信息进行图像识别和匹配，确定目标用户身体图像所对应的用户身份。

Description

一种基于位置和图像识别的图像匹配方法

技术领域

本发明涉及一种用户匹配方法，特别是涉及一种基于位置和图像识别的图像匹配方法，可广泛应用于游戏、社交、电商、购物、导航、导购、旅游、游乐、教育、餐饮、工业、农业等领域以及AR或MR在上述领域的应用。

背景技术

目前的社交工具及平台应用比较广泛的是微信、QQ、陌陌，这些社交工具的用户对于非好友的陌生用户的搜索及添加都是在未见过面的基础上实现的，对于在用户可视范围内的陌生用户，即使是和他面对面，你也不能通过社交工具和他交流，因为你不知道他在社交工具系统里的身份信息，也就不能通过这些社交工具和平台进行交流。即便是通过微信附近的人这一功能，搜寻到的人也未必是你眼前的人，更不能确定眼前的人在社交工具系统里的身份。

增强现实(Augmented Reality，简称AR)，它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画而或空间同时存在。目前增强现实设备和技术有代表性的是Microsoft HoloLens全息眼镜，可以投射新闻信息流，收看视频，查看天气，辅助3d建模，协助模拟登录火星场景，模拟游戏。很成功地将虚拟和现实结合起来，并实现了更佳的互动性。混合现实(Mix reality，简称MR)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。还有将介导现实(Mediated Reality)也简称MR，VR是纯虚拟数字画面，包括AR在内的Mixed Reality是虚拟数字画面+裸眼现实，MR是数字化现实+虚拟数字画面。目前国内有一家叫易瞳科技的公司在专注这块的研发，正在研发MR眼镜。还有一款很火爆的游戏Pokemon Go是由任天堂、Pokémon公司和谷歌Niantic Labs公司联合制作开发的现实增强(AR)宠物养成战斗类RPG角色扮演游戏(Role-playing game)手机游戏。Pokemon Go是一款对现实世界中出现的精灵进行探索捕捉、战斗以及交换的游戏。玩家可以通过智能手机在现实世界里发现精灵，进行抓捕和战斗。

目前的手机游戏以及上述Pokemon Go游戏用户仅能与游戏中设计的角色场景进行互动，不能在现实场景中实现用户和用户之间的互动。即使可以实现用户和用户之间的互动，但对于如何识别现实场景中的用户身体图像与系统中备案的用户身份信息匹配并正确确定用户用户身份还没有很好的解决方案，这就阻碍了AR或MR在这方面的普及应用。因此，综上所述，如何将现实场景中的用户身体图 像与系统中备案的用户身份信息匹配并正确确定用户用户身份成为需要解决的问题。

发明内容

本发明需要解决的技术问题是提供一种基于位置和图像识别的图像匹配方法，克服了现有技术中存在的问题。所述技术方案如下：

一种基于位置和图像识别的图像匹配方法，其特征在于：

目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户设备位置和用户设备方向发送到系统服务器，系统服务器在用户设备拍摄目标用户身体图像的同时获取与所述目标用户身体图像对应的用户位置区域内目标用户位置和目标用户设备方向；

系统服务器根据用户设备拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户设备位置以及用户设备方向，对拍摄的目标用户身体图像进行图像识别，与用户位置区域内的目标用户设备位置、目标用户设备方向以及目标用户在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

系统服务器获取用户设备所拍摄的目标用户身体图像的运动轨迹图像，系统服务器获取与所述运动轨迹图像对应的用户位置区域内的目标用户设备的运动轨迹；

系统服务器对所述运动轨迹图像进行图像识别，与所述目标用户设备的运动轨迹以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

系统服务器还获取用户设备拍摄目标用户身体图像时用户设备的运动轨迹和用户设备的方向轨迹，系统服务器获取与所述运动轨迹图像对应的用户位置区域内的目标用户设备的方向轨迹。

系统服务器对所述运动轨迹图像进行图像识别，与所述目标用户设备的运动轨迹、目标用户设备的方向轨迹、用户设备的运动轨迹、用户设备的方向轨迹以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，具体为：用户设备发送请求给系统服务器，查询用户位置区域内是否有目标用户，系统服务器接收请求并查询，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像， 具体为：系统服务器查询用户位置区域内是否有目标用户，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

本发明还包括将身体图像赋予按钮功能，当用户的身体图像被确认为系统中注册备案的用户身份后，将该身体图像赋予按钮功能，当用户按动该身体图像时激活该身体图像按钮，实现按钮功能。

当所述身体图像作为按钮时，该按钮区域为身体图像的外形轮廓。

当所述身体图像被赋予按钮功能时或被激活时，对该身体图像的外形轮廓做出描边处理或发光处理以示区别。

当用户在户外时，所述位置为用户所在的地理坐标位置，所述用户设备方向为用户设备镜头的轴线与地理坐标的南北线或东西线的夹角；

当用户在室内时，所述位置为用户所在的室内位置图上的平面坐标位置，所述用户设备方向为用户设备镜头的轴线与平面坐标的横坐标或纵坐标的夹角。

所述对用户身体图像的识别，包括对用户的头部、面部、发型、身体外形、衣帽款式、衣帽颜色、佩戴的物品至少其中之一进行识别。

当所述身体图像识别匹配成功确定用户身份时，将该目标用户的虚拟图像叠加到用户设备显示屏所显示的目标用户身体图像上或身体图像旁边，和/或对该身体图像的外形轮廓做出描边处理或发光处理以示区别。

本发明还包括将所述虚拟图像赋和/或身体图像予按钮功能，与对话窗关联，点击赋予按钮功能的虚拟图像或身体图像打开对话窗即可与对应的用户会话，建立社交关系，实现社交用途。

所述虚拟图像根据用户身体图像的运动实时追踪。

若在目标用户身体图像的旁边显示，则用指引线将目标用户虚拟图像指引到目标用户身体上，并实时追踪指引。

所述虚拟图像为2D或3D图像，所述虚拟图像包括但不限于图片、图形、图像、字符、对话窗、颜色、条码、二维码至少其中之一。

本发明提供了一种基于位置和图像识别的图像匹配方法，克服了现有技术中存在的问题，目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户位置以及用户设备的拍摄方向发送到系统服务器，系统服务器在用户设备拍摄目标用户身体图像的同时获取用户位置区域内目标用户位置以及目标用户设备方向，系统服务器根据上述获取的信息并结合在系统服务器中备案的用户身份信息进行图像识别和匹配，确定目标用户身体图像所对应的用户身份。其基本原理是 系统服务器采集在用户的位置区域内用户之间相互拍摄的用户身体图像及拍摄时的位置和方向信息并结合在系统服务器中备案的用户身份信息进行图像识别和匹配，确定目标用户身体图像所对应的用户身份，因此，用户不必自己拍摄自己的身体图像上传到系统服务器备案，减轻了用户的负担，使用户感到更方便更安全。此外，用户在使用本发明方法的应用时，系统实时获取用户所拍摄的目标用户身体图像，而这些身体图像包括用户所穿的衣服款式、颜色都是当前用户正在穿着的，不存在用户提前上传到系统服务器备案的身体图像是用户之前穿的与当前正在使用系统应用时穿的衣服不同而产生的图像识别困难，尤其是当获取到的用户身体图像恰恰是用户的脸部非常模糊的，这样就更难以识别。而基于地理位置对用户位置区域内所采集的用户身体图像进行图像识别，缩小了系统根据用户的身体图像与用户身份信息进行图像识别匹配的范围，就更容易对用户身份做出快速准确的确定。对用户的身体图像进行识别并迅速准确的与用户的身份匹配确定，将虚拟图像准确的与用户的身体图像叠加并追踪，给本发明在社交工具或平台以及游戏等方面的应用给用户带来更好更便利的体验。因此，本发明与现有技术相比具有显著的技术进步。

附图说明

图1是本发明方法的流程图一。

图2是本发明方法的流程图二。

图3是本发明方法的流程图三。

图4是本发明方法的流程图四。

图5是本发明方法的流程图五。

图6是本发明方法的流程图六。

图7是本发明方法的流程图七。

图8是本发明方法的示意图一。

图9是本发明方法的示意图二。

图10是本发明方法的示意图三。

图11是本发明方法的示意图四。

图12是本发明方法的示意图五。

图13是本发明方法的示意图六。

图14是本发明的系统方框图。

图15是本发明方法的图像叠加示意图一。

图16是本发明方法的图像叠加示意图二。

图17是本发明方法的图像叠加示意图三。

图18是本发明方法的图像叠加示意图四。

图19是本发明方法的流程图八。

图20是本发明方法的流程图九。

图21是本发明方法的流程图十。

图22是本发明方法的流程图十一。

具体实施方式

下面结合附图和实施方式对本发明做进一步的描述。

一种基于位置和图像识别的图像匹配方法，包括以下步骤：

如图1、图8和图9所示，目标用户U1进入用户U位置区域S时，用户U设备拍摄目标用户U1身体图像20-U1，并将所拍摄的目标用户身体图像20-U1和拍摄目标用户U1身体图像20-U1时的用户U设备位置(X，Y)以及用户U设备的方向α发送到系统服务器，系统服务器在用户设备拍摄目标用户身体图像20-U1的同时获取所述目标用户身体图像20-U1对应的用户U位置区域S内目标用户U1的位置(X1，Y1)和目标用户U1设备方向β。

系统服务器根据用户设备拍摄的目标用户U1身体图像20-U1和拍摄目标用户U1身体图像时的用户位置(X，Y)以及用户设备的方向α，对拍摄的目标用户U1身体图像20-U1进行图像识别，与用户U位置区域S内的目标用户U1的位置(X1，Y1)、目标用户U1设备方向β以及目标用户U1在系统服务器中备案的用户身份信息进行匹配，确定目标用户U1身体图像20-U1所对应的用户身份。

如图10和图11所示，系统服务器获取用户U设备所拍摄的目标用户身体图像20-U1的运动轨迹图像，系统服务器获取与所述运动轨迹图像对应的用户位置区域S内的目标用户U1设备的运动轨迹TL。

系统服务器对所述运动轨迹图像进行图像识别，得出目标用户的身体图像的运动轨迹TP，与所述目标用户设备的运动轨迹TL以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

从图10中可以看出，所述目标用户身体图像的运动轨迹图像为：目标用户U1从位置区域S1运动到位置区域S1′，在此过程中，用户设备拍摄多张目标用户U1的身体图像10-U1至10-U1′为目标用户身体图像的运动轨迹图像，系统服务器对所述运动轨迹图像进行图像识别，得出目标用户的身体图像的运动轨迹TP。由于目标用户的身体图像运动轨迹是与目标用户及设备的实际位置在系 统中的运动轨迹保持一致的，这对于紧靠着目标用户还有非系统用户的普通人的情况来说，来本实施例可进行有效的鉴别。

进一步的实施例：系统服务器还获取用户设备拍摄目标用户身体图像时用户设备的运动轨迹和用户设备的方向轨迹，系统服务器获取与所述运动轨迹图像对应的用户位置区域内的目标用户设备的方向轨迹。

系统服务器对所述运动轨迹图像进行图像识别，与所述目标用户设备的运动轨迹、目标用户设备的方向轨迹、用户设备的运动轨迹、用户设备的方向轨迹以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。本实施例加入了设备的方向轨迹作为匹配条件，可使得身体图像与用户身份信息的匹配和确定更加准确可靠。

在以上所有实施例中，所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，具体为以下步骤：用户设备发送请求给系统服务器，查询用户位置区域内是否有目标用户，系统服务器接收请求并查询，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

在以上所有实施例中，所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，与上述步骤不同的是：系统服务器查询用户位置区域内是否有目标用户，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

如图9所示，当用户在户外时，所述位置为用户所在的地理坐标位置，所述用户设备方向为用户设备镜头的轴线与地理坐标的南北线或东西线的夹角。

当用户在室内时，所述位置为用户所在的室内位置图上的平面坐标位置，所述用户设备方向为用户设备镜头的轴线与平面坐标的横坐标或纵坐标的夹角。

图12和图13所示为目标用户在两个或两个以上的场景。本发明基本原理是系统服务器采集在用户的位置区域内用户之间相互拍摄的用户身体图像及拍摄时的位置和方向信息并结合在系统服务器中备案的用户身份信息进行图像识别和匹配，确定目标用户身体图像所对应的用户身份，因此，用户不必自己拍摄自己的身体图像上传到系统服务器备案，减轻了用户的负担，使用户感到更方便更安全。系统服务器在用户的位置区域内获取多个用户之间相互拍摄身体图像，而多个用户之间相互拍摄身体图像越多，图像识别匹配条件就越充分，对用户身份的匹配确定就越准确。

所述对用户身体图像的识别，包括对用户的头部、面部、发型、身体 外形、衣帽款式、衣帽颜色、佩戴的物品至少其中之一进行识别。

如图8、图10、图12、图15至图17所示，当匹配完成并确定目标用户身体图像所对应的目标用户身份和当前位置及方向并且用户进入目标用户位置区域时，将该目标用户的虚拟图像叠加到用户设备显示屏所显示的目标用户身体图像上或身体图像旁边。

所述虚拟图像根据用户身体图像的运动实时追踪。

若在目标用户身体图像的旁边显示，则用指引线将目标用户虚拟图像指引到目标用户身体上，并实时追踪指引。

当所述身体图像识别匹配成功确定用户身份时，对该身体图像的外形轮廓做出描边处理或发光处理以示区别。

本发明所述图像识别还包括根据目标用户身体图像的大小和位置识别用户与目标用户的距离及目标用户之间的距离，并将图像识别用户之间的距离作为附加的用户身体图像与用户身份信息的匹配条件。

在系统中，目标用户的位置区域S可设置为以半径为变量的可变区域，由用户及目标用户选择设置，也可由系统来设定为不可更改或在一定条件下更改。用户可将目标用户的位置区域S的半径R从2米到1000米甚至更大范围选择，但较大半径的区域会给用户拍摄目标用户的身体图像的清晰度带来困难，图像清晰度的下降将导致图像识别的困难。

虽然扩大用户及目标用户的位置区域可扩大对目标用户的搜索区域，可搜索到更多的目标用户，但目标用户身体图像与用户身份的匹配确定将会更加困难，为了便于实际操作使用，可将初始值设置在10至20米。

所述虚拟图像为2D或3D图像，所述虚拟图像包括但不限于图片、图形、图像、字符、对话窗、颜色、条码、二维码至少其中之一。

图15所示为将虚拟图像20-U1叠加在用户10-U1的身体上。图16和图17为将虚拟图像叠加在20-U1叠加在用户10-U1的身体上另外实施例，可以看出这两个实施例为游戏虚拟图像的叠加。

图18所示为虚拟图像为对话窗30，将目标用户虚拟图像20-U1赋予按钮功能，该虚拟图像与对话窗关联，用户点击目标用户虚拟图像20-U1即可打开对话窗30，可输入社交内容发送给目标用户，建立社交关系，实现社交用途。

如图15和图20所示，本发明还包括将身体图像赋予按钮功能，当用户的身体图像被确认为系统中注册备案的用户身份后，可将该身体图像赋予按钮功能，当用户按动该身体图像时可激活该身体图像按钮，实现按钮功能。

如图15和图21所示，当所述身体图像作为按钮时，该按钮区域为身体 图像的外形轮廓10-L。

如图15和图22所示，当所述身体图像被赋予按钮功能时或被激活时，对该身体图像的外形轮廓10-L做出描边处理或发光处理以示区别。

本发明打开对话窗建立社交关系的另一实施例为：当所述身体图像被赋予按钮功能时或被激活时，该身体图像与对话窗关联，点击该身体图像打开对话窗即可与对应的用户会话，建立社交关系，实现社交用途。参考图18和图19。

对于位置的获取，本发明所采用的是现有技术中的定位技术和系统，包括GPS定位和北斗定位，包括地理位置地图系统。可采用的地理位置地图为谷歌地图、百度地图、腾讯地图、高德地图、北斗地图等。本发明还可通过采用WiFi、蓝牙、红外等硬件定位技术及系统来获取用户位置。本发明的位置获取可加入用户设备的陀螺仪、加速度计及电子罗盘作为辅助定位。

对于位置的获取，本发明还可通过所述摄像单元扫描所在位置上的位置标识，并通过用户设备将位置信息发送到系统服务器。这种位置获取方法可用于采用二维码的室内或室外定位技术对用户位置的定位。此方法二维码的室内或室外定位技术还可加入用户设备的陀螺仪、加速度计及电子罗盘作为辅助定位。

以上所述的本发明的位置获取所采用的是现有的室外定位和室内定位技术，本发明所述的用户设备包括但不限于具有摄像单元的手机、平板电脑、AR或MR眼镜以及AR或MR头戴设备，为现有技术的设备，在此不做详细描述。

如图14所示，本发明还包括用于支持本发明方法的系统，包括用户设备100和系统服务器200。用户设备100至少包括摄像单元101、显示单元102、定位单元103以及通讯单元104。摄像单元101用于拍摄获取目标用户的身体图像，显示单元103用于显示目标用户身体图像以及目标用户虚拟图像，定位单元103用于位置定位，通讯单元104用于与系统服务器200进行通讯。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于位置和图像识别的图像匹配方法，其特征在于：

目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户设备位置和用户设备方向发送到系统服务器，系统服务器在用户设备拍摄目标用户身体图像的同时获取与所述目标用户身体图像对应的用户位置区域内目标用户位置和目标用户设备方向；

系统服务器根据用户设备拍摄的目标用户身体图像和拍摄目标用户身体图像时的用户设备位置以及用户设备方向，对拍摄的目标用户身体图像进行图像识别，与用户位置区域内的目标用户设备位置、目标用户设备方向以及目标用户在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

2.如权利要求1所述的方法，其特征在于：

系统服务器获取用户设备所拍摄的目标用户身体图像的运动轨迹图像，系统服务器获取与所述运动轨迹图像对应的用户位置区域内的目标用户设备的运动轨迹；

系统服务器对所述运动轨迹图像进行图像识别，与所述目标用户设备的运动轨迹以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

3.如权利要求2所述的方法，其特征在于：

系统服务器还获取用户设备拍摄目标用户身体图像时用户设备的运动轨迹和用户设备的方向轨迹，系统服务器获取与所述运动轨迹图像对应的用户位置区域内的目标用户设备的方向轨迹；

系统服务器对所述运动轨迹图像进行图像识别，与所述目标用户设备的运动轨迹、目标用户设备的方向轨迹、用户设备的运动轨迹、用户设备的方向轨迹以及在系统服务器中备案的用户身份信息进行匹配，确定目标用户身体图像所对应的用户身份。

4.如权利要求1所述的方法，其特征在于：

所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，具体为：

用户设备发送请求给系统服务器，查询用户位置区域内是否有目标用户，系统服务器接收请求并查询，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

5.如权利要求1所述的方法，其特征在于：

所述目标用户进入用户位置区域时，用户设备拍摄目标用户身体图像，具体为：

系统服务器查询用户位置区域内是否有目标用户，若有，则通知用户设备拍摄目标用户身体图像，并将所拍摄的目标用户身体图像发送到系统服务器。

6.如权利要求1所述的方法，其特征在于：

将身体图像赋予按钮功能，当用户的身体图像被确认为系统中注册备案的用户身份后，将该身体图像赋予按钮功能，当用户按动该身体图像时激活该身体图像按钮，实现按钮功能。

当所述身体图像作为按钮时，该按钮区域为身体图像的外形轮廓。

当所述身体图像被赋予按钮功能时或被激活时，对该身体图像的外形轮廓做出描边处理或发光处理以示区别。

7.如权利要求1所述的方法，其特征在于：

当用户在户外时，所述位置为用户所在的地理坐标位置，所述用户设备方向为用户设备镜头的轴线与地理坐标的南北线或东西线的夹角；

当用户在室内时，所述位置为用户所在的室内位置图上的平面坐标位置，所述用户设备方向为用户设备镜头的轴线与平面坐标的横坐标或纵坐标的夹角。

8.如权利要求1-7中任一项所述的方法，其特征在于：

所述对用户身体图像的识别，包括对用户的头部、面部、发型、身体外形、衣帽款式、衣帽颜色、佩戴的物品至少其中之一进行识别。

9.如权利要求1-7中任一项所述的方法，其特征在于：

当所述身体图像识别匹配成功确定用户身份时，将该目标用户的虚拟图像叠加到用户设备显示屏所显示的目标用户身体图像上或身体图像旁边，和/或对该身体图像的外形轮廓做出描边处理或发光处理以示区别。

将所述虚拟图像赋和/或身体图像予按钮功能，与对话窗关联，点击赋予按钮功能的虚拟图像或身体图像打开对话窗即可与对应的用户会话，建立社交关系，实现社交用途。

所述虚拟图像根据用户身体图像的运动实时追踪。

10.如权利要求9所述的方法，其特征在于：

若在目标用户身体图像的旁边显示，则用指引线将目标用户虚拟图像指引到目标用户身体上，并实时追踪指引。

所述虚拟图像为2D或3D图像，所述虚拟图像包括但不限于图片、图形、图像、字符、对话窗、颜色、条码、二维码至少其中之一。