CN108573201A - 一种基于人脸识别技术的用户身份识别匹配方法 - Google Patents
一种基于人脸识别技术的用户身份识别匹配方法 Download PDFInfo
- Publication number
- CN108573201A CN108573201A CN201710189735.7A CN201710189735A CN108573201A CN 108573201 A CN108573201 A CN 108573201A CN 201710189735 A CN201710189735 A CN 201710189735A CN 108573201 A CN108573201 A CN 108573201A
- Authority
- CN
- China
- Prior art keywords
- user
- system server
- image
- face
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005516 engineering process Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 title claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000003997 social interaction Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001404 mediated effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000692 anti-sense effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于人脸识别技术的用户身份识别匹配方法,通过用户设备客户端在后台自动获取用户的人脸图像作为人脸身份特征图像在系统服务器中备案,用户设备拍摄的目标用户身体图像与系统服务器中备案的人脸身份特征图像查询匹配,确定目标用户身体图像所对应的用户身份。本发明还通过查询匹配用户所在位置区域内的所有用户在系统服务器中备案的人脸身份特征图像,缩小查询范围,提高查询速度和识别匹配的准确性。
Description
技术领域
本发明涉及一种用户身份识别匹配方法,特别是涉及一种基于人脸识别技术的用户身份识别匹配方法,可广泛应用于游戏、社交、电商、购物、导航、导购、旅游、游乐、教育、餐饮、工业、农业等领域以及AR或MR在上述领域的应用。
背景技术
目前的社交工具及平台应用比较广泛的是微信、QQ、陌陌,这些社交工具的用户对于非好友的陌生用户的搜索及添加都是在未见过面的基础上实现的,对于在用户可视范围内的陌生用户,即使是和他面对面,你也不能通过社交工具和他交流,因为你不知道他在社交工具系统里的身份信息,也就不能通过这些社交工具和平台进行交流。即便是通过微信附近的人这一功能,搜寻到的人也未必是你眼前的人,更不能确定眼前的人在社交工具系统里的身份。
增强现实(Augmented Reality,简称AR),它通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前增强现实设备和技术有代表性的是Microsoft HoloLens全息眼镜,可以投射新闻信息流,收看视频,查看天气,辅助3d建模,协助模拟登录火星场景,模拟游戏。很成功地将虚拟和现实结合起来,并实现了更佳的互动性。混合现实(Mix reality,简称MR),既包括增强现实和增强虚拟,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存,并实时互动。还有将介导现实(Mediated Reality)也简称MR,VR是纯虚拟数字画面,包括AR在内的Mixed Reality是虚拟数字画面+裸眼现实,MR是数字化现实+虚拟数字画面。目前国内有一家叫易瞳科技的公司在专注这块的研发,正在研发MR眼镜。还有一款很火爆的游戏Pokemon Go是由任天堂、Pokémon公司和谷歌Niantic Labs公司联合制作开发的现实增强(AR)宠物养成战斗类RPG角色扮演游戏(Role-playing game)手机游戏。Pokemon Go是一款对现实世界中出现的精灵进行探索捕捉、战斗以及交换的游戏。玩家可以通过智能手机在现实世界里发现精灵,进行抓捕和战斗。
现有技术对于如何识别现实场景中的用户身体图像与系统中注册备案的用户身份信息匹配并确定用户身份还没有很好的解决方案,这就阻碍了AR或MR在这方面的普及应用。采用用户自己拍摄人脸照片上传到系统服务器作为人脸身份特征图像在系统服务器中备案,则会使得用户操作复杂,不便使用,更会引起用户对隐私泄露的担忧,引起用户的反感。因此,综上所述,如何将现实场景中的用户身体图像与系统中备案的用户身份信息匹配并确定用户用户身份成为当前需要解决的重要问题。
发明内容
本发明需要解决的技术问题是提供一种基于人脸识别技术的用户身份识别匹配方法,克服了现有技术中存在的问题。所述技术方案如下:
一种基于人脸识别技术的用户身份识别匹配方法,其特征在于:
在用户登录设备客户端后的至少一个时间点,设备客户端在后台开启前置摄像头,并在后台拍摄该设备用户的至少一张人脸图像,上传到系统服务器,作为该用户的人脸身份特征图像在系统服务器中备案。
用户设备拍摄目标用户身体图像,并将所拍摄的目标用户身体图像发送到系统服务器。
系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份。
所述时间点选择在设备客户端即将开启后置摄像头获取用户前面的现实场景期间或已经开启后置摄像头获取用户前面的现实场景期间在后台开启前置摄像头进行用户人脸图像的拍照,当时间点选择在开启后置摄像头获取用户前面的现实场景期间时,在后置摄像头获取现实场景画面转换为客户端界面时在后台开启前置摄像头进行用户人脸图像的拍照。选择在上述时间点是因为此时用户设备后置摄像头正朝向用户前面的现实场景,而前置摄像头正好朝向用户人脸的正面,便于准确拍摄用户的脸部。
对于可同时开启后置摄像头和前置摄像头的用户设备,所述时间点选择在设备客户端即将开启后置摄像头或开启后置摄像头后的任意一个时段。
当用户与目标用户距离远时,为了准确识别匹配目标用户身体图像所对应用户身份,开启前置摄像头远焦功能获取放大的目标用户身体图像发送到系统服务器。
所述方法还包括系统服务器查询匹配用户所在位置区域内的所有用户在系统服务器中备案的人脸身份特征图像,缩小查询范围,提高查询速度和识别匹配的准确性。
若在用户当前位置区域内未查询匹配成功,则选择忽略。
或,若在用户当前位置区域内未查询匹配成功,则扩大查询范围,直至到整个系统范围查询匹配。
所述用户所在位置区域为以用户所在位置为圆心以R为半径的一个圆形区域,所述半径R不小于用户使用普通的手机或平板电脑设备能拍摄到用户周围的目标用户的人脸图像并且可被系统服务器准确识别的匹配的最大拍摄距离。
系统服务器根据LBS获取所述用户所在位置或用户所在位置,并在用户位置区域S内查询匹配用户身份。
或,系统服务器根据用户设备连接室内硬件定位系统的方法获取所述用户所在位置或用户所在位置区域。
或,系统服务器根据用户设备扫码定位的方法获取所述用户所在位置或用户所在位置区域。
或,系统服务器根据设备摄像头获取当前现实场景图像特征的方法获取所述用户所在位置或用户所在位置区域。
或,系统服务器根据用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域。
或,系统服务器根据将上述两种以上定位方法相结合的混合定位方法获取所述用户所在位置或用户所在位置区域。
从前置摄像头获取的至少一张人脸图像中抓取人脸的多个关键点,作为该用户的人脸身份特征在系统服务器中备案。
更进一步为,若已经成功抓取到人脸的关键点并作为该用户的人脸身份特征在系统服务器中备案,则停止前置摄像头拍摄用户的人脸图像。
更进一步为,系统服务器保存至少一张用户的人脸特征图像到数据库进行备案,每次启动用户设备客户端都进行前置摄像头拍摄用户的人脸图像,获取用户当前的人脸特征图像在系统服务器中备案,并作为优先对比的图像。
或,为了进一步保护用户的隐私,每次启动用户设备客户端进行前置摄像头拍摄用户的人脸图像,发送到系统服务器中做临时备案,用户退出设备客户端时则清除临时备案的人脸特征图像。
更进一步为,从前置摄像头获取的至少一张人脸图像中抓取服装、帽子和发型中至少其中之一作为辅助特征与人脸特征一同作为该用户的人脸身份特征在系统服务器中备案。
设备客户端将至少一张前置摄像头拍摄的作为该用户的人脸身份特征图像和后置摄像头拍摄的目标用户身体图像进行压缩,然后上传到系统服务器。
所述用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域,更进一步为:用户在设备客户端用文字输入当前的位置并上传到系统服务器,系统服务器获取用户当前位置,查找用文字输入相同位置的所有用户,并将这些用户列为当前用户所在位置区域内的目标用户,以便缩小查询范围,提高查询速度和识别匹配的准确性。
用文字输入相同位置具有时效性,如N个小时,超时由系统发出是否还在该区域的提示,若点击是,则继续保持该位置,若点击否,则退出该位置。
系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的用户人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份后,系统服务器将匹配结果发送到用户设备客户端,并将AR虚拟信息叠加到用户设备显示端显示。
所述AR虚拟信息包括但不限于2D虚拟角色、3D虚拟角色、动画、表情包、特效画面、特效声音、图像、图片、图形、字符、信息窗、对话窗、音频、视频、指引线至少其中之一
更进一步,将所述AR虚拟信息关联已成功匹配的目标用户身体图像。
更进一步,将所述AR虚拟信息追踪已成功匹配的目标用户身体图像。
更进一步,将所述AR虚拟信息用指引线连接到已成功匹配的目标用户身体图像并追踪,或将所述AR虚拟信息叠加到已成功匹配的目标用户身体图像上并追踪。
或,更进一步,将所述用户的2D虚拟角色、3D虚拟角色、动画、表情包的表情与该用户人脸表情同步变化。
本发明提供了一种基于人脸识别技术的用户身份识别匹配方法,克服了现有技术中存在的问题,在用户登录设备客户端后的至少一个时间点,设备客户端在后台开启前置摄像头,并在后台拍摄该设备用户的至少一张人脸图像,上传到系统服务器,作为该用户的人脸身份特征图像在系统服务器中备案,用户设备拍摄目标用户身体图像,并将所拍摄的目标用户身体图像发送到系统服务器,系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份。本发明通过用户设备客户端在后台自动获取用户的人脸图像作为人脸身份特征图像在系统服务器中备案,用户设备拍摄的目标用户身体图像与系统服务器中备案的人脸身份特征图像查询匹配,确定目标用户身体图像所对应的用户身份。本发明还通过查询匹配用户所在位置区域内的所有用户在系统服务器中备案的人脸身份特征图像,缩小查询范围,提高查询速度和识别匹配的准确性。因此本发明解决了现有技术未能解决的问题,给用户提供了更快捷、更方便、更安全的体验,解决了用户对隐私泄露的担忧问题,更是解决了AR及MR技术在游戏、社交等各领域的应用中的用户识别匹配问题,推进了AR及MR技术在游戏、社交等各领域的普及应用。因此,本发明与现有技术相比具有显著的技术进步。
附图说明
图1是本发明方法的流程图一。
图2是本发明方法的流程图二。
图3是本发明方法的流程图三。
图4是本发明方法的流程图四。
图5是本发明方法的流程图五。
图6是本发明方法的流程图六。
图7是本发明方法的流程图七。
图8是本发明方法的流程图八。
图9是本发明方法的流程图九。
图10是本发明方法的流程图十。
图11是本发明方法的流程图十一。
图12是本发明方法的流程图十二。
图13是本发明方法的流程图十三。
图14是本发明方法的流程图十四。
图15是本发明方法的流程图十五。
图16是本发明方法的流程图十六。
图17是本发明方法的流程图十七。
图18是本发明方法的流程图十八。
图19是本发明方法的流程图十九。
图20是本发明方法的流程图二十。
图21是本发明的系统原理图示意图。
图22是本发明根据用户位置区域查询匹配人脸身份示意图一。
图23是本发明根据用户位置区域查询匹配人脸身份示意图二。
具体实施方式
下面结合附图和实施方式对本发明做进一步的描述。
一种基于人脸识别技术的用户身份识别匹配方法,包括以下步骤:
如图1所示,在用户登录设备客户端后的至少一个时间点,设备客户端在后台开启前置摄像头,并在后台拍摄该设备用户的至少一张人脸图像,上传到系统服务器,作为该用户的人脸身份特征图像在系统服务器中备案;用户设备拍摄目标用户身体图像,并将所拍摄的目标用户身体图像发送到系统服务器;系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份。
如图2所示,所述时间点选择在设备客户端即将开启后置摄像头获取用户前面的现实场景期间或已经开启后置摄像头获取用户前面的现实场景期间在后台开启前置摄像头进行用户人脸图像的拍照,当时间点选择在开启后置摄像头获取用户前面的现实场景期间时,在后置摄像头获取现实场景画面转换为客户端界面时在后台开启前置摄像头进行用户人脸图像的拍照。
对于可同时开启后置摄像头和前置摄像头的用户设备,所述时间点选择在设备客户端即将开启后置摄像头或开启后置摄像头后的任意一个时段。
如图3所示,当用户与目标用户距离远时,为了准确识别匹配目标用户身体图像所对应用户身份,开启前置摄像头远焦功能获取放大的目标用户身体图像发送到系统服务器。
如图4所示,所述方法还包括系统服务器查询匹配用户所在位置区域内的所有用户在系统服务器中备案的人脸身份特征图像,缩小查询范围,提高查询速度和识别匹配的准确性。
若在用户当前位置区域内未查询匹配成功,则选择忽略。
或,若在用户当前位置区域内未查询匹配成功,则扩大查询范围,直至到整个系统范围查询匹配。
如图5和图22所示,所述用户U所在位置区域为以用户U所在位置为圆心以R为半径的一个圆形区域S,所述半径R不小于用户U使用普通的手机或平板电脑设备能拍摄到用户周围的目标用户U1、U2、U3的人脸图像并且可被系统服务器准确识别的匹配的最大拍摄距离。
图6和图22及图23给出了几个在用户位置区域查询匹配用户身份的实施例。
系统服务器根据LBS获取所述用户所在位置或用户所在位置,并在用户位置区域S内查询匹配用户身份。系统根据用户设备开启GPS定位或北斗定位获取用户的地理位置。还可采用地理位置地图系统,可采用的地理位置地图为谷歌地图、百度地图、腾讯地图、高德地图、北斗地图等。系统还可根据用户的地理位置在地图上做标记,并标记出以用户的地理位置为圆心以R为半径的用户位置区域S内的所有目标用户。如图22所示,还可在地图上标记用户U的位置区域周围S内的用户U、U1、U2、U3,以便于用户通过地图查看附近有多少目标用户。
获取用户位置第二实施例:系统服务器根据用户设备连接室内硬件定位系统的方法获取所述用户所在位置或用户所在位置区域。关于室内硬件定位现有技术有WiFi、蓝牙、ZigBee等技术,在此不多描述。
获取用户位置第三实施例:系统服务器根据用户设备扫码定位的方法获取所述用户所在位置或用户所在位置区域。扫码定位可采用扫二维码或其它定位码方式。采用扫码定位方式还可加入陀螺仪和加速度计来作为辅助定位。
获取用户位置第四实施例:系统服务器根据设备摄像头获取当前现实场景图像特征的方法获取所述用户所在位置或用户所在位置区域。如图23所示,如系统获取北京站的主要外观和内部图像作为北京站的位置图像在系统服务器中备案,用户走到北京站设备摄像头获取到北京站的主要外观和内部图像发送到系统服务器与备案的位置图像进行识别匹配,确定用户当前位置在北京站,则用户所在的位置区域为北京站区域S,所有通过本实施例方法成功识别匹配为北京站位置的用户都在北京站区域S内。
获取用户位置第五实施例:系统服务器根据用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域。具体为,用户在设备客户端输入当前位置,则系统服务器获取到用户输入的位置信息,并将所有输入同样位置信息的用户都列入到该用户的位置范围S内。如用户输入当前位置为T18次列车,则系统服务器获取到用户输入的位置信息为T18次列车,并将所有输入同样位置信息的用户都列入到该用户的位置范围S内,这样就可以在飞驰的列车上玩AR互动游戏或进行AR社交互动。同理,可输入用户所在的学校、公司、工厂、写字楼、住宅小区、商场、超市、酒店、饭店、地铁站、机场、公交车上,系统服务器将输入相同位置信息的用户都列入该用户的位置范围内,因此,在任何一个地方都可以玩AR互动游戏或进行AR社交互动或进行AR电商购物或AR旅游。采用输入位置信息获取所述用户所在位置的方法,既实现了在室内和移动的火车公交车上玩AR互动游戏或进行AR社交互动或AR电商购物或AR旅游,还可有效避免采用LBS地图定位有可能造成的国家地理安全信息的泄露。
对于输入当前位置信息的方法获取所述用户所在位置的实施例,系统可对输入的位置信息进行模糊处理查询匹配,这样即使输入的位置信息有的字不完全相同,只要关键词正确即可。如一个用户输入T18次火车,另一个用户输入18次列车,只要关键字18、列车、火车正确,就可以列入相同的位置区域。对于输入的位置对用户身份进行查询匹配的顺序,优先查询底层的具体位置,如,输入T18次列车12车厢,优先查询匹配12车厢的用户身份,若未查询到,再查询T18次列车的所有用户身份。同理,输入城市名称和城市名称加区域名称,也会有不同的位置范围,如只输入北京市,则在同样输入包括北京市的注册用户中查询匹配,若输入北京市朝阳区,则优先在朝阳区范围内查询匹配,若未查询到,则北京市范围内查询匹配。范围越小,人脸识别查询匹配的准确率越高,速度越快。
获取用户位置第六实施例:系统服务器根据将上述两种或两种以上定位方法相结合的混合定位方法获取所述用户所在位置或用户所在位置区域。
如图7所示,从前置摄像头获取的至少一张人脸图像中抓取人脸的多个关键点,作为该用户的人脸身份特征在系统服务器中备案。
如图8所示,若已经成功抓取到人脸的关键点并作为该用户的人脸身份特征在系统服务器中备案,则停止前置摄像头拍摄用户的人脸图像。
如图9所示,系统服务器保存至少一张用户的人脸特征图像到数据库进行备案,每次启动用户设备客户端都进行前置摄像头拍摄用户的人脸图像,获取用户当前的人脸特征图像在系统服务器中备案,并作为优先对比的图像。
如图10所示,为了进一步保护用户的隐私,每次启动用户设备客户端进行前置摄像头拍摄用户的人脸图像,发送到系统服务器中做临时备案,用户退出设备客户端时则清除临时备案的人脸特征图像。
如图11所示,从前置摄像头获取的至少一张人脸图像中抓取服装、帽子和发型中至少其中之一作为辅助特征与人脸特征一同作为该用户的人脸身份特征在系统服务器中备案。
如图12所示,设备客户端将至少一张前置摄像头拍摄的作为该用户的人脸身份特征图像和后置摄像头拍摄的目标用户身体图像进行压缩,然后上传到系统服务器。
如图13所示,所述用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域,更进一步为:用户在设备客户端用文字输入当前的位置并上传到系统服务器,系统服务器获取用户当前位置,查找用文字输入相同位置的所有用户,并将这些用户列为当前用户所在位置区域内的目标用户,以便缩小查询范围,提高查询速度和识别匹配的准确性。
如图14所示,用文字输入的位置具有时效性,如N个小时,超时由系统发出是否还在该区域的提示,若点击是,则继续保持该位置,若点击否,则退出该位置。
如图15所示,系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的用户人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份后,系统服务器将匹配结果发送到用户设备客户端,并将AR虚拟信息叠加到用户设备显示端显示。
如图16所示,所述AR虚拟信息包括但不限于2D虚拟角色、3D虚拟角色、动画、表情包、特效画面、特效声音、图像、图片、图形、字符、信息窗、对话窗、音频、视频、指引线至少其中之一。
如图17所示,将所述AR虚拟信息关联已成功匹配的目标用户身体图像。
如图18所示,将所述AR虚拟信息追踪已成功匹配的目标用户身体图像。
如图19所示,将所述AR虚拟信息用指引线连接到已成功匹配的目标用户身体图像并追踪,或将所述AR虚拟信息叠加到已成功匹配的目标用户身体图像上并追踪。
如图20所示,将所述用户的2D虚拟角色、3D虚拟角色、动画、表情包的表情与该用户人脸表情同步变化。
如图21所示,本发明还包括用户设备100及系统服务器300,所述用户10的设备100包括前置摄像头101、后置摄像头102以及显示单元103。用户设备100还包括GPS定位单元以及通讯单元。前置摄像头101拍摄用户的人脸图像上传到系统服务器300作为该用户的人脸身份特征图像备案,后置摄像头102用于获取拍摄目标用户20的身体图像,显示单元103用于显示目标用户身体图像及现实场景图像,GPS定位单元用于位置定位,通讯单元用于与系统服务器300进行通讯。
从以上本发明的详细描述和实施例可以看出,本发明可广泛应用于AR或MR的游戏、社交、电商、购物、导航、导购、旅游、游乐、出行、教育、餐饮、工业、农业等领域以及上述领域的应用。
以上所述的仅是本发明的优选实施方式,应当指出,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (10)
1.一种基于人脸识别技术的用户身份识别匹配方法,其特征在于:
在用户登录设备客户端后的至少一个时间点,设备客户端在后台开启前置摄像头,并在后台拍摄该设备用户的至少一张人脸图像,上传到系统服务器,作为该用户的人脸身份特征图像在系统服务器中备案;
用户设备拍摄目标用户身体图像,并将所拍摄的目标用户身体图像发送到系统服务器;
系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份。
2.如权利要求1所述的方法,其特征在于:
所述时间点选择在设备客户端即将开启后置摄像头获取用户前面的现实场景期间或已经开启后置摄像头获取用户前面的现实场景期间在后台开启前置摄像头进行用户人脸图像的拍照,当时间点选择在开启后置摄像头获取用户前面的现实场景期间时,在后置摄像头获取现实场景画面转换为客户端界面时在后台开启前置摄像头进行用户人脸图像的拍照;
对于可同时开启后置摄像头和前置摄像头的用户设备,所述时间点选择在设备客户端即将开启后置摄像头或开启后置摄像头后的任意一个时段。
3.如权利要求1所述的方法,其特征在于:
当用户与目标用户距离远时,为了准确识别匹配目标用户身体图像所对应用户身份,开启前置摄像头远焦功能获取放大的目标用户身体图像发送到系统服务器。
4.如权利要求1所述的方法,其特征在于:
所述方法还包括系统服务器查询匹配用户所在位置区域内的所有用户在系统服务器中备案的人脸身份特征图像,缩小查询范围,提高查询速度和识别匹配的准确性;
若在用户当前位置区域内未查询匹配成功,则选择忽略;
或,若在用户当前位置区域内未查询匹配成功,则扩大查询范围,直至到整个系统范围查询匹配。
5.如权利要求4所述的方法,其特征在于:
所述用户所在位置区域为以用户所在位置为圆心以R为半径的一个圆形区域,所述半径R不小于用户使用普通的手机或平板电脑设备能拍摄到用户周围的目标用户的人脸图像并且可被系统服务器准确识别的匹配的最大拍摄距离。
6.如权利要求4或5所述的方法,其特征在于:
系统服务器根据LBS获取所述用户所在位置或用户所在位置,并在用户位置区域S内查询匹配用户身份;
或,系统服务器根据用户设备连接室内硬件定位系统的方法获取所述用户所在位置或用户所在位置区域;
或,系统服务器根据用户设备扫码定位的方法获取所述用户所在位置或用户所在位置区域;
或,系统服务器根据设备摄像头获取当前现实场景图像特征的方法获取所述用户所在位置或用户所在位置区域;
或,系统服务器根据用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域;
或,系统服务器根据将上述两种或两种以上定位方法相结合的混合定位方法获取所述用户所在位置或用户所在位置区域。
7.如权利要求1或2所述的方法,其特征在于:
从前置摄像头获取的至少一张人脸图像中抓取人脸的多个关键点,作为该用户的人脸身份特征在系统服务器中备案;
更进一步为,若已经成功抓取到人脸的关键点并作为该用户的人脸身份特征在系统服务器中备案,则停止前置摄像头拍摄用户的人脸图像;
更进一步为,系统服务器保存至少一张用户的人脸特征图像到数据库进行备案,每次启动用户设备客户端都进行前置摄像头拍摄用户的人脸图像,获取用户当前的人脸特征图像在系统服务器中备案,并作为优先对比的图像;
或,为了进一步保护用户的隐私,每次启动用户设备客户端进行前置摄像头拍摄用户的人脸图像,发送到系统服务器中做临时备案,用户退出设备客户端时则清除临时备案的人脸特征图像;
更进一步为,从前置摄像头获取的至少一张人脸图像中抓取服装、帽子和发型中至少其中之一作为辅助特征与人脸特征一同作为该用户的人脸身份特征在系统服务器中备案。
8.如权利要求1-4中任一项所述的方法,其特征在于:
设备客户端将至少一张前置摄像头拍摄的作为该用户的人脸身份特征图像和后置摄像头拍摄的目标用户身体图像进行压缩,然后上传到系统服务器。
9.如权利要求6所述的方法,其特征在于:
所述用户在设备客户端输入当前位置信息的方法获取所述用户所在位置或用户所在位置区域,更进一步为:用户在设备客户端用文字输入当前的位置并上传到系统服务器,系统服务器获取用户当前位置,查找用文字输入相同位置的所有用户,并将这些用户列为当前用户所在位置区域内的目标用户,以便缩小查询范围,提高查询速度和识别匹配的准确性;
用文字输入的位置具有时效性,如N个小时,超时由系统发出是否还在该区域的提示,若点击是,则继续保持该位置,若点击否,则退出该位置。
10.如权利要求1-5和9中任一项所述的方法,其特征在于:
系统服务器对用户拍摄的目标用户身体图像进行人脸识别,与系统服务器中备案的用户人脸身份特征图像进行查询匹配,确定用户拍摄的目标用户身体图像所对应的用户身份后,系统服务器将匹配结果发送到用户设备客户端,并将AR虚拟信息叠加到用户设备显示端显示;
更进一步,所述AR虚拟信息包括但不限于2D虚拟角色、3D虚拟角色、动画、表情包、特效画面、特效声音、图像、图片、图形、字符、信息窗、对话窗、音频、视频、指引线至少其中之一;
更进一步,将所述AR虚拟信息关联已成功匹配的目标用户身体图像;
更进一步,将所述AR虚拟信息追踪已成功匹配的目标用户身体图像;
更进一步,将所述AR虚拟信息用指引线连接到已成功匹配的目标用户身体图像并追踪,或将所述AR虚拟信息叠加到已成功匹配的目标用户身体图像上并追踪;
或,更进一步,将所述用户的2D虚拟角色、3D虚拟角色、动画、表情包的表情与该用户人脸表情同步变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710189735.7A CN108573201A (zh) | 2017-03-13 | 2017-03-13 | 一种基于人脸识别技术的用户身份识别匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710189735.7A CN108573201A (zh) | 2017-03-13 | 2017-03-13 | 一种基于人脸识别技术的用户身份识别匹配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108573201A true CN108573201A (zh) | 2018-09-25 |
Family
ID=63575962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710189735.7A Pending CN108573201A (zh) | 2017-03-13 | 2017-03-13 | 一种基于人脸识别技术的用户身份识别匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108573201A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543566A (zh) * | 2018-11-05 | 2019-03-29 | 深圳市商汤科技有限公司 | 信息处理方法及装置、电子设备和存储介质 |
CN109783663A (zh) * | 2018-12-28 | 2019-05-21 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
CN110139025A (zh) * | 2018-09-29 | 2019-08-16 | 广东小天才科技有限公司 | 一种基于拍照行为的社交用户推荐方法及可穿戴设备 |
CN110383289A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的装置、方法和电子设备 |
CN110673767A (zh) * | 2019-08-19 | 2020-01-10 | 杨少波 | 一种信息显示方法及装置 |
CN110990727A (zh) * | 2019-11-01 | 2020-04-10 | 贝壳技术有限公司 | 经纪人信息展示方法、装置、存储介质及设备 |
CN111368101A (zh) * | 2020-03-05 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
CN112395904A (zh) * | 2019-08-12 | 2021-02-23 | 北京蜂盒科技有限公司 | 一种生物特征识别方法及系统 |
CN115457644A (zh) * | 2022-11-10 | 2022-12-09 | 成都智元汇信息技术股份有限公司 | 一种基于扩展空间映射获得目标的识图方法及装置 |
CN115661903A (zh) * | 2022-11-10 | 2023-01-31 | 成都智元汇信息技术股份有限公司 | 一种基于空间映射协同目标过滤的识图方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297544A (zh) * | 2013-06-24 | 2013-09-11 | 杭州泰一指尚科技有限公司 | 一种基于增强现实的即时通讯应用方法 |
CN103412953A (zh) * | 2013-08-30 | 2013-11-27 | 苏州跨界软件科技有限公司 | 基于增强现实的社交方法 |
CN105103117A (zh) * | 2013-02-21 | 2015-11-25 | 莫亚西斯环球公司 | 用于呈现和传递内容的系统和方法 |
CN106203242A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种相似图像识别方法及设备 |
CN106557742A (zh) * | 2016-10-24 | 2017-04-05 | 宇龙计算机通信科技(深圳)有限公司 | 群组建立和管理方法及系统 |
-
2017
- 2017-03-13 CN CN201710189735.7A patent/CN108573201A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105103117A (zh) * | 2013-02-21 | 2015-11-25 | 莫亚西斯环球公司 | 用于呈现和传递内容的系统和方法 |
CN103297544A (zh) * | 2013-06-24 | 2013-09-11 | 杭州泰一指尚科技有限公司 | 一种基于增强现实的即时通讯应用方法 |
CN103412953A (zh) * | 2013-08-30 | 2013-11-27 | 苏州跨界软件科技有限公司 | 基于增强现实的社交方法 |
CN106203242A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种相似图像识别方法及设备 |
CN106557742A (zh) * | 2016-10-24 | 2017-04-05 | 宇龙计算机通信科技(深圳)有限公司 | 群组建立和管理方法及系统 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110139025A (zh) * | 2018-09-29 | 2019-08-16 | 广东小天才科技有限公司 | 一种基于拍照行为的社交用户推荐方法及可穿戴设备 |
CN109543566A (zh) * | 2018-11-05 | 2019-03-29 | 深圳市商汤科技有限公司 | 信息处理方法及装置、电子设备和存储介质 |
CN109543566B (zh) * | 2018-11-05 | 2021-06-15 | 深圳市商汤科技有限公司 | 信息处理方法及装置、电子设备和存储介质 |
CN109783663A (zh) * | 2018-12-28 | 2019-05-21 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
CN110383289A (zh) * | 2019-06-06 | 2019-10-25 | 深圳市汇顶科技股份有限公司 | 人脸识别的装置、方法和电子设备 |
CN112395904A (zh) * | 2019-08-12 | 2021-02-23 | 北京蜂盒科技有限公司 | 一种生物特征识别方法及系统 |
CN110673767A (zh) * | 2019-08-19 | 2020-01-10 | 杨少波 | 一种信息显示方法及装置 |
CN110990727B (zh) * | 2019-11-01 | 2024-05-10 | 贝壳技术有限公司 | 经纪人信息展示方法、装置、存储介质及设备 |
CN110990727A (zh) * | 2019-11-01 | 2020-04-10 | 贝壳技术有限公司 | 经纪人信息展示方法、装置、存储介质及设备 |
CN111368101A (zh) * | 2020-03-05 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
CN111368101B (zh) * | 2020-03-05 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
CN115457644A (zh) * | 2022-11-10 | 2022-12-09 | 成都智元汇信息技术股份有限公司 | 一种基于扩展空间映射获得目标的识图方法及装置 |
CN115661903A (zh) * | 2022-11-10 | 2023-01-31 | 成都智元汇信息技术股份有限公司 | 一种基于空间映射协同目标过滤的识图方法及装置 |
CN115457644B (zh) * | 2022-11-10 | 2023-04-28 | 成都智元汇信息技术股份有限公司 | 一种基于扩展空间映射获得目标的识图方法及装置 |
CN115661903B (zh) * | 2022-11-10 | 2023-05-02 | 成都智元汇信息技术股份有限公司 | 一种基于空间映射协同目标过滤的识图方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573201A (zh) | 一种基于人脸识别技术的用户身份识别匹配方法 | |
CN107782314B (zh) | 一种基于扫码的增强现实技术室内定位导航方法 | |
CN108600632B (zh) | 拍照提示方法、智能眼镜及计算机可读存储介质 | |
CN107004028A (zh) | 可缩放3d地图绘制系统 | |
KR20200029534A (ko) | 평행 현실 게임 내에서의 활동을 이용한 플레이어의 현실 세계 위치 검증 | |
US11769306B2 (en) | User-exhibit distance based collaborative interaction method and system for augmented reality museum | |
CN104641399A (zh) | 用于创建环境并用于共享环境中基于位置的体验的系统和方法 | |
CN108200415A (zh) | 基于增强现实技术的无人机图像画面处理系统及其方法 | |
WO2014114151A1 (en) | Method and system for performing interaction based on augmented reality | |
CN110298269A (zh) | 场景图像定位方法、装置、设备及可读存储介质 | |
CN109144239B (zh) | 一种增强现实方法、服务器及终端 | |
CN106130885A (zh) | 基于图像识别建立关系的方法及系统 | |
KR102420379B1 (ko) | 기상 환경 기반의 메타버스 서비스 제공 방법 | |
CN108712644A (zh) | 一种tw_ar智能导览系统及导览方法 | |
CN105847360A (zh) | 一种基于地理位置的信息共享系统及方法 | |
CN107289936A (zh) | 一种室内导航方法、客户端及系统 | |
US20210018991A1 (en) | Universal Pointing and Interacting Device | |
TW201814553A (zh) | 適地性空間物件遠距管理方法與系統 | |
CN110160529A (zh) | 一种ar增强现实的导览系统 | |
CN104501797B (zh) | 一种基于增强现实ip地图的导航方法 | |
CN108734595A (zh) | 一种照片拍摄和获取方法及其社交方法 | |
US20230277934A1 (en) | Refining camera re-localization determination using prior pose model | |
CN104501798A (zh) | 一种基于增强现实ip地图的网络对象定位追踪方法 | |
US11126262B2 (en) | Gaze initiated interaction technique | |
TW201823929A (zh) | 移動物件的虛擬訊息遠距管理方法與應用系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180925 |