CN106896917A - 辅助用户体验虚拟现实的方法及装置、电子设备 - Google Patents

辅助用户体验虚拟现实的方法及装置、电子设备 Download PDF

Info

Publication number
CN106896917A
CN106896917A CN201710093285.1A CN201710093285A CN106896917A CN 106896917 A CN106896917 A CN 106896917A CN 201710093285 A CN201710093285 A CN 201710093285A CN 106896917 A CN106896917 A CN 106896917A
Authority
CN
China
Prior art keywords
user
electronic equipment
image
people
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710093285.1A
Other languages
English (en)
Other versions
CN106896917B (zh
Inventor
林形省
汪轩然
冯智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710093285.1A priority Critical patent/CN106896917B/zh
Publication of CN106896917A publication Critical patent/CN106896917A/zh
Application granted granted Critical
Publication of CN106896917B publication Critical patent/CN106896917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/27475—Methods of retrieving data using interactive graphical means or pictorial representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种辅助用户体验虚拟现实的方法及装置、电子设备，属于虚拟现实设备领域。其中的方法应用于能够工作在沉浸式近眼显示模式下的电子设备，包括：在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；在获取到的图像中，进行人体识别和/或人脸识别；在人体识别和/或人脸识别的识别结果满足预定条件时，触发与预定条件对应的用户提示流程。本公开可以在用户体验虚拟现实的时候，通过自动采集和分析实时拍摄图像中的人体特征和/或人脸特征，帮助用户及时获知实际环境中他人的状态变化或行为变化，从而有助于提升VR设备的使用便捷性和使用安全性。

Description

辅助用户体验虚拟现实的方法及装置、电子设备
技术领域
本公开涉及虚拟现实设备领域，尤其涉及一种辅助用户体验虚拟现实的方法及装置、电子设备。
背景技术
现有技术中，虚拟现实(Virtual Reality，VR)通常是指使用软件来生成模拟真实环境的图像、声音等感官信号，以营造能让人有身临其境的感受的虚拟环境的计算机技术，在医疗、航天、建筑、展览、地理、娱乐等等领域中都有着广泛的应用前景。目前，家用类型的VR设备主要包括VR一体机、外接VR处理设备的头戴显示器，以及配合手机使用的VR眼镜等等。然而无论是哪一种VR设备，用户在使用其体验虚拟现实时，都可能会把注意力集中在虚拟环境中，而容易意识不到现实环境中他人的状态变化和行为变化。比如，在房间内体验虚拟现实的期间，用户有可能意识不到面前有人在对他说话，可能意识不到有人站在房间门口敲门，甚至可能意识不到有陌生人强行闯入房间。可见，用户有可能因为意识不到现实环境中他人的状态变化和行为变化而错过一些重要信息，甚至遭受人身财产安全方面的威胁。
发明内容
为克服相关技术中存在的问题，本公开提供一种辅助用户体验虚拟现实的方法及装置、电子设备。
根据本公开实施例的第一方面，提供一种辅助用户体验虚拟现实的方法，用于能够工作在沉浸式近眼显示模式下的电子设备，所述方法包括：
在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
在获取到的图像中，进行人体识别和/或人脸识别；
在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
在本公开的一个实施例中，所述在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，包括：
在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集所述电子设备的摄像部件实时拍摄的图像；
和/或，
在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；从所述外部摄像设备处接收图像。
本实施例基于电子设备是否切换至沉浸式近眼显示模式的检测结果确定是否开启摄像部件和/或外部摄像设备，可以使相应的软件程序独立于实现虚拟现实的软件程序之外(例如实现方法的程序可以是独立于VR应用之外的应用程序)，更容易实现对多VR平台的支持。
在本公开的一个实施例中，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：
当在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；
和/或，
当在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；
和/或，
当在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；
和/或，
当在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。
在本公开的一个实施例中，所述在获取到的图像中，进行人体识别和/或人脸识别，包括：
在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；
在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。
本实施例可以使电子设备在不打扰用户的情况下自动判断识别到的人是否是已知联系人，并可以基于判断结果为每一个已知联系人设置不同于他人的预设条件和用户提示流程，比如将重要联系人的来访重点进行用户提示，将相对不重要的联系人的用户提示自动忽略等等，从而实现使用者的个性化配置，使本公开的用户提示方式能更加适应于每一个用户的实际情况。
在本公开的一个实施例中，在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，还包括：
将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；
相应的，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：
当在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
基于陌生人的确定和响应事件的触发，本实施例可以帮助用户在虚拟环境中及时获知陌生人的存在，使用户能够对危险状况及时确认并作出反应，因而有助于提升VR设备的使用便捷性和使用安全性。
根据本公开实施例的第二方面，提供一种辅助用户体验虚拟现实的装置，用于能够工作在沉浸式近眼显示模式下的电子设备，所述装置包括：
获取模块，被配置为在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
识别模块，被配置为在所述获取模块得到的图像中进行人体识别和/或人脸识别；
触发模块，被配置为在所述识别模块得到的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
在本公开的一种实现方式中，所述获取模块包括：
开启单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集单元，被配置为采集所述电子设备的摄像部件实时拍摄的图像；
和/或，
发送单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；接收单元，被配置为从所述外部摄像设备处接收图像。
在本公开的一种实现方式中，所述触发模块包括：
第一触发单元，被配置为在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；
和/或，
第二触发单元，被配置为在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；
和/或，
第三触发单元，被配置为在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；
和/或，
第四触发单元，被配置为在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。
在本公开的一种实现方式中，所述识别模块包括：
识别单元，被配置为在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；
匹配单元，被配置为在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。
在本公开的一种实现方式中，所述识别模块还包括：
确定单元，被配置为在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；
相应的，所述触发模块包括：
第五触发单元，被配置为在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备能够工作在沉浸式近眼显示模式下，包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为：
在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
在获取到的图像中，进行人体识别和/或人脸识别；
在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
本公开的实施例提供的技术方案可以包括以下有益效果：本公开实施例基于在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，在获取到的图像中进行人体识别和/或人脸识别，在识别结果满足预定条件时触发与预定条件对应的用户提示流程，可以在用户体验虚拟现实的时候，通过自动采集和分析实时拍摄图像中的人体特征和/或人脸特征，帮助用户在虚拟环境中及时获知实际环境中他人的状态变化或行为变化，比如及时获知是否有人进入拍摄画面等等，因而有助于提升VR设备的使用便捷性和使用安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种辅助用户体验虚拟现实的方法的流程图；
图2是根据一示例性实施例示出的一种电子设备的使用方式示意图；
图3是根据一示例性实施例示出的一种辅助用户体验虚拟现实的方法的流程图；
图4是根据一示例性实施例示出的一种在图像中进行人体识别和人脸识别的流程图；
图5是根据一示例性实施例示出的一种辅助用户体验虚拟现实的装置的结构框图；
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种辅助用户体验虚拟现实的方法的流程图，如图1所示，该方法用于能够工作在沉浸式近眼显示模式下的电子设备，该方法包括：
在步骤101中，在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
在步骤102中，在获取到的图像中，进行人体识别和/或人脸识别；
在步骤103中，在人体识别和/或人脸识别的识别结果满足预定条件时，触发与预定条件对应的用户提示流程。
需要说明的是，本实施例中的电子设备可以是任意一种具有近眼显示功能的设备，例如VR一体机、外接VR处理设备的可穿戴显示器、影院眼镜等等的沉浸式近眼显示设备，或者可配合VR设备共同实现沉浸式近眼显示的手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)等等。
还需要说明的是，上述步骤101中获取得到的图像可以由电子设备中的摄像部件和/或预先配置的外部摄像设备拍摄得到，其中的电子设备中的摄像部件和/或预先配置的外部摄像设备可以例如是下述任意一种或者至少一种以上的组合：终端设备(如手机、平板电脑、笔记本电脑、PDA等等)的前置摄像头、终端设备的后置摄像头、可穿戴设备上内置的摄像头、有线摄像头、无线摄像头、远程监控摄像头、网络摄像头。为了使外部摄像设备拍摄得到的画面能被电子设备获取，外部摄像设备与电子设备之间应建立有数据传输通路(有线和/或无线)，该数据传输通路可以是预先建立的，也可以是在上述步骤101中建立的，本公开对此不作具体限制。
还需要说明的是，上述步骤101中获取得到的图像可以具有任意的形式，例如视频流或者具有预定采样时间间隔的图片集合等等；相对应的，主要用于从图像中识别出人体特征(主要指的是人体各个部位的空间位置及其变化)的人体识别过程和/或主要用于从图像中识别出人脸特征的人脸识别过程所采用的具体处理方式应适应于所获取图像的具体形式。人体识别和/或人脸识别的识别结果可以例如包括：图像中是否成功识别到人体和/或人脸特征，图像中成功识别出来的人数，图像中成功识别出来的个体与指定个体特征之间的匹配结果，图像中成功识别出来的个体是否与任一已知个体匹配，以及上述各项随时间的变化情况等等。其中需要说明的是，本文中的人体识别主要指的是通过识别人体各个部位的空间位置及其变化来得到人数、人体比例和人体姿态等方面的信息的过程，而本文中的人脸识别主要指的是通过识别人体脸部图像特征来得到人数、人脸特征及其身份信息等方面的信息的过程。
还需要说明的是，上述预设条件主要用于判断是否需要触发相应的用户提示流程，因此可以与用户提示流程相互对应地预先配置，其来源可以例如是出厂配置、技术人员的配置和用户自定义中的至少一种，其配置方式可以例如是存储在电子设备中、由高层网络设备推送和电子设备在使用前主动获取中的至少一种，其内容示例会在后文中详述。
本实施例提供的技术方案可以包括以下有益效果：本实施例基于在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，在获取到的图像中进行人体识别和/或人脸识别，在识别结果满足预定条件时触发与预定条件对应的用户提示流程，可以在用户体验虚拟现实的时候，通过自动采集和分析实时拍摄图像中的人体特征和/或人脸特征，帮助用户在虚拟环境中及时获知实际环境中他人的状态变化或行为变化，比如及时获知是否有人进入拍摄画面等等，因而有助于提升VR设备的使用便捷性和使用安全性，实现更优的虚拟现实体验模式。
图2是根据一示例性实施例示出的一种电子设备的使用方式示意图。参见图2，本实施例中上述电子设备具体是能够工作在沉浸式近眼显示模式下的手机11，用户可以将手机11设置在可穿戴设备12上，以通过手机11上对应的VR应用配合可穿戴设备体验虚拟现实。此外，手机11的后置摄像头11a作为其摄像部件设置在背向显示屏的一侧，可以在用户穿戴可穿戴设备12之后拍摄到用户前方的画面。图3是根据一示例性实施例示出的一种辅助用户体验虚拟现实的方法的流程图，该方法用于如图2所示的手机，如图3所示，该方法包括：
在步骤301中，手机建立与猫眼摄像头之间的无线网络连接。
其中，猫眼摄像头属于可连接无线网络的外部摄像设备，可由用户配置在房门上。在一种可能的实现方式中，可以通过向用户提供交互页面来引导用户将猫眼摄像头切换至连接模式，通过手机将无线网络的SSID(Service Set Identifier，服务集标识)和安全密钥传输给猫眼摄像头，以完成手机与猫眼摄像头之间的无线网络连接的建立。在手机与猫眼摄像头之间的无线网络连接建立之后，猫眼摄像头可以向手机传输实时拍摄的图像，手机可以向猫眼摄像头发送相应的控制指令，以实现对猫眼摄像头的远程控制。
在步骤302中，在切换至沉浸式近眼显示模式时，手机开启后置摄像头，并向猫眼摄像头发送开启指令。
在一种可能的实现方式中，可以在用户开启VR应用的触发下将手机的后置摄像头切换至工作状态，同时可以基于无线网络连接检测猫眼摄像头的工作状态，以在猫眼摄像头处于关机或者休眠状态时向其发送开启指令，以使猫眼摄像头切换至工作状态。在另一种可能的实现方式中，可以在检测到VR应用已将显示画面切换至沉浸式近眼显示模式之后，后台运行后置摄像头的摄像程序以开始采集后置摄像头实时拍摄的第一图像，同时向猫眼摄像头发送开启指令，使其经过相应的判断和处理流程开始向手机传输实时拍摄的第二图像。
在步骤303中，手机获取后置摄像头实时拍摄的第一图像，接收猫眼摄像头向手机发送的第二图像。
在一种可能的实现方式中，手机可以利用后置摄像头拍摄得到的视频流进行人体识别，并在识别到可能是人体的视频流特征时以自动模式拍摄照片，作为第一图像存储到用户设定的缓存目录中；同时，手机可以连续接收猫眼摄像头通过无线网络连接传输的视频流，并通过视频采样得到具有一定时间间隔的图片序列，作为第二图像存储到用户设定的缓存目录中。
在步骤304中，手机在第一图像和第二图像中识别个体图像特征。
其中，所述个体图像特征包括人体特征和人脸特征。当然，可能存在只能识别到人体特征的情形和只能识别到人脸特征的情形，因而每一次识别到的个体图像特征包含人体特征和人脸特征中的至少一种。在一种可能的实现方式中，手机可以对第一图像中的每一张照片分别进行人体识别和人脸识别，以得到能够成功识别的人数；同时，手机可以对作为第二图像的图片序列中的每一张按照时间顺序依次进行人脸识别，以判断是否能够在预设时长(比如1000ms)的连续多个图片中均识别到同一个人的正面人脸。
在步骤305中，当在第一图像中成功识别到至少一个人时，手机在画面一角显示后置摄像头的拍摄画面中识别到的人数。
可理解的是，上述步骤302至步骤304均是后台运行的，可以不影响VR应用配合可穿戴设备使用户体验虚拟现实的过程；在步骤305中，可以在虚拟环境中以悬浮文字的形式在画面一角显示后置摄像头的拍摄画面中识别到的人数是多少。因为手机的后置摄像头的拍摄方向通常与显示屏的显示方向相反，所以这一用户提示可以帮助用户在不脱离虚拟环境的情况下了解到所面对的方向是否有人存在，从而提升手机在实现虚拟现实时的使用便捷性和使用安全性。此外，后置摄像头是终端设备中常设置的摄像部件，在此基础上上述提示功能可以仅通过终端设备的软件程序实现，节省硬件成本。
在步骤306中，当在第二图像的预设时长的连续画面中均识别到同一个人的正面人脸时，手机在虚拟环境中弹出播放该预设时长的连续画面的窗口。
在一种可能的实现方式中，手机在预设时长的连续多个图片中均识别到同一个人的正面人脸时，可以在虚拟环境中创建一个悬浮窗口，并将第二图像中对应的预设时长内的连续多个图片在窗口中按照时间顺序播放，以提示用户可能有人站在房门前。基于此，手机可以与猫眼摄像头协同配合，在用户体验虚拟现实的期间帮助用户了解房门前是否有人的信息，从而提升手机在实现虚拟现实时的使用便捷性和使用安全性。
需要说明的是，上述步骤303可以在手机处于沉浸式近眼显示模式的期间内不间断地执行，步骤305中对第一图像和第二图像的识别过程则可以分别依据第一图像和第二图像的获取情况执行，步骤305和步骤306所涉及的判断过程可以分别根据对第一图像和第二图像的识别情况执行，而不需要严格按照图3所示的顺序依次执行。
本实施例的一个方面中，具体将VR应用的开启和显示模式切换等事件作为开始获取拍摄图像并进行识别的触发；而在其他可能的实现方式中，可以通过检测电子设备的显示模式，或者询问用户是否开始识别拍摄画面中的个人图像特征等方式确定开始获取拍摄图像并进行识别的时机。例如在本公开的一种实现方式中，上述在电子设备切换至沉浸式近眼显示模式之后获取电子设备的摄像部件实时拍摄的图像，具体包括：在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集所述电子设备的摄像部件实时拍摄的图像。而且，上述在电子设备切换至沉浸式近眼显示模式之后获取预先配置的外部摄像设备实时拍摄的图像，具体包括：在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；从所述外部摄像设备处接收图像。在一种示例中，检测电子设备是否切换至沉浸式近眼显示模式的方式为检测电子设备的显示画面是否包含分别与左眼和右眼对应的两个相互独立的画面。基于电子设备是否切换至沉浸式近眼显示模式的检测结果确定是否开启摄像部件和/或外部摄像设备，该实现方式可以使相应的软件程序独立于实现虚拟现实的软件程序之外(例如实现方法的程序可以是独立于VR应用之外的应用程序)，更容易实现对多VR平台的支持。
本实施例的又一个方面中，具体采用了猫眼摄像头和手机的后置摄像头进行待识别图像的采集；而在其他可能的实现方式中，还可以设置更多或者更少的摄像装置来进行待识别图像的采集，例如在用户的其他电子设备中配置的摄像头、由用户安装在家中的监控摄像头、连接个人计算机的电脑摄像头、用户配置在家中的云摄像头等等，均可以各自配合以相应的预设条件和用户提示流程来帮助用户在虚拟环境中及时获知不同位置和视角下的实际场景中他人的状态变化或行为变化。
图4是根据一示例性实施例示出的一种在图像中进行人体识别和人脸识别的流程图。参见图4，本实施例中，在获取到的图像中，进行人体识别和/或人脸识别，具体包括：
在步骤401中，在获取到的图像中识别个体图像特征，其中的个体图像特征包括人体特征和/或人脸特征。
在一种可能的实现方式中，本实施例的电子设备为手机，上述获取到的图像具体是手机的后置摄像头实时拍摄的图像；从而，在获取到的图像中识别个体图像特征可以确定后置摄像头的拍摄画面中是否有人出现，并在有人出现时提取其区别于其他个体的图像特征，例如人脸特征、人体特征、或者人脸特征和人体特征的结合。
在步骤402中，在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人。
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。在一种可能的实现方式中，用户的手机中可以预先安装有通讯录类应用、照片应用和联系人应用，并存储有若干个联系人的联系人条目，以及若干张照片。从而，可以通过扫描手机存储器中的联系人头像和照片等来提取已知联系人的个体图像特征，作为联系人特征集中配置在指定存储位置的联系人特征库内。每当在获取到的图像中识别到一个人的个体图像特征时，就可以通过将其与联系人特征库中的联系人特征一一进行匹配，来确定识别到的人是否是已知联系人。当然，用户可以在历史识别记录中将识别到个体图像特征一些人人工确认为已知联系人，从而触发将这些人的个体图像特征作为联系人特征添加到联系人特征库中的过程，以实现联系人特征库基于历史信息的扩充。
在将识别到的人确定为已知联系人之后，电子设备基于“图像中成功识别到已知联系人”的判断条件触发用于提示用户用户拍摄画面中存在所述至少一个已知联系人的用户提示流程，比如在虚拟环境中将一些该已知联系人的身份信息显示给用户，或者在相应的用户配置下阻止关于该已知联系人的所有用户提示，或者。由此，本实施例可以使电子设备在不打扰用户的情况下自动判断识别到的人是否是已知联系人，并可以基于判断结果为每一个已知联系人设置不同于他人的预设条件和用户提示流程，比如将重要联系人的来访重点进行用户提示，将相对不重要的联系人的用户提示自动忽略等等，从而实现使用者的个性化配置，使本公开的用户提示方式能更加适应于每一个用户的实际情况。
在步骤403中，将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人。
在一种可能的实现方式中，个体图像特征不能与任一联系人特征成功匹配的人是电子设备无法确认身份的人，在此情况下电子设备可以触发与预设条件“图像中成功识别到的人被确定为陌生人”对应的用户提示流程，例如下述响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
比如，可以在将识别到的一个人确定为陌生人时直接将作为识别依据的画面连同拍摄到该画面的摄像装置的标识在虚拟环境中向用户显示，并向用户提供显示详情的快捷方式，以在用户触发该快捷方式时显示该摄像装置实时拍摄的图像，来使用户确认实际环境的情况。
基于陌生人的确定和响应事件的触发，本实施例可以帮助用户在虚拟环境中及时获知陌生人的存在，使用户能够对危险状况及时确认并作出反应，因而有助于提升VR设备的使用便捷性和使用安全性。
可以看出，上文所示出的预设条件和用户提示流程具有如下几种形式：
第一种，预设条件为“获取到的图像中成功识别到至少一个人”，对应用于提示用户有人处于拍摄画面和/或用于提示用户拍摄画面中识别到的人数的用户提示流程。基于此，可以在拍摄画面中有人出现时使用户及时获知。
第二种，预设条件为“预设时长的连续画面中均识别到同一个人的正面人脸”，对应用于提示用户有人正在面对镜头的用户提示流程。基于此，可以利用人的行为习惯使用户及时获知有人面对镜头的情形，包括有人正面对用户说话、有人正在注视用户、有人正在观察摄像头等等可能需要用户注意的情形。
第三种，预设条件为“在获取到的图像中成功识别到至少一个已知联系人”时，对应用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程。其中的已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人，其中的个体图像特征包括人体特征和/或人脸特征。基于此，可以利用电子设备中预先配置的联系人特征库使用户及时获知识别到的人包含已知联系人的信息。
第四种，预设条件为“在获取到的图像中成功识别到至少一个陌生人”，对应用于提示用户拍摄画面中存在陌生人的用户提示流程，其中的陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人，其中的个体图像特征包括人体特征和/或人脸特征。基于此，可以利用电子设备中预先配置的联系人特征库使用户及时获知获知识别到的人包含陌生人的信息。
除此之外，本领域技术人员还可以将上述预设条件及其对应的用户提示流程相互组合使用，还可以针对不同的应用场景设计其他的预设条件及其对应的用户提示流程，本公开对此不作具体限制。
图5是根据一示例性实施例示出的一种辅助用户体验虚拟现实的装置的结构框图。参见图5，本公开实施例中辅助用户体验虚拟现实的装置包括：
获取模块51，被配置为在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
识别模块52，被配置为在所述获取模块得到的图像中进行人体识别和/或人脸识别；
触发模块53，被配置为在所述识别模块得到的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
需要说明的是，本实施例中的电子设备可以是任意一种具有近眼显示功能的设备，例如VR一体机、外接VR处理设备的可穿戴显示器、影院眼镜等等的沉浸式近眼显示设备，或者可配合VR设备共同实现沉浸式近眼显示的手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)等等。
还需要说明的是，上述获取模块51获取得到的图像可以由电子设备中的摄像部件和/或预先配置的外部摄像设备拍摄得到，其中的电子设备中的摄像部件和/或预先配置的外部摄像设备可以例如是下述任意一种或者至少一种以上的组合：终端设备(如手机、平板电脑、笔记本电脑、PDA等等)的前置摄像头、终端设备的后置摄像头、可穿戴设备上内置的摄像头、有线摄像头、无线摄像头、远程监控摄像头、网络摄像头。为了使外部摄像设备拍摄得到的画面能被电子设备获取，外部摄像设备与电子设备之间应建立有数据传输通路(有线和/或无线)，该数据传输通路可以是预先建立的，也可以是在上述获取模块51建立的，本公开对此不作具体限制。
还需要说明的是，上述获取模块51获取得到的图像可以具有任意的形式，例如视频流或者具有预定采样时间间隔的图片集合等等；相对应的，主要用于从图像中识别出人体特征的人体识别过程和/或主要用于从图像中识别出人脸特征的人脸识别过程所采用的具体处理方式应适应于所获取图像的具体形式。人体识别和/或人脸识别的识别结果可以例如包括：图像中是否成功识别到人体和/或人脸特征，图像中成功识别出来的人数，图像中成功识别出来的个体与指定个体特征之间的匹配结果，图像中成功识别出来的个体是否与任一已知个体匹配，以及上述各项随时间的变化情况等等。
还需要说明的是，上述预设条件主要用于判断是否需要触发相应的用户提示流程，因此可以与用户提示流程相互对应地预先配置，其来源可以例如是出厂配置、技术人员的配置和用户自定义中的至少一种，其配置方式可以例如是存储在电子设备中、由高层网络设备推送和电子设备在使用前主动获取中的至少一种，其内容示例会已在前文中详述，在此不再赘述。
本实施例提供的技术方案可以包括以下有益效果：本实施例基于在电子设备切换至沉浸式近眼显示模式之后，获取电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，在获取到的图像中进行人体识别和/或人脸识别，在识别结果满足预定条件时触发与预定条件对应的用户提示流程，可以在用户体验虚拟现实的时候，通过自动采集和分析实时拍摄图像中的人体特征和/或人脸特征，帮助用户在虚拟环境中及时获知实际环境中他人的状态变化或行为变化，比如及时获知是否有人进入拍摄画面等等，因而有助于提升VR设备的使用便捷性和使用安全性，实现更优的虚拟现实体验模式。
在本公开的一种实现方式中，所述获取模块包括：
开启单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集单元，被配置为采集所述电子设备的摄像部件实时拍摄的图像；
和/或，
发送单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；接收单元，被配置为从所述外部摄像设备处接收图像。
在本公开的一种实现方式中，所述触发模块包括：
第一触发单元，被配置为在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；
和/或，
第二触发单元，被配置为在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；
和/或，
第三触发单元，被配置为在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；
和/或，
第四触发单元，被配置为在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。
在本公开的一种实现方式中，所述识别模块包括：
识别单元，被配置为在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；
匹配单元，被配置为在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。
在本公开的一种实现方式中，所述识别模块还包括：
确定单元，被配置为在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；
相应的，所述触发模块包括：
第五触发单元，被配置为在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600一个组件的位置改变，用户与电子设备600接触的存在或不存在，电子设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括磁传感器，压力传感器或温度传感器，用于实现对磁信号、压力信号或温度信号的感测。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述辅助用户体验虚拟现实的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的技术内容后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种辅助用户体验虚拟现实的方法，用于能够工作在沉浸式近眼显示模式下的电子设备，其特征在于，所述方法包括：
在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
在获取到的图像中，进行人体识别和/或人脸识别；
在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
2.根据权利要求1所述的方法，其特征在于，所述在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像，包括：
在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集所述电子设备的摄像部件实时拍摄的图像；
和/或，
在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；从所述外部摄像设备处接收图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：
当在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；
和/或，
当在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；
和/或，
当在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；
和/或，
当在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。
4.根据权利要求1所述的方法，其特征在于，所述在获取到的图像中，进行人体识别和/或人脸识别，包括：
在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；
在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。
5.根据权利要求4所述的方法，其特征在于，在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，还包括：
将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；
相应的，所述在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程，包括：
当在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
6.一种辅助用户体验虚拟现实的装置，用于能够工作在沉浸式近眼显示模式下的电子设备，其特征在于，所述装置包括：
获取模块，被配置为在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
识别模块，被配置为在所述获取模块得到的图像中进行人体识别和/或人脸识别；
触发模块，被配置为在所述识别模块得到的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：
开启单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，开启所述电子设备的摄像部件；采集单元，被配置为采集所述电子设备的摄像部件实时拍摄的图像；
和/或，
发送单元，被配置为在检测到所述电子设备切换至沉浸式近眼显示模式时，向预先配置的外部摄像设备发送开启指令，以使所述外部摄像设备在接收到所述开启指令后开始返回实时拍摄的图像；接收单元，被配置为从所述外部摄像设备处接收图像。
8.根据权利要求6所述的装置，其特征在于，所述触发模块包括：
第一触发单元，被配置为在获取到的图像中成功识别到至少一个人时，触发用于提示用户有人处于拍摄画面中的用户提示流程和/或用于提示用户拍摄画面中识别到的人数的用户提示流程；
和/或，
第二触发单元，被配置为在预设时长的连续画面中均识别到同一个人的正面人脸时，触发用于提示用户有人正在面对镜头的用户提示流程；
和/或，
第三触发单元，被配置为在获取到的图像中成功识别到至少一个已知联系人时，触发用于提示用户拍摄画面中存在所述至少一个已知联系人的用户提示流程；所述已知联系人是个体图像特征能够与预先获取的联系人特征库中的一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征；
和/或，
第四触发单元，被配置为在获取到的图像中成功识别到至少一个陌生人时，触发用于提示用户拍摄画面中存在陌生人的用户提示流程；所述陌生人是个体图像特征不能与预先获取的联系人特征库中的任意一个联系人特征成功匹配的人；所述个体图像特征包括人体特征和/或人脸特征。
9.根据权利要求6所述的装置，其特征在于，所述识别模块包括：
识别单元，被配置为在获取到的图像中识别个体图像特征，所述个体图像特征包括人体特征和/或人脸特征；
匹配单元，被配置为在成功识别得到至少一个人的个体图像特征时，将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配，以将个体图像特征与一个联系人特征成功匹配的人确定为已知联系人；
其中，所述联系人特征库中的联系人特征的来源于下述各项中的至少一项：所述电子设备中存储的通讯录的联系人头像、所述电子设备中存储的照片，以及历史识别记录中经由用户确认的人的个体图像特征。
10.根据权利要求6所述的装置，其特征在于，所述识别模块还包括：
确定单元，被配置为在将识别得到的人的个体图像特征与联系人特征库中的联系人特征一一进行匹配之后，将个体图像特征不能与任一联系人特征成功匹配的人确定为陌生人；
相应的，所述触发模块包括：
第五触发单元，被配置为在获取到的图像中识别到至少一个陌生人时，触发所述电子设备的下述各个响应事件中的至少一个：
所述电子设备向用户发出拍摄画面中存在陌生人的提示消息；
所述电子设备向用户显示识别到所述至少一个陌生人的画面；
所述电子设备向用户显示拍摄到陌生人的摄像部件和/或外部摄像头实时拍摄的图像。
11.一种电子设备，所述电子设备能够工作在沉浸式近眼显示模式下，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为：
在所述电子设备切换至沉浸式近眼显示模式之后，获取所述电子设备的摄像部件和/或预先配置的外部摄像设备实时拍摄的图像；
在获取到的图像中，进行人体识别和/或人脸识别；
在所述人体识别和/或所述人脸识别的识别结果满足预定条件时，触发与所述预定条件对应的用户提示流程。
CN201710093285.1A 2017-02-21 2017-02-21 辅助用户体验虚拟现实的方法及装置、电子设备 Active CN106896917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710093285.1A CN106896917B (zh) 2017-02-21 2017-02-21 辅助用户体验虚拟现实的方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710093285.1A CN106896917B (zh) 2017-02-21 2017-02-21 辅助用户体验虚拟现实的方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN106896917A true CN106896917A (zh) 2017-06-27
CN106896917B CN106896917B (zh) 2021-03-30

Family

ID=59184138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710093285.1A Active CN106896917B (zh) 2017-02-21 2017-02-21 辅助用户体验虚拟现实的方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN106896917B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993292A (zh) * 2017-12-19 2018-05-04 北京疯狂互动网络科技有限公司 增强现实场景复原方法、装置及计算机可读存储介质
WO2019104511A1 (zh) * 2017-11-29 2019-06-06 深圳市柔宇科技有限公司 用于头戴式显示器上的信息提示方法、装置和设备
CN113138669A (zh) * 2021-04-27 2021-07-20 Oppo广东移动通信有限公司 电子设备的图像获取方法、装置、系统及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148853A1 (en) * 2011-12-12 2013-06-13 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
CN103500330A (zh) * 2013-10-23 2014-01-08 中科唯实科技（北京）有限公司 一种基于多传感器、多特征融合的半监督的人检测方法
CN103679212A (zh) * 2013-12-06 2014-03-26 无锡清华信息科学与技术国家实验室物联网技术中心 基于视频图像的人员检测和计数方法
CN103731659A (zh) * 2014-01-08 2014-04-16 百度在线网络技术（北京）有限公司 头戴式显示设备
CN104102007A (zh) * 2013-04-12 2014-10-15 聚晶半导体股份有限公司 头戴式显示器及其控制方法
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN105204625A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 虚拟现实游戏中的安全保护方法和装置
CN105468315A (zh) * 2014-09-05 2016-04-06 腾讯科技（深圳）有限公司 移动终端页面显示方法及装置
US20160379082A1 (en) * 2009-10-28 2016-12-29 Digimarc Corporation Intuitive computing methods and systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160379082A1 (en) * 2009-10-28 2016-12-29 Digimarc Corporation Intuitive computing methods and systems
US20130148853A1 (en) * 2011-12-12 2013-06-13 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
CN104102007A (zh) * 2013-04-12 2014-10-15 聚晶半导体股份有限公司 头戴式显示器及其控制方法
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN103500330A (zh) * 2013-10-23 2014-01-08 中科唯实科技（北京）有限公司 一种基于多传感器、多特征融合的半监督的人检测方法
CN103679212A (zh) * 2013-12-06 2014-03-26 无锡清华信息科学与技术国家实验室物联网技术中心 基于视频图像的人员检测和计数方法
CN103731659A (zh) * 2014-01-08 2014-04-16 百度在线网络技术（北京）有限公司 头戴式显示设备
CN105468315A (zh) * 2014-09-05 2016-04-06 腾讯科技（深圳）有限公司 移动终端页面显示方法及装置
CN105204625A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 虚拟现实游戏中的安全保护方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019104511A1 (zh) * 2017-11-29 2019-06-06 深圳市柔宇科技有限公司 用于头戴式显示器上的信息提示方法、装置和设备
CN107993292A (zh) * 2017-12-19 2018-05-04 北京疯狂互动网络科技有限公司 增强现实场景复原方法、装置及计算机可读存储介质
CN107993292B (zh) * 2017-12-19 2021-08-31 北京盈拓文化传媒有限公司 增强现实场景复原方法、装置及计算机可读存储介质
CN113138669A (zh) * 2021-04-27 2021-07-20 Oppo广东移动通信有限公司 电子设备的图像获取方法、装置、系统及电子设备

Also Published As

Publication number Publication date
CN106896917B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN106504390A (zh) 门锁控制方法、装置及系统
CN104008635B (zh) 设备控制方法及装置
CN106572299A (zh) 摄像头开启方法及装置
CN105120122A (zh) 报警方法及装置
CN105095873A (zh) 照片共享方法、装置
CN106356060A (zh) 语音通信方法及装置
CN106447877B (zh) 智能设备的开启方法、装置及服务器
CN104035558A (zh) 终端设备控制方法及装置
CN104282064B (zh) 门禁应答方法和装置
CN106652113A (zh) 门禁控制方法及装置
CN106209800A (zh) 设备权限共享方法和装置
CN106789461A (zh) 智能家居设备连接的方法及装置
CN105515952B (zh) 多媒体消息发送方法及装置
CN106485813A (zh) 车门控制方法和装置
CN105868709A (zh) 关闭指纹识别功能的方法及装置
CN107295149A (zh) 一种陌生电话的处理方法和装置
CN107766820A (zh) 图像分类方法及装置
CN106209604A (zh) 添加好友的方法及装置
CN107105517A (zh) 网络连接方法及装置
CN106096011A (zh) 照片分享方法及装置
CN107783715A (zh) 应用启动方法及装置
CN106896917A (zh) 辅助用户体验虚拟现实的方法及装置、电子设备
CN107330391A (zh) 产品信息提示方法及装置
CN107203306A (zh) 头像处理方法及装置
CN106375728A (zh) 监控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant