CN110362203B - 信息处理方法、装置、存储介质及增强现实设备 - Google Patents
信息处理方法、装置、存储介质及增强现实设备 Download PDFInfo
- Publication number
- CN110362203B CN110362203B CN201910625398.0A CN201910625398A CN110362203B CN 110362203 B CN110362203 B CN 110362203B CN 201910625398 A CN201910625398 A CN 201910625398A CN 110362203 B CN110362203 B CN 110362203B
- Authority
- CN
- China
- Prior art keywords
- information
- augmented reality
- track
- determining
- preset key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了信息处理方法、装置、存储介质及增强现实设备。其中,方法包括:接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。本申请实施例通过采用上述技术方案,可根据需求对信息处理,在对关联终端接收信息进行及时提醒的同时,降低了实时对信息进行增强现实显示对用户的干扰。
Description
技术领域
本申请实施例涉及增强现实技术领域,尤其涉及一种信息处理方法、装置、存储介质及增强现实设备。
背景技术
随着增强现实技术的不断发展,诸如增强现实设备等的增强现实设备被用户广泛接受和应用。
增强现实设备不具有通信功能,尤其是在用户佩戴增强现实设备时,有来电或者信息时,需要用户摘下增强现实设备,寻找手机等智能设备才能查看信息,操作不便。
发明内容
本申请实施例提供一种信息处理方法、装置、存储介质及增强现实设备,提高了信息处理的智能化。
第一方面,本申请实施例提供了一种信息处理方法,应用于增强现实设备,包括:
接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;
根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
第二方面,本申请实施例提供了一种信息处理装置,包括:
提示信息显示模块,用于接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
轨迹确定模块,用于对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;
信息处理模块,用于根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的信息处理方法。
第四方面,本申请实施例提供了一种增强现实设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的信息处理方法。
本申请实施例中提供的技术方案,通过在移动终端接收到信息时,生成并显示提示信息,采集目标对象的预设关键点的轨迹,根据轨迹确定信息的处理方式。通过上述技术方案,可根据需求对信息处理,在对关联终端接收信息进行及时提醒的同时,降低了实时对信息进行增强现实显示对用户的干扰。
附图说明
图1A是本申请实施例提供的一种增强现实眼镜的结构示意图;
图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图;
图2为本申请实施例提供的一种信息处理方法的流程示意图;
图3为本申请实施例提供的另一种信息处理方法的流程示意图;
图4为本申请实施例提供的另一种信息处理方法的流程示意图;
图5为本申请实施例提供的另一种信息处理方法的流程示意图;
图6为本申请实施例提供的一种信息处理装置的结构示意图;
图7为本申请实施例提供的一种增强现实设备的结构示意图;
图8为本申请实施例提供的另一种增强现实设备的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的增强现实设备包括但不限于增强现实眼镜、具有增强现实功能的手机、平板电脑等电子设备。以头戴增强现实设备(增强现实眼镜)为例,示例性的,参见图1A,图1A是本申请实施例提供的一种增强现实眼镜101的结构示意图,其中,增强现实眼镜101包括镜架104、左眼镜片、右眼镜片,分别设置在左眼镜片、右眼镜片上的左眼衍射整合器102、右眼衍射整合器103、处理单元105、摄像头107、操作部件106,其中,左眼衍射整合器102和右眼衍射整合器103均为具有表面浮雕衍射光栅的紫外光固话/热固化树脂层构成,用于将虚拟图像反射入人眼。增强现实眼镜101还包括微显示器,微显示器可以是设置在镜腿上,用于输出虚拟图像,可以是与处理单元105电连接。摄像头107、操作部件106分别与处理单元105电连接连接,其中,操作部件106可用于接收用户对增强现实眼镜101的输入操作,并将输入操作发送至处理单元105,操作部件106可以是由一个或多个按键组成。处理单元105用于接受操作部件106传输的操作指令,还用于控制摄像头107获取现实信息,处理单元105还可以是通过无线传输等方式与其他设备108无线连接,其他设备108可以是但不限于手机、平板电脑等的移动设备,还可以是计算机、服务器等设备。
示例性的,参见图1B,图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图。图1B中,虚线表示由微显示器109发射的虚拟光信号,透过镜片的实线为现实光信号,虚拟光信号和现实光信号同时摄入目标瞳孔,在目标瞳孔中形成增强现实图像。其中,现实光信号为携带现实物体信息的光信息后,虚拟光信号为电信号转换得到的,携带虚拟图像信息的光信号,目标瞳孔可以是佩戴或者使用增强现实设备的用户的瞳孔。
图2为本申请实施例提供的一种信息处理的流程示意图,该方法可以由信息处理装置执行,其中该装置可由软件和/或硬件实现,一般可集成在增强现实设备中。如图2所示,该方法包括:
步骤201、接收关联终端发送的提示信息,将所述提示信息进行增强现实显示。
步骤202、对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹。
步骤203、根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
其中,关联终端可以是手机、平板电脑或者智能手表等的移动终端,与增强现实设备连接的移动终端可以是一个或多个。移动终端与增强现实设备建立连接关系,示例性的,可以是蓝牙连接、近距离无线通信连接等,相应的,建立连接关系后,移动终端为该增强现实设备的关联终端,该增强现实设备为移动终端的关联增强现实设备。移动终端接收信息,该信息可以包括但不限于即时通信信息、来电信息、通知信息、推送信息等。根据该信息的特征参数生成提示信息,该提示信息中可以是包括信息类型、信息发送人、信息重要等级中的一项或多项。其中,信息类型可以是来电信息、即时通信信息、通知信息或者推送信息,信息重要等级可以是通过识别发信人和信息内容确定,示例性的,发信人的预设等级越高,该信息的信息重要等级越高。示例性的,还可以是识别信息内容中是否存在预设关键字,根据识别的关键字对应的重要等级确定信息的信息重要等级,在本实施例中,当移动终端接收信息时,基于预先训练的机器学习模型确定该信息的重要等级,其中,预先训练的机器学习模型可以是神经网络模型。可选的,当移动终端接收信息之后,确定与移动终端关联的增强现实设备是否正在运行,若是,则生成提示信息,将提示信息发送至关联的增强现实设备。
增强现实设备接收关联终端发送的提示信息,将所述提示信息进行增强现实显示,包括:根据所述提示信息中包括的信息类型和信息的特征参数,确定所述提示信息的显示标识;将所述信息标识添加至当前虚拟图像的预设位置,进行增强现实显示。本实施例中,通过在用户的视线范围内显示表征提示信息的显示标识,使得用户可根据显示标识确定关联终端接收的信息,以及信息的特征参数,并进一步确定是否查看或回复该信息。可选的,显示标识与信息类型相关,不同的信息类型可对应不同的显示标识,示例性的,来电信息的显示标识可以是电话图标,即时通信信息、通知信息和推送信息的显示标识可以是根据发送或者接收信息的APP确定,示例性的,上述信息的显示标识可以是发送或者接收信息的APP图标。可选的,显示标识中还可以是包括信息的特征参数,例如发信人和/或重要等级。
根据显示标识的预设位置生成虚拟图像,示例性的,预设位置可以是虚拟图像的左上角或右上角,可根据用户视觉习惯确定,对此不作限定。将显示标识添加在当前虚拟图像的预设位置,形成新的虚拟图像,参见图1B,将新的虚拟图像转换为虚拟光信号,并射入目标对象的瞳孔,使得目标对象可看到增强现实的显示标识。
在本实施例中,通过将提示信息进行增强现实显示,便于用户在使用增强现实设备的过程中,可获取移动终端接收的信息,避免信息遗漏。在显示提示信息之后,通过对目标对象的预设关键点进行追踪,得到目标对象对移动终端接收的信息的处理方式,根据用户需求对信息进行处理,避免信息直接显示,尤其是在信息数量较多时,频繁显示的信息遮挡用户视线的问题。可选的,所述信息处理方式包括增强现实的信息显示、信息统一回复和信息暂存。其中,处理方式为增强现实的信息显示时,通过增强现实的方式在用户实现范围内显示该信息;当处理方式为信息统一回复时,根据预先设置的回复内容对该信息进行回复;当处理方式为信息暂存时,将该信息存储在移动终端和/或增强现实设备中,以便用户在后续进行查看。示例性的,当用户正在驾驶车辆时,移动终端(例如手机)接收信息,将提示信息发送至用户佩戴的增强现实眼镜中,用户可通过预设关键点的动作轨迹控制该信息的处理方式,例如,将信息暂存或者统一回复(例如驾驶车辆中,稍后回复)等,避免信息直接显示对用户视线遮挡或者被频繁打扰,提高用户的安全性。
在本实施例中,预设关键点可以是目标用户的肢体或者肢体的部位,例如头部或者瞳孔。其中,可以是基于位置传感器或者追踪摄像头对预设关键点进行追踪,得到预设关键点的轨迹。可选的,根据所述预设关键点的轨迹确定对信息的处理方式,包括:将所述预设关键点的轨迹在信息处理轨迹集中进行匹配,信息处理轨迹集中包括各标准轨迹以及所述标准轨迹对应的处理方式;当匹配成功时,根据匹配成功的标准轨迹确定信息处理方式。其中,在增强电子设备中预存有信息处理轨迹集,该信息处理轨迹集中包括多个标准轨迹,以及每一个标准轨迹对应的处理方式。标准轨迹可以是由用户预选设置,可根据用户需求进行编辑和修改,示例性的,头部的由上向下的点头轨迹对应的信息处理方式可以是增强现实的信息显示,头部由左向右的摇头轨迹对应的信息处理方式为信息暂存,头部向右下的倾斜轨迹对应的信息处理方式为信息统一回复。需要说明的是,当信息为来电信息时,处理方式还包括来电接听、来电挂断和来电统一回复,其中,来电接听、来电挂断和来电统一回复对应的标准轨迹可以是与增强现实的信息显示、信息暂存和信息统一回复的标准轨迹相同。
将对预设关键点追踪得到的轨迹分别与信息处理轨迹集中的标准轨迹进行匹配,确定相似度,当相似度大于预设值时确定匹配成功,示例性的,预设值可以是80%。当匹配成功时,将匹配成功的标准轨迹对应的处理方式确定为该信息的处理方式。需要说明的是,若在显示提示信息的预设时间段内,未采集到预设关键点的轨迹或者采集的轨迹匹配失败时,将确定该信息的处理方式为信息暂存。
本申请实施例中提供的信息处理方法,通过在移动终端接收到信息时,生成并显示提示信息,采集目标对象的预设关键点的轨迹,根据轨迹确定信息的处理方式。通过上述技术方案,可根据需求对信息处理,在对关联终端接收信息进行及时提醒的同时,降低了实时对信息进行增强现实显示对用户的干扰,在一些特定场景可降低安全风险。
图3为本申请实施例提供的另一种信息处理方法的流程示意图,本实施例是上述实施例的一个可选方案,相应的,如图3所示,本实施例的方法包括如下步骤:
步骤301、接收关联终端发送的提示信息,将所述提示信息进行增强现实显示。
步骤302、基于预设时间间隔,采集所述增强现实设备的空间位置。
步骤303、将预设时间段内所述增强现实设备的空间位置根据采集时刻进行连接,生成所述目标对象的头部轨迹。
步骤304、根据所述头部轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
在本实施例中,增强现实设备可以是配置有位置传感器,在接收到提示信息之后,控制位置传感器采集增强现实设备的空间位置,需要说明的是,该增强现实设备为头戴增强现实设备,例如图1A所示的增强现实眼镜,相应的,位置传感器可以是设置在增强现实眼镜的镜腿上,增强现实眼镜的轨迹与目标对象的头部轨迹一致,通过采集增强现实眼镜的轨迹得到目标对象的头部轨迹。具体的,基于预设间隔时间(例如0.1s)确定增强现实设备的空间位置,其中,空间位置可以是三维坐标信息,根据空间位置的采集时刻将采集到的空间位置进行排序和连接,得到目标对象的头部轨迹。将头部轨迹在信息处理轨迹集中进行匹配,确定对应的信息处理方式。
可选的,在得到目标对象的头部轨迹后,还可以是包括将得到的目标对象的轨迹在预设投影面进行投影,基于投影轨迹与标准轨迹进行匹配,确定信息处理方式。其中,预设投影面可以是与目标对象面部所在平面,通过将目标对象的轨迹进行投影,可以避免目标对象在行走或者行驶的车辆中,整体运动对头部轨迹的影响,提高轨迹匹配的准确性,进一步提高信息处理方式的准确。
本申请实施例中提供的信息处理方法,通过在移动终端接收信息,通过增强现实显示的方式进行提示,同时采集目标对象的头部轨迹,根据头部轨迹确定信息处理方式,对信息进行处理,无需目标对象进行手动控制或者语音控制即可对移动终端接收的信息进行控制,根据用户需求对信息进行分类处理,提高了信息处理智能化,适用于诸如会议等安静场合下对移动终端接收信息的处理,避免信息的遗漏。
图4为本申请实施例提供的另一种信息处理方法的流程示意图,本实施例是上述实施例的一个可选方案,相应的,如图4所示,本实施例的方法包括如下步骤:
步骤401、接收关联终端发送的提示信息,将所述提示信息进行增强现实显示。
步骤402、基于预设时间间隔,采集目标对象的眼部图像。
步骤403、基于所述眼部图像确定所述目标对象的瞳孔位置。
步骤404、将预设时间段内所述目标对象的瞳孔位置根据采集时刻进行连接,生成所述目标对象的瞳孔轨迹。
步骤405、根据所述瞳孔轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
其中,增强现实设备可以是配置有追踪摄像头,在接收到提示信息之后,控制追踪摄像头对目标对象的瞳孔进行追踪,得到瞳孔轨迹。以图1A所示的增强现实眼镜为例,追踪摄像头可以设置在增强现实眼镜的镜腿上,或者设置在左眼镜片和右眼镜片之间的镜框上,还可以是分别在左眼镜片和右眼镜片上方的镜框上分别设置追踪摄像头,其中,追踪摄像头朝向目标对象的瞳孔方向设置。
本实施例中,通过连续采集目标对象的眼部图像,识别眼部图像中的人眼和瞳孔,确定预设时间段内瞳孔相对于人眼的运动轨迹,确定为瞳孔轨迹。具体的,确定每一张人眼图像中瞳孔相对于人眼的位置,将每一张人眼图像中人眼进行对齐,根据人眼图像的采集顺序对瞳孔位置进行连接,得到瞳孔轨迹。可选的,基于所述眼部图像确定所述目标对象的瞳孔位置,包括:对所述眼部图像进行边缘检测,确定眼部轮廓和瞳孔轮廓;根据所述眼部轮廓和所述瞳孔轮廓的相对关系确定所述目标对象的瞳孔位置。对人眼进行边缘检测可以是基于但不限于Roberts边缘算子、Sobel边缘检测算子或者Laplacan边缘算子对图像进行检测,将边缘检测结果与预设标准眼部图像和标准瞳孔图像进行匹配,确定眼部轮廓和瞳孔轮廓,将眼部轮廓坐在位置确定为眼部位置,瞳孔轮廓相对于人眼轮廓的位置关系确定为瞳孔位置。将得到的瞳孔轨迹与信息处理轨迹集中进行匹配,确定对应的信息处理方式。
本申请实施例中提供的信息处理方法,通过在移动终端接收信息,通过增强现实显示的方式进行提示,同时采集目标对象的瞳孔轨迹,根据瞳孔轨迹确定信息处理方式,对信息进行处理,无需目标对象进行手动控制或者语音控制即可对移动终端接收的信息进行控制,根据用户需求对信息进行分类处理,提高了信息处理智能化,适用于诸如会议等安静场合下对移动终端接收信息的处理,避免信息的遗漏。
图5为本申请实施例提供的另一种信息处理的流程示意图,本实施例是上述实施例的一个可选方案,相应的,如图5所示,本实施例的方法包括如下步骤:
步骤501、接收关联终端发送的提示信息,将所述提示信息进行增强现实显示。
步骤502、对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹。
步骤503、根据所述预设关键点的轨迹确定对信息的处理方式。
步骤504、当所述信息处理方式为增强现实的信息显示时,获取信息内容,根据所述信息内容更新当前虚拟图像。
将更新后的当前虚拟图像转换为虚拟光信号,将所述虚拟光信号射入目标对象的瞳孔。
在本实施例中,当信息处理方式为增强现实的信息显示时,增强现实设备向关联终端发送信息请求,接收关联终端基于信息请求发送的信息内容,其中,信息内容可以是文字、字符和图像中的至少一种。当增强现实设备正在运行时,将信息内容添加至当前虚拟图像,形成新的虚拟图像,将新的虚拟图像转换为虚拟光信号,将虚拟光信号射入目标对象的瞳孔,虚拟光信号和透过透镜射入的现实光信号在人眼中形成增强现实图像,使得目标对象可在无需移动终端时,在视线范围内看到信息。
在上述实施例的基础上,可以是根据用户观看需要确定信息显示位置,示例性的,信息显示位置可以是视线习惯停留区域,例如,视线范围的中心区域,便于用户快速方便的阅读信息。
在上述实施例的基础上,可以是采集现实图像,确定现实图像中的平坦区域,其中,平坦区域的各像素点的像素值相同或在预设范围内微小变化,包括少量或者不包括图像内容和纹理,示例性的,不包含文字的盒子表面、未放置东西的桌子表面、墙面以及没有图案的衣服表面等均属于平坦区域,将现实图像中的平坦区域确定为信息显示位置,相应的,在当前虚拟图像与该平坦区域对应的位置添加信息,生成新的虚拟图像。本实施例中,通过将信息显示在现实图像中的平坦区域,避免信息显示时对现实图像内容的遮挡,同时提高信息显示的清晰度,便于目标对象对信息的浏览。
在上述实施例的基础上,在信息显示过程中,还包括采集目标对象预设关键点的轨迹,根据该轨迹进一步对信息进行处理,示例性的,可以是对信息进行回复,当确定对信息进行回复时,采集目标对象的语音,将语音转换为文字,形成回复文本,将回复文本发送至关联终端,以使关联终端将所述回复文本发送至回复对象,该回复对象可以是信息的发信人。可选的,信息的显示时长可以是与信息内容量正相关,信息内容量越多,显示时长越大,便于目标对象充分越多信息内容;可选的,信息的显示时长还可以是信息的重要等级正相关,信息的重要等级越高,显示时长越大。
图6为本申请实施例提供的一种信息处理装置的结构框图,该装置可由软件和/或硬件实现,一般集成在增强现实设备中,可通过执行增强现实设备的信息处理方法来对关联终端接收的信息进行处理。如图6所示,该装置包括:提示信息显示模块601、轨迹确定模块602、处理方式确定模块603和信息处理模块604。
提示信息显示模块601,用于接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
轨迹确定模块602,用于对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;
处理方式确定模块603,用于根据所述预设关键点的轨迹确定对信息的处理方式;
信息处理模块604,用于根据确定的处理方式对信息进行处理。
本申请实施例中提供的信息处理装置,通过在移动终端接收到信息时,生成并显示提示信息,采集目标对象的预设关键点的轨迹,根据轨迹确定信息的处理方式。通过上述技术方案,可根据需求对信息处理,在对关联终端接收信息进行及时提醒的同时,降低了实时对信息进行增强现实显示对用户的干扰,在一些特定场景可降低安全风险。
在上述实施例的基础上,信息处理模块603包括:
轨迹匹配单元,用于将所述预设关键点的轨迹在信息处理轨迹集中进行匹配,信息处理轨迹集中包括各标准轨迹以及所述标准轨迹对应的处理方式;
处理方式确定单元,用于当匹配成功时,根据匹配成功的标准轨迹确定信息处理方式。
在上述实施例的基础上,所述信息处理方式包括增强现实的信息显示、信息统一回复和信息暂存。
在上述实施例的基础上,当所述信息处理方式为增强现实的信息显示时,信息处理模块604用于:
获取信息内容,根据所述信息内容更新当前虚拟图像;
将更新后的当前虚拟图像转换为虚拟光信号,将所述虚拟光信号射入目标对象的瞳孔。
在上述实施例的基础上,提示信息显示模块601用于:
根据所述提示信息中包括的信息类型和信息的特征参数,确定所述提示信息的显示标识;
将所述信息标识添加至当前虚拟图像的预设位置,进行增强现实显示。
在上述实施例的基础上,所述预设关键点包括头部。
相应的,轨迹确定模块602包括:
空间位置确定单元,用于基于预设时间间隔,采集所述增强现实设备的空间位置;
头部轨迹确定单元,用于将预设时间段内所述增强现实设备的空间位置根据采集时刻进行连接,生成所述目标对象的头部轨迹。
在上述实施例的基础上,所述预设关键点包括瞳孔,相应的,轨迹确定模块602包括:
眼部图像采集单元,用于基于预设时间间隔,采集目标对象的眼部图像;
瞳孔位置确定单元,用于基于所述眼部图像确定所述目标对象的瞳孔位置;
瞳孔轨迹确定单元,用于将预设时间段内所述目标对象的瞳孔位置根据采集时刻进行连接,生成所述目标对象的瞳孔轨迹。
在上述实施例的基础上,瞳孔位置确定单元用于:
对所述眼部图像进行边缘检测,确定眼部轮廓和瞳孔轮廓;
根据所述眼部轮廓和所述瞳孔轮廓的相对关系确定所述目标对象的瞳孔位置。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行信息处理方法,该方法包括:
接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;
根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的信息处理操作,还可以执行本申请任意实施例所提供的信息处理方法中的相关操作。
本申请实施例提供了一种增强现实设备,该增强现实设备中可集成本申请实施例提供的信息处理装置。图7为本申请实施例提供的一种增强现实设备的结构示意图。增强现实设备700可以包括:存储器701,处理器702及存储在存储器701上并可在处理器702运行的计算机程序,所述处理器702执行所述计算机程序时实现如本申请实施例所述的信息处理方法。
本申请实施例提供的增强现实设备,通过在移动终端接收到信息时,生成并显示提示信息,采集目标对象的预设关键点的轨迹,根据轨迹确定信息的处理方式。通过上述技术方案,可根据需求对信息处理,在对关联终端接收信息进行及时提醒的同时,降低了实时对信息进行增强现实显示对用户的干扰,在一些特定场景可降低安全风险。
图8为本申请实施例提供的另一种增强现实设备的结构示意图。该增强现实设备可以包括:壳体(图中未示出)、存储器801、中央处理器(central processing unit,CPU)802(又称处理器,以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述CPU802和所述存储器801设置在所述电路板上;所述电源电路,用于为所述增强现实设备的各个电路或器件供电;所述存储器801,用于存储可执行程序代码;所述CPU802通过读取所述存储器801中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序,以实现以下步骤:
接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;
根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理。
所述增强现实设备还包括:外设接口803、RF(Radio Frequency,射频)电路805、音频电路806、扬声器811、电源管理芯片808、输入/输出(I/O)子系统809、其他输入/控制设备810、触摸屏812、其他输入/控制设备810以及外部端口804,这些部件通过一个或多个通信总线或信号线807来通信。
应该理解的是,图示增强现实设备800仅仅是增强现实设备的一个范例,并且增强现实设备800可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于对信息处理操作的增强现实设备进行详细的描述,该增强现实设备以手机为例。
存储器801,所述存储器801可以被CPU802、外设接口803等访问,所述存储器801可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口803,所述外设接口803可以将设备的输入和输出外设连接到CPU802和存储器801。
I/O子系统809,所述I/O子系统809可以将设备上的输入输出外设,例如触摸屏812和其他输入/控制设备810,连接到外设接口803。I/O子系统809可以包括显示控制器8091和用于控制其他输入/控制设备810的一个或多个输入控制器8092。其中,一个或多个输入控制器8092从其他输入/控制设备810接收电信号或者向其他输入/控制设备810发送电信号,其他输入/控制设备810可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器8092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏812,所述触摸屏812是用户增强现实设备与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子系统809中的显示控制器8091从触摸屏812接收电信号或者向触摸屏812发送电信号。触摸屏812检测触摸屏上的接触,显示控制器8091将检测到的接触转换为与显示在触摸屏812上的用户界面对象的交互,即实现人机交互,显示在触摸屏812上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路805,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路805接收并发送RF信号,RF信号也称为电磁信号,RF电路805将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路805可以包括用于执行这些功能的已知电路,其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路806,主要用于从外设接口803接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器811。
扬声器811,用于将手机通过RF电路805从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片808,用于为CPU802、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
上述实施例中提供的信息处理装置、存储介质及增强现实设备可执行本申请任意实施例所提供的信息处理方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的信息处理方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (9)
1.一种信息处理方法,应用于增强现实设备,其特征在于,包括:
接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;所述预设关键点是目标用户的肢体或者肢体的部位,其中,所述预设关键点的轨迹是基于位置传感器或者追踪摄像头对预设关键点进行追踪,得到预设关键点的轨迹;
根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理;
所述根据所述预设关键点的轨迹确定对信息的处理方式,包括:
将所述预设关键点的轨迹在信息处理轨迹集中进行匹配,信息处理轨迹集中包括各标准轨迹以及所述标准轨迹对应的处理方式;
当匹配成功时,根据匹配成功的标准轨迹确定信息处理方式;
所述接收关联终端发送的提示信息,将所述提示信息进行增强现实显示,包括:
根据所述提示信息中包括的信息类型和信息的特征参数,确定所述提示信息的显示标识;
将所述显示标识添加至当前虚拟图像的预设位置,进行增强现实显示;
所述提示信息包括信息类型、信息发送人、信息重要等级中的一项或多项,其中,通过识别信息内容中是否存在预设关键字,根据识别的关键字对应的重要等级确定信息的信息重要等级,所述显示标识中包括信息的特征参数。
2.根据权利要求1所述的方法,其特征在于,所述信息处理方式包括增强现实的信息显示、信息统一回复和信息暂存。
3.根据权利要求2所述的方法,其特征在于,当所述信息处理方式为增强现实的信息显示时,根据确定的处理方式对信息进行处理,包括:
获取信息内容,根据所述信息内容更新当前虚拟图像;
将更新后的当前虚拟图像转换为虚拟光信号,将所述虚拟光信号射入目标对象的瞳孔。
4.根据权利要求1所述的方法,其特征在于,所述预设关键点包括头部,其中,对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹,包括:
基于预设时间间隔,采集所述增强现实设备的空间位置;
将预设时间段内所述增强现实设备的空间位置根据采集时刻进行连接,生成所述目标对象的头部轨迹。
5.根据权利要求1所述的方法,其特征在于,所述预设关键点包括瞳孔,其中,对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹,包括:
基于预设时间间隔,采集目标对象的眼部图像;
基于所述眼部图像确定所述目标对象的瞳孔位置;
将预设时间段内所述目标对象的瞳孔位置根据采集时刻进行连接,生成所述目标对象的瞳孔轨迹。
6.根据权利要求5所述方法,其特征在于,基于所述眼部图像确定所述目标对象的瞳孔位置,包括:
对所述眼部图像进行边缘检测,确定眼部轮廓和瞳孔轮廓;
根据所述眼部轮廓和所述瞳孔轮廓的相对关系确定所述目标对象的瞳孔位置。
7.一种信息处理装置,其特征在于,包括:
提示信息显示模块,用于接收关联终端发送的提示信息,将所述提示信息进行增强现实显示;
轨迹确定模块,用于对目标对象的预设关键点进行追踪,确定所述预设关键点的轨迹;所述预设关键点是目标用户的肢体或者肢体的部位,其中,所述预设关键点的轨迹是基于位置传感器或者追踪摄像头对预设关键点进行追踪,得到预设关键点的轨迹;
信息处理模块,用于根据所述预设关键点的轨迹确定对信息的处理方式,并根据确定的处理方式对信息进行处理;
所述信息处理模块包括:
轨迹匹配单元,用于将所述预设关键点的轨迹在信息处理轨迹集中进行匹配,信息处理轨迹集中包括各标准轨迹以及所述标准轨迹对应的处理方式;
处理方式确定单元,用于当匹配成功时,根据匹配成功的标准轨迹确定信息处理方式;
所述提示信息显示模块用于:
根据所述提示信息中包括的信息类型和信息的特征参数,确定所述提示信息的显示标识;
将所述显示标识添加至当前虚拟图像的预设位置,进行增强现实显示;
所述提示信息包括信息类型、信息发送人、信息重要等级中的一项或多项,其中,通过识别信息内容中是否存在预设关键字,根据识别的关键字对应的重要等级确定信息的信息重要等级,所述显示标识中包括信息的特征参数。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的信息处理方法。
9.一种增强现实设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-6任一所述的信息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625398.0A CN110362203B (zh) | 2019-07-11 | 2019-07-11 | 信息处理方法、装置、存储介质及增强现实设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910625398.0A CN110362203B (zh) | 2019-07-11 | 2019-07-11 | 信息处理方法、装置、存储介质及增强现实设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110362203A CN110362203A (zh) | 2019-10-22 |
CN110362203B true CN110362203B (zh) | 2022-12-02 |
Family
ID=68218935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910625398.0A Active CN110362203B (zh) | 2019-07-11 | 2019-07-11 | 信息处理方法、装置、存储介质及增强现实设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110362203B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190826B (zh) * | 2019-12-30 | 2024-01-23 | 上海曼恒数字技术股份有限公司 | 一种虚拟现实沉浸式追踪环境的测试方法、装置、存储介质及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103561382A (zh) * | 2013-10-22 | 2014-02-05 | 华为终端有限公司 | 一种移动终端的消息呈现方法及移动终端 |
JP2015177404A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN105306736A (zh) * | 2015-11-27 | 2016-02-03 | 努比亚技术有限公司 | 一种消息提醒的移动终端以及消息提醒方法 |
CN105577532A (zh) * | 2016-02-26 | 2016-05-11 | 努比亚技术有限公司 | 一种基于关键字的应用消息处理方法、装置及移动终端 |
CN106502396A (zh) * | 2016-10-20 | 2017-03-15 | 网易(杭州)网络有限公司 | 虚拟现实系统、基于虚拟现实的交互方法及装置 |
CN109525734A (zh) * | 2018-12-29 | 2019-03-26 | 未来科技(襄阳)有限公司 | 终端设备信息在vr/ar设备上的处理方法及系统 |
CN109587322A (zh) * | 2017-09-29 | 2019-04-05 | 华为终端(东莞)有限公司 | 消息处理方法、消息查看方法和终端 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102769691A (zh) * | 2011-05-03 | 2012-11-07 | 中兴通讯股份有限公司 | 新信息的提示方法和通信终端 |
US9576397B2 (en) * | 2012-09-10 | 2017-02-21 | Blackberry Limited | Reducing latency in an augmented-reality display |
CN103200542B (zh) * | 2013-03-29 | 2016-02-10 | 小米科技有限责任公司 | 信息提醒方法、装置和终端 |
KR102355118B1 (ko) * | 2014-01-06 | 2022-01-26 | 삼성전자주식회사 | 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법 |
CN105306718B (zh) * | 2015-11-02 | 2019-02-12 | 小米科技有限责任公司 | 事件提示方法及装置 |
CN107817894A (zh) * | 2016-09-12 | 2018-03-20 | 中兴通讯股份有限公司 | 显示处理方法及装置 |
CN109088815A (zh) * | 2018-08-30 | 2018-12-25 | Oppo广东移动通信有限公司 | 消息提醒方法、装置、存储介质、移动终端及穿戴式设备 |
-
2019
- 2019-07-11 CN CN201910625398.0A patent/CN110362203B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103561382A (zh) * | 2013-10-22 | 2014-02-05 | 华为终端有限公司 | 一种移动终端的消息呈现方法及移动终端 |
JP2015177404A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN105306736A (zh) * | 2015-11-27 | 2016-02-03 | 努比亚技术有限公司 | 一种消息提醒的移动终端以及消息提醒方法 |
CN105577532A (zh) * | 2016-02-26 | 2016-05-11 | 努比亚技术有限公司 | 一种基于关键字的应用消息处理方法、装置及移动终端 |
CN106502396A (zh) * | 2016-10-20 | 2017-03-15 | 网易(杭州)网络有限公司 | 虚拟现实系统、基于虚拟现实的交互方法及装置 |
CN109587322A (zh) * | 2017-09-29 | 2019-04-05 | 华为终端(东莞)有限公司 | 消息处理方法、消息查看方法和终端 |
CN109525734A (zh) * | 2018-12-29 | 2019-03-26 | 未来科技(襄阳)有限公司 | 终端设备信息在vr/ar设备上的处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110362203A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108566516B (zh) | 图像处理方法、装置、存储介质及移动终端 | |
CN109324749B (zh) | 绘图方法、装置、存储介质及电子设备 | |
CN112907725B (zh) | 图像生成、图像处理模型的训练、图像处理方法和装置 | |
CN109089043B (zh) | 拍摄图像预处理方法、装置、存储介质及移动终端 | |
CN112328091B (zh) | 弹幕显示方法、装置、终端及存储介质 | |
CN110333785B (zh) | 信息处理方法、装置、存储介质及增强现实设备 | |
CN112068762A (zh) | 应用程序的界面显示方法、装置、设备及介质 | |
CN113206781B (zh) | 客户端控制方法、装置、设备及存储介质 | |
CN111343329B (zh) | 锁屏显示控制方法、装置及存储介质 | |
CN107092359A (zh) | 虚拟现实视角重定位方法、装置及终端 | |
CN110572716A (zh) | 多媒体数据播放方法、装置及存储介质 | |
CN108665510B (zh) | 连拍图像的渲染方法、装置、存储介质及终端 | |
CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110890969B (zh) | 群发消息的方法、装置、电子设备及存储介质 | |
CN110349271B (zh) | 透镜颜色调节方法、装置、存储介质及增强现实设备 | |
CN111192072A (zh) | 用户分群方法及装置、存储介质 | |
CN110362203B (zh) | 信息处理方法、装置、存储介质及增强现实设备 | |
KR20220062938A (ko) | 가상현실 서비스를 제공하는 전자 장치 및 방법 | |
CN107704919B (zh) | 移动终端的控制方法、装置及存储介质和移动终端 | |
CN114826799B (zh) | 信息获取方法、装置、终端及存储介质 | |
CN111866047B (zh) | 数据解码方法、装置、计算机设备及存储介质 | |
CN112950535A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN113763932A (zh) | 语音处理方法、装置、计算机设备及存储介质 | |
CN111444289A (zh) | 关联关系建立方法 | |
CN110347261A (zh) | 信息显示方法、装置、存储介质及增强现实设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |