具体实施方式
说明书中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,为本发明提供的头戴式设备控制方法的流程图,其至少可包括如下步骤:
S1、采集情境数据;
上述情境数据可包括运动速度数据v、车载无线网络信号强度数据x、用户日程表数据y和环境噪音强度数据z中的至少一种。
S2、使用上述情境数据判断头戴式设备的佩戴者是否位于行驶的车辆内;
S3、若判定佩戴者位于行驶的车辆内,则控制头戴式设备中的图像采集装置采集环境图像;
更具体的,上述图像采集装置一般为摄像头。也即,在判断出佩戴者位于行驶的车辆内时,将使用摄像头进行拍照。本文后续将对如何采集环境图像进行更具体的介绍。
S4、使用采集到的环境图像,判断佩戴者所处座位是否为驾驶座;
S5、若判定所处座位是驾驶座(也即确定出佩戴者处于驾驶状态),则禁用预设服务。预设服务可包括近眼显示器的屏幕显示服务。
司机在驾驶时位于驾驶座上,因此,在判定佩戴者位于行驶的车辆内的前提下,如果判定其还位于驾驶座上,则能断定佩戴者正在驾车。此时,则应禁用预设服务。
可见,在本发明实施例中,会根据采集到的情境数据,来判断佩戴者是否位于行驶的车辆内,如判定佩戴者位于行驶的车辆内,则采集环境图像来进一步判断佩戴者所处座位是否为驾驶座,若判定佩戴者所处座位是驾驶座,则认为佩戴者正在驾驶,则将禁用头戴式设备的屏幕显示服务,以减少对佩戴者注意力的分散,提高驾驶安全性。需要说明的是,通过禁用近眼显示器的屏幕显示服务,可禁止一切需要使用HMD近眼显示器的业务。例如,可禁止在近眼显示器的屏幕上显示邮件提示、导航提示、短信提示和社交网络消息提示,禁止视频电话接入(因为视频电话需要在屏幕上显示视频),禁止浏览各种图片网站、视频流网站等等。
一般的,HMD上具有触摸板和按钮,佩戴者可通过触摸触摸板,或者,按压/拨动按钮与HMD交互。而触摸、按压、拨动等也可能分散佩戴者注意力。
因此,在本发明其他实施例中,除近眼显示器的屏幕显示服务外,上述所有实施例中的预设服务还可包括:手工输入服务。
更具体的,手工输入服务可包括触摸板和按钮手工输入。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:
将接收到的、来自预设紧急联系人的信息,转换为语音信息播放。
在HMD中可维护一个紧急联系人列表,该列表里的联系人都是预设紧急联系人。
更具体的,上述信息可包括邮件标题和短消息中的至少一种。当接收到来自紧急联系人的邮件、短消息时,可将邮件标题、短消息转换成语音播放给佩戴者。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:将屏幕显示服务推送至头戴式设备之外的显示屏上。例如,可将其推送到车载系统的显示屏或者同车乘客的终端上进行显示。
在本发明其他实施例中,请参见图2,还可包括如下步骤:
S6、若判定所处座位不是驾驶座,或者,若判定佩戴者未位于行驶的车辆内,启用或保持预设服务。
需要说明的是,佩戴者未位于行驶的车辆内可对应两种情况,一种情况是佩戴者在车外,一种情况是,佩戴者在静止的车辆内(例如,车辆始终未处于运行状态,或者车辆遇到红灯停驶)。这两种情况,佩戴者都未驾车,自然也不用禁用预设服务。
佩戴者所处座位不是驾驶座则可对应如下情况:佩戴者在行驶的车辆内,但佩戴者是车内的乘客而非司机,此时,佩戴者也未驾车,也不用禁用预设服务。
下面,将具体介绍如何使用情境数据判断佩戴者是否位于行驶的车辆内。
在本发明其他实施例中,请参见图3,上述所有实施例中方法还可包括如下步骤:
S7、根据情境数据计算得到情境评价值。
可根据情境评价值判断佩戴者是否位于行驶的车辆内。例如,可根据情境评价值是否大于等于门限值来判断佩戴者是否位于行驶的车辆内。
因此,仍请参见图3,步骤S2可进一步包括:S21、判断情境评价值是否大于等于门限值。
若情境评价值大于或等于门限值,则判定佩戴者位于行驶的车辆内;而若情境评价值小于门限值,则判定佩戴者未位于行驶的车辆内。
门限值可设置初始值为“2或3”。并可针对不同的门限值,接收用户的反馈,检验使用该门限值进行判定的正确性,最后选取一个最优的门限值。
在本发明其他实施例中,上述所有实施例中的控制方法还可包括如下步骤:
在满足重启条件时,重新启动头戴式设备中的图像采集装置采集环境图像以及后续的判断操作。
重启条件可包括,佩戴者所处情境发生变化,例如所处情境由位于行驶的车辆内变化为未位于行驶的车辆内(例如,佩戴者离开车辆,或者,车辆由行驶变为停驶),以及,所处情境由未位于行驶的车辆内变化为位于行驶的车辆内(例如佩戴者进入车辆,或者,车辆由停驶变为行驶)中的至少一种。
更具体的,可根据本次计算得出的情境评价值(F1)与上一次计算得出的情境评价值(F0)相比较来判断是否符合重启条件:当F0小于门限值而F1大于等于门限值,或者,F0大于等于门限值而F1小于等于门限值时,判定佩戴者所处情境发生变化。
基于情境评价值,上述控制方法的流程还可如图4和图5所示。
在本发明其他实施例中,上述步骤S7可进一步包括:将情境数据代入情境评价函数,得到情境评价值。
更具体的,情境评价函数可包括信号强度评价函数f1(x),日程表评价函数f2(y),环境噪声评价函数f3(z)和运动速度评价函数f4(v)中的至少一种。其中,x表示信号强度数据,y表示用户日程表数据,z表示环境噪声强度评价值,v表示运动速度数据。
情境评价函数可记为F(x,y,z,v)。
在本发明其他实施例中,上述“将情境数据代入情境评价函数,得到情境评价值”可包括:
将x代入f1(x)得到信号强度评价值,将y代入f2(y)得到日程表评价值,将z代入f3(z)得到环境噪声强度评价值,以及,将v代入f4(v),得到运动速度评价值中的至少一种。
更具体的,F(x,y,z,v)=f1(x)+f2(y)+f3(z)+f4(v)。此时,情境评价值等于信号强度评价值、日程表评价值、日程表评价值和运动速度评价值之和。
下面将对各函数进行详细介绍。
一,信号强度评价函数:
f1(x)可有多种表达公式,例如,f1(x)=α1x,其中,α1表示信号强度权重,α1>0,x表示检测到的车载无线网络(WiFi或其他无线通信网络)的信号强度。
x可由HMD中的车载无线网络连接模块(例如WiFi模块)或外部设备(例如手机)采集。x值越大,HMD越有可能在车辆内。
更具体的,x=90+P,P表示实际信号强度,P的取值范围为[-90dbm,0dbm],α1=1/90。
x=90+P,以及α1的取值是依据下述假定而得到的:
假定远离车辆时能检测到的最弱的信号强度是-90dbm,而用户在车辆内的信号强度为0dbm,也即,可以检测到的实际信号强度范围是(-90dbm,0dbm)。然后,做归一化处理令x=90+P,α1=1/90,则f1(x)的取值范围是[0,1]。
当然,x=90+P,α1=1/90只是本实施例所举的例子之一,本领域技术人员可根据实际情况进行灵活设置,例如,令α1=1/180,令x=180+P等。
二,日程表评价函数
f2(y)可有多种表达公式,例如,
其中,α2表示日程表权重,α2>0;y包括采集数据时刻的日程表事件集合,Ω表示预设特定事件集合。
y可由HMD中的日程表模块采集提供。
更具体的,上述采集数据时刻的日程表事件集合具体为,落入采样窗口中的日程表事件的集合,采样窗口的开始时刻为采集数据时刻,采样窗口的时长可为2小时、1小时、30分钟、40分钟等。
上述预设特定事件可包括开会、上班和交流中的至少一种。预设特定事件集合中所包含的事件可由用户自定义设置。
下面,将举个具体的例子。假定,用户小A在2013年9月17日日程安排如下:
08:30-9:30在B酒店吃早饭
10:50-12:00在C大厦开会
12:00-13:00和Y先生吃午饭
14:00-15:00到D大厦和H先生交流
15:00-18:00上班
18:30-19:00到E超市购买食品。
用户小A定义的预设事件集合Ω={开会,上班,交流},并设定了采样窗口为一小时。
假定y(9:30),是2013年9月17日上午9:30采集到的日程表事件集合,由于9:30到10:30之间日程表上没有要做的事情,因此y(9:30)=0,则f2(y(9:30))=0。
假定y(10:00),是2013年9月17日上午10:00到的日程表事件集合,其包括“在C大厦开会”,则其与Ω之间的交集为“开会”,f2(y(10:00))=α2。
更具体的,可取α2=1。α2亦可由用户设置,在此不作赘述。
三,环境噪声评价函数
f3(z)可有多种表达公式,例如,f3(z)=α3z。
其中,α3表示环境噪声强度权重,α3>0,z表示环境噪声强度。
环境噪声可由HMD中的话筒或外部专用声音采集装置采集。
更具体的,环境噪声强度数据的采集方式可包括:
步骤一,对采集到的声音进行频谱分析,得到频谱分量;
步骤二,在经频谱分析得到的频谱分量中,搜索环境噪音频谱分量;
步骤三,获取搜索到环境噪音频谱分的声强。
上述环境噪音包括刹车噪声、发动机噪声和路噪中的至少一种。
相应的,环境噪音频谱分量可包括刹车噪声频谱分量、发动机噪声频谱分量和路噪频谱分量中的至少一种。
在步骤一之前,可使用专业声强或声压采集装置预先采集典型刹车噪声、发动机噪声和路噪,并进行频谱分析,分别记录其频谱特性。
在步骤一中,采集到声音后,进行频谱分析,得到各频谱分量的频谱特性,比对频谱特性,即可搜索出是否包含刹车噪声频谱分量、发动机噪声频谱分量、路噪频谱分量。
以环境噪音频谱分量包括刹车噪声频谱分量、发动机噪声频谱分量和路噪频谱分量这三种分量为例,上述“获取搜索到环境噪音频谱分的声强”可包括:
取刹车噪声频谱分量的声强、发动机噪声频谱分量的声强和路噪频谱分量的声强中的最大值,作为环境噪音频谱分的声强。
假定,对采集到的声音进行频谱分析,得到五个频谱分量。这五个频谱分量中,包括发动机噪声频谱分量和路噪频谱分量,但没有刹车噪声频谱分量,则根据频谱分析结果,计算得到发动机噪声频谱分量的声强和路噪频谱分量的声强。如何计算是现有技术,在此不作赘述。从发动机噪声频谱分量的声强和路噪频谱分量的声强中选最大值,作为环境噪音频谱分的声强。
或者,上述“获取搜索到环境噪音频谱分的声强”可包括:
计算刹车噪声频谱分量的声强z1、发动机噪声频谱分量的声强z2和路噪频谱分量的声强z3;
根据公式z=A*z1+B*z2+C*z3,计算得环境噪音频谱分的声强z。
A为刹车噪声频谱分量声强权重,B为发动机噪声频谱分量声强权重,C为路噪频谱分量声强权重。本领域技术人员可根据实际对其进行设置,例如,刹车声不是频繁出现的事件,则设置其权重取较小值。
同理,本领域技术人员可根据实际设置α3的取值。例如,如经过测量,发现z的分贝值取值范围为[0,60]。则可取α3=1/60,令f3(z)取值范围是[0,1]。当然,α3也可取其他值,例如1/70、1/90等等。
四,运动速度评价
f4(v)可有多种表达公式,例如,
v0表示速度门限,β1表示第一运动速度权重,β2表示第二运动速度权重,t1表示第一速度影响最小值,t2表示第二速度影响最小值,β2≥β1>0,t2≥t1>0。
v可由HMD中的GPS模块或加速度传感器采集计算,也可直接由车载系统提供。
v0是一个速度门限值,超过此门限值,速度越快用户越有可能在行驶的车辆内。
更具体的,v0=30km/h,β1=1/90,t1=0.01,β1=1/60,t1=0.1。假定v的取值范围为[0,120],则f4(v)取值范围为[0.01,2.1]。
当然,本领域技术人员可对v0、β1、β2、t1、t2的取值进行灵活设置,在此不作赘述。
下面将介绍采集环境图像。
在本发明其他实施例中,上述采集环境图像可包括:
设置拍照参数并进行拍照,得到环境图像。其中,拍照参数可根据上述v设置,或者,上述拍照参数为预设的标准拍照参数(也即,设置拍照参数为预设的标准拍照参数)。
更具体的,拍照参数可包括曝光时间、光圈口径与镜头焦距的比值的倒数F、感光度和所选对焦点。
如何根据运动速度数据v设置拍照参数可有多种方式,例如:
当v1<v<v2时,确定曝光时间为1/64秒,F为4,感光度为ISO400。
当v2<v<v3时,确定曝光时间为1/32秒,F为2.8,感光度为ISO140。
而所选对焦点可包括,请参见图6或图7,在以(针对HMD佩戴者观察到的画面)画面中心的对焦点为原点、以水平方向为x轴方向、铅直方向为y轴方向的直角坐标系中,位于第三象限的对焦点,以及位于x轴负半轴上的对焦点。
当然,上述仅为本实施例所提供的具体例子,本领域技术人员可根据实际,设计如何设置拍照参数,在此不作赘述。
至于预设的标准拍照参数,其获取的方式可如下:
用户主动触发HMD中的摄像头拍照,所拍照片作为标准环境图像,而拍摄该标准环境图像时所采用的拍照参数将被保存下来,作为标准拍照参数。
之后,再启动摄像头拍照时,自动将拍照参数调整为标准拍照参数进行拍照。
下面将介绍如何判断佩戴者的所处座位是否为驾驶座。
在本发明其他实施例中,上述所有实施例中的步骤S4可包括:
检测采集到的环境图像中是否包含预设标记物;若检测到包含预设标记物,则判定佩戴者所处座位是驾驶座;若检测不到包含预设标记物,则判定佩戴者的所处座位不是驾驶座。
更具体的,检测采集的环境图像中是否包含预设标记物包括:
步骤一、提取采集的环境图像的图像纹理特征;
提取图像纹理特征为现有技术,在此不作赘述。
步骤二,将预设标记物的图像纹理特征与提取的图像纹理特征进行匹配;在匹配成功时,检测出包含预设标记物,否则,检测出不包含预设标记物。
上述标记物可包括方向盘。
在本发明其他实施例中,上述标记物还可包括仪表盘和汽车A柱中的至少一种。
以方向盘为例,方向盘图像可以提取x个图像纹理特征,将采集到的环境图像的图像纹理特征与方向盘图像的图像纹理特征相匹配,如果与N个图像纹理特征匹配(N小于等于x),则判定匹配成功,否则判定匹配失败。
仪表盘和汽车A柱的匹配与之类似,在此不作赘述。
或者在本发明其他实施例中,上述所有实施例中的步骤S4可包括:
计算采集到的环境图像与标准环境图像之间的相似度;
在相似度大于(或大于等于)预设的相似度阈值时,判断出佩戴者所处座位是驾驶座;否则,判断出佩戴者的所处座位不是驾驶座。
在计算相似度时,可计算两图像间灰度的相似度,也可计算图像纹理特征的相似度。例如,假定标准环境图像可以提取出G个图像纹理特征,将采集到的环境图像的图像纹理特征与标准环境图像的图像纹理特征相匹配,如果与m个图像纹理特征匹配(m小于等于G),则判定匹配成功,否则判定匹配失败。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:
在检测到连接至车载无线网络后,将已连接至HMD的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统。
可穿戴设备并不属于头戴式设备,只是通过wifi、蓝牙等连接至头戴式设备。利用头戴式设备的屏幕显示服务可以显示可穿戴设备采集到的数据。
穿戴设备可包括手表、心率臂带和胸带中的至少一种。而设备信息可包括设备属性(功能),配对信息(是否支持蓝牙,wifi,红外),以及认证信息(<密码>,设备名)等中的至少一种。
车载系统在获取到的设备信息后,可搜索上述可穿戴设置(例如心率带),并与搜索到的可穿戴设备建立连接。车载系统在建立连接后,还可将与之建立连接的可穿戴设备的状态信息发送给HMD,以便HMD刷新自己管理的已连接设备的状态。车载系统可使用该心率带数据评估司机疲劳、困倦状态。
令车载系统连接可穿戴设备,除了可避免HMD的佩戴者在驾车时通过HMD的近眼显示设备查看可穿戴设备采集到的数据外,还可减少HMD的能耗。
而出于减少HMD能耗的考虑,在本发明其他实施例中,无论HMD的佩戴者是否处于驾驶状态,都可令与HMD建立连接的可穿戴设备转而与车载系统建立连接。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:
在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备(或者说,与HMD断开连接的可穿戴设备),并与搜索到的可穿戴设备重新建立连接。
也即,在检测到与车载无线网络断开连接后,可主动搜索曾经与HMD连接的可穿戴设备,并与之建立连接,接收其数据。
与之相对应,本发明实施例还提供头戴式设备控制装置。
头戴式设备控制装置可以是安装于头戴式设备中的软件逻辑模块,或者,也可以是独立于头戴式设备之外的控制器,或者,也可以是头戴式设备的处理器,或者,也可以是内置于头戴式设备中除处理器之外的芯片。请参见图8,头戴式设备控制装置800可包括情境数据采集单元1、第一判断单元2、图像采集控制单元3、第二判断单元4和服务管理单元5,其中:
情境数据采集单元1用于,采集情境数据。
上述情境数据可包括运动速度数据v、车载无线网络信号强度数据x、用户日程表数据y和环境噪音强度数据z中的至少一种。
根据前述的记载可知,x(实际信号强度P)可由HMD中的车载无线网络连接模块(例如WiFi模块)或外部设备(例如手机)提供,y可由HMD中的日程表模块提供,z可由HMD中的话筒或外部专用声音采集装置提供,v可由HMD中的GPS模块或加速度传感器采集计算得到,也可直接由车载系统提供。
因此,情境数据采集单元1可从HMD中的车载无线网络连接模块或外部设备处获取x或P,从HMD中的日程表模块处获取y,从HMD中的话筒或外部专用声音采集装置处获取z,从HMD中的GPS模块/加速度传感器/车载系统处获取v。第一判断单元2用于,使用情境数据判断头戴式设备的佩戴者是否位于行驶的车辆内;图像采集控制单元3用于,判定佩戴者位于行驶的车辆内时,控制头戴式设备中的图像采集装置采集环境图像;
第二判断单元4用于,使用采集到的环境图像,判断佩戴者所处座位是否是驾驶座;
服务管理单元5用于,判定佩戴者所处座位是驾驶座时,禁用预设服务。其中,预设服务至少包括近眼显示器的屏幕显示服务。
服务管理单元5还可用于判定佩戴者所处座位不是驾驶座时,或者,判定佩戴者未位于行驶的车辆内时,启用或保持上述预设服务。
相关内容请参见本文前述记载,在此不作赘述。
需要说明的是,当头戴式设备控制装置是独立于头戴式设备之外的控制器,或者是内置于头戴式设备中除处理器之外的芯片时,其可向头戴式设备中的处理器发送控制指令,令头戴式设备的处理器停止提供预设服务,从而达到禁用预设服务的目的。
而当头戴式设备控制装置是安装于头戴式设备中的软件逻辑模块,或者,头戴式设备的处理器时,则可直接禁用预设服务。
在本发明其他实施例中,上述头戴式设备控制装置800还可包括:
第一连接单元用于,在检测到连接至车载无线网络后,将已连接至头戴式设备的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统,以便车载系统根据获取到的设备信息进行搜索,并与搜索到的可穿戴设备建立连接;
第二连接单元用于,在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
相关内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述头戴式设备控制装置800还可包括第一连接单元和第二连接单元,其中:
第一连接单元用于,在检测到连接至车载无线网络后,将已连接至头戴式设备的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统,以便车载系统根据获取到的设备信息进行搜索,并与搜索到的可穿戴设备建立连接;
第二连接单元用于,在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
相关内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述头戴式设备控制装置800还可包括:
转换单元,用于判定所处座位是驾驶座时,将接收到的、来自预设紧急联系人的信息,转换为语音信息播放。
相关内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述头戴式设备控制装置800还可包括:
推送单元,用于判定佩戴者所处座位是驾驶座时,将屏幕显示服务推送至头戴式设备之外的显示屏上。
相关内容请参见本文前述记载,在此不作赘述。
图9为本发明实施例提供的头戴式设备控制装置800(作为独立于头戴式设备之外的控制器)的硬件结构示意图,其可包括处理器801、存储器802、总线803和通信接口804。处理器801、存储器802、通信接口804通过总线803相互连接;存储器802,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。
存储器802可能包含高速随机存取存储器(random access memory,简称RAM)存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器801可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器801执行存储器802所存放的程序,用于实现本发明实施例提供的头戴式设备控制方法,包括:
采集情境数据;情境数据包括运动速度数据、车载无线网络信号强度数据、用户日程表数据和环境噪声强度数据中的至少一种;
使用上述情境数据判断佩戴者是否位于行驶的车辆内;
若判定佩戴者位于行驶的车辆内,则控制头戴式设备中的图像采集装置采集环境图像;
使用采集到的环境图像,判断佩戴者所处座位是否为驾驶座;
若判定佩戴者所处座位是驾驶座,则禁用预设服务,预设服务包括近眼显示器的屏幕显示服务。
此外,上述处理器801亦可用于完成本文方法部分所介绍的头戴式设备控制方法中的其他步骤,以及各步骤的细化,在此不作赘述。
CPU和存储器可集成于同一芯片内,也可为独立的两个器件。
与之对应,本发明实施例还提供一种头戴式设备,其可包括图像采集装置、近眼显示器和上述的头戴式设备控制装置,其中,头戴式设备控制装置800分别与图像采集装置和近眼显示器相连接。
图10示出了头戴式设备的一种具体的结构。
需要说明的是,现有技术中有限制开车的司机使用手机的技术方案,在该方案中,通过速度检测确定司机是否正在驾驶,如果检测到驾驶则通过位于司机座位下的信号发生装置产生控制信号,通过人体,把信号传导给用户手中的手机,控制手机的功能,禁止司机边开车边使用手机;如果速度检测发现汽车停止,则终止对手机的限制允许司机使用手机。
上述现有技术方案必须使用具有人体通信接收装置的特殊手机,并且需要对司机驾驶的汽车进行改造安装信号发生装置才可实现。
而在本发明实施例中,头戴式设备控制装置可以是安装于头戴式设备中的软件逻辑模块,或者,也可以是头戴式设备的处理器,或者,也可以是内置于头戴式设备中除处理器之外的芯片。进一步的,头戴式设备控制装置的情境数据采集单元1可从HMD中的车载无线网络连接模块处获取x或P,从HMD中的日程表模块处获取y,从HMD中的话筒处获取z,从HMD中的GPS模块/加速度传感器处获取v。
也即,从头戴式设备的角度来讲,其可通过分析自身采集的数据,来判断使用者是否在驾驶,如判定在驾驶,则自动禁用预设服务。在此过程中,并不需要通过人体通信,也不需要汽车座位下的某设备发出控制指令,从而头戴设备并不需要使用具有人体通信接收装置,也不需要对汽车进行改造。
参见图11,为本发明提供的头戴式设备控制方法的流程图,其至少可包括如下步骤:
S101、使用采集的状态数据判断头戴式设备的佩戴者所处状态。
其中,上述状态数据包括情境数据和环境图像。而情境数据可包括运动速度数据v、车载无线网络信号强度数据x、用户日程表数据y和环境噪音强度数据z中的至少一种。
而上述状态可包括驾驶状态和非驾驶状态。
S102、在判定所述佩戴者处于驾驶状态时,禁用预设服务。
上述预设服务包括近眼显示器的屏幕显示服务、手工输入服务和投影显示服务中的至少一种。
一般的,HMD上具有触摸板和按钮,佩戴者可通过触摸触摸板,或者,按压/拨动按钮与HMD交互。而触摸、按压、拨动等也可能分散佩戴者注意力。因此,更具体的,手工输入服务可包括触摸板和按钮手工输入。
在本实施例中,在使用状态数据判定出佩戴者处于驾驶状态时,禁用预设服务。以减少对佩戴者注意力的分散,提高驾驶安全性。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:
将接收到的、来自预设紧急联系人的信息,转换为语音信息播放。
在HMD中可维护一个紧急联系人列表,该列表里的联系人都是预设紧急联系人。
更具体的,上述信息可包括邮件标题和短消息中的至少一种。当接收到来自紧急联系人的邮件、短消息时,可将邮件标题、短消息转换成语音播放给佩戴者。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:将屏幕显示服务推送至头戴式设备之外的显示屏上。例如,可将其推送到车载系统的显示屏或者同车乘客的终端上进行显示。
在本发明其他实施例中,请参见图12,上述控制方法还可包括如下步骤:
S103、在判定上述佩戴者不处于驾驶状态时,启用或保持预设服务。
在本发明其他实施例中,请参见图13,上述步骤S101(使用所述状态数据判断所述头戴式设备的佩戴者所处状态)可进一步包括:
S2、使用情境数据判断头戴式设备的佩戴者是否位于行驶的车辆内;
S4、若判定上述佩戴者位于行驶的车辆内,使用上述环境图像判断佩戴者所处座位是否是驾驶座。
需要说明的是,在本实施例中,当上述佩戴者位于行驶的车辆内并且所处座位为驾驶座时,判定上述头戴式设备的佩戴者处于驾驶状态。或者说,驾驶状态包括佩戴者位于行驶的车辆内并且所处座位为驾驶座。
也即,步骤102可进一步包括如下步骤:
S5、若判定所处座位是驾驶座,则禁用预设服务。
在本发明其他实施例中,上述步骤S101(使用所述状态数据判断所述头戴式设备的佩戴者所处状态)还可进一步包括:
在判定上述佩戴者未位于行驶的车辆内或者上述所处座位不为驾驶座时,判定上述佩戴者处于非驾驶状态。
也可以说,非驾驶状态包括上述佩戴者未位于行驶的车辆内或者上述所处座位不为驾驶座。
在本发明其他实施例中,可先采集环境图像和情景数据(S0)。再执行步骤S101或步骤S2(请参见图14)。进一步的,可先采集环境图像,再采集情景数据,再执行步骤S101或步骤S2。反之,也可先采集情景数据,再采集环境图像,再执行步骤S101或步骤S2。
或者,请参见图15,可先采集情景数据(S1),在判定上述佩戴者位于行驶的车辆内,再采集环境图像(S3)。
在本发明其他实施例中,请参见图16,上述步骤S101还可进一步包括如下步骤:
S2’、使用采集的环境图像,判断佩戴者所处座位是否为驾驶座。
S4’、若判定上述佩戴者所处座位为驾驶座,使用上述情境数据判断上述头戴式设备的佩戴者是否位于行驶的车辆内。
当上述佩戴者位于行驶的车辆内并且所处座位为驾驶座时,判定上述头戴式设备的佩戴者处于驾驶状态。
也即,步骤102可进一步包括如下步骤:
S5’、若判定所处座位是驾驶座,则禁用预设服务。
在本发明其他实施例中,上述步骤S101(使用所述状态数据判断所述头戴式设备的佩戴者所处状态)还可进一步包括:
在判定上述所处座位不为驾驶座或者上述佩戴者未位于行驶的车辆内时,判定上述佩戴者处于非驾驶状态。
在本发明其他实施例中,可先采集环境图像和情景数据(S0’)。再执行步骤S101或步骤S2’(请参见图17)。
进一步的,也可先采集环境图像,再采集情景数据,再执行步骤S101或步骤S2’。反之,也可先采集情景数据,再采集环境图像,再执行步骤S101或步骤S2’。
或者,请参见图18,可先采集环境图像(S1’),在判定上述佩戴者所处座位是驾驶座,再采集情景数据(S3’)。
在本实施例中,可周期性采集环境图像。
对应于图13-18提供的技术方案,步骤S103可进一步包括如下步骤:S6、若判定所处座位不是驾驶座,或者,若判定佩戴者未位于行驶的车辆内,启用或保持预设服务。
特别地,请参见图19,如果执行步骤S2时判定佩戴者未位于行驶的车辆内,那么无需执行步骤S3对应的采集环境图像动作,可直接判定用户处于非驾驶状态,执行步骤S6,启用或保持预设服务。
或者,请参见图20,如果执行步骤S2’时判定佩戴者未处于驾驶座,那么无需执行步骤S3’对应的采集情境数据动作,可直接判定用户处于非驾驶状态,执行步骤S6,启用或保持预设服务。
在本发明其他实施例中,上述使用情境数据判断头戴式设备的佩戴者是否位于行驶的车辆内,以及使用采集到的环境图像判断佩戴者所处座位是否是驾驶座可无先后顺序,并行执行。
当佩戴者位于行驶的车辆内并且所处座位为驾驶座时,判定头戴式设备的佩戴者处于驾驶状态。而当佩戴者未位于行驶的车辆内或者所处座位不是驾驶座时,判定头戴式设备的佩戴者不处于驾驶状态。
综上,在上述多个实施例中,采集环境图像、采集情景数据的顺序是不固定的,可以先采集数据环境图像和情景数据再进行判断;也可以是先采集第一种数据(数据环境图像或情景数据),使用第一种数据进行第一个判断(判断头戴式设备的佩戴者是否位于行驶的车辆内或者判断佩戴者所处座位是否是驾驶座)之后,再采集第二种数据(情景数据或数据环境图像),然后使用第二种数据进行第二个判断(判断佩戴者所处座位是否是驾驶座或者判断头戴式设备的佩戴者是否位于行驶的车辆内);还可以是使用第一种数据进行第一个判断之后,如不进行第二种判断则不采集第二种数据。
下面,将具体介绍如何使用情境数据判断佩戴者是否位于行驶的车辆内。
在本发明其他实施例中,上述所有实施例中方法还可包括如下步骤:
根据情境数据计算得到情境评价值(S7)。
可根据情境评价值判断佩戴者是否位于行驶的车辆内。例如,可根据情境评价值是否大于等于门限值来判断佩戴者是否位于行驶的车辆内。
而上述“使用情境数据判断上述佩戴者是否位于行驶的车辆内”可进一步包括:
判断情境评价值是否大于等于门限值。若情境评价值大于或等于门限值,则判定佩戴者位于行驶的车辆内;而若情境评价值小于门限值,则判定佩戴者未位于行驶的车辆内。
由于前述介绍了多种流程,以图19或20所给出的流程为例,基于情境评价值的流程可参见图21或22。
门限值可设置初始值为“2或3”。并可针对不同的门限值,接收用户的反馈,检验使用该门限值进行判定的正确性,最后选取一个最优的门限值。
在本发明其他实施例中,上述所有实施例中的控制方法还可包括如下步骤:
在满足重启条件时,重新启动头戴式设备中的图像采集装置采集环境图像以及后续的判断操作。
重启条件可包括,佩戴者所处情境发生变化,例如所处情境由位于行驶的车辆内变化为未位于行驶的车辆内(例如,佩戴者离开车辆,或者,车辆由行驶变为停驶),以及,所处情境由未位于行驶的车辆内变化为位于行驶的车辆内(例如佩戴者进入车辆,或者,车辆由停驶变为行驶)中的至少一种。
更具体的,可根据本次计算得出的情境评价值(F1)与上一次计算得出的情境评价值(F0)相比较来判断是否符合重启条件:当F0小于门限值而F1大于等于门限值,或者,F0大于等于门限值而F1小于等于门限值时,判定佩戴者所处情境发生变化。
基于佩戴者所处情境是否发生变化来重新启动采集环境图像操作,上述控制方法的流程还可进行很多种变化。例如,可如图23至图24所示。
在本发明其他实施例中,上述步骤S7可进一步包括:将情境数据代入情境评价函数,得到情境评价值。
更具体的,情境评价函数可包括信号强度评价函数f1(x),日程表评价函数f2(y),环境噪声评价函数f3(z)和运动速度评价函数f4(v)中的至少一种。其中,x表示信号强度数据,y表示用户日程表数据,z表示环境噪声强度评价值,v表示运动速度数据。
情境评价函数可记为F(x,y,z,v)。
在本发明其他实施例中,上述“将情境数据代入情境评价函数,得到情境评价值”可包括:
将x代入f1(x)得到信号强度评价值,将y代入f2(y)得到日程表评价值,将z代入f3(z)得到环境噪声强度评价值,以及,将v代入f4(v)得到运动速度评价值中的至少一种。
更具体的,F(x,y,z,v)=f1(x)+f2(y)+f3(z)+f4(v)。此时,情境评价值等于信号强度评价值、日程表评价值、日程表评价值和运动速度评价值之和。
下面将对各函数进行详细介绍。
一,信号强度评价函数:
f1(x)可有多种表达公式,例如,f1(x)=α1x,其中,α1表示信号强度权重,α1>0,x表示检测到的车载无线网络(WiFi或其他无线通信网络)的信号强度。
x可由HMD中的车载无线网络连接模块(例如WiFi模块)或外部设备(例如手机)采集。x值越大,HMD越有可能在车辆内。
更具体的,x=90+P,P表示实际信号强度,P的取值范围为[-90dbm,0dbm],α1=1/90。
x=90+P,以及α1的取值是依据下述假定而得到的:
假定远离车辆时能检测到的最弱的信号强度是-90dbm,而用户在车辆内的信号强度为0dbm,也即,可以检测到的实际信号强度范围是(-90dbm,0dbm)。然后,做归一化处理令x=90+P,α1=1/90,则f1(x)的取值范围是[0,1]。
当然,x=90+P,α1=1/90只是本实施例所举的例子之一,本领域技术人员可根据实际情况进行灵活设置,例如,令α1=1/180,令x=180+P等。
具体内容可参见本文前述记载,在此不作赘述。
二,日程表评价函数
f2(y)可有多种表达公式,例如,
其中,α2表示日程表权重,α2>0;y包括采集数据时刻的日程表事件集合,Ω表示预设特定事件集合。
y可由HMD中的日程表模块采集提供。
具体内容可参见本文前述记载,在此不作赘述。
三,环境噪声评价函数
f3(z)可有多种表达公式,例如,f3(z)=α3z。
其中,α3表示环境噪声强度权重,α3>0,z表示环境噪声强度。
环境噪声可由HMD中的话筒或外部专用声音采集装置采集。
具体内容可参见本文前述记载,在此不作赘述。
四,运动速度评价
f4(v)可有多种表达公式,例如,
v0表示速度门限,β1表示第一运动速度权重,β2表示第二运动速度权重,t1表示第一速度影响最小值,t2表示第二速度影响最小值,β2≥β1>0,t2≥t1>0。
v可由HMD中的GPS模块或加速度传感器采集计算,也可直接由车载系统提供。
v0是一个速度门限值,超过此门限值,速度越快用户越有可能在行驶的车辆内。
更具体的,v0=30km/h,β1=1/90,t1=0.01,β1=1/60,t1=0.1。假定v的取值范围为[0,120],则f4(v)取值范围为[0.01,2.1]。
当然,本领域技术人员可对v0、β1、β2、t1、t2的取值进行灵活设置,在此不作赘述。
具体内容可参见本文前述记载,在此不作赘述。
下面将介绍如何采集环境图像。
在本发明其他实施例中,上述环境图像可通过如下方式采集:
设置拍照参数并进行拍照,得到环境图像。其中,拍照参数可根据上述v设置,或者,上述拍照参数为预设的标准拍照参数(也即,设置拍照参数为预设的标准拍照参数)。
更具体的,拍照参数可包括曝光时间、光圈口径与镜头焦距的比值的倒数F、感光度和所选对焦点。
如何根据运动速度数据v设置拍照参数可参见本文前述介绍,在此不作赘述。
下面将介绍如何判断佩戴者的所处座位是否为驾驶座。
在本发明其他实施例中,上述所有实施例中的“使用采集的环境图像,判断佩戴者所处座位是否为驾驶座”可包括:
检测采集到的环境图像中是否包含预设标记物;若检测到包含预设标记物,则判定佩戴者所处座位是驾驶座;若检测不到包含预设标记物,则判定佩戴者的所处座位不是驾驶座。
具体内容请参见本文前述记载,在此不作赘述。
或者在本发明其他实施例中,上述所有实施例中的“使用采集的环境图像,判断佩戴者所处座位是否为驾驶座”可包括:
计算采集到的环境图像与标准环境图像之间的相似度;
在相似度大于(或大于等于)预设的相似度阈值时,判断出佩戴者所处座位是驾驶座;否则,判断出佩戴者的所处座位不是驾驶座。
具体内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态之后,上述所有实施例中的控制方法还可包括:
在检测到连接至车载无线网络后,将已连接至HMD的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统。
车载系统在获取到的设备信息后,可搜索上述可穿戴设置,并与搜索到的可穿戴设备建立连接。
此外,车载系统在建立连接后,还可将与之建立连接的可穿戴设备的状态信息发送给HMD,以便HMD刷新自己管理的已连接设备的状态。车载系统可使用该心率带数据评估司机疲劳、困倦状态。
令车载系统连接可穿戴设备,除了可避免HMD的佩戴者在驾车时通过HMD的近眼显示设备查看可穿戴设备采集到的数据外,还可减少HMD的能耗。
而出于减少HMD能耗的考虑,在本发明其他实施例中,无论HMD的佩戴者是否处于驾驶状态,都可令与HMD建立连接的可穿戴设备转而与车载系统建立连接。
具体内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,在确定出佩戴者处于驾驶状态时,上述所有实施例中的控制方法还可包括:
在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备(或者说,与HMD断开连接的可穿戴设备),并与搜索到的可穿戴设备重新建立连接。
当然,也可在判定佩戴者处于非驾驶状态时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
与之相对应,本发明实施例还提供头戴式设备控制装置。
头戴式设备控制装置可以是安装于头戴式设备中的软件逻辑模块,或者,也可以是独立于头戴式设备之外的控制器,或者,也可以是头戴式设备的处理器,或者,也可以是内置于头戴式设备中除处理器之外的芯片。
请参见图25,头戴式设备控制装置25可包括:
状态判断单元251,用于使用采集的状态数据判断头戴式设备的佩戴者所处状态;
其中,上述状态可包括驾驶状态和非驾驶状态。上述状态数据可包括情境数据和环境图像。而上述情境数据可包括运动速度数据、车载无线网络信号强度数据、用户日程表数据和环境噪音强度数据中的至少一种。
具体内容请参见本文前述记载,在此不作赘述。
服务管理单元252,用于在佩戴者处于驾驶状态时,禁用预设服务,所述预设服务包括近眼显示器的屏幕显示服务。
服务管理单元252还可用于判定上述佩戴者不处于驾驶状态时,启用或保持上述预设服务。
相关内容请参见本文前述记载,在此不作赘述。
需要说明的是,当头戴式设备控制装置是独立于头戴式设备之外的控制器,或者是内置于头戴式设备中除处理器之外的芯片时,其可向头戴式设备中的处理器发送控制指令,令头戴式设备的处理器停止提供预设服务,从而达到禁用预设服务的目的。
而当头戴式设备控制装置是安装于头戴式设备中的软件逻辑模块,或者,头戴式设备的处理器时,则可直接禁用预设服务。
在本发明其他实施例中,上述头戴式设备控制装置25还可包括:
第一连接单元用于,在检测到连接至车载无线网络时,将已连接至头戴式设备的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统,以便车载系统根据获取到的设备信息进行搜索,并与搜索到的可穿戴设备建立连接;
进一步的,第一连接单元可在判定所述佩戴者处于驾驶状态之后,检测到连接至车载无线网络时,将已连接至头戴式设备的可穿戴设备的设备信息,发送给车载无线网络所属的车载系统。
第二连接单元用于,在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
或者,第二连接单元可用于,判定上述佩戴者处于非驾驶状态时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
或者,第二连接单元可用于,在确定出佩戴者处于驾驶状态之后,在检测到与车载无线网络断开连接时,搜索与头戴式设备建立过连接的可穿戴设备,并与搜索到的可穿戴设备重新建立连接。
相关内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述头戴式设备控制装置25还可包括:
信息转换单元,用于判定上述佩戴者处于驾驶状态时,将接收到的、来自预设紧急联系人的信息,转换为语音信息播放。
相关内容请参见本文前述记载,在此不作赘述。
在本发明其他实施例中,上述头戴式设备控制装置25还可包括:
屏幕显示服务推送单元,用于判定上述佩戴者处于驾驶状态时,将屏幕显示服务推送至头戴式设备之外的显示屏上。
相关内容请参见本文前述记载,在此不作赘述。
图26为本发明实施例提供的头戴式设备控制装置25(作为独立于头戴式设备之外的控制器)的硬件结构示意图,其可包括处理器251、存储器252、总线253和通信接口254。处理器251、存储器252、通信接口254通过总线253相互连接;存储器252,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。
存储器252可能包含高速随机存取存储器(random access memory,简称RAM)存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器251可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器251执行存储器252所存放的程序,用于实现本发明实施例提供的头戴式设备控制方法,包括:
使用采集的状态数据判断头戴式设备的佩戴者所处状态;
在判定上述佩戴者处于驾驶状态时,禁用预设服务。
其中,上述状态数据包括情境数据和环境图像。而情境数据可包括运动速度数据v、车载无线网络信号强度数据x、用户日程表数据y和环境噪音强度数据z中的至少一种。
而上述状态可包括驾驶状态和非驾驶状态。
其中,预设服务包括近眼显示器的屏幕显示服务、手工输入服务和投影显示服务中的至少一种。
具体内容请参见本文前述记载,在此不赘述。
此外,上述处理器251亦可用于完成本文方法部分所介绍的头戴式设备控制方法中的其他步骤,以及各步骤的细化,在此不作赘述。
例如,在本发明其他实施例中,上述存储器252进一步存放可执行指令,处理器251执行上述可执行指令,可完成如下步骤:
在判定上述佩戴者不处于驾驶状态时,启用或保持上述预设服务。
再例如,在本发明其他实施例中,上述存储器252进一步存放可执行指令,处理器251执行上述可执行指令,可完成如下步骤:
在判定佩戴者处于驾驶状态时,将接收到的、来自预设紧急联系人的信息,转换为语音信息播放。
再例如,在本发明其他实施例中,上述存储器252进一步存放可执行指令,处理器251执行上述可执行指令,可完成如下步骤:
在判定上述佩戴者处于驾驶状态时,将屏幕显示服务推送至上述头戴式设备之外的显示屏上。
再例如,在本发明其他实施例中,上述存储器252进一步存放可执行指令,处理器251执行上述可执行指令,可完成如下步骤(对应使用状态数据判断头戴式设备的佩戴者所处状态):
使用情境数据判断头戴式设备的佩戴者是否位于行驶的车辆内;
若判定佩戴者位于行驶的车辆内,使用环境图像判断佩戴者所处座位是否是驾驶座;
当佩戴者位于行驶的车辆内并且所处座位为驾驶座时,判定头戴式设备的佩戴者处于驾驶状态。
CPU和存储器可集成于同一芯片内,也可为独立的两个器件。
与之对应,本发明实施例还提供一种头戴式设备,其可包括图像采集装置、近眼显示器和上述的头戴式设备控制装置,其中,头戴式设备控制装置25分别与图像采集装置和近眼显示器相连接。
图27示出了头戴式设备的一种具体的结构。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。