裸眼3D私隐式虚拟人机交互系统及方法
技术领域
本发明涉及显示技术和人机交互技术领域,更具体地,涉及一种裸眼3D私隐式虚拟人机交互系统及方法。
背景技术
传统的人机交互方式,要求显示屏幕显示清晰的内容以达到信息反馈给操作者的目的。但显示屏幕的大视角使得非操作者也可窥视到操作信息,这就降低了信息的私隐性和保密性,尤其是在一些保密性要求较高的场合中,存在信息泄露的风险,如在银行的ATM机进行操作,则可能导致操作者的密码与交易信息被侧面的旁人窥视到,进而给持卡人带来经济损失。
现在这方面保密性措施还比较单一,如夏普几年前的9020C款手机,它的防窥窃功能使得只有操作者能看到屏幕信息而旁边位置看不清楚,但还存在着保密性不够等问题,如防窥视广角较小,图像杂乱性不够等问题,给持卡人带来隐患。
发明内容
本发明的目的在于克服现有技术的不足,提供一种裸眼3D私隐式虚拟人机交互系统及方法,该人机交互系统不但防窥视广角较大,而且图像的杂乱性也比较大,保证人机交互系统显示的私密性。
为达到上述目的,本发明采用的技术方案是:
一种裸眼3D私隐式虚拟人机交互系统,包括图像获取设备、图像处理与信息判定终端及3D显示屏幕;图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像;图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕;3D显示屏幕用于载入左眼图像和右眼图像并显示3D图像;所述左眼图像和右眼图像均基于随机散点图绘制。
上述方案中,通过将3D显示技术与随机散点图相结合,使操作者只有在3D显示的左右眼视区内才能看到隐藏的交互画面,而在其他位置只能看到随机散点,增大了人机交互系统的防窥视广角,提高了图像的杂乱性,保证人机交互系统显示的私密性。
优选地,所述图像获取设备为摄像机。
优选地,为了保证摄像机可以拍摄完整个屏幕前方的区域,将所述摄像机的视角设置为大于等于90°。
优选地,所述摄像机的个数为两个,两个摄像机分别位于人眼成像的虚拟屏幕的左上角与右上角,且均与水平面成45°夹角。
优选地,为了防止遮蔽效应,将所述摄像机的个数设置为两个以上,且所有摄像机拍摄区域的并集为整个屏幕前方的区域。
优选地,3D显示屏幕的操作界面内的按钮呈随机显示。这样设置可以进一步增加图像的杂乱性,防止按钮固定显示时,旁观者根据操作者的操作就可以大概猜出图像中的信息。
优选地,为了提示操作者正在执行的操作,裸眼3D私隐式虚拟人机交互系统还包括播放器,当用户手部点击按钮时,播放器播出声音。
优选地,所述3D显示屏幕为指向性背光式的裸眼3D显示屏幕。指向性背光式的裸眼3D显示屏幕仅向屏幕前方提供两个视区,只有操作者的左、右眼同时位于视区内才可以看见随机散点图内隐藏的操作界面,而在其他位置只能看到随机散点,进一步增加了人机交互系统显示的私密性。
一种裸眼3D私隐式虚拟人机交互方法,包括如下步骤:
步骤1.1:基于随机散点图绘制3D显示所需的左眼图像及右眼图像;
步骤1.2:用3D显示屏幕载入左眼图像和右眼图像并显示3D图像;
步骤1.3:用图像获取设备获取用户手部在3D显示屏幕的操作界面内的按钮上操作的手势图像;
步骤1.4:用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕;
步骤1.5:用3D显示屏幕载入左眼图像和右眼图像并显示3D图像。
优选地,步骤1.4中用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将左眼图像和右眼图像传输至3D显示屏幕的步骤如下:
步骤2.1:在手势图像上利用畸变矫正、平滑处理及图像分割技术提取手指的轮廓;
步骤2.2:根据3D显示屏幕与图像获取设备的位置关系及手指在图像获取设备获取的手势图像中的图像坐标计算出手指的世界坐标;
步骤2.3:比对手指的世界坐标和3D显示屏幕的操作界面内的各个按钮的世界坐标,即可确定用户点击的按钮与想要执行的操作;
步骤2.4:分别在对应的左眼图像和右眼图像中执行相应的操作,并将处理过的左眼图像和右眼图像传输至3D显示屏幕。
与现有技术相比,本发明的有益效果是:
本发明一种裸眼3D私隐式虚拟人机交互系统及方法,通过将3D显示技术与随机散点图相结合,使操作者只有在3D显示的左右眼视区内才能看到隐藏的交互画面,而在其他位置只能看到随机散点,增大了人机交互系统的防窥视广角,提高了图像的杂乱性,保证人机交互系统显示的私密性;通过将3D显示屏幕的操作界面内的按钮设置成随机显示,可以进一步增加图像的杂乱性,防止按钮固定显示时,旁观者根据操作者的操作就可以大概猜出图像中的信息;通过将3D显示屏幕设置成指向性背光式的裸眼3D显示屏幕,仅向显示屏幕前方提供两个视区,可以进一步增加人机交互系统显示的私密性。
附图说明
图1为本发明实施例中人机交互界面在3D显示屏幕外面成像的原理图。
图2为本发明实施例中的左眼图像示意图。
图3为本发明实施例中的右眼图像示意图。
图4为本发明实施例中两个摄像机与3D显示屏幕的位置关系结构示意图。
图5为本发明实施例中三个摄像机与3D显示屏幕的位置关系结构示意图。
图6为本发明实施例中四个摄像机与3D显示屏幕的位置关系结构示意图。
图7为本发明实施例中基于指向性背光式的裸眼3D显示屏幕的显示效果图。
图8为本发明实施例中旁观者在非设定的左右眼视区内观看到的操作界面示意图。
图9为本发明实施例中操作者在设定的左右眼视区内观看到的操作界面示意图。
图10为本发明实施例中在设定的左右眼视区内观看到的操作界面示意图,其中操作界面内的按钮呈随机显示。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本专利的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例
本实施例一种裸眼3D私隐式虚拟人机交互系统的示意图如图4至图6所示,包括图像获取设备、图像处理与信息判定终端及3D显示屏幕;图像获取设备用于获取用户手部在3D显示屏幕的操作界面内的按钮上进行操作的手势图像;图像处理与信息判定终端用于对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕;3D显示屏幕用于载入左眼图像和右眼图像并显示3D图像,人机交互界面在3D显示屏幕外面成像的原理图如图1所示;所述左眼图像和右眼图像均基于随机散点图绘制,如图2和图3所示,这样设置使左、右眼只有同时位于设定的左、右眼视区时才能看到隐藏的交互画面,而在其他位置只能看到随机散点。
本实施例中,图像获取设备为摄像机,摄像机的个数为两个,两个摄像机分别位于人眼成像的虚拟屏幕的左上角与右上角,且均与水平面成45°夹角,如图4所示,每个摄像机的视角均大于等于90°,以保证摄像机可以拍摄完整个屏幕前方的区域,每个摄像机与镜头均经过图像标定板进行双目系统内、外参数的标定,以实现图像畸变校正;3D显示屏幕为指向性背光式的裸眼3D显示屏幕,其仅向屏幕前方提供两个视区,只有操作者的左、右眼同时位于视区内才可以看见随机散点图内隐藏的操作界面,而在其他位置只能看到随机散点,如图7所示,而且指向性背光式的裸眼3D显示屏幕的防窥视广角较大,这有利于增加人机交互系统显示的私密性,另外,指向性背光式的裸眼3D显示屏幕的亮度和对比度较普通液晶屏幕好。
人机交互时,操作者站在指向性背光式的裸眼3D显示屏幕的前方,并使双眼分别位于设定的左、右眼视区内,此时,操作者将能看到随机散点图内隐藏的操作界面,如图9所示,而旁观者的双眼在非设定的左、右眼视区内,只能看到杂乱的散点,如图8所示。当用户对操作界面内的按钮进行操作时,摄像机进行拍照,以获得操作者手部在指向性背光式的裸眼3D显示屏幕的操作界面内的按钮上进行操作的手势图像,图像处理与信息判定终端对已获得的手势图像进行一系列处理,如畸变矫正、平滑处理及图像分割技术,即可确定操作者手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至指向性背光式的裸眼3D显示屏幕,指向性背光式的裸眼3D显示屏幕载入左眼图像和右眼图像并显示3D图像;操作者可以在操作界面内点击数字按钮,退格“←”按钮等,直至操作者点击确认“√”按钮时,表示输入完毕,退出该人机交互界面。
其中,将指向性背光式的裸眼3D显示屏幕的操作界面内的按钮设置成随机显示,如图10所示,这有助于进一步增加图像的杂乱性,防止按钮固定显示时,旁观者根据操作者的操作就可以大概猜出图像中的信息。
另外,该裸眼3D私隐式虚拟人机交互系统还包括播放器,当用户手部点击按钮时,播放器播出声音。
其中,为了防止遮蔽效应,将摄像机的个数设置为三个,其中人眼成像的虚拟屏幕的左上角与右上角各设置一个摄像机,虚拟屏幕的正下方设置一个摄像机,如图5所示。三个摄像机拍摄三幅操作者的手部在指向性背光式的裸眼3D显示屏幕的操作界面内的手势图像,通过对这三幅图像的处理,确定操作者手部点击的按钮与想执行的操作。
另外,为了防止三个摄像机时放在虚拟屏幕的正下方的那个摄像机需要的视角较广,可使用四个摄像机,这四个摄像机分别放置在人眼成像的虚拟屏幕的对角线的四个顶端,如图6所示。此时,四个摄像机拍摄四幅手势图像,通过对这四幅图像的处理,确定操作者手部点击的按钮与想执行的操作。
当然,也可以设置更多的摄像机,只要保证所有摄像机拍摄区域的并集为整个屏幕前方的区域即可,对各个摄像机拍摄的所有手势图像进行处理,以确定操作者手部点击的按钮与想执行的操作。
本发明一种裸眼3D私隐式虚拟人机交互的交互方法如下:首先,基于随机散点图绘制3D显示所需的左眼图像及右眼图像;其次,用3D显示屏幕载入左眼图像和右眼图像并显示3D图像;再次,用图像获取设备获取用户手部在3D显示屏幕的操作界面内的按钮上操作的手势图像;然后,用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将处理过的左眼图像和右眼图像传输至3D显示屏幕;最后,用3D显示屏幕载入左眼图像和右眼图像并显示3D图像。
其中,用图像处理与信息判定终端对图像获取设备获取的手势图像进行处理,以确定用户手部点击的按钮与想执行的操作,在对应的左眼图像和右眼图像上执行相应的操作后将左眼图像和右眼图像传输至3D显示屏幕的步骤如下:首先,在手势图像上利用畸变矫正、平滑处理及图像分割技术提取手指的轮廓;其次,根据3D显示屏幕与图像获取设备的位置关系及手指在图像获取设备获取的手势图像中的图像坐标计算出手指的世界坐标;然后,比对手指的世界坐标和3D显示屏幕的操作界面内的各个按钮的世界坐标,即可确定用户点击的按钮与想要执行的操作;最后,分别在对应的左眼图像和右眼图像中执行相应的操作,并将处理过的左眼图像和右眼图像传输至3D显示屏幕。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。