CN111651044A - 一种裸眼3d体感交互系统和控制系统 - Google Patents
一种裸眼3d体感交互系统和控制系统 Download PDFInfo
- Publication number
- CN111651044A CN111651044A CN202010490891.9A CN202010490891A CN111651044A CN 111651044 A CN111651044 A CN 111651044A CN 202010490891 A CN202010490891 A CN 202010490891A CN 111651044 A CN111651044 A CN 111651044A
- Authority
- CN
- China
- Prior art keywords
- naked eye
- coordinate data
- state
- somatosensory
- aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
本发明提出一种裸眼3D体感交互系统,包括:裸眼3D显示装置和体感交互装置,所述裸眼3D显示装置具有2D显示屏,固定在所述2D显示屏前的渐变孔径狭缝光栅,以及固定在所述2D显示屏和所述渐变孔径狭缝光栅之间的隔离各相邻的图像元的障壁,所述交互装置具有识别自身坐标数据的人体坐标传感器,其中,所述渐变孔径狭缝光栅的各狭缝的孔径宽度符合第一设置规则。本发明提供的裸眼3D体感交互系统,既能实现裸眼3D显示,同时还能实现自然、沉浸和临场感强烈的体感交互体验。
Description
技术领域
本发明涉及一种裸眼3D体感交互系统及控制系统。
背景技术
人机交互技术一直是国内外研究的热点,而人们早已不能满足手持交互工具、被动观看的交互方式。因此,关于体感交互的研究越来越多,手势与体感直接完成交互输入的方式得到越来越多的关注和应用。体感交互基于与2D显示的结合运用较多,而虚拟现实技术实际上是穿戴式3D显示与体感交互的结合。
然而,裸眼3D显示技术属于非穿戴式,其作为显示技术重要的技术前沿方向,将是显示系统今后的重要发展方向。到目前为止,体感交互与裸眼3D显示设备的技术融合仍然鲜见。
发明内容
本发明是为了解决上述问题而进行的,提供了一种既能实现裸眼3D显示,同时还能实现自然、沉浸和临场感强烈的交互系统及控制系统。
为实现上述目的,本发明提出一种裸眼3D体感交互系统,具有这样的特征,包括:裸眼3D显示装置和体感交互装置,所述裸眼3D显示装置具有2D显示屏1,固定在所述2D显示屏1前的渐变孔径狭缝光栅2,以及固定在所述2D显示屏1和所述渐变孔径狭缝光栅2之间的隔离各相邻的图像元的障壁3,所述交互装置具有识别自身坐标数据的人体坐标传感器,其中,所述渐变孔径狭缝光栅的各狭缝的孔径宽度符合第一设置规则。
另外,本发明提供的裸眼3D体感交互系统,还具有这样的特征,所述第一设置规则包括:所述渐变孔径狭缝光栅的各狭缝的孔径宽度Wi符合
其中,所述渐变孔径狭缝光栅的狭缝列数与所述图像元个数为M,i为所述渐变孔径狭缝光栅上的当前狭缝,w为位于所述渐变孔径狭缝光栅中心位置的狭缝的孔径宽度,g为所述2D显示屏与所述渐变孔径狭缝光栅之间的间距,p为所述渐变孔径狭缝光栅中单个狭缝的节距,l为观看距离。
此外,为实现上述目的,本发明还提供了一种运行上述裸眼3D体感交互系统的控制系统控制系统,具有这样的特征,包括以下步骤:
显示输出模块:在所述裸眼3D显示装置上实现裸眼3D视觉内容;
交互输入模块:当用户基于所述裸眼3D视觉内容做出连续回应动作形成自由动作状态链时,所述体感交互装置识别所述连续回应动作,并根据动作识别链识别规则,获取并识别连续自身坐标数据集合。
另外,本发明提供的控制系统中,还具有这样的特征,所述交互输入模块中,根据所述动作识别链规则识别所述连续回应动作时,包括以下步骤:
设定初始态:识别状态集的预设状态作为初始态;
开启自由动作状态链:当手动控制光标与界面元素发生碰撞时,作为自由动作状态链的开端,并开启时间戳,对所述自由动作状态链中后续连续时刻的连续动作在预设时间周期内计时;
坐标初始化:将所述自由动作状态链中第1个时刻的状态集的首时刻状态空间坐标数据初始化,得到初始化体感坐标数据;
记录中间态:在预设时间周期内,通过与所述初始化体感坐标数据的相对值依次记录后续每个时刻的后续时刻状态集体感坐标数据,并分别进行时间戳验证;
坐标转化:根据第一转换规则对连续的所述各状态集体感坐标数据进行坐标转化,得到所述连续自身坐标数据集合;
识别坐标:对所述连续自身坐标数据集合进行识别,当识别成功时,所述裸眼3D显示装置显示后续裸眼3D视觉内容,当识别无效时,回到所述设定初始态步骤。
另外,本发明提供的控制系统中,还具有这样的特征,相邻的每两个时刻之间具有固定的时间间隔。
另外,本发明提供的控制系统中,还具有这样的特征,所述状态集包括各人体关键骨骼点空间位置以及手势姿势。
另外,本发明提供的控制系统中,还具有这样的特征,所述第一转换规则为:
Pn=α×Rn+(1-α)×Pn-1
其中,n为当前时刻,Pn为当前时刻时状态集的自身坐标数据,α为滤波系数,Rn为当前时刻时状态集的体感坐标数据;Pn-1为上一时刻时状态集的自身坐标数据。
发明作用和效果
本发明所涉及的裸眼3D体感交互系统和控制系统,与现有的技术相比,通过采用裸眼3D显示装置实现裸眼3D显示技术,来代替传统2D显示技术,构建了自然、沉浸的交互体验,显著增加了交互沉浸感,填补了体感互动在非穿戴式裸眼3D显示应用中的空白;其相比于穿戴式的裸眼3D互动系统,对环境的要求更低,参与感和真实感更强。同时,通过设计平滑滤波的处理规则来滤除动作识别中的人体骨骼抖动,提高数据的数据稳定性,有利于精确实现互动坐标转换;再配合识别在预设响应时间内的动作状态集合时间戳的一系列动作识别链,实现了一系列人体动作识别;从而可使得本设计在不降低互动响应时间的前提下,实现较好的体感互动。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的裸眼3D体感交互控制系统的架构图。
图2是本发明的裸眼3D体感交互控制系统的动作识别链流程图。
图3是本发明的裸眼3D显示装置的渐变孔径狭缝光栅结构示意图。
图4是本发明的裸眼3D显示装置的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
以下参照附图及实施例对本发明所涉及的一种裸眼3D体感交互方法、装置和存储设备作详细的描述。以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
图1是本发明的裸眼3D体感交互控制系统的架构图。
如图1所示的体感互动裸眼3D体感交互系统,包括裸眼3D显示输出装置和体感交互输入装置两个部分,在人体之间形成信息传递循环链,人体可以持续感受裸眼3D显示输出装置所述输出的裸眼3D画面信息并且根据视觉内容作出回应动作,回应动作则被所述体感交互输入装置所识别。
图3是本发明的裸眼3D显示装置的渐变孔径狭缝光栅结构示意图。
图4是本发明的裸眼3D显示装置的结构示意图。
进一步,本发明中提供了一种裸眼3D体感交互系统,包括:裸眼3D显示装置和体感交互装置,如图3、4所示,所述裸眼3D显示装置具有2D显示屏,固定在所述2D显示屏前的渐变孔径狭缝光栅,以及固定在所述2D显示屏和所述渐变孔径狭缝光栅之间的隔离各相邻的图像元的障壁。所述2D显示屏、所述渐变孔径狭缝光栅以及所述障壁共同组成裸眼3D显示屏,在屏幕上显示互动3D图像或界面(UI)。
另外,如图3所示,所述渐变孔径狭缝光栅具有孔径宽度渐变的各狭缝,所述各狭缝的孔径宽度Wi符合第一设置规则。更具体而言,在本发明的裸眼3D显示装置中,设置在2D显示屏前的渐变孔径狭缝光栅的狭缝孔径宽度从中心到两边边缘逐渐增大,同时,任意一列狭缝的水平孔径宽度上下相同。在隔离相邻图像元的障壁3的配合作用下,裸眼3D显示装置可在不减小光学效率和分辨率的前提下,可实现较宽视角的裸眼3D成像显示。
更具体而言,所述第一设置规则包括:所述渐变孔径狭缝光栅的各狭缝的孔径宽度Wi符合
其中,所述渐变孔径狭缝光栅的狭缝列数与所述图像元个数为M,i为所述渐变孔径狭缝光栅上的当前狭缝,w为位于所述渐变孔径狭缝光栅中心位置的狭缝的孔径宽度,如图3所示,g为所述2D显示屏与所述渐变孔径狭缝光栅之间的间距,p为所述渐变孔径狭缝光栅中单个狭缝的节距,l为观看距离,Ceil和Floor为通用的计算机运算函数。所述图像元为预设的图像基本单元或可视图像显示单元。
另外,所述体感交互装置具有识别自身坐标数据的人体坐标传感器,用于识别人体动作。在一些实施例中,所述体感交互装置采用微软Kinect体感设备,用于体感动作检测以及识别交互。
本发明提供一种控制系统。
在图1所示的控制系统架构图中,在运行裸眼3D体感交互系统时包括以下模块:裸眼3D显示输出模块110、体感交互输入模块120。
裸眼3D显示输出模块110:在所述裸眼3D显示装置上实现裸眼3D视觉内容。
在本发明中,通过裸眼3D显示装置实现裸眼3D视觉内容,用户无需佩戴相关3D视觉输入装置即可直接通过双眼接收裸眼3D视觉内容。根据所述裸眼3D视觉内容,用户可做出回应动作。从而在体感交互输入与裸眼3D显示输出两个部分之间与人体之间形成信息传递循环链。
体感交互输入模块120:当用户基于所述裸眼3D视觉内容做出连续回应动作形成自由动作状态链时,所述体感交互装置识别所述连续回应动作,并根据动作识别链识别规则,获取并识别连续自身坐标数据集合。
图2是本发明的裸眼3D体感交互控制系统的动作识别链流程图。
进一步,所述体感交互输入模块中,如图2所示,根据所述动作识别链规则对所述连续回应动作识别时,包括以下步骤:
设定初始态:识别状态集的预设状态作为初始态S0。
在本发明中,由于所述状态集包括各人体关键骨骼点的空间位置以及手势姿势。因而状态集的预设状态包括处于预设位置的各人体关键骨骼点的空间位置以及手势姿势(包括手张开、握拳等)。在识别开始前,所述体感交互装置将识别处于预设位置的人体状态,作为初始态S0。根据所需识别的动作的不同,状态集的预设状态也不同,因而各人体关键骨骼点的空间位置以及手势姿势将需处于各不同预设位置。
在一些实施例中,当所述体感交互装置需要识别挥手动作时,用户将需要将双手举起,作为所述状态集的预设状态。所述体感交互装置将识别各人体关键骨骼点(如手臂等)是否处于向上伸直,以及手势姿势是否张开来识别用户是否处于预设位置。
开启自由动作状态链:当手动控制光标与界面元素(UI)发生碰撞时,作为自由动作状态链的开端f0,并开启时间戳T0,对所述自由动作状态链中后续连续时刻的连续动作在预设时间周期内计时。
如图2所示,所述动作识别链的识别规则只考虑时间限制以缩短响应时间,即对于每个需识别的动作都具有预设的时间周期。在一些实施例中,对于挥手动作的识别可设置2S的时间周期,对于击打动作的识别可设置1S的时间周期。在一些实施例中,所述微软Kinect体感设备对各动作具有预设的各时间周期。
而对于可能处于任意位置的人体动作之类的自由动作状态,在构建动作识别链时将其空间位置特征留空,识别链开始识别之后再向其赋值。
坐标初始化:将所述自由动作状态链中第1个时刻的首时刻状态集的空间坐标数据初始化,得到初始化体感坐标数据S1。
记录中间态:在所述预设时间周期内,通过与所述初始化体感坐标数据的相对值依次记录后续每个时刻的后续时刻状态集体感坐标数据(S2-Sk),并分别进行时间戳验证。
更具体而言,本发明的控制系统中,每个相邻所述时刻之间具有固定的时间间隔。即上述的后续每个时刻与下一个时刻之间具有固定间隔。所述的固定间隔的大小可以在所述体感交互装置中预设。在一些实施例中,所述微软Kinect体感设备具有预设的时刻固定间隔。
坐标转化:根据第一转换规则对连续的所述各状态集体感坐标数据进行坐标转化,得到所述连续自身坐标数据集合。
更具体而言,所述体感交互输入模块的体感坐标数据依据低通滤波器原理,经过体感数据平滑滤波算法后得到自身坐标数据。本发明的控制系统中,所述第一预设规则为:
Pn=α×Rn+(1-α)×Pn-1
其中,n为当前时刻动作,
Pn为当前时刻动作时状态集的自身坐标数据,
α为滤波系数,
Rn是当前时刻动作时状态集的体感坐标数据;
Pn-1是上一时刻动作时状态集的自身坐标数据。
在一些实施例中,所述滤波系数通常为一个较小的值。
识别坐标:对所述连续自身坐标数据集合进行识别,当识别成功(f1)时,所述裸眼3D显示装置显示后续裸眼3D视觉内容,当识别无效时,回到所述设定初始态步骤。
更具体而言,在本发明中,当手动控制光标与UI元素发生碰撞激发,一旦进入状态链即通过T0操作为自由动作状态链的定义位置信息并开启时间戳;f1表示识别成功,将会通知系统界面做出响应;如图2所示,如果f1之前任何状态的时间戳超时即进入到f2复位识别链,识别无效,如S0、S1。
实施例的作用与效果
根据本实施例所涉及的所涉及的裸眼3D体感交互系统和控制系统,与现有的技术相比,通过采用裸眼3D显示装置实现裸眼3D显示技术,来代替传统2D显示技术,构建了自然、沉浸的交互体验,显著增加了交互沉浸感,填补了体感互动在非穿戴式裸眼3D显示应用中的空白;其相比于穿戴式的裸眼3D互动系统,对环境的要求更低,参与感和真实感更强。同时,通过设计平滑滤波的处理规则来滤除动作识别中的人体骨骼抖动,提高数据的数据稳定性,有利于精确实现互动坐标转换;再配合识别在预设响应时间内的动作状态集合时间戳的一系列动作识别链,实现了一系列人体动作识别;从而可使得本设计在不降低互动响应时间的前提下,实现较好的体感互动。
上述实施方式为本发明的优选案例,并不用来限制本发明的保护范围。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种裸眼3D体感交互系统,其特征在于,包括:
裸眼3D显示装置和体感交互装置,
所述裸眼3D显示装置具有2D显示屏,
固定在所述2D显示屏前的渐变孔径狭缝光栅,
以及固定在所述2D显示屏和所述渐变孔径狭缝光栅之间的隔离各相邻的图像元的障壁,
所述交互装置具有识别自身坐标数据的人体坐标传感器,
其中,所述渐变孔径狭缝光栅的各狭缝的孔径宽度符合第一设置规则。
3.一种运行权利要求1-2所述的裸眼3D体感交互系统的控制系统,其特征在于,包括以下步骤:
显示输出模块:在所述裸眼3D显示装置上实现裸眼3D视觉内容;
交互输入模块:当用户基于所述裸眼3D视觉内容做出连续回应动作形成自由动作状态链时,所述体感交互装置识别所述连续回应动作,并根据动作识别链识别规则,获取并识别连续自身坐标数据集合。
4.根据权利要求3所述的控制系统,其特征在于,所述交互输入模块中,根据所述动作识别链规则识别所述连续回应动作时,包括以下步骤:
设定初始态:识别状态集的预设状态作为初始态;
开启自由动作状态链:当手动控制光标与界面元素发生碰撞时,作为自由动作状态链的开端,并开启时间戳,对所述自由动作状态链中后续连续时刻的连续动作在预设时间周期内计时;
坐标初始化:将所述自由动作状态链中第1个时刻的状态集的首时刻状态空间坐标数据初始化,得到初始化体感坐标数据;
记录中间态:在预设时间周期内,通过与所述初始化体感坐标数据的相对值依次记录后续每个时刻的后续时刻状态集体感坐标数据,并分别进行时间戳验证;
坐标转化:根据第一转换规则对连续的所述各状态集体感坐标数据进行坐标转化,得到所述连续自身坐标数据集合;
识别坐标:对所述连续自身坐标数据集合进行识别,当识别成功时,所述裸眼3D显示装置显示后续裸眼3D视觉内容,当识别无效时,回到所述设定初始态步骤。
5.根据权利要求4所述的控制系统,其特征在于,相邻的每两个时刻之间具有固定的时间间隔。
6.根据权利要求5所述的控制系统,其特征在于,所述状态集包括各人体关键骨骼点空间位置以及手势姿势。
7.根据权利要求6所述的控制系统,其特征在于,所述第一转换规则为:
Pn=α×Rn+(1-α)×Pn-1
其中,n为当前时刻,
Pn为当前时刻时状态集的自身坐标数据,
α为滤波系数,
Rn为当前时刻时状态集的体感坐标数据;
Pn-1为上一时刻时状态集的自身坐标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010490891.9A CN111651044A (zh) | 2020-06-02 | 2020-06-02 | 一种裸眼3d体感交互系统和控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010490891.9A CN111651044A (zh) | 2020-06-02 | 2020-06-02 | 一种裸眼3d体感交互系统和控制系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111651044A true CN111651044A (zh) | 2020-09-11 |
Family
ID=72347066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010490891.9A Withdrawn CN111651044A (zh) | 2020-06-02 | 2020-06-02 | 一种裸眼3d体感交互系统和控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111651044A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115185150A (zh) * | 2022-06-02 | 2022-10-14 | 广州大学 | 一种基于声悬浮的裸眼3d和裸眼vr系统以及实现方法 |
-
2020
- 2020-06-02 CN CN202010490891.9A patent/CN111651044A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115185150A (zh) * | 2022-06-02 | 2022-10-14 | 广州大学 | 一种基于声悬浮的裸眼3d和裸眼vr系统以及实现方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20230170086A (ko) | 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처 | |
Hsieh et al. | A real time hand gesture recognition system using motion history image | |
Bonnici et al. | Sketch-based interaction and modeling: where do we stand? | |
WO2015000286A1 (zh) | 基于增强现实的三维互动学习系统及方法 | |
CN107992188A (zh) | 虚拟现实交互方法、装置与系统 | |
US20170371523A1 (en) | Method for displaying user interface of head-mounted display device | |
CN104571823A (zh) | 一种基于智能电视的非接触式虚拟人机交互方法 | |
US10401947B2 (en) | Method for simulating and controlling virtual sphere in a mobile device | |
US11714880B1 (en) | Hand pose estimation for machine learning based gesture recognition | |
CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
CN114402369A (zh) | 人体姿态的识别方法、装置、存储介质及电子设备 | |
CN108027656A (zh) | 输入设备、输入方法和程序 | |
CN106293099A (zh) | 手势识别方法及系统 | |
CN108628455B (zh) | 一种基于触摸屏手势识别的虚拟沙画绘制方法 | |
CN114821753B (zh) | 一种基于视觉图像信息的眼动交互系统 | |
CN113052078A (zh) | 空中书写轨迹识别方法、装置、存储介质及电子设备 | |
Joolee et al. | Tracking of flexible brush tip on real canvas: silhouette-based and deep ensemble network-based approaches | |
CN111651044A (zh) | 一种裸眼3d体感交互系统和控制系统 | |
US9791932B2 (en) | Semaphore gesture for human-machine interface | |
CN110717993B (zh) | 一种分体式ar眼镜系统的交互方法、系统及介质 | |
CN112199015A (zh) | 智能交互一体机及其书写方法、装置 | |
CN117075727A (zh) | 虚拟空间实现键盘输入的方法和设备 | |
KR101360322B1 (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
US11841920B1 (en) | Machine learning based gesture recognition | |
US11854308B1 (en) | Hand initialization for machine learning based gesture recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200911 |