发明内容
有鉴于此,本发明实施例提供一种体感数据获取方法、装置及电子设备,通过对视频对应的图像帧序列中的关键帧设置体感数据,简化了体感数据的获取过程。
本发明实施例提供一种体感数据获取方法,包括:
识别视频中与每种预设体感交互类型对应的图像帧集合;
根据所述图像帧集合中图像帧号的连续性,确定所述每种预设体感交互类型对应的关键图像帧;
获取全部关键图像帧中的各关键图像帧的体感数据;
根据所述关键图像帧的体感数据获取所述视频中非关键图像帧的体感数据。
可选地,所述根据所述图像帧集合中图像帧号的连续性,确定所述每种预设体感交互类型对应的关键图像帧,包括:
以各段连续图像帧号中的第一帧图像和最后一帧图像作为关键图像帧。
可选地,所述获取全部关键图像帧中的各关键图像帧的体感数据,包括:
对于所述各关键图像帧中的任一关键图像帧,获取所述任一关键图像帧的各第一体感数据和各第二体感数据,所述各第一体感数据分别对应于所述任一关键图像帧的各预设体感交互类型,所述各第二体感数据分别对应于其他各预设体感交互类型,所述各第二体感数据为无效值,所述各第一体感数据与所述各第二体感数据具有相同的数据格式。
可选地,所述数据格式包括三个字节,所述三个字节中的前两个字节对应于目标体感值,所述三个字节中的最后一个字节对应于变化加速度。
可选地,所述根据所述关键图像帧的体感数据获取所述视频中非关键图像帧的体感数据,包括:
对于任一预设体感交互类型,根据所述任一预设体感交互类型对应的关键图像帧的体感数据确定所述任一预设体感交互类型对应的各第一非关键图像帧的体感数据,所述各第一非关键图像帧包含于所述任一预设体感交互类型对应的图像帧集合中;
确定各第二非关键图像帧的体感数据为预设无效值,所述各第二非关键图像帧不包含在获得的所述图像帧集合中。
可选地,所述根据所述任一预设体感交互类型对应的关键图像帧的体感数据确定所述任一预设体感交互类型对应的各第一非关键图像帧的体感数据,包括:
对于所述任一预设体感交互类型对应的各第一非关键图像帧中的任一第一非关键图像帧,若根据所述任一第一非关键图像帧的图像帧号能够从所述任一预设体感交互类型对应的关键图像帧中确定与所述任一第一非关键图像帧对应的目标关键图像帧,则根据所述目标关键图像帧的体感数据确定所述任一第一非关键图像帧的体感数据。
可选地,所述方法还包括:
在通过虚拟现实设备观看所述视频时,根据观看的当前图像帧的图像帧号查询与所述当前图像帧的体感数据;
将所述当前图像帧的体感数据发送至对应的体感控制设备,以使所述体感控制设备触发对应的体感交互操作。
可选地,所述根据所述关键图像帧的体感数据获取所述视频中非关键图像帧的体感数据,包括:
在通过虚拟现实设备观看所述视频时,根据观看的当前图像帧的图像帧号,确定所述关键图像帧中是否存在与所述当前图像帧对应的参考关键图像帧;
若存在,则根据所述参考关键图像帧的体感数据确定所述当前图像帧的体感数据;
将所述当前图像帧的体感数据发送至对应的体感控制设备,以使所述体感控制设备触发对应的体感交互操作。
本发明实施例提供一种体感数据获取装置,包括:
识别模块,用于识别视频中与每种预设体感交互类型对应的帧图像集合;
确定模块,用于根据所述图像帧集合中图像帧号的连续性,确定所述每种预设体感交互类型对应的关键图像帧;
第一获取模块,用于获取全部关键图像帧中的各关键图像帧的体感数据;
第二获取模块,用于根据所述关键图像帧的体感数据获取所述视频中非关键图像帧的体感数据。
本发明实施例提供一种电子设备,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以实现上述涉及到的体感数据获取方法中的任意一种方法。
本发明实施例提供的体感数据获取方法、装置及电子设备,首先,识别视频对应的图像帧序列中各图像帧对应的预设体感交互类型,由对应于同一预设体感交互类型的图像帧组成一个图像帧集合。根据图像帧集合中图像帧号的连续性,在若干连续的图像帧中确定预设体感交互类型对应的关键图像帧。进而,获取全部关键图像帧的体感数据。最后,再依据关键图像帧的体感数据获取非关键图像帧体感数据。关键图像帧的体感数据的获取可以理解为是一种直接获取,而非关键图像帧的体感数据的获取可以理解为是一种间接获取。也就是说,上述体感数据获取方法需要直接获取关键图像帧的体感数据,而无需直接获取所有图像帧的体感数据,降低体感数据获取的复杂度。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明实施例提供的体感数据获取方法实施例一的流程图,如图1所示,该方法包括如下步骤:
S101,识别视频中与每种预设体感交互类型对应的图像帧集合。
在获得一个视频后,可选地,可以通过视频处理软件,如Adobe After Effects,得到与视频对应的图像帧序列以及每帧图像对应的图像帧号,其中,图像帧号用于表示图像帧在图像帧序列中的顺序。
可选地,按照图像帧号将图像帧序列中的每个图像帧与数据库中存储的图像帧进行逐一比对,并且数据库中的图像帧都具有预设的类型标签,类型标签与图像帧对应的视频内容相匹配。同时,数据库中还储存有类型标签与预设体感交互类型之间的对应关系,并且每一种类型标签对应至少一种预设体感交互类型。
可选地,当图像帧序列中的图像帧A与数据库中的图像帧B达到预设的图像相似度时,可以将图像帧A的类型标签设置为与图像帧B相同的类型标签。通过上述过程即可为图像帧序列中的每个图像帧设置相应的类型标签。再基于标签类型与预设体感交互类型之间的对应关系,即可得到每种体感交互类型对应的图像帧集合。每种预设体感交互类型都包括至少一个图像帧集合。
需要说明的是,由于每一种类型标签对应至少一种预设体感交互类型,因此,不同种类的预设体感交互类型可能对应的图像帧集合是相同的。
S102,根据图像帧集合中图像帧号的连续性,确定每种预设体感交互类型对应的关键图像帧。
在某一预设体感交互类型对应的图像帧集合中出现图像帧号连续的若干图像帧时,则表示在此连续的若干图像帧对应的视频播放时段内,视频内容对应的场景相对稳定,此时,可以将此图像帧号连续的若干图像帧中的第一帧图像确定为关键图像帧。因此,每个图像帧集合中关键图像帧的数目对应于此图像帧集合中有多少段连续的图像帧。另外,当某个图像帧集合中只有一帧图像时,则将此图像帧确定为关键图像帧。
S103,获取全部关键图像帧中的各关键图像帧的体感数据。
S104,根据关键图像帧的体感数据获取视频中非关键图像帧的体感数据。
基于步骤S102中确定出各种预设体感交互类型对应的关键图像帧,获取这些关键图像帧的体感数据,此体感数据可以为预设经验值,而此经验值可以以日常生活中相同或相似的场景为基础获得。再根据关键图像帧的体感数据间接得到非关键图像帧的体感数据。可选地,关键图像帧的体感数据可以在视频播放之前获取;且非关键图像帧的体感数据可以是在视频播放之前获取的,也可以是随着视频播放的进度实时获取的。
本实施例中,首先,识别视频对应的图像帧序列中各图像帧对应的预设体感交互类型,由对应于同一预设体感交互类型的图像帧组成一个图像帧集合。根据图像帧集合中图像帧号的连续性,在若干连续的图像帧中确定预设体感交互类型对应的关键图像帧。进而,获取全部关键图像帧的体感数据。最后,再依据关键图像帧的体感数据获取非关键图像帧体感数据。关键图像帧的体感数据的获取可以理解为是一种直接获取,而非关键图像帧的体感数据的获取可以理解为是一种间接获取。也就是说,上述体感数据获取方法需要直接获取关键图像帧的体感数据,而无需直接获取所有图像帧的体感数据,降低体感数据获取的复杂度。
图2为本发明实施例提供的体感数据获取方法实施例二的流程图,如图2所示,该方法可以包括如下步骤:
S201,识别视频中与每种预设体感交互类型对应的图像帧集合。
上述步骤S201的执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此不再赘述。
S202,根据图像帧集合中图像帧号的连续性,确定每种预设体感交互类型对应的关键图像帧。
根据图像帧号对图像帧集合中的图像帧进行分组,以使图像帧集合可以得到若干个图像帧号连续的图像帧组,当然,每个图像帧组中可以包括多帧图像也可以包括一帧图像。此时,可选地,对于包含多帧图像的图像帧组,可以将图像帧组中的第一帧以及最后一帧图像确定为关键图像帧;对于只包含一帧图像的图像帧组,则将此帧图像确定为关键图像帧。
S203,对于各关键图像帧中的任一关键图像帧,获取任一关键图像帧的各第一体感数据和各第二体感数据。
获取关键图像帧的全部预设体感交互类型的体感数据。但在实际应用中,每个关键图像帧中不一定包括全部种类的预设体感交互类型。因此,体感数据可以包括两种类型:第一体感数据和第二体感数据,并且第一体感数据和第二体感数据可以具有相同的数据格式。
当关键图像帧中具有预设体感交互类型A,此时获取关键图像帧中预设体感交互类型A对应的体感数据,称该体感数据为第一体感数据。可选地,第一体感数据可以包括三个字节,前两个字节对应于目标体感值,第三字节对应于变化加速度。当关键图像帧中不具有预设体感交互类型B,此时获取关键帧中预设体感交互类型B对应的体感数据,称该体感数据为第二体感数据,第二体感数据实际上为无效值。
举例来说,假设,全部种类的预设体感交互类型为气流、震动、倾斜和转动。而当某一关键图像帧的类型标签为骑车时,此关键图像帧会包含气流、倾斜和转动类型的体感交互,而不会包括震动类型的体感交互。此时获取气流、倾斜和转动类型的体感交互对应的第一体感数据,同时获取震动类型的感交互对应的第二体感数据。体感数据的数据格式可以参照表1。
表1
气流 |
震动 |
倾斜 |
转动 |
0x00 0xfe 0x01 |
0xff 0xff 0xff |
0x00 0xfe 0x03 |
0x00 0xfe 0x02 |
S204,根据关键图像帧的体感数据获取视频中非关键图像帧的体感数据。上述步骤S204的执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此不再赘述。
本实施例中,根据图像帧号对图像帧集合中的帧图像进行分组,使图像帧集合得到多组具有图像帧号连续的图像帧组,确定各图像帧组中的第一帧和最后一帧为关键图像帧。获取关键图像帧具有的体感交互类型对应的第一体感数据,同时获取关键图像帧不具有的其他体感交互类型对应的第二体感数据,并且第一体感数据与第二体感数据具有相同的数据格式,保证了体感数据的数据格式一致性。这样在将相同数据格式的体感数据发送至虚拟现实设备后,虚拟现实设备能够快速、准确地解析得到体感指令中包含的体感数据,并依据体感数据执行体感指令。
图3为本发明实施例提供的体感数据获取方法实施例三的流程图,如图3所示,该方法可以包括如下步骤:
S301,识别视频中与每种预设体感交互类型对应的图像帧集合。
S302,根据图像帧集合中图像帧号的连续性,确定每种预设体感交互类型对应的关键图像帧。
S303,获取全部关键图像帧中的各关键图像帧的体感数据。
上述步骤S301-S303的执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
在此需要说明的是,在获取全部关键图像帧中的各关键图像帧的体感数据后,即可生成包含各关键图像帧的体感数据的文件体,以及生成包含预设文件头标记、第一体感数据文件的文件大小、文件持续时间的文件头。最终由由文件头和文件体组成第一体感数据文件。
具体地,记录全部关键图像帧的体感数据,用以生成体感数据文件的文件体。进而,再生成与文件体对应的文件头,其中,文件头包括预设文件头标记、第一体感数据文件的文件大小以及文件持续时间。其中,预设文件头标记用于表示数据文件的类型,并且文件持续时间与视频的时长相等。
可选地,预设文件头标记、文件大小和文件持续时间对应的数据格式可以如表2所示。
表2
文件头标记 |
文件大小 |
文件持续时间 |
0x01 |
0x00 0x00 0x00 0x02f |
0x00 0x00 0x02 0x01f |
S304,对于任一预设体感交互类型,根据任一预设体感交互类型对应的关键图像帧的体感数据确定任一预设体感交互类型对应的各第一非关键图像帧的体感数据。
在获取全部关键图像帧的体感数据后,确定任一预设体感交互类型对应的图像帧集合中的非关键图像帧,再根据关键图像帧的体感数据确定第一非关键图像帧的体感数据。
可选地,对于任一预设体感交互类型对应的各第一非关键图像帧中的任一第一非关键图像帧来说,若根据任一第一非关键图像帧的图像帧号能够从任一预设体感交互类型对应的关键图像帧中确定与任一第一非关键图像帧对应的目标关键图像帧,则根据目标关键图像帧的体感数据确定任一第一非关键图像帧的体感数据。
其中,任一第一非关键图像帧对应的目标关键图像帧可以一帧图像也可以是两帧图像。
一种情况是:当目标关键图像帧为一帧图像时,此第一非关键图像帧的体感数据可以由图像帧号小于此第一非关键图像帧的关键图像帧的体感数据确定,此关键图像帧即为目标关键图像帧。对于数据格式为目标体感值和变化加速度的体感数据,可以通过以下公式计算此第一非关键图像帧的体感数据:
Q=Q'+A*(F-F')
其中,Q为第一非关键图像帧的体感数据,Q'为目标关键图像帧的体感数据,A为变化加速度,F和F'分别为第一非关键图像帧与目标关键图像帧的图像帧号。
此时,目标体感值可以理解为对应于同一关键图像帧的若干第一非关键图像帧中最后一个第一非关键图像帧的体感数据所要到达的目标体感值,变化加速度可以理解为体感数据的变化速度。
举例来说,当关键图像帧01帧的震动体感数据为如表3所示时,
表3
|
01帧 |
02帧 |
03帧 |
04帧 |
震动 |
0x00 0x7f 0x03 |
|
|
|
此时,01帧为02帧的目标关键图像帧,这时视频处于刚刚开始的状态,01帧图像的震动体感数据为0,并且目标体感值为0x7f,变化加速度为0x03。此时,根据上述公式,02帧图像的震动体感数据=0+0x03*(02-01)=0x03;03帧图像的震动体感数据=0+0x03*(03-01)=0x06;04帧图像的震动体感数据=0+0x03*(04-01)=0x09……可以按照上述方式依次计算后续的第一非关键图像帧的震动体感数据,直至计算出某一第一非关键图像帧的震动体感数据达到目标体感值0x7f,则将此第一非关键图像帧以及后续第一非关键图像帧对应的震动体感数据都设置为目标体感值,也就是体感数据保持不变,直至遇到另一关键图像帧。
另一种情况是:当目标关键图像帧为两帧图像时,此第一非关键图像帧的体感数据可以由与此第一非关键图像帧前后相邻的两关键图像帧的体感数据确定,前后相邻的两个关键图像帧均为目标关键帧图像。对于数据格式为目标体感值和变化加速度体感数据,可以通过以下公式计算此第一非关键图像帧的体感数据:
其中,Q第一非关键图像帧的体感数据,F为第一非关键图像帧的图像帧号,F1、F2分别为相邻两关键图像帧的图像帧号,且F2小于F1,Q1、Q2分别为图像帧号为F1、F2的关键图像帧的体感数据。
此时,目标关键图像帧的目标体感值可以理解为该关键图像帧的目标体感值,也即是该关键图像帧的当前体感数据,变化加速度可以理解为预设无效值。
举例来说,当关键图像帧01帧的气流体感数据为如表4所示时,
表4
|
01帧 |
02帧 |
03帧 |
04帧 |
05帧 |
气流 |
0x00 0x01 0xff |
|
|
|
0x00 0x13 0xff |
此时,根据上述公式,02帧图像的气流体感数据为:
03帧图像的气流体感数据为:
04帧图像的气流体感数据为:
S305,确定各第二非关键图像帧的体感数据为预设无效值。
其中,第二非关键图像帧是不包含在获得的图像帧集合中的图像帧。
对于一个视频来说,有些场景对应的若干帧图像可能并不对应于任何预设体感交互类型,可以将这些帧图像称为第二非关键图像帧。由于第二非关键图像帧不对应于任何预设体感交互类型,因此,第二非关键图像帧也不会存在于任何一个图像帧集合中。并且第二非关键图像帧的体感数据为预设无效值,预设无效值与有效的体感数据具有相同的数据格式。可选地,确定出的第二非关键图像帧的体感数据为0xff 0xff 0xff,其中,0xff为预设无效值。
此时,已经获取了关键图像帧、第一非关键图像帧以及第二非关键图像帧的体感数据,在此基础上还需要说明的是,可以由上述体感数据组成第二数据文件的文件体,并由文件体和文件头共同组成第二数据文件,其中文件头的生成方式与生成第一数据文件的文件头相同,在此不再赘述。
可选地,第二数据文件与上述步骤涉及到的第一数据文件可以是两个独立的文件。
另外,实际应用中,体感数据文件与视频时一一对应的,在得到与视频对应的第二体感数据文件后,此体感数据文件生成方法还可以包括以下步骤:
S306,在通过虚拟现实设备观看视频时,根据观看的当前图像帧的图像帧号查询与当前图像帧的体感数据。
S307,将当前图像帧的体感数据发送至对应的体感控制设备,以使体感控制设备触发对应的体感交互操作。
用户通过虚拟现实设备观看视频时,获取当前图像帧的图像帧号,根据此图像帧号查询与当前图像帧的体感数据。
可选地,可以通过在第二体感数据文件中查询的方式来获取当前图像帧的体感数据。
将当前图像帧的体感数据发送至相应的体感控制设备。可选地,可以将体感数据编辑到控制指令中,并以控制指令的形式发送至对应的体感控制设备。体感控制设备接收相应的控制指令,再根据控制指令中包含的体感数据使体感控制设备触发对应的体感交互操作。
本实施例中,根据获取目标关键图像帧的体感数据的含义不同,可以采用不同的计算方式获取非关键图像帧的体感数据,提高了体感数据获取的灵活性。进而,当体感控制设备接收对应体感数据后,根据体感数据实现相应的体感交互,使用户感受到丰富的体感交互体验。
在实际应用中,还存在一种常见的情况就是用户可能并没有将视频观看完,此时,对于获取的全部图像帧的体感数据来说,用户未观看图像帧的体感数据实际上是没有使用到的,这样降低了体感数据的使用效率。基于此,图4为本发明实施例提供的体感数据获取方法实施例四的流程图,如图4所示,该方法可以包括如下步骤:
S401,识别视频中与每种预设体感交互类型对应的图像帧集合。
S402,根据图像帧集合中图像帧号的连续性,确定每种预设体感交互类型对应的关键图像帧。
上述步骤S401-S402的执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S403,在通过虚拟现实设备观看视频时,根据观看的当前图像帧的图像帧号,确定全部关键图像帧中是否存在与当前图像帧对应的参考关键图像帧,若存在与当前图像帧对应的参考关键图像帧,则执行步骤S404。
S404,根据参考关键图像帧的体感数据确定当前图像帧的体感数据。
当用户使用虚拟现实设备观看视频时,获取当前观看的图像帧的图像帧号,根据此图像帧号在全部关键图像帧中进行查询,判断此当前图像帧附近是否存在关键图像帧且此关键图像帧与当前图像帧属于同一个图像帧集合,也即是确定全部关键图像帧中是否存在与当前帧图像对应的参考关键帧图像。
当存在与当前图像帧对应的参考关键图像帧时,再根据参考关键图像帧的体感数据确定当前图像帧的体感数据。当前图像帧的体感数据的具体确定方式与获取的参考关键图像帧的体感数据相对应,具体确定方式可以参考本发明实施例三中的相应描述,在此不再赘述。
当不存在与前图像帧对应的参考关键图像帧时,则表明此当前图像帧并不存在体感数据。
S405,将当前图像帧的体感数据发送至对应的体感控制设备,以使体感控制设备触发对应的体感交互操作。
上述步骤S405的执行过程与前述实施例的相应步骤相似,可以参见如图3所示实施例中的相关描述,在此再不赘述。
本实施例中,当用户使用虚拟现实设备观看视频时,根据用户观看视频的进度,确定当前观看到的当前图像帧在全部关键图像帧中是否存在对应的参考关键图像帧,并计算当前观看到的当前图像帧的体感数据。而对于用户没有观看到的视频的图像帧则不会计算相应的体感数据。也即是根据视频的观看进度实时生成每帧图像的体感数据,使得所有生成的数据都是会被使用的,提高了体感数据的使用效率。
图5为本发明实施例提供的体感数据获取装置实施例一的结构示意图,如图5所示,该体感数据获取装置包括:识别模块11、第一确定模块12、第一获取模块13、第二获取模块14。
识别模块11,用于识别视频中与每种预设体感交互类型对应的帧图像集合。
确定模块12,用于根据图像帧集合中图像帧号的连续性,确定每种预设体感交互类型对应的关键图像帧。
第一获取模块13,用于获取全部关键图像帧中的各关键图像帧的体感数据。
第二获取模块14,用于根据关键图像帧的体感数据获取视频中非关键图像帧的体感数据。
可选地,该体感数据获取装置中的确定模块12具体用于:以各段连续图像帧号中的第一帧图像和最后一帧图像作为关键图像帧。
可选地,该体感数据获取装置中的第一获取模块13具体用于:对于各关键图像帧中的任一关键图像帧,获取任一关键图像帧的各第一体感数据和各第二体感数据,各第一体感数据分别对应于任一关键图像帧的各预设体感交互类型,各第二体感数据分别对应于其他各预设体感交互类型,各第二体感数据为无效值,各第一体感数据与各第二体感数据具有相同的数据格式。
图5所示装置可以执行图1和图2所示实施例的方法,本实施例未详细描述的部分,可参考对图1和图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1和图2所示实施例中的描述,在此不再赘述。
图6为本发明实施例提供的体感数据获取装置实施例二的结构示意图,如图6所示,在图5所示实施例基础上,该体感数据获取装置中的第二获取模块14包括:第一确定单元141,第二确定单元142。
第一确定单元141,用于对于任一预设体感交互类型,根据任一预设体感交互类型对应的关键图像帧的体感数据确定任一预设体感交互类型对应的各第一非关键图像帧的体感数据,各第一非关键图像帧包含于任一预设体感交互类型对应的图像帧集合中。
第二确定单元142,用于确定各第二非关键图像帧的体感数据为预设无效值,各第二非关键图像帧不包含在获得的图像帧集合中。
可选地,第一确定单元141具体用于:
对于任一预设体感交互类型对应的各第一非关键图像帧中的任一第一非关键图像帧,若根据任一第一非关键图像帧的图像帧号能够从任一预设体感交互类型对应的关键图像帧中确定与任一第一非关键图像帧对应的目标关键图像帧,则根据目标关键图像帧的体感数据确定任一第一非关键图像帧的体感数据。
可选地,该体感数据获取装置还包括:查询模块21、发送模块22。
查询模块21,用于在通过虚拟现实设备观看视频时,根据观看的当前图像帧的图像帧号查询与当前图像帧的体感数据。
发送模块22,用于将当前图像帧的体感数据发送至对应的体感控制设备,以使体感控制设备触发对应的体感交互操作。
图6所示装置可以执行图3所示实施例的方法,本实施例未详细描述的部分,可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述,在此不再赘述。
图7为本发明实施例提供的体感数据获取装置实施例三的结构示意图,如图7所示,在图5所示实施例基础上,该体感数据获取装置中的第二获取模块14具体包括:第三确定单元143,发送单元144。
第三确定单元143,用于在通过虚拟现实设备观看视频时,根据观看的当前图像帧的图像帧号,确定关键图像帧中是否存在与当前图像帧对应的参考关键图像帧,以及若存在,则根据参考关键图像帧的体感数据确定当前图像帧的体感数据。
发送单元144,用于将当前图像帧的体感数据发送至对应的体感控制设备,以使体感控制设备触发对应的体感交互操作。
图7所示装置可以执行图4所示实施例的方法,本实施例未详细描述的部分,可参考对图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4所示实施例中的描述,在此不再赘述。
图8为本发明实施例提供的一种电子设备,如图8所示,该电子设备包括:存储器31,以及与所述存储器连接的处理器32。
存储器31,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器32调用执行。
处理器32,用于执行一条或多条计算机指令以实现图1-4所示实施例的方法,并且可选地,图5-7涉及的体感数据获取装置可以内置于电子设备中。
需要说明的是,此电子设备可以是各种类型的头戴式虚拟现实设备,比如头戴式虚拟现实(Virtual Reality,简称VR)盒子、头戴式VR一体机等等。
并且,本实施例未详细描述的部分,可参考对图1-4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-4所示实施例中的描述,在此不再赘述。
图9为本发明实施例提供的一种头戴显示设备的内部配置结构示意图。
显示单元401可以包括显示面板,显示面板设置在头戴显示设备400上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(Electroluminescent,简称EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元402以放大方式拍摄显示单元401所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元401上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机410拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元402可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元403包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元407输出指令。
状态信息获取单元404用于获取穿戴头戴显示设备400的用户的状态信息。状态信息获取单元404可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元405从外部设备,例如智能手机、腕表和用户穿戴的其它多功能终端,获取状态信息。状态信息获取单元404可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元404可以包括陀螺仪传感器、加速度传感器、全球定位系统(Global Positioning System,简称GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元404获取穿戴头戴显示设备400的用户的状态信息,例如获取用户的操作状态(如用户是否穿戴头戴显示设备400)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元405执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元407可以从通信单元405向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(Mobile High-Definition Link,简称MHL)或通用串行总线(Universal Serial Bus,简称USB)、高清多媒体接口(High DefinitionMultimedia Interface,简称HDMI)、无线保真(Wireless Fidelity,简称Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元105可以是根据宽带码分多址(Wideband Code Division Multiple Access,简称W-CDMA)、长期演进(LongTerm Evolution,简称LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备400还可以包括存储单元,存储单元406是配置为具有固态驱动器(Solid State Drives,简称SSD)等的大容量存储设备。一些实施例中,存储单元406可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备400观看的内容可以存储在存储单元406中。
一些实施例中,头戴显示设备400还可以包括控制单元,控制单元407可以包括计算机处理单元(Central Processing Unit,简称CPU)或者其他具有类似功能的设备。一些实施例中,控制单元407可以用于执行存储单元406存储的应用程序,或者控制单元407还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元408用于执行信号处理,比如与从控制单元407输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元401的屏幕的分辨率。然后,显示驱动单元404依次选择显示单元401的每行像素,并逐行依次扫描显示单元401的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备400还可以包括外部相机。外部相机410可以设置在头戴显示设备400主体前表面,外部相机410可以为一个或者多个。外部相机410可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(Position Sensitive Detector,简称PSD)或者其他类型的距离传感器可以与外部相机410一起使用。外部相机410和距离传感器可以用于检测穿戴头戴显示设备400的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机410直接观看或者预览现实场景。
一些实施例中,头戴显示设备400还可以包括声音处理单元,声音处理单元411可以执行从控制单元407输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元412在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图9中粗线框示出的结构或部件可以独立于头戴显示设备400之外,例如可以设置在外部处理系统,例如计算机系统,中与头戴显示设备400配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备400内部或者表面上。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来,该计算机产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。