CN109587571A - 适用于虚拟现实技术的音视频控制方法和装置 - Google Patents

适用于虚拟现实技术的音视频控制方法和装置 Download PDF

Info

Publication number
CN109587571A
CN109587571A CN201811303110.XA CN201811303110A CN109587571A CN 109587571 A CN109587571 A CN 109587571A CN 201811303110 A CN201811303110 A CN 201811303110A CN 109587571 A CN109587571 A CN 109587571A
Authority
CN
China
Prior art keywords
audio
control
mobile device
video
virtual key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811303110.XA
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Luo Da Da Technology Co Ltd
Original Assignee
Beijing Luo Da Da Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Luo Da Da Technology Co Ltd filed Critical Beijing Luo Da Da Technology Co Ltd
Priority to CN201811303110.XA priority Critical patent/CN109587571A/zh
Publication of CN109587571A publication Critical patent/CN109587571A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种适用于虚拟现实技术的音视频控制方法，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。该方法在虚拟现实手柄控制器物理按键的基础上实现虚拟按键，实现了精确到每句文本内容的音视频控制，用户可通过按键精确导航到上一句文本内容，下一句文本内容，并在任意一句文本内容时暂停，实现对字幕中的重点文本内容的快速选择和文本内容管理功能，且具有易用性与适用性。本公开还提供了一种适用于虚拟现实技术的音视频控制装置。

Description

适用于虚拟现实技术的音视频控制方法和装置
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种适用于虚拟现实技术的音视频控制方法和装置。
背景技术
现有技术中，基于PC，手机的播放器，以及一些视频网站的虚拟现实视频播放器，主要是面向视频娱乐用户，在利用视频学习方面有如下不足之处：例如，语言学习中经常要反复重看某段对白，普通视频播放器的进度条拖动以及快进和退回操作，经常导致前进或后退过多，操作结果不一致，不能精确控制到文本内容；语言视频学习的后期阶段，需要闭眼不看视频，进入纯听力模式，此时普通播放器很难通过盲操作控制文本内容进度；标准字幕功能缺少上下文内容，不能满足学习目的，用户往往要单独打印对白脚本，看视频时对照；对于字幕中的重点词语，用户要重复输入到记事本并手工维护。
发明内容
为了解决现有技术中由于语言学习中经常要反复重看某段对白，普通视频播放器的进度条拖动以及快进和退回操作，经常导致前进或后退过多，操作结果不一致，不能精确控制到文本内容的问题，本公开实施例提供了一种适用于虚拟现实技术的音视频控制方法和装置，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。
第一方面，本公开实施例提供了一种适用于虚拟现实技术的音视频控制方法，包括以下步骤：对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接；对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置；通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务。
在其中一个实施例中，所述对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接包括：通过WIFI将支持虚拟现实技术的所述移动设备与云服务器集群进行连接；通过蓝牙连接将支持虚拟现实技术的所述移动设备与控制所述移动设备的所述手动装置进行连接。
在其中一个实施例中，所述对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置包括：将用户对所述移动设备的所述手动装置的至少一个预设位置的触控，通过时序逻辑电路生成所述至少一个控制事件；将所述至少一个控制事件定义为所述至少一个虚拟按键。
在其中一个实施例中，所述至少一个虚拟按键定义为对音视频进行快进预设帧的控制事件；或所述至少一个虚拟按键定义为对音视频进行后退预设帧的控制事件；或所述至少一个虚拟按键定义为对音视频进行暂停的控制事件。
在其中一个实施例中，所述通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务包括：将所述音视频流服务与对应的文本内容以及时间线数据进行绑定；通过控制所述至少一个虚拟按键，完成对预先所述音视频流服务与对应的文本内容以及时间线数据的绑定信息的操作。
在其中一个实施例中，还包括：实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息；将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；控制基于所述主视角区域的至少一个屏幕中的所述至少一个虚拟按键，实现所述音视频流服务与对应的文本内容以及时间线数据的同步显示。
在其中一个实施例中，还包括：在以用户为球心的球面中将全景所述音视频流服务投射在多个球面子区域中，并通过预设公式计算投射在所述多个球面子区域中的显示画面的缩放比例，其中，所述预设公式为α＝D1/D0，α表示显示画面的缩放比例，D1表示实际视距，D0表示最佳视距，D1≥D0；获取支持虚拟现实技术的所述移动设备的轨迹信息以及控制设置在所述移动设备的手动装置上的至少一个按键；实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息；将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；控制基于所述主视角区域的至少一个屏幕中的所述至少一个虚拟按键，实现所述音视频流服务与对应的文本内容以及时间线数据的编辑操作，其中，所述编辑操作包括选择操作、复制操作、粘贴操作、裁剪操作以及存储操作。
第二方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法的步骤。
第三方面，本公开实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法的步骤。
第四方面，本公开实施例提供了一种适用于虚拟现实技术的音视频控制装置，所述装置包括：连接模块，用于对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接；设置模块，用于对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置；控制模块，用于通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务；所述控制模块包括触控屏幕、壳体、压感模块，所述触控屏幕与所述壳体的内表面之间设有第一弹簧，所述压感模块包括螺旋导轨、螺旋滑条、第一支撑柱、第一轴、弹性拉绳、第一齿轮、第一齿条、第一导轨、第一销轴、第二销轴、第一连杆、第三销轴、固定座、位置检测模块、第一永磁铁、第二永磁铁、第二弹簧、第二连杆；所述螺旋导轨上设有沿其移动的螺旋滑条，所述螺旋滑条的上端与所述第二弹簧的下端固定，所述第二弹簧的上端与所述触控屏幕的下表面固定，所述螺旋滑条的下端与第二销轴固定，螺旋导轨的下部与所述第一支撑柱的上端固定，所述第一支撑柱的下端与所述壳体的内部的下部固定，所述第一轴的下端通过轴承安装在壳体的内部的下部，所述第一轴的上端与至少两个所述弹性拉绳的一端固定，所述至少两个弹性拉绳的另一端与所述螺旋滑条固定，所述第一轴的中部与所述第一齿轮固定，所述第一齿轮与所述第一齿条啮合，所述第一齿条沿所述第一导轨移动，所述第一齿条的端部与所述第一销轴固定，所述第一销轴的另一端通过轴承安装在所述第一连杆的一端，所述第一连杆的中部通过轴承安装有第二销轴，所述第一连杆的另一端固定有第三销轴，所述触控屏幕在所述第三销轴的正上方安装有固定座，所述固定座上设有至少三个位置检测模块，所述螺旋滑条上固定有第一永磁铁，所述螺旋导轨固定有第二永磁铁；
所述服务器集群根据所述至少三个位置检测模块与第三销轴的距离对比，而判定所述用户按压触控屏幕的力度，并根据用户按压触控屏幕的力度而判定所述触控屏幕显示的虚拟按键的控制事件，当所述控制事件与用户所需求的控制事件对应时，用户从所述虚拟按键向外对于触控屏幕进行滑动操作，所述服务器集群执行所述控制事件。
本发明提供的一种适用于虚拟现实技术的音视频控制方法和装置，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。该方法在虚拟现实手柄控制器物理按键的基础上实现虚拟按键，实现了精确到每句文本内容的视频控制，用户可通过按键精确导航到上一句文本内容，下一句文本内容，并在任意一句文本内容时暂停；与此同时，手柄控制器的虚拟按键可仅凭单手操作，不需要视觉配合，从而可以通过盲操作控制文本内容进度；进一步地，利用虚拟现实空间内可显示任意多个屏幕的优势，实现音视频和文本内容脚本上下文的同步显示，通过结合使用虚拟现实头盔的头部追踪功能和虚拟现实控制器的按键功能，实现对字幕中的重点词语的快速选择和词语集合管理功能，且具有易用性与适用性。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本发明一个实施例中的一种适用于虚拟现实技术的音视频控制方法的步骤流程示意图；
图2为本发明一个实施例中的一种适用于虚拟现实技术的音视频控制装置的结构示意图；
图3为本发明一个实施例中的一种适用于虚拟现实技术的音视频控制装置的示例图；
图4为本发明的一种适用于虚拟现实技术的音视频控制装置的控制模块的主视图；
图5为本发明的一种适用于虚拟现实技术的音视频控制装置的控制模块的俯视图；
图6为图4的局部放大图；
图7为图5的局部放大图；
图8为图4的运动状态变化图；
图9为图5的运动状态变化图；
图10为图8的局部放大图；
图11为图9的局部放大图；
图12为操作示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明适用于虚拟现实技术的音视频控制方法和装置的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
有研究指出，近年来，随着互联网视频资源的极大丰富，以及在互联网成长起来的新生代对视频类信息的偏好，越来越多的学生选择通过视频学习外语。传统的“听，说，读，写”技能训练现如今已扩展为“听，说，读，看，写”，并明确要求每周课外试听活动不少于40分钟。对于中国在初中，高中和大学近九千万的英语学生群体，以及其它在职和出国留学等英语学习群体，提高视频类英语学习工具的效率，具有重大社会价值和商业价值。这就使得高效、精准、快捷地针对虚拟现实技术的音视频控制方法成为一项既有学术价值又有现实意义的工作。
如图1所示，为一个实施例中的一种适用于虚拟现实的音视频控制方法的流程示意图，具体包括以下步骤：
步骤102，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接。需要说明的是，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接包括：通过WIFI将支持虚拟现实技术的移动设备与云服务器集群进行连接；通过蓝牙连接将支持虚拟现实技术的移动设备与控制移动设备的手动装置进行连接。由此，提高了连接的低成本性与高效性。
步骤104，对基于控制移动设备的手动装置的至少一个虚拟按键进行设置。
具体的，对基于控制移动设备的所述手动装置的至少一个虚拟按键进行设置包括：将用户对移动设备的所述手动装置的至少一个预设位置的触控，通过时序逻辑电路生成至少一个控制事件；将至少一个控制事件定义为至少一个虚拟按键。在一个实施例中，需要说明的是，至少一个虚拟按键定义为对音视频进行快进预设帧的控制事件；或至少一个虚拟按键定义为对音视频进行后退预设帧的控制事件；或至少一个虚拟按键定义为对音视频进行暂停的控制事件。由此，提高了对至少一个虚拟按键定义的灵活性与易用性。
步骤106，通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。具体的，通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务包括：将音视频流服务与对应的文本内容以及时间线数据进行绑定；通过控制至少一个虚拟按键，完成对预先音视频流服务与对应的文本内容以及时间线数据的绑定信息的操作。
在一个实施例中，本公开涉及的适用于虚拟现实技术的音视频控制方法还包括：实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息；将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；控制基于主视角区域的至少一个屏幕中的至少一个虚拟按键，实现音视频流服务与对应的文本内容以及时间线数据的同步显示。
此外，在一个实施例中，本公开涉及的适用于虚拟现实技术的视音频控制方法还包括：在以用户为球心的球面中将全景所述音视频流服务投射在多个球面子区域中，并通过预设公式计算投射在多个球面子区域中的显示画面的缩放比例，其中，预设公式为α＝D1/D0，α表示显示画面的缩放比例，D1表示实际视距，D0表示最佳视距，D1≥D0；获取支持虚拟现实技术的移动设备的轨迹信息以及控制设置在移动设备的手动装置上的至少一个按键；实时检测用户的基于支持虚拟显示技术的移动设备的视角信息；将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；控制基于主视角区域的至少一个屏幕中的至少一个虚拟按键，实现音视频流服务与对应的文本内容以及时间线数据的编辑操作，其中，编辑操作包括选择操作、复制操作、粘贴操作、裁剪操作以及存储操作。
本发明提供的一种适用于虚拟现实技术的音视频控制方法，对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。该方法在虚拟现实手柄控制器物理按键的基础上实现虚拟按键，实现了精确到每句文本内容的视频控制，用户可通过按键精确导航到上一句文本内容，下一句文本内容，并在任意一句文本内容时暂停；与此同时，手柄控制器的虚拟按键可仅凭单手操作，不需要视觉配合，从而可以通过盲操作控制文本内容进度；进一步地，利用虚拟现实空间内可显示任意多个屏幕的优势，实现音视频和文本内容脚本上下文的同步显示，通过结合使用虚拟现实头盔的头部追踪功能和虚拟现实控制器的按键功能，实现对字幕中的重点词语的快速选择和词语集合管理功能，且具有易用性与适用性。
基于同一发明构思，还提供了一种适用于虚拟现实技术的音视频控制装置。由于此装置解决问题的原理与前述一种适用于虚拟现实技术的音视频控制方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。
如图2所示，为一个实施例中的一种适用于虚拟现实技术的音视频控制装置的结构示意图。该适用于虚拟现实技术的音视频控制装置10包括：连接模块200、设置模块400和控制模块600。
其中，连接模块200用于对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；设置模块400用于对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；控制模块600用于通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。
为了更加清楚与准确地理解并应用本公开涉及的一种适用于虚拟现实技术的音视频控制方法，结合图3(a)-(c)进行以下示例，需要说明的是，本公开所保护的范围不限于以下示例。
具体的，本公开涉及的额一种适用于虚拟现实技术的音视频控制装置包括如图3(a)-(c)三部分，其中，A1是语言视频流服务；A2是语言视频流服务对应的文本内容和时间线服务；B是支持虚拟现实技术的移动设备，例如虚拟现实眼镜或虚拟现实头盔，具体形态包括一体机虚拟现实或手机与虚拟现实眼镜的配套装置；C为控制支持虚拟现实技术的移动设备的手动装置，例如虚拟现实手柄控制器，虚拟按键通过用户对触摸圆盘的按键和按下位置，通过有限状态机转化为暂停，下一句，上一句等音视频播放的控制事件。
本技术领域人员可以理解的是，在以用户为球心的球面中将全景音视频流服务投射在多个球面子区域中，其中，多个球面子区域可包括18个球面子区域，也可以包括28个球面子区域。当多个球面子区域为18个球面子区域时，则包括位于球面赤道区域的8个球面子区域，南北纬45度区域的各4个球面子区域和两极的各1个球面子区域；当多个球面子区域为32个球面子区域时，则包括位于球面赤道区域的8个球面子区域，南北纬60度区域的各8个球面区域和两极的各2个球面子区域，且需要说明的，全景音视频流服务可以通过有线或无线网络完成接收操作。
进一步地，根据预先获取的用户位置信息确定用户的实际视距，再根据实际视距分别确定在以用户为球心的球面中将全景音视频流服务投射在多个球面子区域中显示画面的缩放比例、显示亮度和微间距LED显示屏的显示间距，从而将上述缩放比例、显示亮度和微间距LED显示屏的显示间距以驱动信号生成的方式完成多个球面子区域的虚拟现实图像显示操作。其中，根据实际视距分别确定在以用户为球心的球面中将全景音视频流服务投射在多个球面子区域中显示画面的缩放比例为：根据公式α＝D1/D0计算显示画面的缩放比例，其中，α表示显示画面的缩放比例，D1表示实际视距，D0表示最佳视距，D1≥D0。进一步地，将上述参数以驱动信号生成的方式完成多个球面子区域的虚拟现实图像显示操作为：当α≤28时，LED显示屏的所有灯珠均工作，显示间距为标准间距，按α的值对显示画面进行缩放，显示亮度随α的值的变化呈线性变化；当n＜α≤n+1时，LED显示屏的灯珠部分工作，显示间距为标准间距的n倍，按α的值对显示画面进行缩放，显示亮度随α的值的变化呈线性变化，其中，n为大于1的自然数。本领域技术人员可以理解的是，最佳视距D0＝相邻两个像素点之间的距离值×3000，标准间距≤0.8mm。由此，实现了根据用户位置实现投射在多个球面区域中显示画面的精准缩放的操作，具有易用性与良好的用户体验性。
进一步地，获取支持虚拟现实技术的移动设备的轨迹信息以及控制设置在移动设备的手动装置上的至少一个按键，并实时检测用户的基于支持虚拟显示技术的移动设备的视角信息，将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域，且将主视角区域以外的其他球面子区域定义为非主视角区域，进一步地，确定与球心距离一预定偏移量的用户观察点。最终控制基于主视角区域的至少一个屏幕中的至少一个虚拟按键，实现音视频流服务与对应的文本内容以及时间线数据的编辑操作。其中，编辑操作包括选择操作、复制操作、粘贴操作、裁剪操作以及存储操作。由此，提高了控制的多样性与灵活性。
进一步地，本公开涉及的一种适用于虚拟现实技术的音视频控制方法还包括：基于用户观察点，以第一视频质量对主视角区域进行投影并以第二视频质量对非主视角区域进行投影。其中，第一视频质量在分辨率和帧率之中的至少一方面高于第二视频质量。且需要说明的是，以第一视频质量对主视角区域进行投影包括但不限于立方体投影，等角立方体投影，等距投影或等边投影中的一种。由此，提高了投影的多样性。此外，以第二视频质量对非主视角区域进行投影包括但不限于立方体投影，等角立方体投影，等距投影或等边投影中的一种。由此，提高了投影的多选择性与灵活性。
本发明提供的一种适用于虚拟现实技术的音视频控制装置，首先通过连接模块对支持虚拟现实技术的移动设备、控制移动设备的手动装置以及服务器集群三者进行连接；再通过设置模块对基于控制移动设备的手动装置的至少一个虚拟按键进行设置；最终通过控制模块通过控制至少一个虚拟按键，完成控制预先绑定在至少一个虚拟按键上的音视频流服务。该装置在虚拟现实手柄控制器物理按键的基础上实现虚拟按键，实现了精确到每句文本内容的音视频控制，用户可通过按键精确导航到上一句文本内容，下一句文本内容，并在任意一句文本内容时暂停；与此同时，手柄控制器的虚拟按键可仅凭单手操作，不需要视觉配合，从而可以通过盲操作控制文本内容进度；进一步地，利用虚拟现实空间内可显示任意多个屏幕的优势，实现音视频和文本内容脚本上下文的同步显示，通过结合使用虚拟现实头盔的头部追踪功能和虚拟现实控制器的按键功能，实现对字幕中的重点词语的快速选择和词语集合管理功能，且具有易用性与适用性。
如图4～12所示，参见图4、5、6、7，所述控制模块600包括触控屏幕610、壳体620、压感模块630，所述触控屏幕610与所述壳体620的内表面之间设有第一弹簧611，所述压感模块630包括螺旋导轨631、螺旋滑条632、第一支撑柱633、第一轴634、弹性拉绳635、第一齿轮636、第一齿条637、第一导轨638、第一销轴639、第二销轴640、第一连杆641、第三销轴642、固定座643、位置检测模块644、第一永磁铁645、第二永磁铁646、第二弹簧647、第二连杆648；所述螺旋导轨631上设有沿其移动的螺旋滑条632，所述螺旋滑条632的上端与所述第二弹簧647的下端固定，所述第二弹簧647的上端与所述触控屏幕610的下表面固定，所述螺旋滑条632的下端与第二销轴640固定，螺旋导轨631的下部与所述第一支撑柱633的上端固定，所述第一支撑柱633的下端与所述壳体620的内部的下部固定，所述第一轴634的下端通过轴承安装在壳体620的内部的下部，所述第一轴634的上端与至少两个所述弹性拉绳635的一端固定，所述至少两个弹性拉绳635的另一端与所述螺旋滑条632固定，所述第一轴634的中部与所述第一齿轮636固定，所述第一齿轮636与所述第一齿条637啮合，所述第一齿条637沿所述第一导轨638移动，所述第一齿条637的端部与所述第一销轴639固定，所述第一销轴639的另一端通过轴承安装在所述第一连杆641的一端，所述第一连杆641的中部通过轴承安装有第二销轴640，所述第一连杆641的另一端固定有第三销轴642，所述触控屏幕610在所述第三销轴642的正上方安装有固定座643，所述固定座643上设有至少三个位置检测模块644，所述螺旋滑条632上固定有第一永磁铁645，所述螺旋导轨631固定有第二永磁铁；
所述服务器集群根据所述至少三个位置检测模块644与第三销轴642的距离对比，而判定所述用户按压触控屏幕610的力度，并根据用户按压触控屏幕610的力度而判定所述触控屏幕610显示的虚拟按键的控制事件，当所述控制事件与用户所需求的控制事件对应时，用户从所述虚拟按键向外对于触控屏幕610进行滑动操作，所述服务器集群执行所述控制事件。
本发明通过上述带有压感模块630的控制模块600来对于所述音视频进行更多维度的手势操作，并且，上述压感模块630可更大程度的放大用户的按压力度，以让整个设备通过一个虚拟按键完成更多的功能，也就是实现更多的控制事件。
其中，所述第一永磁铁645、第二永磁铁646是相互吸引的，从而帮助螺旋滑条632、螺旋导轨631在用户按压之后进行复位，当然，所述螺旋滑条632、螺旋导轨631也可通过所述第一弹簧611复位，但是由于为了能够让螺旋滑条632随意移动的第二弹簧647的寿命较短，所以为了保证第二弹簧647的寿命，采用两个磁铁吸合的方式是上述螺旋滑条632、螺旋导轨631复位，能够延长本发明的准确度。
例如，参见图8、9、10、11、12，用户点击触控屏幕610显示的虚拟按键并向下按压触控屏幕610时，所述第三销轴642根据用户的按压力度的由轻到重，而由左向右移动时，至少三个位置检测模块644实时检测第三销轴642的左右位置，当所述第三销轴642与最左侧的位置检测模块644距离最近时，则用户按压的触控屏幕610的虚拟按键显示的控制事件为“暂停”；当用户更用力向下按压触控屏幕610时，第三销轴642与中间的位置检测模块644距离最近，则用户按压的触控屏幕610的虚拟按键显示的控制事件为“快进预设帧”；当用户更用力向下按压触控屏幕610时，第三销轴642与最右侧的位置检测模块644距离最近，则用户按压的触控屏幕610的虚拟按键显示的控制事件为“后退预设帧”；当用户需要暂停时，可当触控屏幕610显示的虚拟按键上显示“暂停”字样时，向虚拟按键外的任意位置进行滑动，则所述音视频执行暂停的控制事件。
其中所述位置检测模块644的数量可为3、4、5、6、6、7、8、9、10个，其分别对应的控制事件可为：“快进预设帧”、“后退预设帧”、“暂停”、“开始”、“声音增加预设分贝”、“声音减少预设分贝”、“完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务”“实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息”。
其中，需要说明的是，所述螺旋滑条632收到触控屏幕610向下的压力而向下移动时，螺旋滑条632的旋转带动第二销轴640向右移动，而其旋转还可通过第一齿轮636、第一齿条637而带动第一销轴639向右移动或向左移动，从而以杠杆原理让第一连杆641可变化的角度增加，使第三销轴642的横向移动距离大于触控屏幕610向下移动的距离，从而方便对于用户向下按压触控屏幕610的力度的检测。本发明的压感模块630类似于苹果的3Dtouch功能，也就是通过触控屏幕610检测按压点的位置，通过压感模块630检测用户的按压力度，以便于多级按压操作。但是苹果的是横向移动的滑块来放大下压距离，而本发明是通过杠杆原理让第一连杆641的摆动更大来放大用户的下压幅度，从而可更大程度的准确的检测用户下压的力度，并且可由更多的力度的等级，并且，本发明大多采用横向布置，从而在大屏化、纤薄化的时代可利用壳体620内的横向空间，而让整个壳体620更薄。
其中，所述固定座643的长度方向垂直于所述第一销轴639的轴线方向，所述固定座643上的至少三个位置检测模块644沿所述固定座643的长度方向均匀分布，从而准确地检测第三销轴642的横向的位置变化。
其中，所述第一导轨638通过所述第二连杆648与所述壳体620的内部的侧表面固定，从而支撑所述第一导轨638。
其中，所述弹性拉绳635的材料可为：橡胶、硅胶、眼镜腿上的钛合金材料、麻绳。本发明通过上述材料可让弹性拉绳既保证可随螺旋滑条632的上下位置移动和转动，还能让螺旋滑条632的旋转力矩传递给第一轴634。
其中，所述螺旋滑条632可由橡胶、硅胶、塑料制成，当然，其也可由链条或麻绳制成，当然，所述螺旋滑条632的结构还可为外层为橡胶，内层为链条的材料制成，当然，所述螺旋滑条632的结构还可为外层为硅胶，内层为麻绳的材料制成。本发明通过上述结构可使螺旋滑条632既有可弯曲的特性，又能在螺旋导轨631的最下端实现悬臂的直线移动，从而妨碍第一连杆641的正常的、同一轨迹的、不晃动的摆动。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被图1中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
为了示例和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种适用于虚拟现实技术的音视频控制方法，其特征在于，包括以下步骤：
对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接；
对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置；
通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务。
2.根据权利要求1所述的虚拟现实技术的音视频控制方法，其特征在于，所述对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接包括：通过WIFI将支持虚拟现实技术的所述移动设备与云服务器集群进行连接；
通过蓝牙连接将支持虚拟现实技术的所述移动设备与控制所述移动设备的所述手动装置进行连接。
3.根据权利要求1所述的虚拟现实技术的音视频控制方法，其特征在于，所述对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置包括：将用户对所述移动设备的所述手动装置的至少一个预设位置的触控，通过时序逻辑电路生成所述至少一个控制事件；
将所述至少一个控制事件定义为所述至少一个虚拟按键。
4.根据权利要求1或3所述的虚拟现实技术的音视频控制方法，其特征在于，所述至少一个虚拟按键定义为对音视频进行快进预设帧的控制事件；或
所述至少一个虚拟按键定义为对音视频进行后退预设帧的控制事件；或
所述至少一个虚拟按键定义为对音视频进行暂停的控制事件。
5.根据权利要求1所述的适用于虚拟现实技术的音视频控制方法，其特征在于，所述通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务包括：
将所述音视频流服务与对应的文本内容以及时间线数据进行绑定；
通过控制所述至少一个虚拟按键，完成对预先所述音视频流服务与对应的文本内容以及时间线数据的绑定信息的操作。
6.根据权利要求5所述的适用于虚拟现实技术的音视频控制方法，其特征在于，还包括：实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息；
将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；
控制基于所述主视角区域的至少一个屏幕中的所述至少一个虚拟按键，实现所述音视频流服务与对应的文本内容以及时间线数据的同步显示。
7.根据权利要求6所述的适用于虚拟现实技术的音视频控制方法，其特征在于，还包括：在以用户为球心的球面中将全景所述音视频流服务投射在多个球面子区域中，并通过预设公式计算投射在所述多个球面子区域中的显示画面的缩放比例，其中，所述预设公式为α＝D1/D0，α表示显示画面的缩放比例，D1表示实际视距，D0表示最佳视距，D1≥D0；
获取支持虚拟现实技术的所述移动设备的轨迹信息以及控制设置在所述移动设备的手动装置上的至少一个按键；
实时检测用户的基于支持虚拟显示技术的所述移动设备的视角信息；
将预先划分在多个球面子区域中与用户视角信息对应的至少一个球面子区域确定为主视角区域；
控制基于所述主视角区域的至少一个屏幕中的所述至少一个虚拟按键，实现所述音视频流服务与对应的文本内容以及时间线数据的编辑操作，其中，所述编辑操作包括选择操作、复制操作、粘贴操作、裁剪操作以及存储操作。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种适用于虚拟现实技术的音视频控制装置，其特征在于，所述装置包括：
连接模块，用于对支持虚拟现实技术的移动设备、控制所述移动设备的手动装置以及服务器集群三者进行连接；
设置模块，用于对基于控制所述移动设备的所述手动装置的至少一个虚拟按键进行设置；
控制模块(600)，用于通过控制所述至少一个虚拟按键，完成控制预先绑定在所述至少一个虚拟按键上的音视频流服务；
所述控制模块(600)包括触控屏幕(610)、壳体(620)、压感模块(630)，所述触控屏幕(610)与所述壳体(620)的内表面之间设有第一弹簧(611)，所述压感模块(630)包括螺旋导轨(631)、螺旋滑条(632)、第一支撑柱(633)、第一轴(634)、弹性拉绳(635)、第一齿轮(636)、第一齿条(637)、第一导轨(638)、第一销轴(639)、第二销轴(640)、第一连杆(641)、第三销轴(642)、固定座(643)、位置检测模块(644)、第一永磁铁(645)、第二永磁铁(646)、第二弹簧(647)、第二连杆(648)；所述螺旋导轨(631)上设有沿其移动的螺旋滑条(632)，所述螺旋滑条(632)的上端与所述第二弹簧(647)的下端固定，所述第二弹簧(647)的上端与所述触控屏幕(610)的下表面固定，所述螺旋滑条(632)的下端与第二销轴(640)固定，螺旋导轨(631)的下部与所述第一支撑柱(633)的上端固定，所述第一支撑柱(633)的下端与所述壳体(620)的内部的下部固定，所述第一轴(634)的下端通过轴承安装在壳体(620)的内部的下部，所述第一轴(634)的上端与至少两个所述弹性拉绳(635)的一端固定，所述至少两个弹性拉绳(635)的另一端与所述螺旋滑条(632)固定，所述第一轴(634)的中部与所述第一齿轮(636)固定，所述第一齿轮(636)与所述第一齿条(637)啮合，所述第一齿条(637)沿所述第一导轨(638)移动，所述第一齿条(637)的端部与所述第一销轴(639)固定，所述第一销轴(639)的另一端通过轴承安装在所述第一连杆(641)的一端，所述第一连杆(641)的中部通过轴承安装有第二销轴(640)，所述第一连杆(641)的另一端固定有第三销轴(642)，所述触控屏幕(610)在所述第三销轴(642)的正上方安装有固定座(643)，所述固定座(643)上设有至少三个位置检测模块(644)，所述螺旋滑条(632)上固定有第一永磁铁(645)，所述螺旋导轨(631)固定有第二永磁铁；
所述服务器集群根据所述至少三个位置检测模块(644)与第三销轴(642)的距离对比，而判定所述用户按压触控屏幕(610)的力度，并根据用户按压触控屏幕(610)的力度而判定所述触控屏幕(610)显示的虚拟按键的控制事件，当所述控制事件与用户所需求的控制事件对应时，用户从所述虚拟按键向外对于触控屏幕(610)进行滑动操作，所述服务器集群执行所述控制事件。
CN201811303110.XA 2018-11-02 2018-11-02 适用于虚拟现实技术的音视频控制方法和装置 Pending CN109587571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811303110.XA CN109587571A (zh) 2018-11-02 2018-11-02 适用于虚拟现实技术的音视频控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811303110.XA CN109587571A (zh) 2018-11-02 2018-11-02 适用于虚拟现实技术的音视频控制方法和装置

Publications (1)

Publication Number Publication Date
CN109587571A true CN109587571A (zh) 2019-04-05

Family

ID=65921308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811303110.XA Pending CN109587571A (zh) 2018-11-02 2018-11-02 适用于虚拟现实技术的音视频控制方法和装置

Country Status (1)

Country Link
CN (1) CN109587571A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192326A1 (en) * 2008-10-09 2014-07-10 Neuro Kinetics, Inc. Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using vog device for neurologic testing
CN105163178A (zh) * 2015-08-28 2015-12-16 北京奇艺世纪科技有限公司 一种视频播放位置定位方法和装置
CN106507083A (zh) * 2016-09-14 2017-03-15 北京小鸟看看科技有限公司 一种无线通信装置、虚拟现实光球及虚拟现实系统
CN106937143A (zh) * 2015-12-31 2017-07-07 幸福在线（北京）网络技术有限公司 一种虚拟现实视频的播放控制方法及装置和设备
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子（中国）研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN108419139A (zh) * 2018-02-05 2018-08-17 李秀荣 互联网大数据弹幕处理系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192326A1 (en) * 2008-10-09 2014-07-10 Neuro Kinetics, Inc. Quantitative, non-invasive, clinical diagnosis of traumatic brain injury using vog device for neurologic testing
CN105163178A (zh) * 2015-08-28 2015-12-16 北京奇艺世纪科技有限公司 一种视频播放位置定位方法和装置
CN106937143A (zh) * 2015-12-31 2017-07-07 幸福在线（北京）网络技术有限公司 一种虚拟现实视频的播放控制方法及装置和设备
CN106507083A (zh) * 2016-09-14 2017-03-15 北京小鸟看看科技有限公司 一种无线通信装置、虚拟现实光球及虚拟现实系统
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子（中国）研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN107396077A (zh) * 2017-08-23 2017-11-24 深圳看到科技有限公司 虚拟现实全景视频流投影方法和设备
CN108419139A (zh) * 2018-02-05 2018-08-17 李秀荣 互联网大数据弹幕处理系统

Similar Documents

Publication Publication Date Title
US11511158B2 (en) User interface system for an interactive exercise machine
JP5986171B2 (ja) ハプティック空間化システム
US20190295597A1 (en) Systems and methods of interactive exercising
AU2018283906A1 (en) Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
TW200623873A (en) Information processing apparatus and method and program therefor
US20150309310A1 (en) Head mounted display device displaying thumbnail image and method of controlling therefor
JP2006345536A5 (zh)
EP1734757A3 (en) Video recording/reproducing apparatus and method of displaying a menu guide
EP2779171A3 (en) Video player and video playback control method
JP2006345537A5 (zh)
CN106104448A (zh) 利用磁属性来操控用户界面对象的用户界面
EP2455841A3 (en) Apparatus and method for selecting item using movement of object
EP1742467A3 (en) Information processing apparatus, information processing method, and computer program
JP2007081584A5 (zh)
CN105791950A (zh) 录制演示文稿视频的方法及装置
CN206058605U (zh) 虚拟驾驶体验系统
CN106028115A (zh) 视频播放方法和装置
EP1954050A3 (en) An interactive audio-video displaying system and method thereof
KR20150084586A (ko) 가상 ３ｄ 아바타를 이용한 동영상 강의 저작 키오스크 및 저작 시스템
EP2001005A3 (en) Training system, training device, and program recording medium and playback control method
CN107993559A (zh) 一种智能地球仪
CN109587571A (zh) 适用于虚拟现实技术的音视频控制方法和装置
WO2015057211A1 (en) Control redistribution among multiple devices
KR20110009497U (ko) 이동가능한 학습기
CN104883622A (zh) 一种显示处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication