CN107087208A - 一种全景视频播放方法、系统及存储装置 - Google Patents

一种全景视频播放方法、系统及存储装置 Download PDF

Info

Publication number
CN107087208A
CN107087208A CN201710376444.9A CN201710376444A CN107087208A CN 107087208 A CN107087208 A CN 107087208A CN 201710376444 A CN201710376444 A CN 201710376444A CN 107087208 A CN107087208 A CN 107087208A
Authority
CN
China
Prior art keywords
panoramic video
script file
sound source
source direction
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710376444.9A
Other languages
English (en)
Other versions
CN107087208B (zh
Inventor
李家铭
李晶
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN201710376444.9A priority Critical patent/CN107087208B/zh
Publication of CN107087208A publication Critical patent/CN107087208A/zh
Application granted granted Critical
Publication of CN107087208B publication Critical patent/CN107087208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景视频播放方法、系统及存储装置，通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件；对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件；当加载脚本文件成功后，接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。本发明通过VR播放设备播放全景视频时，根据声音方向控制镜头自动跟随，把主视觉方向呈现给用户，实现用户无需转头即可观看到视频的重要内容，为用户观看全景视频带来了方便。

Description

一种全景视频播放方法、系统及存储装置
技术领域
本发明涉及全景视频播放技术领域，具体涉及一种全景视频播放方法、系统及存储装置。
背景技术
全景视频，顾名思义：720度或者360度全景视频（以下简称“全景视频”），它是在720度或者360度全景的技术之上发展延伸而来，它将静态的全景图片转化为动态的视频图像，全景视频可以在拍摄角度左右上下360度的任意观看动态视频，让用户有一种真正意义上身临其境的感觉，而且不受时间、空间和地域的限制。全景视频不是单一的静态全景图片形式，而是具有景深、动态图像、声音等包罗万象，同时具备声画对位、声画同步。
目前，全景视频由于其可以让用户有身临其境的感觉而在各领域得到广泛应用，现有技术中，用户观看全景视频时，一般戴上具备陀螺仪的头盔，通过头部转动来观看不同视觉角度。比如全景视频后方出现了一个角色，用户需要把头转到后面才能看到这个角色。但在一些像课室这种不方便头部转动和身体转动的场景，显然无法很舒适地观望视频。例如，在课堂教学类的全景视频中，讲师在课堂上走动时，用户需及时相应地沿讲师走动的方向转动头部才能清晰地看清讲师的动作，观看效果不佳，用户使用也不方便。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种全景视频播放方法、系统及存储装置，旨在通过VR播放设备播放全景视频时，根据声音方向控制镜头自动跟随，把主视觉方向呈现给用户，实现用户无需转头即可观看到视频的重要内容，为用户观看全景视频带来了方便。
本发明解决技术问题所采用的技术方案如下：
一种全景视频播放方法，其中，所述全景视频播放方法包括以下步骤：
通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件；
对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件；
当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。
所述的全景视频播放方法，其中，所述麦克风阵列由若干个的麦克风组合而成，用于收集语音信息；所述全景视频包括音频文件和视频文件。
所述的全景视频播放方法，其中，所述通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件具体包括：
当录制全景视频时，通过全景摄像头中的麦克风阵列收集语音信息；
通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件。
所述的全景视频播放方法，其中，所述通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件具体包括：
统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
根据所述时间差信息以及麦克风阵列中多个麦克风与全景摄像头之间的位置构造多个双曲面，并通过计算多个双曲面的交点得到当前声源的位置坐标。
所述的全景视频播放方法，其中，所述通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件具体还包括：
统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
将多个麦克风接收到的音频信号转换为离散的信号，再根据所述时间差信息和信号功率的衰减，计算出声源的位置坐标。
所述的全景视频播放方法，其中，所述对所述全景视频中的音频文件进行过滤噪声的处理具体包括：
所述全景摄像头采集拍摄场景的原始数据，并分别提取所述原始数据包含的音频文件和视频文件；
全景摄像头中的处理器通过两个麦克风接收到声波的相位之间的差异对音频文件中的声波进行过滤处理，完成噪声数据的过滤。
所述的全景视频播放方法，其中，所述当播放全景视频时，判断是否存在记录有声源方向的脚本文件之后还包括：
当不存在记录有声源方向脚本文件时，则控制VR播放设备进入自由转动模式播放所述全景视频。
所述的全景视频播放方法，其中，所述当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向具体包括：
当加载所述脚本文件成功后，所述VR播放设备在界面上显示自动跟随按钮，提示用户是否选择开启自动跟随模式；
当所述VR播放设备接收到用户选择开启自动跟随模式的指令后，根据声源方向的脚本文件，进行全景视频角度旋转；
所述VR播放设备的正视觉根据音源坐标信息进行旋转调整，将声源方向的界面通过平滑转动的方式转动到用户视觉方向。
一种全景视频播放系统，其中，所述系统包括全景摄像头和VR播放设备；
所述全景摄像头包括：
用于收集语音信息的麦克风阵列；
与所述处理器麦克风阵列连接的处理器，所述处理器用于根据麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件；还用于对麦克风阵列收集的语音信息进行过滤处理；
用于录制全景视频并生成视频包的录制模块；
与所述处理器以及录制模块连接，用于存储视频包和声源方向的脚本文件的储存器；
与所述储存器连接，用于将视频包和声源方向的脚本文件发送至VR播放设备的通信接口；
所述VR播放设备包括：
与所述全景摄像头的通信接口连接，用于接收由全景摄像头发送过来的视频包和声源方向的脚本文的通信模块；
与所述通信模块连接，用于当触发播放全景视频时，判断是否存在声源方向的脚本文件的判断模块；
与所述判断模块连接，用于加载脚本文件，并读取脚本文件里的声源坐标信息的脚本加载模块；
以及与所述脚本加载模块连接，用于播放视频包，并根据声源坐标信息进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向的播放模块。
一种存储装置，其中，所述存储装置安装于所述VR播放设备中，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现所述的全景视频播放方法。
本发明公开了一种全景视频播放方法、系统及存储装置，通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件；对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件；当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。本发明通过VR播放设备播放全景视频时，根据声音方向控制镜头自动跟随，把主视觉方向呈现给用户，实现用户无需转头即可观看到视频的重要内容，为用户观看全景视频带来了方便。
附图说明
图1是本发明全景视频播放方法的较佳实施例的流程图。
图2是本发明全景视频播放方法中生成记录声源方向的脚本文件的较佳实施例的流程图。
图3是本发明全景视频播放方法中计算当前声源的位置坐标的两种不同方式的较佳实施例的流程图。
图4是本发明全景视频播放方法中对全景视频的音频文件进行过滤噪声的较佳实施例的流程图。
图5是本发明全景视频播放方法中实现视觉自动跟随全景播放较佳实施例的流程图。
图6是本发明全景视频播放系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的全景视频播放方法，如图1所示，一种全景视频播放方法，其中，包括以下步骤：
步骤S100，通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件。
具体地，所述全景摄像头（即全景摄像机）用于录制全景视频，所述麦克风阵列由一定数目的声学传感器(一般是麦克风)组成，用来对声场的空间特性进行采样并处理的系统（用于收集语音信息），亦例如在两个麦克风的正前方形成一个接收区域，进而削减两个麦克风侧向的收音效果，在频率响应中也可以根据时域中波束形成与空间滤波器相仿的应用，分析出接收到语音信号音源的方向以及其变化。
所述全景摄像头可以采集待拍摄场景的音频信息和视频信息（即所述全景视频包括音频文件和视频文件），所述音频信息可以通过全景摄像头配置的麦克风采集，视频信息可以通过全景摄像头配置的摄像头拍摄。在本实施例中，全景摄像头通过预先配置的麦克风阵列中的多个麦克风采集环境中的声音，并将采集到的声音的模拟信号转换成音频原始数据；同时，通过全景摄像头的摄像头拍摄环境中的图像，还可以通过屏幕录制获取的画面数据，在采集到图像/画面后，将采集的图像/画面数据转换成视频原始数据。
进一步地，如图2所示，所述通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件具体包括：
步骤S101，当录制全景视频时，通过全景摄像头中的麦克风阵列收集语音信息；
步骤S102，通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件。
具体来说，本发明中所述通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件提供两种实现方式，如图3所示：
实现方式一：
步骤S1021，统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
步骤S1022，根据所述时间差信息以及麦克风阵列中多个麦克风与全景摄像头之间的位置构造多个双曲面，并通过计算多个双曲面的交点得到当前声源的位置坐标。
实现方式二：
步骤S1021，统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
步骤S1023，将多个麦克风接收到的音频信号转换为离散的信号，再根据所述时间差信息和信号功率的衰减，计算出声源的位置坐标。
步骤S200，对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件。
具体地，当全景视频录制完成后，全景摄像头中的处理器在计算声源的大致位置前，可对麦克风阵列收集的语音信息过滤噪声数据，还可进行人工微调处理，以便更精准地计算出声源位置。
即对音频文件进行后处理，过滤噪声数据，还进行人工微调处理，通过利用两个麦克风接收到声波的相位之间的差异对声波进行过滤，能最大限度将环境背景声音滤掉，只剩下需要的声波。对于在嘈杂的环境下采用这种配置的设备，能使听者听起来很清晰，无杂音。
进一步地，如图4所示，所述对所述全景视频中的音频文件进行过滤噪声的处理具体包括：
步骤S201，所述全景摄像头采集拍摄场景的原始数据，并分别提取所述原始数据包含的音频文件和视频文件；
步骤S202，全景摄像头中的处理器通过两个麦克风接收到声波的相位之间的差异对音频文件中的声波进行过滤处理，完成噪声数据的过滤。
在播放时全景视频时（使用VR播放设备进行播放），判断是否存在声源方向的脚本文件，若存在，加载所述脚本文件；另外，所述当播放全景视频时，判断是否存在记录有声源方向的脚本文件之后还包括：当不存在记录有声源方向脚本文件时，则控制VR播放设备进入自由转动模式播放所述全景视频。
步骤S300，当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。
具体地，加载脚本文件成功后，播放器显示“自动跟随”按钮；（自动跟随即VR播放设备的正视觉自动跟随音源方向的位置；自由转动即人头部转动，VR播放设备的正视觉跟随头部转动而旋转）当确认用户选择“自动跟随”按钮启用自动跟随模式；VR播放设备根据声源方向脚本文件，进行全景视频角度旋转（VR播放设备的正视觉根据音源坐标信息进行旋转调整，例如人边走边讲，VR播放设备的正视觉始终跟随着人移动），把声源方向的界面，通过平滑的转动，转动到用户视觉方向；用户只需坐着即可观赏全景视频。
进一步地，如图5所示，所述当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向具体包括：
步骤S301，当加载所述脚本文件成功后，所述VR播放设备在界面上显示自动跟随按钮，提示用户是否选择开启自动跟随模式；
步骤S302，当所述VR播放设备接收到用户选择开启自动跟随模式的指令后，根据声源方向的脚本文件，进行全景视频角度旋转；
步骤S303，所述VR播放设备的正视觉根据音源坐标信息进行旋转调整，将声源方向的界面通过平滑转动的方式转动到用户视觉方向。
本发明可实现在全景视频中视觉自动跟随主要角色全景播放的效果，在一些不方便转动身体或头部的场合，舒适地观看全景视频，视频自动转动到重要的画面，无须用户转动身体或转动头部，相比自由转动身体观看更加舒适。
本发明还提供了一种全景视频播放系统，如图6所示，所述系统包括全景摄像头10和VR播放设备20；
所述全景摄像头10包括：
用于收集语音信息的麦克风阵列11；
与所述处理器麦克风阵列11连接的处理器12，所述处理器12用于根据麦克风阵列11收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件；还用于对麦克风阵列11收集的语音信息进行过滤处理；
用于录制全景视频并生成视频包的录制模块13；
与所述处理器12以及录制模块13连接，用于存储视频包和声源方向的脚本文件的储存器14；
与所述储存器14连接，用于将视频包和声源方向的脚本文件发送至VR播放设备的通信接口15；
所述VR播放设备20包括：
与所述全景摄像头10的通信接口连接15，用于接收由全景摄像头10发送过来的视频包和声源方向的脚本文的通信模块21；
与所述通信模块21连接，用于当触发播放全景视频时，判断是否存在声源方向的脚本文件的判断模块22；
与所述判断模块22连接，用于加载脚本文件，并读取脚本文件里的声源坐标信息的脚本加载模块23；
以及与所述脚本加载模块23连接，用于播放视频包，并根据声源坐标信息进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向的播放模块24。
所述麦克风阵列11用于收集语音信息；所述处理器12用于根据根据麦克风阵列11收集的语音信息计算声源的大致位置，并生成具有声源坐标信息的声源方向脚本文件，实现方法1：统计麦克风阵11中多个麦克风获取的当前语音的时间差信息；依据上述时间差信息以及麦克风阵列11中多个麦克风与摄像头之间的位置构造多个双曲面，并通过计算多个双曲面的交点得到当前声源的大致位置。实现方法2：统计麦克风阵列11中多个麦克风获取的当前语音的时间差信息；将多个麦克风接收到的音频信号转换为离散的信号，然后根据上述时间差信息和信号功率的衰减，进而计算出声源的位置坐标。
所述录制模块13用于录制全景视频并生成视频包；所述储存器14用于存储视频包和声源方向脚本文件；所述通信接口15用于将视频包和声源方向脚本文件发送至用户终端（VR播放设备）。
优选地，所述处理器12在计算声源的大致位置前，可对麦克风阵列11收集的语音信息过滤噪声数据，还可进行人工微调处理，以便更精准地计算出声源位置。
所述通信模块21用于接收由全景摄像头10发送过来的视频包和声源方向的脚本文件；所述判断模块22用于当触发播放全景视频时，判断是否存在声源方向脚本文件；所述脚本加载模块23用于加载脚本文件，并读取脚本文件里的声源坐标信息；所述播放模块24用于播放视频包，并根据声源坐标信息进行全景视频角度旋转，把声源方向的界面，通过平滑的转动，转动到用户视觉方向。
本发明还提供一种存储装置，其中，所述存储装置安装于所述VR播放设备中，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现所述全景视频播放方法。
综上所述，本发明提供了一种全景视频播放方法、系统及存储装置，所述方法包括：通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件；对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件；当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。本发明通过VR播放设备播放全景视频时，根据声音方向控制镜头自动跟随，把主视觉方向呈现给用户，实现用户无需转头即可观看到视频的重要内容，为用户观看全景视频带来了方便。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种全景视频播放方法，其特征在于，所述全景视频播放方法包括以下步骤：
通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件；
对所述全景视频中的音频文件进行过滤噪声的处理，当VR播放设备播放全景视频时，判断是否存在记录有声源方向的脚本文件，若存在，则加载所述脚本文件；
当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向。
2.根据权利要求1所述的全景视频播放方法，其特征在于，所述麦克风阵列由若干个的麦克风组合而成，用于收集语音信息；所述全景视频包括音频文件和视频文件。
3.根据权利要求2所述的全景视频播放方法，其特征在于，所述通过设置有麦克风阵列的全景摄像头录制全景视频，并根据识别出的声源方向，生成记录有声源方向的脚本文件具体包括：
当录制全景视频时，通过全景摄像头中的麦克风阵列收集语音信息；
通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件。
4.根据权利要求3所述的全景视频播放方法，其特征在于，所述通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件具体包括：
统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
根据所述时间差信息以及麦克风阵列中多个麦克风与全景摄像头之间的位置构造多个双曲面，并通过计算多个双曲面的交点得到当前声源的位置坐标。
5.根据权利要求3所述的全景视频播放方法，其特征在于，所述通过全景摄像头中的处理器根据所述麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件具体还包括：
统计麦克风阵列中多个麦克风获取的当前语音的时间差信息；
将多个麦克风接收到的音频信号转换为离散的信号，再根据所述时间差信息和信号功率的衰减，计算出声源的位置坐标。
6.根据权利要求1所述的全景视频播放方法，其特征在于，所述对所述全景视频中的音频文件进行过滤噪声的处理具体包括：
所述全景摄像头采集拍摄场景的原始数据，并分别提取所述原始数据包含的音频文件和视频文件；
全景摄像头中的处理器通过两个麦克风接收到声波的相位之间的差异对音频文件中的声波进行过滤处理，完成噪声数据的过滤。
7.根据权利要求1所述的全景视频播放方法，其特征在于，所述当播放全景视频时，判断是否存在记录有声源方向的脚本文件之后还包括：
当不存在记录有声源方向脚本文件时，则控制VR播放设备进入自由转动模式播放所述全景视频。
8.根据权利要求1所述的全景视频播放方法，其特征在于，所述当加载脚本文件成功后，VR播放设备接收用户开启自动跟随模式的指令，根据声源方向的脚本文件进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向具体包括：
当加载所述脚本文件成功后，所述VR播放设备在界面上显示自动跟随按钮，提示用户是否选择开启自动跟随模式；
当所述VR播放设备接收到用户选择开启自动跟随模式的指令后，根据声源方向的脚本文件，进行全景视频角度旋转；
所述VR播放设备的正视觉根据音源坐标信息进行旋转调整，将声源方向的界面通过平滑转动的方式转动到用户视觉方向。
9.一种全景视频播放系统，其特征在于，所述系统包括全景摄像头和VR播放设备；
所述全景摄像头包括：
用于收集语音信息的麦克风阵列；
与所述处理器麦克风阵列连接的处理器，所述处理器用于根据麦克风阵列收集的语音信息计算声源的位置，并生成具有声源坐标信息的声源方向的脚本文件；还用于对麦克风阵列收集的语音信息进行过滤处理；
用于录制全景视频并生成视频包的录制模块；
与所述处理器以及录制模块连接，用于存储视频包和声源方向的脚本文件的储存器；
与所述储存器连接，用于将视频包和声源方向的脚本文件发送至VR播放设备的通信接口；
所述VR播放设备包括：
与所述全景摄像头的通信接口连接，用于接收由全景摄像头发送过来的视频包和声源方向的脚本文的通信模块；
与所述通信模块连接，用于当触发播放全景视频时，判断是否存在声源方向的脚本文件的判断模块；
与所述判断模块连接，用于加载脚本文件，并读取脚本文件里的声源坐标信息的脚本加载模块；
以及与所述脚本加载模块连接，用于播放视频包，并根据声源坐标信息进行全景视频角度旋转，将声源方向的界面平滑转动到用户的视觉方向的播放模块。
10.一种存储装置，其特征在于，所述存储装置安装于所述VR播放设备中，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如权利要求1-8任一项所述的方法。
CN201710376444.9A 2017-05-25 2017-05-25 一种全景视频播放方法、系统及存储装置 Active CN107087208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710376444.9A CN107087208B (zh) 2017-05-25 2017-05-25 一种全景视频播放方法、系统及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710376444.9A CN107087208B (zh) 2017-05-25 2017-05-25 一种全景视频播放方法、系统及存储装置

Publications (2)

Publication Number Publication Date
CN107087208A true CN107087208A (zh) 2017-08-22
CN107087208B CN107087208B (zh) 2020-07-07

Family

ID=59609203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710376444.9A Active CN107087208B (zh) 2017-05-25 2017-05-25 一种全景视频播放方法、系统及存储装置

Country Status (1)

Country Link
CN (1) CN107087208B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237848A1 (zh) * 2019-05-29 2020-12-03 深圳壹秘科技有限公司 展示分离角色的系统、方法和录音设备
CN113014983A (zh) * 2021-03-08 2021-06-22 Oppo广东移动通信有限公司 视频播放方法、装置、存储介质及电子设备
CN113411684A (zh) * 2021-06-24 2021-09-17 广州酷狗计算机科技有限公司 视频播放方法和装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442654A (zh) * 2008-12-26 2009-05-27 深圳华为通信技术有限公司 视频通信中视频对象切换的方法、装置及系统
CN101661753A (zh) * 2008-08-27 2010-03-03 富士通株式会社 噪声抑制装置、移动电话和噪声抑制方法
CN102084650A (zh) * 2009-05-12 2011-06-01 华为终端有限公司 远程呈现系统、方法及视频采集设备
CN103176167A (zh) * 2013-03-21 2013-06-26 徐华中 一种基于锁相放大器的强干扰下声源定位方法
CN105657329A (zh) * 2016-02-26 2016-06-08 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
CN106576180A (zh) * 2014-08-15 2017-04-19 索尼公司 全景视频

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661753A (zh) * 2008-08-27 2010-03-03 富士通株式会社 噪声抑制装置、移动电话和噪声抑制方法
CN101442654A (zh) * 2008-12-26 2009-05-27 深圳华为通信技术有限公司 视频通信中视频对象切换的方法、装置及系统
CN102084650A (zh) * 2009-05-12 2011-06-01 华为终端有限公司 远程呈现系统、方法及视频采集设备
CN103176167A (zh) * 2013-03-21 2013-06-26 徐华中 一种基于锁相放大器的强干扰下声源定位方法
CN106576180A (zh) * 2014-08-15 2017-04-19 索尼公司 全景视频
CN105657329A (zh) * 2016-02-26 2016-06-08 苏州科达科技股份有限公司 视频会议系统、处理装置及视频会议方法
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237848A1 (zh) * 2019-05-29 2020-12-03 深圳壹秘科技有限公司 展示分离角色的系统、方法和录音设备
CN113014983A (zh) * 2021-03-08 2021-06-22 Oppo广东移动通信有限公司 视频播放方法、装置、存储介质及电子设备
CN113411684A (zh) * 2021-06-24 2021-09-17 广州酷狗计算机科技有限公司 视频播放方法和装置、存储介质及电子设备
CN113411684B (zh) * 2021-06-24 2023-05-30 广州酷狗计算机科技有限公司 视频播放方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN107087208B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US20230315380A1 (en) Devices with enhanced audio
US10178490B1 (en) Intelligent audio rendering for video recording
CN112165590B (zh) 视频的录制实现方法、装置及电子设备
US20020075295A1 (en) Telepresence using panoramic imaging and directional sound
CN104580992A (zh) 一种控制方法及移动终端
WO2018106605A1 (en) Distributed audio capturing techniques for virtual reality (vr), augmented reality (ar), and mixed reality (mr) systems
CN106559696A (zh) 信息发送方法及装置
CN108156575A (zh) 音频信号的处理方法、装置及终端
CN107087208A (zh) 一种全景视频播放方法、系统及存储装置
CN110958537A (zh) 一种智能音箱及智能音箱使用的方法
JP2015215623A (ja) カラオケ可能な装置
JP6580516B2 (ja) 処理装置および画像決定方法
CN114363512A (zh) 一种视频处理的方法及相关电子设备
CN106341602A (zh) 全景图像的生成方法及装置
CN112637529A (zh) 一种录像处理方法、装置、存储介质及电子设备
JP2010528546A (ja) パノラマ式音像の生成及び再生方法並びにパノラマ式音像の再生装置
JP5892797B2 (ja) 送受信システム及び送受信方法、受信装置及び受信方法
WO2020026548A1 (ja) 情報処理装置及び情報処理方法、並びに音響システム
US9992532B1 (en) Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof
US11368611B2 (en) Control method for camera device, camera device, camera system, and storage medium
CN113707165A (zh) 音频处理方法、装置及电子设备和存储介质
JP2005277845A (ja) 撮影制御装置
JP6191333B2 (ja) 情報処理装置、通信システムおよびプログラム
US20080170705A1 (en) Recorder that creates stereophonic sound
JP2017138698A (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 2306, east block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Kukai Network Technology Co.,Ltd.

Address before: 518052 A 1502, South SKYWORTH building, Shennan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: Shenzhen Coocaa Network Technology Co.,Ltd.