CN106992959A - 一种3d全景音视频直播系统及音视频采集方法 - Google Patents

一种3d全景音视频直播系统及音视频采集方法 Download PDF

Info

Publication number
CN106992959A
CN106992959A CN201610935572.8A CN201610935572A CN106992959A CN 106992959 A CN106992959 A CN 106992959A CN 201610935572 A CN201610935572 A CN 201610935572A CN 106992959 A CN106992959 A CN 106992959A
Authority
CN
China
Prior art keywords
audio
video data
panoramic
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610935572.8A
Other languages
English (en)
Other versions
CN106992959B (zh
Inventor
王超
沈靖程
刘亚辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pi Software Technology Co Ltd
Original Assignee
Shenzhen Pi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pi Software Technology Co Ltd filed Critical Shenzhen Pi Software Technology Co Ltd
Priority to CN201610935572.8A priority Critical patent/CN106992959B/zh
Priority to PCT/CN2017/084482 priority patent/WO2018082284A1/zh
Publication of CN106992959A publication Critical patent/CN106992959A/zh
Application granted granted Critical
Publication of CN106992959B publication Critical patent/CN106992959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/4061—Push-to services, e.g. push-to-talk or push-to-video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种3D全景音视频直播系统及音视频采集方法。该3D全景音视频直播系统包括音视频采集设备、服务器以及多个用户终端。音视频采集设备用于硬件同步采集多路原始视频数据以及多路原始音频数据，对多路原始视频数据以及多路原始音频数据进行处理，获得3D全景音视频数据，并将3D全景音视频数据推流到服务器；服务器接收音视频采集设备推流的3D全景音视频数据，将3D全景音视频数据进行转码处理，并将转码后的3D全景音视频数据分发给用户终端；用户终端从服务器实时获取转码后的3D全景音视频数据，并实时直播转码后的3D全景音视频数据。本发明实施例可以提高画质的清晰度、减小图像畸变，实现多路视频数据与多路音频数据的硬件同步采集。

Description

一种3D全景音视频直播系统及音视频采集方法
技术领域
本发明涉及音视频处理技术领域，尤其涉及一种3D全景音视频直播系统及音视频采集方法。
背景技术
随着计算机技术、微电子技术、光学技术以及多媒体技术的飞速发展，人们信息交流互通的需求不断加大，信息沟通方式革新的需求更是与日俱增，传统的单个摄像头进行音视频信息采集和网络传输到远程的方式进行可视对讲等等的方式已经不满足人们日益增长无死角的图像视频信息采集的需求，一种突破传统，带给用户720度无死角沉浸式体验的全景音视频采集设备应运而生。
目前，全景音视频采集设备主要分为两大类，第一类是采用双目摄像头方案，即两个摄像头模组背靠背放置或者水平方向错位放置，第二类则是多个摄像头方案，即多目摄像头模组自由排布使得能够无死角采集。然而实践中发现，第一类存在着像素密度不够、图像畸变较大和画质不清晰等问题，第二类无法进行多个摄像头的视频数据帧同步，这两类全景音视频采集设备采集的视频数据都给全景视频的拼接带来影响。可见，如何实现一种图像畸变比较小、画质清晰、多个摄像头采集且同步性好的全景音视频采集系统是一个亟待解决的技术难题。
发明内容
本发明实施例提供了一种3D全景音视频直播系统及音视频采集方法，可以提高画质的清晰度、减小图像畸变，同时，实现多路视频数据与多路音频数据的硬件同步采集。
本发明实施例第一方面公开了一种3D全景音视频直播系统，包括：音视频采集设备、服务器以及多个用户终端，其中：
所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；
所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；
所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。
本发明实施例中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，在对该原始视频数据以及原始音频数据进行处理后获得3D全景音视频数据，实现了多路视频数据与多路音频数据的硬件同步采集，同时，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，这样，用户终端直播3D全景音视频数据时将会有更高的像素和清晰度，图像畸变也会减小，从而可以提高画质的清晰度、减小图像畸变，提高用户体验。
本发明实施例第二方面公开了一种音视频采集方法，包括：
硬件同步采集来自多路摄像头模组的原始视频数据；
硬件同步采集来自多路拾音器的原始音频数据；
对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。
本发明实施例中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，进一步地，音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。可见，通过实施本发明实施例，能够实现多路原始视频数据以及多路原始音频数据的硬件同步采集。此外，摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，此外，多路高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种3D全景音视频直播系统的结构示意图；
图2是本发明实施例公开的另一种3D全景音视频直播系统的结构示意图；
图3是本发明实施例公开的一种音视频采集方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种3D全景音视频直播系统及音视频采集方法，提高画质的清晰度、减小图像畸变，同时，实现多路视频数据与多路音频数据的硬件同步采集。以下分别进行详细说明。
请参阅图1，图1是本发明实施例公开的一种3D全景音视频直播系统的结构示意图。如图1所示，该3D全景音视频直播系统包括音视频采集设备10、服务器20以及用户终端30，其中：
所述音视频采集设备10，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；
所述服务器20，用于接收所述音视频采集设备推流的所述3D全景音视频数据；
所述用户终端30，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。
其中，音视频采集设备10可以为全景拍摄装置，如全景相机。服务器20为广域网服务器或局域网服务器。多个所述用户终端30可以同时观看实时直播的所述转码后的3D全景音视频数据。
具体的，局域网服务器主要用于搭建局域网环境下支持多用户同时观看本地3D全景音视频数据的流媒体直播，它能够接受音视频采集设备推流过来的RTMP格式的音视频流，同时，支持多种音视频流格式的转换，例如转换成HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等协议，并进行音视频流的多路分发工作，以便于用户终端进行身临其境的实时3D全景音视频直播体验。
广域网服务器主要用于接收音视频采集设备通过以太网推流过来的音视频流并在云平台创建直播、生成推流地址或播放地址分发到用户终端，广域网服务还可以进行协议转换，把接收到的音视频流的格式转换成为HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等等多种视频格式，并分发到能够接受相应视频格式直播的用户终端。同时，音视频流在传输过程中还经过了CDN加速过程。
其中，所述用户终端30上配置有所述用户终端30的操作系统对应的全景播放器，所述操作系统包括以下中的任一个：视窗操作系统Windows、Mac电脑、IOS、安卓Android以及VR一体机。
其中，用户终端30为广域网用户终端或局域网用户终端。
广域网用户终端可以包括但不限于：VR一体机（Virtual Reality All-in-oneHeadset）、手机、平板电脑、MAC电脑，笔记本电脑和台式机电脑等等，用户可以通过不同广域网用户终端上的播放器来实时体验远程的经过CDN加速的至少4K/30fps的3D全景音视频直播。此外，广域网用户终端能够支持多人同时在线观看。
局域网用户终端可以包括但不限于：VR一体机（Virtual Reality All-in-oneHeadset）、手机、平板电脑、MAC电脑，笔记本电脑和台式机电脑等等，用户可以通过局域网用户终端上的播放器来实时体验本地的至少4K/30fps的3D全景音视频直播。此外，局域网用户终端能够支持多人同时在线观看。
本发明实施例中，音视频采集设备10硬件同步采集多路原始视频数据以及多路原始音频数据，实现了多路原始视频数据以及多路原始音频数据的硬件同步采集，此外，获得的3D全景音视频数据的画质更清晰、图像畸变较小。音视频采集设备10将所述3D全景音视频数据推流到所述服务器20，经所述服务器20对所述3D全景音视频数据进行转码处理之后，用户终端30就可以从所述服务器20实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据，这样，用户就可以观看清晰度更高、图像畸变更小，全景拼接指令更高的3D全景音视频了，从而能够增强用户的沉浸式体验。
请参阅图2，图2是本发明实施例公开的另一种3D全景音视频直播系统的结构示意图。其中，图2所示的3D全景音视频直播系统是在图1所示3D全景音视频直播系统的基础上进一步优化得到的，与图1所示的3D全景音视频直播系统相比，图2所示的3D全景音视频直播系统除了包括图1所示的3D全景音视频直播系统的所有模块外，
音视频采集设备10包括采集模块100和处理模块200，所述采集模块100通过M路第一移动产业处理器接口MIPI（比如第一MIPI 1、第一MIPI 2……第一MIPI M）与所述处理模块200连接，所述采集模块100包括N路摄像头模组（比如摄像头模组1、摄像头模组2……摄像头模组N）、P路拾音器（比如拾音器1、拾音器2……拾音器N）以及现场可编程门阵列FPGA芯片110，所述N路摄像头模组通过N路第二MIPI（比如第二MIPI 1、第二MIPI 2……第二MIPIN）与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：
所述FPGA芯片110，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；
所述FPGA芯片110，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；
所述处理模块200，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。
其中，现场可编程门阵列（Field-Programmable Gate Array，FPGA），移动产业处理器接口(Mobile Industry Processor Interface，MIPI）。
本发明实施例中，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片110直接相连，由于第二MIPI的传输速度快，可以用于传输更高清、数据量更大的图像传感器数据，所述FPGA芯片110具有接口丰富且能够并行工作的特点，故所述FPGA芯片110能够通过N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，以及通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，即能够实现多路视频数据与多路音频数据的硬件同步采集。此外，所述N路摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，故处理模块200获得的3D全景音视频数据的清晰度会很高，同时，N路高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。
其中，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头（图中未示出）；可选的，N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。
作为一种可选的实施方式，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；
在该实施方式中，需要每个所述图像传感器竖立放置，即图像传感器的长边与多个图像传感器水平均匀排布的圆周相垂直，这样，能够提高图像传感器的像素利用率和成像画质质量。
作为另一种可选的实施方式，若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。
在该实施方式中，需要采用广角镜头，广角镜头的角度与所述图像传感器的数量相对应，即广角镜头的角度会根据图像传感器数目的不同而不同。
FPGA芯片110能够在同一时刻对N个图像传感器按照10bit精度进行硬件同步的原始视频数据采集，采集得到N路图像传感器的RAW DATA格式的原始视频数据。
作为另一种可选的实施方式，所述FPGA芯片110包括：N个视频数据输入缓存单元以及M个视频数据输出缓存单元（图中为示出），N为M的整倍数，其中，
所述视频数据输入缓存单元，用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据；
所述FPGA芯片110，还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据；
所述视频数据输出缓存单元，用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据，以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。
具体的，FPGA芯片110通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据。同时，FPGA芯片110为这N路摄像头模组分别建立了视频数据输入缓存单元，即总共建立了N个视频数据输入缓存单元。其中，每个视频数据输入缓存单元可以存储X帧的视频数据帧，X大于等于1，这样有利于每一路摄像头模组高速且高帧率传输过来的原始视频数据能够及时地被接收与缓存，便于后续原始视频数据的处理，同时，防止因为后续处理工作效率不能够与摄像头模组输出效率匹配而造成的视频数据的丢失。
其中，每经过一次FPGA芯片110对N路摄像头模组的硬件同步采集所得到的原始视频数据可以称之为一组采集输入，N个经过硬件同步采集得到的原始视频数据，即一组采集输入，就会并行的存储到对应的视频数据输入缓存单元中，而且在每一个视频数据输入缓存单元中，每一次硬件同步采集到的对应于该视频数据输入缓存单元的原始视频数据会按照存储空间地址从低到高的顺序或者从高到低的顺序依次地存储，直到该视频数据输入缓存单元的原始视频数据帧的数目达到X，如果再有新的原始视频数据帧输入进来，就会覆盖掉第一个存储到视频数据输入缓存单元的数据帧，并继续按照顺序依次存储并覆盖之前存储的原始视频数据。
此外，FPGA芯片110在进行N路摄像头模组的原始视频数据的采集并传输给视频数据输入缓存单元的过程中，FPGA芯片110还将N个视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据，并把每个分组的原始视频数据存储到与该分组对应的视频数据输出缓存单元，其中，视频数据输出缓存单元的数量为M个，每个分组的原始视频数据帧的数目为N/M个，其中，N为M的整倍数。M路视频数据输出缓存单元将通过M路所述第一MIPI将存储的原始视频数据并行地发送给所述处理模块。
同时，M路视频数据输出缓存单元也会向FPGA芯片110发出数据请求，该请求用于请求把N路视频数据输入缓存单元中所存储的一组采集输入继续均分为M组，并传递给M路视频数据输出缓存单元。这样FPGA芯片110内部依次实时地进行着N路摄像头模组的原始视频数据的硬件同步采集，并作为一组采集输入按照地址存储顺序存储到对应的N路视频数据输入缓存单元中，然后等到M路视频数据输出缓存单元发出数据请求的时候，再依次地把N路视频数据输入缓存单元中的原始视频数据以一组采集输入的方式，按照先进先出的原则依次的传递给M路视频数据输出缓存单元。
这样，M路视频数据输出缓存单元就可以通过M路所述第一MIPI将存储的原始视频数据发送给所述处理模块200，以便于所述处理模块200对原始视频数据进行后续处理。
作为另一种可选的实施方式，所述P路拾音器为P路模拟麦克，所述第一音频数据接口为音频输入AIN接口。
具体的，FPGA芯片110通过P路AIN接口与P路模拟麦克进行连接，通过FPGA芯片110进行P路模拟音频信号放大、AGC(自动增益控制)、A/D采样、量化和编码，最后得到P路原始音频数据。可以根据精度和音质的不同需求来择取采集位数，比如8位、16位、24位等，可以根据不同音质要求来择取采样频率，比如22.05KHz、44.1KHz、48KHz。
作为另一种可选的实施方式，所述P路拾音器为P路数字麦克，所述第一音频数据接口为集成电路内置音频总线I2S接口。
具体的，FPGA芯片110通过P路I2S接口来接收P路数字麦克的原始音频数据，采样精度主要由数字麦克本身特性来限制。
作为另一种可选的实施方式，所述FPGA芯片110包括：P个音频数据输入缓存单元以及一个音频数据输出缓存单元，其中，
所述音频数据输入缓存单元，用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据；
所述音频数据输出缓存单元，用于存储来自P个所述音频数据输入缓存单元的原始音频数据，以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。
其中，第二音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口。
具体的，FPGA芯片110为每路拾音器建立了一个音频数据输入缓存单元。同时，FPGA芯片110也为采集到的P路原始音频数据建立了一个总的音频数据输出缓存单元。无论拾音器是模拟麦克还是数字麦克，对于每个音频数据输入缓存单元来说，音频数据输入缓存单元存储与该音频数据输入缓存单元对应的拾音器的原始音频数据，
当处理模块200对FPGA芯片110发送数据获取请求或音频数据输入缓存单元存储的数据填满了之后，P个音频数据输入缓存单元就会把存储的P路原始音频数据按照第1路~第P路的顺序依次传输给音频数据输出缓存单元，该音频数据输出缓存单元按照一定的格式对接收到的原始音频数据进行缓存，并通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块200。
作为另一种可选的实施方式，处理模块200包括：主控模块210、M路图像信号处理ISP模块（比如ISP模块1、ISP模块2……ISP模块M）、图形处理器GPU模块220、编码模块230以及外部存储模块240，其中，
所述主控模块210，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理，获得3D全景视频数据；
所述主控模块210，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；
所述主控模块210，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；
所述主控模块210，还用于通过调度所述编码模块230对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；
所述主控模块210，还用于通过调度所述外部存储模块240存储所述3D全景音视频数据。
其中，所述主控模块210通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：
所述主控模块210通过调度所述M路ISP模块对所述原始视频数据进行ISP处理，获得M路视频数据；
所述主控模块210通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据。
其中，所述主控模块210对所述原始音频数据进行处理，获得全景音频数据的方式具体为：
所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。
其中，主控模块210可以为中央处理器（Central Processing Unit，CPU），图像信号处理（Image Signal Processin，ISP），图形处理器（Graphics Processing Unit，GPU）。
具体的，本发明实施例中，FPGA芯片110通过M路第一MIPI将N路摄像头模组的RAWDATA格式的原始视频数据帧传输给处理模块200之后，处理模块200中的主控模块210通过所述M路第一MIPI并行接收所述原始视频数据，通过调度所述M路ISP模块对所述原始视频数据进行ISP处理，即进行3D降噪处理、图像质量优化处理以及将转换RAW DATA格式的原始视频数据转换成YUV格式的原始视频数据，最后获得M路视频数据；进一步地，通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；同时，所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。其中，3D全景视频数据的分辨率、帧率和视频流的码率主要受到处理模块200本身性能的影响，至少能够实现编码4K/30fps且低码率的实时视频流。
进一步地，所述主控模块210还对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理，这样，可以使得全景音频能够根据3D全景视频不同的视角位置匹配模拟出真实场景中人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感。
此外，所述主控模块210还通过调度所述编码模块230对匹配后的3D全景视频数据进行硬件加速的H264/H265编码，以及对匹配后的全景音频数据进行硬件加速的AAC编码，进一步地，所述主控模块210把经过编码的3D全景视频数据以及全景音频数据进行音视频同步处理，以确保音视频数据的同步，这样，就获得了3D全景音视频数据。
作为另一种可选的实施方式，所述主控模块210还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
具体的，所述主控模块210还用于通过以太网以无线或者有线的方式将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
其中，主控模块210的处理器可以是intel处理器，手机平台处理器（高通、联发科、海思、三星、德州仪器）或者是英伟达的显卡处理器等等。
请参阅图3，图3是本发明实施例公开的一种音视频采集方法的流程示意图，其中，该方法应用于音视频采集设备，如图3所示，该方法可以包括以下步骤：
301、音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据。
具体的，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据的方式具体可以为：
通过多路移动产业处理器接口MIPI硬件同步采集来自所述多路摄像头模组的原始视频数据。
本发明实施例中，音视频采集设备中的FPGA芯片通过多路移动产业处理器接口MIPI硬件同步采集来自多路摄像头模组的原始视频数据，其中，摄像头模组通过MIPI与FPGA芯片直接相连，MIPI的传输速度快，可以用于传输更高清、数据量更大的图像传感器数据，FPGA芯片具有接口丰富且能够并行工作的特点，故所述FPGA芯片能够通过多路MIPI硬件同步采集来自多路摄像头模组的原始视频数据。
302、音视频采集设备硬件同步采集来自多路拾音器的原始音频数据。
具体的，音视频采集设备通过多路第一音频数据接口硬件同步采集来自多路拾音器的原始音频数据，该第一音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口。
303、音视频采集设备对原始视频数据以及原始音频数据进行处理，获得3D全景音视频数据。
作为一种可选的实施方式，所述音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据的方式具体包括以下步骤：
11）音视频采集设备对所述原始视频数据进行处理，获得3D全景视频数据；
12）音视频采集设备对所述原始音频数据进行处理，获得全景音频数据；
13）音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据。
具体的，音视频采集设备对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：
音视频采集设备对所述原始视频数据进行图像信号处理ISP处理，获得多路视频数据；对所述多路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；
所述音视频采集设备对所述原始音频数据进行处理，获得全景音频数据的方式具体为：
音视频采集设备对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据；
所述音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据的方式具体为：
音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据。
在该可选的实施方式中，音视频采集设备对所述原始视频数据进行ISP处理，即进行3D降噪处理、图像质量优化处理以及将转换RAW DATA格式的原始视频数据转换成YUV格式的原始视频数据，最后获得多路视频数据；进一步地，音视频采集设备对所述多路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；同时，音视频采集设备对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。更进一步地，音视频采集设备还对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理，这样，可以使得全景音频能够根据3D全景视频不同的视角位置匹配模拟出真实场景中人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感。
此外，音视频采集设备对匹配后的3D全景视频数据进行硬件加速的H264/H265编码，以及对匹配后的全景音频数据进行硬件加速的AAC编码，把经过编码的3D全景视频数据以及全景音频数据进行音视频同步处理，以确保音视频数据的同步，这样，就获得了3D全景音视频数据。
作为一种可选的实施方式，该方法还包括以下步骤：
音视频采集设备通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
具体的，音视频采集设备通过以太网以无线或者有线的方式将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
在该可选的实施方式中，局域网服务器主要用于搭建局域网环境下支持多用户同时观看本地3D全景音视频数据的流媒体直播，它能够接受音视频采集设备推流过来的RTMP格式的音视频流，同时，支持多种音视频流格式的转换，例如转换成HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等协议，并进行音视频流的多路分发工作，以便于用户终端进行身临其境的实时3D全景音视频直播体验。
广域网服务器主要用于接收音视频采集设备通过以太网推流过来的音视频流并在云平台创建直播、生成推流地址或播放地址分发到用户终端，广域网服务还可以进行协议转换，把接收到的音视频流的格式转换成为HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等等多种视频格式，并分发到能够接受相应视频格式直播的用户终端。同时，音视频流在传输过程中还经过了CDN加速过程。
需要说明的是，图3中相关步骤的描述具体还可以参照图1或图2中的描述，在此不再赘述。
在图3所描述的方法流程中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，进一步地，音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。可见，通过实施本发明实施例，能够实现多路原始视频数据以及多路原始音频数据的硬件同步采集。此外，由于摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，同时，高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种3D全景音视频直播系统，其特征在于，包括：音视频采集设备、服务器以及多个用户终端，其中：
所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；
所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；
所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。
2.根据权利要求1所述的3D全景音视频直播系统，其特征在于，所述音视频采集设备包括采集模块和处理模块，所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接，所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：
所述FPGA芯片，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；
所述FPGA芯片，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；
所述处理模块，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。
3.根据权利要求2所述的3D全景音视频直播系统，其特征在于，所述处理模块包括：主控模块、M路图像信号处理ISP模块、图形处理器GPU模块、编码模块以及外部存储模块，其中，
所述主控模块，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理，获得3D全景视频数据；
所述主控模块，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；
所述主控模块，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；
所述主控模块，还用于通过调度所述编码模块对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；
所述主控模块，还用于通过调度所述外部存储模块存储所述3D全景音视频数据。
4.根据权利要求3所述的3D全景音视频直播系统，其特征在于，所述主控模块还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到所述服务器。
5.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头；其中，
N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。
6.根据权利要求5所述的3D全景音视频直播系统，其特征在于，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；
若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。
7.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：N个视频数据输入缓存单元以及M个视频数据输出缓存单元，N为M的整倍数，其中，
所述视频数据输入缓存单元，用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据；
所述FPGA芯片，还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据；
所述视频数据输出缓存单元，用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据，以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。
8.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：P个音频数据输入缓存单元以及一个音频数据输出缓存单元，其中，
所述音频数据输入缓存单元，用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据，
所述音频数据输出缓存单元，用于存储来自P个所述音频数据输入缓存单元的原始音频数据，以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。
9.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述P路拾音器为P路模拟麦克，所述第一音频数据接口为音频输入AIN接口；或，
所述P路拾音器为P路数字麦克，所述第一音频数据接口为集成电路内置音频总线I2S接口。
10.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述服务器为广域网服务器或局域网服务器，所述用户终端为广域网用户终端或局域网用户终端。
11.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述用户终端上配置有所述用户终端的操作系统对应的全景播放器，所述操作系统包括以下中的任一个：视窗操作系统Windows、Mac电脑、IOS、安卓Android以及VR一体机。
12.一种音视频采集方法，应用于音视频采集设备，其特征在于，所述方法包括：
硬件同步采集来自多路摄像头模组的原始视频数据；
硬件同步采集来自多路拾音器的原始音频数据；
对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。
13.根据权利要求12所述的音视频采集方法，其特征在于，所述硬件同步采集来自多路摄像头模组的原始视频数据包括：
通过多路移动产业处理器接口MIPI硬件同步采集来自所述多路摄像头模组的原始视频数据。
14.根据权利要求12所述的音视频采集方法，其特征在于，所述对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据包括：
对所述原始视频数据进行处理，获得3D全景视频数据；
对所述原始音频数据进行处理，获得全景音频数据；
对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据。
15.根据权利要求14所述的音视频采集方法，其特征在于，所述对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：
对所述原始视频数据进行图像信号处理ISP处理，获得M路视频数据；对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；
所述对所述原始音频数据进行处理，获得全景音频数据的方式具体为：
对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据；
所述对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据的方式具体为：
对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据。
16.根据权利要求12~15任一项所述的音视频采集方法，其特征在于，所述方法还包括：
通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
CN201610935572.8A 2016-11-01 2016-11-01 一种3d全景音视频直播系统及音视频采集方法 Active CN106992959B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610935572.8A CN106992959B (zh) 2016-11-01 2016-11-01 一种3d全景音视频直播系统及音视频采集方法
PCT/CN2017/084482 WO2018082284A1 (zh) 2016-11-01 2017-05-16 3d全景音视频直播系统及音视频采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610935572.8A CN106992959B (zh) 2016-11-01 2016-11-01 一种3d全景音视频直播系统及音视频采集方法

Publications (2)

Publication Number Publication Date
CN106992959A true CN106992959A (zh) 2017-07-28
CN106992959B CN106992959B (zh) 2023-08-18

Family

ID=59414484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610935572.8A Active CN106992959B (zh) 2016-11-01 2016-11-01 一种3d全景音视频直播系统及音视频采集方法

Country Status (2)

Country Link
CN (1) CN106992959B (zh)
WO (1) WO2018082284A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205122A (zh) * 2017-08-03 2017-09-26 哈尔滨市舍科技有限公司 多分辨率全景视频直播拍照系统与方法
CN107396122A (zh) * 2017-08-11 2017-11-24 西安万像电子科技有限公司 音视频数据输入/输出方法、装置及设备
CN108989739A (zh) * 2018-07-24 2018-12-11 上海国茂数字技术有限公司 一种全视角视频会议直播系统及方法
CN109743643A (zh) * 2019-01-16 2019-05-10 成都合盛智联科技有限公司 楼宇对讲系统的处理方法及装置
CN109756683A (zh) * 2017-11-02 2019-05-14 深圳市裂石影音科技有限公司 全景音视频录制方法、装置、存储介质和计算机设备
CN109951650A (zh) * 2019-01-07 2019-06-28 北京汉博信息技术有限公司 校园电台系统
CN110908643A (zh) * 2018-09-14 2020-03-24 阿里巴巴集团控股有限公司 软件开发工具包的配置方法、装置和系统
CN111031327A (zh) * 2019-11-06 2020-04-17 石家庄微泽科技有限公司 一种全景播放的方法
CN111225173A (zh) * 2020-02-20 2020-06-02 深圳市昊一源科技有限公司 音视频传输装置及音视频传输系统
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备
CN111642890A (zh) * 2020-07-07 2020-09-11 北京兰亭数字科技有限公司 一种8k5gvr背包
CN111901351A (zh) * 2020-07-30 2020-11-06 西安万像电子科技有限公司 远程教学系统、方法、装置以及语音网关路由器
CN112073748A (zh) * 2019-06-10 2020-12-11 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN113132672A (zh) * 2021-03-24 2021-07-16 联想(北京)有限公司 一种数据处理方法以及视频会议设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866713B (zh) * 2021-01-19 2022-09-16 北京睿芯高通量科技有限公司 一种转码一体机系统以及转码方法
CN112954394B (zh) * 2021-01-28 2023-07-28 广州虎牙科技有限公司 一种高清视频的编码及解码播放方法、装置、设备和介质
CN112954272B (zh) * 2021-01-29 2023-10-24 上海商汤临港智能科技有限公司 相机模组、数据传输方法及装置、存储介质和车辆
CN115102929B (zh) * 2021-03-03 2024-02-13 阿里巴巴（中国）有限公司 音频处理系统、中间层芯片及音频处理设备
CN113315940A (zh) * 2021-03-23 2021-08-27 海南视联通信技术有限公司 一种视频通话方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202395858U (zh) * 2011-12-14 2012-08-22 深圳市中控生物识别技术有限公司 一种双目摄像装置
WO2012159333A1 (zh) * 2011-05-20 2012-11-29 中兴通讯股份有限公司 一种视频会议的实现方法、系统及宽带移动热点设备
CN103297688A (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制系统及录制方法
CN104570577A (zh) * 2015-02-12 2015-04-29 深圳市圆周率软件科技有限责任公司 一种720度全景照相机
CN105120193A (zh) * 2015-08-06 2015-12-02 佛山六滴电子科技有限公司 一种录制全景视频的设备及方法
CN205320214U (zh) * 2016-01-28 2016-06-15 北京极图科技有限公司 3dvr 全景视频成像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220543B (zh) * 2013-04-25 2015-03-04 同济大学 基于kinect的实时3d视频通信系统及其实现方法
CN205071232U (zh) * 2015-09-24 2016-03-02 北京工业大学 一种3d全景视频采集装置
CN206117891U (zh) * 2016-11-01 2017-04-19 深圳市圆周率软件科技有限责任公司 一种音视频采集设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012159333A1 (zh) * 2011-05-20 2012-11-29 中兴通讯股份有限公司 一种视频会议的实现方法、系统及宽带移动热点设备
CN202395858U (zh) * 2011-12-14 2012-08-22 深圳市中控生物识别技术有限公司 一种双目摄像装置
CN103297688A (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制系统及录制方法
CN104570577A (zh) * 2015-02-12 2015-04-29 深圳市圆周率软件科技有限责任公司 一种720度全景照相机
CN105120193A (zh) * 2015-08-06 2015-12-02 佛山六滴电子科技有限公司 一种录制全景视频的设备及方法
CN205320214U (zh) * 2016-01-28 2016-06-15 北京极图科技有限公司 3dvr 全景视频成像装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205122A (zh) * 2017-08-03 2017-09-26 哈尔滨市舍科技有限公司 多分辨率全景视频直播拍照系统与方法
CN107396122A (zh) * 2017-08-11 2017-11-24 西安万像电子科技有限公司 音视频数据输入/输出方法、装置及设备
CN109756683A (zh) * 2017-11-02 2019-05-14 深圳市裂石影音科技有限公司 全景音视频录制方法、装置、存储介质和计算机设备
CN109756683B (zh) * 2017-11-02 2024-06-04 深圳市裂石影音科技有限公司 全景音视频录制方法、装置、存储介质和计算机设备
CN108989739A (zh) * 2018-07-24 2018-12-11 上海国茂数字技术有限公司 一种全视角视频会议直播系统及方法
CN108989739B (zh) * 2018-07-24 2020-12-18 上海国茂数字技术有限公司 一种全视角视频会议直播系统及方法
CN110908643B (zh) * 2018-09-14 2023-05-05 阿里巴巴集团控股有限公司 软件开发工具包的配置方法、装置和系统
CN110908643A (zh) * 2018-09-14 2020-03-24 阿里巴巴集团控股有限公司 软件开发工具包的配置方法、装置和系统
CN109951650A (zh) * 2019-01-07 2019-06-28 北京汉博信息技术有限公司 校园电台系统
CN109951650B (zh) * 2019-01-07 2024-02-09 北京汉博信息技术有限公司 校园电台系统
CN109743643A (zh) * 2019-01-16 2019-05-10 成都合盛智联科技有限公司 楼宇对讲系统的处理方法及装置
CN109743643B (zh) * 2019-01-16 2022-04-01 成都合盛智联科技有限公司 楼宇对讲系统的处理方法及装置
CN112073748A (zh) * 2019-06-10 2020-12-11 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
WO2020248900A1 (zh) * 2019-06-10 2020-12-17 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN112073748B (zh) * 2019-06-10 2022-03-18 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN111031327A (zh) * 2019-11-06 2020-04-17 石家庄微泽科技有限公司 一种全景播放的方法
CN111225173A (zh) * 2020-02-20 2020-06-02 深圳市昊一源科技有限公司 音视频传输装置及音视频传输系统
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备
CN111642890A (zh) * 2020-07-07 2020-09-11 北京兰亭数字科技有限公司 一种8k5gvr背包
CN111901351A (zh) * 2020-07-30 2020-11-06 西安万像电子科技有限公司 远程教学系统、方法、装置以及语音网关路由器
CN113132672B (zh) * 2021-03-24 2022-07-26 联想(北京)有限公司 一种数据处理方法以及视频会议设备
CN113132672A (zh) * 2021-03-24 2021-07-16 联想(北京)有限公司 一种数据处理方法以及视频会议设备

Also Published As

Publication number Publication date
CN106992959B (zh) 2023-08-18
WO2018082284A1 (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
CN106992959B (zh) 一种3d全景音视频直播系统及音视频采集方法
US10021301B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN206117891U (zh) 一种音视频采集设备
TWI595786B (zh) 基於時間戳記的音訊與視訊處理方法及其系統
US9843725B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
JP6377784B2 (ja) オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
WO2018068481A1 (zh) 一种双目 720 度全景采集系统
WO2018222229A1 (en) Methods and systems for using 2d captured imagery of a scene to provide virtual reality content
CN109769132B (zh) 一种基于帧同步的多路远程直播视频解说方法
CN104301657B (zh) 一种会议电视终端及其辅流数据接入方法
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN114531564A (zh) 处理方法及电子设备
JP2018201159A (ja) 映像処理方法、映像処理システム及び映像送信装置
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
CN109756683B (zh) 全景音视频录制方法、装置、存储介质和计算机设备
WO2011099254A1 (ja) データ処理装置及びデータ符号化装置
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN111406404A (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
CN206117889U (zh) 一种双目720度全景采集系统
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
CN107426487A (zh) 一种全景图像录播方法及系统
JP2021078114A (ja) 撮影装置、配信システム、配信方法および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Building 4D, Gongyanhui Science and Technology Industrial Park, No. 160, Xihu West Road, Wujin National High and New Technology Industrial Development Zone, Changzhou City, Jiangsu Province, 213166

Applicant after: Pi Technology (Changzhou) Co.,Ltd.

Address before: No.09, 8th Floor, International Student Entrepreneurship Building, No. 29 South Ring, High tech Zone, Nanshan District, Shenzhen, Guangdong Province, 518000

Applicant before: SHENZHEN PISOFTTECH TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant